月之暗面Kimi團(tuán)隊(duì)近日在人工智能領(lǐng)域投下一枚重磅炸彈——其發(fā)布的《Attention Residuals》（注意力殘差）技術(shù)報(bào)告，通過(guò)重構(gòu)深度學(xué)習(xí)核心組件"殘差連接"，為大規(guī)模模型訓(xùn)練開(kāi)辟了全新路徑。這項(xiàng)突破性成果不僅引發(fā)全球AI社區(qū)的熱烈討論，更獲得特斯拉創(chuàng)始人埃隆·馬斯克"令人印象深刻"的高度評(píng)價(jià)，被多位硅谷頂尖學(xué)者視為深度學(xué)習(xí)架構(gòu)演進(jìn)的重要里程碑。

傳統(tǒng)殘差網(wǎng)絡(luò)自2015年提出以來(lái)，始終是支撐萬(wàn)億參數(shù)模型訓(xùn)練的基石技術(shù)。其通過(guò)跨層恒等映射緩解梯度消失問(wèn)題的設(shè)計(jì)，使神經(jīng)網(wǎng)絡(luò)得以突破深度限制。但Kimi團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)，這種"無(wú)差別求和"的信息融合方式存在顯著缺陷：當(dāng)網(wǎng)絡(luò)層數(shù)超過(guò)百層時(shí)，早期特征在逐層傳遞中會(huì)因權(quán)重稀釋導(dǎo)致有效信息流失，同時(shí)統(tǒng)一求和機(jī)制迫使所有特征參與計(jì)算，造成約30%的冗余算力消耗。

針對(duì)這些痛點(diǎn)，研究團(tuán)隊(duì)提出動(dòng)態(tài)注意力殘差機(jī)制（Dynamic Attention Residuals, DAR）。該方案創(chuàng)新性地將殘差連接轉(zhuǎn)化為可學(xué)習(xí)的注意力模塊，使每層網(wǎng)絡(luò)能夠根據(jù)當(dāng)前任務(wù)需求，動(dòng)態(tài)分配不同歷史層輸出的關(guān)注權(quán)重。實(shí)驗(yàn)數(shù)據(jù)顯示，在480億參數(shù)規(guī)模的模型訓(xùn)練中，DAR架構(gòu)使單步訓(xùn)練時(shí)間縮短20%，同時(shí)將模型收斂所需的迭代次數(shù)減少25%，綜合訓(xùn)練效率提升達(dá)1.25倍。

這項(xiàng)突破性成果由楊植麟、吳育昕、周昕宇三位聯(lián)合創(chuàng)始人領(lǐng)銜，聯(lián)合全球32位研究人員歷時(shí)18個(gè)月完成。研究團(tuán)隊(duì)在報(bào)告中特別強(qiáng)調(diào)，DAR架構(gòu)的兼容性?xún)?yōu)勢(shì)使其可無(wú)縫接入現(xiàn)有Transformer框架，僅需替換殘差連接模塊即可實(shí)現(xiàn)性能升級(jí)。目前，該技術(shù)已在代碼生成、多模態(tài)理解等復(fù)雜任務(wù)中驗(yàn)證有效性，相關(guān)代碼庫(kù)已開(kāi)源供學(xué)術(shù)界測(cè)試。

全球AI領(lǐng)域?qū)@項(xiàng)研究給予高度關(guān)注。斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任克里斯托弗·曼寧指出："這標(biāo)志著深度學(xué)習(xí)從'堆砌算力'向'優(yōu)化信息流'的范式轉(zhuǎn)變。"meta首席AI科學(xué)家楊立昆在社交媒體轉(zhuǎn)發(fā)時(shí)評(píng)論："重新思考基礎(chǔ)組件的設(shè)計(jì)，往往比追求模型規(guī)模更有價(jià)值。"值得關(guān)注的是，馬斯克在評(píng)價(jià)中特別提到："這種架構(gòu)改進(jìn)讓我想起當(dāng)年從Sigmoid到ReLU的激活函數(shù)變革，看似微小卻影響深遠(yuǎn)。"