特斯拉首席執(zhí)行官埃隆·馬斯克近日在社交平臺轉(zhuǎn)發(fā)了一項(xiàng)來自中國AI公司的研究成果，并評價稱“這項(xiàng)作品令人印象深刻”。被關(guān)注的正是Kimi團(tuán)隊(duì)提出的全新注意力殘差機(jī)制，這項(xiàng)突破性技術(shù)正在深度學(xué)習(xí)領(lǐng)域引發(fā)廣泛討論。

傳統(tǒng)深度學(xué)習(xí)模型中，殘差連接作為關(guān)鍵技術(shù)已沿用近十年。這種通過固定等權(quán)累加傳遞信息的方式，在模型層數(shù)增加時容易引發(fā)淺層信息稀釋、訓(xùn)練效率下降等問題。Kimi團(tuán)隊(duì)此次提出的注意力殘差機(jī)制，創(chuàng)造性地將Transformer架構(gòu)中的注意力機(jī)制遷移至模型深度維度，使每層網(wǎng)絡(luò)能夠動態(tài)篩選有效信息并抑制冗余數(shù)據(jù)。

為解決內(nèi)存消耗難題，研究團(tuán)隊(duì)設(shè)計(jì)了分塊處理策略。在模型內(nèi)部劃分計(jì)算單元后，單元內(nèi)保留傳統(tǒng)累加方式確保穩(wěn)定性，單元間則采用動態(tài)權(quán)重分配。這種設(shè)計(jì)使推理延遲增加控制在2%以內(nèi)，成功平衡了模型性能與計(jì)算效率。實(shí)測數(shù)據(jù)顯示，480億參數(shù)規(guī)模的模型訓(xùn)練效率提升25%，科學(xué)推理和數(shù)學(xué)解題能力分別提高7.5%和3.6%。

這項(xiàng)成果獲得國際學(xué)界高度關(guān)注。前OpenAI研究副總裁Jerry Tworek公開表示，該技術(shù)標(biāo)志著深度學(xué)習(xí)進(jìn)入新發(fā)展階段。值得注意的是，馬斯克旗下人工智能公司xAI目前正處于重組關(guān)鍵期，此時對這項(xiàng)中國技術(shù)的公開認(rèn)可，側(cè)面印證了其技術(shù)突破的分量。

面對國際科技界的關(guān)注，Kimi官方賬號以輕松語氣回應(yīng)馬斯克的點(diǎn)贊：“你的火箭造得也不錯！”這種互動折射出全球人工智能領(lǐng)域日益頻繁的技術(shù)交流態(tài)勢。隨著注意力殘差機(jī)制逐步通過開源社區(qū)傳播，這項(xiàng)源自中國的創(chuàng)新正在為全球AI發(fā)展提供新的解決方案。