當(dāng)全球AI行業(yè)陷入“參數(shù)規(guī)模競(jìng)賽”與“應(yīng)用層同質(zhì)化”的雙重困局時(shí)，一家成立僅五年的中國(guó)AI公司——月之暗面（Moonlight AI），憑借對(duì)Transformer架構(gòu)核心機(jī)制的顛覆性改造，意外獲得科技界“風(fēng)向標(biāo)”埃隆·馬斯克的公開認(rèn)可。其旗下Kimi團(tuán)隊(duì)在論文中提出的“動(dòng)態(tài)注意力殘差連接”方案，直指深度學(xué)習(xí)領(lǐng)域長(zhǎng)達(dá)十一年的技術(shù)禁區(qū)，為行業(yè)突破“模型效率瓶頸”提供了全新路徑。

Transformer架構(gòu)自2015年問(wèn)世以來(lái)，其“注意力機(jī)制”與“殘差連接”構(gòu)成的雙重支柱，支撐起從BERT到GPT-4的歷代語(yǔ)言模型。但Kimi團(tuán)隊(duì)研究發(fā)現(xiàn)，隨著模型參數(shù)規(guī)模突破萬(wàn)億級(jí)，標(biāo)準(zhǔn)殘差連接的“加法操作”正導(dǎo)致深層特征被淺層特征系統(tǒng)性稀釋——這一現(xiàn)象被學(xué)術(shù)界稱為“PreNorm稀釋效應(yīng)”。團(tuán)隊(duì)首席科學(xué)家張弛比喻道：“就像用清水稀釋墨汁，模型堆疊的層數(shù)越多，最終輸出的‘顏色’反而越淡，丟失了最關(guān)鍵的語(yǔ)義細(xì)節(jié)?！?/p>

面對(duì)這一困擾行業(yè)多年的難題，Kimi團(tuán)隊(duì)提出用“動(dòng)態(tài)注意力機(jī)制”重構(gòu)殘差連接邏輯。新方案不再簡(jiǎn)單疊加各層特征，而是通過(guò)計(jì)算不同層級(jí)特征的注意力權(quán)重，實(shí)現(xiàn)“重要特征強(qiáng)化保留、冗余信息動(dòng)態(tài)過(guò)濾”。為解決計(jì)算開銷問(wèn)題，團(tuán)隊(duì)創(chuàng)新性地采用“塊注意力”技術(shù)，將特征矩陣分塊處理，使內(nèi)存占用降低60%的同時(shí)保持模型精度。實(shí)驗(yàn)數(shù)據(jù)顯示，在同等參數(shù)規(guī)模下，采用新架構(gòu)的模型推理速度提升30%，訓(xùn)練成本下降25%，在醫(yī)療文本分析、法律合同解讀等長(zhǎng)文本場(chǎng)景中表現(xiàn)尤為突出。

這項(xiàng)突破之所以引發(fā)震動(dòng)，在于其觸及了AI基礎(chǔ)架構(gòu)的“不可動(dòng)搖部分”。自2017年OpenAI首次將殘差連接引入語(yǔ)言模型以來(lái)，谷歌、meta等巨頭雖嘗試過(guò)調(diào)整連接位置或添加權(quán)重參數(shù)，但始終未敢改變“加法操作”這一底層設(shè)計(jì)。Kimi團(tuán)隊(duì)的數(shù)學(xué)證明顯示，現(xiàn)有主流殘差變體（包括PreNorm、PostNorm）均是其方案在“注意力權(quán)重均勻分布”時(shí)的特例，這意味著他們?yōu)門ransformer架構(gòu)提供了更普適的理論框架。

在商業(yè)層面，月之暗面的崛起軌跡同樣引發(fā)關(guān)注。這家2021年成立的公司，在2023年推出Kimi大模型時(shí)曾被質(zhì)疑“模仿ChatGPT”，但通過(guò)聚焦企業(yè)級(jí)市場(chǎng)，迅速積累起字節(jié)跳動(dòng)、寧德時(shí)代等5000余家客戶。2025年完成D輪融資后，其估值突破300億元人民幣，紅杉中國(guó)、高瓴資本等頂級(jí)機(jī)構(gòu)的持續(xù)加注，為其基礎(chǔ)研究提供了充足彈藥。公司CTO在內(nèi)部信中透露：“我們每年將40%的營(yíng)收投入底層技術(shù)研發(fā)，這個(gè)比例在行業(yè)中屬于絕對(duì)少數(shù)?！?/p>

馬斯克的罕見(jiàn)認(rèn)可，為這場(chǎng)爭(zhēng)論增添了新的維度。這位以“技術(shù)潔癖”著稱的科技領(lǐng)袖，此前曾多次批評(píng)行業(yè)巨頭“沉迷于規(guī)模競(jìng)賽”，此次卻用“Interesting approach”評(píng)價(jià)Kimi的方案?？萍挤治鰩烝vi Chawla指出：“這標(biāo)志著中國(guó)AI公司首次在深度學(xué)習(xí)‘根技術(shù)’層面獲得國(guó)際認(rèn)可，其意義不亞于華為5G對(duì)通信行業(yè)的沖擊。”

目前，Kimi團(tuán)隊(duì)已將新架構(gòu)開源，并推出適配不同場(chǎng)景的變體版本。盡管有研究員提醒“基礎(chǔ)創(chuàng)新需要長(zhǎng)期驗(yàn)證”，但不可否認(rèn)的是，當(dāng)行業(yè)集體陷入“堆參數(shù)、卷應(yīng)用”的循環(huán)時(shí)，這種直面技術(shù)本質(zhì)的探索，正在為AI發(fā)展開辟新的可能性。正如張弛所言：“我們不是在推倒重來(lái)，而是為這座已經(jīng)運(yùn)行十年的‘超級(jí)機(jī)器’更換更精密的齒輪——這或許比建造新機(jī)器更難，但值得嘗試?！?/p>