來自中國的AI企業(yè)月之暗面旗下Kimi團隊，憑借一項名為《Attention Residuals》（注意力殘差）的技術(shù)創(chuàng)新，在全球AI領(lǐng)域掀起新一輪討論熱潮。這項研究重新設計了深度學習領(lǐng)域沿用近十年的殘差連接結(jié)構(gòu)，被OpenAI前研究副總裁Jerry Tworek評價為"深度學習2.0的序章"，更引發(fā)特斯拉創(chuàng)始人馬斯克公開稱贊"令人印象深刻"。

傳統(tǒng)殘差連接機制自2015年ResNet論文提出以來，始終作為深度學習模型的"安全繩"存在。其核心邏輯是通過將每層輸出與輸入直接相加，確保信息在深層網(wǎng)絡中穩(wěn)定傳遞。但這種"無差別累加"方式存在明顯缺陷：當模型層數(shù)超過百層時，早期層的關(guān)鍵信息會被后續(xù)層稀釋，迫使模型通過放大激活值維持訓練穩(wěn)定性，最終導致計算效率下降和訓練成本攀升。Kimi團隊提出的注意力殘差方案，創(chuàng)新性地將固定加法替換為動態(tài)注意力機制，使模型能夠自主判斷各層信息的價值權(quán)重，如同為AI裝上"智能過濾器"。

技術(shù)突破帶來的效能提升立竿見影。實驗數(shù)據(jù)顯示，采用新架構(gòu)的480億參數(shù)模型訓練效率提升1.25倍，在保持性能的同時顯著降低算力消耗。這種突破性進展不僅獲得學術(shù)界認可，更在商業(yè)領(lǐng)域引發(fā)連鎖反應：Kimi K2.5開源模型同時成為全球最大AI編程平臺Cursor和獨立搜索服務商Perplexity的唯一中國合作方，與OpenAI、Anthropic等國際頂尖模型同臺競技。海外API開放平臺日均訪問量在技術(shù)發(fā)布后激增10-20倍，個人訂閱支付訂單在兩個月內(nèi)暴漲83倍，商業(yè)化的跨越式發(fā)展印證了技術(shù)落地的可行性。

在英偉達GTC 2026全球開發(fā)者大會上，月之暗面創(chuàng)始人楊植麟以《How We Scaled Kimi K2.5》為題，系統(tǒng)闡釋了技術(shù)突破背后的戰(zhàn)略思考。他指出，當前行業(yè)普遍使用的優(yōu)化器、注意力機制等底層技術(shù)，本質(zhì)上是八九年前的技術(shù)遺產(chǎn)，已逐漸成為智能上限突破的桎梏。Kimi團隊通過重構(gòu)三大基石技術(shù)形成完整閉環(huán)：開發(fā)MuonClip優(yōu)化器解決傳統(tǒng)Adam在超大規(guī)模訓練中的效率瓶頸；設計Kimi Linear混合線性注意力架構(gòu)，在超長上下文場景下實現(xiàn)5-6倍解碼速度提升；最終以注意力殘差方案完成對殘差連接的結(jié)構(gòu)性改造。

這種對技術(shù)范式的系統(tǒng)性重構(gòu)，正在重塑全球AI競爭格局。Kimi團隊提出的"智能體集群"概念，通過Orchestrator機制將復雜任務拆解為數(shù)十個子任務并行處理，預示著未來AI將從單體智能向群體智能演進。資本市場的反應更為直接：公司估值在三個月內(nèi)飆升至1200億元，融資規(guī)模超過多數(shù)大模型企業(yè)IPO募資額，創(chuàng)下行業(yè)新紀錄。當行業(yè)還在爭論"中國版ChatGPT"時，Kimi已通過底層技術(shù)創(chuàng)新，在全球AI技術(shù)演進中占據(jù)關(guān)鍵席位。

楊植麟在演講中特別強調(diào)研究范式的轉(zhuǎn)變。他指出，十年前受限于算力資源，研究者難以通過規(guī)?；瘜嶒烌炞C理論假設，如今隨著"縮放階梯"的完善，AI研究正從經(jīng)驗驅(qū)動轉(zhuǎn)向工程驅(qū)動。這種轉(zhuǎn)變使得Kimi團隊能夠以嚴謹?shù)膶嶒灧椒?，對沿用近十年的技術(shù)標準發(fā)起挑戰(zhàn)。從優(yōu)化器到注意力機制，再到殘差連接，每個技術(shù)節(jié)點的突破都指向同一個目標：重新定義下一代模型架構(gòu)的技術(shù)標準。