近日，人工智能領(lǐng)域迎來一項(xiàng)重要突破，DeepSeek團(tuán)隊(duì)公布了一篇關(guān)于新型神經(jīng)網(wǎng)絡(luò)架構(gòu)的研究論文，提出名為“流形約束超連接”（mHC）的創(chuàng)新框架。該研究針對傳統(tǒng)超連接技術(shù)在大規(guī)模模型訓(xùn)練中存在的穩(wěn)定性問題展開探索，旨在通過結(jié)構(gòu)優(yōu)化實(shí)現(xiàn)性能與效率的雙重提升。

論文核心團(tuán)隊(duì)由三位年輕研究者主導(dǎo)，分別是解振達(dá)、韋毅軒與曹煥琦，DeepSeek創(chuàng)始人梁文鋒亦參與其中。研究指出，近年來以超連接（HC）為代表的技術(shù)通過拓寬殘差流路徑、豐富連接模式，顯著提升了模型性能，但這種復(fù)雜化設(shè)計(jì)破壞了殘差連接固有的恒等映射特性，導(dǎo)致訓(xùn)練過程易出現(xiàn)不穩(wěn)定現(xiàn)象，同時(shí)伴隨高昂的內(nèi)存訪問成本，限制了技術(shù)的進(jìn)一步擴(kuò)展。

針對上述痛點(diǎn)，mHC框架通過數(shù)學(xué)投影將超連接的殘差空間約束至特定流形結(jié)構(gòu)，在保留多樣化連接優(yōu)勢的同時(shí)，重構(gòu)了恒等映射的穩(wěn)定性基礎(chǔ)。研究團(tuán)隊(duì)同步開發(fā)了配套的基礎(chǔ)設(shè)施優(yōu)化方案，確保新架構(gòu)在硬件層面的高效運(yùn)行。實(shí)驗(yàn)數(shù)據(jù)顯示，該技術(shù)在大規(guī)模訓(xùn)練場景中表現(xiàn)出色，不僅實(shí)現(xiàn)了性能的實(shí)質(zhì)性提升，更展現(xiàn)出優(yōu)異的擴(kuò)展能力。

這項(xiàng)成果被視為對神經(jīng)網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)的重要補(bǔ)充。研究團(tuán)隊(duì)認(rèn)為，mHC作為超連接技術(shù)的實(shí)用化延伸，為理解復(fù)雜架構(gòu)的內(nèi)在機(jī)制提供了新視角，其設(shè)計(jì)理念或可推動基礎(chǔ)模型向更高效、更穩(wěn)定的方向演進(jìn)。目前，相關(guān)代碼與實(shí)驗(yàn)細(xì)節(jié)已通過論文形式公開，供學(xué)術(shù)界與產(chǎn)業(yè)界驗(yàn)證參考。