在人工智能大模型訓(xùn)練的賽道上，隨著萬卡、十萬卡集群成為新常態(tài)，網(wǎng)絡(luò)性能正從幕后走向臺前，成為決定訓(xùn)練效率的關(guān)鍵變量。當(dāng)GPT-4突破萬億參數(shù)、Llama 3訓(xùn)練集群規(guī)模達(dá)數(shù)萬卡時(shí)，通信耗時(shí)對算力利用率的侵蝕問題愈發(fā)凸顯——據(jù)行業(yè)統(tǒng)計(jì)，大規(guī)模集群訓(xùn)練中通信時(shí)間占比普遍超過30%，且集群規(guī)模每擴(kuò)大一個(gè)數(shù)量級，這一比例就呈指數(shù)級上升。

這場變革中，曾被視為"經(jīng)濟(jì)之選"的RoCE（RDMA over Converged Ethernet）網(wǎng)絡(luò)正遭遇前所未有的挑戰(zhàn)。其基于優(yōu)先級的流控機(jī)制（PFC）在應(yīng)對超大規(guī)模集群時(shí)暴露出致命缺陷：當(dāng)接收端緩沖區(qū)壓力達(dá)到閾值時(shí)，PFC會向上游發(fā)送暫停幀，這種"事后補(bǔ)救"模式不僅無法避免丟包風(fēng)險(xiǎn)，更會在多級網(wǎng)絡(luò)中引發(fā)"暫停幀風(fēng)暴"。某互聯(lián)網(wǎng)巨頭內(nèi)部數(shù)據(jù)顯示，其萬卡級RoCE集群每月因PFC風(fēng)暴導(dǎo)致的訓(xùn)練中斷達(dá)3-5次，每次恢復(fù)耗時(shí)數(shù)分鐘至半小時(shí)不等。

運(yùn)維復(fù)雜度成為壓垮RoCE的最后一根稻草。為抑制PFC風(fēng)暴，網(wǎng)絡(luò)團(tuán)隊(duì)需持續(xù)調(diào)整"水線"參數(shù)，但這項(xiàng)工作猶如在高壓線上行走——參數(shù)調(diào)高會導(dǎo)致降速不及時(shí)引發(fā)丟包，調(diào)低則造成帶寬浪費(fèi)。某智算中心負(fù)責(zé)人透露："我們組建了10人專項(xiàng)團(tuán)隊(duì)，每天花費(fèi)4小時(shí)進(jìn)行參數(shù)調(diào)優(yōu)，這對大多數(shù)用戶而言根本不可行。"

與之形成鮮明對比的是，原生RDMA架構(gòu)的InfiniBand（IB）網(wǎng)絡(luò)展現(xiàn)出獨(dú)特優(yōu)勢。其基于信用的流控機(jī)制要求發(fā)送端在傳輸前必須確認(rèn)接收端緩沖區(qū)空間，這種"先確認(rèn)后發(fā)送"的機(jī)制從根源上杜絕了丟包可能。更關(guān)鍵的是，IB的集中式管理架構(gòu)可實(shí)現(xiàn)全網(wǎng)路徑規(guī)劃，徹底消除分布式管理帶來的死鎖風(fēng)險(xiǎn)。在鏈路故障恢復(fù)方面，IB通過快速容錯(cuò)路由技術(shù)將恢復(fù)時(shí)間壓縮至毫秒級，而RoCE通常需要數(shù)秒，這在大規(guī)模集群中意味著數(shù)十分鐘的算力浪費(fèi)。

成本賬本正在發(fā)生逆轉(zhuǎn)。雖然IB硬件采購成本仍高于RoCE，但萬卡級集群的運(yùn)維成本已呈現(xiàn)此消彼長態(tài)勢。某服務(wù)商測算顯示，RoCE集群的專職團(tuán)隊(duì)人力成本、算力閑置成本、故障排查成本綜合計(jì)算后，已接近IB方案的硬件差價(jià)。更值得關(guān)注的是組網(wǎng)效率差異：新一代國產(chǎn)IB方案在單子網(wǎng)支持超11萬卡，較傳統(tǒng)方案提升133%，這意味著更少的交換機(jī)層級、更低的光模塊功耗和成本。

市場數(shù)據(jù)印證著這種轉(zhuǎn)變。Dell'Oro Group報(bào)告顯示，在AI后端網(wǎng)絡(luò)市場，InfiniBand長期占據(jù)主導(dǎo)地位。某網(wǎng)絡(luò)設(shè)備廠商銷售總監(jiān)觀察到："去年客戶還在糾結(jié)RoCE能否滿足需求，今年問得最多的是萬卡以上集群的穩(wěn)定性保障。"這種轉(zhuǎn)變在大模型落地階段尤為明顯——當(dāng)訓(xùn)練任務(wù)周期延長至數(shù)十天，一次網(wǎng)絡(luò)抖動造成的損失就可能覆蓋IB的硬件溢價(jià)。

國產(chǎn)化突破為這場變革注入新變量。中科曙光推出的scaleFabric原生無損RDMA網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)了從112G SerDes IP到軟件平臺的全棧自研。該系統(tǒng)端到端時(shí)延低于1微秒，轉(zhuǎn)發(fā)時(shí)延260納秒，性能指標(biāo)直追國際頂尖的NVIDIA NDR方案。更關(guān)鍵的是，其已在國家超算互聯(lián)網(wǎng)鄭州核心節(jié)點(diǎn)完成3萬卡商用部署，累計(jì)運(yùn)行超10萬項(xiàng)作業(yè)，驗(yàn)證了大規(guī)模真實(shí)負(fù)載下的穩(wěn)定性。

中國工程院院士鄔賀銓指出，智算集群規(guī)?；渴饘W(wǎng)絡(luò)提出"超低延遲、超高帶寬、全程無損"的嚴(yán)苛要求，RDMA高速網(wǎng)絡(luò)已成為算力集群的"神經(jīng)中樞"。隨著十萬卡級集群成為新基建標(biāo)配，網(wǎng)絡(luò)技術(shù)路線的選擇將超越簡單的成本計(jì)算，真正回歸到"能否讓集群高效運(yùn)行"的本質(zhì)需求。在這場算力競賽中，網(wǎng)絡(luò)性能正在重新定義游戲規(guī)則。