研究團隊通過實證分析發(fā)現(xiàn)，在典型編程任務(wù)場景中，智能體平均需要完成157輪交互，上下文長度累計達(dá)32.7K個語言單元，但每輪新增內(nèi)容僅429個單元。這種"長上下文、短增量"的特性，使得鍵值緩存（KV-Cache）的加載效率成為決定系統(tǒng)性能的關(guān)鍵因素。實驗數(shù)據(jù)顯示，現(xiàn)有架構(gòu)中存儲帶寬利用率存在嚴(yán)重失衡——預(yù)填充引擎的帶寬資源長期處于滿負(fù)荷狀態(tài)，而解碼引擎的帶寬資源卻有90%以上處于閑置狀態(tài)。

硬件發(fā)展趨勢進一步加劇了這種矛盾。以英偉達(dá)GPU架構(gòu)演進為例，從Ampere到Blackwell架構(gòu)，計算性能提升了14.4倍，但存儲帶寬和顯存容量的增長幅度不足3倍。這種計算與存儲能力發(fā)展的非對稱性，導(dǎo)致傳統(tǒng)預(yù)填充-解碼分離架構(gòu)的吞吐量提升遭遇天花板。

該架構(gòu)的實現(xiàn)面臨三大技術(shù)挑戰(zhàn)：首先是數(shù)據(jù)傳輸粒度控制，研究團隊設(shè)計了分層塊傳輸機制，將緩存數(shù)據(jù)切割為不同粒度的傳輸單元，使網(wǎng)絡(luò)開銷降低60%；其次是流量隔離技術(shù)，通過引入中心化網(wǎng)絡(luò)控制器和InfiniBand虛擬通道，確保關(guān)鍵計算任務(wù)不受數(shù)據(jù)加載影響；最后是動態(tài)調(diào)度算法，系統(tǒng)實時監(jiān)測GPU負(fù)載、網(wǎng)絡(luò)狀態(tài)和任務(wù)特征，自動調(diào)整預(yù)填充與解碼模塊的資源分配比例。

性能評估顯示，在包含6600億參數(shù)的DeepSeek-V3.2模型測試中，新架構(gòu)在離線批處理場景下實現(xiàn)1.87倍吞吐量提升，在線服務(wù)場景的智能體處理能力提升近2倍。更值得關(guān)注的是其擴展性表現(xiàn)：在由1152塊GPU組成的集群測試中，系統(tǒng)從8節(jié)點擴展到144節(jié)點時，性能提升幅度達(dá)到理論值的92%，且延遲波動控制在5%以內(nèi)。在44個預(yù)填充引擎+88個解碼引擎的配置下，系統(tǒng)吞吐量較基線系統(tǒng)提升22倍。