阿里巴巴集團(tuán)Qwen Pilot團(tuán)隊在強化學(xué)習(xí)領(lǐng)域取得突破性進(jìn)展，其最新研究顛覆了傳統(tǒng)對AI模型訓(xùn)練的認(rèn)知。這項發(fā)表于國際學(xué)習(xí)表征會議（ICLR）的研究表明，大語言模型在強化學(xué)習(xí)訓(xùn)練過程中，超過98%的詞匯選擇幾乎保持不變，真正推動性能提升的改變集中在不足2%的關(guān)鍵位置。這一發(fā)現(xiàn)猶如解開優(yōu)秀學(xué)生成績飛躍的密碼——并非依靠海量練習(xí)，而是通過少數(shù)關(guān)鍵題目的突破性理解實現(xiàn)質(zhì)的飛躍。

研究團(tuán)隊通過Jensen-Shannon散度這一數(shù)學(xué)工具，對模型訓(xùn)練前后的詞匯選擇變化進(jìn)行精密測量。數(shù)據(jù)顯示，在使用可驗證獎勵的SimpleRL訓(xùn)練方法時，僅有1.7%的詞匯位置發(fā)生顯著變化；即便采用約束較少的DAPO方法，變化比例也未超過17%。這些關(guān)鍵位置呈現(xiàn)出明顯的位置偏好：序列開頭的改變對應(yīng)高層次決策修正，如同調(diào)整文章整體框架；結(jié)尾的優(yōu)化則聚焦答案格式規(guī)范，類似完善結(jié)論表述。不同訓(xùn)練方法在變化模式上差異顯著，約束嚴(yán)格的策略將更新集中在極少數(shù)位置，而寬松方法則產(chǎn)生更廣泛但強度較低的調(diào)整。

深入分析發(fā)現(xiàn)，模型變化程度與預(yù)測不確定性存在強關(guān)聯(lián)。在原本就確定該選什么詞匯的低熵位置，強化學(xué)習(xí)幾乎不進(jìn)行干預(yù)；而在模型拿不準(zhǔn)的高熵區(qū)域，修正概率顯著提升。DAPO方法展現(xiàn)出獨特能力，甚至能重塑模型原本確定但錯誤的預(yù)測，這種特性使其在訓(xùn)練中表現(xiàn)出更強的探索性。相比之下，SimpleRL則像謹(jǐn)慎的修正者，專注于解決模型最不確定的問題。

詞匯類型分析揭示出更精細(xì)的優(yōu)化機(jī)制。高變化位置集中出現(xiàn)邏輯連接詞、數(shù)學(xué)表達(dá)式等推理相關(guān)術(shù)語，而數(shù)字、運算符等結(jié)構(gòu)化組件則傾向于保持穩(wěn)定。但同一詞匯在不同語境中可能表現(xiàn)迥異——定冠詞"the"雖常出現(xiàn)在高變化詞匯列表，但其實際變化程度卻普遍較低。這表明決定詞匯是否改變的關(guān)鍵，在于其在特定推理軌跡中的功能角色，而非詞匯本身的語義屬性。

與傳統(tǒng)監(jiān)督學(xué)習(xí)形成鮮明對比的是，強化學(xué)習(xí)展現(xiàn)出獨特的優(yōu)化哲學(xué)。監(jiān)督微調(diào)如同嚴(yán)苛的教師，要求模型逐字模仿標(biāo)準(zhǔn)答案，導(dǎo)致更密集的詞匯變化；而強化學(xué)習(xí)更像智慧導(dǎo)師，僅在關(guān)鍵決策點給予指導(dǎo)，允許模型保持個性化思維。實驗數(shù)據(jù)顯示，監(jiān)督微調(diào)的散度分布強烈集中在高不確定性區(qū)域，而強化學(xué)習(xí)則表現(xiàn)出更大的靈活性，這種差異反映了兩種范式在標(biāo)準(zhǔn)化與個性化之間的本質(zhì)區(qū)別。

交叉采樣實驗為理論提供了有力驗證。研究人員將強化學(xué)習(xí)模型在關(guān)鍵位置的詞匯選擇"移植"到基礎(chǔ)模型，發(fā)現(xiàn)僅替換1.53%-4%的詞匯，就能使模型在數(shù)學(xué)推理任務(wù)中的準(zhǔn)確率提升2-3倍。更令人驚訝的是，這種混合策略在某些情況下甚至超越純強化學(xué)習(xí)模型的表現(xiàn)。反向?qū)嶒瀯t顯示，替換約5%的強化學(xué)習(xí)詞匯選擇，即可使其性能退化至基礎(chǔ)模型水平。這些結(jié)果證明，強化學(xué)習(xí)的優(yōu)勢高度集中在少數(shù)關(guān)鍵決策點。

性能變化呈現(xiàn)漸進(jìn)式特征，隨著關(guān)鍵詞匯注入次數(shù)的增加，準(zhǔn)確率呈現(xiàn)平滑上升趨勢。這種特性表明，強化學(xué)習(xí)并非引入全新推理行為，而是通過精細(xì)調(diào)整現(xiàn)有候選詞匯的排序，引導(dǎo)生成過程走向更有效的推理軌跡。研究顯示，約30%的強化學(xué)習(xí)首選詞匯在基礎(chǔ)模型中已排名第一，超過80%的詞匯位于基礎(chǔ)模型的前三候選之列，這揭示出其優(yōu)化機(jī)制的本質(zhì)——在高質(zhì)量候選集合內(nèi)進(jìn)行微調(diào)而非創(chuàng)造新選項。

對訓(xùn)練動態(tài)的追蹤發(fā)現(xiàn)，分布變化在訓(xùn)練過程中逐漸聚焦。初期模型會嘗試各種調(diào)整，但隨著訓(xùn)練推進(jìn)，變化越來越集中在少數(shù)詞匯上。這種演化模式意味著，最終起作用的關(guān)鍵位置集合在訓(xùn)練后期才完全確定。基于這一發(fā)現(xiàn)，研究團(tuán)隊提出散度加權(quán)優(yōu)勢函數(shù)方法，通過調(diào)節(jié)詞匯級學(xué)習(xí)信號來優(yōu)化訓(xùn)練。實驗表明，該策略在數(shù)學(xué)推理任務(wù)中可將準(zhǔn)確率提升2-3個百分點，為開發(fā)更高效的訓(xùn)練方法開辟了新路徑。

這項研究不僅改變了AI訓(xùn)練的技術(shù)路線，更引發(fā)對學(xué)習(xí)本質(zhì)的深層思考。當(dāng)發(fā)現(xiàn)AI的"聰明"源于關(guān)鍵時刻的精準(zhǔn)判斷，而非海量計算時，這種認(rèn)知轉(zhuǎn)變正在重塑AI研發(fā)的底層邏輯。未來的訓(xùn)練方法或?qū)⒕劢褂谧R別和優(yōu)化這些關(guān)鍵決策點，在提高效率的同時，為理解AI行為提供更清晰的視角。對普通用戶而言，這意味著更精準(zhǔn)高效的AI服務(wù)正在到來，而其背后的技術(shù)突破，或許也能為人類學(xué)習(xí)策略的優(yōu)化提供有益啟示。

Q&A

問：強化學(xué)習(xí)訓(xùn)練中的關(guān)鍵改變比例是否固定？
答：研究顯示關(guān)鍵改變比例與訓(xùn)練方法密切相關(guān)。SimpleRL方法下僅1.7%詞匯位置發(fā)生顯著變化，DAPO方法則將比例提升至17%左右。交叉采樣實驗證實，在數(shù)學(xué)推理任務(wù)中，1.53%-4%的關(guān)鍵詞匯替換即可實現(xiàn)性能飛躍，證明不同場景下起作用的改變比例存在差異，但普遍集中在極少數(shù)位置。

問：為什么強化學(xué)習(xí)不進(jìn)行全面優(yōu)化而是聚焦關(guān)鍵點？
答：這種策略源于其獨特的優(yōu)化機(jī)制。強化學(xué)習(xí)通過重新排序現(xiàn)有候選詞匯而非引入新選項來工作，約80%的強化學(xué)習(xí)首選詞匯已存在于基礎(chǔ)模型的前三候選之列。同時，模型更傾向于修正原本不確定的高熵位置，這種精準(zhǔn)干預(yù)既能保持模型原有能力，又能高效修正關(guān)鍵推理決策，實現(xiàn)性能質(zhì)的提升。

問：這項發(fā)現(xiàn)對AI開發(fā)實踐有何具體影響？
答：該研究為訓(xùn)練方法優(yōu)化提供了新方向。傳統(tǒng)方法追求全面改進(jìn)，而新發(fā)現(xiàn)提示可專注于識別關(guān)鍵決策點。研究團(tuán)隊開發(fā)的散度加權(quán)優(yōu)勢方法已在實驗中提升模型準(zhǔn)確率2-3個百分點，證明通過調(diào)節(jié)詞匯級學(xué)習(xí)信號可顯著提高訓(xùn)練效率。這種精準(zhǔn)優(yōu)化策略有望降低計算成本，同時增強對AI行為的可控性，最終為用戶帶來更優(yōu)質(zhì)的AI產(chǎn)品。