在第五屆字節(jié)跳動獎學(xué)金頒獎典禮上，技術(shù)副總裁楊震原分享了公司自2014年以來在技術(shù)領(lǐng)域的多項突破性探索。這位加入字節(jié)跳動近12年的技術(shù)專家，從早期推薦系統(tǒng)搭建到如今大模型研發(fā)，始終走在行業(yè)前沿。他的分享揭示了這家科技巨頭在多個技術(shù)領(lǐng)域的深度布局。

2014年，當(dāng)工業(yè)界主流機器學(xué)習(xí)系統(tǒng)還停留在搜索廣告領(lǐng)域時，字節(jié)跳動就定下了極具挑戰(zhàn)性的目標(biāo)——構(gòu)建萬億級特征規(guī)模的推薦系統(tǒng)。這個決定在當(dāng)時面臨多重困難：既懂大規(guī)模軟硬件工程又精通機器學(xué)習(xí)的人才稀缺，硬件成本高昂讓許多企業(yè)望而卻步。團隊通過創(chuàng)新系統(tǒng)建模、優(yōu)化存儲計算架構(gòu)、改進算法，最終在年底引入FM類算法并演進為深度學(xué)習(xí)體系。值得關(guān)注的是，該系統(tǒng)從上線首日就采用流式訓(xùn)練模式，這種設(shè)計至今在推薦算法中仍保持著優(yōu)異表現(xiàn)，其效果可能與近似RNN的實現(xiàn)方式有關(guān)。

2020年開啟的科學(xué)計算探索，展現(xiàn)了字節(jié)跳動的技術(shù)遠(yuǎn)見。團隊在第一性原理計算領(lǐng)域持續(xù)投入，基于神經(jīng)網(wǎng)絡(luò)量子蒙特卡洛方法（NNQMC）的研究取得突破。通過用神經(jīng)網(wǎng)絡(luò)表示波函數(shù)并進行能量優(yōu)化，相關(guān)研究在仿真精度上達(dá)到行業(yè)領(lǐng)先水平。2021年后的多項成果顯示，其仿真體系在電子數(shù)量和精度上均表現(xiàn)優(yōu)異，最新發(fā)現(xiàn)的Scaling Laws現(xiàn)象表明增加參數(shù)可持續(xù)提升精度，這為實用化突破帶來可能。在分子動力學(xué)領(lǐng)域，團隊開發(fā)的GPU加速程序使計算速度提升500-1000倍，與比亞迪成立的聯(lián)合實驗室正推動這些技術(shù)在電池材料領(lǐng)域的工業(yè)化應(yīng)用。

XR技術(shù)布局方面，字節(jié)跳動展現(xiàn)出獨特的發(fā)展路徑。2021年收購Pico后，公司采取雙軌策略：既維持現(xiàn)有產(chǎn)品形態(tài)的內(nèi)容運營，又持續(xù)投入基礎(chǔ)技術(shù)研發(fā)。2023年戰(zhàn)略調(diào)整后，技術(shù)投入力度反而加大，重點突破顯示清晰度和空間計算兩大難題。通過定制MicroOLED顯示技術(shù)，單眼4K分辨率得以實現(xiàn)；自主研發(fā)的消費電子芯片使系統(tǒng)延遲降至12毫秒，達(dá)到行業(yè)頂尖水平。為解決虛實融合的識別精度問題，團隊還建設(shè)了專業(yè)測試系統(tǒng)，為算法訓(xùn)練提供高精度數(shù)據(jù)支撐。

大模型領(lǐng)域，字節(jié)跳動憑借早期積累形成獨特優(yōu)勢。2021年啟動研發(fā)后，公司自研的MegaScale訓(xùn)練系統(tǒng)實現(xiàn)55%以上的浮點運算利用率，遠(yuǎn)超主流開源框架。通過優(yōu)化模型結(jié)構(gòu)和服務(wù)器設(shè)計，火山引擎提供的模型服務(wù)成本打破行業(yè)下限，同時保持盈利能力。當(dāng)前技術(shù)團隊正聚焦兩大核心問題：一是提升模型持續(xù)學(xué)習(xí)能力，使其能像人類一樣通過交互不斷進化；二是增強輸入輸出能力，縮小在內(nèi)容理解和界面操作等方面與人類的差距。這些探索或?qū)⒅匦露x人工智能的發(fā)展方向。