在生成式人工智能領(lǐng)域，一項(xiàng)來(lái)自中國(guó)科研機(jī)構(gòu)的重要突破引發(fā)全球關(guān)注。北京智源人工智能研究院研發(fā)的Emu3多模態(tài)大模型，通過(guò)統(tǒng)一的技術(shù)路徑實(shí)現(xiàn)了對(duì)文本、圖像和視頻的高效處理，相關(guān)成果已發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊《自然》。這一研究首次驗(yàn)證了自回歸架構(gòu)在多模態(tài)學(xué)習(xí)中的普適性，為構(gòu)建通用人工智能系統(tǒng)開(kāi)辟了新方向。

傳統(tǒng)人工智能系統(tǒng)處理不同類型數(shù)據(jù)時(shí)，往往需要設(shè)計(jì)專門(mén)的模型架構(gòu)：自然語(yǔ)言處理依賴Transformer結(jié)構(gòu)，圖像生成采用擴(kuò)散模型，視頻分析則需結(jié)合3D卷積網(wǎng)絡(luò)。這種"分科而治"的模式導(dǎo)致系統(tǒng)復(fù)雜度高、協(xié)同效率低，且難以實(shí)現(xiàn)跨模態(tài)的深度融合。智源研究院的研究團(tuán)隊(duì)突破性地證明，通過(guò)擴(kuò)展GPT核心的"預(yù)測(cè)下一個(gè)詞元"機(jī)制，可以構(gòu)建出同時(shí)具備多模態(tài)理解與生成能力的原生模型。

實(shí)驗(yàn)數(shù)據(jù)顯示，Emu3模型在圖像生成、圖文問(wèn)答、視頻預(yù)測(cè)等任務(wù)中，性能達(dá)到甚至超越了專門(mén)訓(xùn)練的專用模型。該模型采用純自回歸架構(gòu)，通過(guò)統(tǒng)一的數(shù)據(jù)編碼方式，將不同模態(tài)的信息轉(zhuǎn)化為離散token序列進(jìn)行聯(lián)合訓(xùn)練。這種設(shè)計(jì)不僅簡(jiǎn)化了模型結(jié)構(gòu)，更賦予系統(tǒng)強(qiáng)大的擴(kuò)展?jié)摿Α芯咳藛T發(fā)現(xiàn)，隨著參數(shù)規(guī)模的增加，模型在復(fù)雜場(chǎng)景理解、物理規(guī)律模擬等任務(wù)上展現(xiàn)出顯著提升。

《自然》期刊審稿人特別指出，該研究最突出的貢獻(xiàn)在于解決了多模態(tài)學(xué)習(xí)的統(tǒng)一框架問(wèn)題。此前學(xué)術(shù)界普遍認(rèn)為，不同模態(tài)數(shù)據(jù)需要定制化的學(xué)習(xí)策略，而Emu3的實(shí)踐表明，通過(guò)合理的架構(gòu)設(shè)計(jì)，單一模型完全可以掌握跨模態(tài)的表征能力。這種統(tǒng)一性不僅降低了開(kāi)發(fā)成本，更為構(gòu)建具備人類認(rèn)知水平的通用智能體奠定了基礎(chǔ)。

基于Emu3技術(shù)路徑的迭代版本Emu3.5，已初步展現(xiàn)出對(duì)物理世界的理解能力。在測(cè)試中，該模型能夠預(yù)測(cè)動(dòng)態(tài)場(chǎng)景的演變趨勢(shì)，例如模擬物體運(yùn)動(dòng)軌跡、推斷液體流動(dòng)方向等。這種對(duì)因果關(guān)系的把握能力，標(biāo)志著多模態(tài)大模型從"感知智能"向"認(rèn)知智能"的重要跨越。

據(jù)研究團(tuán)隊(duì)介紹，這項(xiàng)突破源于智源研究院2020年啟動(dòng)的"悟道"大模型計(jì)劃。經(jīng)過(guò)五年持續(xù)攻關(guān)，該機(jī)構(gòu)已形成覆蓋多模態(tài)學(xué)習(xí)、具身智能、生命科學(xué)等領(lǐng)域的完整技術(shù)體系。其即將發(fā)布的"悟界"大模型系列，將重點(diǎn)突破數(shù)字世界與物理世界的交互瓶頸，包含具身大腦、數(shù)字器官、生命模擬等多個(gè)創(chuàng)新方向，旨在構(gòu)建支撐通用人工智能發(fā)展的基礎(chǔ)設(shè)施。