meta旗下基礎(chǔ)人工智能研究團(tuán)隊(duì)（FAIR）近日宣布開(kāi)源新一代人工智能模型TRIBE v2，該模型通過(guò)多模態(tài)融合技術(shù)，實(shí)現(xiàn)了對(duì)人類大腦視覺(jué)、聽(tīng)覺(jué)及語(yǔ)言反應(yīng)的高精度預(yù)測(cè)。這一突破性成果有望顯著降低神經(jīng)科學(xué)研究的成本與周期，為腦科學(xué)領(lǐng)域提供全新研究范式。

與傳統(tǒng)神經(jīng)科學(xué)研究依賴功能性磁共振成像（fMRI）不同，TRIBE v2無(wú)需實(shí)際測(cè)量腦部活動(dòng)，即可通過(guò)分析視頻、音頻和文本數(shù)據(jù)生成預(yù)測(cè)結(jié)果。該模型采用"多模態(tài)融合"核心架構(gòu)，首先利用Video-JEPA-2、Wav2Vec-Bert-2.0和Llama 3.2三個(gè)預(yù)訓(xùn)練模型分別提取視覺(jué)、聽(tīng)覺(jué)和語(yǔ)言特征，再通過(guò)Transformer架構(gòu)整合信息，最終輸出包含7萬(wàn)個(gè)"體素"的三維大腦活動(dòng)圖。實(shí)驗(yàn)數(shù)據(jù)顯示，其預(yù)測(cè)精度較傳統(tǒng)線性模型提升顯著，甚至能復(fù)現(xiàn)經(jīng)典神經(jīng)科學(xué)實(shí)驗(yàn)結(jié)果。

在性能優(yōu)化方面，研究團(tuán)隊(duì)通過(guò)直接預(yù)測(cè)"調(diào)整后的平均反應(yīng)"有效過(guò)濾了fMRI常見(jiàn)的生理噪音干擾。當(dāng)模型接收多模態(tài)輸入時(shí)，大腦顳葉、頂葉和枕葉交界處的預(yù)測(cè)準(zhǔn)確率可提升50%。例如在視覺(jué)實(shí)驗(yàn)中，模型成功識(shí)別出處理面部、地點(diǎn)等信息的專用腦區(qū)；語(yǔ)言實(shí)驗(yàn)則復(fù)現(xiàn)了言語(yǔ)與沉默、情感與疼痛等神經(jīng)語(yǔ)言學(xué)現(xiàn)象的激活模式差異。

盡管展現(xiàn)出強(qiáng)大潛力，該模型仍存在技術(shù)局限。由于依賴血流動(dòng)力學(xué)數(shù)據(jù)，其時(shí)間分辨率僅能達(dá)到秒級(jí)，無(wú)法捕捉毫秒級(jí)的神經(jīng)活動(dòng)。當(dāng)前版本尚未整合觸覺(jué)和嗅覺(jué)數(shù)據(jù)，在感官維度覆蓋上存在不足。研究團(tuán)隊(duì)已開(kāi)源模型代碼與權(quán)重，未來(lái)計(jì)劃探索其在實(shí)驗(yàn)設(shè)計(jì)優(yōu)化、類腦AI架構(gòu)開(kāi)發(fā)及腦疾病診斷等領(lǐng)域的應(yīng)用價(jià)值。