近日，上海創(chuàng)智學(xué)院與模思智能聯(lián)合推出的國(guó)內(nèi)首個(gè)開源高質(zhì)量音視頻同步生成模型MOVA引發(fā)行業(yè)熱議。這款模型不僅填補(bǔ)了國(guó)內(nèi)開源領(lǐng)域在音視頻生成基礎(chǔ)模型方面的空白，更以全棧開源的姿態(tài)為中小團(tuán)隊(duì)和學(xué)術(shù)研究提供了低成本落地的可能性。與此同時(shí)，字節(jié)跳動(dòng)發(fā)布的商用化模型Seedance2.0也因馬斯克在社交平臺(tái)X上的評(píng)價(jià)"發(fā)展速度太快了"而備受關(guān)注，兩大模型的差異化競(jìng)爭(zhēng)成為科技界焦點(diǎn)。

MOVA項(xiàng)目負(fù)責(zé)人、復(fù)旦大學(xué)計(jì)算與智能創(chuàng)新學(xué)院教授邱錫鵬在接受專訪時(shí)表示，MOVA與Seedance2.0雖同屬音畫一體生成技術(shù)，但在技術(shù)路線和應(yīng)用定位上存在顯著差異。從生成效果來看，MOVA支持最長(zhǎng)8秒、720p分辨率的視頻輸出，而Seedance2.0已實(shí)現(xiàn)15秒時(shí)長(zhǎng)與2K高清分辨率。但MOVA的核心優(yōu)勢(shì)在于其完全開源的特性——不僅開放了360p和720p兩個(gè)基礎(chǔ)模型，還公開了微調(diào)、推理、生成工作流等全鏈路組件，支持二次開發(fā)和本地部署，為動(dòng)漫、游戲等垂直場(chǎng)景提供了可定制化的技術(shù)底座。

這種開源策略與當(dāng)前行業(yè)主流的閉源模式形成鮮明對(duì)比。據(jù)介紹，全球音視頻生成領(lǐng)域中，包括Seedance2.0在內(nèi)的絕大多數(shù)模型均不公開技術(shù)細(xì)節(jié)，不提供模型文件下載，也不允許本地部署。邱錫鵬坦言："開源是MOVA與這些模型最大的不同。我們希望通過技術(shù)普惠吸引更多研究者參與，既推動(dòng)技術(shù)快速迭代，也助力國(guó)內(nèi)開源生態(tài)建設(shè)。"這種理念在其團(tuán)隊(duì)過往項(xiàng)目中已有體現(xiàn)——2023年2月發(fā)布的類ChatGPT對(duì)話模型MOSS，在兩個(gè)月后即成為國(guó)內(nèi)首個(gè)支持搜索、畫圖、計(jì)算等插件的開源對(duì)話模型。

在技術(shù)架構(gòu)上，MOVA采用了混合專家創(chuàng)新設(shè)計(jì)，在保證生成質(zhì)量的同時(shí)提升了推理效率。邱錫鵬將其團(tuán)隊(duì)定位為"挑戰(zhàn)者"："Seedance2.0代表商用導(dǎo)向的工業(yè)級(jí)投入，而MOVA更注重構(gòu)建開放社區(qū)。"這種定位背后是巨大的技術(shù)挑戰(zhàn)——音視頻模型的數(shù)據(jù)規(guī)模遠(yuǎn)超文本模型，且訓(xùn)練所需的底層基礎(chǔ)設(shè)施尚不完善。邱錫鵬透露，項(xiàng)目推進(jìn)過程中最大的困難在于算法層面缺乏可借鑒內(nèi)容，而數(shù)據(jù)工程能力也非高校和科研機(jī)構(gòu)的傳統(tǒng)強(qiáng)項(xiàng)。

突破這些瓶頸得益于上海創(chuàng)智學(xué)院"研創(chuàng)學(xué)"融合的育人模式。學(xué)院為學(xué)生提供參與重大項(xiàng)目的實(shí)戰(zhàn)機(jī)會(huì)，使原本缺乏人工智能基礎(chǔ)的學(xué)生在半年內(nèi)展現(xiàn)出創(chuàng)新能力。同時(shí)，學(xué)院孵化的模思智能憑借企業(yè)優(yōu)勢(shì)攻克了數(shù)據(jù)工程關(guān)鍵難題。這種產(chǎn)學(xué)研協(xié)同機(jī)制為MOVA的研發(fā)提供了重要支撐。據(jù)透露，MOVA1.5版本預(yù)計(jì)在3月底推出，性能將有顯著提升。