在具身智能領(lǐng)域持續(xù)發(fā)力的京東，于近日舉辦了一場(chǎng)備受矚目的生態(tài)發(fā)布會(huì)，正式推出具身智能數(shù)據(jù)基礎(chǔ)設(shè)施全景圖，涵蓋“采、存、標(biāo)、訓(xùn)、評(píng)、仿、測(cè)”全流程，同時(shí)亮相了自研超高清采集終端JoyEgoCam、具身大模型JoyAI-RA以及具身智能數(shù)據(jù)交易平臺(tái)等創(chuàng)新成果。

當(dāng)前，具身智能正加速向應(yīng)用場(chǎng)景滲透，但高質(zhì)量、強(qiáng)可用性且源于真實(shí)場(chǎng)景交互的數(shù)據(jù)匱乏，成為制約其發(fā)展的關(guān)鍵因素。硬件標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)采集流程分散，導(dǎo)致采集到的數(shù)據(jù)難以直接用于模型訓(xùn)練。數(shù)據(jù)、硬件、算力和模型之間的協(xié)同問題，使得具身智能的實(shí)際應(yīng)用效果受限，甚至被調(diào)侃“只能看機(jī)器人翻跟頭、轉(zhuǎn)手絹”。

京東憑借其在供應(yīng)鏈領(lǐng)域的深厚積累，試圖通過搭建和使用相關(guān)基礎(chǔ)設(shè)施，打通從數(shù)據(jù)采集到模型測(cè)試的全流程閉環(huán)。京東希望將原始雜亂的數(shù)據(jù)轉(zhuǎn)化為驅(qū)動(dòng)模型進(jìn)化的高價(jià)值“數(shù)據(jù)燃料”，推動(dòng)具身智能在零售、物流、工業(yè)、健康等場(chǎng)景實(shí)現(xiàn)規(guī)模化商業(yè)落地，構(gòu)建屬于自己的“具身智能超級(jí)供應(yīng)鏈”。

為實(shí)現(xiàn)這一目標(biāo)，京東計(jì)劃發(fā)動(dòng)大規(guī)模數(shù)據(jù)采集行動(dòng)。未來兩年內(nèi)，將動(dòng)員最多60萬人參與，積累1000萬小時(shí)人類真實(shí)場(chǎng)景視頻數(shù)據(jù)。參與人員包括超過10萬京東員工和50萬外部協(xié)作人員，涵蓋京東線下零售業(yè)態(tài)的店員、京東物流的快遞員、京東家政的保潔人員等。據(jù)了解，除提供采集設(shè)備外，京東現(xiàn)階段還會(huì)為這些采集人員提供一定報(bào)酬。

京東集團(tuán)副總裁、京東云基礎(chǔ)云業(yè)務(wù)總經(jīng)理龔義成在發(fā)布會(huì)上指出，當(dāng)前數(shù)據(jù)采集面臨諸多難點(diǎn)。首要問題是如何找到對(duì)具身模型有用、可定義且可規(guī)模化的數(shù)據(jù)，采集的數(shù)據(jù)維度至關(guān)重要。其次是大規(guī)模數(shù)據(jù)處理，這涉及較強(qiáng)的技術(shù)性和成本控制。還需考慮模型數(shù)據(jù)的飛輪效應(yīng)，確保數(shù)據(jù)對(duì)模型有效。

此次發(fā)布的可穿戴式超高清采集終端JoyEgoCam成為一大亮點(diǎn)。該設(shè)備配備4K高清攝像頭，支持60幀幀率和130度超廣角拍攝，可毫秒級(jí)捕捉動(dòng)作細(xì)節(jié)，重投影誤差小于0.2像素。整機(jī)重220克，內(nèi)置車規(guī)級(jí)6軸IMU與多傳感器融合單元，實(shí)現(xiàn)“即戴即采”，讓普通人也能完成專業(yè)級(jí)數(shù)據(jù)采集。未來，京東還將拓展手部、肢體乃至整個(gè)動(dòng)態(tài)軌跡的數(shù)據(jù)采集。

采集后的數(shù)據(jù)進(jìn)入上傳和加工階段。數(shù)據(jù)匯入AI數(shù)據(jù)湖平臺(tái)后，憑借PB級(jí)吞吐能力自動(dòng)完成清洗、對(duì)齊、轉(zhuǎn)換與預(yù)標(biāo)注，轉(zhuǎn)化為標(biāo)準(zhǔn)訓(xùn)練集。JoyBuilder仿真平臺(tái)可批量生成高逼真仿真數(shù)據(jù)，實(shí)現(xiàn)人類操作數(shù)據(jù)、仿真操作數(shù)據(jù)和真機(jī)操作數(shù)據(jù)的高效增值轉(zhuǎn)換與泛化擴(kuò)增。治理后的數(shù)據(jù)匯聚至JoyBuilder模型開發(fā)平臺(tái)，自研AI算子矩陣貫穿數(shù)據(jù)去畸變、語義描述、深度重建等環(huán)節(jié)。目前，京東日處理數(shù)據(jù)量達(dá)數(shù)十萬條，數(shù)據(jù)有效率達(dá)95%，整體處理成本降低60%。

模型與數(shù)據(jù)相互促進(jìn)，模型反哺數(shù)據(jù)標(biāo)注與采集，數(shù)據(jù)質(zhì)量越高，模型迭代效率與精度越高。以自采數(shù)據(jù)為核心訓(xùn)練的京東具身大模型JoyAI-RA，在真機(jī)實(shí)驗(yàn)上成功率達(dá)到73.5%。

同步上線的京東具身智能數(shù)據(jù)交易平臺(tái)，匯聚了京東業(yè)務(wù)場(chǎng)景下的多模態(tài)數(shù)據(jù)資源，支持?jǐn)?shù)據(jù)方、開發(fā)者、應(yīng)用方多方協(xié)同。平臺(tái)首批定向開放2000小時(shí)高精標(biāo)注數(shù)據(jù)集，技術(shù)社區(qū)也即將上線，為具身智能領(lǐng)域的發(fā)展提供更多支持與便利。