在深圳南山區(qū)舉辦的阿里云通義智能硬件展上，一款集成了多模態(tài)交互能力的開發(fā)套件正式亮相。該套件融合了千問、萬相、百聆三大通義基礎(chǔ)大模型，并預(yù)置了覆蓋生活休閑與工作效率領(lǐng)域的十余款智能工具，支持語音交互、視覺識(shí)別、邏輯推理及物理世界互動(dòng)，可廣泛應(yīng)用于AI眼鏡、學(xué)習(xí)設(shè)備、陪伴機(jī)器人等智能硬件場景。

據(jù)現(xiàn)場介紹，這款開發(fā)套件通過降低技術(shù)門檻、提升響應(yīng)速度和拓展應(yīng)用場景，為硬件廠商提供了完整的解決方案。例如在AI眼鏡領(lǐng)域，基于千問VL視覺語言模型與百聆CosyVoice語音技術(shù)，阿里云構(gòu)建了從感知到執(zhí)行的完整交互鏈路，實(shí)現(xiàn)了同聲傳譯、拍照翻譯、多模態(tài)備忘錄等實(shí)用功能，有效解決了傳統(tǒng)設(shè)備交互生硬、信息處理效率低的問題。用戶佩戴設(shè)備后，可通過語音指令完成復(fù)雜操作，系統(tǒng)還能自動(dòng)記錄關(guān)鍵信息并生成結(jié)構(gòu)化備忘。

針對(duì)家庭陪伴場景，阿里云展示了基于多模態(tài)套件的機(jī)器人解決方案。該系統(tǒng)通過實(shí)時(shí)環(huán)境感知與異常行為監(jiān)測，可主動(dòng)推送安全預(yù)警信息；用戶不僅能通過自然語言與設(shè)備對(duì)話，還能通過關(guān)鍵詞檢索歷史視頻片段，實(shí)現(xiàn)精準(zhǔn)的內(nèi)容回溯。現(xiàn)場演示中，機(jī)器人根據(jù)用戶指令快速定位到特定時(shí)間段的監(jiān)控畫面，并同步調(diào)取相關(guān)環(huán)境數(shù)據(jù)，展現(xiàn)了多模態(tài)交互在復(fù)雜場景中的協(xié)同能力。

展覽現(xiàn)場還設(shè)置了互動(dòng)體驗(yàn)區(qū)，觀眾可近距離觀察機(jī)器人制作咖啡的全過程。從識(shí)別指令、規(guī)劃動(dòng)作到精準(zhǔn)操作設(shè)備，機(jī)器人通過多模態(tài)交互系統(tǒng)展現(xiàn)了類人化的服務(wù)能力。技術(shù)人員介紹，這類具身智能設(shè)備未來可擴(kuò)展至醫(yī)療護(hù)理、教育輔導(dǎo)等領(lǐng)域，通過持續(xù)學(xué)習(xí)用戶習(xí)慣優(yōu)化服務(wù)模式。