在具身智能領(lǐng)域，視覺-語言-動作模型（VLA）作為一種新興范式，正逐漸嶄露頭角。該模型通過整合視覺信息、語言指令和行動決策，顯著提升了機(jī)器人對復(fù)雜環(huán)境的理解和適應(yīng)能力，為機(jī)器人從單一任務(wù)執(zhí)行向多樣化場景自主決策的轉(zhuǎn)變提供了強(qiáng)大支持。VLA因此成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)。

近期，雷峰網(wǎng)與AI科技評論GAIR Live品牌聯(lián)合舉辦了一場線上圓桌沙龍，主題為“具身智能之VLA的實(shí)踐與突破”。此次沙龍由北京大學(xué)計算機(jī)學(xué)院助理教授仉尚航主持，并邀請了清華大學(xué)交叉信息院的助理教授高陽、趙行，以及北京大學(xué)人工智能研究院的助理教授楊耀東，共同探討VLA的最新進(jìn)展和未來方向。

沙龍上，仉尚航首先引導(dǎo)討論了VLA的定義、起源及其與其他相關(guān)模型的區(qū)別。隨后，各位嘉賓深入分析了VLA的技術(shù)路線和新成果，探討了不同技術(shù)路線的優(yōu)缺點(diǎn)，并圍繞機(jī)器人常見任務(wù)，剖析了核心技術(shù)瓶頸和主流輸出范式。還討論了強(qiáng)化學(xué)習(xí)與VLA的結(jié)合、泛化能力的提升、異構(gòu)數(shù)據(jù)的利用以及協(xié)同訓(xùn)練等議題。

高陽指出，推理與數(shù)據(jù)是當(dāng)前VLA面臨的兩大核心挑戰(zhàn)。盡管已有不少研究探索了VLA與推理的結(jié)合路徑，但尚未找到最優(yōu)方案。同時，VLA的數(shù)據(jù)量級遠(yuǎn)不及訓(xùn)練大語言模型（VLM）的數(shù)據(jù)，且多樣性嚴(yán)重不足，這限制了模型的能力提升。趙行表示，VLA在實(shí)際應(yīng)用中的系統(tǒng)運(yùn)行頻率單一化問題，以及高低頻自適應(yīng)閉環(huán)系統(tǒng)的設(shè)計，仍是未解決的課題。楊耀東則提到，當(dāng)前VLA訓(xùn)練存在割裂問題，大腦（VLM）和小腦（底層策略模型）多分開訓(xùn)練，缺乏端到端訓(xùn)練及類似人類大小腦的雙向交互。

在討論VLA的前世今生時，高陽回顧了VLA的起源和發(fā)展，指出其源于大模型的技術(shù)變革。楊耀東則從大模型視角和行為動作決策控制視角闡述了VLA的重要性。趙行則分享了GPT-4發(fā)布對其研究方向的啟發(fā)，以及VLA在解決長尾問題上的潛力。

對于VLA的技術(shù)路線和最新進(jìn)展，高陽提到了架構(gòu)與數(shù)據(jù)兩方面的進(jìn)展，并強(qiáng)調(diào)了數(shù)據(jù)多樣性的重要性。楊耀東從模型架構(gòu)角度分類了VLA，并探討了行為動作空間的表征方式。趙行則關(guān)注雙系統(tǒng)設(shè)計，并介紹了不同團(tuán)隊(duì)在VLA方面的研究成果。

在探討VLA的核心技術(shù)瓶頸時，高陽強(qiáng)調(diào)推理和數(shù)據(jù)的挑戰(zhàn)，趙行提到高低頻自適應(yīng)閉環(huán)系統(tǒng)的設(shè)計難題，楊耀東則指出端到端訓(xùn)練和測試時計算閉環(huán)的缺乏。對于強(qiáng)化學(xué)習(xí)與VLA的結(jié)合，嘉賓們一致認(rèn)為這是VLA發(fā)展的必由之路，但仍面臨許多未解問題。

在數(shù)據(jù)使用方面，高陽強(qiáng)調(diào)數(shù)據(jù)的多樣性比絕對數(shù)量更重要，并介紹了千尋智能如何利用互聯(lián)網(wǎng)數(shù)據(jù)優(yōu)化VLA模型。楊耀東則提出，互聯(lián)網(wǎng)數(shù)據(jù)雖然豐富，但信噪比低，且對具體任務(wù)的適用性有限。趙行則認(rèn)為，仿真數(shù)據(jù)可以作為真實(shí)數(shù)據(jù)的補(bǔ)充，通過技術(shù)手段縮小sim to real gap。

對于VLA的泛化能力，嘉賓們提出了多種提升策略，包括利用大量互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練、創(chuàng)新模型架構(gòu)、實(shí)現(xiàn)具身認(rèn)知等。在探討VLA與本體構(gòu)型設(shè)計的關(guān)系時，嘉賓們認(rèn)為VLA模型與機(jī)器人本體沒有必然綁定，但硬件局限和VLA能力需相互匹配。

最后，關(guān)于VLA是否能完成長程任務(wù)，嘉賓們持不同觀點(diǎn)。高陽認(rèn)為，先通過VLM拆解任務(wù)再由VLA執(zhí)行是更實(shí)際的方法。楊耀東則強(qiáng)調(diào)VLA具備完成長程任務(wù)的潛力，并指出需賦予模型推理能力和測試時計算閉環(huán)。趙行則提出，需先定義和評測推理能力，再探索VLA在長程任務(wù)中的應(yīng)用。

在落地場景方面，嘉賓們一致認(rèn)為工業(yè)場景是VLA最先落地的選擇，但也提到了商業(yè)領(lǐng)域和ToBC模式等新場景的可能性。

此次圓桌沙龍為觀眾帶來了VLA領(lǐng)域的深入洞察和前沿思考，對于推動VLA技術(shù)的發(fā)展和應(yīng)用具有重要意義。