【ZiDongHua之創(chuàng)新自化成收錄關鍵詞：機器人 機器學習 斯坦福大學】
 
　　CoRL 2024|谷歌DeepMind、Meta與Franka Robotics共探機器人學習領域新突破！
 
　　機器人學習會議CoRL(Conference on Robot Learning)是一年一度的國際會議，會議重點討論機器人和機器學習的交叉學科。今年于11月6日至9日在德國慕尼黑盛大舉行，吸引了眾多機器人界專業(yè)人士及同行業(yè)伙伴參觀并聆聽學術成果的發(fā)表！
 
　　谷歌DeepMind、Meta、英偉達、Amazon Robotics等多家知名科技公司贊助并出席CoRL。Franka Robotics作為世界級一流機器人研究平臺也贊助并出席了這一盛會，見證了多個大學及研究機構的學者們借助Franka Robotics機械臂發(fā)表的學術成果，包括視覺語言模型、遙操作、機械手開發(fā)等創(chuàng)新方向。讓我們來一探究竟吧！
 
　　01
 
　　AHA-用于檢測機器人操控故障的視覺語言模型
 
　　由Jiafei Duan領導，華盛頓大學及英偉達等機構的學者們聯(lián)合發(fā)表的AHA，是一個專門為機器人任務失敗檢測和推理設計的視覺語言模型。它通過自然語言識別并解釋機器人的操作失敗情況。在訓練過程中，AHA使用了FailGen生成的大規(guī)模失敗軌跡數(shù)據(jù)集，該數(shù)據(jù)集通過模擬擾動生成失敗示例。AHA不僅在模擬中表現(xiàn)出色，還能在真實世界中推廣，顯著提升機器人任務的成功率和錯誤修復能力。該模型能幫助改進任務規(guī)劃、激勵函數(shù)及子任務驗證，從而增強機器人操作的穩(wěn)定性和效率。
 
 
　　更多項目詳情在論文：AHA:https://aha-vlm.github.io/
 
　　更多團隊成果：Manipulate-Anything:https://robot-ma.github.io/
 
　　Robo-Point:https://robo-point.github.io/
 
　　02
 
　　SkillGen-高效技能學習與部署的自動化示范生成
 
　　由英偉達團隊發(fā)布的SkillGen，是一種自動化演示生成系統(tǒng)。用于幫助機器人高效學習和執(zhí)行復雜技能。只需少量人類演示數(shù)據(jù)，SkillGen便自主生成大量演示動作，并適應不同場景。這些數(shù)據(jù)訓練的機器人可以執(zhí)行多種操作任務，展現(xiàn)出高成功率。SkillGen還支持仿真到真實的零樣本遷移，使機器人在復雜環(huán)境中靈活適應，顯著減少人力需求。
 
 
　　更多項目詳情在論文:https://skillgen.github.io/
 
　　03
 
　　ManipGen-局部策略實現(xiàn)零樣本長時間操控
 
　　由卡耐基梅隆大學及蘋果團隊聯(lián)合發(fā)布的ManipGen，是一項創(chuàng)新研究，旨在讓機器人更靈活地完成復雜多步任務。傳統(tǒng)機器人往往難以適應新的物體和環(huán)境，需要大量人工演示。而ManipGen通過“局部策略”進行操作規(guī)劃，使機器人在不依賴新示例的情況下完成一系列分步任務。它結合視覺、語言和運動規(guī)劃，賦予機器人對物體和場景的理解能力，因此可以在復雜場景中更自主地行動。實驗表明，ManipGen在任務執(zhí)行中表現(xiàn)優(yōu)異，尤其適合不同物體和場景的復雜操作任務。
 
 
　　更多項目詳情在論文:https://mihdalal.github.io/manipgen/
 
　　04
 
　　PointFlowMatch-從點云中學習機器人操控策略的條件流匹配方法
 
　　由德國弗萊堡大學計算機科學團隊提出的一種名為PointFlowMatch的新方法，用于從點云數(shù)據(jù)中學習機器人操控策略。通過條件流匹配（CFM）技術，PointFlowMatch可以生成機器人長時間、多階段的操作路徑，并適應多種任務情境。實驗表明，該方法在RLBench測試任務中的成功率達到了67.8%，是現(xiàn)有最佳方法的兩倍。該技術為機器人學習復雜操控任務提供了更靈活和高效的解決方案。
 
　　更多項目詳情在論文：http://pointflowmatch.cs.uni-freiburg.de/
 
　　05
 
　　Get a Grip-多指抓取算法穩(wěn)定實現(xiàn)模擬到現(xiàn)實的遷移
 
　　由斯坦福大學和加州理工學院學者聯(lián)合發(fā)明了一種新方法Get a Grip，通過使用判別模型評估抓取來實現(xiàn)多指抓取穩(wěn)定模擬到現(xiàn)實轉移。并發(fā)布了一個包含350萬次抓取的大型數(shù)據(jù)集，涵蓋了各種不同的抓取示例以及相應的感知數(shù)據(jù)。通過這個數(shù)據(jù)集訓練抓取評估，研究表明其性能超越了現(xiàn)有的生成模型，尤其在現(xiàn)實環(huán)境中的表現(xiàn)更加優(yōu)秀。研究結果也表明，數(shù)據(jù)的規(guī)模對實驗成功產(chǎn)生重大作用。
 
　　更多項目詳情在論文：https://arxiv.org/abs/2410.23701
 
　　06
 
　　Vocal Sandbox-語音指令教機器人執(zhí)行任務
 
　　由斯坦福大學學者們開發(fā)的Vocal Sandbox項目，提出了一個新框架，用于實時的人機協(xié)作，能夠讓機器人從人類的多種輸入中持續(xù)學習和適應，包括語音指令、視覺演示和物理引導。該框架旨在提高機器人響應性，使其能夠?qū)W習復雜任務并適應不同的環(huán)境。用戶可以逐步教會機器人多層次技能，從簡單的操作到更高級的規(guī)劃行為，這些技能都可以在不同任務中重復使用。
 
　　在禮品包裝組裝和定格動畫制作的測試中，Vocal Sandbox表現(xiàn)出顯著的易用性提升，減少了22%的訓練時間，讓非專業(yè)用戶也能高效地教會機器人物體操作和復雜的運動技能。