【ZiDongHua 之自動(dòng)化學(xué)院派收錄關(guān)鍵詞： 機(jī)器人 人工智能  智慧城市 大模型】
　　
　　創(chuàng)新成果·北京大學(xué)機(jī)器人領(lǐng)域前沿進(jìn)展（2024年第8期）
　　
　　前言
　　
　　專欄介紹：
　　
　　北大創(chuàng)新評(píng)論“創(chuàng)新成果”專欄聚焦科學(xué)家、青年學(xué)者、產(chǎn)業(yè)專家及相關(guān)團(tuán)隊(duì)的最新科技成果轉(zhuǎn)化孵化成果展示，共建產(chǎn)學(xué)研用交流互動(dòng)、深度融合、協(xié)同創(chuàng)新的一體化平臺(tái)，引領(lǐng)未來(lái)產(chǎn)業(yè)應(yīng)用發(fā)展。歡迎關(guān)注《北大創(chuàng)新評(píng)論》，了解“創(chuàng)新成果”最新動(dòng)向和資訊。
　　
　　本期專欄匯編了機(jī)器人研究領(lǐng)域的最新進(jìn)展，涵蓋了從研發(fā)具有多種運(yùn)動(dòng)模態(tài)的軟體兩棲機(jī)器人、結(jié)合大模型指導(dǎo)機(jī)器人操作各類家電家具、推出兩棲光伏清洗機(jī)器人到打結(jié)人工肌肉用于生物模擬驅(qū)動(dòng)的深水應(yīng)用等多個(gè)重要研究。
　　
　　01
　　
　　北京大學(xué)、斯坦福大學(xué)與智源人工智能研究院合作研究：結(jié)合大模型指導(dǎo)機(jī)器人操作各類家電家具
　　
　　
　　
　　近日，PaLM-E 和 GPT-4V 帶動(dòng)了圖文大模型在機(jī)器人任務(wù)規(guī)劃中的應(yīng)用，視覺(jué)語(yǔ)言引導(dǎo)下的泛化機(jī)器人操控成為了熱門研究領(lǐng)域。近期由斯坦福大學(xué)的 Leonidas Guibas 教授、北京大學(xué)的王鶴教授團(tuán)隊(duì)，與智源人工智能研究院合作完成了一個(gè)三維具身圖文大模型系統(tǒng)。該系統(tǒng)將基于三維視覺(jué)的精準(zhǔn)幾何感知模型與擅長(zhǎng)規(guī)劃的二維圖文大模型結(jié)合了起來(lái)，無(wú)需樣本數(shù)據(jù)，即可解決與家具家電有關(guān)的復(fù)雜長(zhǎng)程任務(wù)。該研究的主要亮點(diǎn)如下：
　　
　　1.在系統(tǒng)設(shè)計(jì)方面：在之前研究的基礎(chǔ)上，研究團(tuán)隊(duì)創(chuàng)造性地將基于三維視覺(jué)的 GAPart 引入了機(jī)器人的物體操控系統(tǒng) SAGE 。SAGE 構(gòu)成了首個(gè)三維具身圖文大模型系統(tǒng)，為機(jī)器人從感知、物理交互再到反饋的全鏈路提供了新思路，為機(jī)器人能夠智能、通用地操控家具家電等復(fù)雜物體探尋了一條可行的道路。
　　
　　2.在交互反饋方面：在實(shí)驗(yàn)進(jìn)行到一半時(shí)，研究團(tuán)隊(duì)只使用了一個(gè)初始觀測(cè)來(lái)生成開環(huán)交互。這時(shí)，他們引入了一種機(jī)制，可以進(jìn)一步利用在互動(dòng)過(guò)程中獲得的觀測(cè)結(jié)果，更新感知結(jié)果并相應(yīng)調(diào)整操作。為了實(shí)現(xiàn)這一目標(biāo)，研究團(tuán)隊(duì)為互動(dòng)過(guò)程中引入了一個(gè)兩部分的反饋機(jī)制。但在首次觀測(cè)的感知過(guò)程中可能出現(xiàn)遮擋和估算錯(cuò)誤。為了解決這些問(wèn)題，研究者們進(jìn)而提出了一個(gè)模型，利用交互式觀測(cè) (Interactive Perception) 來(lái)增強(qiáng)操作。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　本研究通過(guò)創(chuàng)新性地將基于三維視覺(jué)的GAPart集成到機(jī)器人物體操控系統(tǒng)SAGE中，顯著提升了機(jī)器人在物體識(shí)別和操作方面的智能水平。SAGE系統(tǒng)能夠?qū)崿F(xiàn)泛化的三維零件檢測(cè)和精確的位姿估計(jì)，克服了以往二維圖像模型在計(jì)算精度和推理能力上的局限，為VLM和LLM提供了更為豐富和準(zhǔn)確的信息。
　　
　　該研究開發(fā)的新方法不僅在決策層面增強(qiáng)了機(jī)器人的理解能力和問(wèn)題解決能力，而且在執(zhí)行層面展示了基于GAPart位姿的強(qiáng)大物理操作能力，實(shí)現(xiàn)了對(duì)不同零件的泛化性操作。這些進(jìn)展使SAGE成為首個(gè)具身的三維圖文大模型系統(tǒng)，為機(jī)器人從感知、物理交互到反饋的全鏈路操作提供了新思路，推動(dòng)了機(jī)器人在智能家居、家電操控等領(lǐng)域的應(yīng)用，向通用性和智能化邁出了重要一步。
　　
　　02
　　
　　楊槐團(tuán)隊(duì)研究項(xiàng)目“打結(jié)人工肌肉用于生物模擬驅(qū)動(dòng)的深水應(yīng)用”取得重大突破
　　
　
　　
　　隨著深海探索需求增加，研發(fā)能適應(yīng)極端水壓的高效水下機(jī)器人變得迫切。傳統(tǒng)驅(qū)動(dòng)技術(shù)在深水環(huán)境中性能受限。為提升能源效率和設(shè)備可靠性，科研者借鑒軟體動(dòng)物的肌肉機(jī)制，發(fā)展出仿生的“打結(jié)人工肌肉”技術(shù)，以實(shí)現(xiàn)柔韌且高效的深海驅(qū)動(dòng)解決方案。近日，由北京大學(xué)材料科學(xué)與工程學(xué)院楊槐團(tuán)隊(duì)領(lǐng)銜的研究項(xiàng)目“打結(jié)人工肌肉用于生物模擬驅(qū)動(dòng)的深水應(yīng)用”取得了重大突破。主要研究成果如下：
　　
　　1.創(chuàng)新打結(jié)人工肌肉結(jié)構(gòu)：人造肌肉由三維打印液晶彈性纖維和加熱細(xì)線編織而成。經(jīng)數(shù)值模擬和實(shí)驗(yàn)驗(yàn)證，這種獨(dú)特的分層編織結(jié)結(jié)構(gòu)可提供更大的線性沖程、力速率和損傷耐受性。
　　
　　2. 發(fā)現(xiàn)其重要特性：方形編結(jié)人工肌肉在水下 3000 米深處以 1 赫茲的頻率顯示出可靠的驅(qū)動(dòng)周期。通過(guò)推動(dòng)模型船，展示了其潛在應(yīng)用。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　這項(xiàng)成果不僅解決了傳統(tǒng)驅(qū)動(dòng)技術(shù)在深海應(yīng)用中的局限性，還為構(gòu)建輕量、智能、高適應(yīng)性的水下機(jī)器人提供了全新的動(dòng)力源。憑借其高效能量轉(zhuǎn)換、快速響應(yīng)、自我修復(fù)及生物相容性等多重優(yōu)勢(shì)，打結(jié)人工肌肉有望重塑深海探測(cè)設(shè)備的設(shè)計(jì)理念，推動(dòng)深?？蒲?、資源勘探、環(huán)境保護(hù)乃至深海救援等領(lǐng)域?qū)崿F(xiàn)技術(shù)跨越。未來(lái)，隨著材料科學(xué)與仿生工程技術(shù)的進(jìn)一步發(fā)展，打結(jié)人工肌肉有望實(shí)現(xiàn)更大規(guī)模的生產(chǎn)與更廣泛的應(yīng)用場(chǎng)景拓展。
　　
　　03
　　
　　謝廣明研究團(tuán)隊(duì)推出具有多種運(yùn)動(dòng)模態(tài)的軟體兩棲機(jī)器人
　　
　
　　
　　在兩棲機(jī)器人的領(lǐng)域中，剛體兩棲機(jī)器人與軟體兩棲機(jī)器人各自占據(jù)一席之地。剛體兩棲機(jī)器人以其堅(jiān)固的結(jié)構(gòu)和穩(wěn)定的性能，能夠在一定程度上適應(yīng)不同的環(huán)境。而軟體兩棲機(jī)器人則憑借其能夠主動(dòng)或被動(dòng)地根據(jù)周圍環(huán)境調(diào)整自身形態(tài)更好適應(yīng)各種復(fù)雜地形環(huán)境，以及具有固有柔順性的獨(dú)特優(yōu)勢(shì)，在任務(wù)執(zhí)行中展現(xiàn)出高效率，在生態(tài)敏感區(qū)域應(yīng)用中表現(xiàn)出高潛力。但同時(shí)，軟體兩棲機(jī)器人在實(shí)現(xiàn)高機(jī)動(dòng)性和多地形適應(yīng)能力方面仍然面臨巨大挑戰(zhàn)。前不久，來(lái)自北京大學(xué)工學(xué)院謝廣明教授團(tuán)隊(duì)的研究人員受果蠅幼蟲和海蛞蝓獨(dú)特的運(yùn)動(dòng)模式啟發(fā)，提出了一種基于塑料片增強(qiáng)的薄膜氣動(dòng)驅(qū)動(dòng)器的軟體兩棲機(jī)器人。該研究的主要亮點(diǎn)如下：
　　
　　1.在系統(tǒng)設(shè)計(jì)方面：這款機(jī)器人的運(yùn)動(dòng)核心是由四層薄型氣動(dòng)執(zhí)行器組成的驅(qū)動(dòng)系統(tǒng)。與其他研究中使用的薄型氣動(dòng)執(zhí)行器不同，本研究中，研究人員對(duì)傳統(tǒng)設(shè)計(jì)進(jìn)行了改進(jìn)。通過(guò)在兩個(gè)腔室之間嵌入一片不可拉伸的塑料片研究人員實(shí)現(xiàn)了對(duì)執(zhí)行器彎曲形態(tài)的限制，并顯著提升了機(jī)器人的輸出扭矩。更為關(guān)鍵的是，同時(shí)，這片塑料片可以在機(jī)器人身體彎曲時(shí)能夠儲(chǔ)存能量，一旦釋放，這些能量將有助于機(jī)器人在隨后身體展平時(shí)實(shí)現(xiàn)更遠(yuǎn)的跳躍距離。這種將柔軟薄膜與半剛性塑料片相結(jié)合的設(shè)計(jì)理念，為機(jī)器人提供了執(zhí)行連續(xù)跳躍和游動(dòng)所需的靈活性與強(qiáng)度。通過(guò)身體交替的彎曲和展平動(dòng)作，該機(jī)器人在陸地上實(shí)現(xiàn)了最高移動(dòng)速度1.77BL/s，而在水中則達(dá)到了最高游動(dòng)速度0.69BL/s，其性能均超越了現(xiàn)有的軟體兩棲機(jī)器人。
　　
　　2.借鑒果蠅幼蟲跳躍機(jī)制優(yōu)化機(jī)器人設(shè)計(jì)：通過(guò)對(duì)果蠅幼蟲彎曲狀態(tài)進(jìn)行觀察，研究人員發(fā)現(xiàn)憑借尾部曲率大于頭部曲率的獨(dú)特結(jié)構(gòu)，果蠅幼蟲保證了向前的跳躍運(yùn)動(dòng)。借鑒這一自然智慧，研究人員在機(jī)器人設(shè)計(jì)中加入了一對(duì)側(cè)鰭，以用來(lái)限制機(jī)器人頭部彎曲，這一設(shè)計(jì)細(xì)節(jié)確保了在身體彎曲時(shí)，機(jī)器人能夠尾部與地面充分接觸，從而幫助其實(shí)現(xiàn)更穩(wěn)定地向前跳躍。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　該研究展示的軟體兩棲機(jī)器人設(shè)計(jì)具備卓越的多地形適應(yīng)性和多樣化運(yùn)動(dòng)能力，顯著提高了機(jī)器人在復(fù)雜環(huán)境中的機(jī)動(dòng)性和靈活性。能夠有效適應(yīng)斜坡、障礙、臺(tái)階以及不同質(zhì)地的地面如泥地、沙地和礫石等，使其能夠在多變的地形中執(zhí)行任務(wù)，這一點(diǎn)對(duì)于搜索與救援、戰(zhàn)場(chǎng)偵察和環(huán)境監(jiān)測(cè)等領(lǐng)域至關(guān)重要。多種運(yùn)動(dòng)模態(tài)，包括在陸地和水生環(huán)境中的前進(jìn)、后退、轉(zhuǎn)彎、自翻等動(dòng)作，增加了機(jī)器人的適用場(chǎng)景和操作復(fù)雜度。高跳躍速度和游泳速度指標(biāo)表明了其優(yōu)越的運(yùn)動(dòng)效率，突破了以往軟體兩棲機(jī)器人的速度限制，為未來(lái)高速、高效軟體機(jī)器人的設(shè)計(jì)和應(yīng)用提供了新的視角和技術(shù)參考。
　　
　　04
　　
　　北大智慧城市實(shí)驗(yàn)室發(fā)布D2PV智慧終端及兩棲光伏清洗機(jī)器人
 
　　傳統(tǒng)的人工清洗方式存在諸多問(wèn)題，包括成本高、周期長(zhǎng)、效率低、水資源浪費(fèi)嚴(yán)重等。人工操作時(shí)，易受力不均勻影響，容易導(dǎo)致光伏電板刮痕或隱裂。尤其是水洗過(guò)程中，無(wú)法精確掌控水壓變化，高水壓雖然有助于提高清洗效果，但也可能對(duì)光伏電板造成不良沖擊。為解決這些問(wèn)題，北大智慧城市實(shí)驗(yàn)室提出了采用D2PV智慧終端及兩棲光伏清洗機(jī)器人。這一創(chuàng)新解決方案不僅提高了清洗效率，降低了維護(hù)成本，還能夠避免傳統(tǒng)清洗方式可能導(dǎo)致的光伏電板損害和安全風(fēng)險(xiǎn)。該研究的創(chuàng)新設(shè)計(jì)如下：
　　
　　1.數(shù)據(jù)采集：收集光伏板的性能數(shù)據(jù)，如電壓、電流和溫度。這有助于實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的運(yùn)行狀況，提供基礎(chǔ)數(shù)據(jù)用于優(yōu)化和故障排除。
　　
　　2.遠(yuǎn)程監(jiān)控：通過(guò)互聯(lián)網(wǎng)實(shí)現(xiàn)遠(yuǎn)程監(jiān)控，使用戶能夠隨時(shí)隨地查看太陽(yáng)能系統(tǒng)的狀態(tài)。這提高了系統(tǒng)管理的靈活性和便利性。
　　
　　3.性能優(yōu)化：自動(dòng)調(diào)整設(shè)置以最大化能源產(chǎn)出，可能包括調(diào)節(jié)光伏板的角度、管理電池存儲(chǔ)等。這有助于提高太陽(yáng)能系統(tǒng)的效率。
　　
　　4.故障診斷：識(shí)別系統(tǒng)中的問(wèn)題并發(fā)出警報(bào)，使運(yùn)維人員能夠及時(shí)采取措施，降低維護(hù)成本和系統(tǒng)停機(jī)時(shí)間。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　本研究開發(fā)的無(wú)人機(jī)技術(shù)，通過(guò)其技術(shù)的通用性和適應(yīng)性，成功擴(kuò)展了應(yīng)用范圍，不僅限于建筑領(lǐng)域。隨著對(duì)自動(dòng)化和智能化解決方案的需求不斷增長(zhǎng)，我們持續(xù)推動(dòng)無(wú)人機(jī)技術(shù)的創(chuàng)新，致力于提升其智能水平。在光伏領(lǐng)域，推出的D2PV智慧終端和兩棲光伏清洗機(jī)器人代表了我們?cè)诟咝?、智能清洗解決方案上的最新突破。這些創(chuàng)新不僅延續(xù)了無(wú)人機(jī)在建筑清洗領(lǐng)域的成功，而且開啟了無(wú)人機(jī)在光伏板清洗市場(chǎng)的廣泛應(yīng)用，顯著提升了無(wú)人機(jī)在各類清洗作業(yè)中的重要性。這種多用途和全面化的技術(shù)演進(jìn)，為無(wú)人機(jī)在未來(lái)多個(gè)行業(yè)中的應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)，并有潛力進(jìn)一步推動(dòng)整個(gè)無(wú)人駕駛技術(shù)產(chǎn)業(yè)的發(fā)展。
　　
　　05
　　
　　董豪團(tuán)隊(duì)發(fā)布最新具身大模型研究成果“ManipLLM”
　　
　　只靠一張物體圖片，大語(yǔ)言模型就能控制機(jī)械臂完成各種日常物體操作嗎？北大最新具身大模型研究成果ManipLLM將這一愿景變成了現(xiàn)實(shí)：在提示詞的引導(dǎo)下，大語(yǔ)言模型在物體圖像上直接預(yù)測(cè)機(jī)械臂的操作點(diǎn)和方向。該方法利用LLM的推理和面對(duì)開放世界的泛化能力，成功提升了模型在物體操縱方面的泛化能力。其研究?jī)?nèi)容如下：
　　
　　1.大語(yǔ)言模型助力通用操縱：大多的具身操縱工作主要依賴大語(yǔ)言模型的推理能力來(lái)進(jìn)行任務(wù)編排和規(guī)劃。然而，鮮有研究探索大語(yǔ)言模型在實(shí)現(xiàn)低層原子任務(wù)（low-level action）方面的潛力。因此，該方法致力于探索和激發(fā)大語(yǔ)言模型在預(yù)測(cè)低層原子任務(wù)的能力，從而實(shí)現(xiàn)對(duì)更多類別物體的以物體為中心（object-centric）的通用操縱。具體而言，通過(guò)以下三個(gè)學(xué)習(xí)階段，ManipLLM實(shí)現(xiàn)了具有泛化能力的以物體為中心的操縱
　　
　　2.閉環(huán)主動(dòng)式阻抗適應(yīng)策略的應(yīng)用：在獲得初始接觸姿態(tài)的輸出后，該方法利用一種無(wú)需學(xué)習(xí)的閉環(huán)主動(dòng)式阻抗適應(yīng)策略，來(lái)完成完整的操縱。它的作用是不斷地微調(diào)末端執(zhí)行器的旋轉(zhuǎn)方向，這樣就能夠靈活地適應(yīng)物體的形狀和軸向，從而逐步地完成對(duì)物體的操控任務(wù)。具體來(lái)說(shuō)，研究者會(huì)在當(dāng)前方向的周圍加入一些微小的變化，生成多個(gè)可能的移動(dòng)方向。然后會(huì)試著每個(gè)方向輕輕地移動(dòng)一下，看看哪個(gè)方向可以讓物體移動(dòng)最遠(yuǎn)，然后選擇這個(gè)方向作為下一步的移動(dòng)方向。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　ManipLLM將大語(yǔ)言模型的推理和泛化能力引入機(jī)械臂控制領(lǐng)域，實(shí)現(xiàn)了對(duì)各類日常物體的精確操控。這一技術(shù)不僅顯著提升了模型在未知環(huán)境中的泛化能力，還展現(xiàn)了其在多樣化任務(wù)執(zhí)行中的出色表現(xiàn)。此外，它簡(jiǎn)化了人機(jī)交互過(guò)程，使得非專業(yè)用戶也能輕松指導(dǎo)機(jī)械臂完成任務(wù)。ManipLLM的研究推動(dòng)了智能機(jī)器人領(lǐng)域的發(fā)展，特別是在家庭服務(wù)、醫(yī)療輔助和災(zāi)難救援等潛在應(yīng)用場(chǎng)景中，展現(xiàn)了巨大的應(yīng)用潛力，為智能機(jī)器人與人類生活更緊密結(jié)合提供了新的道路和技術(shù)基礎(chǔ)。
　　
　　06
　　
　　李學(xué)松教授上尿路修復(fù)團(tuán)隊(duì)發(fā)表三維重建導(dǎo)航輔助機(jī)器人輸尿管成形術(shù)治療腔靜脈后輸尿管的文章
 
　　腔靜脈后輸尿管（Retrocaval Ureter, RCU）又稱環(huán)繞腔靜脈輸尿管，是一種罕見的先天性發(fā)育畸形，輸尿管沿下腔靜脈后方繞行再回到正常位置，可引起輸尿管梗阻和腎積水。腔靜脈后輸尿管手術(shù)治療非常具有挑戰(zhàn)性，需要對(duì)下腔靜脈的后方和側(cè)面進(jìn)行廣泛且精細(xì)的解剖工作，稍有不慎可能造成大出血。近年來(lái)，由于體內(nèi)縫合簡(jiǎn)單且術(shù)中視野清晰，機(jī)器人手術(shù)在復(fù)雜輸尿管修復(fù)重建手術(shù)領(lǐng)域越來(lái)越受歡迎。本研究展示了近年來(lái)北大泌尿上尿路修復(fù)團(tuán)隊(duì)開展的三維重建導(dǎo)航輔助機(jī)器人輸尿管成形術(shù)治療腔靜脈后輸尿管的技術(shù)細(xì)節(jié)和隨訪結(jié)果，旨在為世界范圍內(nèi)的上尿路修復(fù)醫(yī)生提供經(jīng)驗(yàn)和參考，以治療更多受腔靜脈后輸尿管困擾的患者。主要研究?jī)?nèi)容如下：
　　
　　1.展示了該項(xiàng)手術(shù)的具體技術(shù)細(xì)節(jié)：包括患者體位、trocar布局和機(jī)器人對(duì)接位置，以及腔靜脈后輸尿管的定位、游離、離斷和體內(nèi)吻合等。
　　
　　2.證明其安全性：根據(jù)不同的手術(shù)類型和現(xiàn)有的臨床數(shù)據(jù)和隨訪結(jié)果，證明三維重建導(dǎo)航輔助機(jī)器人輸尿管成形術(shù)治療腔靜脈后輸尿管是安全且可行的。
　　
　　Application
　　
　　產(chǎn)業(yè)應(yīng)用
　　
　　這一技術(shù)的應(yīng)用不僅為腔靜脈后輸尿管的治療提供了一個(gè)創(chuàng)新的方法，還通過(guò)手術(shù)視頻使具體的操作步驟和治療策略得以廣泛傳播，提高了手術(shù)的透明度和可學(xué)習(xí)性。該研究的價(jià)值主要體現(xiàn)在以下幾個(gè)方面：
　　
　　1.技術(shù)創(chuàng)新：研究展示了三維重建導(dǎo)航技術(shù)結(jié)合機(jī)器人手術(shù)系統(tǒng)在治療腔靜脈后輸尿管中的應(yīng)用，代表了泌尿外科領(lǐng)域的一個(gè)重要技術(shù)突破。
　　
　　2.安全性和可行性：臨床數(shù)據(jù)和隨訪結(jié)果顯示了該技術(shù)的安全性和有效性，證實(shí)了其作為一種新的治療手段的潛力。
　　
　　3.教育貢獻(xiàn)：通過(guò)分享詳細(xì)的手術(shù)過(guò)程和技術(shù)要點(diǎn)，本研究為其他醫(yī)生學(xué)習(xí)和掌握這一先進(jìn)技術(shù)提供了實(shí)用的教育資源。
　　
　　4.推動(dòng)個(gè)性化醫(yī)療：研究介紹了針對(duì)不同類型的腔靜脈后輸尿管所采用的不同治療策略，展現(xiàn)了個(gè)體化治療的重要性和實(shí)踐應(yīng)用。
　　
　　5.改善患者預(yù)后：提供了一種新的治療選擇，有助于改善受腔靜脈后輸尿管問(wèn)題困擾的患者的治療效果和生活質(zhì)量。