中國(guó)信通院、北郵與清華聯(lián)合發(fā)布開源具身智能操作系統(tǒng)
【ZiDongHua 之創(chuàng)新自科文收錄關(guān)鍵詞: 中國(guó)信通院 北京郵電大學(xué) 清華大學(xué) 具身智能 人工智能 機(jī)器人 具身智能操作系統(tǒng)】
中國(guó)信通院、北郵與清華聯(lián)合發(fā)布開源具身智能操作系統(tǒng)
具身智能是一種將人工智能深度融入機(jī)器人或其他物理實(shí)體中的顛覆性技術(shù),使它們能夠自主感知、學(xué)習(xí)并與環(huán)境進(jìn)行動(dòng)態(tài)互動(dòng)。未來(lái),具身智能技術(shù)賦能的機(jī)器人(或稱具身智能體)將無(wú)處不在。它可以是物流倉(cāng)庫(kù)中的自動(dòng)搬運(yùn)機(jī)器人、工廠里的機(jī)械臂、協(xié)助完成高精度手術(shù)操作的醫(yī)生助理、救火現(xiàn)場(chǎng)的消防員、幫助處理日常家務(wù)、照顧老人和兒童的家庭服務(wù)機(jī)器人。
當(dāng)前,定義一個(gè)全球化的具身智能軟硬件生態(tài)系統(tǒng)已變得迫在眉睫。在這一生態(tài)系統(tǒng)中,具身智能操作系統(tǒng)是核心要素。掌握這一基礎(chǔ)軟件架構(gòu)及其與硬件的接口標(biāo)準(zhǔn)者,將在未來(lái)十年內(nèi)主導(dǎo)具身智能領(lǐng)域的突破與進(jìn)步。尤其對(duì)我國(guó)而言,擁有自主可控的操作系統(tǒng)和中間件至關(guān)重要。傳統(tǒng)操作系統(tǒng)往往難以同時(shí)滿足具身智能體在實(shí)時(shí)性、安全性以及智能交互方面的需求。因此,具身智能技術(shù)的發(fā)展迫切需要在基礎(chǔ)軟件層面,特別是操作系統(tǒng)領(lǐng)域,夯實(shí)根基。這不僅能為具身感知、具身規(guī)劃和具身執(zhí)行等核心環(huán)節(jié)提供有力支持,還能促進(jìn)零配件及通信協(xié)議層面形成統(tǒng)一的事實(shí)標(biāo)準(zhǔn),加速行業(yè)的融合與發(fā)展。
中國(guó)信息通信研究院(以下簡(jiǎn)稱“中國(guó)信通院”)、北京郵電大學(xué)與清華大學(xué)聯(lián)合推出了一款面向智能機(jī)器人的開箱即用的具身智能操作系統(tǒng)——有形具身智能操作系統(tǒng),英文名為:Embodied Operating System(簡(jiǎn)稱“EOS”),并已經(jīng)于近期開源。有形具身智能操作系統(tǒng)(EOS)不同于國(guó)外知名機(jī)器人框架ROS,其不僅限于中間件層面的功能實(shí)現(xiàn),而是從操作系統(tǒng)內(nèi)核到中間件以及具身智能和空間智能算法庫(kù)進(jìn)行了全方位的設(shè)計(jì)和實(shí)現(xiàn),并支持了實(shí)時(shí)內(nèi)核。
圖1:有形具身智能操作系統(tǒng)(EOS)架構(gòu)圖
有形具身智能操作系統(tǒng)具備4個(gè)特點(diǎn)
一、有形具身智能操作系統(tǒng)(EOS)對(duì)國(guó)產(chǎn)芯片進(jìn)行了深度適配,強(qiáng)調(diào)自主可控和開源開放。目前,有形具身智能操作系統(tǒng)(EOS)的內(nèi)核為實(shí)時(shí)操作系統(tǒng)內(nèi)核RROS,基于RROS已完成對(duì)龍芯(Loongarch)指令集和RISC-V指令集的支持。這種深度適配不僅確保了操作系統(tǒng)能夠在各種國(guó)產(chǎn)硬件平臺(tái)上穩(wěn)定運(yùn)行,更能夠最大限度地發(fā)揮國(guó)產(chǎn)芯片的性能優(yōu)勢(shì)。通過(guò)自主可控的技術(shù)路線,EOS降低了對(duì)國(guó)外軟硬件技術(shù)的依賴,增強(qiáng)了技術(shù)安全性。此外,開源開放的特性使得開發(fā)者和企業(yè)能夠共同參與系統(tǒng)的開發(fā)和優(yōu)化,推動(dòng)形成一個(gè)充滿活力和創(chuàng)新的開源生態(tài)系統(tǒng)。
二、有形具身智能操作系統(tǒng)(EOS)是機(jī)器人應(yīng)用于新型工業(yè)化中所急需的基礎(chǔ)軟件。實(shí)時(shí)操作系統(tǒng)對(duì)于工業(yè)機(jī)器人和醫(yī)療機(jī)器人等對(duì)時(shí)間和精度有要求的場(chǎng)景至關(guān)重要,EOS通過(guò)集成RROS,賦予了Linux內(nèi)核實(shí)時(shí)化能力,確保機(jī)器人或具身智能體能夠安全、可靠地執(zhí)行實(shí)時(shí)任務(wù)。這一集成使得EOS具備了處理高實(shí)時(shí)性任務(wù)的能力,可以在微秒級(jí)響應(yīng)外部環(huán)境的變化,保證機(jī)器人在執(zhí)行復(fù)雜任務(wù)尤其是工業(yè)場(chǎng)景或多智能體協(xié)作時(shí)的精確度和安全性。實(shí)時(shí)化能力對(duì)工業(yè)機(jī)器人、自動(dòng)駕駛車輛和醫(yī)療機(jī)器人等需要快速反應(yīng)和高可靠性的應(yīng)用場(chǎng)景尤其重要,有助于實(shí)現(xiàn)更高水平的操作效率和任務(wù)安全。
三、有形具身智能操作系統(tǒng)(EOS)為開發(fā)者提供了一種低門檻的具身智能應(yīng)用開發(fā)范式。EOS期望通過(guò)簡(jiǎn)化的開發(fā)流程、豐富的中間件、獨(dú)立維護(hù)的具身智能和空間智能算法庫(kù)、公開的協(xié)作機(jī)制和平臺(tái),讓開發(fā)者可以輕松上手并迅速開始項(xiàng)目開發(fā)。具體來(lái)說(shuō),EOS計(jì)劃提供全聲明周期的開發(fā)支持套件,包括仿真軟件支持,實(shí)體硬件套裝,不僅可以縮短產(chǎn)品的研發(fā)周期,還大幅降低了開發(fā)成本,助力各類智能設(shè)備的創(chuàng)新與快速迭代,推動(dòng)具身智能生態(tài)圈的持續(xù)擴(kuò)展和成熟發(fā)展。同時(shí),EOS開發(fā)系統(tǒng)能夠支持多智能體協(xié)議,允許開發(fā)者輕松構(gòu)建和管理多個(gè)智能體之間的協(xié)作,使不同智能體能夠在復(fù)雜場(chǎng)景中高效協(xié)同工作。系統(tǒng)還會(huì)提供豐富的開發(fā)工具、預(yù)構(gòu)建的模塊和完善的技術(shù)文檔,幫助開發(fā)者快速構(gòu)建、測(cè)試和部署智能機(jī)器人和具身智能體應(yīng)用。并且,基于EOS提供的上下游機(jī)制和平臺(tái),可以讓具身智能相關(guān)軟硬件協(xié)同優(yōu)化,匯聚軟件算法、中間件、通信協(xié)議、實(shí)時(shí)內(nèi)核、底層硬件等上下游參與者。
四、有形具身智能操作系統(tǒng)(EOS)為具身智能體的用戶提供了AI原生的人機(jī)交互體驗(yàn)。機(jī)器人或具身智能體往往具備相比PC或手機(jī)更強(qiáng)的主動(dòng)性,普遍具備包括移動(dòng)、抓取等在內(nèi)的與真實(shí)世界交互的能力,這必將引發(fā)人機(jī)交互的新變革,因此迫切需要“具身智能原生”的操作系統(tǒng)。有形具身智能操作系統(tǒng)(EOS)通過(guò)支持語(yǔ)音識(shí)別、自然語(yǔ)言處理、視覺感知等多種交互方式,使用戶能夠以更加自然和直觀的方式與智能設(shè)備互動(dòng)。這種自然的交互方式打破了傳統(tǒng)設(shè)備依賴屏幕和觸控的限制,使得人與機(jī)器之間的溝通變得更加多樣化和沉浸式。通過(guò)有形具身智能操作系統(tǒng)(EOS),用戶不僅可以通過(guò)語(yǔ)音命令和手勢(shì)操控機(jī)器人,還能夠借助具身智能體的主動(dòng)性實(shí)現(xiàn)更復(fù)雜的任務(wù),如自主導(dǎo)航、環(huán)境感知、物體操作等。
當(dāng)前進(jìn)展與未來(lái)路線圖
一、目前進(jìn)展
有形具身智能操作系統(tǒng)(EOS)已在Github(https://github.com/EOS-team/EOS)和Gitee(https://gitee.com/LHY1999/EOS)開源,搭建了基于 Fedora-copr 的開源項(xiàng)目構(gòu)建和發(fā)布服務(wù)(http://eos.eaishow.com/)和獨(dú)立鏡像源,并開源了以3D人體姿態(tài)識(shí)別為代表的空間智能或具身感知算法SDK。
圖2:有形具身智能操作系統(tǒng)(EOS)未來(lái)路線圖
二、未來(lái)規(guī)劃
1、推出基于RISC-V的EOS發(fā)行版,發(fā)行版包括常見的機(jī)器人開發(fā)與應(yīng)用系統(tǒng)庫(kù)、中間件、算法庫(kù),打造便捷的開發(fā)體驗(yàn);
2、依托“鯨智”工信部大模型公共服務(wù)平臺(tái)(http://aihub.caict.ac.cn/)和AIIA具身智能工作組、開源開放委員會(huì),借助開源社區(qū)力量,不斷豐富具身智能和空間智能算法庫(kù)算法數(shù)量;
3、EOS基于RROS針對(duì)ethercat、ROS2做原生實(shí)時(shí)性支持和優(yōu)化;
4、通過(guò)協(xié)作平臺(tái),廣泛收集并支撐軟件算法、中間件、通信協(xié)議、實(shí)時(shí)內(nèi)核、底層硬件等上下游平臺(tái)的需求,基于Linux內(nèi)核支撐相關(guān)組件超過(guò)1000個(gè);
5、針對(duì)實(shí)時(shí)性,基于實(shí)時(shí)內(nèi)核構(gòu)造的應(yīng)用接口進(jìn)行上下游組件實(shí)時(shí)性優(yōu)化,完成相關(guān)組件的支持和優(yōu)化;
6、正式發(fā)布EOS LTS版本,并附帶提供全流程開發(fā)軟硬套件;
EOS團(tuán)隊(duì)簡(jiǎn)介
中國(guó)信通院
魏凱,中國(guó)信通院人工智能研究所所長(zhǎng),正高級(jí)工程師。中國(guó)人工智能產(chǎn)業(yè)聯(lián)盟總體組組長(zhǎng)、國(guó)際電信聯(lián)盟SG16國(guó)內(nèi)對(duì)口組組長(zhǎng)。研究方向?yàn)槿斯ぶ悄芗夹g(shù),發(fā)表論文20多篇,牽頭完成40多項(xiàng)國(guó)內(nèi)國(guó)際標(biāo)準(zhǔn),參與多項(xiàng)人工智能相關(guān)國(guó)家重大政策文件起草。
石霖,中國(guó)信通院人工智能研究所安全與元宇宙部主任。主要從事人工智能領(lǐng)域的政府支撐、技術(shù)研究、標(biāo)準(zhǔn)制定、測(cè)試評(píng)估及產(chǎn)業(yè)生態(tài)建設(shè)工作。參與編寫了人工智能、元宇宙領(lǐng)域多項(xiàng)國(guó)際、行業(yè)標(biāo)準(zhǔn)。
李紀(jì)超,中國(guó)信通院人工智能所工程師,原字節(jié)跳動(dòng)自然語(yǔ)言處理工程師、原騰訊廣告高級(jí)研究員。EOS項(xiàng)目發(fā)起人,主要參與EOS具身智能與空間智能算法庫(kù)Embodied Intelligence的研發(fā)工作。
白入文,中國(guó)信通院人工智能所工程師,中國(guó)科學(xué)院信息工程研究所博士。主要從事人工智能、具身智能方向技術(shù)研究、標(biāo)準(zhǔn)制定。
北京郵電大學(xué)計(jì)算機(jī)院
王尚廣,北京郵電大學(xué)計(jì)算機(jī)學(xué)院教授、北京郵電大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)、深圳研究院副院長(zhǎng)、網(wǎng)絡(luò)與交換技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任、國(guó)家杰出青年科學(xué)基金獲得者、天算星座總負(fù)責(zé)人、北郵一號(hào)衛(wèi)星總負(fù)責(zé)人。
徐夢(mèng)煒 ,北京郵電大學(xué)計(jì)算機(jī)學(xué)院副教授,博士生導(dǎo)師,網(wǎng)絡(luò)與交換全國(guó)重點(diǎn)實(shí)驗(yàn)室主任助理。于北京大學(xué)獲得本科與博士學(xué)位,入選中國(guó)科協(xié)青年人才托舉工程,北京市科技新星,微軟亞洲研究院“鑄星計(jì)劃”訪問(wèn)學(xué)者,普渡大學(xué)訪問(wèn)學(xué)者。負(fù)責(zé)領(lǐng)導(dǎo)EOS內(nèi)核RROS的開發(fā),提升EOS實(shí)時(shí)性,以支持具身智能應(yīng)用。
李弘宇, 北京郵電大學(xué)二年級(jí)在讀博士生,是Rust雙內(nèi)核操作系統(tǒng)RROS的maintainer。
胡江濤,北京郵電大學(xué)一年級(jí)在讀博士生
山宇軒,北京郵電大學(xué)二年級(jí)在讀碩士生
邱奇琛,北京郵電大學(xué)二年級(jí)在讀碩士生
孫子泰,北京郵電大學(xué)四年級(jí)在讀本科生
北京郵電大學(xué)人工智能學(xué)院
郭軍,北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室主任,中國(guó)高等教育學(xué)會(huì)常務(wù)理事,北京市政協(xié)常委。主持完成國(guó)家級(jí)科研項(xiàng)目10余項(xiàng),研究成果在SCIENCE、Scientific Reports、PLOS One、IEEE TPAMI、IEEE TNNLS、AAAI、CVPR、ICCV、ECCV等國(guó)際著名期刊和會(huì)議上發(fā)表。2017年獲吳文俊人工智能科學(xué)技術(shù)進(jìn)步獎(jiǎng)一等獎(jiǎng),2019年獲IEEE通信學(xué)會(huì)亞太區(qū)杰出論文獎(jiǎng)
陳光,北京郵電大學(xué)人工智能學(xué)院副教授,作為主研人參與了國(guó)家自然科學(xué)基金并參與多項(xiàng)國(guó)家級(jí)項(xiàng)目。在核心期刊和重要國(guó)際會(huì)議發(fā)表論文多篇,出版教材1部。主要研究方向是模式識(shí)別、機(jī)器學(xué)習(xí)、文本計(jì)算和具身智能。
郭迪,北京郵電大學(xué)人工智能學(xué)院,教授,博導(dǎo)。在機(jī)器人控制、機(jī)器人感知與人機(jī)交互等領(lǐng)域開展了系統(tǒng)深入的研究工作。在機(jī)器人、人工智能等領(lǐng)域國(guó)際權(quán)威期刊及會(huì)議發(fā)表高水平論文50余篇。擔(dān)任自動(dòng)化學(xué)會(huì)智能自動(dòng)化專委會(huì)秘書長(zhǎng);擔(dān)任機(jī)器人領(lǐng)域重要會(huì)議RSS2024領(lǐng)域主席,IROS、ICRA 的Associate Editor。
王江源,北京郵電大學(xué)二年級(jí)在讀碩士生,研究方向自然語(yǔ)言處理。曾擔(dān)任百度文心一言算法實(shí)習(xí)生和阿里巴巴自然語(yǔ)言處理算法實(shí)習(xí)生。
清華大學(xué)
董戈 ,清華大學(xué)航天航空學(xué)院研究員、博導(dǎo),中俄航天航空創(chuàng)新技術(shù)(國(guó)家級(jí))國(guó)際聯(lián)合研究中心主任,清華大學(xué)航院飛行器研究所副所長(zhǎng),俄羅斯自然科學(xué)院外籍院士、清華大學(xué)俄羅斯研究院副院長(zhǎng)、俄羅斯莫斯科鮑曼國(guó)立技術(shù)大學(xué)榮譽(yù)教授,圣彼得堡彼得大帝理工大學(xué)客座教授。負(fù)責(zé)EOS在太空機(jī)器人、月球機(jī)器人領(lǐng)域的應(yīng)用和教學(xué)推廣。
丁軼航,清華大學(xué)一年級(jí)在讀博士生。
下一步安排
EOS團(tuán)隊(duì)擬于10月11日下午15點(diǎn),于北京市海淀區(qū)首享科技大廈1層會(huì)議室召開EOS具身智能操作系統(tǒng)生態(tài)合作伙伴研討會(huì),將對(duì)EOS的架構(gòu)和未來(lái)發(fā)展路線進(jìn)行介紹,歡迎具身智能、機(jī)器人、機(jī)械臂、芯片、機(jī)器人零配件、端側(cè)大模型和基礎(chǔ)大模型等領(lǐng)域公司參與本次研討。
咨詢?cè)斍椋?/strong>如需咨詢文中涉及的相關(guān)產(chǎn)品或解決方案詳情,請(qǐng)加微信:ZiDongHuaX 。
微信聯(lián)盟:北京郵電大學(xué)微信群、清華大學(xué)微信群、具身智能微信群、人工智能微信群、機(jī)器人微信群、具身智能操作系統(tǒng)微信群,各細(xì)分行業(yè)微信群:點(diǎn)擊這里進(jìn)入。
鴻達(dá)安視:水文水利在線監(jiān)測(cè)儀器、智慧農(nóng)業(yè)在線監(jiān)測(cè)儀器 金葉儀器: 氣體/顆粒物/煙塵在線監(jiān)測(cè)解決方案
西凱昂:SMC氣動(dòng)元件、力士樂(lè)液壓元件、倍加福光電產(chǎn)品等 山東諾方: 顆粒物傳感器、粉塵濃度傳感器
深圳金瑞銘:RFID射頻識(shí)別、智能傳感器等物聯(lián)網(wǎng)解決方案 北京英諾艾智: 容錯(cuò)服務(wù)器、邊緣計(jì)算解決方案
微信聯(lián)盟:北京郵電大學(xué)微信群、清華大學(xué)微信群、具身智能微信群、人工智能微信群、機(jī)器人微信群、具身智能操作系統(tǒng)微信群,各細(xì)分行業(yè)微信群:點(diǎn)擊這里進(jìn)入。
鴻達(dá)安視:水文水利在線監(jiān)測(cè)儀器、智慧農(nóng)業(yè)在線監(jiān)測(cè)儀器 金葉儀器: 氣體/顆粒物/煙塵在線監(jiān)測(cè)解決方案
西凱昂:SMC氣動(dòng)元件、力士樂(lè)液壓元件、倍加福光電產(chǎn)品等 山東諾方: 顆粒物傳感器、粉塵濃度傳感器
深圳金瑞銘:RFID射頻識(shí)別、智能傳感器等物聯(lián)網(wǎng)解決方案 北京英諾艾智: 容錯(cuò)服務(wù)器、邊緣計(jì)算解決方案
我要收藏
個(gè)贊
評(píng)論排行