【ZiDongHua 之自動(dòng)化學(xué)院派收錄關(guān)鍵詞:上海交通大學(xué)  自動(dòng)化系  計(jì)算機(jī)視覺  模式識別  智能自動(dòng)化】

 

上海交大自動(dòng)化系:全球冠軍!我系陳衛(wèi)東、王賀升團(tuán)隊(duì)獲國際計(jì)算機(jī)視覺與模式識別大會(huì)挑戰(zhàn)賽第一名

 

近日,國際計(jì)算機(jī)視覺與模式識別大會(huì)CVPR (Conference on Computer Vision and Pattern Recognition) 在美國西雅圖召開。來自上海交通大學(xué)電子信息與電氣工程學(xué)院自動(dòng)化系陳衛(wèi)東教授和王賀升教授團(tuán)隊(duì)的鄧天宸、吳文華、王彥博等博士生組成的參賽團(tuán)隊(duì)從全球眾多的參賽團(tuán)隊(duì)中脫穎而出,在CVPR 2024 UG2+挑戰(zhàn)賽“無人機(jī)跟蹤與位姿估計(jì)”賽道中斬獲冠軍。
 
 
 
 
 
關(guān)于CVPR及2024 UG2+挑戰(zhàn)賽
 
“無人機(jī)跟蹤與位姿估計(jì)”賽道
 
 
CVPR 2024國際計(jì)算機(jī)視覺與模式識別大會(huì)
 
 
 
國際計(jì)算機(jī)視覺與模式識別會(huì)議(CVPR)是人工智能與計(jì)算機(jī)視覺領(lǐng)域最具影響力的會(huì)議之一,該會(huì)議始于1983年,根據(jù)谷歌學(xué)術(shù)公布的2024年最新學(xué)術(shù)期刊和會(huì)議影響力排名,CVPR在所有學(xué)術(shù)刊物中位居第4。
 
 
 
CVPR 2024 UG2+挑戰(zhàn)賽
 
 
 
CVPR 2024 UG2+挑戰(zhàn)賽“無人機(jī)跟蹤與位姿估計(jì)”賽道吸引了世界各地幾十支參賽隊(duì)伍參加,包括卡內(nèi)基梅隆大學(xué)、慕尼黑工業(yè)大學(xué)、浙江大學(xué)等國內(nèi)外知名大學(xué)。該挑戰(zhàn)賽旨在融合多模態(tài)數(shù)據(jù),從而在復(fù)雜環(huán)境下完成無人機(jī)檢測、識別和三維跟蹤任務(wù)。本次挑戰(zhàn)賽中,使用了目前市面上常見的多種無人機(jī)機(jī)型進(jìn)行多模態(tài)數(shù)據(jù)采集,提供了無人機(jī)的多模態(tài)數(shù)據(jù)序列:雙目魚眼相機(jī)圖像,毫米波雷達(dá)數(shù)據(jù)以及Livox Mid360和Livox Avia獲取的激光雷達(dá)數(shù)據(jù),同時(shí)用Leica Nova MS60 Multi-Station測繪儀器獲取到了無人機(jī)在三維空間中的精確位置信息。
 
 
 
 
 
獲獎(jiǎng)團(tuán)隊(duì)解決方案
 
 
 
面向復(fù)雜環(huán)境條件下的技術(shù)挑戰(zhàn),電院自動(dòng)化系參賽隊(duì)伍提出了一種多模態(tài)信息融合的無人機(jī)檢測、分類和三維跟蹤方法,實(shí)現(xiàn)了準(zhǔn)確的無人機(jī)分類和跟蹤。該方法采用了一種新的分類流程,其結(jié)合了序列融合、興趣區(qū)域(ROI)裁剪和關(guān)鍵幀選擇,系統(tǒng)集成了前沿的分類技術(shù)和復(fù)雜的后處理步驟,以提高準(zhǔn)確性和魯棒性。所設(shè)計(jì)的位姿估計(jì)流程包含三個(gè)模塊:動(dòng)態(tài)場景分析、多目標(biāo)跟蹤器和軌跡生成補(bǔ)全算法。在MMUAD數(shù)據(jù)集的測試結(jié)果表明了該方法的有效性。下圖為系統(tǒng)框架圖算法代碼和配置。
 
 
 
系統(tǒng)框架圖
 
 
 
四種類型的無人機(jī)在三個(gè)不同高度
 
(5米、10米、20米)的檢測分類結(jié)果
 
 
 
視覺檢測分類中的困難場景展示
 
包括顏色相似性、運(yùn)動(dòng)模糊、太陽耀光、小物體、不完整物體以及魚眼攝像頭的邊緣失真
 
 
 
檢測和估計(jì)的無人機(jī)三維位姿
 
 
 
上圖展示了對于不同種類的無人機(jī),算法檢測分類和跟蹤結(jié)果,分析了視覺檢測分類中的困難場景。
 
 
 
參賽隊(duì)在測試數(shù)據(jù)集上的無人機(jī)三維位姿估計(jì)和分類性能對比
 
 
 
參賽隊(duì)伍在測試數(shù)據(jù)集上的無人機(jī)三維位姿估計(jì)和分類性能對比,我方團(tuán)隊(duì)在分類準(zhǔn)確性和定位精度兩方面均表現(xiàn)最佳。