【ZiDongHua 之駕駛自動化收錄關(guān)鍵詞：自動駕駛 人工智能 機器學(xué)習(xí) 計算機視覺】
　　
　　萬字盤點自動駕駛關(guān)鍵技術(shù)
　　
　　本文概述了自動駕駛技術(shù)的技術(shù)方面以及存在的問題，研究了自動駕駛系統(tǒng)的主要領(lǐng)域，如感知、地圖和定位、預(yù)測、規(guī)劃和控制、仿真、V2X和安全等，特別是在數(shù)據(jù)閉環(huán)的框架下詳細闡述了所有這些問題。數(shù)據(jù)閉環(huán)是解決“長尾”自動駕駛問題的流行平臺。
　　
　　自動駕駛作為人工智能與機器學(xué)習(xí)、計算機視覺等最具挑戰(zhàn)性的應(yīng)用之一，實際上已經(jīng)被證明是一個“長尾”問題，即幾乎沒有出現(xiàn)cornor case或安全關(guān)鍵場景。
　　
　　目前，已經(jīng)有一些關(guān)于自動駕駛技術(shù)的調(diào)查論文，從整個系統(tǒng)/平臺到單個模塊/功能。
　　
　　▍自動駕駛技術(shù)概述
　　
　　本節(jié)簡要介紹自動駕駛的基本功能和模塊，如圖1所示，包括硬件和軟件架構(gòu)、感知、預(yù)測、地圖和定位、規(guī)劃、控制、安全、模擬和V2X等。
 
　　
　　自動化水平
　　
　　美國交通部和國家公路交通安全管理局（NHTSA）采用了汽車工程師學(xué)會（SAE）的自動化水平國際標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)定義了從level-0（人類駕駛員完全控制）到level-5（車輛完全自行駕駛）的自動駕駛汽車。
　　
　　在level-1中，駕駛員和自動系統(tǒng)一起控制車輛。
　　
　　在level-2中，自動系統(tǒng)完全控制車輛，但駕駛員必須隨時準(zhǔn)備立即干預(yù)。
　　
　　在level-3中，駕駛員可以擺脫駕駛?cè)蝿?wù)，車輛將要求立即做出反應(yīng)，因此駕駛員仍必須準(zhǔn)備在有限的時間內(nèi)進行干預(yù)。
　　
　　在level-4中，與level-3相同，但出于安全考慮，不需要駕駛員注意，例如，駕駛員可以安全入睡或離開駕駛員座椅。
　　
　　硬件
　　
　　自動駕駛汽車測試平臺應(yīng)能夠?qū)崿F(xiàn)實時通信，如控制器局域網(wǎng)（CAN）總線和以太網(wǎng)，并能夠?qū)崟r準(zhǔn)確地完成和控制車輛的方向、油門和制動器。車輛傳感器配置是為了滿足環(huán)境感知的可靠性要求并最大限度地降低生產(chǎn)成本。
　　
　　自動駕駛汽車的傳感主要分為3類：
　　
　　自車傳感
　　
　　定位
　　
　　周圍傳感
　　
　　自車感應(yīng)通過自車感覺傳感器測量當(dāng)前車輛狀態(tài)，即速度、加速度、偏航和轉(zhuǎn)向角等。自車感應(yīng)傳感器包括里程計、慣性測量單元（IMU）、陀螺儀和CAN總線。定位，使用外部傳感器，如全球定位系統(tǒng)（GPS）或通過IMU讀數(shù)進行航位推算，確定車輛的全球和本地位置。周圍感知使用外部傳感器來感知道路標(biāo)線、道路坡度、交通標(biāo)志、天氣狀況和障礙物。
　　
　　自車感知傳感器和外部感知傳感器可以分為主動傳感器或被動傳感器。有源傳感器以電磁波的形式發(fā)射能量，并測量返回時間以確定距離等參數(shù)。示例包括聲納、雷達和LiDAR傳感器。被動傳感器不發(fā)射信號，而是感知環(huán)境中已經(jīng)存在的電磁波（例如，基于光的和紅外的相機）。
　　
　　另一個重要問題是計算平臺，它支持傳感器數(shù)據(jù)處理，以識別環(huán)境，并通過優(yōu)化、計算機視覺和機器學(xué)習(xí)等計算密集型算法對車輛進行實時控制。有不同的計算平臺，從CPU、GPU、ASIC到FPGA等。為了支持基于人工智能的自動駕駛，需要云服務(wù)器支持大數(shù)據(jù)服務(wù)，如大規(guī)模機器學(xué)習(xí)和大尺寸數(shù)據(jù)存儲（例如高清地圖）。
　　
　　為了支持車路協(xié)同，車輛側(cè)和路邊都需要邊緣通信和計算設(shè)備。自動駕駛汽車中的傳感器配置示例如圖2所示。它安裝了激光雷達、攝像頭、雷達、GPS和IMU等。
 
　　
　　如果需要收集多模態(tài)傳感器數(shù)據(jù)，則需要進行傳感器校準(zhǔn)，包括確定每個傳感器數(shù)據(jù)之間的坐標(biāo)系關(guān)系，例如相機校準(zhǔn)、相機-激光雷達校準(zhǔn)、激光雷達-IMU校準(zhǔn)和相機-雷達校準(zhǔn)。
　　
　　此外，傳感器之間需要使用統(tǒng)一的時鐘（以GNSS為例），然后使用特定的信號來觸發(fā)傳感器的操作。例如，激光雷達的傳輸信號可以觸發(fā)相機的曝光時間，這是時間同步的。
　　
　　軟件
　　
　　自動駕駛軟件平臺分為多個層次，從下到上依次為實時操作系統(tǒng)、中間件、功能軟件和應(yīng)用軟件。軟件體系結(jié)構(gòu)可以是端到端或模塊化風(fēng)格。
　　
　　端到端系統(tǒng)直接從傳感輸入產(chǎn)生控制信號?？刂菩盘柨梢允欠较虮P和踏板（油門和制動器）的操作，用于加速/減速（甚至停止）和向左/向右轉(zhuǎn)彎。端到端驅(qū)動主要有3種方法：
　　
　　直接監(jiān)督深度學(xué)習(xí)
　　
　　神經(jīng)進化
　　
　　深度強化學(xué)習(xí)
　　
　　模塊化系統(tǒng)是由多個組件組成的管道，將傳感輸入連接到執(zhí)行器輸出。模塊化自動駕駛系統(tǒng)（ADS）的關(guān)鍵功能定期總結(jié)為：感知、定位和地圖、預(yù)測、規(guī)劃和決策以及車輛控制等。圖3說明了E2E和模塊化系統(tǒng)。
 
　　
　　Perception從傳感器收集信息，并從環(huán)境中發(fā)現(xiàn)相關(guān)知識。它發(fā)展了對駕駛環(huán)境的上下文理解，如障礙物的檢測、跟蹤和分割、路標(biāo)/標(biāo)記和自由空間可駕駛區(qū)域?；谒鶎崿F(xiàn)的傳感器，可以通過使用激光雷達、相機、雷達或這3種設(shè)備之間的融合來處理環(huán)境感知任務(wù)。
　　
　　在最高層次上，感知方法可以分為3類：中介感知、行為反射感知和直接感知。中介感知開發(fā)了關(guān)于周圍環(huán)境的詳細地圖，包括車輛、行人、樹木、道路標(biāo)記等等。行為反射感知將傳感器數(shù)據(jù)（圖像、點云、GPS位置）直接映射到駕駛操作上。直接感知將行為反射感知與中介感知方法的度量集合相結(jié)合。
　　
　　地圖是指用道路、車道、標(biāo)志/標(biāo)線和交通規(guī)則等信息構(gòu)建地圖。通常，地圖有兩大類：平面地圖是指依賴于地理信息系統(tǒng)（GIS）上的圖層或平面的地圖，例如高清地圖；點云地圖是指基于GIS中一組數(shù)據(jù)點的地圖。
　　
　　高清地圖包含一些有用的靜態(tài)目標(biāo)，如車道、建筑物、紅綠燈和道路標(biāo)記等，這些元素是自動駕駛所必需的，即使是由于遮擋而無法被傳感器適當(dāng)檢測到的物體。用于自動駕駛的高清地圖與車輛定位功能緊密相連，并與激光雷達、雷達和攝像頭等車輛傳感器保持交互，以構(gòu)建自動駕駛系統(tǒng)的感知模塊。
　　
　　定位決定了其在駕駛環(huán)境方面的地位。全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS），如GPS、GLONASS、北斗和伽利略，依靠至少4顆衛(wèi)星以相對較低的成本估計全球位置。可以通過使用差分GPS來提高GPS精度。GPS通常與IMU集成，以設(shè)計低成本的車輛定位系統(tǒng)。IMU已被用于估計車輛相對于其初始位置的位置，這種方法被稱為“死推算”。
　　
　　由于高清地圖已被用于自動駕駛，因此基于該地圖的定位也被考慮在內(nèi)。最近，出現(xiàn)了許多關(guān)于自給式里程計算方法和同時定位與測繪（SLAM）的研究。通常，SLAM技術(shù)應(yīng)用里程計算法來獲得姿勢，該姿勢隨后被饋送到全局地圖優(yōu)化算法中。
　　
　　由于基于圖像的計算機視覺算法的缺點，如特征提取和匹配、相機運動估計、三維重建和優(yōu)化，視覺SLAM仍然是一個具有挑戰(zhàn)性的方向。
　　
　　預(yù)測是指根據(jù)障礙物的運動學(xué)、行為和長期/短期歷史來估計障礙物的軌跡。為了完全解決軌跡預(yù)測問題，智能非常重要，因為必須限制各種可能性，在已知社會智能的情況下，無限的搜索空間必須是有限的。為了模擬社會互動，作者需要了解Agent人及其周圍環(huán)境的動態(tài)，以預(yù)測他們未來的行為并防止任何崩潰。
　　
　　規(guī)劃決定將車輛帶到目的地，同時避開障礙物，從而生成參考路徑或軌跡。規(guī)劃可以分為不同層次的路線（任務(wù)）規(guī)劃、行為規(guī)劃和運動規(guī)劃。
　　
　　路線規(guī)劃是指在有向圖中找到點對點的最短路徑，傳統(tǒng)方法分為4類，即goal-directed、separator-based、hierarchical和bounded-hop技術(shù)。
　　
　　行為規(guī)劃決定了本地駕駛?cè)蝿?wù)，該任務(wù)將車輛駛向目的地，并遵守傳統(tǒng)上由有限狀態(tài)機（FSM）定義的交通規(guī)則。最近，人們正在研究模仿學(xué)習(xí)和強化學(xué)習(xí)來生成用于車輛導(dǎo)航的行為。
　　
　　然后，運動規(guī)劃在環(huán)境中選擇一條連續(xù)的路徑，以完成局部驅(qū)動任務(wù)，例如RRT（快速探索隨機樹）和Lattice規(guī)劃。
　　
　　控制通過選擇適當(dāng)?shù)闹聞悠鬏斎雭韴?zhí)行計劃的動作。通?？刂瓶梢苑譃闄M向控制和縱向控制。大多數(shù)情況下，控制設(shè)計被解耦為2個階段，軌跡/路徑生成和跟蹤，例如純追蹤方法。然而，它可以同時生成軌跡/路徑和軌跡。
　　
　　V2X是一種車輛技術(shù)系統(tǒng)，使車輛能夠與周圍的交通和環(huán)境進行通信，包括車對車通信（V2V）和車對基礎(chǔ)設(shè)施（V2I）。從行人的移動設(shè)備到紅綠燈上的固定傳感器，使用V2X的車輛可以訪問大量數(shù)據(jù)。通過積累來自其他同行的詳細信息，可以緩解自車車輛的缺點，如感應(yīng)范圍、盲點和規(guī)劃不足。V2X有助于提高安全性和交通效率。如何在車輛-車輛或車輛-道路之間進行協(xié)作仍然具有挑戰(zhàn)性。
　　
　　值得一提的是，ISO-26262駕駛車輛功能安全標(biāo)準(zhǔn)為確保車輛軟件開發(fā)的安全性定義了一套全面的要求。它建議使用危險分析和風(fēng)險評估（HARA）方法來識別危險事件，并定義減輕危險的安全目標(biāo)。汽車安全完整性等級（ASIL）是ISO-26262在汽車系統(tǒng)中定義的風(fēng)險分類方案。人工智能系統(tǒng)帶來了更多的安全問題，這些問題由一個新建立的標(biāo)準(zhǔn)ISO/PAS-21448 SOTIF（預(yù)期功能的安全）來處理。
　　
　　除了模塊化或端到端系統(tǒng)之外，ADS開發(fā)中還有一個重要的平臺“模擬”。由于實驗車輛在道路上的駕駛成本仍然很高，并且在現(xiàn)有人類駕駛道路網(wǎng)絡(luò)上的實驗受到限制，因此模擬環(huán)境有利于在實際道路測試之前開發(fā)某些算法/模塊。模擬系統(tǒng)由以下核心組件組成：
　　
　　傳感器建模（攝像頭、雷達、激光雷達和聲納）
　　
　　車輛動力學(xué)和運動學(xué)
　　
　　行人、駕駛者和騎自行車者的形狀和運動學(xué)建模
　　
　　道路網(wǎng)絡(luò)和交通網(wǎng)絡(luò)
　　
　　三維虛擬環(huán)境（城市和農(nóng)村場景）
　　
　　駕駛行為建模（年齡、文化、種族等）
　　
　　模擬平臺中存在的關(guān)鍵問題是“sim2real”和“real2sim”，前者是指如何模擬現(xiàn)實場景，后者是指如何作為數(shù)字孿生進行場景再現(xiàn)。
　　
　　▍感知
　　
　　感知周圍環(huán)境并提取信息是自動駕駛的關(guān)鍵任務(wù)。
　　
　　使用不同感知模式的各種任務(wù)屬于感知范疇。相機是基于計算機視覺技術(shù)最常用的傳感器，3D視覺成為一種強有力的替代/補充。
　　
　　最近，BEV（鳥瞰圖）感知已成為自動駕駛中最活躍的感知方向，尤其是在基于視覺的系統(tǒng)中，有兩大優(yōu)勢。
　　
　　首先，駕駛場景的BEV表示可以由下游駕駛應(yīng)用程序直接部署，如軌跡預(yù)測和運動規(guī)劃等。
　　
　　其次，BEV提供了一種可解釋的方式來融合來自不同視圖、模態(tài)、時間序列和Agent的信息。例如，其他常用的傳感器，如激光雷達和雷達，可以在3D空間中捕獲數(shù)據(jù)，可以很容易地轉(zhuǎn)換為BEV，并直接與相機進行傳感器融合。
　　
　　在之前的調(diào)查論文中，BEV工作可分為以下幾類，如圖4所示。
　　
　　首先，基于視圖變換分為基于幾何的變換和基于網(wǎng)絡(luò)的變換；
　　
　　基于幾何的方法充分利用相機的物理原理來傳遞視圖，可以進一步分為經(jīng)典的基于同形圖的方法（即逆投影地圖）和基于深度的方法，通過顯式或隱式深度估計將2D特征提升到3D空間?；谏疃刃畔⒌睦梅绞?，作者可以將基于深度的方法分為兩種類型：基于點和基于體素。
　　
　　基于點的方法直接使用深度估計將像素轉(zhuǎn)換為點云，在連續(xù)的3D空間中散射；
　　
　　基于體素的方法通常直接利用深度引導(dǎo)將2D特征（而不是點）散射在相應(yīng)的3D位置。
　　
　　基于網(wǎng)絡(luò)的方法可以采用自下而上的策略，其中神經(jīng)網(wǎng)絡(luò)的作用類似于視圖投影儀，另一種選擇可以采用自上而下的策略，通過交叉注意力機制（基于Transformer）直接構(gòu)建BEV查詢并搜索前視圖圖像上的相應(yīng)特征，或者提出混合查詢以匹配不同的下游任務(wù)。
　　
　　到目前為止，BEV網(wǎng)絡(luò)已被用于目標(biāo)檢測、語義分割、在線地圖、傳感器融合和軌跡預(yù)測等。
　　
　　如圖5所示，BEV融合算法有2種典型的流水線設(shè)計。其主要區(qū)別在于2D到3D的轉(zhuǎn)換和融合模塊。在透視圖管道（a）中，不同算法的結(jié)果首先被轉(zhuǎn)換到3D空間中，然后使用先驗或手工規(guī)則進行融合。BEV管道（b）首先將透視圖特征轉(zhuǎn)換為BEV，然后融合特征以獲得最終預(yù)測，從而保持大多數(shù)原始信息并避免手工設(shè)計。
　　
　　在圖6中，作者給出了僅用于相機輸入、僅用于激光雷達輸入以及相機和激光雷達輸入的BEV和OCC網(wǎng)絡(luò)的3個示例。
　　
　　對于圖6（a）所示的僅相機輸入，多相機圖像首先通過“Backbone”模塊進行編碼，如EfficientNetor/RegNet加FPN/Bi-FPN，然后分為兩條路徑；一方面，圖像特征進入“視圖變換”模塊，通過深度分布或Transformer架構(gòu)構(gòu)建BEV特征，然后分別轉(zhuǎn)到兩個不同的Head：
　　
　　一個Head通過“map ele detector”模塊（其結(jié)構(gòu)類似于基于transformer的DETR模型，也有一個可變形的注意力模塊，輸出關(guān)鍵點的位置和它們所屬元素的ID）和“折線生成”模塊輸出地圖元素的矢量化表示（它也是一個基于Transformer架構(gòu)的模型，輸入了這些嵌入的關(guān)鍵點，折線分布模型可以生成折線的頂點并獲得地圖元素的幾何表示）；
　　
　　另一個Head通過“BEV obj Detector”模塊獲得obj BEV邊界框，其可以使用Transformer架構(gòu)或類似的PointPillar架構(gòu)來實現(xiàn)。
　　
　　另一方面，在“2D-3D變換”模塊中，基于深度分布將二維特征編碼投影到三維坐標(biāo)，其中保留了高度信息；然后獲得的相機體素特征進入“3D解碼”模塊獲得多尺度體素特征，然后進入“占用”模塊進行類別預(yù)測，生成體素語義分割。
　　
　　對于圖6（b）所示的僅限激光雷達的輸入，一些模塊與圖6（a）相同；首先，在“體素化”模塊中，將點云劃分為均勻分布的體素網(wǎng)格，生成3D點和體素之間的多對一地圖；然后進入“Feature Encod”模塊，將體素網(wǎng)格轉(zhuǎn)換為點云特征圖（使用PointNet或PointPillar）。
　　
　　一方面，在“視圖變換”模塊中，將特征圖投影到BEV上，將特征聚合器和特征編碼器組合在一起，然后在BEV空間中進行BEV解碼，分為兩個Head：一個Head的工作原理如圖6（a）所示，經(jīng)過“map-Ele-Det”模塊和“PolyLine-Generat”模塊；
　　
　　另一個Head通過“obj-det”模塊進行BEV物體檢測，結(jié)構(gòu)類似PointPillar模型；另一方面，3D點云特征圖可以直接進入“3D解碼”模塊，通過3D去卷積獲得多尺度體素特征，然后在“occep.”模塊中進行上采樣和類預(yù)測，生成體素語義分割。
　　
　　對于圖6（c）所示的相機和激光雷達輸入，大多數(shù)模塊與圖6（a）和6（b）相同，只是“特征連接”模塊將連接激光雷達路徑和相機路徑的特征。
　　
　　▍軌跡預(yù)測
　　
　　為了安排安全高效的導(dǎo)航，自動駕駛汽車應(yīng)該考慮周圍其他智能體的未來軌跡。軌跡預(yù)測是一項極具挑戰(zhàn)性的任務(wù)，最近引起了很多關(guān)注，它可以預(yù)測場景中所有動態(tài)智能體的當(dāng)前和過去狀態(tài)。
　　
　　預(yù)測任務(wù)可以分為兩個部分。第一部分是“意向”分類任務(wù)；它通?？梢员灰暈橐粋€有監(jiān)督的學(xué)習(xí)問題，作者需要注釋Agent可能的分類意圖。第二部分是“軌跡”，它需要預(yù)測Agent在接下來的N個未來幀中的一組可能的未來位置，稱為路點。這建立了他們與其他Agent以及道路的互動。
　　
　　傳統(tǒng)上，作者根據(jù)基于物理的、基于機動的和感知交互的模型對行為預(yù)測模型進行分類。基于物理的模型構(gòu)成了動力學(xué)方程，為不同類別的智能體手工設(shè)計的運動建模?；跈C動的模型是基于主體的預(yù)期運動類型的實用模型。
　　
　　交互感知模型通常是基于ML的系統(tǒng)，可以對場景中的每個Agent進行配對推理，并為所有動態(tài)Agent生成交互感知預(yù)測。
　　
　　圖7給出了Cruise.AI設(shè)計的預(yù)測模型圖，該模型是通用汽車收購的L4自動駕駛初創(chuàng)公司。顯然，它說明了一個編碼器-解碼器框架。在編碼器中，有一個“場景編碼器”來處理環(huán)境上下文（地圖），如Google Waymo的ChaufeurNet（光柵化圖像作為輸入）或VectorNet（矢量化輸入）架構(gòu)，一個“目標(biāo)歷史編碼器”來處理Agent歷史數(shù)據(jù)（位置），以及一個基于注意力的圖網(wǎng)絡(luò)來捕捉Agent之間的聯(lián)合交互。
　　
　　為了處理動態(tài)場景的變化，將混合專家（MoE）編碼到門控網(wǎng)絡(luò)中，例如，停車場中有不同的行為，如反向拉出、拉出和K轉(zhuǎn)彎、平行停車第二次嘗試、倒車和拉出、反向平行停車和垂直拉出等。
　　
　　在圖7所示的解碼器中，有一個兩階段結(jié)構(gòu)，其中初始軌跡由一個簡單的回歸器生成，然后由具有“多模態(tài)不確定性”估計的長期預(yù)測器進行細化。為了增強軌跡預(yù)測器，有一些輔助訓(xùn)練任務(wù)，如“聯(lián)合軌跡不確定性”估計、“交互檢測和不確定性”估算以及“占用預(yù)測”。
　　
　　這種軌跡預(yù)測器的一大創(chuàng)新是其“自車監(jiān)督”機制?；谟^察到的“后知后覺的未來”，他們提供了“機動自標(biāo)記器”和“交互自動標(biāo)記器”來為預(yù)測模型生成大量的訓(xùn)練數(shù)據(jù)。
　　
　　▍Mapping
　　
　　該地圖，尤其是高清地圖，是自動駕駛的首選。地圖構(gòu)建技術(shù)可分為在線地圖繪制和離線地圖繪制。在離線地圖中，作者在一個中心位置收集所有數(shù)據(jù)。數(shù)據(jù)捕獲來自安裝了全球?qū)Ш叫l(wèi)星系統(tǒng)、IMU、激光雷達和相機等的車輛。另一方面，在線地圖構(gòu)建是使用輕型模塊在船上進行的。
　　
　　目前所有有前途的地圖技術(shù)都使用激光雷達作為主要傳感器，尤其是用于高清地圖。另一方面，有一些方法只使用視覺傳感器來構(gòu)建地圖，比如Mobileye的REM或基于視覺SLAM和深度學(xué)習(xí)的路標(biāo)。
　　
　　HD地圖生成通常包括收集高質(zhì)量的點云、對齊同一場景的多個點云、標(biāo)記地圖元素以及頻繁更新地圖。這個管道需要大量的人力工作，這限制了它的可擴展性。BEV感知提供了在線地圖學(xué)習(xí)的潛力，該學(xué)習(xí)基于局部傳感器觀測動態(tài)構(gòu)建高清地圖，似乎是一種為自動駕駛汽車提供語義和幾何先驗的更具可擴展性的方式。
　　
　　在這里，作者介紹了最近在在線地圖方面的一項工作，稱為Bi-Mapper。Bi-Mapper從透視圖和IPM視圖構(gòu)建BEV路線圖。透視圖提供了物體之間的關(guān)系，在幾何結(jié)構(gòu)方面與BEV不同。由假設(shè)深度產(chǎn)生的IPM視圖可以獲得附近對象的魯棒表示，但會導(dǎo)致遠處對象的失真。
　　
　　Bi-Mapper的框架如圖8所示：它由全局交叉視圖流、局部自車視圖流、異步互學(xué)習(xí)和解碼器模塊組成；除了分割損失外，還有一個跨空間損失，可以緩解幾何失真問題。
　　
　　在Bi-Mapper中，全局跨視圖流在自車坐標(biāo)系中融合了不同視圖的特征，這完全依賴于多視圖的交叉學(xué)習(xí)。BEV路線圖是在自車坐標(biāo)系中繪制的，其中像素和相機坐標(biāo)系之間的關(guān)系可以從相機校準(zhǔn)參數(shù)中獲得。局部自車視圖流遵循該模型分別從多個視圖學(xué)習(xí)局部特征。為了減輕幾何失真，他們設(shè)置了“跨空間”損失。異步相互學(xué)習(xí)模塊讓兩個流相互學(xué)習(xí)。
　　
　　▍定位
　　
　　準(zhǔn)確定位自動駕駛汽車可以對行為規(guī)劃等下游任務(wù)產(chǎn)生巨大影響。雖然使用IMU和GPS等傳統(tǒng)動態(tài)傳感器可以產(chǎn)生可接受的結(jié)果，但基于視覺的傳感器、激光雷達或相機顯然適用于這項任務(wù)，因為使用此類傳感器獲得的定位不僅對車輛本身，而且對其周圍場景都有響應(yīng)。雖然這兩種傳感器都具有良好的定位性能，但它們也存在一些局限性。
　　
　　多年來，自動駕駛汽車的本地化一直在進行，大多數(shù)時候與地圖繪制方面相結(jié)合，帶來了兩條截然不同的路線：第一條是SLAM，定位和地圖繪制在一個循環(huán)中同時運行；第二種是在離線構(gòu)建地圖的同時拆分定位和地圖。
　　
　　最近，深度學(xué)習(xí)為SLAM帶來了數(shù)據(jù)驅(qū)動的方法，在這里，作者展示了一個基于Transformer的定位方法的例子，稱為卷積變換器的基于能量的跨模態(tài)定位（ECMLCT）：沒有GPS和IMU的車輛通過LiDAR點云根據(jù)衛(wèi)星圖像進行定位，該點云被展平為旋轉(zhuǎn)鳥瞰圖（BEV）圖像；從地圖中提取候選衛(wèi)星，并將其與BEV激光雷達圖像配對以找到姿態(tài)相似性；具有高相似性的激光雷達衛(wèi)星對實現(xiàn)低能量。ECML-CT架構(gòu)如圖9所示。
　　
　　BEV激光雷達圖像與候選衛(wèi)星瓦片陣列相連，用作模型的輸入。他們使用具有ReLU激活和最大池化的兩個卷積層來獲得中間表示。Reshape后，將其送入Transformer編碼器。Mlayer Transformer編碼器的順序輸出之后是序列池化步驟，該步驟隨后被地圖到MLP頭中的LiDAR衛(wèi)星對的相似性得分a。
　　
　　▍規(guī)劃
　　
　　大多數(shù)規(guī)劃方法，尤其是行為規(guī)劃，都是基于規(guī)則的，這給數(shù)據(jù)驅(qū)動的系統(tǒng)探索和升級帶來了負擔(dān)。
　　
　　基于規(guī)則的方法規(guī)劃框架負責(zé)計算自車車輛的低級控制器要跟蹤的軌跡點序列。作為一個主要優(yōu)點，基于規(guī)則的規(guī)劃框架是可解釋的，當(dāng)發(fā)生故障或意外的系統(tǒng)行為時，可以識別出有缺陷的模塊。限制在于它需要許多手動啟發(fā)式函數(shù)。
　　
　　基于學(xué)習(xí)的計劃方法已成為自動駕駛研究的一種趨勢。駕駛模型可以通過模仿學(xué)習(xí)學(xué)習(xí)知識，通過強化學(xué)習(xí)探索駕駛策略。與基于規(guī)則的方法相比，基于學(xué)習(xí)的方法更有效地處理了車輛與環(huán)境的交互。盡管它的概念很吸引人，但很難甚至不可能找出模型行為不端的原因。
　　
　　模仿學(xué)習(xí)是指基于專家軌跡的智能體學(xué)習(xí)策略。每個專家軌跡都包含一系列狀態(tài)和動作，并提取所有“狀態(tài)-動作”對來構(gòu)建數(shù)據(jù)集。
　　
　　為了處理標(biāo)記數(shù)據(jù)的負擔(dān)，一些科學(xué)家將強化學(xué)習(xí)（RL）算法應(yīng)用于行為規(guī)劃或決策。Agent可以通過與環(huán)境互動來獲得一些獎勵。RL的目標(biāo)是通過試錯來優(yōu)化累積數(shù)字獎勵。通過與環(huán)境持續(xù)交互，Agent逐漸獲得最佳策略的知識，以到達目標(biāo)端點。在RL中從頭開始訓(xùn)練策略通常是耗時且困難的。將RL與其他方法（如IL和課程學(xué)習(xí)）相結(jié)合可能是一個可行的解決方案。
　　
　　近年來，深度學(xué)習(xí)（DL）技術(shù)通過深度神經(jīng)網(wǎng)絡(luò)（DNN）的奇妙特性：函數(shù)逼近和表示學(xué)習(xí)，為行為規(guī)劃問題提供了強大的解決方案。DL技術(shù)使得RL/IL能夠縮放到以前難以解決的問題（例如，高維狀態(tài)空間）。
　　
　　這里提出了一種兩階段占用預(yù)測導(dǎo)向神經(jīng)規(guī)劃器（OPGP），它將未來占用和運動規(guī)劃的聯(lián)合預(yù)測與預(yù)測導(dǎo)向相結(jié)合，如圖10所示。
　　
　　在OPGP的第一階段，在變壓器Backbone上建立了一個集成網(wǎng)絡(luò)。視覺特征是歷史占用網(wǎng)格和光柵化BEV路線圖的組合，表示特定場景下交通參與者的時空狀態(tài)。矢量化上下文最初涉及以自動駕駛汽車為中心的參與者的動態(tài)上下文。同時輸出所有類型交通參與者的占用預(yù)測，同時考慮視覺特征和矢量化上下文的交互感知。同時，編碼后的場景特征和占用率在規(guī)劃器Head中被共享并有條件地查詢，規(guī)劃器Head進行多模式運動規(guī)劃。
　　
　　OPGP的第二階段側(cè)重于建模來自占用預(yù)測的明確指導(dǎo)，以優(yōu)化可行的方式進行細化。更具體地說，在Frenet空間中構(gòu)建了一個優(yōu)化管道，用于使用變換的占用預(yù)測進行規(guī)劃細化。
　　
　　▍控制
　　
　　與自動駕駛管道中的其他模塊（如感知和規(guī)劃）相比，車輛控制相對成熟，經(jīng)典控制理論發(fā)揮著主要作用。然而，深度學(xué)習(xí)方法不僅在各種非線性控制問題上獲得了優(yōu)異的性能，而且在將先前學(xué)習(xí)的規(guī)則外推到新的場景中也取得了很大的進展。因此，深度學(xué)習(xí)在自動駕駛控制中的應(yīng)用越來越受歡迎。
　　
　　傳感器配置多種多樣；雖然有些人的目標(biāo)是僅用視覺控制車輛，但其他人則利用測距傳感器（激光雷達或雷達）的低維數(shù)據(jù)，有些人則利用多傳感器。在控制目標(biāo)方面也有變化，一些人將系統(tǒng)公式化為高級控制器來提供目標(biāo)，然后通過低級控制器來實現(xiàn)目標(biāo)，通常使用經(jīng)典控制技術(shù)。其他人的目標(biāo)是學(xué)習(xí)端到端駕駛，將觀察結(jié)果直接地圖到低級車輛控制界面命令。
　　
　　車輛控制大致可分為兩個任務(wù)：橫向控制和縱向控制。橫向控制系統(tǒng)旨在控制車輛在車道上的位置，并實現(xiàn)其他橫向動作，如變道或防撞操作。在深度學(xué)習(xí)領(lǐng)域，這通常是通過使用車載相機/激光雷達的圖像/點云作為神經(jīng)網(wǎng)絡(luò)的輸入來捕捉環(huán)境來實現(xiàn)的。
　　
　　縱向控制管理車輛的加速度，使其在車道上保持理想的速度，與前車保持安全距離，并避免追尾碰撞。雖然橫向控制通常通過視覺輸入（攝像頭）實現(xiàn)，但縱向控制依賴于與前/后車輛的相對速度和距離的測量。這意味著雷達或激光雷達等測距傳感器更常用于縱向控制系統(tǒng)。
　　
　　在本節(jié)中，作者描述了一種具有語義視覺地圖和攝像頭的端到端（E2E）駕駛模型。這些地圖用于促進分割置信度Mask的注意力機制，從而將網(wǎng)絡(luò)集中在捕獲圖像中的語義類上。類人駕駛是使用對抗性學(xué)習(xí)實現(xiàn)的，不僅通過最小化相對于人類駕駛員的模仿?lián)p失，還通過進一步定義鑒別器，該鑒別器迫使駕駛模型產(chǎn)生類人的動作序列。
　　
　　訓(xùn)練數(shù)據(jù)（命名為“Drive360數(shù)據(jù)集”）來自一輛安裝了8個攝像頭的車輛（在實驗中，只使用了前置攝像頭數(shù)據(jù)），這是一個渲染的TomTom視覺路線規(guī)劃模塊，其中記錄了人類駕駛員的車速和方向盤角度。
　　
　　然后，用HERE Technologies的地圖數(shù)據(jù)離線擴充數(shù)據(jù)集，以提供準(zhǔn)確同步的視覺路線規(guī)劃模塊和額外的語義地圖信息，如到紅綠燈、十字路口、人行橫道、限速和道路曲率等的距離。HERE語義圖的一個有用特征是，它們通過定義數(shù)據(jù)子集來實現(xiàn)特定駕駛場景的模型訓(xùn)練和評估。
　　
　　基本的E2E駕駛模型采用一系列過去的圖像（例如，最后K幀）和地圖渲染，并預(yù)測未來時間步長的轉(zhuǎn)向角和速度。
　　
　　考慮到Drive360數(shù)據(jù)集，使用模仿學(xué)習(xí)來訓(xùn)練這種端到端駕駛模型是很簡單的，該網(wǎng)絡(luò)的架構(gòu)如圖11（a）所示。
　　
　　附加語義圖信息的幼稚方法，稱為后期融合方法，將數(shù)據(jù)附加到模型管道的末端，如圖11（b）所示：所有語義圖信息都作為向量嵌入，然后由完全連接的網(wǎng)絡(luò)進行處理。
　　
　　他們提出了一種基于語義圖信息提高分割網(wǎng)絡(luò)輸出類概率的新方法，其完整架構(gòu)如圖11（c）所示。這種方法使用語義分割網(wǎng)絡(luò)，為所有19個類別（如行人、道路和交通標(biāo)志）生成置信度Mask。
　　
　　然后，使用獲取語義圖信息并輸出19類注意力向量的軟注意力網(wǎng)絡(luò)來促進這些Mask。因此，注意力網(wǎng)絡(luò)允許提升分割網(wǎng)絡(luò)的個體類概率，其中提升基于數(shù)字地圖信息和LSTM的先前隱藏狀態(tài)。
　　
　　在訓(xùn)練駕駛模型時，決策問題被視為具有i.i.d.目標(biāo)（專家行動）的監(jiān)督回歸問題。在訓(xùn)練E2E駕駛模型時，考慮到時間依賴性，提出了匹配動作序列（稱為小驅(qū)動）而不是單一動作。為了產(chǎn)生小驅(qū)動程序的時間損失，模仿學(xué)習(xí)問題被公式化為生成對抗性網(wǎng)絡(luò)（GAN），其中驅(qū)動模型是生成器，鑒別器判斷小驅(qū)動程序是否與人類小驅(qū)動程序來自相同的分布。
　　
　　▍V2X
　　
　　得益于通信基礎(chǔ)設(shè)施的更好建設(shè)和通信技術(shù)的發(fā)展，如車輛對一切（V2X）通信，車輛可以以可靠的方式交換信息，從而實現(xiàn)它們之間的協(xié)作。協(xié)同駕駛利用車對車（V2V）和車對基礎(chǔ)設(shè)施（V2I）通信技術(shù)，旨在實現(xiàn)協(xié)同功能：
　　
　　協(xié)同感知
　　
　　協(xié)同機動
　　
　　有一些通用的協(xié)同駕駛場景：智能停車、變道和并線以及交叉口協(xié)同管理。車輛排隊，也稱為車隊駕駛，是在同一車道上以較小的車間距（通常小于1秒）以相同的速度駕駛兩輛或兩輛以上連續(xù)車輛的做法，這是實現(xiàn)協(xié)同自動駕駛的主要用例。
　　
　　使用集中或分散方法進行的有價值的研究工作集中在協(xié)調(diào)交叉口的CAV和高速公路入口匝道的合并上。在集中式方法中，系統(tǒng)中至少有一項任務(wù)是由單個中央控制器為所有車輛全局決定的。在分散控制中，每個車輛基于從道路上的其他車輛或某個協(xié)調(diào)器接收到的信息來確定其自己的控制策略。
　　
　　分散的方法可以分為三類：協(xié)商、協(xié)議和緊急。
　　
　　最具代表性的談判協(xié)議有：用于合作問題的合同網(wǎng)和用于競爭問題的拍賣。協(xié)調(diào)過程中的協(xié)議將產(chǎn)生一系列可接受的舉措，甚至是目標(biāo)的動態(tài)重新確定。Emergent使每輛車都根據(jù)其目標(biāo)和感知以自私的方式行事，例如，博弈論或自組織。
　　
　　在自動駕駛中，利用多個智能體之間的互動來改善感知的協(xié)作或合作感知取代了個人感知，受到了相當(dāng)大的關(guān)注。隨著深度學(xué)習(xí)方法在自動駕駛感知中的廣泛應(yīng)用，提高協(xié)同感知系統(tǒng)能力和可靠性的努力正在穩(wěn)步增加。
　　
　　根據(jù)傳遞的信息和協(xié)作階段，協(xié)作感知方案可以大致分為早期、中期和后期協(xié)作。早期的協(xié)作采用網(wǎng)絡(luò)輸入處的原始數(shù)據(jù)融合，也稱為數(shù)據(jù)級融合或低級融合。
　　
　　考慮到早期協(xié)作的高帶寬，一些工作提出了中間協(xié)作方法來平衡性能和帶寬的權(quán)衡。后期協(xié)作或?qū)ο蠹墔f(xié)作在網(wǎng)絡(luò)上采用預(yù)測融合。協(xié)作感知中的挑戰(zhàn)性問題包括：車輛的校準(zhǔn)、定位、同步和空間配準(zhǔn)等。
　　
　　在這里，作者提出了一個分層的V2X傳感平臺，如圖12所示。時間同步信息傳達來自不同Agent的數(shù)據(jù)之間的時間差。為了靈活，數(shù)據(jù)容器優(yōu)選保持時間窗口，例如1秒（對于激光雷達/雷達為10幀，對于相機為30幀）。空間配準(zhǔn)需要姿態(tài)信息，這些信息是從車輛定位和校準(zhǔn)中獲取的，大多基于在線地圖或與離線構(gòu)建的高清地圖中的信息匹配。
　　
　　作者假設(shè)傳感器是相機和激光雷達。神經(jīng)網(wǎng)絡(luò)模型可以處理原始數(shù)據(jù)以輸出中間表示（IR）、場景分割和目標(biāo)檢測。為了統(tǒng)一協(xié)作空間，將原始數(shù)據(jù)地圖到BEV，并且處理后的結(jié)果也位于同一空間中。
　　
　　為了保持有限的尺度空間，在IR中保留了多個層，例如3層，這允許不同數(shù)據(jù)分辨率的靈活融合。V2X的協(xié)同感知需要在接收器中做更多的工作，以整合來自其他車輛和路邊的信息，分別融合IR、分割和檢測通道。融合模塊可以是基于CNN、基于Transformer或基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的。
　　
　　▍仿真
　　
　　在封閉或公共道路上進行物理測試是不安全的，成本高昂，而且并不總是可重復(fù)的。這就是模擬測試有助于填補空白的地方，但模擬測試的問題在于，它只能與用于測試的模擬器以及模擬場景在真實環(huán)境中的代表性一樣好。
　　
　　理想的模擬器是盡可能接近現(xiàn)實的模擬器。然而，這意味著它必須在3D虛擬環(huán)境方面非常詳細，并且在較低level-的車輛計算（如汽車物理）方面非常精確。因此，在3D場景的真實性和車輛動力學(xué)的簡化之間存在權(quán)衡。
　　
　　通常，在虛擬場景中學(xué)習(xí)到的駕駛知識會轉(zhuǎn)移到現(xiàn)實世界，因此如何使在模擬中學(xué)習(xí)的駕駛知識適應(yīng)現(xiàn)實成為一個關(guān)鍵問題。虛擬世界和現(xiàn)實世界之間的差距通常被稱為“現(xiàn)實差距”。為了解決這一差距，提出了各種方法，分為兩類：從模擬到現(xiàn)實的知識轉(zhuǎn)移（sim2real）和數(shù)字孿生學(xué)習(xí)（real2sim）。
　　
　　sim2real逐漸發(fā)展出6種方法，包括課程學(xué)習(xí)、元學(xué)習(xí)、知識蒸餾、魯棒強化學(xué)習(xí)、領(lǐng)域隨機化和遷移學(xué)習(xí)。基于數(shù)字孿生的方法旨在使用來自傳感器和物理模型的數(shù)據(jù)，在模擬環(huán)境中構(gòu)建真實世界物理實體的地圖，以實現(xiàn)反映相應(yīng)物理實體（如AR（增強現(xiàn)實）和MR（混合現(xiàn)實））的整個生命周期過程的作用。
　　
　　盡管在模擬中測試自動駕駛系統(tǒng)相對便宜且安全，但為評估生成的安全關(guān)鍵場景對于管理風(fēng)險和降低成本應(yīng)該更重要。事實上，安全關(guān)鍵場景在現(xiàn)實世界中是罕見的，因此在模擬中生成這些場景數(shù)據(jù)的各種方法被投入了研究，分為3種類型：數(shù)據(jù)驅(qū)動的生成，僅利用收集到的數(shù)據(jù)集中的信息來生成場景，使用來自部署在仿真中的自動駕駛車輛的反饋的對抗性生成，以及利用主要來自外部知識的信息作為生成的約束或指導(dǎo)的基于知識的生成。
　　
　　在這里，作者報道了一個最新的神經(jīng)傳感器模擬平臺-UniSim，由多倫多大學(xué)Waabi和麻省理工學(xué)院建造。UniSim將配備傳感器的車輛捕獲的單個記錄日志轉(zhuǎn)換為真實的閉環(huán)多傳感器模擬，作為可編輯和可控的數(shù)字孿生。圖13顯示了UniSim的概述。
　　
　　如圖13所示，UniSim是一個神經(jīng)渲染閉環(huán)模擬器，它從環(huán)境的單次通過中捕獲的傳感器數(shù)據(jù)中聯(lián)合學(xué)習(xí)靜態(tài)場景和動態(tài)演員的形狀和外觀表示。為了更好地處理外推視圖，為動態(tài)對象引入了可學(xué)習(xí)的先驗，并利用卷積網(wǎng)絡(luò)來完成看不見的區(qū)域。
　　
　　此外，UniSim中的3D場景分為靜態(tài)背景（灰色）和一組動態(tài)演員（紅色）。對于靜態(tài)背景和動態(tài)演員模型，分別查詢神經(jīng)特征字段，并執(zhí)行體繪制以生成神經(jīng)特征描述符。靜態(tài)場景是用稀疏特征網(wǎng)格建模的，并使用Hypernet從可學(xué)習(xí)的潛在因素中生成每個參與者的表示。最后，使用CNN將特征塊解碼為圖像。
　　
　　注：一類新興的生成模型，稱為擴散模型，其通用管道包括學(xué)習(xí)數(shù)據(jù)分布的前向過程和后向過程，以及生成新數(shù)據(jù)的采樣過程，在計算機視覺中獲得了極大的關(guān)注。近年來，它在圖像到圖像、文本到圖像、3D形狀生成、人體運動合成、視頻合成等領(lǐng)域越來越受歡迎。期望擴散模型為自動駕駛模擬器合成可想象的駕駛場景內(nèi)容。
　　
　　▍安全
　　
　　安全是自動駕駛系統(tǒng)（ADS）在現(xiàn)實世界部署中的主要問題。除了對傳感器和網(wǎng)絡(luò)系統(tǒng)的經(jīng)典攻擊外，基于人工智能或機器學(xué)習(xí)（包括深度學(xué)習(xí)）的系統(tǒng)尤其需要考慮神經(jīng)網(wǎng)絡(luò)天生容易受到對抗性示例中的對抗性攻擊所帶來的新安全問題。
　　
　　目前，對抗性防御可以分為主動防御和被動防御。主動方法側(cè)重于提高目標(biāo)人工智能模型的穩(wěn)健性，而被動方法旨在在將對抗性示例輸入模型之前檢測和對抗這些示例。主動防御方法主要有5種：
　　
　　對抗性訓(xùn)練
　　
　　網(wǎng)絡(luò)提煉
　　
　　網(wǎng)絡(luò)正則化
　　
　　模型集成
　　
　　認(rèn)證防御
　　
　　反應(yīng)防御嘗試對抗性檢測和對抗性轉(zhuǎn)換。為了提供安全保障，需要針對ADS將面臨的現(xiàn)實世界中的場景規(guī)模進行大量的驗證和確認(rèn)（V&V）。V&V最大化場景覆蓋的一個常見策略是在模擬的大量生成場景樣本中驗證ADS。有兩種方法可以保證合理的覆蓋范圍：基于場景采樣的方法和形式化方法。
　　
　　場景采樣方法是人工智能安全控制的主要方法，包括基于測試的采樣，以最小的努力最大限度地擴大場景覆蓋范圍，以及基于偽造的采樣，尋找更值得開發(fā)者關(guān)注的安全角落案例，如安全關(guān)鍵場景。
　　
　　AV安全中常用的形式化方法包括模型檢驗、可達性分析和定理證明。模型檢查源于軟件開發(fā)，以確保軟件行為符合設(shè)計規(guī)范。當(dāng)安全規(guī)范用公理和引理表示時，則定理證明可以用于使用最壞情況假設(shè)來驗證安全性?？蛇_性分析由于其為動力系統(tǒng)生成安全聲明的固有能力，捕捉到了動態(tài)駕駛?cè)蝿?wù)（DDT）的主要特征，如Mobileye的安全模型RSS（責(zé)任敏感安全）和Nvidia的安全模型SFF（安全力場）。
　　
　　廣泛使用的安全指南標(biāo)準(zhǔn)ISO 26262《道路車輛功能安全》僅適用于緩解與已知部件故障相關(guān)的已知不合理風(fēng)險（即已知的不安全場景），但它沒有解決由于復(fù)雜的環(huán)境變化以及ADS如何應(yīng)對這些變化而導(dǎo)致的AV駕駛風(fēng)險，而車輛中沒有任何技術(shù)故障。
　　
　　ISO 21448預(yù)期功能的安全性（SOTIF）中提出了一個定性目標(biāo)，該目標(biāo)描述了最大限度地減少ADS功能設(shè)計的已知和未知不安全場景結(jié)果的高級目標(biāo)，如圖14所示。
　　
　　基于樣本的方法在發(fā)現(xiàn)未知的不安全場景方面具有較少的偏見和更多的探索能力，從未知到已知的推動具有“水平”性質(zhì)，因為所有采樣場景通常都在一致的模擬環(huán)境和相同的保真度水平內(nèi)。
　　
　　▍總結(jié)
　　
　　在這篇關(guān)于自動駕駛的綜述中，作者概述了一些關(guān)鍵的創(chuàng)新以及尚未解決的問題。已經(jīng)提出了幾種基于深度學(xué)習(xí)的架構(gòu)模型，即BEV/占用感知、V2X中的協(xié)作感知、基于BEV的感知、預(yù)測和規(guī)劃的端到端自動駕駛（BP3）。
　　
　　最后，作者想簡要討論基礎(chǔ)模型對自動駕駛領(lǐng)域的影響及其數(shù)據(jù)閉環(huán)范式。
　　
　　最近，在大型語言模型（LLM）的支持下，聊天系統(tǒng)，如ChatGPT和PaLM，出現(xiàn)并迅速成為在自然語言處理（NLP）中實現(xiàn)人工通用智能（AGI）的一個有前途的方向。
　　
　　事實上，關(guān)鍵的創(chuàng)造，如在整個萬維網(wǎng)中獲取知識的大規(guī)模預(yù)預(yù)訓(xùn)練、微調(diào)、即時學(xué)習(xí)、情境學(xué)習(xí)、思想鏈（COT）和來自人類反饋的強化學(xué)習(xí)（RLHF），在提高LLM的適應(yīng)性和表現(xiàn)方面發(fā)揮了重要作用。同時，也帶來了一些關(guān)于強化偏見、侵犯隱私、有害幻覺（不真實的廢話）和顯著的計算機功耗等方面的擔(dān)憂。
　　
　　基礎(chǔ)模型的概念已經(jīng)從NLP擴展到其他領(lǐng)域，如計算機視覺和機器人。同時，實現(xiàn)了多模態(tài)輸入或輸出，使其應(yīng)用更加廣泛。視覺語言模型（VLM）從網(wǎng)絡(luò)級圖像文本對中學(xué)習(xí)豐富的視覺語言相關(guān)性，并使用單個VLM（如CLIP和PaLM-E）對各種計算機視覺任務(wù)進行零樣本預(yù)測。
　　
　　Meta提出了ImageBind，這是一種學(xué)習(xí)跨6種不同模態(tài)（圖像、文本、音頻、深度、Heat和IMU數(shù)據(jù)）的聯(lián)合嵌入的方法。它實際上利用了大規(guī)模的視覺語言模型，并通過與圖像的配對將零樣本功能擴展到了一種新的形式。
　　
　　擴散模型的巨大成功始于圖像合成，但擴展到其他模態(tài)，如視頻、音頻、文本、圖形和三維模型等。作為多視圖重建的一個新分支，NeRF提供了三維信息的隱式表示。擴散模型和NeRF的結(jié)合在文本到三維合成中取得了顯著的成果。
　　
　　總之，LLMs的出現(xiàn)使AGI從NLP到各個領(lǐng)域，特別是計算機視覺，產(chǎn)生了連鎖反應(yīng)。自動駕駛系統(tǒng)（ADS）肯定會受到這一趨勢的影響。如果有足夠龐大的數(shù)據(jù)和視覺語言模型，再加上NeRF和擴散模型，基礎(chǔ)模型的思想和操作將在自動駕駛中產(chǎn)生革命。
　　
　　“長尾”問題將在很大程度上得到緩解，數(shù)據(jù)閉環(huán)可能會轉(zhuǎn)變?yōu)榱硪环N循環(huán)模式，即預(yù)訓(xùn)練+微調(diào)+強化學(xué)習(xí)，更不用說為輕型貨車模型構(gòu)建模擬平臺和自動標(biāo)記訓(xùn)練數(shù)據(jù)的容易性了。