【ZiDongHua 之品牌自定位收錄關(guān)鍵詞： 輕舟智航  自動(dòng)駕駛  汽車駕駛自動(dòng)化  】

輕舟智航團(tuán)隊(duì)研究入選ICML!推動(dòng)突破自動(dòng)駕駛領(lǐng)域一大基礎(chǔ)難題

ICML(International Conference on Machine Learning)，國際機(jī)器學(xué)習(xí)大會(huì)，與NeurIPS和ICLR一起，被公認(rèn)為機(jī)器學(xué)習(xí)和人工智能研究中具有高度影響力的三大主要會(huì)議之一。ICML官方表示，每一份投稿都由專家審稿員、領(lǐng)域主席和高級(jí)領(lǐng)域主席審查，以確保每一份投稿都得到適當(dāng)?shù)脑u(píng)估，因而，ICML以其嚴(yán)格的審稿流程和高水平的接收論文而聞名，在整個(gè)計(jì)算機(jī)科學(xué)領(lǐng)域享有崇高的聲望。ICML為CCF(中國計(jì)算機(jī)學(xué)會(huì))推薦的A類會(huì)議，同時(shí)也是Core Conference Ranking的A*類會(huì)議，被視為推動(dòng)機(jī)器學(xué)習(xí)發(fā)展的重要會(huì)議。

ICML 2023 是第四十屆會(huì)議，近期剛剛公布今年的論文接收結(jié)果，來自輕舟智航團(tuán)隊(duì)的研究成功入選 ICML 2023!該論文的入選不僅體現(xiàn)了輕舟智航在自動(dòng)駕駛技術(shù)領(lǐng)域的卓越研究能力，也驗(yàn)證了輕舟智航團(tuán)隊(duì)的創(chuàng)新成果在行業(yè)中的領(lǐng)先性與前沿性。

眾所周知，自動(dòng)駕駛感知模塊的高效評(píng)測(cè)是自動(dòng)駕駛技術(shù)研發(fā)過程中一個(gè)非常重要的部分，它直接影響整個(gè)智能系統(tǒng)的安全性和可靠性。然而，此前業(yè)界的大多數(shù)方法僅針對(duì)感知模塊進(jìn)行評(píng)測(cè)，但忽略了感知模塊對(duì)自動(dòng)駕駛決策規(guī)劃行為的整體影響，目前僅有Waymo, NVIDIA和多倫多大學(xué)對(duì)該問題進(jìn)行了有效探索。

本次輕舟智航團(tuán)隊(duì)入選 ICML 2023的研究論文《Transcendental Idealism of Planner: Evaluating Perception from Planning Perspective for Autonomous Driving》，創(chuàng)新性地提出了一套考慮全局影響的感知模塊高效評(píng)測(cè)和理論分析框架，極大推動(dòng)了自動(dòng)駕駛領(lǐng)域一大基礎(chǔ)性問題的發(fā)展。這種從規(guī)劃器視角出發(fā)的框架，提供了一種新的方法來評(píng)估感知模塊對(duì)整個(gè)自動(dòng)駕駛系統(tǒng)的影響，從而改進(jìn)設(shè)計(jì)和優(yōu)化感知模塊，幫助提高自動(dòng)駕駛系統(tǒng)的性能和安全性。

接下來為大家?guī)碓撜撐牡脑敿?xì)解讀：

 

01

背景介紹

自動(dòng)駕駛領(lǐng)域在工業(yè)界和學(xué)術(shù)界在近期均得到了迅速發(fā)展。車載感知模塊是自動(dòng)駕駛汽車獲取動(dòng)態(tài)環(huán)境信息的重要來源。傳統(tǒng)的計(jì)算機(jī)視覺感知任務(wù)(如檢測(cè)、分割、跟蹤等)雖然可以直接套用來評(píng)價(jià)感知模塊的性能，但是這些評(píng)價(jià)方法忽略了感知模塊在自動(dòng)駕駛系統(tǒng)中對(duì)系統(tǒng)整體的影響。

事實(shí)上，感知模塊結(jié)果中相似的錯(cuò)誤對(duì)決策規(guī)劃控制的影響可能大相徑庭：例如同樣是靜態(tài)障礙物的漏檢，這種錯(cuò)誤發(fā)生在正在向前行駛的自動(dòng)駕駛車輛前方時(shí)相對(duì)于發(fā)生在后方要嚴(yán)重得多。因此整個(gè)領(lǐng)域都非常需要一個(gè)高效和有效的工具來評(píng)價(jià)感知模塊性能對(duì)整個(gè)自動(dòng)駕駛?cè)蝿?wù)的影響。

之前試圖解決這個(gè)問題的工作大多從自動(dòng)駕駛的軌跡輸出來試圖衡量感知誤差對(duì)自動(dòng)駕駛系統(tǒng)的影響。一個(gè)常見的方法就是通過計(jì)算自動(dòng)駕駛車輛的決策規(guī)劃在真值和實(shí)際感知輸入作用下得到的結(jié)果的區(qū)別來判斷影響大小。但是自動(dòng)駕駛車輛最終行為的改變與最終結(jié)果之間的相關(guān)性在不少情況下都比較弱，在某些場(chǎng)景下甚至呈負(fù)相關(guān)，如下圖所示：

圖中紅色箭頭表示自動(dòng)駕駛車輛決策規(guī)劃在感知真值輸入下得到的最優(yōu)動(dòng)作軌跡，灰色箭頭表示在錯(cuò)誤感知下的最優(yōu)動(dòng)作軌跡。彩色和灰度的路障分別表示障礙物的真實(shí)位置和錯(cuò)誤感知位置。在(a)情況下，自動(dòng)駕駛汽車必須繞行較大的彎路，以繞過錯(cuò)誤感知的路障。而對(duì)于(b)， 自動(dòng)駕駛車輛雖然需要稍微向右做微小繞道，然而它最終在實(shí)際世界里撞上了路障。在這種情況下，盡管行為的改變遠(yuǎn)遠(yuǎn)小于(a)，但結(jié)果卻明顯更糟(“撞到一個(gè)物體” vs “繞了遠(yuǎn)路”)。

在(c)中，不論是向左還是向右繞道，任何一種方式的結(jié)果對(duì)“向前移動(dòng)”這一目的來說都沒有太大區(qū)別;但就時(shí)空軌跡而言，行為的變化非常大。在(d)場(chǎng)景里，道路兩側(cè)各有一個(gè)被誤檢的路障，但并不會(huì)與前進(jìn)通過的車輛發(fā)生碰撞(雖然車輛經(jīng)過時(shí)路障距離車輛很近);在這個(gè)有誤檢的情況下自動(dòng)駕駛車輛仍然決定保持與真實(shí)情況相同的運(yùn)動(dòng)繼續(xù)勻速前進(jìn)：在感知誤差存在的情況下，自動(dòng)駕駛汽車的最終行為沒有改變，但經(jīng)過兩個(gè)近距離物體的成本實(shí)際上已經(jīng)改變了決策規(guī)劃過程，而這些額外的隱藏成本將無法通過僅關(guān)注自動(dòng)駕駛車輛結(jié)果行為變化的感知評(píng)價(jià)指標(biāo)體現(xiàn)。因此，由于感知錯(cuò)誤導(dǎo)致的車輛行為變化并不總是與錯(cuò)誤導(dǎo)致的實(shí)際后果相關(guān)。

之前有限的幾個(gè)從自動(dòng)駕駛系統(tǒng)角度評(píng)價(jià)感知模塊性能的工作大多采用類似這樣的啟發(fā)式方法。這些方法會(huì)將一些人工總結(jié)的先驗(yàn)知識(shí)整合到評(píng)價(jià)系統(tǒng)中，如(Philion et al.，2020)假設(shè)感知誤差的造成的后果與其導(dǎo)致的規(guī)劃器輸出的時(shí)空軌跡變化直接相關(guān)，并提出用 KL 散度作為評(píng)價(jià)指標(biāo)來衡量后果;但由于沒有考慮實(shí)際的環(huán)境背景，因此并不能準(zhǔn)確反映真實(shí)交通環(huán)境里輸入噪聲導(dǎo)致的實(shí)際代價(jià)。

本文希望強(qiáng)調(diào)的是通過規(guī)劃過程來理解感知誤差對(duì)自動(dòng)駕駛系統(tǒng)影響的必要性：只有從決策規(guī)劃的角度，通過理解感知輸入噪聲對(duì)自動(dòng)駕駛系統(tǒng)造成的實(shí)際后果才能有效評(píng)估感知誤差帶來的影響。這種完全通過實(shí)際觀察者(規(guī)劃器)的視角來評(píng)估待考察事物(感知誤差)屬性的方法，與經(jīng)典哲學(xué)理論里的先驗(yàn)唯心主義論 (Kant, 1781) 一致，因此該方法被命名為規(guī)劃器先驗(yàn)唯心論(Transcendental Idealism of Planner / TIP)。

目前對(duì)自動(dòng)駕駛決策規(guī)劃過程的研究工作大致可以分為兩類，其一是基于效用的方法，其二是非基于效用的方法。前者通過對(duì)自動(dòng)駕駛要實(shí)現(xiàn)的具體目標(biāo)(向目的地接近，遵守交通規(guī)則，平滑的車輛運(yùn)動(dòng)等)編碼來構(gòu)建一個(gè)描述行為與收益的目標(biāo)函數(shù)，并通過求最優(yōu)化解作為最終的決策規(guī)劃結(jié)果;后者則利用海量數(shù)據(jù)和深度學(xué)習(xí)的擬合能力，直接將原始或者被預(yù)處理過的傳感器數(shù)據(jù)直接映射為自動(dòng)駕駛車輛的控制信號(hào)。本文重點(diǎn)在探索感知噪聲對(duì)決策規(guī)劃的影響，因此主要關(guān)注基于效用的規(guī)劃研究。

02

理論分析

2.1 基本概念

這篇工作首先給出了經(jīng)典的期望效用最大化(Expected Utility Maximization / EUM)框架(Osborne and Rubinstein, 1994)在 Hilbert 空間里的解釋。EUM表示在任意時(shí)刻 t，智能體通過最大化效用函數(shù)的期望獲得最佳動(dòng)作 (即能獲取在平均意義下最大獎(jiǎng)勵(lì)回饋的行為)

其中 表示 時(shí)刻智能體所有待考察的可行動(dòng)作選項(xiàng)集合。 表示 時(shí)刻環(huán)境狀態(tài)隨機(jī)變量 ( 為環(huán)境狀態(tài)的集合)，效用函數(shù) 負(fù)責(zé)編碼自動(dòng)駕汽車應(yīng)該實(shí)現(xiàn)的目標(biāo)或獎(jiǎng)勵(lì)(例如及時(shí)到達(dá)目的地，盡量減少與其他物體碰撞的可能性，避免運(yùn)動(dòng)的急劇變化等等)。期望效用表達(dá)為：

是隨機(jī)變量 的分布函數(shù)，用于描述環(huán)境的不確定性 (可視為感知模塊對(duì)規(guī)劃器的輸入)。

為了深入了解環(huán)境狀態(tài)描述(感知)輸入中的噪聲如何影響 EUM，我們首先證明了當(dāng)環(huán)境狀態(tài)分布函數(shù)絕對(duì)連續(xù)(absolutely continuous)，且其概率密度函數(shù)平方可積時(shí)，那么我們就可以找到一個(gè)雙射(bijection)把這個(gè)概率分布 映射到一個(gè)在希爾伯特空間 里的元素 ，稱為 的嵌套( ding)。在這個(gè)時(shí)候，由于實(shí)際使用的效用函數(shù)都是定義在一個(gè)有界集合上的有界函數(shù)(因此平方可積)，期望效用最大化可以寫成

給定了 與 的雙射關(guān)系，我們就可以在 Hilbert 空間里利用許多代數(shù)工具(如內(nèi)積、正交、投影、子空間、零空間等)來分析感知結(jié)果噪聲對(duì)自動(dòng)駕駛規(guī)劃的影響。

2.2 感知錯(cuò)誤分析

假設(shè) 中每一個(gè)候選行為都有一個(gè)不同的效用函數(shù)，即對(duì)任意不同的 ，有

令 為 EUM 里在正確感知輸入下的最優(yōu)行為，則對(duì)任意 ， 定義了行為方向，規(guī)劃半空間為：

在這個(gè)定義下，當(dāng)且僅當(dāng) 時(shí)，即 時(shí)，真正的最優(yōu)行為 會(huì)被認(rèn)為優(yōu)于 ，其中

是給定環(huán)境狀態(tài) 時(shí)的 偏好分?jǐn)?shù)。

當(dāng)實(shí)際的輸入 和正確(真值)結(jié)果 有不同時(shí)(即 含有噪聲時(shí))，偏好分?jǐn)?shù)有可能發(fā)生改變。注意到這個(gè)誤差可以分解為：

是 投影到 同方向的單位向量 (稱為行為方向)上之后的分量; 是 投影到 的正交補(bǔ)空間上的分量。可以看到偏好分?jǐn)?shù)改變

完全由 決定，因此我們定義 為規(guī)劃關(guān)鍵誤差(planning-critical Error / PCE)， 為規(guī)劃不變誤差(planning-invariant Error / PIE)。以上討論的示意圖如下所示：

如左圖所示， 定義了行為方向， 和 表示環(huán)境真值與噪聲感知的嵌入; 表示感知誤差，可以將其分解為規(guī)劃關(guān)鍵誤差(PCE) 和規(guī)劃不變誤差(PIE);陰影區(qū)域?qū)?yīng) 。

如中圖所示，一輛自動(dòng)駕駛車輛在寬 6m 的道路上行駛，前方有個(gè)路障在 x 軸上，其真實(shí)分布值為 ，但感知認(rèn)為他的分布位置為 ，此時(shí)自動(dòng)駕駛車輛有兩個(gè)選項(xiàng)，前進(jìn)(紅色箭頭)和制動(dòng)(灰色箭頭)，其效用函數(shù)分別為 和 (不管路障位置如何，制動(dòng)的損失相同)。

在這種情況下， 與 顯示在右上方，可以看到 與 具有相同的形狀(相差一個(gè)負(fù)常數(shù))，且有 所在的子空間包含了所有不會(huì)影響到 EUM 的感知錯(cuò)誤。

通過以上推導(dǎo)，我們可以得到如下結(jié)論：

并非環(huán)境狀態(tài)估計(jì)或感知中的所有錯(cuò)誤對(duì)自動(dòng)駕駛車輛規(guī)劃都有同等的影響。實(shí)際上，只有 PCE 會(huì)對(duì) EUM 結(jié)果有影響，PIE 完全不會(huì)造成任何影響;

PCE 的影響既可能是負(fù)面的(讓規(guī)劃器低估正確行為選項(xiàng)的優(yōu)勢(shì))也可能是“正面的”(讓規(guī)劃器高估正確行為選項(xiàng)的優(yōu)勢(shì))。

這兩個(gè)結(jié)論都是通過我們提出的理論框架下的分析得到的自然推論結(jié)果。

以上分析只是考慮了一個(gè)候選選項(xiàng) ，當(dāng)需要考慮整個(gè)候選選項(xiàng)集合 時(shí)，我們直接取所有偏好分?jǐn)?shù)改變的最小值(即最大的負(fù)面影響)作為感知輸入的噪聲對(duì)決策規(guī)劃影響的影響

實(shí)際計(jì)算時(shí)，一個(gè)偏好分?jǐn)?shù)改變

可以分解為四個(gè)期望效用來計(jì)算。每一個(gè)期望效用可以利用隨機(jī)采集的獨(dú)立同分布樣本通過無偏估計(jì)器

進(jìn)行數(shù)值估計(jì)?？梢宰C明，這樣的估計(jì)方法可以由一致收斂界限(uniform convergence bound)保證指數(shù)級(jí)別的數(shù)值收斂速度。這是一個(gè)值得注意的結(jié)果，因?yàn)檫@個(gè)指數(shù)收斂速度只要求效用函數(shù)是有界的，至于效用函數(shù)的具體形式(保證了可使用任意函數(shù)形式的靈活性)和其中變量的維度完全沒有任何限制(因此維度爆炸不會(huì)出現(xiàn))。整個(gè)過程的偽代碼如下：

03

實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)中使用的所有自動(dòng)駕駛汽車都是基于同一類型的普通乘用車。這些車載自動(dòng)駕駛系統(tǒng)中的基于效用的模塊化規(guī)劃器已在多個(gè)百萬人口級(jí)別的大城市進(jìn)行了嚴(yán)格的道路測(cè)試和廣泛的驗(yàn)證。實(shí)驗(yàn)中我們選取了三個(gè)基準(zhǔn)方法作為參照對(duì)象：

(1)在傳統(tǒng)端，nuScenes 數(shù)據(jù)集評(píng)分(NDS)(Caesar et al., 2020)將3D物體檢測(cè)的幾個(gè)傳統(tǒng)評(píng)分結(jié)果結(jié)合到一個(gè)單一的性能分?jǐn)?shù)中;

(2)SDE 距離加權(quán)平均精度(SDE-APD)(Deng et al., 2021)以自動(dòng)駕駛車輛為空間中心視角的方式更多地關(guān)注自動(dòng)駕駛車輛附近的感知誤差(支撐距離誤差);

(3)PKL(Philion et al., 2020)則作為自動(dòng)駕駛車輛基于行為變化指標(biāo)的代表。

3.1 合成數(shù)據(jù)測(cè)試

第一組實(shí)驗(yàn)的目標(biāo)是獲得各種評(píng)測(cè)方法對(duì)常見感知噪聲類型在噪聲可控條件下的反應(yīng)的一些理解。數(shù)據(jù)集從真實(shí)世界中收集和精心選擇的復(fù)雜道路測(cè)試場(chǎng)景生成。共有 1000 個(gè) 5s 長的交通場(chǎng)景，每個(gè)場(chǎng)景交通參與者數(shù)量在 30-500 之間，含有由專業(yè)人員標(biāo)注的感知真值。

實(shí)驗(yàn)中考慮了如下常見類型噪聲：

誤檢(假陽性)錯(cuò)誤是在以自動(dòng)駕駛車輛為中心的一個(gè) 70x30 米的矩形范圍里隨機(jī)加入“幽靈”車輛，而這些車輛的其他運(yùn)動(dòng)信息從自動(dòng)駕駛汽車的運(yùn)動(dòng)信息通過隨機(jī)擾動(dòng)添加。

漏檢(假陰性)錯(cuò)誤是通過以一定的概率(即漏檢率)隨機(jī)從真值結(jié)果中移除物體來實(shí)現(xiàn)。

其他類型的感知噪聲(速度，位置，朝向，大小等誤差)則通過直接向原始真值里添加高斯隨機(jī)噪聲實(shí)現(xiàn)。

在上述的不同強(qiáng)度噪聲下各個(gè)評(píng)估指標(biāo)的結(jié)果如下圖所示

橫軸為噪聲強(qiáng)度，左縱軸為 NDS 和 SDE-APD，右縱軸為 PKL 和 TIP。在一些情況下，一旦噪聲達(dá)到一定水平， NDS 就會(huì)飽和(比如在速度噪聲上)。同理，包含大量人工設(shè)計(jì)的 SDE-APD 也在不同的噪聲強(qiáng)度下表現(xiàn)出了大量的非線性(比如速度噪聲上)。而 TIP 和 PKL 沒有依賴人工設(shè)計(jì)，表現(xiàn)出的靈敏度在各種噪聲強(qiáng)度區(qū)間里相對(duì)都比較一致。

我們也單獨(dú)考察了一個(gè)如下圖所示的一個(gè)具體場(chǎng)景。

在這個(gè)場(chǎng)景里，x 軸上有三個(gè)物體：1)一個(gè)漏檢的靜態(tài)物體(坐標(biāo)為 x);2)一個(gè)靜態(tài)物體在 x=50m;3)自動(dòng)駕駛車在 x=0 以大概 14m/s 的速度向 x 軸正前方前進(jìn)。有兩個(gè)不同的規(guī)劃器參與評(píng)測(cè)：1)AV-1(加速劇烈變動(dòng)厭惡型)針對(duì)駕駛舒適性做了優(yōu)化(最大剎車加速度為 -4m/s?);2)AV-2(碰撞厭惡型)針對(duì)安全性做了優(yōu)化(最大剎車加速度為 -6m/s?)。

二者最小剎車距離分別為 30m 和 20m。在這個(gè)情況里，對(duì) AV-1 規(guī)劃器，TIP 認(rèn)為最關(guān)鍵的誤檢發(fā)生在 30m，因?yàn)檎系K物低于這個(gè)距離時(shí)即使能成功檢測(cè)到碰撞也無法避免，因此恰好在最小剎車距離的物體誤檢是最嚴(yán)重的(剛好能避免的碰撞發(fā)生的地方)。其他判據(jù)都沒有類似的特點(diǎn)和分辨能力，NDS 和 SDE-APD 都表現(xiàn)出各項(xiàng)同性(都認(rèn)為發(fā)生在正后方和正前方同樣距離的誤檢影響都一樣)，而 PKL 則認(rèn)為正前方的漏檢越近影響越大。

3.2 真實(shí)數(shù)據(jù)測(cè)試

第二組實(shí)驗(yàn)中，本文研究了部署在自動(dòng)駕駛車輛上的真實(shí)感知模塊的結(jié)果。以一個(gè) 3D 物體檢測(cè)模型為例，該模型可以從激光雷達(dá)點(diǎn)云中預(yù)測(cè)物體的類別、位置、方向、速度和大小。TIP 獨(dú)立于特定的檢測(cè)器，可以應(yīng)用于評(píng)估各種感知模型。

如下圖所示為該車載模型在若干場(chǎng)景上用 PKL 和 TIP 評(píng)估的結(jié)果。

左圖為這些場(chǎng)景的同場(chǎng)景 PKL 和 TIP 分?jǐn)?shù)分布圖，可以看到有大量的點(diǎn)匯集在橫軸上，對(duì)應(yīng)那些行為變化不大，但是卻可能導(dǎo)致嚴(yán)重后果的感知錯(cuò)誤。其中被紅圈標(biāo)記的場(chǎng)景如右側(cè)兩幅圖所示。右側(cè)第一幅圖顯示在感知真值輸入時(shí)，自動(dòng)駕駛汽車可以通過緩慢制動(dòng)向前行駛，以保持與前面另一輛車的距離;然而當(dāng)實(shí)際的感知輸入包括噪聲時(shí)(右側(cè)第二幅圖)，自動(dòng)駕駛汽車必須緊急制動(dòng)，以避免與前方近距離的誤檢車輛(紅色箭頭所示)發(fā)生碰撞。

在這兩種情況下，由于自動(dòng)駕駛車輛速度緩慢并且正在制動(dòng)(無論是緩慢制動(dòng)還是緊急制動(dòng))，行為的差異比較小(PKL=-0.802)，但這個(gè)誤檢物體卻導(dǎo)致了嚴(yán)重的后果：誤檢物體導(dǎo)致了緊急制動(dòng)和虛擬碰撞(在真值感知輸入下的行為和誤檢物體之間)，這種差異被 TIP(TIP=-115.42)精確捕獲。

真實(shí)場(chǎng)景的自動(dòng)駕駛車輛的運(yùn)動(dòng)學(xué)數(shù)據(jù)為(a=-0.36m/s?, j=-0.72m/s?)，噪聲場(chǎng)景下為(a=-0.36m/s?, j=-76.4m/s?)。而正常情況下的加加速度(jerk)大小一般不會(huì)超過 1m/s?。從系統(tǒng)的角度來看，這是一個(gè)嚴(yán)重的感知錯(cuò)誤。由此可見，TIP 能夠捕捉到被其他指標(biāo)所忽略的對(duì)自動(dòng)駕駛車輛規(guī)劃過程有重要影響的感知噪聲。

為了進(jìn)一步證明所提出的方法在場(chǎng)景層面的合理性，本文還實(shí)施了一套類似于(Philion et al, 2020)中的主觀評(píng)估。為此，我們收集了 258 對(duì)具有上述感知模型實(shí)際感知噪聲的場(chǎng)景，并檢查 TIP、PKL、SDE-APD 和 NDS 在相對(duì)嚴(yán)重程度上是否存在分歧(即一個(gè)評(píng)估方法認(rèn)為場(chǎng)景 A 的感知誤差比場(chǎng)景 B 的感知誤差更大，而另一個(gè)評(píng)估方法認(rèn)為相反)。

這些場(chǎng)景對(duì)由 10 個(gè)隨機(jī)選擇的人類駕駛員進(jìn)行比較和評(píng)分，以決定從人類的角度來看一個(gè)場(chǎng)景對(duì)里哪個(gè)場(chǎng)景更糟糕。結(jié)果表明，相比其他三個(gè)基準(zhǔn)評(píng)估方法人類駕駛員更傾向于和 TIP 保持一致的結(jié)果，如下表所示。

3.3 應(yīng)用到神經(jīng)規(guī)劃器

除了具有明確定義效用函數(shù)的決策規(guī)劃過程，我們提出的方法也可以應(yīng)用到一些端到端訓(xùn)練的神經(jīng)規(guī)劃器上，比如說類似(Bansal et al., 2019; Zeng et al., 2019; Philion et al., 2020)這樣的帶有車輛行為損失或者分布函數(shù)的規(guī)劃器。作為示范，我們采用了(Philion et al., 2020)里帶有規(guī)劃行為概率輸出的神經(jīng)規(guī)劃器，并把輸出行為的概率分布函數(shù)作為效用函數(shù)帶入 TIP 中。

我們使用 CBGS 檢測(cè)器(Zhu et al., 2019)在 nuScenes 數(shù)據(jù)集的 3D 檢測(cè)任務(wù)上驗(yàn)證集上獲得了如下的結(jié)果。

左圖是每個(gè)測(cè)試場(chǎng)景里 PKL-TIP 結(jié)果的分布圖?？梢钥吹讲簧贁?shù)量的點(diǎn)都在豎軸附近。其中一個(gè)點(diǎn)對(duì)應(yīng)的場(chǎng)景顯示在右側(cè)的四幅圖里：檢測(cè)真值，CBGS 檢測(cè)器結(jié)果，檢測(cè)結(jié)果與真值之差，神經(jīng)規(guī)劃器輸出(每種顏色代表某個(gè)時(shí)間點(diǎn)上規(guī)劃的車輛位置概率，其中每個(gè)時(shí)間點(diǎn)上概率最大的若干位置被置為 100% 飽和度方便可視化)。

在該場(chǎng)景里，兩種輸入下(考慮車輛運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)的約束后)最優(yōu)的選擇都是傾向于停留在原地。因此 PKL 直接計(jì)算原始結(jié)果里所有位置的分布偏差會(huì)認(rèn)為行為差異很大，而 TIP 只考慮車輛實(shí)際會(huì)執(zhí)行的行為，因此認(rèn)為這個(gè)具體情況下感知噪聲的影響不大。

TIP還能用來直接評(píng)估每個(gè)場(chǎng)景里具體物體漏檢和位置上出現(xiàn)誤檢的影響，如下兩圖所示。

本圖展示了車輛漏檢嚴(yán)重程度的可視化結(jié)果。每個(gè)環(huán)境車輛都被單獨(dú)從真值結(jié)果里移除然后計(jì)算場(chǎng)景的 TIP 并把結(jié)果分?jǐn)?shù)作為不透明度繪制到該車輛上(所有環(huán)境車輛都為紅色)。可以看出大部分被 TIP 認(rèn)為發(fā)生漏檢后果嚴(yán)重的環(huán)境車輛都是那些在自動(dòng)駕駛車輛(AV)行進(jìn)路徑上可能與之發(fā)生交互的車輛(而不是簡單的距離最近的車輛)。

本圖展示了車輛誤檢嚴(yán)重程度的可視化結(jié)果。任給自動(dòng)駕駛車輛(AV)附近的一個(gè)位置，一輛被誤檢的車被添加到真值結(jié)果里然后計(jì)算場(chǎng)景的 TIP，并把結(jié)果分?jǐn)?shù)作為不透明度繪制到該位置上(用紅色標(biāo)記)?？梢钥闯龃蟛糠直?TIP 認(rèn)為發(fā)生誤檢后果嚴(yán)重的位置都是那些在自動(dòng)駕駛車輛行進(jìn)路徑上可能與之發(fā)生交互的地方。

04

總結(jié)

本文提出了一個(gè)系統(tǒng)性框架，從自動(dòng)駕駛決策規(guī)劃的視角來評(píng)估感知結(jié)果里的噪聲對(duì)自動(dòng)駕駛影響的嚴(yán)重程度。該方法通過利用基于效用的規(guī)劃器的特性，有效地識(shí)別了在期望效用最大化的背景下可能導(dǎo)致決策規(guī)劃過程發(fā)生重大改變的感知噪聲。在人工合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上進(jìn)行的大量實(shí)驗(yàn)表明，該方法能夠有效發(fā)現(xiàn)傳統(tǒng)的感知評(píng)估指標(biāo)以及只關(guān)注自動(dòng)駕駛最終行為的方法無法區(qū)分的感知錯(cuò)誤。

參考文獻(xiàn)

Kant, I. Critik der reinen Vernunft. Johann Friedrich Hartknoch, 1781.

Osborne, M. and Rubinstein, A. A Course in Game Theory. MIT Press, 1994.

Philion, J., Kar, A., and Fidler, S. Learning to evaluate perception models using planner-centric metrics. In CVPR, 2020.

Deng, B., Qi, C. R., Najibi, M., Funkhouser, T., Zhou, Y., and Anguelov, D. Revisiting 3D detection from an egocentric perspective. In NeurIPS, 2021.

Caesar, H., Bankiti, V., Lang, A., Vora, S., Liong, V. E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., and Beijbom, O. nuScenes: A multimodal dataset for autonomous driving. In CVPR, 2020.

Zhu, B., Jiang, Z., Zhou, X., Li, Z., and Yu, G. Class-balanced grouping and sampling for point cloud 3d detection. arXiv preprint arXiv:1908.09492, 2019.

Bansal, M., Krizhevsky, A., and Ogale, A. ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst. In Robotics: Science and Systems (RSS), 2019.

Zeng, W., Luo, W., Suo, S., Sadat, A., Yang, B., Casas, S., and Urtasun, R. End-to-end interpretable neural motion planner. In CVPR, 2019.

依托上述這種前沿、高效的感知評(píng)測(cè)方法，充分考慮微小感知噪聲對(duì)規(guī)劃結(jié)果的影響，并采用系統(tǒng)化的方法對(duì)感知能力進(jìn)行評(píng)估和優(yōu)化，輕舟智航的感知能力正在得到飛速提升。

而感知就是做好城市NOA的重要基礎(chǔ)。實(shí)際應(yīng)用結(jié)果表明，上述方法顯著提高了城市 NOA 的準(zhǔn)確性、魯棒性和響應(yīng)能力，為用戶提供了更高水平的自動(dòng)駕駛體驗(yàn)。同時(shí)，輕舟的感知模型為了更好地滿足城市NOA在車端部署，需要提供精準(zhǔn)高效的感知融合算法，滿足車規(guī)級(jí)計(jì)算平臺(tái)的適配，并有效解決復(fù)雜路況中的各種長尾問題。

因此，輕舟提出以「超融合」感知方案實(shí)現(xiàn)更優(yōu)感知效果，并提出了更適合量產(chǎn)計(jì)算平臺(tái)的新一代端到端感知全能模型，解決各類場(chǎng)景難題。最終帶來更好的感知融合結(jié)果，能夠更好地滿足車企的量產(chǎn)需求，為城市NOA的「萬丈高樓」奠定良好的「地基」，助力客戶擁抱城市NOA的量產(chǎn)時(shí)代!