【ZiDongHua 之駕駛自動(dòng)化收錄關(guān)鍵詞： 安霸半導(dǎo)體 自動(dòng)駕駛 新能源汽車 機(jī)器人】
　　
　　轉(zhuǎn)載 | 安霸半導(dǎo)體：大算力結(jié)合VLM助力端到端自動(dòng)駕駛
　　
　　以下文章來源于蓋世汽車，作者謝雨欣
　　
　　2024年5月16日，在2024第二屆吉利汽車技術(shù)論壇暨技術(shù)展上，安霸半導(dǎo)體技術(shù)（上海）有限公司研發(fā)副總裁孫魯毅坦言，2023年國內(nèi)新能源汽車銷量為946.5 萬輛，同比增長37.9%。從電動(dòng)化普及到智能化加速的趨勢下，自動(dòng)駕駛技術(shù)取得突破性進(jìn)展，城市NOA與高速NOA滲透率攀升，AEB加速落地。
　　
　　孫魯毅介紹到安霸作為AI芯片領(lǐng)域的佼佼者，在智能駕駛領(lǐng)域取得了顯著成果。其研發(fā)的一系列SOC芯片滿足不同算力需求，廣泛應(yīng)用于智能座艙和自動(dòng)駕駛技術(shù)。特別是其CV72芯片，以低功耗和高處理能力為特色，支持多種算法運(yùn)行和數(shù)據(jù)采集。此外，安霸積極探索4D雷達(dá)技術(shù)，提升智能駕駛感知能力。 
　　
　
　　
　　孫魯毅 | 安霸半導(dǎo)體技術(shù)（上海）有限公司研發(fā)副總裁
　　
　　以下為演講內(nèi)容整理：
　　
　　電動(dòng)化普及到智能化加速
　　
　　在端到端的處理流程中，VLM作為視覺語言模型的一種，尤其值得關(guān)注。此外，端到端的概念亦屬當(dāng)前熱門話題。安霸作為一家芯片公司，專注于研發(fā)從L2級ADAS到中高算力域控器等一系列的SOC芯片，以滿足智能座艙及不同算力需求。接下來，我將介紹我們?nèi)〉玫囊恍┏煽儭a(chǎn)品系列及其特點(diǎn)。
　　
　　當(dāng)前，電動(dòng)化已成為行業(yè)發(fā)展的顯著趨勢。從最新數(shù)據(jù)來看，國內(nèi)電動(dòng)汽車的出貨量已過半，這一進(jìn)展令人振奮。特別是在電動(dòng)汽車市場，中國的汽車產(chǎn)業(yè)，尤其是吉利等品牌，已占據(jù)領(lǐng)先地位。吉利在EV的表現(xiàn)尤為突出，在全球范圍內(nèi)具有顯著優(yōu)勢，尤其在出口方面，我們的技術(shù)、行業(yè)發(fā)展程度及智能化水平均處于領(lǐng)先地位。
　　
　　回顧2023年，中國自動(dòng)駕駛行業(yè)取得了突破性進(jìn)展。城市NOA已有頭部廠商嘗試，并取得不俗成績。這一進(jìn)展部分歸功于前幾年L4級Robotaxi市場的經(jīng)驗(yàn)積累，盡管去年該市場有所收縮，但許多企業(yè)開始轉(zhuǎn)型，更加關(guān)注實(shí)用性和消費(fèi)者需求，以降低駕駛負(fù)擔(dān)。城市NOA作為高階產(chǎn)品，其應(yīng)用前景廣闊。而高速NOA則更接近實(shí)際突破，例如在節(jié)假日出行高峰期間，高速NOA的價(jià)值明顯提升，這一點(diǎn)在中國市場尤為明顯。此外，泊車技術(shù)也體現(xiàn)了中國特色，雖然海外市場需求不同，但在歐洲等停車位緊張的國家，泊車技術(shù)同樣重要。 
　　
　　
　　
　　圖源：安霸半導(dǎo)體
　　
　　關(guān)于AEB，它是真正的剛需。隨著市場的發(fā)展，AEB的普及率逐漸提高，但也面臨性能等問題的挑戰(zhàn)。傳統(tǒng)AEB品牌雖成熟且市場占有率大，但在關(guān)鍵指標(biāo)上仍需提升。特別是在復(fù)雜交通環(huán)境下，傳統(tǒng)AEB的表現(xiàn)尚需改進(jìn)。安霸在AEB領(lǐng)域已有實(shí)際進(jìn)展，更有量產(chǎn)級別的產(chǎn)品為客戶提供便利。
　　
　　在深入探討當(dāng)前自動(dòng)駕駛技術(shù)及其發(fā)展趨勢之際，我首先要提及的是，對于某一車型的功能開發(fā)，車廠需明確哪些功能應(yīng)優(yōu)先開發(fā)，哪些功能在宣傳與資源投入上應(yīng)作為重點(diǎn)，以及消費(fèi)者如何評價(jià)這些功能以滿足其真實(shí)需求。例如，在泊車輔助系統(tǒng)的宣傳中，不同的品牌和技術(shù)可能各有側(cè)重，因此，當(dāng)采用特定術(shù)語描述某項(xiàng)功能時(shí)，可能會(huì)發(fā)現(xiàn)不同品牌之間的宣傳并不完全一致。
　　
　　展望市場未來，我們有理由相信，隨著技術(shù)的發(fā)展和市場的成熟，各方最終會(huì)就自動(dòng)駕駛功能的基本需求和高級功能達(dá)成某種共識(shí)，并對各項(xiàng)功能的期望值形成統(tǒng)一認(rèn)識(shí)。回顧2021年特斯拉在宣布了采用BEV算法解決智駕技術(shù)上的突破，將傳統(tǒng)自動(dòng)駕駛技術(shù)提升到了準(zhǔn)3D的層次，顯著提高了多傳感器融合和智能駕駛判斷周圍環(huán)境的準(zhǔn)確性。特斯拉后續(xù)還率先推出了占用網(wǎng)絡(luò)（OCC）等創(chuàng)新技術(shù)。在這一輪技術(shù)革新中，國內(nèi)車廠和算法研究機(jī)構(gòu)同樣展現(xiàn)了驚人的速度，特別是在各種算法研究上，國內(nèi)總體上表現(xiàn)出明顯的優(yōu)勢。
　　
　　在自動(dòng)駕駛技術(shù)中，有兩個(gè)熱門詞匯值得關(guān)注：端到端和大模型。端到端的設(shè)計(jì)理念旨在通過數(shù)據(jù)驅(qū)動(dòng)來降低局部最優(yōu)解，實(shí)現(xiàn)全局優(yōu)化，非常適合解決復(fù)雜問題，減少人工規(guī)則設(shè)定。而大模型則主要解決更為復(fù)雜的問題，如基于場景的理解、復(fù)雜的路徑規(guī)劃等，這些問題通常需要更多的數(shù)據(jù)和時(shí)間來解決。
　　
　　安霸ADAS全系解決方案
　　
　　安霸是一家成立于2004年的半導(dǎo)體公司，專注于視頻處理技術(shù)，包括視頻編碼等。自2017年起，安霸開始涉足前端AI智能芯片領(lǐng)域，并成功推出了第一代AI芯片。隨后，在2018年，我們推出了10納米的車規(guī)級芯片，并在市場上取得了顯著的成果，目前已有多款車型采用了我們的芯片。此外，我們還在2022年推出了CV3-AD大算力車規(guī)芯片，它能夠支持多路攝像頭，并具有數(shù)百T甚至更高的算力。 
　　
　
　　
　　圖源：安霸半導(dǎo)體
　　
　　2023年1月，我們推出了CV72AQ的中算力5納米車規(guī)芯片。這款芯片顯著的特點(diǎn)是低功耗和高處理能力，它不僅支持視頻采集、錄像，還能有效運(yùn)行包括BEV在內(nèi)的多種算法。
　　
　　安霸的CV72AQ在數(shù)據(jù)采集與閉環(huán)操作方面已與客戶完成了完整的合作流程，不僅用于AI推理，還能在推理過程中利用剩余帶寬進(jìn)行數(shù)據(jù)采集和在線脫敏，直接輸出脫敏后的數(shù)據(jù)。此外，我們還涉及了激光雷達(dá)等真值數(shù)據(jù)采集的合作項(xiàng)目。
　　
　　在產(chǎn)品線方面，CV3-AD等系列芯片已進(jìn)入量產(chǎn)階段，我們在大算力芯片市場中占據(jù)重要地位。盡管行業(yè)內(nèi)競爭激烈，我們的芯片憑借其廣泛的覆蓋范圍脫穎而出。我們的產(chǎn)品系列豐富，從最早進(jìn)入前裝的行車記錄儀開始，到與國際客戶如上汽大眾、豐田、日產(chǎn)等的合作，我們一直在不斷拓展業(yè)務(wù)領(lǐng)域。在CV3-AD進(jìn)展方面，我們已正式宣布與國際和國內(nèi)的多家公司建立合作，預(yù)計(jì)未來將有更多車廠合作項(xiàng)目正式公布。
　　
　　此外，我們還在探索4D毫米波雷達(dá)技術(shù)。2021年，我們收購了專注于4D雷達(dá)算法的公司傲酷，并與國內(nèi)合作伙伴合作開發(fā)了一款4D毫米波雷達(dá)產(chǎn)品。目前，我們正在將4D雷達(dá)原始數(shù)據(jù)通過CV3-AD集中處理，實(shí)現(xiàn)中央域控成像雷達(dá)，使其不僅支持多功能的視覺感知，還能執(zhí)行4D毫米波雷達(dá)的點(diǎn)云生成、濾波和跟蹤等一系列算法。此技術(shù)的一大優(yōu)勢在于其高性能，有效解決了傳統(tǒng)3D雷達(dá)在點(diǎn)云密度和角分辨率方面的不足，提高了對小目標(biāo)，遠(yuǎn)距離目標(biāo)，靜止障礙物，和目標(biāo)高度的檢測能力。
　　
　　傳統(tǒng)3D雷達(dá)在某些應(yīng)用中存在顯著限制，特別是在檢測車輛是否能安全穿越天橋或涵洞時(shí)，因其無法精確測量物體高度，故難以做出準(zhǔn)確的剎車決策。這種物理上的局限使得3D雷達(dá)在汽車領(lǐng)域的應(yīng)用受到一定制約。然而，4D毫米波雷達(dá)與其他傳感器相比，擁有明顯的優(yōu)勢，例如其檢測距離可達(dá)300至400米，遠(yuǎn)超許多激光雷達(dá)，因?yàn)榧す饫走_(dá)在100米距離后便開始顯著衰減。
　　
　　特別是在惡劣天氣條件下，如暴雨，激光雷達(dá)的效能會(huì)大幅降低，而毫米波雷達(dá)則能在全天候條件下穩(wěn)定工作。此外，4D毫米波雷達(dá)成本較低，易于實(shí)現(xiàn)360度全景覆蓋，提供全方位的檢測能力。
　　
　　升級到4D技術(shù)的毫米波雷達(dá)，通過先進(jìn)的圖像處理技術(shù)和點(diǎn)云生成技術(shù)，以及優(yōu)化的算法進(jìn)行點(diǎn)云濾波，顯著提升了檢測精度和清晰度。這使得毫米波雷達(dá)能夠識(shí)別出更為細(xì)小的目標(biāo)，如行人，為智能駕駛提供了更為可靠的技術(shù)支持。
　　
　　我們已經(jīng)在國內(nèi)外實(shí)現(xiàn)了毫米波雷達(dá)的量產(chǎn)，并成功應(yīng)用于多款車型中，包括瑞典和北美市場的電動(dòng)車。這些應(yīng)用案例證明了毫米波雷達(dá)在智能駕駛領(lǐng)域的廣泛適用性和顯著優(yōu)勢。我們期待未來能與更多汽車制造商合作，共同推動(dòng)智能駕駛技術(shù)的發(fā)展。
　　
　　安霸大算力芯片護(hù)航助力端到端自動(dòng)駕駛
　　
　　安霸端到端的大模型旨在解決先前難以處理的復(fù)雜問題。其核心在于VLM能夠融合感知、場景理解和預(yù)測等功能于一個(gè)網(wǎng)絡(luò)之中，并通過這一網(wǎng)絡(luò)進(jìn)行規(guī)劃。未來，該模型還有可能涉足執(zhí)行端，盡管目前這一領(lǐng)域的應(yīng)用尚屬少數(shù)，主要聚焦于感知、預(yù)測和規(guī)劃，以及場景理解的嘗試。這一發(fā)展的目標(biāo)在于使芯片的功能更貼近人類的需求，尤其是在自動(dòng)駕駛等領(lǐng)域，對芯片能力的要求日益提高，需要支持大型模型。
 
　　安霸的芯片在大語言模型中展現(xiàn)出顯著優(yōu)勢，我們今日展示的demo即是一個(gè)名為CLIP的模型，其通過輸入英文詞匯，迅速在長視頻中搜索出相關(guān)片段或圖片。盡管這一demo在自動(dòng)駕駛中的直接應(yīng)用較為困難，但它展示了從文字到圖像的一種可能性。此外，這一技術(shù)還適用于場景理解和仿真事件等領(lǐng)域，尤其在數(shù)據(jù)采集與閉環(huán)中，大語言模型能夠生成新的內(nèi)容，對現(xiàn)有數(shù)據(jù)進(jìn)行組合與變換。
　　
　　在行車場景中，傳統(tǒng)的基于規(guī)則的系統(tǒng)在面對交通堵塞時(shí)警察的人工干預(yù)等復(fù)雜情況時(shí)顯得力不從心。而更人性化的自動(dòng)駕駛系統(tǒng)需要理解不同交通參與者的意圖和行為。例如，在面對紅燈和警察揮手示意前進(jìn)的情況時(shí)，系統(tǒng)需要判斷警察的身份和意圖，從而作出合適的駕駛決策。
　　
　　我們的產(chǎn)品線包括大算力AI域控芯片CV3-AD系列以及CV72AQ等中算力芯片，它們構(gòu)成了全系列的產(chǎn)品。特別是CV3-AD685芯片，于2023年11月推向市場，這是一顆可用于量產(chǎn)的大算力芯片，面向L3/L4級自動(dòng)駕駛應(yīng)用。2024年初，我們發(fā)布了CV3-AD635和CV3-AD655兩款芯片，分別適用于高速NOA和城市NOA場景。這些芯片均采用5納米車規(guī)工藝制造，具備高效運(yùn)行神經(jīng)網(wǎng)絡(luò)能力和低功耗特性。 
　　
　　在探討我們的芯片產(chǎn)品線時(shí)，無論是CV3-AD685還是CV3-AD655型號，它們都支持激光雷達(dá)的接入，并且與大算力GPU芯片方案相比，我們的激光雷達(dá)解決方案在CPU和內(nèi)存帶寬的占用上更為高效。這得益于我們特有的硬件加速技術(shù)，主要優(yōu)化點(diǎn)云計(jì)算比如坐標(biāo)變換等任務(wù)，使得整體處理效率顯著提升。同時(shí)，在激光雷達(dá)數(shù)據(jù)處理方面, CV3-AD運(yùn)行相同的網(wǎng)絡(luò)算法，相比競品平臺(tái)能夠節(jié)省內(nèi)存帶寬資源，和使用更少的AI算力，這為產(chǎn)品設(shè)計(jì)留下更多空間。
　　
　　CV3-AD系列芯片的另一個(gè)顯著特點(diǎn)是其視頻錄制功能。它能夠同時(shí)接入并錄制所有連接的攝像頭，以30幀進(jìn)行高質(zhì)量視頻錄制。即使在全負(fù)荷錄制11路視頻時(shí)，也不會(huì)對AI性能產(chǎn)生明顯影響。這一特性得益于我們獨(dú)特的視頻編碼技術(shù)和芯片架構(gòu)設(shè)計(jì)，使得對內(nèi)存帶寬消耗得到有效控制，不會(huì)沖擊AI算法推理對內(nèi)存帶寬的占用，保證了AI性能的穩(wěn)定性。
　　
　　在數(shù)據(jù)驅(qū)動(dòng)和模型訓(xùn)練方面，我們強(qiáng)調(diào)數(shù)據(jù)采集的重要性。通過全面采集攝像頭數(shù)據(jù)，我們可以為模型訓(xùn)練提供豐富的素材，并通過數(shù)據(jù)閉環(huán)不斷提升模型的準(zhǔn)確度和效率。而655芯片的視頻錄制功能恰好滿足了這一需求，使得數(shù)據(jù)采集變得更加便捷和高效。
　　
　　在CV3-AD平臺(tái)上部署的多攝像頭BEV算法演示中，我們展現(xiàn)了芯片運(yùn)行復(fù)雜視覺感知算法的高性能，以及對系統(tǒng)資源的低占用。在達(dá)到高幀率輸出時(shí)，AI算力占到了總資源的43%，而CPU占用率僅為1.41%，內(nèi)存帶寬占用率不到5%。這一數(shù)據(jù)證明了我們的平臺(tái)在處理復(fù)雜網(wǎng)絡(luò)時(shí)的強(qiáng)大潛力。同時(shí)，我們也展示了平臺(tái)對多種主流網(wǎng)絡(luò)的兼容性，包括BEVDET, DETR3D, PETR, BEVFormer等，這使得用戶可以根據(jù)實(shí)際需求靈活選擇網(wǎng)絡(luò)架構(gòu)。
　　
　　最后，我們介紹N1和CV72兩款芯片。雖然它們不屬于CV3-AD系列，但與CV3-AD系列有著緊密的繼承關(guān)系。CV72在汽車領(lǐng)域，則可以提供最富性價(jià)比的高速NOA解決方案，而且低功耗，已經(jīng)有客戶進(jìn)入量產(chǎn)狀態(tài)。CV72可用于本地運(yùn)行3B個(gè)參數(shù)的大語言模型，也可用于視頻采集，機(jī)器人小車等。N1芯片則是我們針對機(jī)器人和AIOT行業(yè)推出的新產(chǎn)品，可高效運(yùn)行大語言模型（LLM），最多可達(dá)34B個(gè)參數(shù)。N1和CV72展現(xiàn)了我們在不同領(lǐng)域的技術(shù)實(shí)力和市場布局。這些新產(chǎn)品的研發(fā)將進(jìn)一步豐富我們的產(chǎn)品線，并為用戶帶來更多選擇和可能性。
　　
　　（以上內(nèi)容來自安霸半導(dǎo)體技術(shù)（上海）有限公司研發(fā)副總裁孫魯毅于2024年5月16日在2024第二屆吉利汽車技術(shù)論壇暨技術(shù)展發(fā)表的《大算力結(jié)合VLM,助力端到端自動(dòng)駕駛》主題演講。）