【ZiDongHua 之汽車(chē)產(chǎn)業(yè)鏈?zhǔn)珍涥P(guān)鍵詞： 機(jī)器視覺(jué) 自動(dòng)駕駛 新能源汽車(chē) 智能駕駛】
　　
　　友思特分享 | 車(chē)載同步技術(shù)創(chuàng)新：多相機(jī)系統(tǒng)如何實(shí)現(xiàn)精準(zhǔn)數(shù)據(jù)采集與實(shí)時(shí)處理？
　　
　　導(dǎo)讀
　　
　　2024.10.16
　　
　　車(chē)載多相機(jī)采集系統(tǒng)是智能駕駛技術(shù)實(shí)際應(yīng)用中的“眼睛”，友思特車(chē)載圖像采集和回放系統(tǒng)切實(shí)提升了系統(tǒng)的實(shí)時(shí)同步采集與回放能力，為ADAS等應(yīng)用的決策系統(tǒng)提供了可靠的核心數(shù)據(jù)。
　　
　　視頻流同步采集與智駕技術(shù)發(fā)展
　　
　　在現(xiàn)代汽車(chē)行業(yè)中，智能駕駛技術(shù)正以驚人的速度發(fā)展，引領(lǐng)著交通領(lǐng)域的革新。這一技術(shù)的崛起，不僅改變了傳統(tǒng)駕駛方式，更在安全性、舒適性和效率方面帶來(lái)了前所未有的提升。作為智能駕駛技術(shù)的核心組成部分，車(chē)載多相機(jī)系統(tǒng)發(fā)揮著舉足輕重的作用。它們通過(guò)高精度、高速度的圖像捕捉與處理，為車(chē)輛提供了全方位、無(wú)死角的視覺(jué)感知能力，從而極大地增強(qiáng)了駕駛過(guò)程中的環(huán)境感知和決策準(zhǔn)確性。
　　
　　隨著科技的不斷進(jìn)步，車(chē)載多相機(jī)系統(tǒng)也在不斷升級(jí)和完善，以適應(yīng)更為復(fù)雜多變的駕駛場(chǎng)景。為了實(shí)現(xiàn)高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛的精準(zhǔn)功能，車(chē)載多相機(jī)系統(tǒng)必須確保視頻流的同步采集。車(chē)輛上傳感器和相機(jī)數(shù)量的不斷增多的現(xiàn)狀，對(duì)視頻流的實(shí)時(shí)處理和數(shù)據(jù)融合技術(shù)也提出了更為嚴(yán)苛的要求。這種技術(shù)的創(chuàng)新，不僅關(guān)乎車(chē)輛的安全性能，更在自動(dòng)駕駛的精確感知與決策中發(fā)揮著不可或缺的作用。因此，探索先進(jìn)的同步采集方案，以實(shí)現(xiàn)車(chē)載多相機(jī)系統(tǒng)數(shù)據(jù)的高效處理，已成為推動(dòng)智能駕駛技術(shù)發(fā)展的當(dāng)務(wù)之急。
 
　　
　　圖1. 車(chē)載多相機(jī)數(shù)采系統(tǒng)
　　
　　（來(lái)源：Solectrix官網(wǎng) https://solectrix.de/en/）
　　
　　為了適配智能駕駛技術(shù)的數(shù)采要求，市場(chǎng)上各色的采集板卡、采集系統(tǒng)和方案層出不窮。首先為了同時(shí)采集多路實(shí)時(shí)視頻數(shù)據(jù)，采集板卡/系統(tǒng)對(duì)通道數(shù)量進(jìn)行了拓展，從傳統(tǒng)的一兩路視頻數(shù)據(jù)，拓展至4/6/8/16路視頻數(shù)據(jù)；在異步的場(chǎng)合，基于先前收集的真實(shí)環(huán)境數(shù)據(jù)或仿真的自動(dòng)駕駛數(shù)據(jù)，板卡/系統(tǒng)需要回放帶有時(shí)間戳的視頻數(shù)據(jù)，用于諸如硬件在環(huán)（HiL）測(cè)試的場(chǎng)合，同時(shí)也對(duì)通道數(shù)量進(jìn)行了拓展；在同步的場(chǎng)合，采集數(shù)據(jù)的同時(shí)，需要旁通數(shù)據(jù)，將同樣的數(shù)據(jù)鏡像同時(shí)分路，用于諸如存儲(chǔ)、處理、顯示等目的，也同樣對(duì)通道數(shù)量進(jìn)行了拓展，進(jìn)一步滿(mǎn)足多樣化的需求。
　　
　　a.采集模式
　　
　　同時(shí)最多
　　
　　8個(gè)視頻流
　　
　　b.回放模式
　　
　　同時(shí)最多
　　
　　4個(gè)視頻流
　　
　　c.TAP模式
　　
　　同時(shí)最多4個(gè)視頻流輸入和輸出
　　
　　圖2. 友思特車(chē)載采集卡視頻數(shù)據(jù)采集回放經(jīng)典配置
　　
　　多路數(shù)據(jù)滿(mǎn)足多相機(jī)實(shí)時(shí)采集的同時(shí)，對(duì)硬件性能如帶寬、實(shí)時(shí)性和數(shù)據(jù)傳輸協(xié)議也提出了高要求。在硬件性能上，息息相關(guān)的是最終產(chǎn)品的價(jià)格，影響的是產(chǎn)品應(yīng)用過(guò)程中的性能上限；而數(shù)據(jù)傳輸協(xié)議，則是關(guān)乎數(shù)據(jù)傳輸實(shí)時(shí)性、準(zhǔn)確率、實(shí)際傳輸速率的核心技術(shù)點(diǎn)。友思特 proFRAME 車(chē)載采集和回放板卡，應(yīng)用了SerDes技術(shù)，為車(chē)載多相機(jī)的實(shí)時(shí)采集和記錄回放提供了一種可行可靠的技術(shù)路線(xiàn)。
　　
　　SerDes原理結(jié)構(gòu)
　　
　　SerDes核心包括串行器（Serializer）和解串器（Deserializer），是一種用于高速數(shù)據(jù)傳輸?shù)慕涌诩夹g(shù)。它通過(guò)將并行數(shù)據(jù)流轉(zhuǎn)換為串行數(shù)據(jù)流，從而提高數(shù)據(jù)傳輸速率，并在接收端再將串行數(shù)據(jù)流轉(zhuǎn)換回并行數(shù)據(jù)流。核心工作原理包括兩部分：
　　
　　串行化：SerDes的發(fā)送端（串行器）從本地系統(tǒng)接收并行數(shù)據(jù)作為輸入，通過(guò)FIFO傳遞給內(nèi)部的編碼器、擾碼器，然后將其轉(zhuǎn)換為串行數(shù)據(jù)并將其作為單個(gè)數(shù)據(jù)流，經(jīng)由均衡器均衡后通過(guò)同軸或雙絞線(xiàn)電纜等串行傳輸通道進(jìn)行傳輸。這種方式能顯著提高數(shù)據(jù)傳輸效率。串行化數(shù)據(jù)時(shí)，串行器使用參考時(shí)鐘的輸入作為編碼過(guò)程的一部分，從而最大限度地減少并行傳輸中發(fā)現(xiàn)的時(shí)序問(wèn)題類(lèi)型。
　　
　　反串行化：SerDes的接收端（解串器）接收串行數(shù)據(jù)作為輸入，經(jīng)由均衡器均衡，通過(guò)CDR（時(shí)鐘恢復(fù)）恢復(fù)時(shí)鐘信號(hào)，并將其轉(zhuǎn)換恢復(fù)為對(duì)齊的并行數(shù)據(jù)流輸出，以便進(jìn)一步處理。
 
　　
　　圖3. SerDes原理
　　
　　（來(lái)源：維基百科https://en.wikipedia.org/wiki/SerDes）
　　
　　SerDes技術(shù)在現(xiàn)代數(shù)據(jù)傳輸中發(fā)揮了關(guān)鍵作用。它通過(guò)將高帶寬的并行數(shù)據(jù)流轉(zhuǎn)換為串行信號(hào)，實(shí)現(xiàn)了更高的數(shù)據(jù)傳輸速率和更長(zhǎng)的傳輸距離。此技術(shù)有效減少了電路板上的布線(xiàn)復(fù)雜性，從而降低了系統(tǒng)成本和功耗，并提升了系統(tǒng)的可靠性。SerDes還支持長(zhǎng)距離傳輸，增強(qiáng)了信號(hào)的抗干擾能力，使得數(shù)據(jù)完整性得以保持。通過(guò)優(yōu)化數(shù)據(jù)傳輸路徑和提高速率，SerDes技術(shù)顯著提升了系統(tǒng)性能，廣泛應(yīng)用于通信、計(jì)算機(jī)和存儲(chǔ)領(lǐng)域，為高效、穩(wěn)定的數(shù)據(jù)傳輸提供了重要保障。
　　
　　友思特車(chē)載圖像采集和回放系統(tǒng)
　　
　　為了獲取汽車(chē)的 360° 全景環(huán)視圖像，需要在汽車(chē)的前后左右各設(shè)置一個(gè)或多個(gè)相機(jī)。以分辨率為3840*2160、幀率為60、輸出圖像數(shù)據(jù)格式為 RAW10 為例，單路視頻數(shù)據(jù)傳輸帶寬要求 ≥5 Giga bit/s。
　　
　　傳輸鏈路①：相機(jī)實(shí)時(shí)獲取的視頻流數(shù)據(jù)→車(chē)載 ADAS/AD ECU：
　　
　　前端 GMSL/FPD-Link 相機(jī)的 CMOS 圖像傳感器捕獲光信號(hào)并轉(zhuǎn)換為電信號(hào)，生成原始圖像數(shù)據(jù)。在相機(jī)內(nèi)部經(jīng)過(guò)處理（如去噪、增益、色彩校正等）后通過(guò)相機(jī)的串行芯片進(jìn)行串行化，轉(zhuǎn)為 CSI-2 標(biāo)準(zhǔn)的數(shù)據(jù)格式，通過(guò)同軸線(xiàn)纜（Coax）傳輸?shù)?proFRAME 板卡，經(jīng)過(guò)相機(jī)適配器的解串芯片進(jìn)行解碼，將串行數(shù)據(jù)流恢復(fù)成并行的 CSI-2 圖像數(shù)據(jù)格式，傳送至板卡的 FPGA 模塊進(jìn)行處理。圖像數(shù)據(jù)經(jīng)由板卡的 FPGA 模塊，同步分出兩路數(shù)據(jù)，一路數(shù)據(jù)傳輸至 ADAS 數(shù)采設(shè)備存儲(chǔ)記錄，另一路數(shù)據(jù)重新經(jīng)過(guò)相機(jī)適配器的串行化芯片進(jìn)行串行輸出，通過(guò)同軸線(xiàn)纜傳輸?shù)角岸说?ECU 設(shè)備進(jìn)行解串，恢復(fù)成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。
 
　　傳輸鏈路②：車(chē)載 ADAS/AD ECU 的相機(jī)控制信號(hào)→相機(jī)：
　　
　　ECU 的相機(jī)控制信號(hào)指令（如I2C和GPIO），通過(guò)同軸線(xiàn)纜傳輸，經(jīng)由 proFRAME 板卡，多路同時(shí)旁通至相機(jī)端。I2C 用于設(shè)備間的通信，包括配置相機(jī)的工作參數(shù)（如曝光、增益調(diào)整等），GPIO 用于控制相機(jī)的行為（如相機(jī)的啟停、觸發(fā)拍攝等）。板卡也支持通過(guò)同軸線(xiàn)纜給相機(jī)供電（PoC）。
　　
　　友思特 proFRAME 板卡的多路圖像數(shù)據(jù)實(shí)時(shí)采集和回放功能通過(guò)其 TAP 模式實(shí)現(xiàn)。TAP（Test Access Point）是一種能夠從傳輸網(wǎng)絡(luò)或系統(tǒng)中分離出數(shù)據(jù)流并用于其他目的的工具，能夠在不干擾主數(shù)據(jù)流的情況下，提供對(duì)數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)和分析的接口。通過(guò) proFRAME 的 TAP 模式，板卡可以旁通（bypass）多種類(lèi)型的數(shù)據(jù)，包括攜帶高精度時(shí)間戳的視頻流、相機(jī)控制信號(hào)指令、外部觸發(fā)信號(hào)和 PoC 供電等。
 
　　友思特 proFRAME 板卡提供了3種給相機(jī)供電（8V-24V）的方式：
　　
　　直接主機(jī)給板卡供電，板卡通過(guò)穩(wěn)壓器將電壓經(jīng)由Coax傳輸至前端相機(jī)；
　　
　　外部電源連接板卡的相機(jī)適配器，經(jīng)由相機(jī)適配器的Coax傳輸至前端相機(jī)；
　　
　　基于板卡的TAP模式，將ECU提供的PoC旁通至所連接的前端相機(jī)。
 
　　車(chē)載場(chǎng)合對(duì)于多傳感器數(shù)據(jù)融合以及時(shí)間同步的要求非常高，例如要將2D圖像和激光雷達(dá)的點(diǎn)云圖像進(jìn)行融合、實(shí)現(xiàn)對(duì)點(diǎn)云數(shù)據(jù)的顏色渲染；或者基于2D圖像識(shí)別結(jié)果的box框?qū)c(diǎn)云數(shù)據(jù)進(jìn)行分割，從而獲取目標(biāo)的三維位姿 cube。友思特 proFRAME 板卡提供了4種向相機(jī)發(fā)送同步觸發(fā)信號(hào)實(shí)現(xiàn)相機(jī)同步的方式：
　　
　　板卡內(nèi)部的FPGA生成時(shí)鐘信號(hào)傳輸至相機(jī)；
　　
　　外部觸發(fā)源通過(guò)板卡的外部觸發(fā)信號(hào)口傳輸至FPGA再轉(zhuǎn)送至相機(jī)；
　　
　　多proFRAME板卡通過(guò)Daisy鏈拓?fù)浣Y(jié)構(gòu)同步；
　　
　　ECU發(fā)送觸發(fā)信號(hào)，經(jīng)由板卡的TAP模式，旁通至相機(jī)。
　　
　　友思特 proFRAME 板卡采用模塊化設(shè)計(jì)的方式，通過(guò)切換不同的相機(jī)適配器模塊，適配包括 GMSL 1/2/3、FPD - Link III/IV、GVIF3、CSI-2 多種傳輸協(xié)議的接口相機(jī)/視頻流。板卡支持同軸線(xiàn)纜供電和邊帶通信（I2C和GPIO），可同時(shí)進(jìn)行多路視頻數(shù)據(jù)的采集和回放（多至8路），且采集數(shù)據(jù)攜帶納秒級(jí)別的高精度時(shí)間戳，并能夠以時(shí)間戳信息精準(zhǔn)同步回放視頻流，通過(guò)TAP模式旁路各種數(shù)據(jù)，在A(yíng)DAS、EoL測(cè)試和 AD的硬件在環(huán)測(cè)試領(lǐng)域都大有建樹(shù)。
　　
　　View For Future
　　
　　總結(jié)
　　
　　車(chē)載多相機(jī)實(shí)時(shí)同步采集系統(tǒng)在新能源汽車(chē)及智能駕駛領(lǐng)域扮演著至關(guān)重要的角色。系統(tǒng)通過(guò)高精度、高速度的圖像數(shù)據(jù)采集，為車(chē)輛的環(huán)境感知、行駛狀態(tài)監(jiān)測(cè)以及駕駛輔助提供了強(qiáng)有力的技術(shù)支持。
　　
　　隨著自動(dòng)駕駛技術(shù)的不斷深入發(fā)展，車(chē)載相機(jī)系統(tǒng)的要求也日益嚴(yán)苛，不僅需要具備高分辨率、廣視角的成像能力，還必須在各種復(fù)雜環(huán)境下保持穩(wěn)定的性能。面對(duì)未來(lái)智能駕駛的多元化需求，車(chē)載多相機(jī)實(shí)時(shí)同步采集系統(tǒng)將持續(xù)融合新興技術(shù)，如深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等AI技術(shù)，以提升系統(tǒng)的智能化水平。同時(shí)，不斷優(yōu)化相機(jī)之間的同步性能和圖像處理算法，確保在多變的行車(chē)環(huán)境中能夠?qū)崟r(shí)、準(zhǔn)確地捕捉關(guān)鍵信息，為車(chē)輛的決策系統(tǒng)提供可靠的數(shù)據(jù)基礎(chǔ)。
　　
　　從長(zhǎng)遠(yuǎn)來(lái)看，智能駕駛技術(shù)將是未來(lái)交通出行的重要發(fā)展方向。車(chē)載多相機(jī)實(shí)時(shí)同步采集系統(tǒng)作為智能駕駛的“眼睛”，其技術(shù)創(chuàng)新和性能提升將直接推動(dòng)智能駕駛的發(fā)展，助力實(shí)現(xiàn)更安全、更高效的綠色出行。同時(shí)，隨著技術(shù)的不斷進(jìn)步和成本的優(yōu)化，這一系統(tǒng)有望在未來(lái)實(shí)現(xiàn)更廣泛的商業(yè)應(yīng)用，為智能交通和綠色出行貢獻(xiàn)重要力量。