【ZiDongHua 之駕駛自動化收錄關(guān)鍵詞： 自動駕駛 人工智能 機器人 智能汽車】
 
　　曹建峰｜論自動駕駛汽車的算法安全規(guī)制
 
　　曹建峰
 
　　對外經(jīng)濟貿(mào)易大學數(shù)字經(jīng)濟與法律創(chuàng)新研究中心研究員、華東政法大學數(shù)字法治研究院特聘研究員，上海市法學會數(shù)字法學研究小組成員
 
　　要目
 
　　一、技術(shù)發(fā)展與法律規(guī)制現(xiàn)狀
 
　　二、自動駕駛汽車的算法安全挑戰(zhàn)
 
　　三、構(gòu)建自動駕駛汽車的算法安全框架
 
　　四、結(jié)語
 
　　汽車自動駕駛技術(shù)的發(fā)展應用使汽車的核心日益從傳統(tǒng)硬件轉(zhuǎn)向賴以實現(xiàn)自動駕駛功能的人工智能算法系統(tǒng)。這意味著自動駕駛算法安全將成為自動駕駛汽車商業(yè)化應用的最大掣肘，涉及自動駕駛算法的技術(shù)安全、網(wǎng)絡(luò)安全和倫理安全三個層面。為此，自動駕駛汽車的法律規(guī)制迫切需要革新針對傳統(tǒng)汽車和人類司機的立法和監(jiān)管框架，構(gòu)建一個統(tǒng)一的自動駕駛算法安全框架，將自動駕駛算法的技術(shù)安全、網(wǎng)絡(luò)安全和倫理安全納入統(tǒng)一的安全標準。新的自動駕駛算法安全框架需要考慮安全與創(chuàng)新之間的平衡，保持技術(shù)中立性，推動自動駕駛汽車從研發(fā)測試階段加快轉(zhuǎn)向商業(yè)化應用階段。
 
　　
 
　　一、技術(shù)發(fā)展與法律規(guī)制現(xiàn)狀
 
　　在概念上，界定自動駕駛汽車需要考慮駕駛自動化技術(shù)分級標準。目前通行的國際標準是國際汽車工程師學會（SAE International）提出的“駕駛自動化技術(shù)分級標準”，其將駕駛自動化技術(shù)分為五個級別，其中1級和2級統(tǒng)稱為“駕駛員輔助系統(tǒng)”（Driver Support System），3～5級統(tǒng)稱為“自動駕駛系統(tǒng)”（Autonomous Driving System）。2021年5月，SAE和ISO（國際標準化組織）聯(lián)合發(fā)布的最新版分級標準進一步明確了3級、4級和5級的區(qū)別。就3級（有條件自動駕駛）而言，當自動駕駛系統(tǒng)發(fā)出接管請求時，駕駛員必須接管；但就4級（高度自動駕駛）而言，自動駕駛系統(tǒng)在駕駛過程中不會要求駕駛員進行接管。4級和5級的核心差別在于運行條件的范圍，4級在特定條件下，即在其設(shè)計運行條件（Operational Design Domain）內(nèi)駕駛汽車；5級（完全自動駕駛）在任何條件下都可駕駛汽車，即執(zhí)行所有的動態(tài)駕駛?cè)蝿蘸蛣討B(tài)駕駛?cè)蝿战庸堋＞臀覈裕?021年8月發(fā)布的推薦性國家標準《汽車駕駛自動化分級（GB/T 40429-2021）》基本采納了SAE的分級標準，體現(xiàn)出在自動駕駛汽車領(lǐng)域與國際接軌的思路。本文所稱自動駕駛汽車，是指搭載3級以上自動駕駛系統(tǒng)的智能汽車。
 
　　在產(chǎn)業(yè)發(fā)展上，自動駕駛汽車已從研究階段進入加速部署和應用階段。自動駕駛汽車正在加速融入道路交通系統(tǒng)，催生出全新的商業(yè)模式和服務策略，無人駕駛的出租車、巴士、物流車等新模式正在加速涌現(xiàn)，但完全自動駕駛的交通系統(tǒng)可能還需數(shù)十年才能實現(xiàn)。就目前而言，關(guān)于自動駕駛汽車發(fā)展進程的預測，業(yè)內(nèi)普遍認同的觀點是：自動駕駛汽車將在2025年前后迎來一輪爆發(fā)式增長；到2035年，道路上行駛的車輛中將有一半可以實現(xiàn)自動駕駛。例如，美國國家公路交通安全管理局（NHTSA）預計，完全自動駕駛功能和高速公路自動駕駛將在2025年后實現(xiàn)。英國提出到2025年在英國實現(xiàn)自動駕駛汽車的商業(yè)落地。我國于2020年2月發(fā)布的《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》也將2025年作為自動駕駛汽車商業(yè)落地的重要時間節(jié)點。
 
　　面對迅猛發(fā)展的自動駕駛汽車產(chǎn)業(yè)，只有加快建立行之有效的、面向未來的自動駕駛算法安全監(jiān)管框架，才能支持、促進創(chuàng)新，加速實現(xiàn)將自動駕駛汽車融入人類社會交通的宏大愿景。但在當前，我國對自動駕駛算法的安全監(jiān)管仍較為滯后，尚未形成整體的、統(tǒng)一的監(jiān)管路徑。
 
　　根據(jù)畢馬威（KPMG）2020年發(fā)布的報告《自動駕駛汽車成熟度指數(shù)》（Autonomous Vehicles Readiness Index），我國在被統(tǒng)計的30個國家中排在第20位，我國排名較為落后的一大原因是立法相對滯后和監(jiān)管相對保守。現(xiàn)實情況是，自2018年以來，國家和地方的政策制定者積極推進自動駕駛汽車立法，但相關(guān)立法層級低、內(nèi)容分散、前瞻性不足，沒有深入且系統(tǒng)性地回應自動駕駛算法的全新安全問題。整體而言，目前監(jiān)管呈現(xiàn)以下三個特點。
 
　　第一，重在規(guī)范自動駕駛汽車道路測試。從2018年4月的《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范（試行）》，到2021年7月取而代之的《智能網(wǎng)聯(lián)汽車道路測試與示范應用管理規(guī)范（試行）》，國家著重通過牌照發(fā)放、牌照異地互認等機制，規(guī)范自動駕駛汽車的道路測試、示范應用等使用場景，解決各地的碎片化監(jiān)管和重復監(jiān)管等問題。
 
　　第二，嘗試建立自動駕駛汽車的合法性框架。鑒于現(xiàn)行立法沒有規(guī)定自動駕駛汽車的合法地位，2021年4月公安部公布的《道路交通安全法（修訂建議稿）》嘗試填補這一立法空白，其第155條對自動駕駛汽車作出了專門規(guī)定，為自動駕駛汽車（建議稿稱為“具有自動駕駛功能且具備人工直接操作模式的汽車”）的生產(chǎn)、進口、銷售和道路通行奠定了合法性基礎(chǔ)。但建議稿回避了“自動駕駛專用汽車”的合法性問題，僅規(guī)定“由國務院有關(guān)部門另行規(guī)定”。
 
　　第三，開始重視汽車數(shù)據(jù)安全和網(wǎng)絡(luò)安全問題。2021年以來，隨著特斯拉車主維權(quán)、滴滴美股上市等輿論事件的發(fā)酵，監(jiān)管部門開始回應與車聯(lián)網(wǎng)、自動駕駛相關(guān)的汽車數(shù)據(jù)安全和網(wǎng)絡(luò)安全問題。例如，互聯(lián)網(wǎng)信息辦公室等五部委聯(lián)合發(fā)布的《汽車數(shù)據(jù)安全管理若干規(guī)定（試行）》，以及工信部發(fā)布的規(guī)范性文件《關(guān)于加強智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準入管理的意見》和《關(guān)于加強車聯(lián)網(wǎng)網(wǎng)絡(luò)安全和數(shù)據(jù)安全工作的通知》，從不同角度對汽車相關(guān)的個人數(shù)據(jù)保護、重要數(shù)據(jù)跨境、數(shù)據(jù)安全和網(wǎng)絡(luò)安全防護等提出了若干要求，但主要是將網(wǎng)絡(luò)安全和數(shù)據(jù)安全領(lǐng)域的既有立法所確立的規(guī)定延伸適用于車聯(lián)網(wǎng)、自動駕駛領(lǐng)域，基本沒有觸及自動駕駛算法所獨有的網(wǎng)絡(luò)安全問題。
 
　　從以上分析可以看出，我國當前的自動駕駛汽車立法主要側(cè)重在道路測試、示范應用、汽車數(shù)據(jù)安全等三個方面，尚未針對以人工智能算法為核心的自動駕駛系統(tǒng)形成完整、統(tǒng)一的安全監(jiān)管框架。因此，從支持、促進自動駕駛汽車商業(yè)化應用的目的出發(fā)，我國下一階段的自動駕駛汽車法律規(guī)制亟須推進監(jiān)管創(chuàng)新，提高立法層級，加快構(gòu)建統(tǒng)一的自動駕駛算法安全監(jiān)管框架，妥善應對自動駕駛算法的安全挑戰(zhàn)，確保在發(fā)展應用自動駕駛汽車過程中，把安全擺在最優(yōu)先的位置。
 
　　二、自動駕駛汽車的算法安全挑戰(zhàn)
 
　　自動駕駛算法的技術(shù)安全挑戰(zhàn)
 
　　國內(nèi)外的政策制定者已在探索建立適應自動駕駛汽車發(fā)展的新的安全標準和審批機制。美國是這方面的典型代表。2017年美國NHTSA發(fā)布的《自動駕駛汽車政策指南2.0》提出了12項自動駕駛系統(tǒng)安全要素，包括系統(tǒng)安全、設(shè)計運行條件、目標和事故探測與響應（Object and Event Detection and Response）、后備計劃（最小風險狀態(tài)）、驗證方法、人機交互界面、汽車網(wǎng)絡(luò)安全、耐撞性、碰撞后自動駕駛系統(tǒng)行為、數(shù)據(jù)記錄、消費者教育和培訓，以及聯(lián)邦、州和地方法律，并鼓勵制造商開展自愿性的安全自我評估；在此基礎(chǔ)上，NHTSA于2020年12月發(fā)布《自動駕駛系統(tǒng)安全框架》（Framework for Automated Driving System Safety），推動建立自動駕駛系統(tǒng)的安全框架，涵蓋自動駕駛系統(tǒng)安全性能、安全風險最小化、自愿性機制、監(jiān)管機制等層面。而且美國交通部強調(diào)將依靠自我認證機制（Self-Certification）而非型號審批機制（Type-Approval）來平衡創(chuàng)新與安全。與美國的監(jiān)管傾向不同的是，2021年出臺的德國自動駕駛法案更加強調(diào)強制性技術(shù)要求和型號審批程序。
 
　　就我國而言，2021年8月工信部發(fā)布的《關(guān)于加強智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準入管理的意見》開始借鑒國外經(jīng)驗，針對自動駕駛系統(tǒng)初步提出了一些具體的安全要求，包括設(shè)計運行條件、達到最小風險狀態(tài)的后備措施、人機交互功能、數(shù)據(jù)記錄、功能安全、網(wǎng)絡(luò)安全等。但是，相關(guān)的安全要求仍較為籠統(tǒng)、欠缺體系化，尚未形成完整、統(tǒng)一的安全框架，還不足以表明自動駕駛系統(tǒng)的一般性技術(shù)安全。
 
　　在筆者看來，面向自動駕駛汽車的未來發(fā)展，在制定、落實自動駕駛系統(tǒng)的安全標準和審批認證程序規(guī)定的過程中，政策制定者還需要重點考慮并解決以下三個層面的技術(shù)安全問題。
 
　　第一，自動駕駛算法的安全門檻。自動駕駛汽車的安全規(guī)制首先需要明確的問題就是安全門檻，即從保護用戶和公眾安全的目的出發(fā)，自動駕駛系統(tǒng)的安全性需要達到何種程度。在筆者看來，自動駕駛算法的安全門檻不應是基于絕對目標（如零事故、零傷亡）的自動駕駛水平，而應以一般人類駕駛水平為衡量之基準，來確定科學合理的安全門檻。例如，2017年6月德國發(fā)布的自動駕駛汽車倫理報告指出，只要自動駕駛相比人類駕駛能夠降低安全風險，就不應阻礙自動駕駛技術(shù)的引入。2022年8月英國發(fā)布的自動駕駛政策文件《互聯(lián)和自動出行2025：在英國釋放自動駕駛汽車的效益》明確提出了自動駕駛汽車的安全門檻，即自動駕駛汽車應當達到與“勝任且謹慎的人類司機”（Competent and Careful Human driver）同等水平的安全性，這一標準高于一般人類司機。
 
　　第二，自動駕駛算法安全性能的測試、檢測與驗證。自動駕駛汽車的安全監(jiān)管框架，無論是采取型號審批、自我認證，還是豁免機制，都依賴于一定的測量方法來衡量自動駕駛系統(tǒng)的安全性。但決定自動駕駛汽車是否達到可接受的或者可預期的安全性并非易事，因為自動駕駛算法的不可解釋性、不確定性本質(zhì)（即算法產(chǎn)出的是不可重復的、概率性的結(jié)果）、自我學習能力和持續(xù)的技術(shù)改進增加了復雜性，這些因素導致很難評估自動駕駛汽車的測試結(jié)果是否準確、可靠。
 
　　根據(jù)美國智庫蘭德公司的研究，如果想要通過測試駕駛來證明自動駕駛算法在避免致命事故上，比一般人類司機安全20%，則100輛自動駕駛汽車組成的測試車隊需要行駛50億英里，這需要晝夜不息地駕駛225年才能完成。十多年來，自動駕駛領(lǐng)域的領(lǐng)頭羊、谷歌旗下的Waymo公司積累的自動駕駛測試里程才只有2000萬英里。顯然，在自動駕駛算法安全性的驗證上，測試駕駛所需要的里程對于自動駕駛算法而言是一個天文數(shù)字，如果單純依靠這樣的測量方法，自動駕駛汽車的實現(xiàn)將遙遙無期。
 
　　因此，行業(yè)和政策制定者需要結(jié)合自動駕駛算法的自主學習、持續(xù)進化等技術(shù)特征，研究尋找多元化的安全性測試與驗證方法，諸如仿真測試、封閉場景測試、實際道路駕駛測試、基于道路駕駛技術(shù)（roadmanship）的測量路徑以及基于事故結(jié)果的事后測量方式等，這些方法必須是有效的、可行的、可靠的和不被操縱的。例如，仿真測試容量大、效率高，可以涵蓋不同場景，尤其是算法模型訓練開發(fā)過程可能沒有涵蓋邊緣案例或極端案例，這意味著仿真測試可以很好地適應自動駕駛算法的技術(shù)特征，未來將能發(fā)揮更大的作用。例如，Waymo公司的仿真測試里程已達到200億英里，和發(fā)生在實際道路上的測試駕駛里程相比可謂天壤之別。封閉場景測試主要用來評估關(guān)鍵性場景。此外，在道路測試方面，基于道路駕駛技術(shù)的測量方法的重要性也在提升，簡單來說，該測量方法就是自動駕駛系統(tǒng)這一“虛擬司機”的駕照考試，旨在全面評估自動駕駛算法的整體能力、行為和道路駕駛水平。最后，虛擬現(xiàn)實、生成性人工智能等技術(shù)的發(fā)展，能夠?qū)⒏诱鎸嵉沫h(huán)境和行為融入仿真和封閉場景的測試，進一步增強這些測試方法的有效性。
 
　　第三，人機交互中的技術(shù)安全風險。對于3級自動駕駛汽車和從3級向4級過渡的自動駕駛汽車而言，存在一個影響駕駛安全的至關(guān)重要的因素，就是接管問題。在自動駕駛系統(tǒng)和人類司機共同負責駕駛?cè)蝿盏那闆r下，當自動駕駛系統(tǒng)發(fā)出請求時，人類駕駛員必須及時接管車輛。但認知科學領(lǐng)域關(guān)于分心駕駛的研究表明，這可能是一個重大的安全挑戰(zhàn)。具體而言，兩個主要因素影響著從自動駕駛系統(tǒng)到人類司機的駕駛活動接管的安全性。一是通信方式，關(guān)于接管請求的信息可以以視覺的、震動的、聽覺的等方式傳遞，如一個數(shù)字化的交互界面。但人類司機可能來不及處理此類信息，從而導致危險情況的發(fā)生。這意味著單純依靠一個數(shù)字化的交互界面向人類司機提供信息可能是不充分的。二是人類司機的反應時間，可能受到多種因素的影響，包括司機的分心程度、與駕駛無關(guān)的任務的類型、通信方式、先前接管經(jīng)驗等。這意味著對接管請求的反應時間不僅可能因人而異，而且可能因接管請求作出時的具體情境而異。一個可行的思路是采取基于個人表現(xiàn)的路徑，即根據(jù)司機的行為發(fā)出定制化的接管請求?？傊瑸樽詣玉{駛汽車中的人機交互，尤其是人類司機接管駕駛活動開發(fā)一個考慮人類心理、認知等因素的心理模型，是汽車自動駕駛技術(shù)走向大眾化之前必須面對并且需要妥善解決的一個挑戰(zhàn)。
 
　　自動駕駛算法的網(wǎng)絡(luò)安全挑戰(zhàn)
 
　　網(wǎng)絡(luò)安全作為影響自動駕駛汽車發(fā)展應用的關(guān)鍵性因素，與之相關(guān)的風險與威脅將成為自動駕駛汽車最復雜、最難解決的威脅。整體而言，自動駕駛汽車的網(wǎng)絡(luò)安全挑戰(zhàn)主要呈現(xiàn)以下四個特征。
 
　　第一，自動駕駛汽車比傳統(tǒng)汽車更容易遭受網(wǎng)絡(luò)安全風險與攻擊。自動駕駛汽車是“車輪上的機器人”，兼具網(wǎng)絡(luò)化與智能化特征，與網(wǎng)絡(luò)安全風險相伴而來。具體而言，自動駕駛汽車除了需要面對傳統(tǒng)意義上的網(wǎng)絡(luò)安全風險，還將面對自動駕駛算法所帶來的全新的網(wǎng)絡(luò)安全挑戰(zhàn)、風險和威脅。這些挑戰(zhàn)雖然有因系統(tǒng)本身的故障而導致的無意的威脅，但更多是來自黑客等惡意分子的有意的威脅。而且自動駕駛系統(tǒng)對汽車的運動具有更大的控制權(quán)限，這一算法系統(tǒng)的復雜性意味著系統(tǒng)失靈、網(wǎng)絡(luò)安全攻擊等新類型的事故將是無法避免的。此外，由于自動駕駛汽車旨在實現(xiàn)從人控制汽車到算法控制汽車的轉(zhuǎn)變，在發(fā)生網(wǎng)絡(luò)攻擊和安全威脅的時候，司機、乘客等人類主體進行介入和干預的能力將大大降低。
 
　　第二，自動駕駛汽車的網(wǎng)絡(luò)安全風險來源主體更加多元化。在生產(chǎn)制造、運營、維修、智能基礎(chǔ)設(shè)施、保險、監(jiān)管等多個環(huán)節(jié)，不同主體對自動駕駛汽車的訪問或控制，都可能帶來網(wǎng)絡(luò)攻擊風險。例如，在運營和維修環(huán)節(jié)，接入自動駕駛汽車網(wǎng)絡(luò)的智能手機、由云服務廠商運營的汽車云服務、遠程控制中心等中心化的控制臺等參與方，都可能帶來網(wǎng)絡(luò)安全風險與隱患，自動駕駛汽車軟件、硬件的維修方也是潛在的風險來源方。在車路協(xié)同方面，智能道路基礎(chǔ)設(shè)施的運營方也可能帶來新的網(wǎng)絡(luò)安全隱患。在保險和監(jiān)管環(huán)節(jié)，保險公司需要訪問自動駕駛汽車，以便于監(jiān)測汽車位置、駕駛員行為等情況，監(jiān)管部門和執(zhí)法部門也可能要求連接到自動駕駛汽車（例如，國內(nèi)的相關(guān)法規(guī)要求自動駕駛汽車接入政府監(jiān)管平臺），這些參與方對自動駕駛汽車的訪問都可能制造出新的網(wǎng)絡(luò)安全隱患?？傊梢栽L問或控制自動駕駛汽車的參與方廣泛且眾多，相關(guān)參與方都可能在無意中為網(wǎng)絡(luò)攻擊大開方便之門，這使得自動駕駛汽車需要面對比傳統(tǒng)汽車更廣泛、更嚴峻、更復雜的網(wǎng)絡(luò)安全風險。
 
　　第三，自動駕駛汽車面臨的網(wǎng)絡(luò)攻擊方式更加多樣化。例如，黑客可以針對軟件漏洞發(fā)起攻擊，可以通過連接惡意設(shè)備對自動駕駛汽車發(fā)起物理攻擊，也可以攻擊智能道路基礎(chǔ)設(shè)施等自動駕駛汽車生態(tài)系統(tǒng)的組成部分。此外，就攻擊效果而言，黑客可以采取多種類型的攻擊，包括失效攻擊、操作攻擊、數(shù)據(jù)操縱攻擊、數(shù)據(jù)竊取等，這些攻擊的影響可大可小，不容小覷。在實踐中，針對自動駕駛算法的網(wǎng)絡(luò)攻擊主要分為外部攻擊和內(nèi)部攻擊兩大類。
 
　　其一，外部攻擊，攻擊者試圖利用算法的漏洞，從汽車外發(fā)起攻擊。此類攻擊可以針對攝像頭、激光雷達、GNSS傳感器、超聲波雷達等傳感器作出，這些傳感器可能被干擾、欺騙，或被黑客操縱來侵入汽車的內(nèi)部系統(tǒng)。也可以針對V2X信息作出，車聯(lián)網(wǎng)在自動駕駛汽車上扮演關(guān)鍵角色，汽車通過V2X從基礎(chǔ)設(shè)施接收基礎(chǔ)信息，包括數(shù)字地圖、交通和天氣情況、交通信號燈狀態(tài)、其他對象（如其他車輛）的當前和將來狀態(tài)信息等。V2X信息可能被干擾、欺騙、污染，或無法提供，進而影響自動駕駛算法的決策。針對自動駕駛算法的對抗攻擊可以歸納為兩類。一是躲避攻擊（Evasion Attack），即操縱自動駕駛系統(tǒng)的輸入，進而讓系統(tǒng)的輸出能夠?qū)崿F(xiàn)攻擊者所期望的目標。經(jīng)典的例子包括在道路上添加圖畫以誤導汽車導航，在停止標志上添加貼紙以阻止其被自動駕駛系統(tǒng)識別出來，在路面上放置3D打印的對抗樣本等。二是投毒攻擊（Poisoning Attack），即進行數(shù)據(jù)投毒以污染算法訓練過程，從而導致系統(tǒng)出現(xiàn)黑客所期望的故障。針對自動駕駛算法的對抗攻擊，將導致系統(tǒng)作出錯誤的、危險的決策，進而可能造成嚴重的安全事故。
 
　　其二，內(nèi)部攻擊，攻擊者試圖獲取自動駕駛汽車內(nèi)部系統(tǒng)的訪問權(quán)限。此類攻擊既可以針對有線入口，包括USB、充電接口、車上診斷系統(tǒng)等；也可以針對無線入口，包括專用短程通信連接、基于移動網(wǎng)絡(luò)的V2X、藍牙系統(tǒng)等。一旦攻擊者獲得內(nèi)部系統(tǒng)權(quán)限，就可以對車內(nèi)網(wǎng)絡(luò)、電子控制器等進行破壞，或者控制引擎、剎車等關(guān)鍵部件。
 
　　第四，自動駕駛汽車的網(wǎng)絡(luò)安全風險同時呈現(xiàn)廣度和深度特征，帶來全方位、多層次的危害后果。在廣度上，自動駕駛汽車的軟件和硬件漏洞可能是廣泛的，這意味著網(wǎng)絡(luò)攻擊會被放大，例如，黑客可以侵入并控制搭載了同一自動駕駛系統(tǒng)的所有智能汽車。對此，2017年7月，特斯拉CEO馬斯克警告說，對于自動駕駛汽車的最大憂慮是“黑客可以實現(xiàn)車隊規(guī)模的攻擊”。在深度上，自動駕駛汽車被入侵、控制后，可能造成不同層次的不利后果。最直接的損害后果是人員傷亡和財產(chǎn)損害。例如，路面上或停車場的自動駕駛汽車可能被黑客或恐怖分子控制來威脅車上人員或社會公眾的人身安全，或者破壞關(guān)鍵基礎(chǔ)設(shè)施等公共財產(chǎn)。再者，近年來以索要贖金為主要目的的勒索軟件攻擊愈演愈烈，自然不會放過自動駕駛汽車。例如，黑客可能侵入自動駕駛汽車網(wǎng)絡(luò)，植入勒索軟件，將汽車鎖定，然后向車主索要贖金。此外，針對自動駕駛汽車的網(wǎng)絡(luò)攻擊也可能帶來數(shù)據(jù)被竊取的損害后果。自動駕駛汽車能夠收集到的數(shù)據(jù)不僅范圍廣（如涉及汽車自身、車主、乘客、周圍環(huán)境等對象的大量信息）、類型多（如司機、乘客的位置和行程數(shù)據(jù)，以及指紋、人臉、虹膜等生物識別數(shù)據(jù)，各類傳感器數(shù)據(jù)，交易數(shù)據(jù)，第三方收集使用的數(shù)據(jù)等）、數(shù)量大（一輛無人駕駛汽車平均每天生產(chǎn)約4TB數(shù)據(jù)）、質(zhì)量高，而且蘊含著巨大的經(jīng)濟和社會價值，對車企、系統(tǒng)開發(fā)商、服務提供者、保險公司、執(zhí)法部門等主體都有巨大價值。正因如此，自動駕駛汽車的大量個人數(shù)據(jù)和商業(yè)數(shù)據(jù)，將是黑客攻擊的理想目標，在黑市交易這些數(shù)據(jù)可以獲得大量的非法收入。
 
　　因此，可以毫不夸張地說，網(wǎng)絡(luò)安全風險將是以自動駕駛、車聯(lián)網(wǎng)為核心的未來交通的最大安全威脅。各國已在積極研究、應對自動駕駛汽車的網(wǎng)絡(luò)安全挑戰(zhàn)。例如，美國交通部將網(wǎng)絡(luò)安全列為汽車自動駕駛技術(shù)的10項監(jiān)管原則之一和自動駕駛系統(tǒng)安全標準的重要組成要素，美國國會提出的《自動駕駛法案》要求制造商落實自動駕駛系統(tǒng)網(wǎng)絡(luò)安全計劃。英國于2017年8月出臺的《聯(lián)網(wǎng)和自動駕駛汽車網(wǎng)絡(luò)安全關(guān)鍵原則》提出了八項原則，以確保自動駕駛汽車的設(shè)計、開發(fā)、制造及售后運行過程都將網(wǎng)絡(luò)安全納入考慮。2021年出臺的德國《自動駕駛法案》為制造商設(shè)置的安全義務包括車輛及與車輛相連的電子設(shè)備不受攻擊、證明進行完整適當?shù)娘L險評估以及保障網(wǎng)絡(luò)安全等。此外，2021年聯(lián)合國出臺了兩部新法規(guī)，分別是《汽車軟件更新條例》（UN Regulation No. 156）和《汽車網(wǎng)絡(luò)安全條例》（UN Regulation No. 155），是該領(lǐng)域具有里程碑意義的國際法規(guī)。
 
　　自動駕駛算法的倫理安全挑戰(zhàn)
 
　　自動駕駛算法安全挑戰(zhàn)的第三個層面是倫理安全。理論上，自動駕駛汽車需要確保所有道路使用者都能獲得同等程度的安全保障，但算法的訓練或決策可能帶來不公平歧視，引發(fā)倫理爭議。自動駕駛算法不同于傳統(tǒng)的自動化軟件，其需要在不確定性的環(huán)境中作出不確定性的決策。這意味著，自動駕駛算法可能像人類司機一樣，在遇到突發(fā)意外時，被迫在生與死之間做出選擇。人們不會因為人類司機在危難時刻作出低效的、不理性的應激反應而對其進行責難，但人們對于自動駕駛汽車不會懷抱同樣的心態(tài)，因為自動駕駛汽車被編程來執(zhí)行特定的行為，所以其行為不是應激反應，而是精心計算的結(jié)果。設(shè)想一個醉漢突然沖向馬路，因而被一輛正在行駛的自動駕駛汽車撞死。在現(xiàn)有的法律框架下，人們不會苛責任何一個正常的司機，因為幾乎沒有可能避免這樣的意外事故。但同樣的判斷標準可能不再適用于自動駕駛汽車，因為在未來，這個判斷標準可能是合理機器人（Reasonable Robot）標準。
 
　　自動駕駛算法首要的倫理安全問題是，在面對不可避免的事故（Unavoidable Accident）時，算法該如何抉擇并行動？尤其是在面對兩難處境（即道德困境）時該如何抉擇？是選擇最小化人員傷亡，還是不惜代價地保護車乘人員，即使這可能意味著選擇犧牲行人等其他道路參與者？最常討論的一個虛擬案例是“電車困境”。但是，將電車困境與自動駕駛算法的道德抉擇作對比有一些缺陷：第一，電車困境是想象的，現(xiàn)實中不大可能發(fā)生；第二，電車困境中只有兩個選擇，但自動駕駛汽車的路徑規(guī)劃的選擇空間要大得多；第三，電車困境中當事人缺乏足夠重要的事先信息，例如該情形是如何出現(xiàn)或形成的，因為可能還需要考慮制造了危險情形之人的道德責任的程度。
 
　　自動駕駛汽車道德困境的可能性，讓技術(shù)與倫理之間的互動成了不可回避的問題。人們開始嚴肅對待道德代碼的必要性及其實現(xiàn)方式，即如何將復雜的人類道德編程到自動駕駛算法的設(shè)計中。當前主要存在兩種路徑：自上而下的路徑和自下而上的路徑。前者把特定倫理理論轉(zhuǎn)化為算法和代碼，后者則是讓算法從環(huán)境中學習并鼓勵其實施道德可嘉的行為。但這可能是十分困難的，首先，倫理價值因文化、風俗和習慣而異；其次，在功利主義、道義論、羅爾斯式的正義論、整體的社會道德傾向等倫理框架中，何者應作為自動駕駛系統(tǒng)的道德算法的指導原則是難以形成共識的。
 
　　在這方面比較有影響的研究是麻省理工學院（MIT）針對自動駕駛汽車的道德機器實驗（Moral Machine Experiment）。該實驗表明，人們在大多數(shù)情況下都會傾向于采取功利主義的倫理選擇，但同時也會不同程度地受到地理、經(jīng)濟、文化等因素的影響；雖然如此，但受訪者大都表示不會購買犧牲駕駛者的自動駕駛汽車。但這個實驗可能帶來一些誤導：第一，可能會讓社會大眾誤以為自動駕駛汽車就是被編程來傷害特定類型的人群的，或者是危險的，這會帶來負面的輿論影響，進而妨礙、減緩技術(shù)的商業(yè)部署進程；第二，可能誤導行業(yè)和政策制定者在“電車困境”這類極其少見的問題上花費過多精力，他們本應將重心放在確保自動駕駛汽車部署的安全性上；第三，把關(guān)于社會價值的多數(shù)意見嵌入算法系統(tǒng)的思路，這本身就是有問題的。
 
　　到目前為止，學術(shù)界還沒有提出行之有效的解決方案。物理的路徑，如采取剎車，無法滿足對倫理決策的需求?？紤]到確立合適的倫理框架的異常困難性，有人提出聚焦于道德困境或碰撞最優(yōu)化中的選擇策略，開發(fā)一個適用于公共道路上的所有情形的倫理路徑規(guī)劃機制。而在算法實現(xiàn)層面，存在尊重駕駛者自主選擇的個人化倫理設(shè)置（Personal Ethics Setting）和由立法者或生產(chǎn)者預先設(shè)定的強制性倫理設(shè)置（Mandatory Ethics Setting）兩種模式的選擇。但是，需要警惕風險轉(zhuǎn)移策略，汽車上的保險杠就是一個典型的風險轉(zhuǎn)移策略，因為這增加了道路的其他使用者的風險。德國車企梅賽德斯表示，其將優(yōu)先保護車乘人員的安全，這是否意味著在面對不可避免的碰撞時，可以采取風險轉(zhuǎn)移策略，以自動駕駛汽車車乘人員的自我利益來證明給他人施加傷害的正當性？這顯然會削弱法律自身的功能，不具有正當性。
 
　　政策制定者和汽車制造商聚焦于將倫理考量融入自動駕駛算法。梅賽德斯聲稱其將“致力于提高和完善技術(shù)和風險防范策略，完全避免兩難情況的發(fā)生”。英特爾則提出了RSS（Responsibility Sensitive Safety）模式，旨在讓自動駕駛汽車避免參與到交通事故中去，或成為交通事故中的責任方。2017年德國在全球率先針對自動駕駛算法提出了具體的倫理要求，即針對自動駕駛汽車的20項倫理準則，核心內(nèi)容包括三項。其一，明確優(yōu)先選項并進行限制，優(yōu)先保護人類，犧牲動物或者其他財產(chǎn)都是允許的；在事故不可避免時，禁止基于年齡、性別、生理或心理狀況等進行歧視。其二，保留人對車輛的控制權(quán)并禁止事先編程，道德困境之下的決策依賴于現(xiàn)實的具體情況，不可能被清楚地標準化，因此也不可能被事先編程，具體決定應視具體情況而定。其三，強調(diào)通過技術(shù)手段防范倫理困境，汽車自動駕駛技術(shù)需要事先做出防范兩難局面等風險的策略，盡可能避免事故的發(fā)生，并減少給道路的弱勢使用者造成的風險；制造商或運營商有義務監(jiān)督、改進自動駕駛算法，以確保和提高自動駕駛車輛防范倫理風險的能力。
 
　　三、構(gòu)建自動駕駛汽車的算法安全框架
 
　　在全球范圍內(nèi)，自2015年以來，美國、德國、英國、荷蘭、新加坡、韓國、日本等多國積極出臺與自動駕駛汽車相關(guān)的政策和立法，探索建立自動駕駛汽車的監(jiān)管框架，監(jiān)管重心日益從規(guī)范道路測試、試點轉(zhuǎn)向支持商業(yè)化應用。
 
　　各國的戰(zhàn)略和立法無不表明，自動駕駛汽車正在引領(lǐng)未來交通發(fā)展。但在實然層面，自動駕駛汽車的成功取決于公眾對其安全性的感知與信任。盡管在理論上，當汽車自動駕駛技術(shù)在安全性上優(yōu)于一般人類駕駛員時，就應當允許其商業(yè)化應用。為了加速推動自動駕駛汽車從研發(fā)驗證階段轉(zhuǎn)向商業(yè)部署階段，一定程度的法律監(jiān)管和監(jiān)管創(chuàng)新是必要的、適當?shù)?，但也需要避免過度監(jiān)管對創(chuàng)新的阻礙。從新的注意義務標準、責任規(guī)則到保險和賠償機制、新的裁判機構(gòu)，再到完善監(jiān)管機制、防范安全風險并豁免特定責任，汽車和交通領(lǐng)域的技術(shù)變革與法律變革似乎正在同步進行著。
 
　　目前我國自動駕駛產(chǎn)業(yè)發(fā)展迅猛，尤其是L1級和L2級的智能輔助駕駛功能日益成為乘用車的核心賣點。但到目前為止，L3級以上自動駕駛尚未實現(xiàn)正式商用。雖然北京、上海、廣州、長沙、重慶、武漢、深圳等城市競相出臺政策和立法，推動自動駕駛落地應用，但國家層面仍存在法律和監(jiān)管問題，給自動駕駛商用造成阻礙，例如，《道路交通安全法》《公路法》等法律用以規(guī)范汽車及其駕駛員，自動駕駛系統(tǒng)的法律地位以及自動駕駛汽車如何上路通行等，都處于立法空白狀態(tài)；此外，目前國家層面也沒有關(guān)于自動駕駛責任與保險的法律規(guī)則。
 
　　為了確保實現(xiàn)《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》提出的“到2025年實現(xiàn)有條件自動駕駛的智能汽車達到規(guī)模化生產(chǎn)，實現(xiàn)高度自動駕駛的智能汽車在特定環(huán)境下市場化應用”的目標，需要加快修訂、革新針對傳統(tǒng)汽車和人類司機的立法和監(jiān)管框架，為自動駕駛汽車融入現(xiàn)行道路交通體系建立新的法律制度和監(jiān)管框架。其中的一個核心層面是，構(gòu)建以自動駕駛算法為核心的安全監(jiān)管框架，需要涵蓋技術(shù)安全標準與審批認證、網(wǎng)絡(luò)安全認證、倫理風險管理三大維度。
 
　　新的自動駕駛系統(tǒng)安全標準和審批認證機制
 
　　作為深刻影響公眾安全的新興技術(shù)，汽車自動駕駛技術(shù)的發(fā)展應用應始終堅持“安全第一”這一最高原則。因此，國家亟須為自動駕駛汽車建立新的、統(tǒng)一的安全標準，從傳統(tǒng)上以汽車硬件和人類司機為核心的安全標準，轉(zhuǎn)向以自動駕駛算法為核心的安全標準，這意味著允許創(chuàng)新性的汽車設(shè)計——無須駕駛艙、方向盤、腳踏板、后視鏡的自動駕駛汽車。例如，2022年3月美國NHTSA針對沒有方向盤等手動控制裝置的自動駕駛汽車，更新了“聯(lián)邦機動車安全標準”（FMVSS）中的乘員保護標準，邁出了從傳統(tǒng)汽車安全標準轉(zhuǎn)向自動駕駛算法的新安全標準的第一步。此外，考慮到汽車自動駕駛技術(shù)仍在快速演進之中，新的安全標準應保持技術(shù)中立，聚焦于安全性能，避免提出特定的強制性設(shè)計特征。
 
　　在自動駕駛汽車的準入認證（包括豁免程序）上，中國、歐盟、日本等采取審批機制，美國NHTSA則強調(diào)通過制造商的自我認證機制來平衡保障安全與促進創(chuàng)新。而且我國對銷售后的自動駕駛算法的OTA更新升級，也采取較為嚴格的審批制。我國將來是否需要采取審批與自我認證相結(jié)合的準入認證機制，從促進創(chuàng)新、增強國際競爭力的角度看，是值得認真考慮的。此外，在準入與豁免方面，目前主要應用于金融、個人數(shù)據(jù)保護等領(lǐng)域的“監(jiān)管沙盒”機制，在自動駕駛汽車領(lǐng)域也能很好地平衡落后標準與創(chuàng)新技術(shù)之間的沖突和緊張關(guān)系。例如，2022年2月市場監(jiān)管總局等五部委聯(lián)合發(fā)布的《關(guān)于試行汽車安全沙盒監(jiān)管制度的通知》，將沙盒監(jiān)管引入汽車安全領(lǐng)域，鼓勵對已經(jīng)應用在上市車輛上的前沿技術(shù)進行安全測試，以填補標準滯后帶來的監(jiān)管缺失。面向未來，在更好地支持汽車自動駕駛技術(shù)創(chuàng)新發(fā)展方面，監(jiān)管沙盒機制將能發(fā)揮更大作用。為此，政策制定者需要探索制定可落地執(zhí)行的具體監(jiān)管規(guī)則。
 
　　安全標準與準入認證的落地實施，依賴于有效的測試、檢測、驗證方法。在這方面，仿真測試、封閉場景測試、公共道路測試的有效結(jié)合，能夠?qū)ψ詣玉{駛算法的交通法律違反情況、道路駕駛技術(shù)水平、脫離（Disengagement）情況、碰撞和傷亡情況等作出綜合的評估。面向未來，為了更加準確可靠地評估、驗證自動駕駛系統(tǒng)的安全性，將來立法和政策需要為自動駕駛系統(tǒng)設(shè)定科學合理的安全門檻與基準，可以考慮要求自動駕駛汽車至少達到與“勝任且謹慎的人類司機”同等水平的安全性，并確立一套基于道路駕駛技術(shù)水平的科學合理的檢測方法。
 
　　自動駕駛汽車網(wǎng)絡(luò)安全認證機制
 
　　網(wǎng)絡(luò)安全既是自動駕駛算法安全的必要組成部分，也是自動駕駛汽車整體安全的重要維度。為此，政策制定者需要考慮融入傳統(tǒng)的網(wǎng)絡(luò)安全原則，從整體上保障自動駕駛汽車的網(wǎng)絡(luò)安全。要言之，自動駕駛汽車需要新的網(wǎng)絡(luò)安全框架。
 
　　第一，建立自動駕駛汽車的網(wǎng)絡(luò)安全認證機制，只有通過網(wǎng)絡(luò)安全認證的自動駕駛汽車才允許銷售、使用。而且該機制需要延伸到軟硬件供應鏈，因為復雜的、不透明的機器學習算法、專用的AI模型、第三方的預訓練模型等日益成為汽車供應鏈的一部分。
 
　　第二，新的網(wǎng)絡(luò)安全框架需要明確自動駕駛汽車的網(wǎng)絡(luò)安全防護能力和要求。具體而言，將來立法可以要求制造商采取多種網(wǎng)絡(luò)安全防護措施，包括加密方法、入侵、異常和漏洞檢測、對抗攻擊的反制措施（如冗余設(shè)計、對抗樣本耐受性）等技術(shù)措施，以及安全嵌入設(shè)計（Security by Design）、風險管理、網(wǎng)絡(luò)安全事故管理等非技術(shù)措施。
 
　　第三，汽車自動駕駛技術(shù)安全性的提升，需要在行業(yè)與政府之間實現(xiàn)B2B、B2G、G2B等形式的數(shù)據(jù)共享，尤其是與安全事故、網(wǎng)絡(luò)安全、自動駕駛系統(tǒng)脫離等安全事件相關(guān)的數(shù)據(jù)。建立事故數(shù)據(jù)報告與分享機制，對于提升整個自動駕駛行業(yè)的發(fā)展水平意義重大。
 
　　自動駕駛算法的倫理風險管理機制
 
　　毋庸置疑，自動駕駛算法需要倫理原則；問題是這些原則如何轉(zhuǎn)變?yōu)榫唧w的監(jiān)管規(guī)則，獲得廣泛認可并予以執(zhí)行。在技術(shù)層面，需要一個可執(zhí)行的解決方案來幫助自動駕駛算法作出有效的、可接受的決策，尤其是在面對不可避免的事故或其他道德困境時。在這個問題上，完全讓企業(yè)自己來設(shè)定標準并執(zhí)行是不可取的，因為制造商的創(chuàng)新自由和對商業(yè)利益的追求可能與一般的公共安全考量背道而馳。因此政府需要介入，為自動駕駛算法設(shè)定最低程度的道德標準。“倫理先行”的治理理念在自動駕駛汽車領(lǐng)域顯得尤為必要且迫切。
 
　　在這方面，德國的相關(guān)立法和倫理原則已作出了表率，但效果還有待觀察。英國數(shù)據(jù)倫理與創(chuàng)新中心（CDEI）建議英國的監(jiān)管者建立“自動駕駛汽車倫理與安全委員會”（Committee on AV Ethics and Safety），以更好地支持自動駕駛汽車的治理?？紤]到自動駕駛汽車的購買者可能傾向于讓自動駕駛汽車優(yōu)先考慮其個人的安全，市場競爭給制造商帶來的壓力可能導致最終的結(jié)果并不符合社會公共利益的最大化。因此，需要明確的政府監(jiān)管來給自動駕駛算法設(shè)計中的倫理選擇設(shè)定標準，以確保自動駕駛算法在倫理上符合一般的社會公共利益，并在公眾的接受度和道德要求之間實現(xiàn)某種平衡。
 
　　除了自動駕駛算法的抽象道德標準，政策制定者還應當重點關(guān)注更為具體的科技倫理治理和算法倫理風險管理。2022年3月，《關(guān)于加強科技倫理治理的意見》的印發(fā)，表明國家對科技倫理治理高度重視，將其作為科技創(chuàng)新的重要支撐。在此背景下，自動駕駛汽車企業(yè)需要加強汽車自動駕駛技術(shù)的科技倫理治理，積極履行科技倫理管理主體責任，堅守科技倫理底線，針對汽車自動駕駛技術(shù)開展科技倫理風險評估審查、建立科技倫理風險監(jiān)測預警機制、強化科技人員的倫理培訓等。
 
　　自動駕駛算法的倫理治理應側(cè)重通過企業(yè)和行業(yè)的自律管理來落實，但立法和監(jiān)管的適當介入也是必要的。在算法倫理自律管理方面，自動駕駛汽車企業(yè)和行業(yè)可以通過倫理委員會、行業(yè)自律公約、倫理標準與認證、倫理嵌入設(shè)計（Ethics by Design）、算法倫理的技術(shù)和管理工具、算法倫理獎勵（Ethics Bounty）等多元化的舉措，將相關(guān)倫理要求嵌入自動駕駛算法全生命周期，防范、應對算法歧視等倫理安全風險，提升自動駕駛算法的安全性、公平性、透明性、可解釋性等。尤其是需要在數(shù)據(jù)收集階段識別、移除不公平歧視，打造更加公平的自動駕駛算法。
 
　　在監(jiān)管方面，為了更好落實“倫理先行”的治理理念，及時防范自動駕駛算法的倫理安全風險，一個可行的監(jiān)管路徑是：將來立法可以要求自動駕駛汽車企業(yè)在自動駕駛算法的全生命周期建立算法倫理風險管理機制，以便主動識別、分析評估、管理、治理自動駕駛算法的倫理風險。當然，算法倫理風險管理機制的落地實施，除了需要立法的明確規(guī)定，還需要監(jiān)管部門出臺實施細則和具體標準，對如何有效管理安全可靠、隱私、公平性、透明性和可解釋性、人機協(xié)作、技術(shù)濫用等方面的倫理風險，給企業(yè)和行業(yè)提供具體的指南和引導。
 
　　四、結(jié)語
 
　　自動駕駛汽車的廣泛部署和使用，是實現(xiàn)其諸多正向效益的必要條件。其廣泛部署和使用的必要條件是建立合適的安全框架，加快實現(xiàn)自動駕駛汽車從測試到商用的飛躍。但任何合理的法律政策都不能對公眾的接受度視而不見。換句話說，自動駕駛汽車要想成為最優(yōu)選的交通方式，就必須考慮其使用者和社會整體的預期，這些預期包括使用者的滿意和安全，以及信任、責任、透明等設(shè)計價值。對自動駕駛汽車的安全規(guī)制也必須考慮這些預期，甚至調(diào)和其中的過高預期。基于這些考慮，本文創(chuàng)新性地提出了一個全新的自動駕駛算法安全監(jiān)管框架，來應對自動駕駛汽車邁向商業(yè)化應用之前必須直面的算法安全挑戰(zhàn)。因為如果不能妥善地解決自動駕駛算法的安全挑戰(zhàn)，自動駕駛汽車的商業(yè)落地將遙遙無期。希冀本文提出的監(jiān)管和治理思路能夠給政策制定者提供有益的啟發(fā)。
 
　　當然，作為題外話，從長遠來看，自動駕駛汽車的商用只是未來交通法治的起點，而非終點，汽車設(shè)計、交通法規(guī)、責任承擔、保險賠償、駕駛習慣等一系列變革將紛至沓來。甚至如特斯拉CEO馬斯克所言，汽車技術(shù)的進步有朝一日可能使人類操作汽車成為非法。這并非無稽之談，如果將來汽車自動駕駛技術(shù)的安全性可以達到非常高的水平，在所有的駕駛環(huán)境中都能夠作出比人類更優(yōu)的決策和判斷，使自動駕駛汽車場景下的交通事故成為小概率事件，法律政策又該作何選擇？屆時，考慮到人類駕駛所附帶的顯著的負外部性，政策制定者是否需要立法禁止人類駕駛？雖然我們無法準確預知未來，但可以選擇對自動駕駛汽車的未來發(fā)展路徑保持開放，在推進自動駕駛算法的安全規(guī)制的時候，可以選擇不把人類駕駛員這一緊箍咒加諸其上，讓技術(shù)和市場來決定是誰或什么將會主宰未來交通。