江溯  北京大學(xué)法學(xué)院副教授、博士生導(dǎo)師，北京大學(xué)法律人工智能實驗室/研究中心副主任。

內(nèi)容摘要
盧米斯案引發(fā)了算法規(guī)制問題的廣泛討論。多數(shù)學(xué)者認(rèn)為，該案判決低估了算法的準(zhǔn)確性、歧視性和透明度風(fēng)險，高估了法官識別算法風(fēng)險的能力。為了應(yīng)對普遍的算法風(fēng)險，GDPR引入了算法可解釋性規(guī)則，但在解釋論構(gòu)造、正當(dāng)性、可行性和有效性等方面均存在爭議。盡管學(xué)界對算法規(guī)制的具體進路看法不一，但在算法透明原則方面達成了共識。我國應(yīng)當(dāng)采取立法、司法與行業(yè)自律并行的算法規(guī)制策略。立法者應(yīng)當(dāng)制定場景化的算法透明和責(zé)任規(guī)則。在司法領(lǐng)域，要明確算法決策僅具有輔助性地位，不能替代人類法官進行判案，并設(shè)計出更為精細的算法透明制度。此外，還應(yīng)當(dāng)鼓勵行業(yè)內(nèi)部協(xié)商制定倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)。

關(guān)鍵詞：自動化決策  算法規(guī)制  正當(dāng)程序  刑事司法  算法透明  算法正義

引言

 

近年來，人工智能成為引爆第四次工業(yè)革命的重要力量。我國作為人工智能發(fā)展迅速的國家，在政策上一直鼓勵相關(guān)產(chǎn)業(yè)的發(fā)展，并希望以此為各行各業(yè)賦能，推動產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級。人工智能作為新生事物，在改變社會生活面貌的同時，也為各個行業(yè)帶來了新的風(fēng)險。當(dāng)新興的人工智能與古老的法律行業(yè)相遇時，一系列新問題隨之而生。一方面，越來越多的法律人開始思考如何將人工智能帶來的算法權(quán)力關(guān)進法治的籠子里。無論是對人工智能主體性的展望，還是對自動駕駛、機器創(chuàng)作、智能投顧等具體應(yīng)用場景的分析，都體現(xiàn)了人工智能對現(xiàn)有法律的挑戰(zhàn)。另一方面，法律工作者開始擁抱人工智能技術(shù)，享受著算法帶來的效率提升。類案推送、聚類檢索等工具不僅成為法學(xué)院學(xué)生的學(xué)習(xí)利器，也幫助律師、檢察官、法官和公司法務(wù)更好更快地完成工作。人工智能使實證研究者能夠分析更大的樣本量，使得輸出的案例分析結(jié)論更加穩(wěn)健，這種從大數(shù)據(jù)中析出法官集體智慧的技術(shù)，展現(xiàn)出廣闊的應(yīng)用前景。人們不禁暢想，算法能否進一步賦能法律行業(yè)？又會有哪些新的風(fēng)險與之相伴而生？

在美國，算法與法律的結(jié)合早已在司法實踐中得到應(yīng)用。美國司法界鼓勵在刑事司法程序中運用基于實證研究的風(fēng)險評估工具。但是，在國家機器對個人的決策中使用算法時，算法固有的風(fēng)險可能會進一步擴大，并威脅到個人的基本權(quán)利。2016年7月美國威斯康辛州終審判決的威斯康辛州訴盧米斯案（State v. Loomis）正是算法風(fēng)險在刑事司法程序中的典型體現(xiàn)。該案被告人認(rèn)為，法官依靠自動化決策結(jié)果對其量刑的行為，侵害了其正當(dāng)程序權(quán)利。盡管終審法院經(jīng)過審理后駁回了他的上訴理由，但學(xué)界對該判決結(jié)論的反對聲音不絕于耳。盧米斯案及其相關(guān)論爭反映了算法風(fēng)險與程序正義的復(fù)雜問題。對于正在發(fā)展司法人工智能的我國而言，這同樣是值得深入思考的問題。筆者擬對該案的背景、事實及判決意見進行梳理，然后對相關(guān)學(xué)術(shù)批評進行歸納，繼而對算法規(guī)制的既有辦法及爭議進行介紹，最后為我國的算法規(guī)制策略以及算法在司法程序中的應(yīng)然地位提出建議。

一、盧米斯案的始末

（一）案件背景

伴隨著人工智能第三次浪潮的崛起，算法發(fā)揮著越來越重要的作用。算法可以利用海量數(shù)據(jù)對人類行為模式進行預(yù)測，從而幫助決策者判斷風(fēng)險。算法的這種預(yù)測功能，在某種程度上與刑法的特殊預(yù)防功能相契合。例如，人們可以通過算法對罪犯的累犯風(fēng)險進行評測，從而決定量刑問題。在美國，司法界已經(jīng)開始將算法納入刑事司法政策的嘗試。

2007年，美國首席大法官會議通過了一項題為“支持促進公共安全和減少累犯的量刑實踐”的決議，強調(diào)法官“發(fā)揮重要作用，確保刑事司法系統(tǒng)有效運轉(zhuǎn)，通過減少累犯和追究罪犯責(zé)任來有效保護公眾”。該會議致力于“支持各州根據(jù)有最佳研究證據(jù)證明能夠有效減少累犯的實踐，努力采取量刑、懲治的政策與計劃”。同樣，美國律師協(xié)會也敦促各州采用風(fēng)險評估工具，以減少累犯和提高公共安全。它強調(diào)了對關(guān)押低風(fēng)險個人的關(guān)切，并警告稱，將低風(fēng)險罪犯與中高風(fēng)險罪犯安置在一起，可能會增加而不是降低再次犯罪的風(fēng)險。這種接觸可能導(dǎo)致來自高風(fēng)險罪犯的負(fù)面影響，實際上有害于個人在改過自新方面的努力。最初，風(fēng)險評估工具僅由緩刑和假釋部門使用，功能是幫助確定對罪犯的最佳監(jiān)督和處理策略。隨著美國國內(nèi)對減少累犯以及循證（evidence- d）的日益關(guān)注，此類工具的使用現(xiàn)已擴展到量刑領(lǐng)域。然而，在量刑中使用這些工具更為復(fù)雜，因為量刑決定具有多元目標(biāo)，其中只有部分目標(biāo)與減少累犯有關(guān)。

算法在幫助法官裁判的同時，也反映出許多問題。人們注意到，算法在很多時候?qū)€人產(chǎn)生了實質(zhì)性影響，但其自動化的決策過程卻并不是公開的，它也不接受質(zhì)詢、不提供解釋和救濟。相對人無從知曉決策的原因，更無法要求撤銷或修正自動化決策的結(jié)果。即使自動化決策侵害了相對人的利益，相對人也無法要求算法開發(fā)者或使用者承擔(dān)相應(yīng)的責(zé)任。這種狀態(tài)也被學(xué)者稱為“算法暴政”。而當(dāng)刑事司法程序借助算法進行裁判時，這種“算法暴政”會直接涉及人的生命、自由等基本權(quán)利，從而彰顯出更為強烈的權(quán)利沖突狀態(tài)。盧米斯案正是反映了在這種情況下算法所引發(fā)的典型問題，因而成為近年來備受關(guān)注的一個案例。

（二）基本事實

2013年，威斯康辛州以五項罪名指控埃里克·盧米斯（Eric Loomis）與拉克羅斯（La Crosse）駕車射擊案有關(guān)。盧米斯否認(rèn)其參與了射擊行為，但承認(rèn)他在當(dāng)晚晚些時候駕駛了涉案汽車。盧米斯承認(rèn)了其中兩項較輕的罪名——“企圖逃避交通官員罪、未經(jīng)車主同意而駕駛汽車罪”。在做量刑準(zhǔn)備時，一名威斯康辛州懲教署官員制作了量刑前調(diào)查報告，其中包括COMPAS風(fēng)險評估工具。COMPAS風(fēng)險評估工具基于對被告的訪談以及從被告犯罪史中獲取的信息，對被告的累犯風(fēng)險進行評估。由于COMPAS背后的評估方法屬于商業(yè)秘密，因此其僅向法院提交了累犯風(fēng)險的評估數(shù)值。在盧米斯的量刑庭審中，初審法院在量刑判決中參考了COMPAS評估結(jié)果，并部分基于此項評估結(jié)果，判處盧米斯六年有期徒刑和五年社區(qū)監(jiān)督（extended supervision）。

盧米斯向初審法院提出了減輕刑罰的請求，認(rèn)為法院對COMPAS的依賴侵犯了他的正當(dāng)程序權(quán)利。主要的理由是：1.因為COMPAS報告僅提供與特定群體相關(guān)的數(shù)據(jù)，并且由于用于制作報告的方法是商業(yè)秘密，所以盧米斯認(rèn)為，法院對COMPAS評估的使用侵犯了他基于精確信息被量刑的權(quán)利；2.基于前述兩個原因，法院也同時侵犯了他獲得個性化判決的權(quán)利；3.盧米斯還根據(jù)正當(dāng)程序理由辯稱，法院通過依賴一項將性別納入考量因素的風(fēng)險評估工具，在判決時對性別問題的考慮構(gòu)成違憲。但初審法院駁回了盧米斯在量刑程序中的這項請求，威斯康辛州上訴法院將上訴移交給威斯康辛州最高法院。

（三）裁判結(jié)論及其論證理由

威斯康辛州最高法院最終維持了原判。為法庭撰寫判決書的安·沃爾什·布拉德利法官（Ann Walsh Bradley）否決了盧米斯的正當(dāng)程序主張。布拉德利法官認(rèn)為，在風(fēng)險評估中使用性別作為一項因素，是基于促進精確性的非歧視目的，盧米斯沒有提供充分證據(jù)說明審理法院實際上考慮了性別。此外，由于COMPAS僅使用能公開獲得的數(shù)據(jù)以及被告人提供的數(shù)據(jù)，法院認(rèn)為，盧米斯可以對制作該報告的任何信息作出否認(rèn)或解釋，從而驗證裁判中所使用信息的準(zhǔn)確性。在個性化判決方面，布拉德利法官強調(diào)了個性化量刑的重要性，并承認(rèn)COMPAS僅提供與被告相似群體的累犯風(fēng)險聚類數(shù)據(jù)（aggregate data）。但她解釋說，由于該報告并非判決的唯一依據(jù)，法院擁有必要的自由裁量權(quán)和信息，以否定不適當(dāng)?shù)脑u估，所以將COMPAS評估納入考慮的量刑仍然具有充分的個性化。

然而，布拉德利法官也補充說，法官在使用此類風(fēng)險評估時必須謹(jǐn)慎行事。為確保法官適當(dāng)權(quán)衡風(fēng)險評估，法院的命令包括：這些評估必須以何種方式提交給審判法院，以及法官可以在多大程度上使用它們。法院解釋說，風(fēng)險評分不能用于“確定罪犯是否被監(jiān)禁”或“確定刑罰的輕重”。因此，使用風(fēng)險評估的法官必須說明評估以外的其他支持判刑的因素。此外，包括COMPAS評估在內(nèi)的PSI必須向法官提供五項書面警告：第一，“COMPAS的專有性質(zhì)”會阻礙對如何計算風(fēng)險分?jǐn)?shù)的披露；第二，COMPAS分?jǐn)?shù)無法識別特定的高危險個體，因為這些分?jǐn)?shù)依賴于群體數(shù)據(jù)；第三，盡管COMPAS依賴于國家數(shù)據(jù)樣本，但“沒有針對威斯康辛州人口的交叉驗證研究”；第四，研究提出了以下問題：COMPAS分?jǐn)?shù)是否不成比例地將少數(shù)群體罪犯認(rèn)定為具有更高累犯風(fēng)險；第五，COMPAS是專門為協(xié)助懲教署作出量刑后判決（post-sentencing determinations）而開發(fā)的。在發(fā)出這些警告時，法院明確表示希望向人們灌輸對該工具準(zhǔn)確性的普遍懷疑，以及在該工具評估少數(shù)群體罪犯風(fēng)險方面更具針對性的懷疑。

亞伯拉罕遜法官表示同意。雖然她同意判決，但她擔(dān)心法院難以理解算法風(fēng)險評估。特別是，她批評法院的決定否認(rèn)了開發(fā)COMPAS的公司Northpointe提交法庭之友摘要（file an amicus brief）的機會。她本應(yīng)要求量刑法院提供更廣泛的記錄，以說明“實證工具所促成的個性化判決的優(yōu)點、缺點和相關(guān)性”。她認(rèn)為，鑒于有批評者認(rèn)為這些評估來自政府官員和學(xué)者，前述解釋是有必要的。

二、盧米斯案引發(fā)的算法風(fēng)險爭議

盧米斯案判決認(rèn)為COMPAS的使用并不損害被告的正當(dāng)程序權(quán)利。但是，許多研究者都指出，法院沒有成功地保護盧米斯的正當(dāng)程序權(quán)利，因為法院忽視了風(fēng)險評估算法的如下風(fēng)險。

（一）關(guān)于風(fēng)險評估算法的準(zhǔn)確性風(fēng)險

有評論指出，在量刑程序中對COMPAS的使用侵犯了被告的正當(dāng)程序權(quán)利，因為法院存在著對算法技術(shù)準(zhǔn)確性的錯誤假設(shè)。無論是理論上還是實踐中都存在著對風(fēng)險評估算法準(zhǔn)確性的質(zhì)疑。

首先，有研究發(fā)現(xiàn)，COMPAS的評估并不像法院所認(rèn)為的那樣準(zhǔn)確。ProPublica作出的評估顯示，該算法評分在預(yù)測罪犯累犯概率方面的正確率達到61％，但在預(yù)測暴力累犯率方面的正確率只有20%。它還發(fā)現(xiàn)“該算法在預(yù)測黑人和白人被告累犯概率方面的正確率大致相同（白人被告為59％，黑人被告為63％），但是預(yù)測失誤的方式卻大不相同。在為期兩年的后續(xù)隨訪期內(nèi)，該算法對白人和黑人被告進行的分類方式是不同的”。

其次，由于缺乏外部監(jiān)督，開發(fā)者可能為了自身商業(yè)利益而忽略算法的準(zhǔn)確性。為了促進風(fēng)險評估算法的準(zhǔn)確性，需要不斷向其訓(xùn)練數(shù)據(jù)庫增添新的數(shù)據(jù)，因而也需要持續(xù)監(jiān)督，但目前由于算法受到商業(yè)秘密保護，只有開發(fā)商有權(quán)監(jiān)督。但問題是，開發(fā)商的利益并不總是與社會利益一致，業(yè)務(wù)邏輯并不總是與對科學(xué)準(zhǔn)確性的需求一致。例如，如果風(fēng)險評估算法高估了罪犯的累犯風(fēng)險而要求對其采取措施，這種錯誤通常很難被發(fā)現(xiàn)，即使被發(fā)現(xiàn)也不會給公司造成社會丑聞；但如果該算法低估了罪犯的累犯風(fēng)險而建議將其釋放，一旦罪犯再次實施了暴力犯罪，開發(fā)者可能會面臨強烈的批評，公司的商業(yè)形象和商業(yè)利益也會受損。因此，開發(fā)者可能會在預(yù)防后一種錯誤方面付出更多成本，而可能忽略了前一種錯誤。

最后，開發(fā)者可能為了消除政治或道德風(fēng)險，在算法中故意排除統(tǒng)計學(xué)意義上的重要因素，從而降低算法準(zhǔn)確性。例如，盡管有些自變量（例如種族、性別、少數(shù)族裔地位等）已經(jīng)顯示出與人口中的暴力行為有統(tǒng)計學(xué)意義上的相關(guān)關(guān)系，但乍看之下，如果將這些因素納入風(fēng)險評估算法可能是令人不快的。實踐中，已經(jīng)有開發(fā)者在算法中排除了這些重要的統(tǒng)計變量，就政策制定而言這些變量被認(rèn)為是“有問題的”。例如，弗吉尼亞州官員開發(fā)的風(fēng)險評估工具故意將種族排除在規(guī)定變量之外，盡管這樣做違反了基本的統(tǒng)計需求。又如，聯(lián)邦系統(tǒng)定罪后風(fēng)險工具的開發(fā)者故意將性別排除在算法之外，“盡管他們的原始回歸模型發(fā)現(xiàn)，女性在作為累犯的陰性預(yù)測指標(biāo)方面具有統(tǒng)計學(xué)上的顯著性”。

（二）關(guān)于風(fēng)險評估算法的歧視性風(fēng)險

算法引發(fā)的歧視性問題在實踐中屢見不鮮，在線招聘、詞匯關(guān)聯(lián)、在線廣告等場景中的算法都曾被曝光出存在性別歧視或種族歧視的現(xiàn)象。有人質(zhì)疑，在盧米斯案中涉及的COMPAS算法同樣存在種族偏見問題。ProPublica發(fā)現(xiàn)，與同樣有可能再次犯罪的白人相比，非裔美國人更有可能被給予較高的分?jǐn)?shù)，從而導(dǎo)致等待審判期間的羈押時間更長。該算法開發(fā)商Northpointe駁斥了這一看法，稱這是因為ProPublica使用了錯誤的指標(biāo)對算法的公平性進行評估，如果是在給予相同分?jǐn)?shù)的被告人群體中，非裔美國人和白人計算出的累犯概率是一樣的。

有分析指出，導(dǎo)致算法偏見的原因包括：1.既有的人類偏見：人類已有的對某些群體的偏見是普遍的，也是深層次的，這可能導(dǎo)致這些偏見在計算機模型中被復(fù)制和放大。如果非裔美國人更可能因為歷史上的種族主義、警察實踐中的不公或者刑事司法系統(tǒng)中的不平等問題而被逮捕和羈押，那么這些事實也會反映在COMPAS算法的訓(xùn)練數(shù)據(jù)中，并且用于為是否應(yīng)當(dāng)羈押被告提供建議。如果將既有的偏見納入模型，它將作出與人類相同的錯誤判斷。2.采用了不完全的或不具有代表性的訓(xùn)練數(shù)據(jù)：訓(xùn)練數(shù)據(jù)不足是造成算法偏差的另一個原因。如果用于訓(xùn)練算法的數(shù)據(jù)相比其他群體更能代表某些群體，則該模型在預(yù)測這些代表性缺失或不足的群體方面可能呈現(xiàn)出系統(tǒng)性的劣勢。反之，如果算法具有針對某一群體的過多數(shù)據(jù)，則可能會使決策偏向特定結(jié)果。喬治城法學(xué)院的研究人員發(fā)現(xiàn)，執(zhí)法部門使用的面部識別網(wǎng)絡(luò)中約有1.17億美國成年人，但非裔美國人更容易被識別的主要原因是，他們在面部照片數(shù)據(jù)庫中的代表數(shù)據(jù)過多，因而非裔美國人的面孔更有可能被錯誤地匹配，從而產(chǎn)生了偏見。

但是，從技術(shù)角度看，設(shè)置何種偏見檢測策略也存在一定困難。從COMPAS算法偏見風(fēng)險的爭論來看，單純地看誤差率未必是檢測偏見的好辦法。Northpointe和ProPublica聚焦于不同條件下的誤差率，就得出了不同的結(jié)論。因而需要建立起一定的公平原則，來確認(rèn)在何種條件下的誤差率應(yīng)當(dāng)是相等的。

對此，布魯金斯學(xué)會的一份報告認(rèn)為，權(quán)衡的重點應(yīng)該放在評估“公平”的社會觀念和可能的社會成本上。在對COMPAS算法的研究中，有學(xué)者看到了“在最大程度地減少暴力犯罪與滿足公平的普遍觀念之間的內(nèi)在矛盾”，認(rèn)為如果為了優(yōu)化公共安全傾向于懲罰有色人種，可能會導(dǎo)致釋放更多高風(fēng)險被告，這將對公共安全產(chǎn)生不利影響。這也可能會不成比例地影響到非裔美國人和白人社區(qū)，從而產(chǎn)生公平成本。對此，算法開發(fā)人員應(yīng)首先尋找在不犧牲模型整體性能的情況下減少組之間差異的方法，并且建立相關(guān)的道德框架。

（三）關(guān)于風(fēng)險評估算法的透明度風(fēng)險

法律界在論及算法風(fēng)險時，一個常見的擔(dān)憂就是透明性問題。在盧米斯案件中，盧米斯上訴的理由之一也是算法的保密特性。而法院認(rèn)為，如果算法開發(fā)者或使用者向法院提交了書面警示事項，則可以緩和透明度造成的緊張關(guān)系；同時，盧米斯也可以通過驗證COMPAS報告中列出的問答是否正確來質(zhì)疑自己的風(fēng)險評分。但是，許多研究都認(rèn)為法院在處理算法透明度方面的努力遠遠不夠，它未能解決算法的“法律黑箱”和“技術(shù)黑箱”問題。

有研究指出，COMPAS和類似的風(fēng)險評估系統(tǒng)實際上包括“數(shù)據(jù)輸入”“處理和計算”以及“預(yù)測輸出”等一系列步驟。其中，“處理和計算”涉及最關(guān)鍵的問題，即如何解釋數(shù)據(jù)以及如何基于這種解釋輸出預(yù)測結(jié)果。但是，法院在判決書中只討論了被告是否可以質(zhì)疑其犯罪記錄和調(diào)查表答案的準(zhǔn)確性（“數(shù)據(jù)輸入”），而沒有關(guān)注他是否可以挑戰(zhàn)關(guān)鍵的“處理和計算”階段。因而，該判決沒有審查可能會對社會造成巨大影響的自動化決策，沒有發(fā)揮出司法機構(gòu)作為保護個人權(quán)利和提供有效救濟措施的最終看門人作用，盧米斯本人也因此喪失了辯駁、補充和解釋的權(quán)利。

一方面，COMPAS等風(fēng)險評估算法存在著“法律黑箱”。不透明性源于統(tǒng)計模型或源代碼的專有性特征，而這種特征是受到商業(yè)秘密相關(guān)法律保護的。有研究認(rèn)為，可以通過修改法律解決“法律黑箱”問題，具體有以下選擇：一是在特定條件下向公眾開放這些統(tǒng)計模型或源代碼，以保證透明度和可問責(zé)性，但這可能會遭遇來自開發(fā)商的反對；二是要求以保密的方式向特定的有關(guān)方或?qū)＜椅瘑T會披露。

另一方面，如果風(fēng)險評估算法使用了機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，則會面對更為棘手的“技術(shù)黑箱”問題。在這些場景中，算法規(guī)則會自動產(chǎn)生決策結(jié)果，甚至程序員也無法充分解釋算法為什么會產(chǎn)生這個結(jié)果以及算法是如何作出這些決策的。這種問題在人工神經(jīng)網(wǎng)絡(luò)算法（ANN）中最為明顯。這種算法是對人腦的模仿，包含各種神經(jīng)元（即相互連接的處理器）。不同于專家系統(tǒng)（基于對分層規(guī)則、變量和常量的集合，應(yīng)用于給定問題以嘗試確定解決方案），它是一種代表性學(xué)習(xí)，不需要太多的人為干預(yù)。ANN的學(xué)習(xí)算法不是事先編程的，而是通過分層結(jié)構(gòu)來學(xué)習(xí)不同信息和模式之間的關(guān)系，并開發(fā)自己的決策規(guī)則，這些規(guī)則通常是人類所無法理解的。盡管ANN減少了編程的工作量，也提高了算法的準(zhǔn)確性，但這是以“人類能夠?qū)嵸|(zhì)性地解釋發(fā)生在每一層中的推理能力”為代價的。對此，有研究建議，應(yīng)當(dāng)讓被告或者那些可能需要自動化決策的人獲得事前的知情權(quán)和自主選擇權(quán)，他們應(yīng)該在事前被充分告知這些自動化決策工具的潛在風(fēng)險、好處以及以這種技術(shù)方式進行預(yù)測的局限，從而決定是否使用或退出自動化決策。

此外，也有研究建議，應(yīng)當(dāng)向被告提供可解釋的算法，包括可以訪問其源代碼。只有開源算法才能在充分尊重科學(xué)準(zhǔn)確性的同時充分保護被告的權(quán)利。因而，盡管使用開源算法可能不太符合開發(fā)商的利益，但美國司法系統(tǒng)應(yīng)當(dāng)提倡使用開源算法，以促進算法透明性。

（四）關(guān)于法官能否識別算法風(fēng)險的風(fēng)險

在盧米斯案的判決書中，法院建議法官應(yīng)當(dāng)謹(jǐn)慎地使用風(fēng)險評估算法工具。但有評論指出，該案給出的建議（即要求PSI提交書面警告）無法幫助法官作出更好的評估。

首先，僅僅鼓勵司法者對風(fēng)險評估工具持懷疑立場，并不能告知法官應(yīng)該在多大程度上懷疑風(fēng)險評估結(jié)果，也有可能讓法官過分地貶低這些風(fēng)險評估結(jié)果的價值。

其次，即使這些書面警告增加了法官的懷疑態(tài)度，法官也可能缺乏必要信息來調(diào)整他們對此類工具的評估，大多數(shù)法官不太可能理解風(fēng)險評估算法，其背后的方法論也因其商業(yè)秘密屬性而不會得到公開。

最后，由于司法系統(tǒng)面對著使用風(fēng)險評估的內(nèi)部和外部壓力，也存在著支持?jǐn)?shù)據(jù)依賴的認(rèn)知偏好，這些書面警告可能不會改變法官對風(fēng)險評估的思考方式?！赌７缎谭ǖ洹氛J(rèn)可了基于證據(jù)的量刑，一些學(xué)者和司法機關(guān)鼓勵使用算法風(fēng)險評估。許多州正在認(rèn)真考慮在量刑中考慮累犯風(fēng)險數(shù)據(jù)。實際上，一些州已經(jīng)在量刑程序中要求使用風(fēng)險評估工具。伊利諾伊大學(xué)芝加哥分校心理學(xué)教授琳達·J·錫特卡指出：“大多數(shù)人會走需要最少努力的認(rèn)知之路，而不是系統(tǒng)地分析每個決策。他們會使用經(jīng)驗法則或啟發(fā)式?jīng)Q策法則……自動化的決策輔助工具可以充當(dāng)這些啟發(fā)式?jīng)Q策方法，并且可以替代更能保持警惕的監(jiān)視或決策系統(tǒng)。”如果算法決策工具被視作權(quán)威，人們很難拒絕訴諸權(quán)威的思維方式。

因而，有評論認(rèn)為，判決書目前給出的建議無法應(yīng)對前述弊端，應(yīng)當(dāng)采取更嚴(yán)格的措施，例如，排除對算法保密的風(fēng)險評估工具，或者在更多研究可用之前限制其使用等。

三、進一步的討論：算法的可解釋性及責(zé)任機制

盧米斯案反映出來的問題實際上是算法自動化決策問題在刑事司法領(lǐng)域的具體體現(xiàn)。如何應(yīng)對算法的歧視性、透明度、可問責(zé)性等問題，實際上已經(jīng)成為信息社會中一切自動化決策工具的共性問題。盧米斯所疾呼的正當(dāng)程序規(guī)則不僅在本案中受到算法的挑戰(zhàn)，也成為一切自動化決策場合的侵蝕對象。算法權(quán)力在商業(yè)領(lǐng)域形成與消費者的不公平交易，催生了監(jiān)視資本主義；在公權(quán)力領(lǐng)域，嵌入公權(quán)力運行的各個環(huán)節(jié)，甚至成為獨立的決策者，嚴(yán)重挑戰(zhàn)正當(dāng)程序和權(quán)力專屬原則。對此，各界一直在討論如何對算法進行規(guī)制，在各種聲音中，《通用數(shù)據(jù)保護條例》（GDPR）所規(guī)定的算法可解釋性和責(zé)任體系廣受矚目，也引發(fā)了大面積的討論。

（一）GDPR文本之解讀：可解釋性是否等于獲解釋權(quán)

GDPR第13-15條對算法的可解釋性提出了要求，規(guī)定數(shù)據(jù)主體有權(quán)知曉包括用戶畫像在內(nèi)的自動化決策中“對于相關(guān)邏輯、包括此類處理對于數(shù)據(jù)主體的預(yù)期后果的有效信息”。第22條規(guī)定了數(shù)據(jù)主體有權(quán)對自動化的個人決策加以反對、表達觀點與異議。序言第71條規(guī)定明確提出了解釋權(quán)，表述為接受自動決策的人應(yīng)該享有適當(dāng)?shù)谋Ｗo，具體應(yīng)包括數(shù)據(jù)主體的特別信息和獲得人類干預(yù)，表達自己的觀點，并且有權(quán)獲得該評估決定的解釋，并對決定提出質(zhì)疑。GDPR的上述規(guī)則構(gòu)建了以算法可解釋性為中心的規(guī)制體系。

但是，學(xué)者們對GDPR是否規(guī)定了“獲解釋權(quán)”存在著不同意見。布萊斯·古德曼和塞斯·R·弗拉克斯曼認(rèn)為，GDPR序言第71條佐證了GDPR對“獲解釋權(quán)”的創(chuàng)設(shè)，但GDPR序言沒有法律約束力，從解釋論上可從GDPR第13-14條中引申出“獲解釋權(quán)”。桑德拉·沃克特（Sandra Wachter）等則認(rèn)為，特定決策的事前解釋是不可能的，而GDPR正文并未規(guī)定特定決策的事后解釋。從文義上看GDPR第13-15條的規(guī)定僅限于數(shù)據(jù)搜集和處理階段，屬于事前告知而非事后解釋，并且規(guī)定的僅僅是“被告知的權(quán)利（the right to be informed）”而非“獲解釋權(quán)”。“承受自動化決策”階段的“獲解釋權(quán)”只可能從第22條籠統(tǒng)規(guī)定的“保障措施（measures to safeguard）”中引申出來。因此，在GDPR目前的體系語境下，證成“獲解釋權(quán)”是比較困難的，不能從實質(zhì)上解決“算法透明性和可解釋性”問題。

綜合來看，GDPR是否創(chuàng)設(shè)了數(shù)據(jù)主體的“獲解釋權(quán)”在解釋論上存在爭議，但GDPR至少要求算法具有可解釋性，這也是基于GDPR文本進行討論的起點。

（二）算法可解釋性規(guī)則的正當(dāng)性

在GDPR確立的算法可解釋性規(guī)則的正當(dāng)性方面，學(xué)者們也存在著不同看法。有相當(dāng)一部分學(xué)者指出了該規(guī)則的合理性。湯姆·貝克和本尼迪克特·德拉特認(rèn)為公眾不能預(yù)設(shè)智能投顧機器人沒有人類所具有的不純動機，正是因為智能金融算法存在歧視和黑箱現(xiàn)象，所以才需要算法的透明性或解釋性機制。多西·韋萊茲等認(rèn)為算法透明性和可解釋性是解決算法可歸責(zé)性的重要工具。明確算法決策的主體性、因果性或相關(guān)性，是確定和分配算法責(zé)任的前提。

但是，也有人對此表示反對，指出可解釋性規(guī)則存在種種弊端：要求公司人工審查重要的算法決策增加了AI的整體成本、知情權(quán)可能導(dǎo)致降低AI的準(zhǔn)確性。在計算機科學(xué)領(lǐng)域，有學(xué)者提出，讓一個系統(tǒng)更透明或者更少偏見會降低它整體上的準(zhǔn)確性。

（三）算法可解釋性規(guī)則的可行性和有效性

在GDPR確立的算法可解釋性規(guī)則的可行性和有效性方面，也有學(xué)者提出了質(zhì)疑。莉蓮·愛德華茲和邁克爾·韋爾認(rèn)為，GDPR中規(guī)定的“解釋權(quán)”采用了一種高度限制和不清晰的形式，很難真正實現(xiàn)對算法的控制，在現(xiàn)有技術(shù)條件下，主體中心解釋（subject-centric explanations, SCEs）比模型中心解釋路徑（model-centric explanations, MCEs）更有利于數(shù)據(jù)主體尋求救濟。但是，透明性并不必然保證實質(zhì)正義或者有效救濟的實現(xiàn)。他建議人們要警惕新的“透明度謬論”，更重要的是從GDPR以下兩個層次緩解算法控制的危害，即“被遺忘權(quán)和可攜帶權(quán)”以及“隱私設(shè)計和數(shù)據(jù)保護影響評估等”。

保羅·德·拉特指出，一方面，算法的不透明性是固有的，人工智能本身有自主學(xué)習(xí)的過程，后期輸出的結(jié)果可能和設(shè)計者的理念不相符。如果在神經(jīng)網(wǎng)絡(luò)中插入一個中間層，可以通過加權(quán)平均計算來顯示所有結(jié)果的權(quán)重，但沒法解釋所有輸入變量最終的貢獻；另一方面，出于隱私的考慮，將數(shù)據(jù)庫免費提供給大眾，是不明智的。這也會導(dǎo)致相關(guān)方的博弈，導(dǎo)致不效率。出于知識產(chǎn)權(quán)的原因，也應(yīng)該交給權(quán)威的監(jiān)管部門來管理。

桑德拉·沃克特等認(rèn)為，解釋權(quán)規(guī)則存在諸多法律和技術(shù)上障礙：首先，GDPR中不存在具有法律約束力的解釋權(quán)。其次，即使具有法律約束力，該權(quán)利也只適用于有限的情況。第三，解釋復(fù)雜的算法決策系統(tǒng)的功能及其在特定情況下的基本原理在技術(shù)上具有挑戰(zhàn)性。解釋可能僅對數(shù)據(jù)主體提供很少的有意義信息。最后，數(shù)據(jù)控制者有權(quán)不共享算法，以避免泄露商業(yè)機密、侵犯他人的權(quán)利和自由（例如隱私）。他主張應(yīng)當(dāng)超越GDPR的限制，對數(shù)據(jù)控制者施加“無條件反射事實解釋”以作為一種克服當(dāng)下算法解釋和問責(zé)挑戰(zhàn)的一種新型解釋類型。其可以平衡數(shù)據(jù)主體和控制者之間的關(guān)系，保護數(shù)據(jù)主體的信息安全。反射事實解釋不僅避免了對復(fù)雜專業(yè)的算法進行全面地公開，而且可以通過建模計算得出，便于數(shù)據(jù)主體理解自動化決策、對決策進行抗辯以及改變未來的做法來達到預(yù)期目的。

（四）關(guān)于算法透明化與責(zé)任體系的其他構(gòu)想

在GDPR之外，學(xué)者們建議采取各種方式來建立算法透明化與責(zé)任體系，以應(yīng)對“算法黑箱”帶來的問題。杰克·M·巴爾金反駁了“侏儒謬論”，指出算法社會的真正敵人不是算法而是人。他構(gòu)建了一套算法公平治理體系，指出透明度、解釋性、正當(dāng)程序、負(fù)責(zé)任等要求都能從中推演出來。該體系的三大法則是：對于客戶、消費者和終端用戶，算法使用者是信息受托人；對于非客戶、消費者和終端用戶，算法使用者負(fù)有公共責(zé)任。如果算法使用者是政府，公共責(zé)任的界定應(yīng)遵照其作為政府的性質(zhì)；如果算法使用者是私人，則要受公共利益規(guī)則影響；算法使用者的核心公共責(zé)任是避免將他們操作的成本（損害）外部化。對于算法決策損害的最佳類比不是故意歧視，而是社會不公的污染。約書亞·A·克羅爾等指出，通過設(shè)計事前機制和事后機制，算法依然可以對第三人和公眾負(fù)責(zé)。更重要的是要促進計算機科學(xué)家和法律政策制定者之間的跨學(xué)科合作，特別是要減少法律的模糊性，使得計算機科學(xué)家更能夠適應(yīng)外部監(jiān)督機制。

在我國，大部分學(xué)者都看到了“算法黑箱”帶來的歧視、交易地位不平等、救濟缺位等問題，并主張在我國引入GDPR的解釋權(quán)。但也有學(xué)者指出，算法的可解釋性只是一種有益探索，并不是有效手段。例如，林洹民認(rèn)為，算法解釋權(quán)適用范圍有限，我國應(yīng)當(dāng)設(shè)立以數(shù)據(jù)活動顧問為主、數(shù)據(jù)活動監(jiān)管局為輔的二元算法監(jiān)管機制：數(shù)據(jù)活動顧問從企業(yè)內(nèi)部對算法的設(shè)計、使用和評估進行陪同控制；數(shù)據(jù)活動監(jiān)管局則從外部對數(shù)據(jù)活動顧問提供必要的援助和監(jiān)督。沈偉偉認(rèn)為，算法透明原則不具備可行性和必要性，應(yīng)當(dāng)看到這種本質(zhì)主義立場的弊端，建立以實用主義為導(dǎo)向、以算法問責(zé)為代表的事后規(guī)制。

四、盧米斯案對我國算法規(guī)制之啟示

我國是人工智能發(fā)展十分迅速的國家，近年來發(fā)展人工智能不斷寫入國家戰(zhàn)略，頂層設(shè)計要求運用人工智能為司法賦能，建設(shè)智慧法庭。例如，國務(wù)院《新一代人工智能發(fā)展規(guī)劃》（國發(fā)〔2017〕35號）要求“建設(shè)集審判、人員、數(shù)據(jù)應(yīng)用、司法公開和動態(tài)監(jiān)控于一體的智慧法庭數(shù)據(jù)平臺，促進人工智能在證據(jù)收集、案例分析、法律文件閱讀與分析中的應(yīng)用，實現(xiàn)法院審判體系和審判能力智能化”。最高人民法院辦公廳《關(guān)于做好2019年智慧法院建設(shè)工作的通知》（法辦〔2019〕243號）要求各級法院“以智能化為重點，大力推進智審、智執(zhí)、智服、智管，全面加強智慧法院建設(shè)”。最高人民法院《關(guān)于認(rèn)真學(xué)習(xí)貫徹黨的十九屆四中全會精神的通知》（法〔2019〕244號）提出，“要積極推進互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、云計算、區(qū)塊鏈、5G等現(xiàn)代科技在司法領(lǐng)域深度應(yīng)用，努力把智慧法院建設(shè)提升到新水平”。盧米斯案及其引發(fā)的爭議，對于我國智慧法院的建設(shè)具有重要參考意義。我們必須明確，如何避免算法透明度、歧視性、準(zhǔn)確性等風(fēng)險對正當(dāng)程序的侵蝕，如何讓算法揚長避短，真正引領(lǐng)司法實踐的現(xiàn)代化與科技化。

（一）立法：確立場景化的算法透明和責(zé)任規(guī)則

盧米斯案暴露的問題對整個算法社會都具有普適性，必須通過立法建立起一整套規(guī)則體系才能加以系統(tǒng)解決。這是一個立法論的問題，而不是解釋論的問題。在筆者看來，在諸多算法風(fēng)險中，最為關(guān)鍵的仍然是算法透明度問題。只有保證算法的透明度，或者至少是一定程度上的透明度，才能夠使得算法的歧視性、準(zhǔn)確性等問題得以被發(fā)現(xiàn)，也才能使得各利益相關(guān)方得以發(fā)現(xiàn)自己權(quán)益被侵害的事實，并提出相應(yīng)的權(quán)利主張。

目前，大多數(shù)意見都要求法律以某種方式保證算法的透明度。盡管有學(xué)者認(rèn)為算法透明原則作為事前規(guī)制存在種種弊端，但在筆者看來，這并不足以阻礙算法透明原則的重要地位。第一，算法透明原則并不僅僅是一種事前規(guī)制，更是一種全過程的規(guī)制手段。如果算法本身不透明，那么人們將很難發(fā)現(xiàn)算法中蘊藏著的不公平，更難以在維權(quán)時取證，事后規(guī)制的基礎(chǔ)將不復(fù)存在。第二，算法透明原則在具體落實時必然會呈現(xiàn)出光譜式的面貌，既有的研究僅僅根據(jù)國家安全、社會秩序等宏觀價值設(shè)想出機場安檢、導(dǎo)彈試射等極端的場景，這些例子只能提醒我們要在特定場景下設(shè)置例外，并不能夠全面推翻算法透明原則。第三，既有研究指出隱私、商業(yè)秘密等私主體權(quán)利會阻礙算法透明，但法律對私權(quán)利的保護從來都不是絕對的，即使是GDPR這樣重視私權(quán)利保護的法令也規(guī)定了個人數(shù)據(jù)保護的例外條款。第四，算法透明原則所要求的透明性具有多元化特征，透明性未必等于向全社會公開，而可能僅向利益相關(guān)方公開，相比于直接推翻這項原則，不如設(shè)計更加精細的具體規(guī)則。第五，即使算法透明不等于算法可知，但算法不透明必然等于算法不可知。即使算法公開無助于普通大眾的理解，神經(jīng)網(wǎng)絡(luò)等技術(shù)也可能導(dǎo)致程序員無法理解算法內(nèi)涵，但是算法透明至少為理解算法提供了一種可能。并且，伴隨著技術(shù)進步，目前計算機科學(xué)界也正在開發(fā)針對算法可解釋性的算法，這將進一步促進“技術(shù)黑箱”的破解。

因此，算法透明原則依然是我們努力的首要方向，也是立法首先應(yīng)當(dāng)確立的原則。但對于如何落實算法透明原則，目前仍尚未形成統(tǒng)一的有效方案。GDPR對自動化決策工具規(guī)定了廣泛的可解釋性要求，但是籠統(tǒng)的規(guī)定并不能帶來令人滿意的效果。例如，當(dāng)谷歌搜索引擎進行智能廣告推送時，會按照GDPR要求向用戶顯示“您可能會看到廣告的原因”，但披露內(nèi)容仍然相當(dāng)概括。用戶無法從這些簡單的標(biāo)簽中弄清楚為何這些廣告會出現(xiàn)在自己面前，更無從得知影響自動化決策的這些自變量的具體權(quán)重。因而，建立起無差別的算法解釋性和責(zé)任規(guī)則并不可取，更重要的是區(qū)分不同場景，建立合適的算法透明規(guī)則。

建立場景化的算法透明規(guī)則，需要對各種場景下的不同算法進行類型化梳理，這需要十分龐大的調(diào)研工作。因而初期的立法可以只進行原則性規(guī)定，通過賦予法官較大的自由裁量權(quán)發(fā)展實務(wù)經(jīng)驗，嗣后再進行總結(jié)；或者可以確立非要件式的、指引式的立法，即像《反壟斷法》第18條一樣列出所需考慮的因素。具體而言，可能需要考慮如下因素：1.算法應(yīng)用場景所涉及的利益沖突；2.算法應(yīng)當(dāng)在何種范圍內(nèi)披露，是向全體公眾披露，還是向某個特定的審查委員會披露，抑或只向利益相關(guān)方及其委托人披露；3.要求算法開發(fā)者披露的內(nèi)容包括哪些，例如是要求披露盧米斯案法官所要求的書面警示事項即可，還是要求披露算法的源代碼、全部自變量及其權(quán)重、乃至全部訓(xùn)練數(shù)據(jù)集；4.算法的披露可能帶來何種后果，應(yīng)當(dāng)如何預(yù)防不良后果的發(fā)生；5.是否需要設(shè)置相關(guān)機制輔助對前述披露內(nèi)容的解釋工作。

在算法責(zé)任機制方面，也需要更加細致的規(guī)則構(gòu)建。一個常見的討論是算法責(zé)任問題在侵權(quán)法上如何定性。例如，德國學(xué)者格哈德·瓦格納曾經(jīng)運用教義學(xué)方法分析了自助系統(tǒng)應(yīng)當(dāng)適用產(chǎn)品責(zé)任，而不是生產(chǎn)者責(zé)任。筆者認(rèn)為，為了防止侵權(quán)法責(zé)任規(guī)則對技術(shù)發(fā)展的壓制，應(yīng)當(dāng)建立起類似于機動車交通事故責(zé)任強制保險那樣的保險機制，以平衡權(quán)利保護與技術(shù)進步，在此基礎(chǔ)上可以適用或類推適用我國侵權(quán)法上的產(chǎn)品責(zé)任。而在刑事司法程序場合，由于算法產(chǎn)品涉及重要的人權(quán)問題，應(yīng)當(dāng)將算法責(zé)任機制與準(zhǔn)入制度掛鉤，根據(jù)算法表現(xiàn)進行動態(tài)評級，調(diào)整法院的公共服務(wù)購買清單。

（二）司法：明確算法決策的輔助地位

目前，許多法律科技公司都在開發(fā)基于大數(shù)據(jù)的類案推送工具，以幫助法律從業(yè)者更好地從事法律工作。在司法審判領(lǐng)域，面對各類算法決策工具，首先需要明確的是，算法決策工具不能起到對法官的替代作用，只能起到輔助裁判的作用。算法只能扮演輔助裁判角色的原因如下：第一，解釋和運用法條的工作本身蘊含著價值判斷的要求，這個任務(wù)必須由有著同理心的人類法官完成，而不能純粹訴諸技術(shù)理性，否則人的主體性地位可能會受到威脅；第二，盡管算法可以通過訓(xùn)練，識別盡可能多的相關(guān)關(guān)系，從而揭示隱藏在既有判決之下的影響因素，但是由于數(shù)據(jù)質(zhì)量、數(shù)量、算法、算力等方面總存在著局限性，因而未必能夠完全揭示出人類意識中的全部自變量；第三，如前所述，算法本身可能繼承了人類既有的偏見，而這些偏見需要有修正的機會，機器本身無法完成這樣的修正，只有人類法官才有可能在裁判中糾偏；第四，算法所展示出的結(jié)果過于倚重聚類數(shù)據(jù)，因而在輸出的結(jié)果上靈活性較低，交由人類法官作出終局性判斷，既能讓法官發(fā)揮必要的自由裁量權(quán)，也是盧米斯案所肯定的被告享有個性化裁判權(quán)利的體現(xiàn)。

在明確了算法決策的輔助地位之后，我們需要討論算法應(yīng)當(dāng)在何種程度上發(fā)揮輔助作用。盧米斯案給我們的一個啟示是：法官應(yīng)當(dāng)注意到風(fēng)險評估算法只代表對歷史數(shù)據(jù)的分析，而判決要充分考慮到本人在本案中的獨特性。但是，誠如上文提到的批評意見所說，法官并不是專業(yè)的科學(xué)家，即使開發(fā)商或使用者提交了書面風(fēng)險警示，法官們也無從辨別算法在多大程度上是不可靠的。因此，在廣泛地培養(yǎng)起精通技術(shù)的專門法官之前，將識別算法風(fēng)險的責(zé)任全部分配給法官，并不是明智之舉。我們應(yīng)當(dāng)從法院居中裁判的傳統(tǒng)智慧中尋找替代性方案。正如舉證責(zé)任規(guī)則所揭示的那樣，法官的義務(wù)并不在于發(fā)現(xiàn)自然事實，而在于確定法律事實。因此，允許雙方對風(fēng)險評估算法加以舉證質(zhì)證、攻防辯論，再由法院根據(jù)雙方提交的證據(jù)和意見進行裁判，可能是更好的辦法，這也使得像盧米斯這樣的被告的正當(dāng)程序權(quán)利能夠得到保護。

開放法庭辯論的重要前提就是要確保至少辯論雙方能夠掌握重要的信息，因此必須確立這個場景下的算法透明度規(guī)則。對此，我們?nèi)匀豢梢匝赜们拔奶岬降膱鼍盎姆治隹蚣埽?/p>

1.利益沖突。如同盧米斯案所揭示的那樣，最為顯著的利益沖突就是被告人的正當(dāng)程序權(quán)利與開發(fā)商的商業(yè)秘密權(quán)利之間的沖突。在這個場景中，算法評估工具實際上扮演的是類似于法官的角色，屬于國家機器一方，因而對于算法背后商業(yè)秘密的保護，應(yīng)當(dāng)遵循打擊犯罪和保障人權(quán)的平衡框架。原則上應(yīng)當(dāng)認(rèn)為，對開發(fā)商商業(yè)秘密的保護要以保護被告人的正當(dāng)程序權(quán)利為界限。

2.披露對象。首先需要回應(yīng)的問題是有些學(xué)者提出的只能使用開源算法的方案，因為如果使用開源算法，就無需討論披露范圍的問題。對此，筆者認(rèn)為，不同于技術(shù)成熟階段，在技術(shù)起步階段強求算法開源是不切實際的。只有在自由競爭的市場環(huán)境下，才能夠催生出更加成熟的技術(shù)。而算法的專有屬性會為算法開發(fā)商帶來商業(yè)利益，這會促進其參與市場競爭。因此，現(xiàn)階段不應(yīng)當(dāng)要求算法開源，也不應(yīng)當(dāng)將其披露給全體公眾，而是應(yīng)當(dāng)只向特定利益相關(guān)方進行披露。

那么，哪些人構(gòu)成利益相關(guān)方呢？如果按照前述理解，算法代表追訴犯罪的國家機器，因而風(fēng)險評估算法實際上接近于《刑事訴訟法》規(guī)定的“案卷材料”的地位。根據(jù)《刑事訴訟法》第40條的規(guī)定，辯護律師享有閱卷權(quán)。因而，辯護律師應(yīng)當(dāng)屬于披露對象范圍。盡管《刑事訴訟法》尚未明確規(guī)定犯罪嫌疑人、被告人的閱卷權(quán)，但是學(xué)界一直在呼吁法律規(guī)定此項權(quán)利。從算法的特性來看，不同于其他案卷材料，算法不會引發(fā)犯罪嫌疑人、被告人翻供等風(fēng)險，而對犯罪嫌疑人、被告人披露此項信息，是其行使自辯權(quán)的基礎(chǔ)。那么，公訴人是否屬于披露對象？筆者認(rèn)為應(yīng)該作出肯定的回答。首先，如果在國內(nèi)推行類似于COMPAS的算法，其提交法院的方式應(yīng)當(dāng)是類似于今日檢察院遞交的量刑建議書，公訴人作為將算法帶入刑事審判程序中的一方，應(yīng)當(dāng)同時將使用算法的風(fēng)險信息以及判斷此項風(fēng)險的必要信息同步帶入到法庭之中。其次，如果公訴人不享有獲取相關(guān)信息的權(quán)利，就無法在庭審中完成我們所預(yù)期的攻防對抗過程，無法將算法的風(fēng)險更完整地展露出來。最后，基于公訴人的強勢地位，要求開發(fā)商僅向犯罪嫌疑人、被告人及其辯護律師一方披露，是不現(xiàn)實的。由于法官處于居中裁判地位，需要審查雙方就算法風(fēng)險提交的證據(jù)和意見，因而也必然屬于披露的對象。正如前面許多文獻所指出的，算法披露未必導(dǎo)致算法能被理解，因而法庭可能需要新的角色來擔(dān)任技術(shù)方面的“翻譯”?！缎淌略V訟法》第197條第2款規(guī)定的“有專門知識的人”可能會勝任這一角色。因而，公訴人、當(dāng)事人和辯護人、訴訟代理人如果提出申請，有專門知識的人也當(dāng)然應(yīng)當(dāng)成為披露對象。綜上所述，披露對象應(yīng)當(dāng)包括犯罪嫌疑人、被告人及其辯護律師、公訴人、法官以及有專門知識的人。

3.披露內(nèi)容。需要說明的是，要想幫助法庭提高識別算法風(fēng)險的能力，僅僅披露盧米斯案要求的書面警示事項是不夠的，因為這更類似于格式條款中的免責(zé)性文字，而無助于量化算法的可靠性。因而，必須盡可能多地披露算法背后的細節(jié)。最基本的要求是披露全部自變量及其權(quán)重，因為從中可以直接分析出有無歧視性的因素以及不成比例的因素。當(dāng)被告人及其辯護律師對所披露的這些內(nèi)容產(chǎn)生合理懷疑時，則有權(quán)要求披露算法的源代碼乃至訓(xùn)練數(shù)據(jù)集，以便委托有專門知識的人介入核實。

4.披露風(fēng)險及預(yù)防。要求算法披露最核心的一個風(fēng)險就是對商業(yè)秘密的侵蝕。對此，《刑事訴訟法》第54條、第152條、第188條也提供了參照，即對于涉及商業(yè)秘密的證據(jù)應(yīng)當(dāng)保密，對于涉及商業(yè)秘密的案件，當(dāng)事人申請不公開審理的，可以不公開審理。既然算法背后的主要法益仍然是商業(yè)秘密，那么完全可以參照前述法條構(gòu)建規(guī)則，盡可能阻斷商業(yè)秘密的擴散。具體而言，一方面，應(yīng)當(dāng)要求披露對象負(fù)有保密義務(wù)，可以在庭審前要求他們簽訂保密責(zé)任書；另一方面，對于涉及算法商業(yè)秘密的案件，算法開發(fā)商有權(quán)要求不公開審理，或者要求涉及算法商業(yè)秘密的庭審不公開。至于違反保密義務(wù)的行為，則可以依照《侵權(quán)責(zé)任法》《反不正當(dāng)競爭法》的框架進行處理。

5.配套機制。為了促進針對算法辯論的有效性，可能的配套機制是培養(yǎng)起針對算法風(fēng)險分析的專門鑒定機構(gòu)。此外，由于我們明確了算法的輔助裁判地位，我們應(yīng)當(dāng)在允許算法輔助裁判的同時，及時對算法風(fēng)險評估技術(shù)的科學(xué)成果加以推廣。如果算法評估產(chǎn)生了穩(wěn)定的、非歧視性的、經(jīng)嚴(yán)格論證后被認(rèn)為合理的相關(guān)性結(jié)論，可以適時將其提升為司法解釋中的法定量刑因素，以便在使用算法的案件和未使用算法的案件中獲得較為統(tǒng)一的裁判結(jié)果，維護刑法的穩(wěn)定性和權(quán)威性。

（三）行業(yè)標(biāo)準(zhǔn)：構(gòu)建倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)

針對盧米斯案的分析揭示了算法可能繼承和擴大的道德風(fēng)險，也顯示出開發(fā)商可能會出于商業(yè)考慮或技術(shù)不完備而引發(fā)系統(tǒng)性的歧視與誤判。對此，算法開發(fā)商內(nèi)部應(yīng)當(dāng)增強行業(yè)自律，并及時總結(jié)經(jīng)驗，制定相關(guān)的倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)。

人工智能的發(fā)展面臨著多元利益的權(quán)衡，因而需要制定行業(yè)共同遵循的倫理框架。例如，歐盟發(fā)布了“可信賴AI的道德準(zhǔn)則”，其中規(guī)定了七項治理原則：1.人工代理和監(jiān)督；2.技術(shù)的魯棒性和安全性；3.隱私和數(shù)據(jù)治理；4.透明度；5.多樣性、非歧視和公平性；6.環(huán)境和社會福祉；7.可問責(zé)性。盡管如何確定算法公平的內(nèi)涵仍然是一個難題，但是這不應(yīng)當(dāng)阻礙行業(yè)自律的有益嘗試。算法公正的共識可能正需要在行業(yè)內(nèi)部討論中才能達成。同時，誠如學(xué)者所說，算法暴政的根源不在于算法，而在于開發(fā)和使用算法的人。制定倫理標(biāo)準(zhǔn)可以完成對開發(fā)者的道德培訓(xùn)，使得技術(shù)人員在開發(fā)算法時可以增強警惕道德風(fēng)險的意識，從而減少算法中的歧視和偏見。

如果說倫理標(biāo)準(zhǔn)是一項較為宏觀的展望，那么技術(shù)標(biāo)準(zhǔn)則更具可操作性。技術(shù)標(biāo)準(zhǔn)不僅旨在控制質(zhì)量的穩(wěn)定性，也是對道德風(fēng)險的系統(tǒng)性預(yù)防。筆者建議，應(yīng)當(dāng)根據(jù)算法操作的全過程設(shè)置各項技術(shù)標(biāo)準(zhǔn)。

1.在數(shù)據(jù)輸入階段，應(yīng)當(dāng)保證數(shù)據(jù)的質(zhì)量，避免“垃圾進，垃圾出”的現(xiàn)象，要規(guī)范個人信息特別是個人敏感信息的使用，注重數(shù)據(jù)的精確性，也要注重各類人群數(shù)據(jù)量上的均衡，在進行數(shù)據(jù)標(biāo)注時要準(zhǔn)確分類。

2.在數(shù)據(jù)分析階段，應(yīng)當(dāng)保證算法的中立性和準(zhǔn)確性，通過設(shè)置嚴(yán)格的技術(shù)標(biāo)準(zhǔn)多角度地檢測算法中可能存在的歧視性風(fēng)險，避免在分類中遺漏重要的相關(guān)變量。

3.在數(shù)據(jù)輸出階段，應(yīng)當(dāng)根據(jù)技術(shù)發(fā)展水平，盡可能在輸出結(jié)果的同時，同步輸出各項自變量及其權(quán)重，乃至對關(guān)鍵算法的解釋，以便算法使用者更好地判斷該算法的風(fēng)險。

結(jié)語

盧米斯案是人工智能規(guī)制過程中一個頗值得關(guān)注的案件，它涉及算法風(fēng)險與正當(dāng)程序規(guī)則之間的平衡。盡管法院在判決中駁回了被告的主張，但該案涉及的問題引發(fā)了更為深遠的討論。學(xué)者認(rèn)為，盧米斯案判決低估了COMPAS算法的準(zhǔn)確性、歧視性和透明度風(fēng)險，判決中的建議也因為忽略了法官識別算法風(fēng)險的能力和意愿而不具備可操作性。在盧米斯案之外，由于算法在社會生活中越來越普遍地存在，算法暴政的風(fēng)險也變得無處不在。為了應(yīng)對算法權(quán)力異化問題，歐盟在GDPR中設(shè)計了算法可解釋性規(guī)則。但是，該規(guī)則在文本上存在著解釋論爭議，學(xué)者們對這項規(guī)則的正當(dāng)性也有著不同看法。從實踐效果來看，可解釋性規(guī)則在可行性和有效性方面也存在著弊端。在探索構(gòu)建算法透明化與責(zé)任體系方面，學(xué)界存在著各種各樣的聲音，但尚未達成一致方案。但總的來說，算法透明原則仍然是最大的共識，也有著較為有力的論證支撐。

盧米斯案及其引發(fā)的爭議啟示我們，在面對算法風(fēng)險時，應(yīng)當(dāng)采取立法、司法與行業(yè)自律多元化規(guī)制的策略。在立法方面，我們應(yīng)當(dāng)對算法透明原則進行細化，制定場景化的算法透明和責(zé)任規(guī)則。在司法方面，我們應(yīng)當(dāng)明確算法決策僅具有輔助性地位，不能替代人類法官進行判案，我們還要認(rèn)識到算法的商業(yè)秘密利益應(yīng)當(dāng)以被告人的正當(dāng)程序權(quán)利為邊界，利用現(xiàn)有的刑事訴訟法資源，設(shè)計出更為精細的算法透明制度，使得圍繞算法風(fēng)險的法庭辯論得以展開，從而盡最大努力消解算法風(fēng)險帶來的損失。在行業(yè)自律方面，我們要鼓勵算法開發(fā)者協(xié)商制定出倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)，以促進算法正義。