在出行平臺上預(yù)訂酒店，發(fā)現(xiàn)會員等級越高價格越貴;在外賣平臺上點(diǎn)餐，開通會員之后配送費(fèi)就漲了幾塊錢;用蘋果和安卓手機(jī)叫網(wǎng)約車，時間和起止點(diǎn)都一樣，價格卻相差了不少;去售樓處看房不知不覺中被人臉識別，接著被劃成某一類型的客戶得到“定制化”的待遇;在電商網(wǎng)站上買了會員，看到的價格就比非會員貴了不少，甚至它還會預(yù)測你下一次購買同類商品的時間，到了時間就漲價……

近幾年來，類似上面的報道屢見不鮮。這種商家通過大數(shù)據(jù)建立用戶畫像，為同樣的產(chǎn)品制定差異化的價格從而使商家利益最大化的行為，被人們稱為“大數(shù)據(jù)殺熟”。然而，由于消費(fèi)者和企業(yè)之間的信息不對稱，加上法律并沒有要求企業(yè)公開相關(guān)算法，因此這樣的指控往往很容易被搪塞。大部分時候，我們只能基于合理的懷疑對它們作一些道義上的批評。

其實(shí)，人們對“大數(shù)據(jù)殺熟”的擔(dān)憂，并不只是多花了一點(diǎn)錢那么簡單。而是面對可能的“數(shù)據(jù)霸權(quán)”和“算法統(tǒng)治”的來臨，人們深懷恐懼感和無力感?！秱€人信息保護(hù)法》(以下簡稱“該法”)的出臺，讓我們看到了把技術(shù)的“利維坦”(一種傳說中的怪獸)關(guān)進(jìn)籠子里的曙光。

“自動化決策”

首先，該法對這類行為下了一個定義，即，“是指通過計(jì)算機(jī)程序自動分析、評估個人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等，并進(jìn)行決策的活動”。

第二，該法賦予了個人以知情權(quán)，“個人信息處理者利用個人信息進(jìn)行自動化決策，應(yīng)當(dāng)保證決策的透明度和結(jié)果公平、公正，不得對個人在交易價格等交易條件上實(shí)行不合理的差別待遇”。

第三，該法賦予了個人以選擇權(quán)，“通過自動化決策方式向個人進(jìn)行信息推送、商業(yè)營銷，應(yīng)當(dāng)同時提供不針對其個人特征的選項(xiàng)，或者向個人提供便捷的拒絕方式”，“通過自動化決策方式作出對個人權(quán)益有重大影響的決定，個人有權(quán)要求個人信息處理者予以說明，并有權(quán)拒絕個人信息處理者僅通過自動化決策的方式作出決定”。

《自動不平等：高科技如何鎖定、管制和懲罰窮人》，弗吉尼亞·尤班克斯 著，李明倩 譯，商務(wù)印書館2021版

該法的出臺，在對“自動化決策”的規(guī)范上邁出了重要一步，也還有不少細(xì)節(jié)可以進(jìn)一步討論。在這里，我想援引美國學(xué)者弗吉尼亞·尤班克斯的著作《自動不平等：高科技如何鎖定、管制和懲罰窮人》中的例子來加以說明。

《自動不平等：高科技如何鎖定、管制和懲罰窮人》，弗吉尼亞·尤班克斯 著，李明倩 譯，商務(wù)印書館2021版

首先，該法把規(guī)范的對象局限于完全的自動化決策，而很多決策行為表面上是技術(shù)輔助下的人工決策，但由于決策者對機(jī)器的信任以及缺乏時間、精力或意愿，名義上的輔助決策可能實(shí)際上仍是自動化決策，個人的選擇權(quán)可能成為空談。

尤班克斯舉例說，一個地方政府引進(jìn)了根據(jù)家長行為數(shù)據(jù)來預(yù)測兒童受虐風(fēng)險的系統(tǒng)。盡管該系統(tǒng)聲明“無意作出決定”，但它的打分還是會對調(diào)查員的決策產(chǎn)生重大影響。“我們都傾向于服從機(jī)器，因?yàn)闄C(jī)器看起來更中立、更客觀”，于是調(diào)查員會認(rèn)為自己遺漏了某些信息，進(jìn)而去尋找相關(guān)的證據(jù)以使自己的調(diào)查結(jié)論與機(jī)器的打分相匹配。

其次，該法規(guī)定了自動化決策活動應(yīng)當(dāng)具有透明度，但并未明確透明度應(yīng)當(dāng)達(dá)到的具體程度。

可以理解，出于知識產(chǎn)權(quán)和商業(yè)秘密的考量，我們很難要求決策者公開全部算法，但是該法對“個人信息處理者予以說明”的要求有點(diǎn)簡單，可能讓“說明”變成“托詞”，就像一家外賣平臺所解釋的，配送費(fèi)漲價只是因?yàn)槎ㄎ徽`差。

尤班克斯分析了一個州政府引入福利資格自動化處理系統(tǒng)的案例，該系統(tǒng)會對未能通過審批的申請者給一個極其簡短和官僚化的說明，例如“未能配合福利資格確認(rèn)程序”“未能配合核實(shí)收入”，而申請者要在很短的申訴期限內(nèi)找到問題并且修正它極為困難，“很多申請者化身為堅(jiān)持不懈的偵探，在數(shù)十頁的復(fù)雜申請流程之中尋找是否有任何錯誤之處”。

第三，該法將個人知情權(quán)和選擇權(quán)的行使條件，局限于“對個人權(quán)益有重大影響的決定”。

然而，自動化不平等并非在一夜之間突然發(fā)生的，它是一個量變引起質(zhì)變的過程并且具有隱蔽性，當(dāng)人們發(fā)現(xiàn)“重大影響”發(fā)生之時往往為時已晚。

還是以那個預(yù)測兒童受虐風(fēng)險的系統(tǒng)為例，該系統(tǒng)聲稱在孩子出生之時甚至出生之前，就能預(yù)測到他們是否會受到虐待。對家長行為的132個變量的記錄和分析，早在孩子出生之前就開始了。而直到警察突然出現(xiàn)在自家門口的那一天，家長才知道自己早已被鎖定。而當(dāng)家長被帶走、孩子被送到福利院之后，系統(tǒng)又認(rèn)為自己作出了一個成功的預(yù)測，從而進(jìn)一步加強(qiáng)帶有歧視性的算法。

最后，該法對信息推送和商業(yè)營銷領(lǐng)域的自動化決策作了專門規(guī)范，我們對“大數(shù)據(jù)殺熟”和“自動化決策”的討論也大多局限在商業(yè)領(lǐng)域。

而尤班克斯書中所舉的自動化不平等案例都來自公共服務(wù)領(lǐng)域，但被“殺熟”帶來的金錢上的損失跟一個人在政治和社會上遭受的不平等相比可以說是微不足道的。本質(zhì)上而言，自動化不平等損害了社會的包容性，扭曲了公平正義的價值觀，最終傷害的是我們所有人。

自動化不平等的風(fēng)險，已經(jīng)離我們越來越近。面對海量的求職者，亞馬遜曾經(jīng)用AI來篩選簡歷并自動打分，這一系統(tǒng)對所有包含“女性”一詞的簡歷打了低分，例如“女性國際象棋俱樂部”以及“女子學(xué)院”，所幸這一系統(tǒng)已經(jīng)被停用。學(xué)者還發(fā)現(xiàn)，AI更傾向于給與廚房有關(guān)的照片貼上“女人”的標(biāo)簽，例如一張男人在爐子旁的照片就被標(biāo)記為了“女人”。如果這樣的不平等得不到糾正，將來也許一個家務(wù)機(jī)器人看到男人在廚房時會送上啤酒，而看到女人在廚房時會送上洗滌劑。

對抗自動化不平等的風(fēng)險，不僅需要技術(shù)層面的實(shí)踐，更需要制度層面的約束。在這方面，全球已有不少政府、企業(yè)和社會組織開始行動。截至2019年，全球已有八十多份人工智能倫理準(zhǔn)則發(fā)布，透明、公正和公平、非惡意、責(zé)任和隱私是提到最多的關(guān)鍵詞。在上述原則的指引下，實(shí)踐界和學(xué)術(shù)界還需要進(jìn)一步深入探索。

“我看過沙漠下暴雨，看過大海親吻鯊魚，看過黃昏追逐黎明，沒看過你”(陳粒)。如果有一天，當(dāng)算法統(tǒng)治了沙漠、大海和黃昏，希望我們至少能把“看過你”這件事留給自己。

(作者王翔為復(fù)旦大學(xué)數(shù)字與移動治理實(shí)驗(yàn)室研究員、主任助理，主要研究方向?yàn)閿?shù)字時代的公共治理、公共部門人力資源管理。)