算法歧視的兩副面孔及其法律規制

李志穎

在信息時代混沌初開之際,“算法歧視”作為一個算法領域的主要問題被提出,為國際組織和各國學者所承認和關注,并被討論至今。算法歧視系指在大數據、人工智能和自動化決策等技術語境下,機器所做出的決策對個體或群體產生不合理的區別對待。算法歧視現象廣泛存在且各式各樣,既有在雇傭、教育、醫療健康、量刑和警力分配等場景對弱勢群體的人格歧視,也有遍布日常生活的信用評分、個性化定價和推薦等經濟型區別對待。法律如何規制算法歧視順勢成為研究熱點。法律規制的目的除了填補實際損害外,還在于削弱潛在風險,為此規制覆蓋算法決策的設計、應用等全過程。

然而,我國既有的對算法歧視的法律研究或是忽略算法歧視現象的多樣性,或是忽略不同算法歧視現象的內在關聯,使得算法歧視的法律規制存在弊端。既有研究的規制策略主要分為兩類: 一是“一把抓”式地規制算法歧視。(1)參見崔靖梓: 《算法歧視挑戰下平等權保護的危機與應對》,載《法律科學》2019年第3期;張莉莉、朱子升: 《算法歧視的法律規制: 動因、路徑和制度完善》,載《科技與法律》2021年第2期。這類研究即便對算法歧視的分類有所涉及,也仍是籠統地提出算法影響評估、算法透明、算法解釋、算法正當程序等規制方案,不加區分地適用于所有算法歧視現象。這類成果往往屬于早期研究,為算法歧視的法律研究開疆拓土。二是淪為“具體情況具體分析”的對策性規制。(2)譬如,專門研究傳統人格權意義的算法歧視,參見李成: 《人工智能歧視的法律治理》,載《中國法學》2021年第2期;專門研究女性就業的算法歧視,參見閻天: 《女性就業中的算法歧視: 緣起、挑戰與應對》,載《婦女研究論叢》2021年第5期;專門研究大數據殺熟的,參見王潺: 《“大數據殺熟”該如何規制?——以新制度經濟學和博弈論為視角的分析》,載《暨南學報(哲學社會科學版)》2021年第6期。隨著數字法學的精細化研究,許多學者轉向特定現象的算法歧視,雖然一定程度上擺脫了早期研究的泛化和籠統,但卻使得算法歧視的法律規制成為對策性的而非規范性的,漠視了不同算法歧視之間的內在關聯。

這將導致現行算法歧視法律治理存在兩個弊端,即算法歧視規制范圍過寬和算法歧視規制工具的凌亂。該問題的解答應當追溯至歧視概念本身,在此基礎上本文區分了算法歧視的兩副面孔,分別是“算法偏見”和“算法不平等”。根據對應不同的規制原理,具體回答規制的方案、時機和規制程度,有助于整體性地處理算法歧視問題。

一、 現行算法歧視法律治理的兩個弊端

對于算法歧視,現行法律治理存在兩個弊端: 一是治理對象的泛化,即算法歧視規制范圍過寬;二是治理手段的碎片化,即算法歧視規制工具的凌亂。

(一) 治理對象的泛化: 算法歧視規制范圍過寬

由于概念的模糊,歧視往往與平等、公平和正義相關聯,導致規制者對算法歧視作泛化對待。(3)參見寧園: 《算法歧視的認定標準》,載《武漢大學學報(哲學社會科學版)》2022年第6期,第154—155頁。具體表現如下: 一是算法決策只要存在區別對待就被視作算法歧視。這種做法無異于以正義之名實施過度干預,比方說,“大數據殺熟”不論合理與否一律被貼上算法歧視的標簽;二是把一切的數字不公視作算法歧視,此時算法歧視已不局限于算法決策所產生的不合理區別對待,還包括基于算法權力產生的數字鴻溝、數據壟斷、平臺異化、數據繭房等數字不平等。(4)參見張吉豫: 《數字法理的基礎概念與命題》,載《法制與社會發展》2022年第5期,第52頁。規制者應當根據算法性質、處理對象、場景的不同適用相對應的規制原理和工具,不合理地擴大規制范圍將會導致規制原理和工具的錯亂。以算法風控系統名譽侵權案為例,原告通過涉案軟件與他人聊天時因頻繁出現“私募”“基金”等內容,致使其賬號被判定為高風險并封禁。(5)參見《2022年度中國十大傳媒法事例簡介及入選理由》,載中國法院網2023年1月7日,https://www.chinacourt.org/article/detail/2023/01/id/7091844.shtml。有學者將其置于算法歧視的討論當中,(6)參見袁文全: 《算法歧視的侵權責任治理》,載《蘭州大學學報(社會科學版)》2023年第2期,第95—96頁。本文認為這種處理方法泛化了算法歧視的規制范圍,導致不合適的規制工具被納入算法歧視的法律規制之中。

算法歧視是一項具體的風險,治理算法歧視只是實現算法公平的其中一環。為此,應當圍繞算法歧視建立具體制度,明確其規制范圍而非作泛化處理。美國白宮科技政策辦公室發布的《人工智能權利法案》所主張的“算法歧視保護”原則(Algorithmic Discrimination Protections)便拋棄了泛化處理,只保護基于種族、膚色、民族、性別、宗教等法定特征的不合理區別對待和影響。(7)See Blueprint for an AI Bill of Rights: Making Automated Systems Work for the American People, the White House, October, 2022, p.10.我國也應當結合本土實際情況,明確算法歧視的規制范圍。

(二) 治理手段的碎片化: 算法歧視規制工具的凌亂

為了治理算法歧視,除了司法救濟作為兜底工具之外,還有算法影響評估、算法解釋、算法正當程序、反對自動化決策等規制工具被提出?，F行算法治理規范幾乎沒有專門針對算法歧視的法律條款,在《互聯網信息服務算法推薦管理規定》草案的用戶標簽條款和《個人信息保護法》二審稿的敏感個人信息條款中一度存有針對“歧視”的規定,但最終在現行法中被剔除。為此,算法歧視的治理只能依附于相關算法治理法律規范的既有制度,典型如算法解釋、算法影響評估和主張各類信息權利等。同樣地,部分學者提出的治理方案,不論是治理何種類型的算法歧視,仍然是對這些規制工具的反復重申。(8)參見石穎: 《算法歧視的緣起、挑戰與法律應對》,載《甘肅政法大學學報》2022年第3期,第64—68頁。這些規制工具儼然已成為信息時代的“大道理”和“萬靈藥”。即便如此,我們也不禁要問,面對廣泛存在且各式各樣的算法歧視,這些規制工具是否每一項都卓有成效,以及是否每一項都要適用,還是有針對性地適用?適用的程度是否一致?如果根據算法歧視的不同類型適用不同方案的規制,那么規制的背后是否存在體系性的思考?現有規制往往是籠統地討論算法歧視或以具體問題具體分析的方式為特定算法歧視給出對策,難以有效回答上述問題,致使算法歧視治理手段碎片化。

治理手段的碎片化將導致算法歧視風險分配的不合理,并給算法設計者和算法應用者帶來沉重的負擔。一是徒勞浪費算法設計者和算法應用者的規制精力。上述“大道理”規制工具并非放之四海而皆準,有的規制工具在特定領域收效甚微。算法解釋便是如此,只適合治理特定領域的算法歧視,下文將詳細說明。二是付出高昂的合規成本。不同的規制工具不僅在削減算法歧視的能力上不同,在規制成本上亦有所差異。以算法影響評估為例,該方案往往被視作有力的規制工具,并以《個人信息保護法》第56條為其背書。然而,該方案的成本相當高昂,根據調查研究,每一個算法應用的年度評估費用可高達29277歐元。(9)See Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, European Commission, 2021, p.134.這些合規成本必然會使中小型企業承擔不可承受之重。為此,算法影響評估應當置于恰當的領域,如歐盟《一般數據保護條例》、美國《算法問責法案》的算法影響評估主要聚焦于公共決策和高風險領域。三是犧牲算法的應有價值。算法歧視的規制成本必然轉移至算法設計者和算法應用者,過重的規制成本將嚴重降低算法的效率。除此之外,削減算法歧視與實現算法精準性往往處于此消彼長的平衡關系。(10)See Pak-Hang Wong, Democratizing Algorithmic Fairness, 33 Philosophy &Technology 225, 229 (2020).為此,不恰當的治理手段往往以效率、計算精準性為代價,不但可能使得算法失去其應有價值,同時可能大大抑制科技創新。

二、 弊端的消除: 厘清算法歧視的兩副面孔

導致上述治理弊端的主要原因在于規制者沒有清晰認知歧視,不知何為歧視,何以討論算法歧視及其法律規制。在治理對象上,歧視概念本身模糊不清,致使算法歧視規制范圍泛化;在治理手段上,上述規制工具與歧視概念本身是脫節的,僅僅是把“算法的法律規制”議題中老生常談的方案挪至算法歧視法律規制之中。同時,不加區分地規制算法歧視也反映了不同類型的歧視被混為一談。為此,算法歧視的探討應當首先追溯至歧視概念本身,通過區分歧視的法律維度和道德維度,以厘清算法歧視的兩副面孔,本文將這兩副面孔稱為“算法偏見”和“算法不平等”。只有在明確治理對象之后,才能根據相應的規制原理采取恰當的治理手段。

(一) 辨析與區分: 法律維度的歧視與道德維度的歧視

“歧視”是一個容易被誤用的語義詞匯,在語義表達上存在道德維度與法律維度的區分。(11)參見李志穎: 《論歧視的法律定義——基于社會行為視角的分析》,載《法制與社會發展》2023年第1期,第129—130頁。另外,還存在類似的觀點,即通過是否以法律專業人的視角來審視歧視,區分了法律層面的歧視(discrimination in law)和樸素層面的歧視(discrimination in lay)。See Tarunabh Khaitan, A Theory of Discrimination Law, Oxford University Press, 2015, p.1-4.道德哲學家往往把“歧視”定義為“不合理區別對待”,基于任何特征的不合理區別對待都會被視作歧視。(12)See Kasper Lippert-Rasmussen, Born Free and Equal? A Philosophical Inquiry into the Nature of Discrimination, Oxford University Press, 2014, p.15; Benjamin Eidelson, Discrimination and Disrespect, Oxford University Press, 2015, p.17.道德維度的歧視在理解上趨近于不平等,該理解也常為日常生活所用,這也是為什么歧視與不平等往往并列使用。但是,在法律維度里,歧視是一個具體的法律概念,只是法律不平等的子集之一?！捌缫暋钡姆赏ㄐ卸x為基于種族、性別、年齡、信仰、殘疾等特征做出的區別、排斥、優惠或限制。通過上述兩個定義的比較可以發現,道德維度的歧視與法律維度的歧視是不盡相同的。然而,我們仍然難以區分這兩個維度,主要原因在于“歧視”的語義表達往往在不同法律場景中被混淆使用,造就關于歧視的“語義學之刺”。

圖1 “歧視”的語義表達及其法律調整

“歧視”的語義表達及其法律調整具體如圖1所示。在日常生活中,我們所談的“歧視”在語義表達上屬于道德維度的歧視,僅僅強調不合理的區別對待。不合理的區別對待理所當然為道德所唾棄,但并非必然受到法律約束,只有部分不合理的區別對待由法律調整。當法律要調整不合理區別對待的時候,往往是通過領域法的方式展開,以“特殊—一般”的關系列舉如下: 通過反歧視法來調整,對應法律詞典和國際條約關于歧視的理解,在語義上對應的是法律維度的歧視。反歧視法是為了確保個體擺脫歷史偏見的約束而順利融入社會,使得個體能夠“正?！钡厣钤谏鐣斨?。(13)見前注〔11〕,李志穎文,第129—130頁?；谄渲匾?反歧視法作為歧視現象的特別領域法而被單獨列出。除此之外,還有各式各樣的不合理區別對待通過其他領域法來調整,如競爭法上的歧視、價格法上的歧視等等。但對于這些歧視,人們在語義表達上仍是采取道德維度的歧視,籠統地套上不平等的高帽。綜上,人們日常慣用的“歧視”語義表達存在不理性的情況,或把所有歧視問題置于法律范疇來談,或把不同領域的歧視問題混為一談,或“歧視”語義表達與落腳領域不一致。本文的首要工作是揭示被不理性表達所掩蓋的應然秩序。

對于算法歧視,“歧視”一詞正是在“作為特定的法律不平等之一”(在語義上采用法律維度的歧視)和“寬泛意義的不平等”(在語義上采用道德維度的歧視)之中被混淆使用。區分法律維度與道德維度的歧視,“算法歧視”一詞呈現兩副面孔,即“算法偏見”和“算法不平等”。

(二) 對應法律維度歧視的“算法偏見”

算法歧視的第一副面孔為“算法偏見”,在語義表達上對應法律維度的歧視,在關系圖上落腳在c1,它所討論的是歷史偏見在算法場景的運用。正如《中國關于加強人工智能倫理治理的立場文件》指出,人工智能技術的誤用濫用將會加劇“歧視和偏見”?！八惴ㄆ姟钡牡湫蛨鼍叭? 在盧米斯案(Statev.Loomis),法官運用COMPAS算法軟件進行刑事量刑,COMPAS以性別和種族作為評價指標的量刑預測引發了算法歧視的法律熱議;亞馬遜公司所使用的HireVue招聘算法存在性別歧視,如果求職者畢業于女?；蚝啔v帶有女性字樣,將會受到算法的負面評價。仔細品讀這些典型場景,算法歧視可能潛藏于數據的收集、篩選和訓練當中,也可能出現在算法的設計和運行過程當中,但深層原因在于歷史偏見在民生與公共服務等重要領域作祟。歷史偏見有兩個特征: 一是從個體角度而言,歷史偏見是個人無意識的社會認知。內群起初對外群的惡意揣度和偏見將隨著歷史的潛移默化成為社會認知的前理解。二是從社會角度而言,歷史偏見演化為社會結構性不平等。歷史偏見影響不同人群間的分配格局,調整資源配置以及重塑社會權力結構,以獨立的運作方式成為社會結構的一部分。(14)見前注〔2〕,李成文,第130頁。正是歷史偏見的顯著與根深蒂固,個體或群體受制于性別、年齡、種族等“第一印象”而無法融入與民生事項和公共服務等相關的重要社會交往,如教育選擇、工作就業、社會福利、政治參與等。歷史偏見作為本源,借由大數據和人工智能等科技載體的粉飾而搖身一變,形成“算法偏見”。即便如此,“算法偏見”看似新穎,其討論邏輯仍置于法律維度的歧視,即反歧視法框架之內。

(三) 對應道德維度歧視的“算法不平等”

算法歧視的第二副面孔為“算法不平等”,在語義表達上對應道德維度的歧視,但這一日常語義表達往往是不嚴謹的,在關系圖上實際落腳在c2,它所討論的是算法場景中的資源分配?！八惴ㄆ缫暋迸c“算法不平等”兩個概念經常被并列使用: 2018年5月多個國際組織聯合發表關于智能算法規制的《多倫多宣言: 機器學習系統中平等和非歧視權利的保護》,該宣言標題的用詞為“平等和非歧視”;2019年4月歐盟發表《可信賴人工智能的道德準則》明確了七個核心要素,其中之一為“多元化,非歧視和公平”(15)High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI, European Commission, 8 April, 2019, p.18-19.。這時候,算法歧視在語義上采用的是道德維度而非法律維度的歧視,展現為“算法不平等”,其所討論的內容不局限于歷史偏見,而是結合資源分配來討論更為宏大的公平議題。下述這些議題與“算法不平等”現象緊密結合: 數據能力的不平等議題,或稱作“數字鴻溝”。(16)參見陳林林、嚴書元: 《論個人信息保護立法中的平等原則》,載《華東政法大學學報》2021年第5期,第10—11頁。除此之外,還有分配正義的議題,(17)參見高富平: 《個人信息使用的合法性基礎——數據上利益分析視角》,載《比較法研究》2019年第2期;程金華: 《利益平衡:“三位一體”的個人信息保護法律治理架構》,載《探索與爭鳴》2020年第11期。充當“立法者”的算法能否做到同等情況同等對待、不同情況差別對待,背后所涉及的則是“機會平等”“利益平衡”,這些詞匯在算法歧視的討論中頻頻出現?，F階段,“算法不平等”現象主要集中在商業領域的自動化決策,如“大數據殺熟”下用戶黏度更高的人群需要支付更貴的價格,以及“數字信貸歧視”下信貸機構通過設置不合理的特征輸入使得個別群體被畫像為不適格者而無法借貸。這些基于特征的篩選結果和資源分配雖然都被視作不合理區別對待,但與“算法偏見”大不相同的是,這里的特征與歷史偏見無關,而運用的場景私法色彩更為濃厚。

(四) 小結:“算法偏見”與“算法不平等”的區別

算法歧視的觸發機制遍布算法全過程: 在輸入環節中,收集的數據存在偏見以及代表性不足,算法設計者無意識嵌入歧視目的使得算法變成歧視性產品,更為致命的是代理特征(proxy)悄無聲息攜帶歧視信息;在學習環節,機器挖掘和深度學習不可避免復制上述環節的錯誤信息,而算法設計者也無法清晰了解算法每一步是如何運作的,使得在輸出環節“偏見進、偏見出”。(18)參見岳平、苗越: 《社會治理: 人工智能時代算法偏見的問題與規制》,載《上海大學學報(社會科學版)》,2021年第6期,第2—3頁;Solon Barocas &Andrew D. Selbst, Big Data’s Disparate Impact, 104 California Law Review 671, 677-693 (2016).但是,這么一套機制既可以產生“算法偏見”,也可以產生“算法不平等”。唯有厘清兩者之間的區別,才能對癥下藥。

相較于傳統的算法場景劃分,基于“法律維度的歧視”與“道德維度的歧視”兩類語義表達的場景劃分之最大優勢在于符合理論的周延性和實踐的多樣性。對于場景劃分,主流基調是劃分為公法和私法,(19)參見林洹民: 《〈個人信息保護法〉中的算法解釋權: 兼顧公私場景的區分規范策略》,載《法治研究》2022年第5期。除此還有實用主義的劃分,(20)參見張凌寒: 《商業自動化決策的算法解釋權研究》,載《法律科學》2018年第3期,第66頁;張欣: 《算法解釋權與算法治理路徑研究》,載《中外法學》2019年第6期,第1441頁。即“算法進入公權力”與“算法進入商業領域”。無論是主流基調還是實用主義的劃分仍然堅持公私劃分的絕對壁壘,然而算法歧視的現象列舉早已對其提出挑戰,譬如自動化雇傭雖屬于私領域,但應當劃入類公法范疇。為此,區分歧視的法律維度和道德維度,算法歧視的場景劃分既能符合理論的周延性,又能融貫實踐的多樣性。如果要用公私法標準來描述的話,“算法偏見”的運用場景主要是公法領域,也包括部分關切民生與個人福利的私法領域;“算法不平等”的運用場景則是其余私法領域。

綜上,“算法偏見”與“算法不平等”作為算法歧視的兩大類型,具有以下區別: (1) 解決對象和適用范圍不同: 前者的解決對象是歷史偏見,僅作用在有限特征及與民生和自我實現息息相關的重要社會交往領域;后者的解決對象是資源分配,不局限于任何特征,主要適用于部分私領域。(2) 性質不同: 前者定性為“社會法”范疇,秉持特定的實質平等;后者在性質上關涉的是“反歧視原則進入私法領域”。例如,“大數據殺熟”僅是普通的私法定價問題,由于它違反反歧視原則而引起爭議,但放入“算法偏見”來討論則格格不入。(3) 對應的規制原理及法律制度不同: 前者既然對應作為法律維度的歧視,理所應當運用反歧視法來規制;后者的討論需要細化到具體場景并由與之相關的領域法來填充價值維度,譬如“大數據殺熟”由反壟斷法來規制。

三、 “算法偏見”的法律規制

“算法偏見”在語義上對應法律維度的歧視,其法律規制理所應當采取反歧視法,以解決歷史偏見事宜?？v觀各國反歧視立法與司法實踐,反歧視法的基礎理論區分強調意圖的直接歧視和強調效果(亦稱為結果)的間接歧視。對于傳統歧視行為而言,法律主要采用直接歧視理論,對少部分歧視行為采用強保護的間接歧視理論。在信息時代,新的外部環境促使反歧視法做出理論革新,算法歧視的規制原理應當采用間接歧視理論,而非直接歧視理論。不少算法歧視的研究就是在這個邏輯下展開的。(21)參見鄭智航、徐昭曦: 《大數據時代算法歧視的法律規制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期;張恩典: 《反算法歧視: 理論反思與制度建構》,載《華中科技大學學報(社會科學版)》2020年第5期;Solon Barocas &Andrew D. Selbst, supra note〔18〕, at 671-732; Stephanie Bornstein, Antidiscriminatory Algorithms, 70 Alabama Law Review 519, 519-572(2018).

(一) 直接歧視的失敗: 無法識別“算法偏見”的歧視意圖

直接歧視的核心在于歧視意圖,即通過發現存在歧視意圖來證明發生了歧視行為。以盧米斯案為標志,該案印證了“算法偏見”中的歧視意圖是難以被發現的,直接歧視的規制路徑面臨挑戰。(22)See Beyond Intent: Establishing Discriminatory Purpose in Algorithmic Risk Assessment, 134 Harvard Law Review 1760, 1768 (2021).下文結合盧米斯案,來說明在“算法偏見”之中為什么難以發現歧視意圖。

首先,歧視意圖藏匿于算法黑箱之中。算法本身是沒有意志的,只是根據既定的編程來演算和輸出結果。算法雖然作為中立工具卻承載著意識,意識或來自算法設計者,或來自數據。(23)參見伊衛風: 《算法自動決策中的人為歧視及規制》,載《南大法學》2021年第3期,第81—88頁。但是,算法黑箱遮蔽了算法所承載的意識,使得人們難以辨識這些意識的具體內容及其出處。對于算法決策來說,算法黑箱是必然存在的。根據透明性和可解釋性的程度,算法黑箱可區別為強版本和弱版本。(24)See Yavar Bathaee, The Artificial Intelligence Black Box and the Failure of Intent and Causation, 31 Harvard Journal of Law &Technology 889, 905-906 (2018).對于強版本的算法黑箱來說,人們只知道輸入端和輸出端,對于如何計算一無所知,自然而然也不可能識別歧視意圖。弱版本的算法黑箱是對算法可解釋性和透明性的讓步,一定程度揭露了算法的考量指標及其權衡比重序列,但考慮到商業秘密保護不可能完全披露計算公式。即便如此,弱版本的理解所提供的計算信息也只是模糊的,難以準確判斷輸出結果和計算指標的因果關系,難以識別是否存在歧視意圖。在盧米斯案中,盧米斯意識到性別是計算指標,故主張COMPAS是性別歧視的。但是,法院認為,性別的使用只是為了增加計算的精準性,僅僅依據“性別作為計算指標”不足以認定COMPAS具有性別歧視意圖。(25)See State v. Loomis, 881 N. W. 2d 749 (Wis. 2016), at 766-767.

其次,代理特征隱藏歧視意圖。在盧米斯案中,法官為了討論COMPAS是否產生性別歧視,引用了科研機構對COMPAS種族歧視的實驗研究,承認該算法產生了種族方面的不利歧視影響,使得黑人群體被認定為具有更高的犯罪風險。(26)Ibid., at 764.即便COMPAS在結果上是種族歧視,我們回過頭審視COMPAS的算法指標,仍然無法判斷其存在歧視意圖。COMPAS算法雖然沒有直接使用“種族”作為計算參數,但使用了“教育”“職業”“犯罪記錄”等代理特征,間接反映了個體的種族信息。換句話說,即便在輸入端完全剔除種族、性別、膚色等受保護特征,大數據仍然能夠借助其他替代性數據,隱藏歧視意圖,實現歧視結果。

最后,歧視意圖被其他目的或價值所掩蓋。在科學世界里,算法的計算精準性可謂在至高位階,致力于如實地孿生和預測現實。正如上文所述,性別作為COMPAS計算參數,是服務于算法的精準而非歧視目的。另外,切入具體的人文運用場景,歧視意圖或許會被算法所追求的實用目的所掩蓋,如為了國家利益和社會秩序,大部分國際機場通過算法篩選并對特定人群進行更嚴格煩瑣的檢查;(27)參見沈偉偉: 《算法透明原則的迷思——算法規制理論的批判》,載《環球法律評論》2019年第6期,第25—26頁?；虮黄渌麅r值所掩蓋,譬如算法商業必要性,算法本身容易成為借口來合理化雇主的歧視行為,把歧視行為高度偽裝成與工作所需密切關聯,以成立商業必要性來規避歧視責任。(28)See Solon Barocas &Andrew D. Selbst, supra note 〔18〕, at 709.當然,歧視意圖還會被商業秘密所掩蓋。

(二) 通過間接歧視規制“算法偏見”: 施加結果義務

既然難以識別“算法偏見”其中的歧視意識,只能另尋出路。以在結果上產生客觀歧視效果并達到差別性影響作為歧視認定標準的間接歧視則大有用武之地,間接歧視可謂解決產生歧視效果但“表面中立”的同一對待行為的靈丹妙藥。即便如此,也不乏反對的聲音認為間接歧視對“算法偏見”的規制存在缺陷。其中一個看似致命的反對觀點為: 間接歧視只關注群體公正而不利于調整個性化的算法決策。(29)見前注〔21〕,張恩典文,第65頁。但是,如果明晰法律維度的歧視與道德維度的歧視之區分,承認“算法偏見”的解決對象主要是歷史偏見,那么這種反對觀點便不成立,相反個性化算法決策的公平問題應當放到“算法不平等”里頭。除此之外,間接歧視還可能存在使用泛濫等問題,但這些缺陷都不致命,只需理論修正即可,學界普遍認為間接歧視是更適合解決“算法偏見”的理論框架。(30)See Stephanie Bornstein, supra note 〔21〕, at 542-543.為此,當我們認同結果論的間接歧視作為解決之道,沿著間接歧視的邏輯要求,算法設計者和算法應用者應當承擔某種結果論的義務,保證在結果上不會產生歧視影響。這也是對“算法偏見”施以事前規制的合法性依據。當算法設計者和算法應用者履行結果義務后仍然產生歧視問題,則訴諸司法救濟。其司法救濟仍然以間接歧視為主要框架,主要討論損害的認定、過錯的認定和舉證責任分配等如何向被歧視者傾斜。不少成果已對“算法偏見”的司法救濟展開了深入研究,(31)See Solon Barocas &Andrew D. Selbst, supra note 〔18〕, at 671-732; Stephanie Bornstein, supra note 〔21〕, at 519-572.下文遂主要探討為了削弱歧視風險,可以施以何種以及多大的結果義務,以及為什么應當施以結果義務。

算法設計者和算法應用者的結果義務往往著手于算法設計階段或運用之前的評估階段,屬于事前規制,主要可歸為兩類。一類是算法影響評估,即評估算法決策產生的社會效果。正如上文所言,算法影響評估是高成本的規制手段并主要適用在公共決策領域?；诔杀究剂?部分“算法偏見”如企業的自動化雇傭并不適用算法影響評估,需要另尋方案。另一類方案本文稱之為“數據控制”,即對受保護特征及其代理變量進行特殊處理,通過參數的控制達成結果的控制。在法律世界里,這種數據控制是對輸入端的數據控制,而不應該是輸出端?？茖W家往往在輸出端下功夫,把結果義務轉化為通過設計關于“非歧視”“公平”的數理公式,以確保輸出端上的結果平等。舉例說明,科學家如果根據“人口統計平等”(demographic parity)來設計數字貸款算法,那么算法在輸出結果上應當保證男性與女性獲得貸款的概率相等;如果根據“機會平等”(equality of opportunity)來設計數字貸款算法,那么算法在輸出結果上應當保證男性獲得貸款的預測準確率與女性的預測準確率相等。這里的問題在于,何種結果才是平等以及結果平等是否真的平等?法律人思維與科學家思維是有所差異的。反歧視法從不要求輸出端的結果平等,而是關切輸入端涉嫌歧視的爭議信息。(32)See Robert Bartlett, Adair Morse, Nancy Wallace &Richard Stanton, Algorithmic Discrimination and Input Accountability under the Civil Rights Acts, 36 Berkeley Technology Law Journal 675, 685 (2021).無論何種歧視案件,對于爭議信息只要可以論證其充分性和合理性,即可不被視作歧視。輸出端的歧視結果只會在程序上影響被告承擔更重的論證責任,而不會直接以結果成立歧視。為此,法律人往往會關注輸入端的數據控制。算法歧視法律研究的初期,最為常見的輸入端控制方案為對受保護特征的去盲或完全剔除,但這種方案嚴重影響算法計算的準確性。從科學的角度而言,我們不應當排除而是積極使用敏感信息,以確保算法決策的科學性。在這個意義上,《互聯網信息服務算法推薦管理規定》的刪除反映個人特征的用戶標簽和《個人信息保護法》禁止使用敏感信息等相關規定并不適合規制“算法偏見”。鑒于此,部分學者提出不排斥敏感信息的控制方案,如“輸入義務測試”(33)該方案大致內容為: 首先確定為實現算法目的而必要的目標變量,并以此作為標準。然后將爭議變量的計算結果分解為兩部分: 一部分是可靠部分,因為這部分發揮著與目標變量相同的作用;另一部分為錯誤部分。這時候,就要評估錯誤部分是否與歧視信息相關;如果與歧視相關,則不通過輸入義務測試,該爭議變量為歧視信息。Ibid., at 681.“二階段去偏見法”(34)該方案大致內容為: 在評估階段消除代理特征帶來的歧視影響,經過第一步的評估階段,那么在預測階段輸入端已經沒有個體層面的歧視信息。See Crystal S. Yang &Will Dobbie, Equal Protection under Algorithms: A New Statistical and Legal Framework, 119 Michigan Law Review 291, 297 (2020).。數據控制方案往往都帶有較強的傳統反歧視法身影,而非完全科學計算的結果。法律究竟采用何種數據控制方案,是對科學性、可操作性、信息處理者成本等因素綜合考量的結果。

那么,這種結果義務源于何處?為什么要施加在算法設計者和算法應用者身上呢?其正當性主要有兩點: 第一,這是一種責任轉移(burden-shifting)的義務。(35)See Andrew D. Selbst, Disparate Impact in Big Data Policing, 52 Georgia Law Review 109, 161, 193 (2017).反歧視理論的直接歧視與間接歧視,實則借鑒于侵權責任。根據侵權責任原理,原告首先應當舉證,證明某算法存在受保護特征的明顯分類并帶有歧視意圖。但是,“算法偏見”的特性使得原告無法識別其中的歧視意圖,把原告陷于嚴重不公地位。這時候將舉證責任倒置,由算法設計者和算法應用者來證明算法不存在歧視影響。(36)類似于《個人信息保護法》第69條,個人信息處理者承擔過錯推定,其原因在于個人信息處理者與自然人的舉證能力之差異。參見程嘯: 《侵害個人信息權益的侵權責任》,載《中國法律評論》2021年第5期,第63頁。第二,更為核心的是,這是社會法上的義務。社會法導入“身份”因素,以基準法的形式為弱勢群體提供特殊保護,對相對強勢一方課以法定義務,以校正契約自由在兩者之間造成的偏差。(37)參見余少祥: 《社會基準法的本質、特征及其實施機制》,載《北京大學學報(哲學社會科學版)》2019年第3期,第138頁。反歧視法作為社會法,通過施加強制義務以保證弱勢群體能融入與民生和自我實現密切相關的社會交往。這一要求同樣適用于由算法掌控的社會交往,算法設計者和算法應用者承擔相應的社會法義務。當然,也有學者提及對弱勢群體予以傾斜保護這一理念,譬如算法歧視可以依賴侵權責任的過錯推定,以及合同責任的先合同義務和附隨義務,實施民法救濟,其中過錯推定、先合同義務以及附隨義務,實質上都是合同責任和侵權責任對弱勢一方的傾斜保護。(38)參見潘芳芳: 《算法歧視的民事責任形態》,載《華東政法大學學報》2021年第5期。但由于這里需要解決的是歷史偏見,理所應當采取強傾斜的社會法保護,對算法設計者和算法應用者施以強規制;相反,民法救濟這種弱傾斜保護,更適用于解決資源分配方面的“算法不平等”。

對于義務的來源和正當性,也許會有學者提出第三種聲音,即義務來自算法透明和可解釋性的要求。在信息時代,不可否認算法透明和算法解釋占據十分重要的地位。然而,對于這種聲音,本文并不認同。算法透明和可解釋性的實現雖然在理論上有助于規制“算法偏見”,但事實上難以充當“算法偏見”規制義務的核心。換句話說,“算法偏見”的規制不依賴于算法透明和可解釋性。落實算法透明與可解釋性,意味著闡明因果關系。無論是采用何種立場和理論的因果關系,在實際運轉層面,算法黑箱都是難以跨越的障礙。(39)參見許可、朱悅: 《算法解釋權: 科技與法律的雙重視角》,載《蘇州大學學報(哲學社會科學版)》2020年第2期,第62—63頁。即便技術攻克了算法黑箱,使算法得以被規制,這種技術也成為“屠龍刀”,使算法的價值大打折扣。(40)參見陳景輝: 《算法的法律性質: 言論、商業秘密還是正當程序?》,載《比較法研究》2020年第2期,第126頁。相反,本文認為,因果關系并非必須攻克的課題。因為社會法的強制義務是對弱勢群體的特別傾斜,以至于我們可以弱化因果關系。因果關系的弱化在社會法中并不罕見。譬如美國反歧視司法實踐采用“五分之四原則”來判斷是否達到歧視程度。具體來說,在雇傭領域,如果受保護群體的錄取率低于其他群體錄取率的五分之四,則可以認為此雇傭標準具有不利的后果,原告據此可以形成初步證據。(41)參見李昊: 《美國反歧視法治實踐中的社會學理論與方法——兼論反歧視訴訟中的統計證據規則》,載劉小楠主編: 《反歧視評論》第六輯,法律出版社2019年版,第64頁。即便五分之四原則早已被統計學所證偽,但不妨礙司法實踐繼續適用。同樣地,根據我國《勞動合同法》的規定,未與員工簽訂勞動合同,雇主將按月支付雙倍工資。很顯然,這里的賠償標準不是按照成本收益的數理計算,而是強調對弱勢群體的特殊保護。正是如此,“算法偏見”的法律規制可以采取因果關系的弱化方案,通過人文制度方案而非技術方案來實現歧視結果的控制。但是,“算法不平等”也會對算法設計者和算法應用者施加義務要求,但這個義務則依賴于因果關系。

四、 “算法不平等”的法律規制

(一) “算法不平等”的規制時機

“算法不平等”這種算法歧視在語義上采用道德維度的歧視,其表達的背后充斥著不理性因素?！八惴ú黄降取爆F象是否真的不平等,往往是有爭議的。以數字信貸為例,借貸作為經濟行為理所應當追求收益最大化,并結合安全性、流動性和效益性選擇“優質客戶”。使用性別、年齡、種族等傳統歧視特征作為篩選標準,必然為道德所唾棄,但我國法律是否禁止并無定論。在信息時代,信貸機構利用算法廣泛采集移動貨幣賬戶的存款、轉賬、商戶支付和賬單支付活動、社交媒體、短信和互聯網瀏覽活動等行為數據和身份數據,來分析借款人的財產狀況、風險抵抗能力、還款意愿等相關信息,并作為資格審核與貸款定價的核心依據。(42)參見歐陽日輝、龔偉: 《數字信貸、算法歧視與動態競合政策》,載《南開學報(哲學社會科學版)》2022年第1期,第80頁。這些特征已經超出傳統歧視特征,選取何種特征及其信貸決策都是基于風險控制的經濟理性行為,行為人會承擔因決策錯誤而失去優質客戶的風險,為何不能區別對待?“大數據殺熟”也存在類似的論調?！八惴ú黄降取睜幾h的背后反映的是“反歧視原則進入私法領域”,是資源分配過程中公平正義與私法自治的沖突。私法自治與反歧視原則并無位階上孰高孰低的定論,但算法歧視儼然成為一種廣泛的數字風險,對其規制勢在必行。為了避免對算法設計者和算法應用者造成過重的負擔,需要認真對待規制的時機與程度。

那么,為了平衡私法自治和削弱歧視風險,對“算法不平等”的規制應當選擇哪個時機?除了司法救濟這一兜底的事后規制之外,事前規制和事中規制成為可選方案。就事前規制而言,“算法偏見”往往涉及民生和公法領域,所以在算法設計階段或評估階段等事前階段就進行強社會法介入?！八惴ú黄降取迸c之大不相同,面對與日俱增的算法,如果每個算法都需要評估機制和檢驗機制等事前規制,只會徒增企業成本和公共壓力?！八惴ú黄降取钡氖虑耙幹浦贿m合企業的內部審查,不宜以法律強制。為此,為了尊重市場規律和意思自治,保持科技創新,本文主張事中階段的規制時機。事中規制是一種過程性規制,其時機為企業將算法應用在用戶這一行為過程當中,在行為過程中審視具體的資源分配。本文主張的事中規制方案有二: 一是行政監督,二是交易主體間的互動監督。行政監督作為最為常見的事中規制手段,雖孔武有力,但面對不計其數的數字交易行為顯得分身乏術?；颖O督雖然缺乏強制力,但是將規制成本轉移至交易主體之間,同時可以靈活地處理數字技術的不確定性,能夠補足行政監督的缺陷?；颖O督的核心價值取向在于加強用戶方的博弈能力,以對抗涉嫌算法歧視的決策行為。這一點在“算法偏見”中是難以做到的,因為在“算法偏見”中,算法應用者往往是國家機關或能夠決定個人重要事項的企業,算法用戶只能借助外部力量來對抗。

(二) “算法不平等”的規制維度

對于“算法不平等”,算法歧視現象需要安置在具體應用場景,考察具體的資源分配情況,施以行政監督和互動監督。對于其規制程度的問題,通過下述兩個維度來考量: 一是通過價值維度來判斷算法應用的利益分配和位階排序,主要施以相應領域法的實質價值約束;二是通過信任維度使算法可信,施以形式平等的規制。

1. 價值維度: 通過相應領域法的價值判斷施以規制

對于“算法不平等”,首先受到具體應用場景的實質價值約束,然后根據實質價值約束施以相對應的行政監督。相關的實質價值內生于應用場景之中,因為不同的應用場景對應著不同次序、不同權重的價值元規則。(43)參見唐林垚: 《公共治理視域下自動化應用的法律規制》,載《交大法學》2022年第2期,第24頁。對于場景內生的實質價值,其內容確認方案有二: 方案一為,實質價值來自社會秩序。典型觀點為海倫·尼森鮑姆(Helen Nissenbaum)的場景公正理論,其認為社會中存在關于信息及其流動的“活法”,由長期的社會實踐和相關情景所形塑,以規范、指導和協調個人信息的流動。(44)See Helen Nissenbaum, Privacy in Context: Technology, Police, and the Integrity of Social Life, Stanford University Press, 2010, p.3.此理論在算法規制中有不少追隨者。方案二為,實質價值來自與場景相對應的領域法。譬如,有學者結合科學路徑以如何研究“公平算法”為出發點,認為科學家基于對“公平”(fairness)的不同理解而采取不同的計算公式,背后實則對應著不同的法律概念和法律機制。(45)See Doaa Abu-Elyounes, Contextual Fairness: A Legal and Policy Analysis of Algorithmic Fairness, 2020 University of Illinois Journal of Law, Technology &Policy 1, 54 (2020).本文青睞于方案二,追求完備的學術理論雖然是法哲學的浪漫與崇高,但同時應當兼顧法律的現實主義需求,方案二相較于方案一更為穩定和具有可操作性。為此,具體“算法不平等”應放置在相應領域法內作價值判斷,由領域法提供實質價值約束,行政監督也以此作為介入尺度。

以“大數據殺熟”為例,其實質價值約束主要來自反壟斷法,并施以相應的行政監督?！按髷祿⑹臁弊鳛橐患墐r格歧視,一方面,從市場和社會福利的角度出發,其確保資源分配得到優化,充分踐行經濟法的有效競爭原則;另一方面,從消費者權益保護法來說,(46)參見胡元聰、馮一帆: 《大數據殺熟中消費者公平交易權保護探究》,載《陜西師范大學學報(哲學社會科學版)》2022年第1期;王佳琪: 《大數據“殺熟”的法律應對》,載《人民法院報》2019年6月11日,第2版。其侵害消費者公平交易權。仔細思考,“大數據殺熟”自身具有一定的市場調節機制,消費者的地位并非如此低下。由于定價方式以個人需求函數取代全市場需求函數,“大市場”(統一定價的傳統市場)被拆分成無數“微市場”(僅有一個賣家和一個買家,賣家需要仔細衡量買家的需求),消費者談判能力大大增加。雖然單個“微市場”收益微不足道,但殺熟定價模型是統一的,失去一個微市場意味著總體市場失守的可能,因此商家必須放下身段認真研究每一個顧客的訴求,否則就會被消費者“用腳投票”逐出市場。(47)見前注〔2〕,王潺文,第59頁。另外,消費者也有一定反制能力,諸如通過設置隱私程序迫使廠商吐出更多利潤或借助數字比較工具貨比三家以避開個性化高價。(48)參見喻玲: 《算法消費者價格歧視反壟斷法屬性的誤讀及辨明》,載《法學》2020年第9期,第96頁。數據表明,大部分算法個性化定價的波動范圍為1%～4%,(49)參見雷希: 《論算法個性化定價的解構與規制——祛魅大數據殺熟》,載《財經法學》2022年第2期,第152頁。屬于可接受的一般價格,而非具有危害性的超高價格和超低價格。僅當市場調節機制失衡,“大數據殺熟”造成了經濟損害性結果時,法律的介入才是合理的,諸如壟斷廠商使用“大數據殺熟”,一級價格歧視的經濟優勢不復存在,應當適用反壟斷法予以規制。(50)參見山茂峰、鄭翔: 《算法價格歧視反壟斷規制的邏輯與進路》,載《價格理論與實踐》2020年第5期;見前注〔48〕,喻玲文。在這個價值判斷下,市場監管部門應采取包容審慎的態度,對差別定價行為給予一定的“觀察期”。(51)參見王文君: 《算法個性化定價的反壟斷法反思》,載《甘肅政法大學學報》2021年第5期,第154頁。在企業進行差別定價的行為過程中,對于游離在安全線邊緣的行為,市場監管部門可以實施適度干預,如對企業進行約談,要求其對行為進行說明、調整等;對于觸碰安全線的,市場監管部門對企業課以相對應的行政處罰。

需要進一步追問的是,對于“算法不平等”問題,在價值判斷上是否僅需具體應用場景的內部秩序要求?是否需要額外的實質價值保護?本文的觀點是不需要。無論是“算法偏見”還是“算法不平等”,算法歧視的相關爭議都來源于算法設計者和算法應用者通過算法權力限制個體的自由意志。根據限制的程度和其所關涉的利益類型,法律的保護力度不同。對于“算法偏見”來說,相關歧視問題造成個體無法融入民生和公法領域。為此,本文對“算法偏見”問題提供“社會融入”的實質價值保護,施以結果義務。相反,對“算法不平等”的法律規制總體持保守的態度。私法領域實際上不存在絕對的平等關系,看似自愿達成的“互利”交易,在其中或多或少存在一方主體基于優勢地位對另一方主體“占便宜”,司法對此是克制的,只有到達不公的程度才會干預。(52)參見許德風: 《合同自由與分配正義》,載《中外法學》2020年第4期,第986—987頁。同時,市場行為往往會針對不同顧客謀劃形形色色的差異方案,為此,對算法設計者和算法應用者強加額外的價值要求是強人所難的,并會造成分配正義的泛濫。但這也不是一味遵循具體場景的既有內部秩序即可,否則將會徹底淪為“用舊法律應對新事物”的守舊做法。對于“算法不平等”,現行算法治理對特殊事項仍有少部分額外的價值要求,諸如《個人信息保護法》禁止“在交易條件上實施不合理的差別待遇”,以及對大型平臺施以守門人義務。面對“算法不平等”問題,法律雖然不便給予過多的實質價值要求,但可以通過信任維度給予形式平等的保護。

2. 信任維度: 算法解釋作為互動機制提供形式平等保護

出于算法的黑箱性和復雜性,算法決策的價值維度和信任維度往往是分割的,信任維度不依賴于價值維度。仍以“大數據殺熟”為例,上文雖然已經從價值維度論證了“大數據殺熟”在大多數情況下是合理的,但大數據價格歧視是否為公眾接受顯然是另一碼事。從大眾對價格的公平感知出發,“大數據殺熟”仍然直覺地被視為不合理,立法者也不可能以“專業性”為由,無視大眾的樸素認知。鑒于此,不少地方立法已明文禁止“大數據殺熟”,諸如《上海市數據保護條例》《深圳經濟特區數據條例》《浙江省電子商務條例》等。所以說,信任維度是規制考量不可或缺的面向。沿著信任維度,法律可以針對“算法不平等”采取多大程度的規制呢?

信任主要通過互動來達成。在算法歧視的討論當中,歧視與平等問題并非單純的技術探討,技術人員與利益相關者的互動能更好地解決問題。(53)參見張貴紅、鄧克濤: 《社會化研究框架下算法公平性的實現策略研究》,載《科學學研究》網絡首發2023年2月7日,第9頁,https://doi.org/10.16192/j.cnki.1003-20230206.001.良性的和有效的互動由確保各方利益的程序來維護,在技術保障不足的當下更是如此。(54)See Teresa Scantamburlo, Non-empirical Problems in Fair Machine Learning, 23 Ethics and Information Technology 703, 710 (2021).算法程序正是以這種方式介入到算法歧視問題當中,但是在不同的算法歧視中扮演不同的角色。程序在“算法不平等”的規制中強調的是互動,以達信任;而在“算法偏見”的規制中強調的是限權。通過互動達成信任這一方案并非要求設計專門的算法程序制度,而是盡可能在規制中體現程序性思維。在“算法不平等”規制的信任維度上,算法解釋是關鍵,并應當附著上程序色彩。由于算法黑箱的存在,算法設計者和算法應用者難以給出確切的解釋,算法解釋若被理解為“信息控制”的實體性權利將會淪為紙面權利,因此對于算法解釋應轉向程序性權利的理解,將算法解釋視作一種溝通和互動機制。(55)參見丁曉東: 《基于信任的自動化決策: 算法解釋權的原理反思與制度重構》,載《中國法學》2022年第1期。作為互動機制的算法解釋正是上文提及的主體間互動監督,通過強化用戶的博弈能力,提供形式平等的保護,變相對算法設計者和算法應用者施以規制。

算法解釋作為互動機制意味著: (1) 合作互惠的私法性質使得算法解釋應當以追求信任關系為目標?！八惴ú黄降取钡闹饕\用場景以私法為底色,以合作互惠為前提。尤其是許多算法長期與受眾打交道,這時候就更有必要建立貝葉斯均衡(互相滿意),以達持續性地相互信任,而非單方被賦予過多的解釋權能,這樣不利于合作的展開。在這個意義上,作為互動機制的算法解釋,是一種實用主義解釋,關心的是接受者的興趣以及信任問題。(56)見前注〔39〕,許可、朱悅文,第62—63頁。(2) 算法解釋是一種相對權利,算法應用者和接受者結合場景在不同時間段行使和履行不同程度的算法解釋權利和義務。一般來說,在算法應用的告知環節,算法應用者(如企業)應當進行概括解釋,描述算法的整體運行,讓用戶感知算法的大致運行狀況,幫助個體做出更佳決策,而非披露算法的所有參數和所有細節。但仍有部分受眾對算法抱有疑問,受眾有權主張個案解釋,要求算法應用者尊重個人的知情同意,算法應用者將對算法決策使用了個人的哪些信息并如何做出結論做進一步解釋,如果用戶仍無法信任可以主張拒絕自動化決策的權利。為此,《個人信息保護法》第四章所規定的信息權利諸如反自動化決策、更正權和刪除權等是置于程序性算法解釋這一互動機制之下展開的,允許用戶在無法被說服的時候因地制宜地行使。對于具有重大影響的算法,算法應用者似乎有必要披露更多的算法信息,要披露多少以及如何披露,以是否被市場驅逐為風險和代價由算法應用者自行判斷。

五、 結 論

明確治理對象方能適配相應的治理手段。有學者從技術角度區分不同的算法歧視并提出相應的法律規制。(57)參見曹博: 《算法歧視的類型界分與規制范式重構》,載《現代法學》2021年第4期。與之不同的是,本文嘗試從制度層面上的性質劃分著手,通過區分“算法偏見”和“算法不平等”以明確算法歧視的治理對象,進而提出與之適配的治理手段,以消除治理對象泛化和治理手段碎片化這兩個弊端。

這種區分的意義在于: 一是從宏觀角度來說,其可提供一個融貫的理論解釋圖景,將多樣化的實踐問題置于對應的法律框架之中。試舉一例: 住房福利的算法自動化配分在國外早已有之,(58)參見[美] 弗吉尼亞·尤班克斯: 《自動不平等: 高科技如何鎖定、管制和懲罰窮人》,李明倩譯,商務印書館2021年版,第71—103頁。相關歧視問題固然安置到“算法偏見”來處理。但如果把場景切換成私領域,不排除將來會出現房東和商家通過自動化決策來篩選租客,該場景似乎類似于“大數據殺熟”。但是,住房問題屬于民生和個人實現相關的重要領域,理所應當作為“算法偏見”來處理。二是從微觀角度來說,其有助于明確具體義務。對于算法設計者和算法應用者來說,他們往往由于被貼上“強者”的標簽,而被課以各種寬泛和沉重的義務,這將嚴重抑制市場活力和主體創新。本文提出的算法歧視的兩副面孔明確了算法設計者和算法應用者的具體義務。如果他們的產品涉及“算法偏見”,則主要履行結果義務,根據具體情況適用算法影響評估或“數據控制”,而非算法解釋義務;如果他們的產品涉及“算法不平等”,則相關義務主要依賴于算法解釋,以變相提高用戶的博弈能力。