算法決策規制

摘 要：算法決策正成為經濟與社會體系的一部分，一方面，它創造了顯著的社會與經濟價值，但另一方面，不公不義的預測或推斷會損及個人自主與尊嚴從而使算法備受質疑。由于算法無法解決自身導致的妨害問題，且算法控制者與數據主體間存在明顯的信息或權力不對稱，因此，有必要賦予個人一項具體的數據權利——算法“解釋權”，以強化其對于己不利的算法決策提出異議的權利，進而促進算法正義、保護個人自主與尊嚴。不過，利用“解釋權”對抗算法妨害雖然必要但并不充分，其在技術上面臨可解釋性難題，且與商業秘密存在緊張關系。因此，算法決策需要統合規制，需要進一步增強算法決策的社會控制，優化算法應用監管。

關鍵詞：算法決策;算法妨害;解釋權;算法正義

中圖分類號：DF52 ?文獻標志碼：A

DOI：10.3969/j.issn.1001-2397.2020.01.13 開放科學（資源服務）標識碼（OSID）：

一、引言

何謂算法，目前并無統一定義。嚴格地說，它也不是法律上的概念。從技術角度看，可將算法理解為一種數學結構以及這一結構轉化而來的程序、或將其視作為實現特定任務的技術應用。①它具有形式化特征，包括大規模收集個人或環境數據，且借由數據分析從而揭示特征與結果之間的相關性。②這也揭示了算法與數據之間的緊密關系——“沒有數據的算法是空洞的，沒有算法的數據則是盲目的”。毫不夸張地說，在數據驅動的社會與經濟體系中，數據就是“全新的貨幣”。 對它們進行系統加工或闡釋，算法控制者（算法使用者、設計者等，下同）即可對算法決策相對人（本文亦稱“數據主體”）及其行為進行預測或推斷。因此，如果說算法起初是指基本的運算，那么隨著大規模數據采集及分析能力的提升尤其是機器學習的崛起，算法開始超越其初始含義，具有了明顯的社會及經濟意義，其已被廣泛地用于解決社會或經濟問題，諸如個人的期望、觀點以及工作表現、健康狀況、行為偏好、信用評級等重要事項正在從人類之手轉至算法之手，進而形成各式各樣的自動化區分、評級、排序和決策，以至于越來越多的商業機構或公共部門開始依托算法解決一些復雜問題，包括雇傭、借貸、定價以及量刑、福利資格認定、國家安全審查等商業及司法或行政決策。此即“算法決策”或“自動化決策”（本文所稱的“算法決策”或“自動化決策”系指依據自動化處理/算法作出的且對相對人產生法律或類似重大影響的決策，這些決策一般不包含人為干預，或者即便有人為干預但不對決策結果本身產生實質性影響）。

公平地說，大多數算法應用有益而無害。它們能帶來顯著的社會或經濟價值，包括效率的顯著提高、更加便捷的消費體驗以及技術中立論者所認為的客觀公正等。因此，在不少人看來，“算法只是簡單的數學原理?！比欢?，另一方面，算法決策的客觀公正并非完全如我們所預期，對它的一系列疑問尚存我們腦海之中。算法決策真的能排除人類偏見從而能保持公平或中立嗎？當它們懷著不可告人的目的尋求隱性利益或涉嫌對個人作出歧視性甚至是錯誤的評估時，如何向算法決策相對人提供救濟？算法控制者應在何種程度上對其算法或算法生成的不良結果負責？所有這些都是人們普遍擔心的問題。鑒此，如何讓“那些對結果抱有懷疑的人可以掀開‘引擎蓋子看個究竟”是人類立法者或裁判者面臨的嚴峻挑戰。

二、算法妨害——算法“解釋權”的緣起

算法雖被認為是客觀且中立的，即致力于在數學規則和事實基礎之上而非基于社會輿論、價值觀或主觀判斷來組織并呈現信息，但事實上，它們也時常給當事人帶來損害。

其一，算法“操縱”妨礙數據主體的自主且有損他們的尊嚴以及經濟利益。目前，商業機構正利用各種建?；蛩惴ň傻貙⑷藗兊纳钷D化成他人的商機，致使參與數據化生活的個人幾乎都成了“被算法定義的人”。通過追蹤用戶的日?；顒訑祿蚱浣洺Ｇ巴纳虡I場所，這些商業機構便能識別出潛在消費者的個人偏好、生活方式或消費習慣等，繼而進行精準的市場推廣或廣告投放。這種數據畫像使得定向廣告無比精準地在特定時間和場景達到目標客戶，誘發沖動消費……這不啻是一種消費操縱。此時，受益的往往只是算法控制者，被誘導的個人卻無利可圖甚至會遭受利益減損。例如，在滴滴與攜程等公司接連爆發的“大數據殺熟”事件中，那些被認定為“高價值”的目標客戶就被動或盲目地接受算法控制者推薦的更高價格商品或服務，從而承擔額外成本。此外，臉書公司與劍橋分析公司爆發的“算法丑聞”再次表明，算法控制者完全有能力左右某個網站或服務的排名，而用戶卻渾然不知。不得不說，無形的“算法之手”正以一種難以覺察的方式塑造或左右我們的言行或選擇。雖然“它們聲稱在向我們‘展現世界的原貌，但其實這個世界是由它們創造出來的”。諸如此類的“操縱”意在誤導或左右被操縱者做出并非基于自己自由意志的某些決定。最終，這些不明就里的數字產品與服務的消費者/數據主體恐將淪為他人意志的工具。

其二，無形的“算法之手”對特定個人或群體進行不公平推斷或將他們“標簽化”?，F今，大數據分析技術已經賦予了算法控制者超乎想象的預測能力，它們極可能基于分類篩選而形成所謂的“大數據黑名單”，從而不恰當地將個人或群體標記為具有某種風險或傾向，進而限制或排除他們的權利或機會。加之，算法“黑箱”以及數據買賣使得上述分類篩選得以便利化甚至秘密化，以至于那些被列入“黑名單”的當事人很多時候既無從知曉亦無法擺脫。此種不公平或隱性歧視并不鮮見。美國法院廣泛采用的評估罪犯再犯風險的算法工具（COMPAS）就被認為將黑人被告貼上了再犯風險高的標簽。另如，在保險實務中，借助大數據分析能力，汽車保險公司基于投保人畢業學校的等級與汽車事故之間的相關性分析，從而向那些受教育程度低的司機收取更高保費，即便這些駕駛人擁有良好的駕駛記錄且大數據分析所考慮的因素與保險風險并無邏輯及直接的關系。不得不說，許多算法模型就“像上帝一樣隱晦不明……它們得出的結論往往懲罰社會中的窮人和其他受壓迫的人，而富人卻因此更加富有”。

其三，算法所謂的客觀公正存在某種程度上的迷惑性或虛幻性，而且，較之于人類決策，其不僅缺乏自我糾錯能力，而且更具系統性影響。乍一看，算法決策似乎更可靠，因為它被認為不受人類判斷中非理性因素的影響。然而，算法系出自容易犯錯的人類設計者，他們可能忽視數據中的系統性偏見或結構性歧視?？v使這些都是無心之過，仍將導致更大范圍的不公。而且，很多時候，即便存在系統不準確的證據，算法控制者仍會相信這一自動決策系統生成的評估結論。因為，我們中的大多數人都是認知的吝嗇者——多愿選擇只需付出最小認知努力的路徑甚或選擇相信直覺而放棄對每項決策進行系統分析。研究表明，在有其他合作者共同擔責的情形下，人們會表現出松懈的一面。因此，一旦人們把自動決策系統視為“團隊成員”，上述“社會惰化效應”將會出現，他們就會把完成任務的重擔交給自動決策系統，而自己也就放松懈怠了。不僅如此，人們甚至會把自動化算法視為“決策權威”，從而盲目遵從。更重要的是，與個人偏見只會影響少數人不同，算法偏見可能對成千上萬人產生影響。一旦如此，算法決策將導致更大范圍的不公或歧視，算法控制者與用戶間的信息與權力不對稱也將隨之加劇。美國廣泛采用的自動化信用評分系統就被認為對女性與少數族裔等弱勢群體構成了系統性負面影響。

綜上可見，算法很難不偏不倚，它們總包含著一定的價值判斷或特定的價值立場，即便是根據最佳技術實踐編寫的代碼或程序也會在某些情形下失靈。于此情形之下，算法決策也就難免會置算法決策相對人于不利地位。不可否認，算法能夠提升效率并在一定范圍或程度上實現客觀公正，包括消除人為錯誤，從而使越來越多的人受益。然而，“重點不是有沒有人受益，而是有很多人受害”，算法應用已經為一些新的形式或種類的錯誤創造了機會。接連發生的“算法丑聞”表明，算法的隱性歧視或操縱在雇傭、借貸、定價、教育乃至司法量刑等多種算法應用場景中普遍存在。這些“數學殺傷性武器”有時只是因為一些微不足道的理由從而關閉了人們的機會之門，且不予他們申訴的機會。這似乎“是一場無聲之戰，窮人首當其沖，中產階級也難逃一劫”，而人們卻無法“指望自動化系統自行解決問題。盡管機器功能強大，但它們目前還不能照顧到公平，至少它們自己不能。篩選數據并且判斷什么是公平對它們來說是完全陌生且極其復雜的”。尤令人擔心的是，算法并未把“我們”當作權利主體，而是可計算、可預測、可控制的客體。因此，當算法被廣泛運用于“人”的領域之時，就需建立一個適當的道德與法律框架，以維護“人”的主體性、自主性以及自由與權利。

三、對抗算法妨害：域外算法“解釋權”立法考察

作為算法決策的一項規制手段，算法“解釋權”已與其他新型數據權利一樣漸入立法視野，其中以歐盟與美國較具代表性，下文即以歐盟及美國法為樣本進行分析。

（一）歐盟“一般性禁止”例外下的算法“解釋權”

1. 歐盟法對算法決策的“一般性禁止”

對于算法決策，歐盟《一般數據保護條例》（ GDPR，2018年5月生效）第22條第1款規定：“個人有權不受完全依據自動化處理作出的且對其產生法律或類似重大影響的決策的約束”。從語義上理解，這一規定要么意味著算法決策相對人被賦予了一項針對完全算法決策的“反對權”，要么那些對個人具有重大影響的算法決策將被“一般性禁止”。若將第22條第1款解釋為“反對權”，那么算法控制者將被允許完全依賴算法進行決策，直至算法決策相對人提出反對;相反，若將該條解釋為“一般性禁止”，那么算法控制者就應該對禁止之外的例外情形進行評估，并采取“適當措施”保護例外情形下算法決策相對人的自由或權利。針對上述歧義，GDPR“解釋性指南”明確將第22條第1款界定為對完全自動化決策的“一般性禁止”，而非僅僅是“反對權”。較之于“反對權”，“一般性禁止”或能更好地保護算法決策相對人利益，使其免受自動化數據處理的可能侵害，這也意味著算法控制者不得在例外情形之外進行完全的自動化決策。

文義上，GDPR第22條第1款并未指明何謂“完全根據”及“法律或類似的重大影響”。因此，“完全根據”既可解釋為自動化處理不包含任何的人為干預或影響，也可解釋為雖有人為干預但對自動化處理結果本身不產生實質性影響。對此，歐盟立法者強調，算法控制者不得通過編造的人為干預而規避對自動化決策的一般性禁止，任何名義上或象征性的人工干預均不對自動化決策構成實質性影響。所謂“法律影響”，則指純粹的自動化決策對個人與他人交往、投票或參加選舉、采取法律行為的自由以及個人的法律地位或合同權利等法律權利構成了影響，如合同撤銷、社會福利喪失、被拒絕給予公民身份等;“類似重大影響”則指，即使個人法律權利或義務未因自動化決策而改變，但如果該決策對個人的境遇、行為或選擇產生顯著影響，或導致其被排除在某種機會之外而受到歧視（如金融服務、就業或教育機會喪失），那么該決策即可視為構成了“類似重大影響”。據此，備受質疑的在線行為廣告或價格歧視、涉嫌消費操縱的誘導性廣告以及根據用戶“畫像”作出的差異化定價等，都被涵蓋在一般性禁止之列了，以便保護個人權利或其尊嚴及自主等重要利益不因自動化決策而受到損害。

2. 例外情形下的規制——算法“解釋權”

為緩和“一般性禁止”之規定，同時也為促進數據利用尤其是算法決策的合理應用，GDPR第22條第2款規定了“一般性禁止”的例外情形，一是“合同例外”，即算法決策為數據主體與算法/數據控制者訂立合同或履行該合同所不可或缺;二是“同意例外”，即算法決策已獲得數據主體的明確同意;三是“法律授權例外”，即算法決策獲得法律授權且算法控制者已采取適當措施保護數據主體的權利、自由及正當利益。值得注意的是，GDPR第22條第3款進一步規定：在“合同例外”或“同意例外”情形之下，算法控制者更應采取適當措施，確保公正、非歧視與準確性，以保障數據主體的權利、自由及正當利益，且至少應保證數據主體有權請求對算法決策進行人工干預、表達其觀點以及對決策提出異議的權利?！爸辽佟币辉~的語義表明，GDPR第22條第3款賦予算法決策相對人請求人工干預并就對其不利的算法決策表達意見或提出異議的權利只是歐盟立法者對算法控制者提出的最低要求，這也為要求算法控制者采取進一步措施（包括向算法決策相對人提供相應解釋）以保護數據主體權益提供了立法解釋的空間。

除上述“至少”應履行的義務外，歐盟立法者還要求算法控制者根據GDPR第13條第2款（f）項、第14條第2款（g）項之規定，向相對人提供關于算法決策的具體信息。尤為重要的是，算法決策相對人“有權獲得算法決策的解釋并據此提出異議”。此即GDPR“序言”第71條規定的算法“解釋權”。與此相比，GDPR第22條第3款之規定則顯得“委婉含蓄”。盡管如此，該條款仍被認為包含了針對算法決策的事后“解釋權”。畢竟，算法決策相對人享有的請求人工干預、表達意見或提出異議等權利與其充分理解算法決策是如何以及根據何種基礎作出的密不可分。只有這樣，相對人才能針對于己不利的算法決策有效地行使異議權或發表意見。這也正是GDPR“解釋性指南”的基本立場。況且，GDPR第22條第3款中“適當措施”與“至少”之表述，與“序言”第71條規定的算法“解釋權”具有體系上的一致性與完整性。不過，應予注意的是，GDPR第13條第2款（f）項、第14條第2款（g）項只是規定了數據處理開始前應向數據主體提供的信息，意在創建算法控制者的“通知義務”，從而使數據主體了解預期或未來的自動化處理，以便他們決定是否允許自己的個人數據被處理、評估自動化處理的合理性或行使更正權與反對權等其他數據權利。然而，與之不同，GDPR第15條第1款（h）項之規定，不僅包括算法系統功能的一般性事前解釋，包括算法目的、架構與功能以及基礎數據與算法輸出之間的相關性說明等，而且還內含著針對具體算法決策的事后“解釋權”。更重要的是，鑒于GDPR的目的在于增強對數據及數據主體權利的保護，因此，在立法邏輯上，也應對GDPR第15條第1款（h）項所規定的數據處理開始后算法控制者應提供的“有意義的信息”作寬泛解釋，它意味著“相當高標準的可理解性”，對具體算法決策進行解釋則是實現這種“可理解性”的最佳途徑。

綜上，歐盟GDPR第22條第3款以及第15條第1款（h）項雖都未在字面上規定算法“解釋權”，但目的解釋加上體系解釋，以及對歐盟立法中“序言”解釋性功能的正確理解，已使算法決策相對人享有這一權利變得清晰可見。

（二）美國法中的算法解釋問題——兼與歐盟比較

整體上看，源自歐洲人權公約與基本權利憲章的人的尊嚴、自由與自我決定等“權利話語”已深深植根于歐盟數據保護立法之中，因此，即便如信息自由這一如此重要的價值也得讓位于它們。不難看出，“權利話語”下的歐盟數據保護立法賦予了數據主體對其個人數據較強的控制力，以尊重他們的尊嚴及自主性。鑒此，歐盟“一般性禁止”完全算法決策也就不難理解了。不過，為促進大數據產業的發展，歐盟立法并非絕對禁止算法決策，而是允許存在例外。只是，例外情形之下，歐盟立法者仍要求算法控制者確保數據主體免受操縱、歧視或不公平對待。這也是立法者賦予相對人算法“解釋權”的根本出發點。與歐盟“‘一般性禁止+例外”式算法決策規制思路不同，美國法律并未對算法決策作出嚴格限制，而是采用市場主義的開放數據觀，即在“市場話語”下，將個人數據視為一種應受保護的市場利益，立法著眼點在于數據公平交易，并將個人視為數據的交易者進而由聯邦貿易委員會等執法機構保護其不受市場欺詐和不公平對待。實踐中，除一般性要求算法決策不得違反平等原則外，美國法還要求在算法決策中排除種族、性別、膚色、信仰、國籍等可能構成歧視的敏感因素，這與歐盟法的要求相似。

更值得注意的是，與歐盟綜合式立法不同，美國數據保護及算法規制立法呈現“碎片化”狀態，其針對不同行業或領域單獨立法，算法解釋亦因此而有所不同。其中，最突出的要數金融領域的信用評分與量刑領域的風險評估兩類算法決策的解釋問題。

對于信用評分算法，美國《信貸機會均等法》（ECOA）與《公平信用報告法》（FCRA）專門規定了“不利行動告知”條款，其要求貸方就不利的算法評分向金融消費者進行解釋，包括拒絕提供信貸、拒絕錄用或提供保險服務等其他信用評估輸出結果的具體原因，并告知消費者有權就信用報告中不準確或不完全的信息提出質疑。這一規定授予了那些受算法評分不利影響的個人“自動獲知被拒絕的原因的權利”。關于拒絕原因的通知，美國聯邦儲備委員會B條例進一步規定：該通知必須是具體的且應指明采取不利行動的主要原因，僅僅表明不利行動建基于內部標準/政策、或僅表明申請人未能獲得信用評分系統中的合格評分都是不充分的。就其目的而言，“不利行動告知”力圖實現：第一，警示消費者一項對其不利的決策已然作出，以便消費者知曉他們的個人數據正在被自動處理系統使用;第二，教育消費者未來如何改變該不利結果;第三，防止歧視。所有這些恰恰也是歐盟GDPR創建算法“解釋權”的部分目的。然而，美國法上的“不利行動告知”僅著眼于對特定輸入如何產生特定輸出進行解釋，旨在提供與算法決策相關的事實而非對支配決策的算法規則本身進行描述。與之不同的是，歐盟GDPR采用“基于邏輯的解釋”模式，即對自動決策系統的邏輯而非僅僅對決策結果本身進行解釋說明，希望借此幫助個人理解算法決策并為其向于已不利的算法決策提出質疑，或確保個人獲得更好的算法結果奠定基礎。比較而言，美國法上的“不利行動告知”之要求或能對傳統的線性算法輸出進行解釋，但對非線性的機器學習算法也許就無能為力了。因為，當前的信用預測因大數據分析的加持從而轉向相關性分析而非因果關系判斷，簡單的原因列舉自然就無法對基于機器學習的自動化決策之成因進行解釋了。這意味著如果缺乏對系統邏輯的理解，那么算法決策相對人就無法審視決策進而判別是否存在歧視。

至于盛行于量刑領域的風險評估算法，美國并無成文法要求對該類算法決策進行解釋。實踐中，對是否以及如何對風險評分算法進行解釋存在爭議，“盧米斯案”就是最好例證。案中被告認為：法院裁判借助了再犯風險評估算法報告（該算法全稱為“以替代性制裁為目標的懲教犯管理畫像”，其利用個人犯罪記錄等公共數據以及當事人對137項問題所作回答而提供的信息，預測其再犯風險從而為其量刑或假釋提供依據），且該算法作出的風險評估不充分并侵犯了他的正當程序權利。被告因此提出了“打開”再犯風險評估算法之請求。然而，上訴法院（威斯康星最高法院）并不認同盧米斯的訴請，相反，“在算法公平與商業秘密之間，法院……站在了商業秘密一邊”，拒絕支持盧米斯“打開”算法的請求，并最終駁回了他的上訴。即便如此，其中有多數派法官還是坦承：對再犯風險評估算法缺乏理解仍是本案一個重大問題，雖經法庭反復詢問，但當事人對再犯風險評估算法的原理或功能要么三緘其口、要么片言只語;事實上，對這一算法進行解釋仍是必要的。批評者更是指出：“正當程序權利不僅包含知情權……而且還包括一項真正的‘解釋權——被告毫無限制地獲取源代碼以及算法結果所依賴的邏輯的權利”，因此，如果“法庭承認‘解釋權，那么被告將能獲知到底是何種機制在支配這一量刑算法?！比欢?，縱觀“盧米斯案”，無論是初審法院還是上訴法院，均未對再犯風險評估算法的使用作出任何實質性限制或采取措施要求算法控制者讓渡其算法所有權，包括公開量刑算法的源代碼或用簡樸語言對算法的原理、功能及目的進行解釋。顯然，這難讓公眾真正地信服利用算法作出的某項決定是公平公正的。畢竟，算法到底是“徹底根除了人類偏見，還是只不過用技術包裝了人類偏見”尚存疑問，而且，與人類證詞的易讀性與可解釋性相比，“再犯模型的運作完全由算法獨立完成，頂多只有極少數專業人士才能夠理解?！?/p>

四、作為規制手段的算法“解釋權”理論畫像

通過上文分析，可以看出算法“解釋權”已初步被歐美立法者接納（較之于歐美，我國正式立法雖尚未涉及算法“解釋權”，但2018年5月實施的《個人信息安全規范》第7條第10-11款初步規定了這一內容：即數據主體有權對“僅依據信息系統自動決策而做出顯著影響個人信息主體權益的決定”提出申訴，數據控制者應于30天內或法定期限內給予“答復及合理解釋”）。此外，司法裁判者亦逐漸意識到算法解釋的重要性。例如，在“Patel訴Zillow案”中，美國聯邦第七巡回法院即要求案中被告Zillow公司對其房屋估價算法進行解釋，且強調算法決策過程應能被有效解釋。同樣，我國亦有法院在審理與算法決策有關的侵權糾紛案件時，對算法解釋給予了足夠的重視。只不過，在理論層面，立法者或司法裁判者尚未對算法“解釋權”進行充分論證。為此，有必要進一步對算法“解釋權”的內涵及價值等進行闡釋，以強化其在立法或司法上的正當性基礎。

（一）算法“解釋權”的內涵

數據時代，算法控制者基于海量數據運算從而配置社會資源并逐漸掌握了一種新興的“算法權力”。為對抗這種復雜而又難以理解的技術權力，一個行之有效的途徑就是增強算法決策的透明度進而提高其可理解性與問責性。算法“解釋權”就是通過賦予個人對算法決策的解釋權利進而實現對“算法權力”濫用的適度制約。不過，作為一項規制不當算法決策的法律工具，算法“解釋權”應被理解為個人數據“權利束”的一部分，其內含于“個人數據保護權”（“個人數據保護權”不是絕對權，它強調本人對其個人數據及其處理的控制，但這種控制利益反過來不得阻礙信息自由、公眾知情等其他權利;實現方式上，“個人數據保護權”主要通過賦予個人對其個人數據的訪問權、更正權、刪除權等一組具體的權利來保障個人對其個人數據使用的合理控制），且可從以下三個方面來認識這一權利：

第一，本質上，算法“解釋權”是一種請求權，即當一項算法決策對相對人構成法律或其他類似重大影響時，該相對人即有權向算法控制者提出異議，并可要求其提供關于算法決策的解釋進而請求更正錯誤或不當的算法決策等。另根據歐盟立法經驗，“法律或其他類似重大影響”主要指純粹的算法決策對相對人法律地位、權利或自由構成了不利影響，或者在此之外，對算法決策相對人個人境遇、行為或選擇、社會評價等產生不利影響，并因而使其受到歧視或被限制/剝奪某種權利或機會。這一限制性要求旨在提高權利行使門檻，避免“解釋權”被濫用，從而保障算法決策的合理利用，實現個人權利保護與大數據產業發展的平衡。進一步而言，算法“解釋權”與個人其他數據權利，例如知情權、更正權、反對權、刪除權等緊密關聯：首先，作為知情權的一部分，算法控制者應于數據收集階段以及數據處理啟動后，告知數據主體是否存在算法決策;其次，若因數據錯誤導致不利算法決策，那么相對人可要求算法控制者根據其提供的準確數據或在刪除錯誤數據后重新進行決策，此時，算法“解釋權”與數據更正權或刪除權發生交錯;若不利決策系由不當的或錯誤的算法所致，那么相對人既可要求算法控制者修正算法，亦可拒絕進行該項算法決策，從而與數據主體的反對權發生交錯。

第二，就權利義務主體而言，算法“解釋權”權利主體為受算法決策不利影響的相對人（該相對人僅為自然人，法人不在此列）;相應地，新興的網絡服務提供者以及保險公司、信貸機構等傳統的算法應用平臺等系義務主體。另外，若算法非這些算法使用者自行設計，那么它們可請求算法設計者承擔相應的協助解釋之義務。

第三，算法“解釋權”中最核心的問題當屬解釋的標準與內容。通常，向幾乎等同“算法文盲”的數據主體披露源代碼或算法工作原理的復雜數學解釋幾乎沒有實際意義，要求算法控制者以簡明的自然語言解釋算法決策相關信息才是關鍵所在。正如歐盟《一般數據保護條例》第12條第1款所規定的，算法控制者有義務以“簡潔、透明、易懂和易獲取的形式并以清晰直白的語言”向數據主體提供必要的信息。簡言之，算法控制者應以易于理解的信息向算法決策相對人作出解釋說明，以便后者能自主地理解算法決策。這些信息包括算法決策所需數據及其類別、權重、相關性解釋，以及個人“畫像”如何建立、它與決策過程相關性的說明以及是如何被用于涉及個人的算法決策等。算法控制者還應考慮采用可視化與交互技術等技術手段來增進算法透明度，保證這些信息既是充分的也是可被理解的?？傊?，算法控制者應以簡便方式將算法決策背后的基本原理及依賴的標準告知算法決策相對人，雖然這些信息不一定是對算法的復雜解釋或將算法的全部予以披露，但至少它們應能保證相對人充分理解決策的原因。這也意味著算法“解釋權”力圖實現的并非算法的完全透明而是一種適當的高質量透明度。

（二）算法“解釋權”的價值

算法“解釋權”之于算法決策相對人乃至算法控制者自身而言，均具重要意義：

其一，它關乎個人的自主、尊嚴及人格。如上所言，人類決策者往往會過于強調自動化決策的客觀性，進而依賴甚或盲目遵從這一所謂的“決策權威”，直至放棄自己本應承擔的審查責任。但另一方面，人們對缺乏解釋的系統的擔憂通常都是發自內心的，尤其是將解決問題或作出決策的任務托付給算法系統將導致人際關系凍結、人類自由與自主被剝奪以及人類最終將被排除在勞動力市場及決策任務之外。質言之，對自動化決策“缺乏任何有意義的參與將導致人們的無力感與脆弱感”，從而產生丹尼爾·索洛夫所稱的“非人化”狀態。通常，人格某些方面的不可計量性更多是人類狀態使然而非僅僅是算法建模不足的結果，這在很大程度上決定了自動化決策通常只是建基于自然人不完整的“畫像”。因而，有必要讓那些受算法決策影響的個人對算法所呈現或塑造的生活方式保留某種程度的控制，從而“確保人類在建構自身的過程中由其自己而非他的‘數據陰影發揮關鍵作用”。概言之，既然算法控制者可能利用優勢地位操縱或歧視數據主體，導致他們無從知曉或參與算法決策以至于無法提出異議，那么立法上就應賦權他們，以使這些“數據化”的個人了解自己如何被算法評價或排名，且有權要求算法控制者放棄或修改對其不利的自動化決策，這不僅是算法解釋的應有之義，也是算法正義的內在要求，更是對人的自主、尊嚴及自由人格的尊重。

其二，算法“解釋權”便于個人對算法決策是否公平公正提出質疑，是實現算法正義的重要途徑。一般認為，正義觀念包含程序正義（關注決策過程及邏輯）、分配正義（根據個人的環境、表現或貢獻公平地分配積極或消極的決策后果）、互動正義（人們受到有尊嚴的對待、獲得決策者的尊重）以及信息正義（就決策程序及結果向當事人提供相應的信息與解釋）等具體方面。很多時候，人們不僅僅關心決策結果是否惠及于自己，更在意決策結果是否符合公平正義標準，而決策過程信息在證明結果是否公正方面發揮著異常重要作用?？梢?，算法控制者提供算法的解釋符合信息正義的要求，也有助于人們對系統邏輯（即程序）是否公正進行評估。一旦某項決策被認為符合程序正義，那么該決策更大可能也會被認為符合分配正義。其實，無論機器學習能力有多強，希望它能理解公平正義的概念都為時尚早。因為，公平正義是一個抽象的、難以量化的概念。這不僅意味著公平正義概念難以被置入算法之中，而且更難以指望算法決策系統自身提供用以判斷正義與否的信息。因此，唯有依靠算法控制者輸入公平公正的數據來實現正義，且在必要時對算法輸入與輸出進行解構。正所謂：“如果我有更正權，那么我就需要看得出錯誤;如果我有權反對歧視，那么我就需要知道哪些要素被用于決策。否則，信息不對稱就會使這些重要的法律權利變得毫無意義?！?/p>

其三，算法“解釋權”有助于消弭個人與算法控制者之間的數字鴻溝，不僅是個人對抗“算法霸權”的有效工具，而且也是算法控制者贏得消費者信任的重要手段。算法社會中，算法控制者不僅設計算法、進行編程，而且還能決定如何使用、何時使用以及出于何種目的使用算法。他們掌控著“算法權力”，并利用這一權力對個人進行分析、預測進而作出分類、篩選或其他重要決策，提供算法“燃料”的數據主體將因此受到顯著影響以及那些難以覺察的算法妨害，但很多時候他們對此卻無能為力。這種由算法塑造的新興社會關系已非單純的市場關系，而是一種支配關系。很大程度上，這是因為算法這種極為復雜的技術拉開了個人與算法控制者之間的能力差距，且后者享有某種獨有的知識性權威。因此，賦權個人在遭遇不當算法決策時請求算法控制者進行解釋的權利，能有效彌補個人面對算法控制者時的弱勢地位，進而實現兩者之間的權力再平衡。相反，若無從了解算法決策“有意義的信息”，那么相對人也就難以對于己不利的算法決策提出質疑，從而無法尋求損害救濟，包括要求算法控制者更正決策結果、停止自動化處理等。隨之而來的，將是他們逐漸喪失對智能算法的信任，直至以拒絕使用那些數據驅動的產品或服務的方式主動化解可能遭遇的權利或隱私危機。這意味著算法應用平臺賴以生存的基礎——“數字信任”——行將崩潰，最終受損的終將是算法控制者自身。很多時候，人們訪問網站、搜索查詢、網上購物并提供他們的個人數據時，是因為他們相信這些交易相對方在提供數字商品或服務時不會損及他們的利益。若算法控制者過度利用甚至違背這種信任，消費者顯然就會“用腳投票”。因此，可以肯定地說，公眾的信任關系到智能算法這一顛覆性技術應用的未來走向，而要求算法控制者承擔解釋說明義務正是建構此種信任關系的途徑之一。

五、算法“解釋權”的限度

誠然，通過對算法決策背后的邏輯或決策過程乃至決策背后的原因與理由進行解釋說明有助于防止錯誤并增加信任，而且發生爭議時，還可通過這一解釋來確定所適用的某種標準是否適當。然而，較之于一般性對象的解釋，算法的解釋有其特殊性，其受技術及法律的雙重影響，這將對算法“解釋權”功能的發揮產生一定程度的制約。

（一）技術挑戰——動態算法的可解釋性難題

與公開源代碼相比，以自然語言對算法預測所依賴的邏輯以及算法輸出等進行解釋才是真正有意義的。這是個人就對其不利的算法決策發表意見或提出異議的基本前提。本質上，算法“解釋權”建基于算法的可解釋性。后者可分為兩類：一是算法模型是如何運行的，此謂“功能解釋”;二是算法行為的事后解釋，即算法模型到底帶來了什么，包含自然語言的解釋、算法模型的可視化并能通過舉例進行解釋。一定程度上，算法可解釋性乃至可視化是一個可以用技術解決的問題。谷歌公司最近公布的一項研究成果表明，算法可解釋性至少在技術上是可行的。研究人員指出，由于神經網絡正在不斷取得成功，所以，能夠解釋它們的決策就變得至關重要。為此，研究人員探討了如何運用可視化技術以及其他可解釋性技術來解構神經網絡如何進行決策，初步解決了這種難以捉摸的算法的可視化問題。盡管如此，仍不能忽視算法尤其是機器學習等動態算法可解釋性的技術挑戰。

正如我們所知，解構“算法黑箱”是如此不易，即使數據控制者愿意披露他們的算法，現代互聯網也為我們理解這些算法設置了巨大障礙……不管是職員的工作績效、網絡相關性還是投資回報率，都是基于工程師們設計出的復雜算法并由大量律師保駕護航。由于透明度本身，包括算法的運行規則、創建及驗證過程的完全公開，并不等同算法解釋，因此，有時即便所有這些信息都被公開，仍可能無法理解算法過程的結果，披露源代碼雖有助于對系統設計進行審計，但對系統輸出可能就無能為力了。如果是動態算法，那么可解釋性問題將更趨復雜。因具有自我學習能力，機器學習等動態算法一定程度上能自行“感知—思考—行動”，這將構成算法可理解性的障礙或增加算法的解釋難度。此時，即便最初公開的代碼與數據是可解釋的，也將不再有意義。然而，無論如何，算法的復雜性不應成為算法控制者不提供任何解釋的借口，更不意味應該放棄承認或授予個人算法“解釋權”。所謂“機器學習模式下根本不可能要求算法控制者‘解釋具體決定的邏輯和個人數據的權重”的看法過于悲觀。相反，如果算法過于復雜以至于無法用簡易語言進行解釋，那么這一點就應披露，只有這樣，人們才可了解這是一個可能與任何明確解釋或因果理論無關的黑箱。而且，即使無法具體解釋算法是如何產生結果的，算法控制者也應對其所使用的算法決策負責。

（二）法律挑戰——“解釋權”與知識產權的緊張關系

不可否認，披露算法決策系統“有意義的信息”面臨著商業秘密保護的法律挑戰。實踐中，幾乎所有的算法系統都被算法控制者視作為商業秘密，它們一般會拒絕將算法決策系統得以運行的方法與邏輯公之于眾。正如索尼婭·卡塔爾指出的，“算法雖已在不同群體之間造成了大規模歧視，但因算法被認為具有客觀性且蘊含著商業秘密，所以法律對此無能為力……這已成為增強算法問責制與透明度的主要障礙之一?！绷⒎ㄕ呱踔烈渤姓J，毫無限制地要求算法控制者披露自動化決策系統的信息可能會對它們的知識產權構成不利影響。因此，有立法者強調：作為例外，數據主體行使知情權或訪問權不應對其他當事人的權利或自由構成不利影響。但矛盾的是，立法者也不忘指出：算法控制者不得以保護商業秘密為借口拒絕數據主體的訪問或向其提供信息。顯然，立法者正竭力緩和數據主體的知情權以及算法“解釋權”與算法控制者享有的知識產權之間的緊張關系。

不得不承認，某種程度上的算法秘密具有合理理由。然而，較之于知識產權，保護個人隱私與數據權利等不因算法決策而受到減損則更為重要，因為它們關乎個人的自主及尊嚴。況且，也沒有證據表明算法的“失密”一定會阻礙創新;因此，至少應該向受算法決策不利影響的當事人進行充分且有意義的說明，使其有機會介入算法評估過程，了解算法預測類型、輸入數據以及算法邏輯等信息，以便他們對阻礙其獲得信貸、工作、住房或其他重要機遇的算法決策提出質疑或挑戰。這也是“技術正當程序”的必然要求。相較于算法控制者，一般公眾幾乎都是“算法文盲”，很多時候，他們都是在被動接受算法控制者推薦的服務、產品或某種對其構成重大影響的評估結論。顯然，這與正當性原則相悖，并將因此引發算法的合法性危機。因為，如我們所知，合法性一般以正當性為基礎，這樣，合法性信念就退縮成為一種正當性信念，滿足于訴諸作出一種決定的正當程序。

進一步而言，若算法源代碼及其功能的大范圍披露會損害商業秘密，那么僅在個案中向單個數據主體披露并不會對算法控制者的商業利益構成影響，況且，個案中的當事人還會被要求遵守保密規定。更重要的是，算法“解釋權”意在使算法決策相對人有機會在充分知情的情形下主張自己的權利，其只是要求算法控制者以自然語言或可視化技術對算法邏輯尤其是輸入數據與輸出結果之間的相關性進行解釋，而非將包含商業秘密的算法工作原理或源代碼直接向當事人公開。事實上，這樣做也無實際意義，因為普通人幾乎都無法理解高度專業的源代碼或算法工作原理的復雜數學解釋，且算法固有的模糊性亦非披露源代碼這種簡單透明度要求所能完全解決。正因如此，立法上并未簡單要求算法控制者披露其源代碼或限制他們可以使用的算法類型。而且，就證明決策過程是否公平而言，披露源代碼既不必要也不充分。當然，為回應因公開源代碼或算法邏輯而引起的知識產權、數據隱私以及安全原因等方面的擔憂，可考慮通過可信的第三方作為數據仲裁者介入算法的決策過程，由其對可能造成隱私或其他權利損害的算法進行核查并對算法決策提出質疑。如此一來，既可回應算法控制者對商業秘密或數據庫權利的關切，也能兼顧公眾尤其是受算法決策不利影響的當事人的正當權利。

毋庸諱言，行使算法“解釋權”面臨一定挑戰：一是以人類可理解的形式表達機器邏輯仍存在一定困難;二是算法控制者還有強烈動機拒絕披露更多的算法信息，以保障權自身商業秘密或避免損害其他當事人的隱私等權利與自由。此外，若無外部法律或專業援助，那么僅靠算法“解釋權”來保護數據主體權利意味著他們在質疑算法決策時要承擔首要且繁重的義務。然而，這些挑戰并非不可克服，更不能因此而放棄或拒絕賦予個人要求算法控制者提供算法解釋的請求權。整體上看，算法“解釋權”仍是一種用于質疑算法決策的重要法律工具，既能為相對人反駁于已不利的算法決策提供法律支撐，而且還將增進他們乃至整個社會對算法技術與算法決策的信任?？傊?，算法“解釋權”雖存在上述挑戰，但賦予相對人這一權利的社會及倫理價值并未受到影響，它不僅“符合公平正義的價值取向，也符合人工智能時代的需求和特征”，更是實現算法正義的重要路徑。

六、結語

與一般決策相比，那些可能對個人自由或權利產生重大影響的決策，如法庭裁決、雇傭或解雇、入學、升職、金融服務供給等，經常飽受爭議，因此，它們需要更高水平的問責制。人類決策尚且如此，算法決策就更不例外了。然而，那些旨在避免人類武斷決策并保證該決策可信與正當的傳統制度安排，包括資質要求等聲譽機制以及通知、參與、異議、救濟等決策約束程序，在算法決策面前均顯失靈。加之，人類大腦一定程度上雖也是“黑箱”，但較之于冰冷的“算法黑箱”，人們更可能容忍前者。畢竟，人類決策的“黑箱”往往是隨機而非系統的。而且，人類的道德感使之具有一定程度的自我糾錯與反省能力，而冰冷的算法則不然。就此而言，立法上賦予個人對一項于己不利的算法決策的解釋請求權也是理所應當。只是，賦予數據主體法律上的“解釋權”只是一個好的開始，但絕非結束，其必要但并不充分。因此，不僅需要圍繞算法“解釋權”建構知情、參與、異議等新型的數據“權利束”，還需要更多元的算法決策規制手段，其中包括：

第一，建立算法決策事前評估機制。鑒于事后救濟的滯后性，因此，加強事前評估可能更有助于保護個人免受算法妨害?？少Y借鑒的立法例是歐盟GDPR第35條之規定。該條款要求算法控制者進行事前的“數據保護影響評估”：即當數據處理尤其是適用新技術進行的數據處理，包括建立在自動化處理基礎之上的個人評價或評分且對個人產生法律或類似重大影響的數據處理、大規模個人敏感數據處理以及系統性數據監控，可能妨礙個人行使權利、阻止其訂立合同或獲得服務時，算法控制者即應提前對數據處理行為對個人數據保護造成的影響進行評估。作為一項關鍵的問責工具，“數據保護影響評估”可促使算法控制者對所有的算法決策，包括完全依賴自動處理而進行的決策以及部分的自動化決策可能導致的風險進行評估，進而將算法決策及其適用邏輯告知數據主體、解釋自動化處理的意義及可能后果并為他們提供反對算法決策的方法或手段，包括允許其表達意見。

A29WP： A29 WP， Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679， 17/EN. WP 251rev.01 （Feb. 6， 2018）.

第二，授權算法監管機構訪問算法控制者的自動化決策系統，通過官方力量而非完全依賴個人對算法決策系統的偏見、隨意性以及不公平性進行監督或監測，包括對算法控制者用于算法決策的數據庫、源代碼以及被嵌入算法系統的那些變量、相關性以及推論等進行審查。為使該等審查更具意義，算法監管者或其技術專家須能有效地對算法的邏輯進行評估，并能查驗與群組區分緊密相關的模式與相關性是否不適當地考慮了種族、國籍、性別以及性取向等涉嫌歧視或造成不公平的因素，

Danielle Keats Citron & Frank Pasquale， The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 1， 24-25 （2014）. 并且具有適當的權力與能力改變不當的自動化決策。尤其是，鑒于算法評估的敏感性以及對弱勢人群的負面影響，因此，算法決策應用于就業、保險以及醫療衛生等領域時可要求其符合許可與審計要求，而非僅依靠算法控制者自律。

Danielle Keats Citron & Frank Pasquale， The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 1， 20-22 （2014）.

第三，當發生算法決策系統性歧視等大規模侵害事件時，可考慮由代表機構代替個人行使救濟權利。例如，歐盟GDPR第80條第1款、第2款規定：數據主體有權委托第三方機構提出申訴、行使司法救濟權以及獲得賠償的權利，成員國法律也可規定第三方機構無須獲得數據主體同意即可向數據監管機構提出申訴，行使司法救濟權。另外，在算法決策侵權訴訟中，

當事人因算法決策而遭遇歧視或其他類型算法妨害時，可將導致妨害的算法決策行為作為權益侵害類型而主張權利。參見丁宇翔：《跨越責任鴻溝——共享經營模式下平臺侵權責任的體系化展開》，載《清華法學》2019年第4期，第118-119頁。 還可借鑒上海金融法院針對群體性證券糾紛而采用的“示范案例”判決機制（“示范案例”判決機制的核心在于：“示范案例”認定的共通事實和確立的共通的法律適用標準對平行案件具有擴張效力），以降低算法決策相對人維權成本、提高算法決策糾紛解決的效率。

總之，為確保算法控制者以理性方式將算法運用到各種場景之中，在算法“解釋權”之外，還應要求其增強內部治理、強化算法決策監管或第三方的監督檢查等，以實現最大程度的算法正義，這也是算法驅動的大數據產業可持續發展的客觀要求。

Regulating Algorithmic Decision：

Focusing on the Right to Explanation of Algorithm

XIE Zhengshan

（Law School， Shanghai University of International Business and Economics， Shanghai 201620， China）

Abstract：

As a part of economic and social system， algorithmic decisions are creating remarkable social and economic value; on the other hand， they are often questioned by the public， because some unjust predictions or deductions have been made by them， even individual autonomy and dignity have been impaired by their decisions. Seeing that algorithm cant resolve nuisance created by itself， and that there is information or power asymmetry between algorithm controller and data subject， it is necessary that right to explanation of algorithm should be granted to data subject， so as to strengthen its right to object adverse algorithmic decision， then to promote algorithmic justice and to protect individual autonomy and dignity. However， right to explanation may be necessary but insufficient， because its hard to be interpreted and there are tensions between right to explanation and trade secrets. Because of this， algorithmic decisionmaking should be synthetically regulated， including the enhancement to social control and optimization of algorithmic application regulation.

Key Words： ?algorithmic decision; algorithmic nuisance; right to explanation; algorithmic justice

本文責任編輯：李曉鋒

收稿日期：2019-11-03

作者簡介：解正山（1973），安徽六安人，法學博士，上海對外經貿大學法學院副教授，法學博士。

①Brent Mittelstadt et al.， The Ethics of Algorithms： Mapping the Debate， Big Data & Society， 2016， pp.1-21.

②Robert Brauneis & Ellen P. Goodman， Algorithmic Transparency for the Smart City， 20 Yale Journal of Law & Technology 103， 113 （2018）.