人工智能犯罪風險評估“算法歧視”現象及其規制路徑

馬皚 宋業臻

摘要：隨著人工智能技術的不斷發展，犯罪風險評估工具逐漸開始了智能化的演進。域外司法實踐中使用的智能化犯罪風險評估工具并沒有解決“算法歧視”的問題?！八惴ㄆ缫暋钡某梢蚴菑碗s的、多層次的。結合傳統算法規制的分析框架，從問題建構維度和模型設計維度，能夠對人工智能犯罪風險評估“算法歧視”的成因進行深入分析，并據此對算法規制的算法公開、個人數據賦權、研發過程規制與審核，進行特定場景下的路徑探索，為走出人工智能犯罪風險評估所面臨的“算法歧視”困境提供理論支撐。

關鍵詞：犯罪風險評估;算法歧視;人工智能;算法規制

中圖分類號：DF792.6;B84 ? 文獻標志碼：A ? ?文章編號：1001-862X（2022）02-0119-009

中央網絡安全和信息化委員會印發《“十四五”國家信息化規劃》指出：“信息化進入加快數字化發展、建設數字中國的新階段?！敝泄仓醒?、國務院印發《法治政府建設實施綱要（2021—2025年）》明確提出“健全法治政府建設科技保障體系，全面建設數字法治政府”的新要求。為了響應國家數字化發展的號召，刑事司法領域主動與大數據、人工智能領域協作，開展了一系列國家重點研發計劃，如“犯罪嫌疑人特征精確刻畫與精準識別”“職務犯罪智能評估、預防”等一系列以人工智能犯罪風險評估為主題的跨學科科研項目，并取得了一系列初步科研成果。在人工智能犯罪風險評估領域，域外人工智能犯罪風險評估科技成果在進入社會應用階段之后，引發了大量關于“算法歧視”的社會爭議，甚至激化了社會矛盾。如何借鑒域外經驗教訓，在促進我國人工智能犯罪風險評估領域發展的同時，從“算法的場景性”角度切入，探索人工智能犯罪風險評估場景下的算法規制路徑，走出“科林格里奇困境（Collingridge’s Dilemma）”（1），成為了我國人工智能犯罪風險評估領域發展的一項緊迫任務。

一、人工智能犯罪風險評估領域的“算法歧視”陷阱

人工智能犯罪風險評估一方面指的是依靠計算機視覺、語音識別、情感計算、復雜系統等前沿人工智能技術對犯罪行為、犯罪心理現象進行更加復雜的經驗分析，形成新的犯罪行為成因推斷與風險預測理論;另一方面指的是依靠人工智能復雜算法提升傳統犯罪風險評估工具的統計分析能力，形成升級迭代的犯罪風險評估工具。目前，國內外人工智能犯罪風險評估主要在犯罪風險評估工具迭代升級方向上發力，形成了一些技術成果，但是由于技術尚未完全成熟，導致人工智能犯罪風險評估存在規?；瘧玫牟淮_定性。

（一）域外人工智能犯罪風險評估的“算法歧視”現象

人工智能犯罪風險評估領域的“算法歧視”現象，最早出現在人工智能風險評估工具取得廣泛社會應用的美國佛羅里達州。美國普利策獎得主非盈利性新聞機構ProPublica調研了佛羅里達州布勞沃德縣的重新犯罪風險評估情況，將被逮捕的一萬余人的風險評估結論與實際發生的重新犯罪率進行比較，并于2016年5月23日公開聲稱應用于美國司法實踐中的犯罪風險評估系統COMPASS存在種族歧視，“系統在正確預測白人或者黑人的重新犯罪率方面是正確的，但是黑人比白人被評估為高風險結論的概率高兩倍”。[1]隨后，2016年6月8日，COMPASS的研發機構Northpointe書面回應稱：“佛羅里達州布勞沃德縣的審前樣本不存在種族歧視現象，ProPublica未考慮黑人和白人在重新犯罪上的分類統計數據，評估工具《一般重新犯罪風險評估量表（GRRS）》和《暴力犯罪的重新犯罪風險評估量表（VRRS）》對黑人和白人具有等同效用，誤認為存在種族歧視現象是因為混淆了‘未重新犯罪但是被評估為存在風險的概率’與‘被評估為有風險（風險較高）但是未重新犯罪的概率’而導致出現對‘算法偏見’的錯誤認知?！甭槭±砉た萍荚u論在2017年跟蹤報道了這一爭議，將“算法偏見”問題正式提上了社會公眾關注的議程。

（二）我國人工智能技術應用中的“算法歧視”現象

由于人工智能犯罪風險評估科技成果尚未在我國取得實踐場景的廣泛應用，我國法學界尚未充分關注人工智能犯罪風險評估的“算法歧視”問題。不過由于人工智能技術在商業、社會等領域取得了較廣泛的應用，法學界對商業與社會領域中“算法歧視”現象已有較為廣泛的討論。李成指出：我國法學界使用“算法歧視”來統攝人工智能的“公正性論題”，“綜觀相關研究，算法歧視概念框架實際納入了兩類構型相似但性質迥異的歧視”，一種是“反壟斷語境下的價格歧視”，另一種是“平等權語境下的身份歧視”。[2]毫無疑問，人工智能算法的歧視與偏見會對我國的社會秩序構成極大的挑戰，尤其是在司法實踐中的應用如果不能得到合理有效的控制，將會對我國法律的一些基本原則構成挑戰。[3]丁曉東將這些挑戰總結為“算法黑箱對知情權與自主決策的挑戰”“對個體隱私與自由的威脅”“算法歧視與偏見”三大類。[4]關于形成這些挑戰的成因，李曉輝將其中“算法黑箱”的成因歸為商業秘密的保護，即盈利性實體為了獲取商業競爭力而完全不公開報告關于自身智能算法的計算表征與決策方式。[5]

同時，“傳統算法規制路徑面臨的困境根本原因在于忽視算法的場景性，算法可能由于運用算法的主體不同、針對的對象不同、涉及的問題不同而具有不同的性質”。[4]具體到刑事司法領域的人工智能技術應用場景，李訓虎認為，“我國刑事司法領域中的人工智能應用的法理難題在于：智能輔助辦案系統會加劇已有偏見”，進一步具體到犯罪風險評估領域，人工智能應用的法理難題可以被歸納為“智能化風險評估工具的使用會造成對特定群體的歧視”。[6]

二、人工智能犯罪風險評估中“算法歧視”的成因

造成“算法歧視”現象的成因是復雜的，目前較為全面的分析框架是“四維度歧視嵌入路徑”分析法，具體包括：“問題構建維度、數據理解維度、特征選擇維度和個人信息維度”。[2]其中，“數據理解維度”主要指的是“樣本代表性”方面的問題，“個人信息維度”主要指的是個人信息泄露或開發者的非規范化使用導致的采樣偏差從而引發算法研發的歧視問題，“數據理解維度”和“個人信息維度”屬于模型設計研發的一個必要環節，同時，“特征選擇維度”是算法模型設計研發的另一個必要環節，可以被統稱為模型設計維度。以下將從問題建構維度和模型設計維度分析具體到人工智能犯罪風險評估場景，對“算法歧視”的產生原因進行分析。

（一）問題建構維度：犯罪風險評估理論的固有局限性

當前國際主流的犯罪風險評估理論與工具，已經進行了五代革新升級，但是，多輪迭代升級并未解決理論層面的固有局限。

第一代犯罪風險評估理論與工具出現在1920年代，其目的是服務于“罪犯康復治療”，由專業人員進行臨床的半結構化評估，工具中不包括驗證與決策的統計機制。[7]第一代犯罪風險評估工具由于其評價方式過于主觀，并且幾乎沒有預測功能而逐漸衰落。[8]

第二代犯罪風險評估理論與工具將統計學中的回歸模型納入風險預測環節，對評估工具進行了優化，工具的預測效度有所提升。第一代到第二代犯罪風險評估理論與工具的演進，其底層價值觀方面有著根本性的變化，從“半個性化的治療”（Semi-Personalized Treatment）轉向了純粹的預測，體現了“新刑罰”（New Penology）的變化——“由康復治療轉向更加行政化的人口管理，幾乎完全依靠（使犯罪人）喪失行為能力來降低重新犯罪風險”。[9]第二代犯罪風險評估工具的推廣及其底層價值觀的變遷，使得在20世紀70年代之后，被認為存在一定程度重新犯罪風險的罪犯均受到監禁，美國的監禁率大幅度提升，但是大幅度的監禁也帶來了被監禁人群的“棘輪效應”（Ratcheting Effect）[10]、監禁邊際回報率逐年降低和個體層面的重新犯罪率不降反升等社會問題出現。[11]第二代犯罪風險評估理論更多地是從犯罪行為史、年齡等靜態因素進行犯罪風險預測，嚴重地依賴歷史數據對未來進行預測，很容易將社會結構性歧視引入評估模型，造成更嚴重的社會不公平。

第三代犯罪風險評估工具為了解決第二代犯罪風險評估工具過于依賴靜態因素、歷史數據的問題，進一步引入了“犯罪（犯因性）需求”（Criminogenic Needs）等更加側重于強調心理特征的動態因素。

第四代犯罪風險評估理論則是在第三代的基礎上，進一步將動態因素擴展到智力、自尊心等因素上，第三代與第四代犯罪風險評估形成了一個一體化的“混合風險/需求模型”（Hybrid Risk/Need Model）。

第五代犯罪風險評估理論將人工智能、機器學習等新技術引入了犯罪風險評估工具的研發中。第五代犯罪風險評估理論與工具中又包括兩種研究路徑，一種是在歐美第四代犯罪風險評估工具的基礎上，將機器學習甚至深度學習等智能模型替換掉傳統的線性回歸模型，是“計算模型的復雜化”;另一種是我國犯罪心理學與人工智能技術的深度融合，開發出理論、技術、應用多層次整合的犯罪風險評估工具。[12]第五代犯罪風險評估理論與工具中“計算模型的復雜化”分支，解決了第四代犯罪風險評估工具線性回歸模型計算過程過于簡單，應用于實踐中誤差率高、系統抗噪聲性不強的問題。而多層次整合的犯罪風險評估工具由中國心理學會法律心理學專業委員會、中國政法大學犯罪心理學研究中心進行理論研究與架構設計，由青島認知人工智能研究院進行系統整合與系統開發，自2018年開始在全國12家監獄進行了為期兩年系統試運行與效果驗證，試驗參與者超過2000人，積累數據量大于400萬條，2019年該試驗項目與技術裝備進入中國科學技術協會《2019前沿科技成果推介手冊》。

回顧五代犯罪風險評估理論與工具的發展，其核心問題是如何通過已知的數據和信息推斷犯罪行為未來的發生概率，采用的主要方法是對比已經發生犯罪行為的個體與未發生犯罪行為的個體在年齡、行為史、心理特征等靜態、動態因素上的差異性，故當代犯罪風險評估工具也被稱為“精算風險評估”（Actuarial Risk Assessment）。但是上述五代犯罪風險評估工具由于理論假設與根本方法論并未改變，故均存在過分依賴數據統計的局限性，主要體現在模型建立的過程中“統計系統會重現數據中的歧視模式與歷史偏見模式”。[13]

總而言之，在人工智能犯罪風險評估工具的問題構建階段，由于犯罪風險評估理論依賴歷史數據固有的局限性，導致“算法歧視”現象被自然地構建進理論設計中。

（二）模型設計維度：算法可解釋性的錯誤聚焦

在模型設計維度，人工智能犯罪風險評估工具大量使用了目前主流的人工智能深度學習模型，由此形成的人工智能犯罪風險評估工具在應用過程中主要表現為：輸入被評估者的個人信息，直接輸出犯罪風險預測等級或者指標的“端到端”（End to End）式的風險預測模型。而人工智能深度學習模型目前面臨嚴重的“算法黑箱性”質疑，由此“端到端”的犯罪風險評估與預測技術，也同樣面臨著對深度學習技術本身的“算法黑箱性”質疑。為了解決深度學習技術的“算法黑箱性”問題，人工智能領域提出了算法可解釋性的研究方向，但是算法可解釋性如果聚焦方向有偏差，則無法解決人工智能犯罪風險評估工具的“算法歧視”問題。下面主要從算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題和人工智能犯罪風險評估能否利用算法可解釋性規避“算法歧視”兩個層面詳細闡述。

第一層面：算法可解釋性能夠在何種程度上解決“算法黑箱性”的問題？

首先，算法可解釋性從何而來？算法可解釋性主要為了回應對人工智能深度學習技術本身的質疑與對技術應用的質疑。

對技術本身質疑的主要問題是：其一，深度學習技術所采用的深度神經網絡模型是高度復雜的模型，模型中存在大量的自由參數，如在圖像識別領域取得了巨大成功的AlexNet模型，其中包含了超過6200萬個自由參數，導致了在學習與預測任務中出現了很多不可預期的結果;其二，使用一些“對抗性實例”（Adversarial Example）就會破壞深度神經網絡的識別與預測的準確率。通俗而言，只需要對輸入數據進行一些人類幾乎感知不到的細微調整，就會發現模型輸出發生巨大的變化，尤其是對一些類似于白噪聲的毫無實際意義的輸入數據，模型卻判定其符合預測標準的置信度接近百分之百，這意味著深度神經網絡模型在任務判別與信息計算方面與人類感知加工信息的方式完全不同。

對技術應用質疑的主要問題是：其一，道德與倫理方面，應當確保智能化犯罪風險評估工具不會對人口中的亞群體產生損害性的影響。其二，與知識有關（Knowledge Related Consideration）的方面，工具的用戶并非計算機專家，因此用戶自身不可能自己開發基于算法的解決方案，也幾乎不能夠理解算法是如何開發的，尤其是復雜統計和深度學習技術，用戶距離理解技術還有較大距離。其三，方法可靠性（Methodological Soundness）方面，當前，世界各地已經陸續頒布了相關規范性文件，如《歐洲一般數據保護條例》（European General Data Protection）授予最終用戶可以要求提升處理信息透明性的權利。這些方面均是將人工智能技術的透明性、可解釋性與“信任”概念關聯起來，既希望一個解決方案能夠服務社會，又不會對社會公眾產生傷害。

其次，算法可解釋性是什么？算法可解釋性指的是“使用人類可理解的術語提供解釋的能力”，“可解釋的術語”與“解釋”是兩個關鍵因素。在理想的情況下，“解釋”應當以“邏輯決策規則”的形式出現，即“如果……那么……”形式的規則，或者能夠很容易被轉化為邏輯決策規則的形式;“可解釋的術語”則與專業領域知識密切相關，比如人工智能計算機視覺中可以用于解釋的術語是人類視覺的相關概念（圖像中的顏色塊、圖像中客體的材料、圖像的紋理）。

簡言之，算法可解釋性包括兩個重點：一方面要分析存在黑箱性問題的算法是如何進行計算的，以人類可以理解的方式闡明其計算規則;另一方面要結合具體應用場景，從場景相關專業知識角度分析為什么要這樣計算、這樣計算是否具有科學性和合理性。

最后，目前的算法可解釋性研究已經解決了哪些問題，還未解決哪些問題？算法可解釋性研究目前已經解決以下三方面問題：其一，被動與主動維度（Passive-Active Approach），根據是否需要改變網絡結構或者優化流程，不需要對網絡結構與流程改變，直接從已經訓練好的深度神經網絡出發，從中抽取計算與決策規則的研究，被稱為被動解釋;需要在訓練網絡之前進行一些改變，如增加一些額外網絡結構或者改變訓練過程的研究，被稱為主動解釋。其二，生成解釋的類型（the Type/Format of Produced Explanation），由于不同的解釋路徑生成的解釋是不同的，它們的清晰度也不同，具體類型如：顯著性映射解釋（Saliency Map），強調輸入信息的重點區域的解釋，需要人為加入更多主觀經驗進行判斷才能獲得清晰的解釋;再如：邏輯規則解釋（Logic Rules），無需進行更多的人為參與;隱藏層語義解釋（Hidden Semantic），將神經網絡各個層次拆分開進行解釋，樣例解釋與概念歸因（Concept Attribution）解釋等。其三，局部與整體（Local and Global）解釋，局部解釋側重于理解單個預測的方式，整體解釋側重于理解模型整體的決策方式，目前較為常見的是從局部解釋開始，自下而上歸納出整體解釋。

目前，算法可解釋性研究能夠解決存在黑箱性問題的算法是如何進行計算的問題，能夠以人類可以理解的方式闡明其計算規則，但是并未能結合具體應用場景，從場景相關知識角度分析為什么要這樣計算。

第二層面：人工智能犯罪風險評估能否利用算法可解釋性規避“算法歧視”？算法可解釋性能否解決人工智能犯罪風險評估的“算法歧視”問題，取決于犯罪風險評估與人工智能技術的結合方式。犯罪風險評估屬于犯罪心理學的經典問題，故犯罪風險評估與人工智能技術的結合方式類似于心理學與人工智能技術結合的方式。

目前，心理學與人工智能技術主要存在三種結合方式：其一，保留傳統的心理學路徑，使用傳統心理測量工具的輸入輸出數據，但是將傳統心理學常用的線性模型替換為了人工智能統計機器學習、深度學習等復雜計算模型。其二，保留傳統的人工智能機器學習路徑，從音視頻、文本、網絡行為等粗糙原始數據中提取與心理相關的特征。其三，明確地采用數據驅動的方法，將傳統心理測評工具替代，建立新的關聯關系，同時根據是否需要手動提取數據特征而分為需要認為定義如何進行信號轉換和輸入數據特征提取規則的“特征工程”（Feature Engineering）路徑和直接使用復雜模型進行原始數據特征提取的“表示學習”（Representation Learning）路徑。

上述三種結合方式均涉及使用黑箱性算法，故算法可解釋性具備解決人工智能犯罪風險評估“算法黑箱性”問題的前提條件，但是解決“算法黑箱性”問題不等同與解決“算法歧視”問題。解決“算法黑箱性”可以采用可視化方法、邏輯方法等來說明算法對輸入數據的加工分析過程，即算法如何計算加工相關數據。而解決“算法歧視”問題需要進一步從科學理論角度闡明輸入數據為什么能夠與輸出數據形成關聯，以及輸入數據是否已經潛在地含有歧視信息的樣本。故目前學術界聚焦的算法可解釋性研究雖然具備從“算法黑箱性”角度為解決“算法歧視”問題提供支持路徑的條件，但是仍然尚未解決人工智能犯罪風險評估的“算法歧視”問題。

三、人工智能犯罪風險評估中“算法歧視”的規制

人工智能犯罪風險評估“算法歧視”問題來自于“算法黑箱”，“算法黑箱是算法規制的出發點”[14]，故應當在算法規制領域探討“算法歧視”問題。人工智能犯罪風險評估“算法歧視”問題的解決又屬于算法規制領域中的“場景化規制”問題，應當“根據不同的場景類型采用不同的規制方式，以實現負責任的算法為目標”。[4]在算法規制的方式中，目前常見的規制建議包括算法公開、賦予數據主體解釋權[4]、代碼審核、開發行為規范[2]等，已經在實踐中其他場景化算法規制領域實施的包括：中國人民銀行發布的《關于規范金融機構資產管理業務的指導意見》與國家網信辦發布的《區塊鏈信息服務管理規定》中涉及的算法備案制度等。[15]具體到人工智能犯罪風險評估的場景化算法規制問題上，算法公開、賦予數據主體解釋權的問題主要轉化為應當公開或者向相關用戶提供哪些解釋內容？代碼審核、開發行為規范的問題轉化為應當規范哪些、審核哪些研發或開發行為？

因犯罪風險評估的特殊性，對人工智能犯罪風險評估“算法歧視”的規制亦具有一定的特殊性，具體表現為：在評估對象方面，犯罪風險評估指涉的犯罪行為范疇比刑法學指涉的犯罪行為范疇更窄，在我國犯罪風險評估實踐中主要指的是故意殺人、故意傷害、搶劫等暴力犯罪行為以及強奸、猥褻等性犯罪行為;在評估后產生的效應方面，犯罪風險評估結論可能造成對被評估人的人身權利限制程度的差異，尤其是偵查階段變更強制措施時的犯罪風險評估與服刑階段施加監管強度確認時的犯罪風險評估;在評估依據方面，我國犯罪風險評估的理論基礎來自于我國犯罪學、犯罪心理學的理論成果，在犯罪行為界定、風險等級界定、風險因子集合方面，與國外犯罪學、犯罪心理學的犯罪行為界定、風險等級界定、風險因子集合存在一定差異。所以，對我國人工智能犯罪風險評估算法進行算法規制，要從具有根本性的理論基礎、模型和方法角度進行分析并提出規制建議，從問題建構和模型設計兩個角度提供公開信息或解釋內容，同時，從研發過程角度進行規范和審核。

（一）人工智能犯罪風險評估的問題構建維度

在人工智能犯罪風險評估的問題構建維度，應當從犯罪學和犯罪心理學的角度分析并公開或解釋：在問題構建所使用的理論基礎方面，是否可能由于基礎理論存在歧視風險而導致人工智能犯罪風險評估出現“算法歧視”問題？如果存在基礎理論通過問題構建維度導致“算法歧視”問題，那么造成“算法歧視”的風險靶點在哪里？如何針對風險靶點解決“算法歧視”問題？

首先，在問題建構維度，人工智能犯罪風險評估的基礎理論帶有“算法歧視”的基因，導致基于此研發出的人工智能犯罪風險評估工具帶有“算法歧視”的風險。目前，國內外常用的犯罪風險評估工具，如《中國罪犯心理評估個性分測驗（COPA-PI）》等，均是以人格特質理論為基礎進行問題建構，其基本假設是個體內的行為傾向差異性小于個體間的行為傾向差異性，依靠對個體特質的測量能夠描述出個體的行為傾向。由于基礎層面的人格理論存在局限性，造成了應用層面的犯罪風險評估存在局限性。人格特質理論的局限性主要表現為米歇爾（Mischel）曾經對人格理論效度的質疑，認為人格特質不具有較高效度，從而在預測人類行為上存在缺陷。奧爾波特（Allport）對此回應稱：“對于情境主義者來說，我承認，我們的特質理論不可能像以前那樣簡單了，我們現在所面臨的挑戰是（如何）解開構成一個人的復雜（行為）傾向的網絡，無論在不同的情境下被以不同的方式激活時，它（行為傾向）看起來有多么矛盾”。[16]

其次，造成人工智能犯罪風險評估“算法歧視”的風險靶點主要包括以下兩個方面。

一方面，人格特質理論的測量方式與統計建模方式。傳統的人格特質理論主要依靠自我報告法進行數據收集，并建立簡單的等級或者分數衡量個體在每種特質上的得分。這種測量方式與統計建模方式與日常生活中具有高度可變性的實踐現象存在沖突，過度簡化了現實的復雜性。弗里森（Fleeson）等通過在實驗室控制環境下，招募了183名觀察者對97個實驗參與者進行行為觀察與評價，根據觀測數據，發現就行為變化程度而言，個體內差異性有時甚至高于個體間差異性，采用傳統的自我報告法與統計建模法幾乎不能根據個體特質準確預測個體行為。但是將行為傾向構建為一個概率密度函數，則可以使用人格特質進行行為傾向預測，并由此提出了“全面特質理論”（WTT：Whole Trait Theory）。[17]

另一方面，人格特質理論主要對人格特質與穩定的行為傾向進行描述，構建出了層次化、系統化的描述體系，但是缺乏對“這些特質從何而來”“為什么在相似的情境下，有相似特質的人會出現相似的行為傾向”等問題的回答，即缺乏對人格特質的成因以及其與行為傾向之間的因果關系的解釋。行為預測的經典理論“列文公式”指出：“個體行為是由個體的心理狀態與個體所處的外部環境共同決定的?！盵18]但是人格特質理論主要是從個體心理狀態出發，將個體穩定的心理特征作為主要研究對象來預測行為傾向，忽視了個體所處的外部環境，由于理論關注點的缺位，人格特質理論始終無法達到較強的行為預測效度。

最后，針對人工智能犯罪風險評估“算法歧視”的理論基礎中的兩個風險靶點，應當公開關于人工智能犯罪風險評估問題建構維度相關信息，并賦予利益相關用戶對上述信息的解釋申請權。

（二）人工智能犯罪風險評估的模型設計維度

在人工智能犯罪風險評估的模型設計維度，應當結合我國人工智能犯罪風險評估常用的計算模型公開或解釋：人工智能犯罪風險評估是基于風險預測還是因果推斷的計算方式來進行模型設計。

在美國犯罪風險評估的COMPASS系統出現疑似“算法歧視”現象之后，人工智能機器學習領域針對其公開的風險預測模型設計方式，曾提出了如何從技術上對智能化犯罪風險評估工具進行變革的提議：“精算風險評估工具中的統計系統會重現數據中的歧視模式與歷史偏見模式，如果機器學習的目的僅僅是為了預測個人未來是否會犯罪，那么很難打破司法系統本身的‘醫源性效應’（Iatrogenic Effects of the Criminal Justice System）”，“機器學習的目的不應當僅僅是預測，而是形成一種因果模型，用于幫助人來理解社會”。[13]簡言之，犯罪風險評估工具在與機器學習、深度學習等人工智能技術融合之后，應當更加側重于強調輔助人類進行因果關系的計算與推斷。

當代深度學習技術創始人之一、圖靈獎得主朱迪亞·珀爾（Judea Pearl）提出機器學習進入應用領域有“適應性”“可解釋性”與“因果關系”（推理）三大障礙，目前已經基本上跨過了第一個障礙，在第二個障礙上也取得了一些進展，但是仍然需要努力跨過“因果關系”（推理）的障礙。[19]因果關系在本質上包括三個層次，基本層次是“關聯”（Association），中間層次是“干預”（Intervention），最高層次是“反事實”（Counter-Factual），“關聯”層次是純粹的統計問題，一般采用相關性或者回歸模型即可確定，“干預”則不能從直接的輸入輸出關聯分析中得到，需要進行更深入的因果計算，“反事實”則是人類獨有的思考方式，對不存在的現象進行純粹的智能加工與分析。在因果計算與推理技術方面，問題的難點在于“在什么環境下，采用什么方式，能夠基于觀察數據來得出因果關系結構”，這一難點也被稱為“從非實驗數據中發現因果關系的方法”。[20]針對這一問題，目前的前沿進展包括使用“獨立因素分析”（Independent Component Analysis）[21]、使用“貝葉斯網絡模型”[20]等技術進行因果關系的計算與推斷。

針對人工智能犯罪風險評估“算法歧視”在模型設計層面的問題，應當公開人工智能犯罪風險評估在模型設計層面采用了怎樣的計算模型，屬于風險預測性質的模型還是因果推斷性質的模型，并賦予利益相關用戶對上述信息的解釋申請權。

（三）人工智能犯罪風險評估的研發過程

從規范與審核的角度來看，規范或者審核的重點并非已經完成開發的算法或者技術成果，而是應當結合我國人工智能犯罪風險評估研發機制與研發實踐，從更前置的研發過程規范并審核：犯罪學、犯罪心理學的科學理論與應用技術的融合方式，科學理論向應用技術的轉化機制以及驗證性評價方式。

首先，如何規范或審核科學理論與應用技術的融合方式？在人工智能犯罪風險評估的研發實踐中，經常出現跨學科協作混亂，科學理論與應用技術難以有機融合的局限性。以當前人工智能技術與科學研究前沿實踐的融合方式來看，人工智能技術應當與具體的專業研究密切融合，并為專業領域的復雜問題提供輔助支撐是最佳實踐方式。以結構生物學研究為例，諾貝爾獎得主克里斯蒂安·安費森（Christian Anfinsen）早在1972年就指出“蛋白質的氨基酸序列能夠完全決定其3D結構”，在藥物研發等研究中，蛋白質的功能研究是重點研究的科學問題，蛋白質的功能主要由結構決定。但是傳統上依靠實驗方法確定蛋白質的結構，時間成本與經濟成本均較高。為了解決這一問題，DeepMind研發了AlphaFold人工智能系統，并在2021年進行了迭代升級，升級后的AlphaFold2在國際蛋白質結構預測競賽（CASP）上實現了精確的蛋白質3D結構預測，堪比高成本的冷凍電子顯微鏡與磁共振成像等實驗技術所得到的結果。簡言之，AlphaFold的使用將人工智能技術與具體專業深度融合，針對傳統科研中成本較高、難以大規模普及的技術難點著重發力，提升了傳統研究的工作效率，是人工智能技術與科學理論、具體專業結合的最佳實踐范例之一。具體到人工智能犯罪風險評估領域，科學問題應當以犯罪心理學為視角提出，由多個學科提供支撐。

例如，犯罪心理學常常對同一種犯罪行為存在多種“競爭性解釋”（2），由此造成的問題是如何在競爭性理論中選擇犯罪風險評估工具的心理學理論依據？全球領先的“大范圍首先”理論的創始人、中國科學院院士陳霖指出借助當前的腦認知成像技術，“定位各個腦區的認知功能及其相互聯系，揭示認知功能在大腦的神經表達”，能夠為從競爭性理論中尋求依據提供“生物學約束”。[22]簡言之，以腦認知成像等生物信息證據為標準，為理論選取提供客觀支撐，能夠在跨學科協作中解決犯罪心理學存在的“競爭性解釋”問題。[23]

再如，犯罪風險評估研究的目的是預測犯罪行為傾向與解釋犯罪行為傾向的成因，但是由于實踐中的犯罪成因非常復雜、地區與群體等差異性極大，故常常出現“可重復危機”（Replication Crisis），由此造成的問題是如何克服這種因復雜性形成的“可重復性危機”？為了應對心理學研究中的“可重復性危機”，馬庫斯·穆那弗（Marcus R.Munafo）等在《自然》雜志上提出了“三角測量”的應對方案，面對同一個問題，從多種不同的假設出發，綜合分析不同假設路徑延伸出的解釋理論，采用不同的角度獲得的證據支撐研究假設，而“強有力的理論是從多條證據線索中綜合產生的”。[24]杰克·霍夫曼（Jake M.Hofmman）等在《科學》雜志上提出了復雜社會系統的預測與解釋的方法論，強調“必須在復雜的社會系統中，明確（社會）理論在精確預測中的局限性，為預測和解釋的對象設定期望”。[25]

其次，如何規范或審核科學理論向應用技術的轉化機制？犯罪風險評估理論很難轉化為具體的人工智能技術成果。為了解決這一問題，在犯罪風險評估理論與方法轉化為計算機系統前，需要完成理論的形式化轉化與計算模型、算法的專門設計。犯罪風險評估理論屬于社會科學領域的理論體系，更多側重于搭建“因果規范性網絡”，但是在數理的形式化描述和計算模型方面的建構不足。設計智能化犯罪風險評估工具的難點也在于如何將偏重社會科學色彩的理論，轉化為計算機可讀取、可分析、可計算的數據與模型。借鑒人工智能領域的培養體系，搭建起理論到計算的關鍵橋梁主要是離散數學理論，在離散數學理論的指導下將理論轉化為算法與模型，才能為后續的智能系統開發建立基礎。

最后，如何規范或審核驗證性評價方式？當人工智能科技成果未經過早期階段較為充分的社會應用效應研究與驗證時，很容易產生不可挽回的社會損失，避免“科林格里奇陷阱”的一個重要措施是進行充分的早期應用效應研究與驗證。在我國實踐中，功能實現與效果驗證一般由負責系統開發的產業機構實施，但是目前產業機構與研究機構均缺乏“人工智能的社會系統分析”，即使用人工智能技術會對應用領域相關的人群產生哪些持續性影響方面的研究。域外為了避免技術廣泛應用后出現的不良后果，已經啟動相關研究，例如美國伊利諾伊州曾采用人工智能技術生成槍擊事件的犯罪風險評估“熱力圖”預測最可能實施槍擊行為的人，但是社會分析表明這一技術“增加了一些人成為警察襲擊目標的風險，但是未能降低槍擊案件的犯罪風險”。[26]凱特·克勞福德（Kate Crawford）等在《自然》上提出應當進行“人工智能的社會分析”研究，“不同的學科與政府部門應當合作調研社區、公共服務等信息，并分析這些差異如何塑造了人工智能訓練數據的差異性”;在此基礎上應當進一步著重分析“人們在什么時間、什么情況下會更容易受到某種人工智能技術的影響”[27]，并從哲學、法律、人類學等多個學科、多種角度剖析這些技術的應用會帶來什么樣的社會后果。對應到我國的人工智能犯罪風險評估研究實踐中，目前國家已經發布多個國家重點研發計劃專項進行系統研發，在國家重點研發計劃的應用示范環節，應當增加對所研發的智能化犯罪風險評估系統的應用效應分析，在試點單位對其可能產生的政治、法律、經濟、社會、文化等多方面后果進行系統分析與推演，確保新型技術的應用不會走入“算法歧視”陷阱和“科林格里奇困境”。

結 語

我國人工智能犯罪風險評估工具的研發已經取得初步進展，為了避免人工智能犯罪風險評估掉入“算法歧視”的陷阱，需要在技術已經出現初步的實踐成果與示范，尚未達到規?；瘧弥?，及時探索人工智能犯罪風險評估的算法規制路徑。對我國人工智能犯罪風險評估進行算法規制，應當結合我國犯罪學、犯罪心理學理論，以及犯罪行為、犯罪風險、犯罪風險因子集合等方面的獨特性，針對我國人工智能犯罪風險評估理論基礎構建的科學性，以及模型設計在風險預測或成因解釋方面的側重性，采用公開或者解釋的方法進行算法規制。同時，由于人工智能犯罪風險評估結論很可能影響被評估人的人身權利受限程度，未來應當從更早期的研發階段、以更加嚴格的標準審核人工智能犯罪風險評估研發過程與研發機制，從而提升我國人工智能犯罪風險評估的科學性與公正性。

注釋：

（1）參見David Collingridge.The Social Control of Technology，London.Frances Printer，1980：19.“科林格里奇困境”指的是技術控制的兩難困境，在技術發展應用的早期，對技術進行社會控制較容易，但是由于缺乏專業知識等，所以并不知道如何進行合理有效的社會控制;在技術發展應用的晚期，對技術進行社會控制較難，雖然已經獲得了大量知識，但是已經很難扭轉技術深入社會系統的局面。

（2）參見陳霖：《認知科學的三大基石》，《中國科學基金》2017年第3期?！案偁幮越忉尅敝傅氖窃谡J知科學的研究過程中，任何一種認知心理現象，即便是最簡單的實驗，其結果的解釋都是不唯一的，任何一種認知心理現象都有多種解釋。

參考文獻：

[1]Julia Angwin， Jeff Larson， Surya Mattu， Lauren Kirchner. Machine Bias In： Ethics of Data and Analytics[M]. NewYork：Auerbach Publications，2022：11.

[2]李成.人工智能歧視的法律治理[J].中國法學，2021，（2）：122-147.

[3]何積豐.安全可信人工智能[J].通信安全與通信保密，2019，（10）：8

[4]丁曉東.論算法的法律規制[J].中國社會科學，2020，（12）：138-159，203.

[5]李曉輝.算法商業秘密與算法正義[J].比較法研究，2021，（3）：105-121.

[6]李訓虎.刑事司法人工智能的包容性規制[J].中國社會科學，2021，（2）：42-62.

[7]D. A. Andrews， James Bonta， J. Stephen Wormith. The Recent Past and Near Future of Risk and/or Need Assessment[J]. Crime and Delinquency， 2006，（1）：7-27.

[8]Kelly Hannah-Moffffat. Actuarial Sentencing， An "Unsettled" Proposition[J]. Justice Quarterly， 2013， （2）：270-296.

[9]Malcolm M. Feeley，Jonathan Simon. The New Penology， Notes on the Emerging Strategy of Corrections and Its Implications[J]. Criminology，1992，（4）：449-475.

[10]Bernard E. Harcourt. Risk as A Proxy for Race： The Dangers of Risk Assessment[J]. Federal Sentencing Reporter，2015，（4）：237-243.

[11]Hamilton ?Melissa. Back to the Future： The Influence of Criminal History on Risk Assessment [J]. 20 Berkeley Journal of Criminal Law，2015，（1）：75-119.

[12]馬皚，孫曉，宋業臻.智能化犯罪危險性評估的理論與實踐[M].北京：法制出版社，2020：12.

[13]Chelsea Barabas，Karthik Dinakar，Jochi Ito，Marlas Virza，Jonathan Zittrain. Interventions over Predictions：Reframing the Eyhical Debate for Actuarial Risk Assessment[C]. Proceedings of Machine Learning Research，2018，81：1-15.

[14]許可，朱悅.算法解釋權：科技與法律的雙重視角[J].蘇州大學學報（哲學社會科學版），2020，（2）：64.

[15]許可.算法規制體系的中國建構與理論反思[J].法律科學（西北政法大學學報），2022，（1）：124-132.

[16]Allport Gordon Willard.The Person in Psychology：Selected Essays[M]. Boston：Beacon Press，1968：47.

[17]Fleeson W.，Law M.K..Trait Enactments as Density Distributions. The Role of Action， Situations and Observes in Explaining Stability and Variability[J]. Journal of Personality and Social Psychology，2015，（6）：1090-1104.

[18]Lewin Kurt.Behavior and Development as A Function of the Total Situation， In Carmichael，L.（Ed.）Manual of Child Psychology[M]. NewYork：John Wiley，1946：797-844.

[19]Pearl Judea. Radical Empiricism and Machine Learning Research[J]. Journal of Causal Inference，2021，（1）：78-82.

[20]Pearl Judea. Causality.Models，Reasoning and Inference[M]. London：Cambridge University Press，2000：3.

[21]Shimizu Shohei，Hoyer Patrik O.，Hyvarinen Aapo，et al. A linear non-Gaussian Acyclic Model for Causal Discovery[J]. Journal of Machine Learning Research，2006，（10）：2003-2030.

[22]陳霖.認知科學的三大基石[J].中國科學基金，2017，（3）：209-210.

[23]陳霖.認知科學若干基本問題的研究進展[J].中國科學院院刊，1993，（2）：112-118.

[24]Munafo Marcus R.，Simith ?George Davey. Repeating Experiments is not Enough[J].Nature，2018，553（7689）：399-401.

[25]Hofman Jake M.，Sharma Amit，Watts Duncan J.. ?Prediction and Explanation in Social System[J].Science，2017，355（6324）：486-488.

[26]Saunders J.，Hunt P.，Hollywood John S.. Predictions Put into Practice：A Quasi-experimental Evaluation of Chicago's Predictive Policing Pilot[J]. Journal of Experimental Criminology，2016，12（3）：347-371.

[27]Crawford Kate，Calo Ryan. There is A Blind Spot in AI Research[J].Nature，2016，538（7625）：311-313.

（責任編輯 吳 楠）

本刊網址·在線雜志：www.jhlt.net.cn

*基金項目：教育部人文社會科學研究一般項目“人工智能視域下社區矯正對象再犯風險的動態評估體系研究”（21YJAZH058）

作者簡介：馬皚（1962—），北京人，中國政法大學社會學院教授，博士生導師，主要研究方向：犯罪心理學;宋業臻（1990—），山西太原人，心理學博士，青島認知人工智能研究院研究員，主要研究方向：人工智能。