人工智能“軍備競賽”的真正危險是什么

保羅·斯查瑞

俄羅斯總統弗拉基米爾·普京早在2017年時就宣稱，領導人工智能發展的國家將“成為世界的統治者”。這種觀點顯然在全球全面鋪開，因為截至目前，已經有十幾個國家宣布了本國的人工智能計劃。2017年，中國發布《新一代人工智能發展規劃》，制訂了“到2030年人工智能理論、技術與應用總體達到世界領先水平，成為世界主要人工智能創新中心，智能經濟、智能社會取得明顯成效，為躋身創新型國家前列和經濟強國奠定重要基礎”的目標。2019年早些時候，美國白宮發布了《美國人工智能計劃》，美國國防部推出了人工智能戰略。

科技發力，創新進步固然是好事，然而近期，關于“人工智能軍備競賽”的新說法則反映了一種對其危險性的錯誤認識，這有可能引發重大的新風險。其實，對于每個國家來說，真正的危險并非在人工智能的競爭方面落后于對手，而是企圖“競賽”的這種高壓態勢，反而會促使各國急于部署并不安全的人工智能系統。想要先發制人并贏得勝利的各國，實際上面臨著與對手國家一樣多的危險。

1.一場沒有人會獲勝的比賽

人工智能帶來從衛生保健到交通等全方位巨大的好處，還有巨大的風險。這些風險并不像科幻大片里演的那樣是機器人的崛起，真正的威脅來自于人類自己。

目前，人工智能系統雖然功能強大但并不可靠。很多人工智能系統不僅在受到復雜的攻擊時會變得脆弱，而且在受訓的環境之外使用時常會失靈。政府確實是希望系統能平穩運行，但是“軍備競賽”的大環境卻讓一些人只顧得了眼前卻管不了將來。即使其他國家實際上并沒有實現人工智能系統的重大突破，但是認為他們的技術正在突飛猛進的猜測，卻足以促使另外一些國家投身“競賽”。如果某國政府部署了未經測試的人工智能武器系統或依靠有故障的人工智能系統來發起網絡攻擊，可能會對所有參與其中的人與國家造成災難性的后果。

各國政治家們應該從計算機網絡發展的歷史中進行學習，從一開始就將安全性作為人工智能設計的主要因素；還應該減少有關人工智能軍備競賽的言論，并尋求機會與其他國家合作研究降低人工智能風險。歸根結底，人工智能軍備競賽是一場沒有人會獲勝的比賽。

最簡單的人工智能系統通過遵循人類預先設置的一系列規則來執行任務。雖然我們很難把飛機自動駕駛儀或報稅軟件背后的技術視為人工智能，但這些眾所周知的“專家系統”已經存在了幾十年，而且現在它們無處不在。過去的幾年中，數據收集、計算機處理能力和算法設計的飛速發展，研究人員通過更靈活的方法在人工智能方面取得了重大進展：機器學習。

機器學習是指程序員無須編寫規則，機器通過分析給定的數據來拾取它們。給算法提供數千張帶有對象標簽的照片，它將學習識別圖像中的圖案并與對象名稱建立關聯。人工智能的繁榮始于2012年，研究人員依靠人工深度神經網絡，在機器學習技術的“深度學習”方面取得了重要突破。人工神經網絡是受生物神經元啟發的一種智能技術，模擬生物神經元通過發送和接收電脈沖與其他細胞進行交流。人工神經網絡最初就像是一片空白一無所知的領域，然后系統通過調整神經元之間的連接強度，增強正確答案的路徑連接以及減弱錯誤答案路徑連接來進行學習。深度神經網絡——深度學習，是一個在輸入層和輸出層之間具有多層人工神經元的神經網絡，額外的神經元層次允許不同路徑的強度具有更多可變性，從而幫助人工智能在更大范圍內應對各種情況。

2.幾乎無所不能的人工智能

系統如何精確學習取決于開發人員選取哪種機器學習算法以及提供哪些數據。許多機器學習方法使用已標記的數據（稱為“監督學習”），但是機器也可以從未標記的數據（“無監督學習”）或直接從環境中學習（“強化學習”），機器還可以根據計算機合成的數據進行學習。Waymo是一家研發自動駕駛汽車的公司，其研發的自動駕駛汽車已經在公共道路上行駛超過一千萬英里，而該公司每天在計算機上模擬記錄行駛一千萬英里，從而能夠利用數十億英里的合成數據來測試自動駕駛汽車的算法。

自2012年深度學習取得重大突破以來，研究人員創造了媲美甚至超越人類最佳表現的人工智能系統，這些系統能夠進行面部識別、物體識別、語音轉錄以及玩復雜的游戲，包括中國圍棋和實時計算機游戲“星際爭霸”。深度學習也已經超越舊的、基于規則的人工智能系統。2018年，一種深度學習算法在一臺大型超級計算機上用了四個小時與自己進行了數百萬次對弈，就擊敗了當時的國際象棋冠軍計算機程序，而無須任何人工訓練數據或手動編碼規則來指導其行為。

研究人員現在將人工智能應用于改進現實世界的問題，從診斷皮膚癌到駕駛汽車再到提高能源效率等。根據麥肯錫咨詢公司的估計，美國人需要的付費服務，幾乎有一半可以使用現有人工智能技術實現自動化（有5%的服務最終會被消滅）。大型機構在大數據上的積累和強大的計算能力，最有可能取得重大突破，使人工智能工具越來越普及?，F在，很多人工智能工具都可以任意在線使用，例如免費編程課程教人們如何制作自己的人工智能系統，并且可以免費下載經過訓練的神經網絡。人工智能工具的流行的確能夠促進創新，但是將強大的人工智能工具輕易地交給任何想要的人，也會幫助到想要作惡的人。

濫用人工智能造成的危害并非假設，事實已經擺在這里。聊天機器人之類的僵尸程序通常用于操縱社交媒體，選擇性地放大某些消息并壓制其他消息。人工智慧換臉是由人工智能生成的偽造視頻，將人的臉部以數字方式完美地與色情演員的身體嫁接，用來實行所謂的“色情復仇攻擊”。

上述的例子僅僅是開始。政治運動使用基于人工智能的數據分析來針對個人設計量身定制的政治宣傳，商業公司也使用相同的分析來為潛在客戶專門發送感興趣的廣告。數字小偷使用人工智能工具來創建更有效的網絡釣魚攻擊，聊天機器人只需要一分鐘的音頻就可以克隆人的聲音，從而令人信服地在線或通過電話模擬人類交談，任何沒有真人現身的網上或電話互動都可能是詐騙行為。安全專家證明，網絡黑客完全有可能入侵自動駕駛汽車，鎖定自動車輛的轉向和剎車功能，僅靠一個人通過網上操作就可以劫持大量汽車，造成交通擁堵或發動恐怖襲擊。

3.人工智能將何去何從

無論哪個國家在人工智能方面居于領先地位，都將利用它來獲取與競爭對手在經濟和軍事上的相對優勢。預計到2030年，人工智能將為全球經濟做出13萬億至15萬億美元的貢獻。人工智能還將加快科學發展的進程。2019年，人工神經網絡在生物學研究的關鍵任務——合成蛋白折疊方面取得重要進展，大幅領先現有的研究方法。

人工智能也將徹底改變戰爭。人工智能對于提高士兵在戰場上的態勢感知、指揮官的決策能力和命令傳達能力最為有效。人工智能系統處理信息的數量與速度都遠超人類，它們是對戰爭中海量信息進行實時評估的寶貴工具，而在戰場上，機器比人類的移動更快、更精確、更協調。在最近的“星際爭霸”電游人工智能對戰人類比賽中，人工智能系統AlphaStar在快速處理海量信息、作戰單位協調以及快速精準移動方面顯示了超越人類的能力?，F實世界中，人工智能系統憑借上述優勢在管理控制機器人群上比人類手動控制更加有效。人類可以在更高層面的戰略中保留自己的優勢，但人工智能將在地面戰爭中占據主導地位。

中國已經是人工智能方面的全球強國，這也是華盛頓不甘落后急于開發人工智能的原因。全球領先的人工智能公司排名，中國的科技巨頭阿里巴巴、百度和騰訊緊隨亞馬遜、谷歌與微軟其后。2018年注資最多的10家人工智能初創企業中有5家是中國企業。幾年前，中國提出到2030年成為全球人工智能領導者的目標似乎還是紙上談兵，現在則完全可能成為現實。

美國的現實情況是華盛頓和硅谷之間在軍事使用人工智能方面存在巨大分歧。谷歌與微軟的員工反對他們與五角大樓簽訂的公司合同，導致谷歌停止使用人工智能分析視頻素材的項目。由于政府與民間的分歧，哪怕美國在人工智能研發方面保持領先地位，也會失去軍事優勢。政府合理的反應是將自己在人工智能上的投資加倍，然而問題在于，人工智能技術是把雙刃劍，不僅會給輸掉比賽的一方帶來風險，同樣也會給贏得比賽的一方帶來風險。

4.未可知的風險與挑戰

當今的人工智能技術功能雖然強大但并不完全可靠?；谝巹t的系統無法處理程序員未曾預見到的情況，學習系統也受到訓練數據的限制，人工智能的失敗已經導致了一些悲劇發生。自動駕駛汽車的先進功能雖然在某些情況下表現良好，但無預警地將汽車撞向卡車、水泥路障以及停放著的汽車的情況也時有發生。當出現與訓練場景不一樣的突發狀況，人工智能系統會瞬間從超級智能變為超級白癡。當敵人試圖操縱和入侵人工智能系統時，導致的風險將更大。

雖然有時不會完全崩潰，但學習系統也會以錯誤的方式實現目標。去年的一篇研究論文中，有52位研究人員對人工智能系統表現出幾十次異常的行為進行了闡述：學習在模擬環境中行走的算法發現，通過反復摔倒可以更快地移動；一個玩俄羅斯方塊的機器人學會了在最后一塊積木掉下來之前暫停游戲，這樣它就永遠不會輸掉；一個程序自動刪除了不能讓自己得到高分的評估文件。正如研究人員寫道：“從功能實現角度來講，人工智能在迭代過程中尋找設計上的漏洞比實現人類為其設定的預期目標要容易得多?！苯o人類帶來驚喜或是驚嚇似乎是人工智能學習系統的標準特色。

機器學習系統的性能優劣與其拾取的訓練數據密切相關，如果數據不能很好地反映系統的運行環境，則該系統在現實世界中就會發生故障。麻省理工學院媒體實驗室的研究人員2018年發現，三個主流的面部識別系統，在識別深色皮膚方面比識別淺膚色要差很多。

當機器學習系統出現失誤時，也會像人類一樣沮喪并變得陰晴不定。即使研究人員并不一定每一次都能預測到機器的行為，對于基于規則的人工智能系統，研發者大體還是可以解釋機器的行為。然而對于深度學習系統，研究人員往往無法理解機器為什么要這樣做。谷歌公司的人工智能研究人員阿里·拉希米（Ali Rahimi）認為，中世紀的煉金術士雖然發現了現代玻璃制造技術，但并不了解這一突破背后的化學或物理原理，與此相似，現代正在研發機器學習的工程師們也能在人工智能上取得重大突破，但相應的基礎科學還沒有發展到能對此進行解釋的程度，是技術走到了科學的前頭。

人工智能系統的每一次故障都會成為一個可以利用的漏洞。在某些情形下，攻擊者可以使訓練數據中毒。微軟公司在2016年創建了一個名為泰（Tay）的聊天機器人，并為其開設了推特賬戶。當一些用戶對泰發布攻擊性的推文后，不到24小時泰就開始鸚鵡學舌地模仿他們的種族主義和反猶太言論。這就是一個顯而易見的數據中毒的例子，但不是所有的數據中毒攻擊都如此明顯，有些潛伏在訓練數據中人類無法檢測到，卻在暗中操縱機器的運作。

深度學習系統的創建者即使保護了數據源，攻擊者也可以通過提供精心定制的輸入——對抗性樣本——來欺騙系統讓機器犯錯誤。正常圖像的輕度變形，人類可以一眼就看穿卻能夠糊弄人工智能。對衛星圖像分類的神經網絡系統會被對抗性樣本欺騙，把稍加變形的醫院圖片識別為軍事機場，反之亦可能。對抗性樣本甚至可以就是具體的物體。一個案例中，物體識別系統把龜殼上嵌有細微旋渦的塑料烏龜識別為步槍；另一項研究中，研究人員在停車標志前放置了幾個白色和黑色的小正方形，這些干擾讓神經網絡系統將其辨識成每小時45英里的限速標志。更糟糕的是，入侵者根本無須訪問訓練數據或他們試圖打敗的系統底層算法，就可以開發出這類欺騙性圖像和物體，因此研究人員也一直在努力尋找有效的防御手段來抵御這種威脅。此類威脅與網絡安全漏洞不同，后者通?？梢栽诎l現漏洞后通過打補丁進行修補，前者還沒有辦法可以針對攻擊對算法提前打預防針。

各國政府測試人工智能在軍事、網絡和監測方面已經積累了豐富的經驗，但還沒有一種測試方法可以保證復雜的系統一旦在現實世界中運行就不會出現故障。F-22戰斗機第一次穿越國際日期變更線時，計算機系統崩潰，飛機幾乎墜毀在太平洋。

測試人工智能系統比測試傳統軍事硬件設備要花費更多的時間和金錢。人工智能的復雜性賦予其更大的能力，也導致了更多難以預見的意外故障。假設某國政府研發出可以不知不覺入侵敵對國計算機網絡的人工智能系統，部署該系統的政府將獲得遠超敵對國的巨大優勢。由于也擔心敵對國正在加緊開發類似的人工智能工具，政府會被迫縮短測試時間并盡早部署該系統。這種你追我趕的局面已經在自動駕駛汽車等行業形成風氣，然而人工智能工具在國家安全領域造成事故的后果更加巨大。

政府醉心于強大但并不安全的技術，其實首開先河的不是人工智能而是計算機。盡管計算機系統存在巨大漏洞，但仍在從股票交易到制導導彈的幾乎所有領域中發揮著至關重要的作用。美國政府責任署調查員在2018年發現，美國武器系統存在許多網絡安全漏洞，通過“相對簡單的工具和技術”就可以利用這些漏洞。更糟糕的是，國防部的項目主管居然不知道問題所在，并對責任署的發現不予理睬，還宣稱其測試不切實際。計算機安全漏洞不僅限于政府運行的系統，很多大公司也相繼遭受重大數據泄露，因此現在再提數字安全性已經是馬后炮的做法。然而人工智能系統遍布全球不僅僅是一種可能，而是默認設置，人工智能安全性更是一個迫在眉睫的世界性問題。

5.人工智能發展需要全球合作和安全第一

人工智能的威脅如此緊急，全球需要進行緊急響應。政治家們應對人工智能危害最重要的防御方法之一就是增加人工智能安全研究的資金投入。私營公司花費數十億美元研發人工智能在商業方面的應用，各國政府更應該在該領域發展之初就加大基礎性研究上的投入。美國國防高級研究計劃署正在執行“下一代人工智能創新”項目，計劃在未來5年內耗資20億美元解決弱人工智能系統局限性問題（譯者注：弱人工智能是指在人為規定的框架內，可以按照人類做出的決定，獨立執行某些精確任務，但不具備意識）。在此基礎上，作為美國人工智能創新規劃的一部分，白宮會相應追加人工智能安全性研究的資金，并要求國會對人工智能安全性的研發提供更多預算。

將人工智能應用于國家安全方面，政府機構需要重新審視一直以來測試新系統的傳統方法，僅僅驗證系統是否符合設計規格還遠遠不夠。測試人員還需要確保當面臨現實世界敵對入侵威脅時，系統還能夠繼續正常運行。在某些情況下，測試人員可以參考自動駕駛汽車制造商的做法，使用計算機模擬來梳理錯誤漏洞。另外國防部和情報界還應建立“紅色軍團”——充當攻擊者以測試系統的防御能力——來搜索人工智能系統中的安全隱患，這樣開發人員可以在系統上線之前進行修復。

政府官員還要淡化有關人工智能軍備競賽的言論，這些話語很可能成為自我實現的預言。五角大樓首席研究員、工程師邁克爾·格里芬2018年在一次會議上說：“可能會有一場人工智能軍備競賽，但我們還沒有參加?！泵绹姺娇隙〞玫饺斯ぶ悄?，但是格里芬的聲明既沒有提到更沒有意識到隨之而來的風險。政府官員過多地談論軍備競賽，只可能鼓勵競爭對手追求速度而降低安全性，因此他們不僅要強調人工智能的價值，還要強調可靠性和安全性。

最后，為確保人工智能的安全性，美國應該尋求與其他國家（哪怕是對手）合作的方式。在新技術方面的國際合作有好有壞的先例，各國有時也能成功合作避免相互傷害。冷戰期間，美國與蘇聯共同合作，限制了雙方都認為特別不穩定的某些類型的核彈頭運載系統。美國還鼓勵其他國家采取安全措施，防止未經授權使用核武器。今天美國要與盟國和對手共同努力，增加研究人工智能安全的國際投資。美國還應該與中國和俄羅斯開始討論，人工智能的某些應用是否會帶來可怕的風險升級或失控，以及各國如何共同采取措施來改善安全性。在人工智能軍備競賽中，美國面臨的最大危險不是輸球，而是出現一個滿盤皆輸的世界。

19世紀的工業化帶來了巨大的經濟增長，但同時也為軍隊制造出坦克、機槍和芥子氣等殺人武器。核武器的發明帶來了更大的危險，決策者們仍在為之角力。計算機徹底改變了人們的工作、學習和交流方式，但同時也使以前相對獨立的系統更容易受到網絡攻擊。

人工智能隨著時代應運而生，產生的絕大多數影響都是積極的。人工智能會促進經濟增長、診斷和治療疾病、減少交通事故并全方位地改善人們的生活。但正如任何新技術一樣，人工智能也有暗黑的一面。勇敢直面風險才能實現人類創造人工智能改善生活的初衷，否則只會帶來無盡的危險。

（摘自7月23日《光明日報》。作者為新美國安全中心高級研究員兼技術與國家安全項目主任，譯者為四川省社會科學院管理學所副研究員。原文刊登于美國《外交事務》雜志2019年5/6月刊）