人工智能的心智及其限度
——人工智能如何產生自我意識？

秦子忠

每次科技革命都會導致大量失業、社會重組。本輪以人工智能為代表的科技革命因其擴展到對人類腦力勞動的替代，因此引發的失業潮在深度和廣度上都遠高于之前任何一次科技革命。但是，人們的深層焦慮不僅來自人工智能對腦力勞動的替代，還來自人工智能具有自我意識的可能性。大體而言，我們可以區分出兩種不同的公共焦慮。一是人工智能雖然不會獲得自我意識，但是越來越強的人工智能正在導致嚴重的不平等世界；(1)[美]大衛·巴恩西澤、丹尼爾·巴恩西澤：《人工智能的另一面：AI時代的社會挑戰與解決方案》，電子工業出版社2020年版。另一是人工智能能夠產生自我意識，并且有可能反過來主宰、控制乃至終結人類。第一種焦慮與我們的現實生活體驗、實證研究關聯在一起，而第二種焦慮主要是與科幻影視、規范研究關聯在一起。幾年前，著名物理學家霍金就表示人工智能若要終結人類，人類是無能為力的。趙汀陽進一步從哲學上探討人工智能獲得自我意識需要哪些條件和“設置”。但是趙汀陽的探討只是界定了人類的自我意識，既沒有展示人工智能如何獲得自我意識的過程，也沒有給出相應的測試方法。在本文中，筆者將在考察趙汀陽這一工作的基礎上具體探討這個問題，即人工智能如何產生自我意識。

人類心智：知情意及其關系

人的認知系統至少包括三個層級：第一層級是復雜行為，例如解決問題、形成概念和語言表達等；第二層級是信息加工過程，例如對光點的感覺、圖形知覺的形成等；第三層級就是生理方面，例如中樞神經過程、神經結構等。這三個方面在人類身上已經處在近乎完美的狀態。當前的腦科學雖然尚未完全解釋三者的相互關系,但是對它們的局部關系已有了很好的研究。這一點構成了人工智能學科的理論基礎。作為對人的認知系統的模仿，人工智能也有相應的三層級系統，其第一層級是程序，第二層級是計算機語言，第三層級是計算機硬件。(2)[美]赫伯特·西蒙：《認知：人行為背后的思維與智能》，荊其誠、張厚桀譯，中國人民大學出版社2020年版，第4—11頁。從漫長的人類史來看，人類作為動物界的一員，先有了生物的肉體組織及刺激—反應系統，而后形成了一種與動物感知相近的情感能力，之后語言產生，而意識或自我意識是在語言的應用過程中產生的。這種由進化而來的情感、認知、意識(即情、知、意)及其關系，即是人類的心智(mind)。(3)蔡曙山：《生命進化與人工智能——對生命3.0的質疑》，《上海師范大學學報(哲學社會科學版)》2020年第3期。依據心智的這一定義，智能只是人類心智的一部分，即認知的部分，而人工智能只是對人類的認知能力的一種模仿。(4)倪梁康：《人工心靈的基本問題與意識現象學的思考路徑——人工意識論稿之二》，《哲學分析》2019年第6期。

情感和認知這兩種能力是人類與其他高等動物共同分有的，這一點無需贅述。至于意識，似乎只有人類與靈長動物才真正擁有，而人類與靈長動物相區別的，主要是人類擁有滲透于語言運用之中的自我意識。這里，不妨扼要解釋一下人類現代自我心理學之父阿爾弗雷德·阿德勒的心靈概念。阿德勒認為心靈與自由活動緊密關聯，并且心靈的一切活動都擁有相同的目標，即總是追求與自己的外部環境相適應，并隨著環境的變化而不斷調整自己的行為?！靶撵`的一切活動都擁有相同的目標，這是其最明顯的特征……該目標其實就是跟自己的外部環境相適應，所有人的心靈世界都包含該目標，心靈世界的所有活動都受該目標引導?！?5)[奧地利]阿爾弗雷德·阿德勒：《洞察人性》，張曉晨譯，上海三聯書店2016年版，第3—7頁。據此而言，阿德勒所謂的心靈實質上就是我們所說的意識(consciousness)而非心智，它包括兩個本質特征：一是以與自己外部環境相適應為目標，它的所有活動都受該目標引導；二是在尋求與自己外部環境相適應的過程中，心靈指向外部事物的對象意識與指向自身的自我意識交織在一起。(6)魏屹東：《論具身人工智能的可能性和必要性》，《人文雜志》2021年第2期。以下我們稍微論及笛卡爾等人的相關工作以展示人的思維意識。

外部事物的影像通過感覺感官傳入大腦，即為印象。大腦中的印象經由知覺，留下一些記憶痕跡。這些痕跡在腦海中進一步形成觀念。在這個層面，思維處理的是人與外部世界的關系。更高層面是人的理性，它并非停留在觀念和事物的對應關系上，還會處理腦海里諸觀念的關系。如此便進入到人類的思維自身，即意識。但人的思維能力不局限于此。重要的能力是它能夠對外部印入、自己拼接的東西說“不”。這種否定性行為涉及思維的一個重要方面就是懷疑性，而懷疑性的進一步表達就是笛卡爾的“我懷疑我在懷疑”。當思維進入自我懷疑階段，就意味著它可以做出任何表達，如多維地調整手段去完成任務，加強、修改乃至否定它的目的等。在這個階段，思維進入到人的自我反思，即自我意識。這里我們也觸及了語言運用與自我意識的關系。從嚴格意義上講，人類如果沒有發明語言，就不可能發展出自我意識，或者說其思維意識水平就會停留在類人猿層面。如海德格爾所言，人活在語言之中，語言是存在的家。查爾斯·泰勒更進一步指出人類自我的根源深深地鑲嵌在由語言交流積淀而成的文化意義背景之中，并且在其中“某些行為、或生活方式、或感覺方式無比地高于那些我們更加樂于實行的方式”，(7)[加]查爾斯·泰勒：《自我的根源：現代認同的形成》，韓震等譯，譯林出版社2021年版，第31頁。由此，人們的自我認同實質上就是在道德空間中發現乃至選擇自己所處的方位。據此而言，目前人工智能在意識領域的發展要想產生出自我意識，需要滿足相應的條件。如何把握人工智能產生自我意識的條件，是當前心智科學家和哲學家共同關注的一個前沿論域。為了給意識研究注入有益的洞見，新心智科學把意識可操作性地定義為知覺性覺知的一種狀態或顯而易見的選擇性注意。然而，意識如此高深莫測，以至于一些心智科學家認為意識恐怕無法通過科學術語來解釋。(8)[美]埃里克·坎德爾：《追尋記憶的痕跡》，喻柏雅譯，中國友誼出版公司2019年版，第442—443頁。晚近，趙汀陽對此有一個哲學討論，其討論的結果是人類自我意識的內在秘密應該完全映射在語言能力中，因此人工智能具有自我意識的條件是必須具有相當于人的意識的兩個高級功能：“(1)意識能夠表達每個事物和所有事物，從而使一切事物都變成了思想對象。這個功能使意識與世界同尺寸，使意識成為世界的對應體，這意味著意識有了無限的思想能力；(2)意識能夠對意識自身進行反思，即能夠把意識自身表達為意識中的一個思想對象。這個功能使思想成為思想的對象，于是人能夠分析思想自身，從而得以理解思想的元性質，即思想作為一個意識系統的元設置、元規則和元定理，從而知道思想的界限以及思想中任何一個系統的界限，因此知道什么是能夠思想的或不能思想的?！?9)趙汀陽：《人工智能的自我意識何以可能？》，《自然辯證法通訊》2019年第1期。至此，趙汀陽關于自我意識的論述可以歸結如下，他把自我意識定義為具有理性反思能力的自主性和創造性意識，并界定了自我意識的兩個重要功能，一是有能夠表達一切的能力，二是有自我反思的能力。筆者大體認可趙汀陽關于自我意識的論述，因此以下以趙汀陽界定的自我意識為標準展開人工智能產生自我意識的一種過程，而后設計一個測試方法予以檢驗。但在此之前，我們還需要回答第二個問題，何謂人工智能？

人工智能：基于深度學習的計算機程序

與人類心智的發生學不同，人工智能作為人為設計物，其形式是計算機程序，(10)李開復、王詠剛：《人工智能》，文化發展出版社2017年版，第35—45頁。其構成是電子元件和硅膠組織，因而沒有情欲，它最初通過計算機語言模擬人的思維活動，因而只具有類似人類的思維能力。但是這并不意味著人工智能永遠不能產生出意識乃至自我意識。因為意識乃至自我意識與有機生化之間并不一定存在必然關系。(11)[以色列]尤瓦爾·赫拉利：《今日簡史：人類命運大議題》，林俊宏譯，中信出版社2018年版，第65頁。事實上，從20世紀70年代以來，人工智能先后經歷了模仿人類思維方式、行為方式和會學習三個階段。進入21世紀之后，人工智能在深度學習方向取得了巨大發展。因為基于深度學習的計算機程序內含不確定性，使得與不確定性相關聯的意識問題成為當前人工智能研究的前沿問題。

著名認知心理學家赫伯特·西蒙把人看作信息加工或物理符號系統。這個系統有六種基本功能：輸入符號、輸出符號、存儲符號、復制符號、建立符號結構(build symbol structure)、條件性遷移(conditional transfer)。據此，西蒙提出了一個假設，即任何一個能表現出智能的系統，都必能執行這個物理系統的六種功能，反之亦然。這個假設附帶的三個推論分別是：既然人具有智能，它就一定是個物理符號系統；既然計算機是一個物理符號系統，它就一定能表現出智能，這是人工智能的基本條件；既然人是一個物理符號系統，計算機也是一個物理符號系統，那么我們就能用計算機來模擬人的活動。(12)[美]赫伯特·西蒙：《認知：人行為背后的思維與智能》，第18—19頁。西蒙注意到，推論2、3已經得到了有力證明，而推論1的證據還不明確也不直接。在筆者看來，西蒙的推論1將人類心智的情感、認知、意識的復雜性簡化成了只有認知的純粹思維能力。不過，也正因此，西蒙的工作讓我們清晰地注意到模擬人類認知結構的計算機系統的智能。就此而言，西蒙的物理符號系統構成了本文界定計算機程序的基本義。問題是從這個符號系統能否產生出自我意識，或更一般地產生出知情意合一的心智結構呢？

人工智能如何產生心智？

從前面論述來看，人工智能從認知能力產生出自我意識需要滿足兩個條件，一是具有表達一切的語言能力，二是具有自我反思的能力。從邏輯上講，人工智能的計算機語言能表達的事物是無限多的，因此它能夠表達一切。由此，人工智能的計算機語言與人類的自然語言一樣都能夠滿足表達一切的條件(至于在極限意義上兩者是否等同，擱置不論)。并且，人工智能具有自我意識可能并不需要能夠表達一切的語言，而只是需要能夠表達足夠多事物的語言。也就是說，人工智能產生自我意識的條件之一，即具有表達足夠多事物的語言，是具備的。問題的關鍵點在于人工智能是否具有自我反思的能力。人工智能目前當然不具備這種能力，但是未來可能具備這種能力(否則本文以及相關的討論就無意義)。因此，本節的論題集中于人工智能產生自我意識的另一個條件，即人工智能具有自我反思的能力是如何產生的，因而這個論題的展開實質上就是一種合乎邏輯的推演過程。

人工智能從監督學習到無監督學習的過渡，確實給人類帶來很大的不確定性，而人工智能的自我意識的誕生就蘊含在這個不確定性之中。李德毅院士等人研究指出，“不確定性人工智能，必須超越不確定本身而尋求不確定中的基本規律性，尋求表示并處理不確定性的理論和方法，使機器能夠模擬主客觀世界的不確定性，使定性的人類思維可以用帶有不確定性的定量方法去研究，最終使機器具有更高的智能，在不同尺度上模擬和代替人腦的思維活動”。(13)李德毅等：《不確定性人工智能》，《軟件學報》2004年第11期。在有監督的學習過程中，人工智能主體A的目標是由人類程序員設定的，它的整個行為都為了最大化這個給定目標的價值，而不能感知到它自身。由此，比如A在執行任務的過程中，它要么無法處理突然發生的未預料到的事件，要么導致自身的受損。與此不同，在無監督的學習過程中，A的目標是特定的但局部可改變的。也就是說程序員設定了目標框架(包括不變目標和可變目標)，但允許A有自由去修改可變目標，以及結合不變目標與可變目標的動態關系，自由調整實現目標價值最大化的行為路線。在有一定自由度去實現目標的過程中，A在功能上講，便能夠處理外部環境變化與自身的關系。比如A實現目標有兩條路線可以選擇：路線1A斷臂的概率是50%；路線2A會完好無損。在這樣的情景中，如果具有一定自由度的A在無監督學習過程中自主地選擇路線2來實現目標，那么A的自主選擇在功能上便已經接近了具有自我意識的人的基本判斷。就此而言，A就像具有自我反思能力的人一樣擁有了“自由意志”：A能夠自主地結合外部環境局部地修改目標乃至改變自己的行為路線。

在人工智能主體能否思維這個問題上，圖靈不僅給出了肯定的回答，也給出了檢驗其能否思維的標準。這個標準就是著名的圖靈測試。但是，圖靈測試容易導致欺騙的造假行為。圖靈測試實質上就是模仿游戲，在這個游戲的最后，重點不是計算機程序能否像人一樣對話，而是能否騙過詢問者；只要這一模仿能夠讓詢問者在一段時間內信以為真，即認為自己是與人類而非計算機程序對話，那就視為通過測試。但是即便通過測試，談話機器人既不理解其行為的價值，也無法意識到它自身。因此如赫克托·萊韋斯克所言，“圖靈測試并沒有真正激發人工智能研究人員去研究更優秀的會話者，卻導致欺騙詢問者的技巧越來越多”。(14)[加]赫克托·萊韋斯克：《人工智能的進化》，王佩譯，中信出版社2018年版，第59頁。更重要的是圖靈測試在設計理念上至多只有指向對象的意向性而無指向自身的內省性，因而它無法檢測出人工智能是否具有自我意識。以此為鑒，結合第一節關于人類心智的定義，尤其是意識的兩個高級功能，一種檢驗人工智能主體是否具有自我意識的測試設計，其設計理念可表達為以下內容：心智的活動是以價值序為指導的；價值序映射在自我價值的諸元素之間的關系、目標價值的諸元素之間的關系以及自我價值與目標價值之間的整體關系，記為R(表示偏好或無差異關系)。這些價值序是連通的(connected)、傳遞的(transitive)。具言之，對于構成自我價值或目標價值的諸元素備選項，如x、y、z……如果對于所有x和y，或者xRy或者yRx(讀作x偏好于和無差異于y，或y偏好于和無差異于x)，那么它們的價值序是連通的；如果對于任意的x、y、z，xRy且yRz則有xRz(讀作x偏好于和無差異于y，y偏好于和無差異于z，則x偏好于和無差異于z)，那么它們的價值序是傳遞的。(15)[美]肯尼思·J.阿羅：《社會選擇與個人價值》，丁建峰譯，上海人民出版社2020年版，第14頁。經由大量實踐而獲得的相對穩定的價值序，即常識或直覺，記為R1；通過無監督的深度學習而獲得的針對某特定環境的價值序，即專用知識或專業能力，記為R2；通過條件性遷移學習，即通過已掌握一種環境的知識或符號結構去完成另一種不同但相關環境的學習任務，從而獲得新環境下的價值序，即推理知識或適應能力，記為R3。R1、R2、R3均為R的子集。

基于這一設計理念，這個測試設計至少包括三個部分：(1)能夠分別表達自我價值與目標價值，以及兩者之間的關系；(2)能夠依據目標價值增加最大化原則與自我價值受損最小化原則來選擇最優行為方案，若兩個原則給出的方案相沖突，則選擇滿意行為方案(它屬于次優行為方案的集合)，直至目標完成；(3)能夠處理突然發生的未預料事件，實現自身與外部環境相適應。與此相應，檢驗標準的關鍵點在于：在給定的情景中，人工智能主體要能夠區分自我與對象，并能夠在價值序引導下自主地選取滿意的行為方案來完成任務，否則就不能完成任務。參照組是具有自我意識的普通人員。如果被試的智能機器人完成的任務質量與參照組無異，即第三方進行獨立評估時不能區分出完成任務的是普通人還是智能機器人或者第三方能夠準確做出區分的概率維持在一個極小范圍內，則通過自我意識測試。這是哲學層面的一般論述，下面讓我們進入實例層面的精細分析。

人類心智活動追求與自身的外部環境相適應。這一追求的具體化，在現實性上通常表現為人的生活計劃(具體為各種價值及其關系)、完成計劃所需要解決的系列問題(具體為各種任務及其關系)，以及通過搜索解決問題的滿意的(特殊情況下才是最優的)方法(具體為各種行為及其關系)。(16)[美]赫伯特·西蒙：《認知：人行為背后的思維與智能》，第26—30頁。在這一過程中，人還可以通過評估自我與環境的關系來調整自己的預期水平，這種可變的預期水平由自我價值與目標價值的動態關系呈現出來。由此，就某一任務的完成而言，它包含若干條可能的行為路線，每一條行為路線包括連續的或相關的n階行為，每一階行為集合有若干種可供選擇的具體行為。當選定并執行某一階行為集合中的一種具體行為之后，也相應地限定了下一階行為集合的范圍。每一階行為集合最終只能選擇一種具體行為。每一種具體行為，都包含三個層面的價值序，它們分別映射于自我價值的諸元素之間、目標價值的諸元素之間以及整體意義上的自我價值與目標價值之間。因此，不同的行為之間的比較，既可以是目標價值層面的比較，還可以是自我價值層面的比較，也可以是總價值層面(自我價值與目標價值之和)的比較。實際完成某一任務之后，每一階的已經選取的具體行為的合集構成了現實的行為路線。在現實的行為路線中的自我價值受損、目標價值增加、總價值增加與其相應的預期值之差，構成了人的壓力或動力。壓力或動力的自我調節即是人的可變的預期水平，它既會體現在任務完成之中，也會體現在任務完成之后，或兼而有之。

2016年戰勝人類圍棋大師李世石的阿爾法狗(AlphaGo)，其原理是對人類以上認知系統的一種模仿。它主要由估值網絡(Value Network)、策略網絡(Policy Network)和樹搜索(Monte Tree Search)三個部分組成。其運作原理是首先通過估值網絡評估棋局狀況，其次通過一個快速的策略網絡選擇下一步的位置，一直到最后，獲得勝利。(17)吳岸城：《神經網絡與深度學習》，電子工業出版社2016年版，第173—174頁。它的估值網絡相當于人的問題分解圖，它的策略網絡相當于人在處理問題分解圖中針對每一個節點可以選擇的方法的集合，它的樹搜索相當于人的搜索能力。阿爾法狗所不具備的是可變的預期水平。但是通過自我價值尤其是價值序的引入，改版升級的“阿爾法狗”也能具備這種可變的預期水平。

現在讓我們構想一個可量化的思想實驗，(18)這個實驗的技術性說明如下：筆者將以阿爾法狗原理為初始點，構想一個人工智能護林員(阿智)，進而闡釋一種阿智通過自我意識檢驗的思想試驗。這個構想隱含這樣的假定，即但凡有利于人工智能產生自我意識的阿爾法狗原理的相關部分都會被保留或加強，而阻礙的相關部分則被改寫或移除，并加入新的部分。具體的構想如下：1.估值網絡：(1)它由多個相互兼容的子數據庫構成(模擬一片開放的森林)；(2)給定目標價值范圍G和自我價值范圍S，以及G依據內部元素價值大小依次如隊友、野生動物、樹木等，S依據內部元素價值大小依次如阿智自身的程序、軀體、手臂等；(3)通過條件性遷移學習和/或自主性序列建模，在G與S之間生成多個可供選擇的價值序的集合。2.策略網絡：它決定了森林的狀態并且選擇下一階的行為。它首先由專業人員對它進行培訓，而后預測其下一階的行為。然后它在模擬的森林中自主行為，如此訓練足夠多次數之后，再訓練程序系統中的下一階行為，直到它最終達到預期效果。3.樹搜索：樹搜索把估值網絡和策略網絡結合在一起，模擬下一階會發生什么，并通過策略網絡選擇更優的價值序，并進行行為。由此檢驗人工智能主體阿智是否具有表現自我意識的行為。為了簡化表述，我們考慮一個只有二階行為的行為路線。目標價值范圍設為0到10，其中的0代表目標價值無增加；自我價值范圍設為-10到0，其中的0代表自我價值無損耗。

表1 一階行為及其價值

在表1中，不同的行為方案對應著不同的價值序。其中的參照行為是行為1，它代表阿智只是一味追求目標價值的最大化，而不顧自身的受損情況。如果阿智總是選擇行為1，則會被識別為無自我意識。這個實驗的重點在于，在這個情景中，阿智的程序自編指令(19)參見[美]伊恩·古德費洛等：《深度學習》，趙申劍等譯，張志華校，人民郵電出版社2017年版，第10、14章“序列建模：循環與遞歸網絡”“自編碼器”。允許它產生不同的價值序，因此如果阿智在大量訓練之后總能夠做出選擇行為1之外的任一滿意或次優行為，那么它就表現為一種自主選擇的能力。由此，行為2至行為4則是允許的，所以需要考慮下一階行為。

表2 二階行為及其價值

在表2中，行為2-1至行為4-1(20)行為2-1指的是選擇行為2后對應的下一階行為。以此類推。各自對應的總價值是不一樣的，其中行為4-1的總價值低于其他行為，所以行為4-1先被排除。行為4-1在這里也暗示一種極端情況，即阿智只是一味追求自我價值受損的最小化，而不顧目標價值的增加情況。這種情況目前與人類發展人工智能的目標是相違背的，因此它被排除。但這種排除只能說是人類關于人工智能的事先性干預施加的結果，與人工智能能否乃至如何產生自我意識無關。

在表2中，選擇行為2-1還是選擇行為3-1，在總價值上都是一樣的；但是就目標價值和自我價值的差別而言，選擇行為2-1有利于維護阿智的自我價值，而選擇行為3-1則有利于增加目標價值。因此，如果在整個過程中阿智的程序自編指令指向選擇行為2-1，那么這種行為至少在功能上表明阿智已經具有維持自我價值的意識。這個意識不是事先給定的，而是阿智在不斷地無監督學習訓練中產生出來的。至此，阿智通過了功能上具有自我意識的檢驗。在這個二階行為的圖景中，阿智的行為路線由兩階行為組成，即作為一階行為的行為2和作為與之相應的二階行為的行為2-1。如果阿智在這一圖景中的自主選擇行為與作為參照組的普遍人在相同情景下所做的選擇是一樣的，那么它在思想實驗上也通過了自我意識的檢驗(至于實際操作層面的檢驗，這是人工智能實驗家的工作)。

這里需要做些補充說明。一是上面的量化實驗只涉及極簡的二階行為，它的目的主要是為了清晰表達人工智能主體阿智如何展開在功能上具有自我意識的過程，而不是說在二階行為里就能夠檢測出阿智具有自我意識。毋寧說這個極簡二階行為的思想實驗是啟發性的，它允許并兼容進行更多階行為的各類檢驗實驗。由此，如果不是二階而是三階或三階以上的行為方案才能檢測出阿智具有自我意識，那么這并不否定本實驗理念而只是提出了更優的量化實驗要求。二是在上面的量化實驗中，阿智在無監督學習下自主地摸索相應的推理模式，因為是自主摸索的，因此它有可能自發地掌握演繹推理、歸納推理甚至因果推理等。三是整個檢驗過程中，筆者有意淡化阿智的言與行的區分。主要原因有二：一個原因是言語一般而言是行為的一種，因此本文采用的行為這一術語，既可以是語言行為，還可以是非語言行為，也可以是語言行為和非語言行為的混合；另一原因是就人工智能如何產生自我意識而言，關鍵點不(再)是人工智能的語言表達(前文已予以說明)，而是關于人工智能對自我價值的意識，因此本文的重心落在闡述兼顧自我價值的人工智能如何展示其自我意識，它具體映射于人工智能的自主選擇過程。

人工智能的心智限度

以上的論述是初步性的，有待后續完善。最后，筆者想評述與此相關的問題作為本文的結尾。讓我們從這個問題開始，即有自我意識的人工智能會不會進化出情欲的能力呢？在回答這個問題前，我們需要先界定一下情欲。情欲是人類生物性的一種感性傾向，它包括人類的畏懼、煩悶、憂愁等情感，即所謂七情六欲，并且對人的行為有一定影響。(21)本文在情欲與情緒(情感)之間不做區分。但提及的是在本文中，人工智能的情欲是由自我意識衍生而來的，而非直接基于認知心理學設計的人工情緒。關于人工情緒的新近研究，參見徐英瑾：《歐陸現象學對人工情緒研究的挑戰》，《探索與爭鳴》2019年第10期。人工智能主體是一個硅基的膠體無機結構而非碳基的生物有機結構，因此它不具有和人類一樣的情欲。但是，有自我意識的人工智能主體可能會演化出類似“情欲”的反應，比如遇到自身溫度升高、自己可能受到傷害、自己目標沒有如期進行等，通過映射在自我價值、目標價值及其關系中的價值序，它會進行相應的自我調整，暫且將之稱為“自適反應”。這個自適反應表現為外部環境改變加重它的負荷與它的自我調整之間的平衡關系。由此，在與人類互動的過程當中，如果這種自適反應對人造成了一定的負擔或傷害，那么它就是負面的。試想一下，你遇見這樣的實體(機器人或阿凡達)，他能與你談情說笑，也能帶給你喜怒哀樂，當他表露他的恐懼和渴望時，你會相信他。你會接受這樣一個有意識的機器人嗎？確實如雷·庫茲韋爾所言，這可能是關于信仰飛躍的問題：當機器人說出他們的感受和感知經驗，而我們信以為真時，他們就真正成了有心智的人。(22)[美]雷·庫茲韋爾：《人工智能的未來》，盛楊燕譯，浙江人民出版社2016年版，第271頁。在這個意義上，人工智能主體和人類進入一個非常關鍵的互動關系中。

當人工智能主體從認知能力演化出了自我意識能力，從自我意識能力又演化出了與人的情欲相近的自適反應時，他具有和人相近的心智結構。由此我們回到本文開篇提及的焦慮性問題，即人工智能主體會不會主宰、控制乃至終結人類？對這個問題的追問，涉及了對人類的復雜性的分析。因為在復雜性上人工智能主體高于、等于或者低于人類，都會有非常不一樣的結果，因此關于人類的復雜性研究在人工智能領域是必要的。它的必要性首先在于，防止在人工智能的發展上做出簡單的或錯誤的決策。從歷史來看，第一次認知革命的心智改造，讓非洲猿類能夠接觸到主體間的領域，建立了城市和國家，發明了文字和貨幣，成為地球的主宰者；而第二次認知革命的心智改造極有可能誕生人工智能與人類的混合體，從而讓這個混合體接觸到目前難以想象的新領域，得以最終逃離不再適合人類碳基生物體居住的地球，成為其他星球的主人，(23)[以色列]尤瓦爾·赫拉利：《未來簡史：從智人到智神》，林俊宏譯，中信出版社2017年版，第318頁?；蛘呷祟悅€體在生物體衰老死亡后，將自己的心智移入人工智能網絡。當然，這目前只是一種未來學想象。

更具有現實可能性的情景是人工智能只是對人類復雜性中的可程序化部分的模仿，而那些它不能模仿的東西，它只能通過前面所說的允許一定自由度來逐步靠近人類的心智結構。就此而言，即便人工智能能夠發展出自我意識，它也需要相當長的時間來進化才能達到人類的能力水平。但是人工智能的心智最終會不會超越人類，這確實是個開放的議題。在這個議題上，筆者持有謹慎的樂觀態度。主要原因來自兩個方面，一個方面是從復雜性科學來看，人類的復雜性高于人工智能主體，依據哥德爾不完全性定理，即“沒有一個足夠強有力的形式系統會在下述意義上是完備的：能夠把每一個真陳述都作為定理而重現在該系統中”，(24)[美]侯世達：《哥德爾、艾舍爾、巴赫：集異璧之大成》，本書翻譯組譯，商務印書館2019年版，第135頁。因此人類在綜合能力上高于人工智能主體。人類的復雜性是生物界極其漫長演化積累的結果。生物從低級到高級，從無意識到有意識，又是經歷了數億年的演進。人類作為高級生物的一支，從古猿到智人，再到現代人類，我們也經歷了數百萬年的進化。這種由進化而來的復雜性是不可逆的，因此它不可能完全還原到程序主義的形式系統。人工智能作為一種形式系統，它的程序代碼都只是在某個或幾個維度逼近人類的相關方面，而非整體性逼近。這個復雜性約束構成了人工智能發展的邊界，由此而來的一個復雜性推理有兩個互證的方面：一是人類在綜合能力上的不可超越在于人類經由數百萬年實踐積累起來的復雜性，但由于這個復雜性的干預而不能在單個領域勝于專用人工智能；二是人工智能在專項能力上的不可超越在于人工智能經由形式系統施予的單一性，但是由于這個單一性的限制而不能在多個領域勝于人類。(25)秦子忠：《人類的復雜性及其程序化的限度——兼評“人類終結論”與“競速統治論”》，《自然辯證法通訊》2021年第1期。依據這個復雜性推理，我們可以對人工智能的發展做出這樣的具體化表述，即人工智能越是作為單一的形式系統，它在專門領域就越可能發展出人類個體無可匹敵的專業能力；如果它兼容多個形式系統，它雖然可以處理多個領域的事務，心智結構也更接近人類，但是由于復雜性的干預，它不僅在任一領域的專業能力都弱于它作為單一形式系統時所具有的專業能力，在綜合能力上也弱于人類個體。

另一方面是人類既可以創造有益的人工智能，也可以創造有害的人工智能，甚至一些中性技術也會被人類用于壞的目的。由此，當我們談論人工智能的發展時，要注意這個區分：(1)無任何人為介入性環境下，人工智能的發展可能性；(2)人為介入性環境下，人工智能的發展可能性。聚焦這個區分，既有助于在科學研究上探知人工智能的發展邊界，也有助于人類反觀自身。從以上分析來看，更合理的理論前提應當是(2)。并且這個觀念也是可疑的，即人工智能雖然有著許多不足甚至缺陷，但是人類同樣也有許多不足和愚蠢，因此人工智能對人類的替代，只需要跑得比人類快。更合理的觀念是人類—人工智能同步發展，或更弱些，人類具有足夠適應性。(26)這是個合理的假設，否則人類早就滅亡于地球環境的變遷了，相較而言，現在的技術環境是一個更容易應對的變化。這個適應性一方面是對人工智能的發展的介入性干預，另一方面是人類借助人工智能的發展來實現自身在智力上的發展。據此，研究者當下要做的不應是簡單地拒斥或夸大人工智能在意識方面的發展，而是從不同角度展開人工智能產生心智的過程，由此探討約束人工智能的適度干預原則和/或倫理原則，以便讓人工智能的發展造福于人類。