?

人工智能和社會科學研究

2024-04-24 06:13劉剛李響李沁倩劉捷
理論與現代化 2024年2期
關鍵詞:社會科學人工智能

劉剛 李響 李沁倩 劉捷

摘要:人工智能屬于通用目的技術,不僅能夠引發產業變革,而且能夠催生新科學研究范式。隨著以生成式人工智能為代表的通用人工智能的發展,人工智能的應用成為社會科學研究范式創新的前沿。數據的高維度、編程語言的強結構性和長程關聯性、以參數形式表征的隱式知識庫和預訓練的結構重整帶來新知識和模式發現,為社會科學研究創造出新的發展空間。同時,數據隱私、價值觀和研究結論的“黑箱”化帶來了人工智能在社會科學應用中的新挑戰。如何把大模型的知識發現和基于研究者實踐經驗的探索式研究相結合,形成人機共生演進的知識生產方式,是社會科學研究中人工智能應用的方向。

關鍵詞:人工智能;大模型;社會科學;對齊問題;隱私安全

中圖分類號:TP18???? 文獻標識碼:A???? 文章編號:1003-1502(2024)02-0080-12

基金項目:2023年中國工程院戰略研究與咨詢項目“場景創新驅動的人工智能技術升級和產業發展”,項目編號:2023-HY-11;教育部哲學社會科學實驗室專項基金研究項目,項目編號:H0122702。

作者簡介:劉?? 剛(1965—),男,南開大學經濟學院教授、博士生導師。

李?? 響(1996—),男,南開大學經濟研究所博士研究生。

李沁倩(1998—),女,南開大學經濟研究所博士研究生。

劉?? 捷(1992—),女,中國新一代人工智能發展戰略研究院研究員。

一、引言

近年來,生成式人工智能的興起和發展,使人們看到了通用人工智能(AGI,Artificial General Intelligence)的火花[1]。隨著多模態大模型的開發和輕量化部署技術的發展,生成式人工智能成為人工智能技術創新和商業化落地的前沿。與傳統的機器學習相比,生成式人工智能大模型具有強大的學習和推理能力,不僅能夠提高人們獲取、處理信息和數據的能力,而且能夠廣泛運用于包括智能制造、智慧城市、智能醫療和智慧教育在內的經濟社會領域,加速了人工智能和實體經濟深度融合的進程。

科學技術是第一生產力,創新是第一動力。人工智能在科學研究和技術服務領域的應用,為科技創新注入了新的活力。中國新一代人工智能發展戰略研究院發布的《中國新一代人工智能科技產業發展 2023報告》顯示,人工智能在三次產業中的應用最廣泛的是第三產業,其中科學研究和技術服務業在第三產業人工智能應用細分行業中排名第二。隨著生成式人工智能的發展,人工智能和科學(AI for Science)成為人工智能創新應用的關鍵領域。例如,在生命科學領域,人工智能參與分子生物學研究的范圍覆蓋從基因到表型的關鍵過程與機制研究[2];在材料科學領域,通過對已知化合物和材料數據庫的學習,人工智能被用于預測新材料特征和探索聚合物材料結構,成為獲得材料成分——結構——工藝——性能關系的關鍵工具[2]。除此之外,人工智能在包括粒子物理學、核物理學、凝聚態物理學、宇宙物理學、地球演化史、氣候變化評估、災害事件預測、自然資源計算和環境治理等在內的物理科學和地球科學領域的科學研究中,發揮著日益重要的作用[3]。

人工智能不僅適用于自然科學研究,而且同樣適用于社會科學研究。人工智能的應用能夠提高社會科學研究工作的效率。尤其是借助人工智能強大的搜索、分類和信息處理能力,可為研究者提供更加可靠的數據。同時,依托文本加工和生成能力,人工智能能夠減少知識生產過程中的重復性工作。更加重要的是,大模型的應用能夠加速社會科學研究中新知識的發現和新模式的識別。在人工智能的幫助下,社會科學研究者能夠快速掌握不同學科的海量知識,有利于突破研究領域壁壘,推動學科交叉研究和新知識的發現。同時,通過知識生產過程中的相互反饋和驗證,人與機器之間的協同演進能夠創造新的知識生產方式。

與自然科學研究不同,無論研究數據、方法還是研究過程,社會科學研究都深受隱藏其中的社會價值觀影響。人工智能在社會科學研究領域的應用可能面臨嚴重的社會倫理風險。例如,訓練數據中存在的固有偏見和歧視會影響模型的內容生成。同時,在研究者價值傾向誘導下,人工智能可能生成不符合人類社會倫理道德規范的內容等等。隨著生成式人工智能的快速發展和更新迭代,如何把大模型的知識發現和基于實踐經驗的人類研究者的獨立研究相結合,形成人機共生演化的社會科學研究范式,是人工智能在社會科學研究中應用的方向。

人工智能尤其是生成式人工智能在社會科學研究領域的應用剛剛開始。本文首先在文獻梳理的基礎上介紹生成式人工智能知識學習、輸出和創造的基本原理,進而探討人工智能在社會科學研究中的應用前景及其可能存在的問題與挑戰。

二、人工智能的知識生成原理

與1.0階段人工智能不同,2.0階段的人工智能是基于網絡空間、物理空間和社會空間互動的數據智能。在數據智能發展中,以ChatGPT-4為代表的大語言模型已展現出令人驚嘆的文本生成能力,但其背后的運行原理和邏輯卻并不復雜。大語言模型只是通過新的神經網絡算法根據用戶的輸入文本預測接下來的詞元(token),讓輸出文本看起來完整且通順。算法模型既不關心輸入內容,也無意解答人們提出的問題。

(一) Transformer——簡單的架構

循環神經網絡(RNN)和卷積神經網絡(CNN)在處理序列數據和自然語言任務中取得了顯著的成效。它通常沿輸入和輸出序列符號的位置進行計算和預測,順序的固化阻礙了樣例內訓練的并行化,限制了樣例之間的批處理,難以捕捉到長距離依存關系。2017年,谷歌大腦團隊和多倫多大學提出了一種新的簡單神經網絡架構——Transformer,允許模型在處理每個元素時,能夠關注序列中的其他元素,進而捕捉全局性上下文信息,展現出并行計算方面的巨大潛能[4]。自注意力機制和位置編碼與解碼是新神經網絡架構的兩大創新。

1.自注意力機制

Transformer架構摒棄了循環遞歸和卷積神經網絡算法,完全依賴自注意力機制繪制輸入和輸出之間的全局依存關系,無須考慮它們在輸入或輸出序列中的距離[5]。Transformer在處理較長文本輸入時,不僅注意關鍵詞本身及其周邊詞匯,還會注意輸入序列里其他單詞與關鍵詞之間的相關關系并給予每個詞不一樣的注意力權重①。因此,Transformer能夠理解當前詞和其他詞之間的相關性強度,能夠關注到輸入序列中真正重要的部分。

2.位置編碼與解碼

除了自注意力機制,Transformer的另一項關鍵創新是位置編碼與解碼。在自然語言處理中,即使輸入序列中所包含文字相同,順序上的差異也可能導致意思大相徑庭,因此在對文本序列建模時,單詞的順序很重要[6]。Transformer在處理輸入序列時,除對詞匯進行嵌入轉換成向量外,還會對詞在句中位置進行編碼并添加到輸入序列的向量表示。詞匯向量組成維度數以億計的向量空間,經過多層神經網絡處理,模型可以更好地理解詞義和不同詞之間的順序關系②。

位置編碼與解碼的另一個作用是使模型具有并行計算能力。過去RNN對輸入序列按順序依次處理,串行結構造成訓練速度瓶頸,無法同時學習到所有信息。借助位置編碼,Transformer可以同時處理輸入序列里的所有詞元,而不需要像RNN那樣依次處理,大大提高了訓練速度,為訓練出具有“大參數”和“大數據”特征的生成式人工智能模型奠定了基礎。

自注意力和位置編碼機制使得Transfomer能夠將較長文本輸入轉換成高維度數據集來理解詞元本身與詞元之間的關系。兩大創新使大模型表現出數據的高維度、編程語言的強結構性和長程關聯性特征。

(二) Pre-trained——從簡單到復雜

自注意力機制和位置編碼與解碼技術只是人工智能內容生成能力的基礎,復雜預訓練過程是模型結構從簡單到復雜,進而具有超強內容生成能力的真正原因。

1.學習文本——無監督學習

生成式人工智能亮點之一是可以理解人類的自然語言。人類自然語言非常復雜,在許多情況下,一種意思可用多種形式表達,即使同一個表達方式在不同語境中也可能存在不同含義。為使機器理解人類語言,需要通過預訓練讓模型看到盡可能多和豐富的語言樣例,進而掌握語言規律。

2.模板規范——監督學習

模型通過對大量語料的學習可以理解各種詞語搭配和語法規則,能夠學會自然語言和編程語言,甚至是不同語言之間的關系。但是完全基于自發學習過程的能力增強卻可能導致大模型的回答形式和內容不受約束。

與人類思維的成熟依賴長期學習類似,大模型同樣需要用優質的對話范例和對話模板不斷修正在自然學習過程中形成的不良“習慣”。例如,當被要求回答涉及種族和性別歧視方面的內容時,通過模板規范大模型應當拒絕回答或者給出正確的答案。

3.創意引導——強化學習

經過上述兩個階段的訓練之后,結構“簡單”的模型能力因參數持續增加開始變得強大。模板式規范訓練可能導致機器回答問題時過于模板化,缺乏創造力。在這種情況下,需要在創意引導階段通過強化學習使模型提供某些超越模板且符合人類對話模式和價值取向的創造性回答。強化學習強調不通過現有模板限制模型內容生成,允許模型自由回答,依據回答效果給予獎勵或懲罰,從而反饋和調整模型的回答能力。

通過預訓練階段的學習文本、模板規范和創意引導階段,大模型理解自然語言表達和內容生成的能力得以實現,參數得以確定,能夠實現優質且穩定的輸出[7]。以參數形式存在的隱式知識庫,預訓練的結構重整為新知識和新模式的發現及社會科學研究發展新空間提供可能。

(三) Generative——創意的輸出

Generative是指人工智能大模型能夠創造出原本不存在的全新內容,從而賦予人工智能一定的創造性。如Adobe推出的通過文字描述就能自動生成和修圖的AI模型集Firefly,Runway發布的視頻生成模型Gen-2,微軟推出的能在Word、Excel、PPT之間隨意切換生成的Microsoft 365 Copilot等等。

1.大模型的涌現能力

所謂“涌現”,是指當一個系統的復雜性達到一定程度時會產生超越系統元素簡單疊加的整體特征。例如,大量無生命的原子組合可以產生活細胞;大量功能單一的免疫細胞組合可以形成智能的免疫系統;大量結構簡單的神經元組合可以形成能夠產生意識的人腦。大模型之所以具備類腦的強大推理和知識創造能力,可能的原因之一是它是一個參數規模足夠大的復雜神經網絡系統。

表1列出了ChatGPT參數規模的變化情況。GPT-3之前的GPT系列大模型尚未展現出足夠強大的學習和推理能力。在模型參數足夠大和訓練數據足夠多的情況下,大模型的涌現能力開始出現。例如,能夠理解人類的情感變化。谷歌的研究表明,只有當模型參數超過大約1000億個時,創造能力才會出現。但是大模型如何完成推理過程及其機制,目前尚無法做出科學的解釋。

2.語境內學習和思維鏈

在超大模型使用中,除了涌現能力,研究者還發現大模型的另外兩種重要能力:

第一,思維鏈(CoT)。當生成式人工智能模型無法答對一個綜合問題時,如果分步提問,它可以通過一步步連續推理使最終答對的可能性大幅提升,即“思維鏈”能力[8]?!八季S鏈”能力存在的可能性解釋是,模型通過對編程代碼的學習和理解產生了鏈式推理能力。

第二,語境內學習(IcL)。生成式人工智能模型掌握了如何通過例子進行學習的能力。例如,通過學習數個英文轉換成中文的例子,大模型能夠理解“翻譯”這一指令的具體含義。這種自我更新進化的能力被稱為“語境內學習”[9]。

正是因為涌現、語境內學習和思維鏈3種能力的疊加,生成式人工智能模型能夠表現出驚人的推理和編程能力。隨著算力提升和大模型復雜度的進一步增加,可以預期人工智能將具有更加強大的創造性,從而助力科學研究的發展。

三、人工智能在社會科學中的應用

每一次重大科技創新都會帶來科學研究范式的變革。自1956年達特茅斯會議提出人工智能概念以來,把人工智能應用于科學研究一直是學術界努力的方向。早在2007年,圖靈獎得主吉姆·格雷(Jim Gray)發表了題為“第四范式:數據密集型科學發現”(The Fourth Paradigm: Data-Intensive Scientific Discovery)的演講。在他看來,科學研究的范式分為4類:實驗范式、理論范式、計算范式和數據密集型范式。其中,第四范式是指數據密集型范式。與前三種研究范式不同,數據密集型研究范式從海量數據計算中得出未知的理論。

生成式人工智能為數據密集型研究范式的發展奠定了基礎。一方面,人工智能大模型不僅可以把研究人員從煩瑣的計算、模擬和測試活動中解放出來,而且能夠化解因數據維度增加帶來的維數計算的災難;另一方面,通過密集數據的計算能夠發展新的理論和識別出新的研究問題。尤其是生成式人工智能可以幫助研究者學習和掌握不同學科的知識,能夠從整體視角探索新的問題解決方案。

首先,以大模型為代表的人工智能本身正在成為社會科學研究的重要對象。大模型應用帶來的社會影響越來越顯著,對生成式人工智能本身的研究和評估變得越來越重要。作為社會科學新的研究對象,識別和研究大模型的能力、行為、決策、推理機制和倫理道德的“機器心理學”“機器行為學”和“機器倫理學”等應運而生[10]。同時,可交互大模型模糊了虛擬和現實世界的邊界,導致網絡空間、物理空間和社會空間的交叉融合,新的社會形態催生新的社會科學研究內容和方法。例如,以研究人工智能對社會影響的“智能社會科學”正在興起為一門新的學科。

其次,人工智能大模型正在改變數據的收集和處理方式[11]。人工智能大模型已被應用于調查數據、文本數據和關系數據的采集和分析,促進了包括社會學、經濟學、政治學和新聞傳播學在內的社會科學研究領域的數據密集型研究范式的出現。例如,人工智能大模型可以在研究者的引導和提示下,扮演人類研究者的角色與研究對象進行交流以獲取研究數據;人工智能大模型能夠模擬生成社會科學研究數據,這些數據經過校正后可以成為開展研究的有效數據集,成為社科研究的重要數據來源。在執行信息提取任務時,大模型可從互聯網文本數據集中學習語言模式和風格,同時大模型還能進行關系提取、文本摘要、命名實體識別、事件提取等信息提取任務。

再次,人工智能大模型正在改變社會科學的研究方法。大模型在經濟學中的應用使基于人工智能輔助的經濟決策更加貼近傳統經濟學中的完全理性假設,彌補了人類經濟行為的有限理性甚至預期偏差的后果[12]。同時,大模型支撐的數據密集型科學研究能夠從高維數據中發現新理論。面對“大數據”及其研究方法帶來的挑戰,經濟學需要方法論變革[13]。

最后,大模型的應用支撐新的理論體系的形成和發展。隨著經濟全球化,尤其是新技術革命的快速發展,科技驅動的經濟社會發展日益呈現出高度復雜性和不確定性。大量的資訊、廣泛的鏈接、海量數據和持續更新的知識使得傳統經濟理論中的市場和政府配置資源的理論框架難以解釋新的經濟發展規律。例如,具有廣泛技術供給能力的新型平臺正在成為人工智能時代新的資源配置方式。在大模型協助下,創建新的理論范式解釋正在變革中的經濟和社會,將成為社會科學研究新的發展方向。

四、人工智能大模型在社會科學研究應用中可能帶來的挑戰

人工智能具有技術和社會“雙重”屬性。人工智能在社會科學中的應用同樣面臨嚴峻的挑戰。例如,數據質量、隱私安全、倫理道德和價值對齊等問題。厘清這些問題是應對挑戰、保證人工智能在社會科學研究中發揮積極作用的必要條件。

人工智能大模型在社會科學研究應用中的首要問題是數據質量問題。首先,人工智能大模型內容生成的質量和能力取決于訓練數據的質量[14-16]。以ChatGPT3為例,基礎模型的參數達到1750億,訓練模型包含45TB的文本數據,接近8000億個單詞。質量較差的訓練數據,例如不完整的數據、錯誤的或不平衡的數據、陳舊的數據等,能夠限制系統的學習能力、增加系統錯誤率。其次,由于現有的人工智能大模型均屬于基礎模型或通用模型,應用到社會科學研究中時需要進一步專用化,而專用化的水平取決于相關領域與知識圖譜關聯的高質量數據。

人工智能大模型在社會科學研究領域應用面臨的另一突出挑戰涉及隱私、安全和知識產權問題。研究者在使用大模型開展社會科學研究的過程中,通常依賴包含個人信息及其行為偏好的數據,數據采集、存儲和使用過程往往涉及個人隱私[17]。同時,研究中使用的數據可能涉及個人和公共安全問題,當我們使用這些數據進行研究時,可能妨害個人隱私和公共安全。此外,社會科學研究者引用生成式人工智能的創作內容可能會引起版權糾紛[18-19]。例如,在使用ChatGPT從大型語料庫識別模式生成論文[18]的過程中,可能涉及對別人知識成果的侵權。

與自然科學研究不同,社會科學研究存在立場和價值觀念問題,而具有立場和社會價值觀的數據同樣是人工智能大模型的基礎。大模型可以生成虛假內容[15]或者有害內容,缺乏辨識能力的使用者常常受到人工智能生成的錯誤內容潛移默化的影響[20]。因此,如何分辨大模型的生成內容,避免形成錯誤的認知是研究者需要關注的問題[21]。

人工智能大模型的內容生成存在“黑箱”問題。人工智能依賴復雜的算法,這些算法以人類不易審查或理解的方式內化數據,缺乏足夠的透明度和可解釋性[22]。其中的主要原因包括:一是算法結構的復雜性。例如,深度神經網絡中數千個人工神經元以分散的方式對從數據中提取的多樣特征進行編碼,編碼內容常常是人類無法理解的。二是數據的高維性。人工智能正在使用的深度學習、強化學習算法可能依賴于人類無法可視化的幾何關系,如計算機使用向量機(SVM)來區分數據時可以理解超多維的空間及其分割“線”,而人腦卻難以想象和理解人工智能構建的多維空間和分割“線”是什么樣子,無法根據眾多特征來區分數據和樣本??紤]到并非所有SVM都使用直線來劃分數據——即SVM使用的數學方法允許非線性(即曲線)劃分,人與人工智能在空間理解上的鴻溝就更難跨越。

正是由于這種人類不能理解的抽象思維能力,人們在使用大模型處理數據時無法確定大模型是如何處理數據的。用戶難以解釋和理解大模型的輸出結果[15],也很難發現輸出中的潛在錯誤[23]。它使用的數據來自哪里?網絡上的數據是真實的還是虛假的?它刪除了哪些數據?它為什么如此理解文本?這種不透明和不可解釋性就導致了大模型“黑箱”屬性。

人工智能大模型的輸出結果可能存在倫理道德問題。大模型依賴算法設計和數據訓練,可能包含性別、種族或宗教等偏見。研究者在使用大模型時有可能重復這些偏見,從而影響結論的公正性。例如,由于訓練數據的不平衡③導致ChatGPT繪制的英美人物圖像更加細致、富有美感和形象正面,而繪制的亞洲人圖像則相對粗糙和怪誕。語料信息的不均衡同樣導致ChatGPT對英文語料理解程度強于中文語料[24]。在社會科學研究領域,由于訓練數據的不均衡和算法設計的不完備,ChatGPT對不同國家或者不同法系的法律條文、不同地區不同民族的文化[15]、不同宗教不同派別、不同國家的哲學社會科學以及不同社會體制下的社會經濟運行情況等有著不同的理解和認可程度。

此外,倫理歧視問題還來源于日益嚴重和擴展的“數字難民”或“數字鴻溝”問題[25]。一方面,大模型的訓練和推理所需的算力成本非常高,好的大模型如ChatGPT-4和Claude-2收費標準較高;另一方面,大量圍繞著大模型衍生出的相關應用需要復雜的操作才能部署到個人電腦上并需要配置高級的硬件才能使用,較高的技術門檻和設備條件阻礙了人們對大模型的應用。

人工智能大模型的發展帶來的“價值對齊”問題受到前所未有的關注。在人工智能系統的目標與人類價值觀存在偏差的條件下,大模型可能作出與人類價值觀相違背的決策。隨著人工智能能力的不斷增強,如何評估或者監管人工智能系統,避免因“人工智能價值觀與人類價值觀未對齊”帶來的風險正變得日益困難和急迫[26]。其中的主要原因包括:一是評估需要花費大量時間和專業知識。想要評估人工智能撰寫的文章質量,需要聘請相關專業的審稿人;想要評估人工智能起草的法律文件,需要聘請律師和社會學家。隨著人工智能系統執行更復雜的任務,這個問題會變得更加難以實現。二是人類評估者難以避免地產生錯誤反饋,將激化人工智能系統“價值未對齊”問題。ChatGPT的輸出經??瓷先I且自信,因此人們可能會被“欺騙”去選擇看上去正確但實際上錯誤的輸出,如果直接使用錯誤或有偏見的人類反饋來“優化”人工智能系統,最終會使模型更具“欺騙性”。

令人高興的事情是上述問題正逐步被研究者的最新成果解決。例如,用于解決數學和計算機科學問題的FunSearch模型,通過迭代程序和進化算法發展和保留最優秀的創意想法,在上限集問題和裝箱問題上做出了新發現[27]。FunSearch將一個預訓練語言模型與自動“評估器”結合,實現了既能提出創造性代碼解決方案,又能過濾錯誤輸出、防止大模型的幻覺風險。此外,FunSearch還揭示了解決方案的構建過程和代碼,簡潔可解釋的程序有利于研究者更好地復現、驗證和解釋新發現過程,同時也為研究人員提供可操作的程序,有利于其產生新啟發和新想法,進入“改進—發現”的良性循環。

盡管現有技術在規避和解決上述風險領域展現出了深厚潛力④,但在社會科學領域上述風險和挑戰尚未得到很好解決,如何克服可能存在的風險和取得更大的成功需要多學科交叉和共同努力。例如,在社會科學研究過程中,研究者需要與大模型之間進行有效協作,持續推動一項社會問題的研究。同時,大模型在參與社會科學研究的過程中,得出的結論需要人類研究者進行評估和驗證[21]。因而,人工智能時代社會科學研究的重要方式是人類研究者與機器的相互比較和驗證。一方面,通過人類基于實踐經驗的獨立研究使人工智能生成和創造的知識被實證;另一方面,人類基于實踐經驗的獨立研究成果由人工智能大模型進行驗證。人工智能和人類知識生成創造的內容和知識的相互比較和驗證,將成為智能時代社會科學研究的常態;人機相互依賴共同演進的知識生產和創新方式,將帶來社會科學研究的新范式。

五、結論和建議

隨著生成式人工智能的創新應用,人工智能正在變革科學研究范式。其中,人工智能在社會科學研究領域的應用在引發研究方法變革的同時也帶來了挑戰??傮w上看,大模型的應用能夠提高社會科學研究的效率和水平,尤其是數據的高維度和算法的復雜化能夠使社會科學更深入地研究復雜社會現象和問題,屬于數據驅動的研究范式。同時,如何克服人工智能在社會科學研究應用中存在的數據隱私安全、倫理道德和價值觀對齊等問題,需要我們做出深入思考。

需要強調的是,盡管人工智能已經具備強大的推理能力甚至是知識創造能力,但是仍然難以替代人類的獨立探索性研究。人類的知識生產和創新來自對自然和社會現象的有目的編程。同時在長期積累過程中形成的人類常識性知識是人類認識和解釋世界的前提和基礎。由于與人類知識生產和創造機制存在差異,人工智能可能創造出新的知識和模式。通過比較和驗證,機器和人類的知識生產和創造的共生演進,將成為人工智能時代社會科學研究的新范式。

大模型的創新應用將帶來社會科學研究范式的創新。人機協同的知識生產方式,將使人類對經濟社會運行規律的認識達到新的高度。同時,鑒于大模型在社會科學研究中運用的特殊性和潛在網絡,需要對此加強評估和監管。

第一,鼓勵支持大模型在社會科學研究領域的廣泛應用。只有在社會科學研究領域廣泛應用,才能真正了解大模型的原理、使用方式和可能存在的風險。當我們充分掌握了大模型的重大風險點時,才能通過技術創新和治理進行有效控制和防范。到目前為止,大模型在社會科學領域的研究尚未全面展開,缺乏如何有效使用大模型進行科學研究的指南、教材和課程。通過教材編寫和課程開發加快大模型在社會科學研究中的應用,是當前需要開展的重要工作。

第二,鼓勵對大模型“黑箱”問題的可解釋性研究??山忉屝允侵溉祟惸軌蚶斫饽P驮跊Q策過程中做出選擇的過程、機制和因果關系?,F有大模型的訓練方式主要分為兩種:一種是傳統fine-tuning范式;另一種是基于prompting的范式[28]。

基于傳統fine-tuning范式的模型解釋包括對單個預測的解釋(局部解釋)和對模型結構級別組分如神經元、網絡層等的解釋(全局解釋)?;趐rompting范式的模型解釋,需要對基礎模型和助手模型分別解釋以區別兩種模型的能力,從而探究模型學習的路徑和方法。這些研究工作的開展將為模型少樣本學習(few-shot learning)甚至是無樣本學習(zero-shot learning)能力提供解釋,有利于理解涌現現象的根源和思維鏈能力的來源。同時,利用專用化數據語料庫訓練出可輸出推理結果和推理過程的專用大模型,將有利于研究者的驗證和復現工作的展開,進而降低模型“黑箱”屬性帶來的風險。

第三,推進人工智能大模型價值對齊工作。通過人類反饋的強化學習(RLHF)已被證明是一個有效推進人工智能大模型價值對齊的方法,它包括指令微調(SFT)、獎勵模型訓練(RW)、人類反饋強化學習(PPO)三個過程[29]。雖然RLHF原理清晰,但是由于眾多開源框架處于持續更新迭代之中,如何利用有限的計算資源訓練強化學習模型是未來努力的方向。

為促進價值對齊從低效的“人類監督”轉向更高效的“規?;O督”(scalable oversight),美國Anthropic公司提出了“憲法性AI”(constitutional AI)的方法,即研發主要用于評估主模型輸出是否遵循特定“憲法性”原則的從屬模型,根據評估結果來優化主模型。

第四,通過評估劃分大模型的風險等級。一方面,對大模型的應用領域進行風險評估,將涉及國家安全和社會歧視方面的研究劃分為高風險領域,實施更加嚴格的管控;另一方面,通過對大模型涉及的研究問題和對象進行風險評估,進行分類管控和治理。在兩個方面的風險評估和分類管控的條件下,積極推動人工智能在社會科學研究領域的應用,為繁榮社會科學研究作出貢獻。

注釋:

①注意力權重來自大模型訓練過程中大量文本無監督學習。

②如理解男孩和女孩、男人和女人、國王和女王這幾組詞,不僅需要指出性別、年齡、地位信息,還需要描述男孩與男人、男人與國王的關系類似于女孩和女人、女人與女王的關系。這很難用一個數字表示,但在多維度的向量空間里,向量距離可以清晰描述這些信息。

③訓練數據中不同類型的樣本占比不合理,如訓練數據僅代表總體的一小部分時,易出現模型錯誤歸納規律和錯誤輸出。

④在社會科學領域,尚未出現可避免大模型幻覺或“黑箱”問題的模型,但根據這一思路對應用于社科領域的大模型進行改造是可能且有益的。

參考文獻:

[1]《GPT-4,通用人工智能的火花》論文內容精選與翻譯[EB/OL].[2023-12-20]. https://orangeblog.notion.site/GPT-4-8fc50010291d47efb92 cbbd668c8c893.

[2]CAUDAI CLAUDIA,GALIZIA ANTONELLA,GERACI FILIPPO, et al. AI Applications in Functional Genomics[J]. Computational and Structural Biotechnology Journal, 2021, 19.

[3]POLLICE ROBERT,DOS PASSOS GOMES GABRIEL,ALDEGHI MATTEO, et al. Data-driven Strategies for Accelerated Materials Design[J].Accounts of Chemical Research, 2021(4).

[4]李建會,楊寧. AI for Science:科學研究范式的新革命[J]. 廣東社會科學,2023(6).

[5]ASHISH VASWANI, NOAM SHAZEER, NIKI PARMAR, et al. Attention is All You Need[EB/OL].[2023-10-20].http://arxiv.org/1706.03762.pdf.

[6]LIN TIANYANG, WANG YUXIN, LIU XIANGYANG, et al.A Survey of Transformers[J]. AI Open,2021,3.

[7]OUYANG LONG, WU JEFF, JIANG XU, et al. Training Language Models to Follow Instructions with Human Feedback[J]. Neural Information Processing Systems, 2022, 35.

[8]WEI JASON, WANG XUEZHI, SCHUURMANS DALE, et al. Chain-of-thought Prompting Elicits Reasoning in Large Language Models[J].Neural Information Processing Systems, 2022, 35.

[9]DONG QINGXIU, LI LEI, DAI DAMAI,et al. A Survey for In-context Learning[J].arXiv:2301.00234v3, 2022.

[10]RAHWAN IYAD, CEBRIAN MANUEL, OBRADOVICH NICK, et al. Machine Behaviour[J]. Nature,2019,568.

[11]政光景,呂鵬. 生成式人工智能與哲學社會科學新范式的涌現 [J]. 江海學刊,2023 (4).

[12]杜麗群,程俊霞. “經濟人”假設與人工智能時代[J].北京大學學報(哲學社會科學版),2021(6).

[13]崔俊富,鄒一南,陳金偉.大數據時代的經濟學研究:數據驅動范式[J].廣東財經大學學報,2016(1).

[14]SU JIANHONG,YANG WEIPENG. Unlocking the Power of ChatGPT:A Framework for Applying Generative AI in Education[J].ECNU Review of Education,2023(3).

[15]DWIVEDI YOGESH, KSHETRI NIR, HUGHES LAURIE, et al. "So What if ChatGPT Wrote It?" Multidisciplinary Perspectives on Opportunities, Challenges and Implications of Generative Conversational AI for Research, Practice and Policy[J]. International Journal of Information Management, 2023(5).

[16]GOZALO-BRIZUELA? ROBERTO, GARRIDO- MERCH?魣N EDUARDO C. ChatGPT is Not All You Need. A State of the Art Review of? Large Generative AI Models[J]. arXiv:2301.04655v1, 2023.

[17]FANG WEI,WEN XUEZHI, ZHENG YU,et al. A Survey of Big Data Security and Privacy Preserving[J]. IETE Technical Review, 2017(5).

[18]DAVID GEFEN,ORAKWUE(BAY) ARINZE. ChatGPT and Usurping Academic Authority[J]. Journal of Information Technology Case and Application Research, 2023(1).

[19]ISKENDER ALI. Holy or Unholy? Interview with Open AI's ChatGPT[J]. European Journal of Tourism Research, 2023(34).

[20]ANJANA SUSARLA,RAM GOPAL,JASON BENNETT THATCHER,et al. The Janus Effect of Generative AI:Charting the Path for Responsible Conduct of Scholarly Activities in Information Systems [J].Information Systems Research, 2023(2).

[21]VAN DIS EVA A M,BOLLEN JOHAN,ZUIDEMA WILLEM,et al. ChatGPT: Five Priorities for Research[J]. Nature, 2023(7947).

[22]ASHLEY DEEKS.The Judicial Demand for Explainable Artificial Intelligence[J].Columbia Law Review, 2019(7).

[23]CYNTHIA RUDIN. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead[J]. Nature machine intelligence, 2019(5).

[24]LAURA WEIDINGER, JOHN MELLOR, MARIBETH RAUH, et al. Ethical and Social Risks of Harm from Language Models[J].arXiv:2112.04359v1, 2021.

[25]BOZKURT ARAS, SHARMA RAMESH C. Challenging the Status Quo and Exploring the New Boundaries in the Age of Algorithms: Reimagining the Role of Generative AI in Distance Education and Online Learning[J]. Asian Journal of Distance Education, 2023(1).

[26]JI JIAMING, QIU TIANYI, CHEN BOYUAN, et al. AI Alignment: A Comprehensive Survey[J]. arXiv:2310.19852v3, 2023.

[27]BERNARDINO ROMERA PAREDES,

MOHAMMADAMIN BAREKATAIN,ALEXANDER NOVIKOV,et al. Mathematical Discoveries from Program Search with Large Language Models[J]. Nature, 2023(7995).

[28]LIU XIAO, JI KAIXUAN, FU YICHENG, et al. P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks[J]. arXiv: 2110.07602v3, 2021.

[29]SONG FEIFAN, YU BOWEN, LI MINGHAO, et al. Preference Ranking Optimization for Human Alignment[J]. ariXiv:2306.17492v1, 2023.

Artificial Intelligence and Social Science Research

LIU Gang, LI Xiang, LI Qinqian, LIU Jie

Abstract: Artificial Intelligence (AI) is a general-purpose technology, not only sparking off industrial transformation, but also ushering in a new paradigm in scientific research. With the development of general AI, represented by generative artificial intelligence, the application of AI has become the forefront of innovation in the paradigm of social science research. The high dimensionality of data, the strong structural nature and long-range correlations of programming languages, the implicitly existing knowledge repository in parameterized form, and the structural reorganization through pre-training bring novel insights and pattern discoveries, thereby creating new developmental dimensions for social science research. Concurrently, the application of AI in social science encounters a series of challenges arising from data intricacies, value perspectives and the "black box" nature of research findings. How to address the amalgamation of data mining with large models and exploratory research grounded in practitioners' experiences, and establish a knowledge production mechanism for symbiotic human-machine evolution is the direction of AI application in social science research.

Key words: artificial intelligence; big models; social sciences; alignment issues; privacy security

責任編輯:鄧?? 喆

猜你喜歡
社會科學人工智能
我校新增“人工智能”本科專業
《云南社會科學》征稿征訂啟事
《北京科技大學學報》(社會科學版)
《河北農業大學(社會科學版)》2021年喜報
2019:人工智能
人工智能與就業
數讀人工智能
下一幕,人工智能!
下一幕,人工智能!
數學在社會科學中的應用
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合