科技政策效果評價及其發展趨勢*

陳 瑜 李廣建

（1.北京大學信息管理系 北京 100871）

科技政策是政府支持科學、技術和創新產生和傳播的公共措施。近年來，世界主要發達經濟體的科技創新政策都處于加速轉型和體系重構中，以科技政策為重要手段的創新環境競爭日趨激烈。 各國普遍通過選擇優先區域，制定發展規劃與路線圖，出臺配套措施來保障科技戰略的有效實施。在此背景下，對科技政策效果的評價就變得非常重要和迫切，同時也更具挑戰。 當前，各國對于科技創新政策的效果評價都處于摸索狀態，還沒有形成統一的理論和方法，以及公認的評價體系，各國都在投入力量加強研究和實踐探索。我國從2012 年左右開始就持續增加用于科技政策評價的資金預算，科技政策效果評價迎來了新的重要發展契機。

科技政策效果評價是科技評價的重要組成部分，是政策效果評價的延伸。政策效果也稱政策影響，指的是由政策作用因素所引起的政策對象及社會環境的狀態改變，政策效果評價（評估）也稱影響評價。 在政策評價中，效果是一個廣義的概念，在有些研究中也稱“績效”“效益”“效率”“產出”“成效”等。 不同學者使用不一樣的詞匯，通常是出于語言習慣和上下文的需要，但實質上都屬于政策效果評價的范疇。 因此，本文不對上述詞匯進行細化區分，統一稱作“效果”。

科技政策效果評價是情報學的重要研究內容。一方面，情報學長期關注科技發展監測、關注創新知識增長與流動規律，相關理論與方法已經在政策效果評價中得到了應用，特別是文獻計量指標已成為評價實踐中公認的有效指標，情報學中相關的理論和方法已經成為政策評價研究的重要組成部分；另一方面，科技政策評價目前遇到了諸如文本信息量大、評價信息來源復雜多樣、難以從海量數據中挖掘政策效果產生機制與規律等難題，因此需要借鑒和使用情報學的理論和方法。 本文旨在總結科技政策效果評價的主要流派和主流方法，分析科技政策效果評價的發展趨勢，以期為情報學領域的相關研究提供參考借鑒。

1 科技政策效果評價的主要流派

回顧既往研究與實踐，根據評價過程在理念和方法路徑上的差異，本文將政策效果評價劃分為三個主要流派，分別是以計算效益為重點的評價流派、以結果為重點的評價流派和以內容為重點的評價流派。 需要說明的是，這些流派并不是涇渭分明的，因此，在分析某項評價工作屬于哪一個流派時，主要依據是其主流理念和方法以及研究人員或評價人員自身對評價過程解釋的傾向。

1.1 以計算效益為重點的科技政策效果評價

以計算效益為重點的科技政策效果評價在20世紀70 年代中期到90 年代初期最為盛行。 效益流派認為，提高全人類的社會福利和生活質量是科技政策的主要目標，提升社會福祉的具體化方式是通過社會經濟影響實現的，也就是說，政策效益或效率是政策效果的一種表達方法。 效益流派的主要理念及核心特征包括：（1）側重于定量衡量科技政策的社會經濟影響，影響可以分為宏觀和微觀兩個分析層次，前者關注科技研發支出所帶來的宏觀經濟效應，后者關注對企業績效的影響；（2）效益派的評價與經濟學原理和計量方法關聯緊密，強調計算政策的投入產出比，要求評價方法是可量化和可計算的；（3）評價指標以貨幣量化為主要形式，以便計算投資回報率和經濟貢獻。 效益派評價的局限性主要在于關注投入和主要經濟結果之間的總體關系，隱含地假定了所有經濟行為都有統一的影響機制，對理解創新過程的幫助甚少。

效益派的代表人物之一是美國公共政策學家托馬斯·戴伊，他從技術理性的角度提出了系統評估政策效果的方法。戴伊認為政策影響就是它對現實世界產生的所有效果，政策效果等于所有收益之和減去所有成本之和。 其中，成本的構成包括“所有當前和未來的政策目標群體、非目標群體成本”收益的構成包括“所有當前和未來的政策目標群體、非目標群體收益”。確定成本效益構成時除了要考慮政策作用對象范圍和時間因素，還應區分直接成本（即政策實施時直接消耗的資源）和間接成本（也稱機會成本，即為執行當前政策實施方案而放棄的其他活動所能帶來的收益）。 經濟合作與發展組織（OECD）在效益派的評價當中具有很強的影響力，他們從效率的角度定義了政策效果評價，即政策在多大程度上能夠或可能以經濟且及時的方式實現結果。其中，“經濟”是指以盡可能最具成本效果的方式將政策投入（資金、專業知識、自然資源、時間等）轉化為政策結果（產出、成果和影響等）。OECD 還指出，計算政策的投入產出比只是效益派評價中的一個方面，科技政策效果最終要匯總到對宏觀經濟的影響上面來，據此，OECD 定義了效益派評價需要回答的關鍵問題：（1）科技政策對國家經濟增長的影響，需要回答科技政策能夠提高經濟績效嗎？（2）科技政策能夠提高產業競爭優勢嗎？（3）科技政策是否會影響生產過程，能否提高生產率？ 等。

1.2 以結果為重點的科技政策效果評價

與效益派不同的是，以結果為重點的政策效果評價不是依靠計算投入產出來衡量科技政策效果的，而是通過對比政策實施后特定結果指標的變化來判斷效果。 以結果為重點的評價是國際組織開展政策效果評價的主要方法，很多國際組織在對一些欠發達國家進行發展援助后，需要評估相關干預措施的效果，以促進可持續發展。以結果為重點的政策效果評價的特點是注重政策結果，強調對政策結果的測度，既可以用經濟指標來測度，也可以用非經濟指標來測度，具體地說，以結果為重點的政策效果評價的核心特征包括：（1）強調通過實驗或統計的方法幫助構建“反事實”對照組，反事實的作用是回答如果沒有政策，結果會有什么不同？從而將政策的效果與非政策的效果分離開來；（2）不完全依靠對投入產出的計算，避開了科技政策的投入和產出難以貨幣量化的難題；（3）解決政策效果定量計算問題的核心方法是統計學中的回歸分析法，通過形式化表達將政策效果與其影響因素之間的復雜關系進行了簡化，使效果計算邏輯簡明清晰。結果派的主要挑戰是并不總是能夠找到合適的對照。

世界銀行是結果派的典型代表之一，他們認為效果評價就是將影響和改變歸因于特定政策，并提出了計算政策效果的形式化表達，即“效果等于有政策干預（Y1）和無政策干預（Y0）的結果指標之差。 也就是說，效果=Y1-Y0”。 他們強調要采用實驗或準實驗方法，獲得結果指標的反事實值Y0，并加以嚴格的統計學檢驗，從而解決政策歸因的問題。要想證明政策效果評價指標與政策干預之間存在因果關系，最嚴格的方式是實施隨機對照試驗（RCT）。 但是，隨機構建證偽試驗有很大的難度，在政策評價領域幾乎是不可行的。 鑒于此，OECD 在最新版的《科技創新活動測度指南（2018）》（也稱《奧斯陸手冊》）中提出了一種解決科技政策效果歸因的方法（見圖1），該手冊以企業創新政策為例，按照有無科技政策的干預和結果是否可以進行觀察，將企業創新結果劃分為四個象限，其中一、二象限的內容和三、四象限的內容互為反事實，由于一、三象限中的數據在實踐中幾乎無法觀察，因此，可以比較二、四象限的內容（見圖1 中的對角箭頭），也就是說，理論上只需計算或說明當政策干預組和未干預組二者結果指標的數值之差（或存在不同表現）即可得到政策的效果，這種比較是實踐中可行的政策效果評價方案。

圖1 可觀察的政策效果和不可觀察的反事實——以企業創新支持政策為例

1.3 以內容為重點的科技政策效果評價

近年來，受到科技發展環境變化、評價理念轉變、大數據技術普及等因素的影響，興起了以內容分析為重點的政策效果評價。 內容分析的核心是將要研究的信息內容進行編碼，通過對直接顯示的內容的量化處理來判別其間接的、潛在的動機和效果。內容派的理念是將文本內容分析的方法應用于科技政策效果評價問題，其主要特征包括：（1）強調政策內容的擴散以及與政策內容相關的科研成果在數量和質量上的增長和提高；（2）不僅要研究科技成果本身的“量”與“質”，還要強調其“溢出”科技界之外的社會影響；（3）評價過程當中，除了要分析政策本身的文本內容以外，還要分析與政策相關的內容，如論文、專利、專業新聞這些反映科技成果和發展動態的文本中的內容以及它們的內容與政策文本變化之間的關聯；（4）以定量分析為主，定性分析為輔，采用計算機輔助的定量分析手段，以更為智能化的方式進行內容分析。

歐盟委員會是內容派的主要代表，他們認為，隨著研究和創新的新范式轉向更廣泛的社會參與，需要轉變以往一直以科學研究的卓越程度作為衡量政策成功與否的做法，要進一步衡量科學對創新、經濟和社會的溢出效應。鑒于此，歐盟通過Data4Impact項目首次將基于文本內容的分析方法引入了歐盟科技政策評價體系中，并探索方法在應用場景上的普適性。 以內容為重點的方法既可以評價政策對基礎研究的影響，也可以用于評價靠近市場端的政策效果。在分析靠近基礎研究端的政策效果時，傳統評價通常使用論文數量指標和/或引文指標，而以內容為重點的評價則還進一步挖掘政策優先布局領域與科學研究主題之間的關聯，以獲得比傳統方法更為豐富的分析結果。 在評價靠近市場端的政策效果時，一旦學術研究成果在新產品中得到應用，就表示創新知識具備了有用性和適用性，而通過分析企業新聞中對新產品的描述信息（如企業新聞中創新產品公告的數量、 新技術術語出現的頻次以及其他文本特征），可以快速捕捉技術應用所處的階段和企業創新產出情況，從而揭示政策在促進創新知識向現實生產力轉化方面的效果。 此外，內容派在分析方法上更容易與大數據和自動化文本分析技術相結合。Data4Impact 中大量使用了文本挖掘、主題建模、機器學習等方法實現自動文本分類和主題分析，通過對文本型評價資源的長期跟蹤和快速分析，及時了解歐盟科技政策對社會發展的實際貢獻和長期影響。

2 科技政策效果評價的主流方法

近年來，科技政策效果評價方法呈現多元發展趨勢，不斷有新方法加入。本文結合政策效果評價方法研究的最新進展以及各效果評價流派當中所使用的方法取向，將科技政策效果評價的主流方法分為面向經濟影響的評價方法、基于反事實的因果推斷方法以及智能化定量分析方法，并從方法的原理、實施過程、應用效果、優點與局限性方面進行簡要介紹。 需要說明的是，科技政策效果往往是多方面的，通常需要在一個評價任務中綜合運用上述方法，形成方法的“組合拳”。

2.1 面向經濟影響的評價方法

面向經濟影響的評價方法將效果評價轉化為衡量政策引導下的科技活動對社會經濟的影響問題，此類方法有兩個基本類型：第一類旨在將科技研發活動的價值貨幣化并計算回報率，常用計算方法是成本效益分析法；第二類旨在分析政府科技研發投入對宏觀經濟數據的影響，生產函數法是其典型代表。

2.1.1 成本效益分析法

成本效益分析（Cost-Benefit analysis，CBA）旨在對政策實施的投入成本與政策效果的產出作比較。該方法的核心是將科技創新活動的價值貨幣化，用于表達整體貨幣效應的典型經濟指標包括凈現值、年值、效益成本比和內部收益率等，原則上能夠實現對政策投入產出比的計算。進行成本效益分析的主要實施步驟包括：（1）確定受到政策影響的群體，用投入產出表量化每個群體的經濟與非經濟、 直接與間接影響；（2）利用折現法獲得成本和收益的現值，對于無法量化的成本和收益要借助評分和加權等手段；（3）政策的凈收益總值等于各個會計期間的成本和收益相減后的年度凈收益現值的代數和。

在分析政策的投入產出時，首先需要明確受到政策影響的群體，政策影響群體因具體評價對象而異。OECD 厘清了公共資助研究中的五類利益相關者和對應的成本收益表現形式，提供了政府科技研發成本效益分析的一般性框架。 美國先進技術計劃（ATP）和澳大利亞聯邦科學與工業研究組織（CSIRO）常使用成本效益法分析研發活動所產生的經濟影響。如CSIRO 委托第三方評估機構ACIL Allen 對其2017 年的部分研發活動價值進行的評估發現，根據7%的實際貼現率計算，CSIRO 支持的研發活動收益約為每年12.7 億澳元，遠超聯邦政府提供的每年7.935 億澳元的研發投入，這意味著CSIRO 每年的整體研究收益估值將達到26 億澳元左右， 收益成本比約為2:1。開展成本效益分析需要較大的時間和資源投入，因此出于成本方面的考慮，只能用于評價有限的政策或項目。

2.1.2 生產函數法

生產函數法（the production-function approach，PFA）是反映生產要素投入量的組合與產出量之間依存關系的方法，可以表明在給定政策發揮作用時，最有可能發生什么樣的經濟效應，如產出、收入、就業等的增加或上漲。 宏觀經濟學新古典增長理論的奠基人索洛提出了改進的柯布—道格拉斯生產函數（簡稱“C-D 生產函數”），其基本假設是在規模收益不變的情況下，全要素生產率（TFP）增長的根源在于技術進步。 改進的C-D 生產函數可以用于估算政府研發投入對宏觀經濟指標的影響， 其一般形式為Y=A（t）LK，其中L 代表勞動投入數量，K 代表資本投入數量，A（t）的常見形式為A（t）=A0e，式中的λ 即為技術進步率。

生產函數有很多變體，如知識生產函數、創新生產函數等。 由Guellec D 等主導的一項在政策領域極具影響力的研究就采用生產函數法對非平穩時間序列數據建模，分析了1990-1998 年間15 個經合組織國家的面板數據，發現公共研發支出對全要素生產率的彈性為0.171，也就是說，政府每增加1%的公共研發投入，可使生產力水平提高約0.17%。 國內學者趙立雨也利用生產函數評價了我國政府研發投入對國內生產總值（GDP）的貢獻。 該研究收集了1987-2008 年間的國內經濟數據，以GDP 作為產出變量，研發經費投入（RDK）及研發人員投入（RDL）作為投入變量，構建了如下生產函數模型的對數形式：lnGDP=lnA+λt+αlnRDK+βlnRDL+μ， 式中，α 和β 分別為研發資本和勞動的彈性系數，為μ 為隨機誤差項。 回歸分析結果顯示參數α 的估計值為0.8761，意味著我國每增加1%的研發投入，就會產生0.87%的GDP 貢獻。生產函數法的局限性在于難以處理多維投入產出指標，此時可以結合數據包絡分析法（data envelopment analysis, DEA）計算基于多維指標的科技政策投入效率。

2.2 基于反事實的因果推斷方法

反事實因果推斷是一種統計學方法，用于量化某一特定政策是否在某些預先確定的結果方面產生了預期的效果。 其核心是利用實驗法或準實驗法構建合理的反事實對照組，反事實既可以是真實的也可以是數學模擬的，在此基礎上，計算政策實施組與反事實組的差異，即為政策的效果。反事實因果推斷是以結果為重點的科技政策效果評價所使用的主要方法，其中以基于匹配的方法和雙重差分法最為常見，在實踐中，前者常用來構建反事實對照組，后者則是準確量化政策效果的核心方法。

2.2.1 基于匹配的反事實構建方法

基于匹配的方法（matching approach）是政策效果評價中的常用方法。該方法旨在利用統計學方法，找到與政策干預組具有相同特征的個體，匹配為反事實對照組。如要為有政策支持的一組企業T 匹配一個反事實對照組C，考慮以營業額作為匹配因素（在統計學中稱為協變量），那么，只要找到一組與T 在同一時間點營業額相同的企業C，C 即為T 的反事實對照組。但是，當協變量數量較多時，就不太可能實現基于原始協變量的匹配。Rosenbaum 和Rubin提出了一種傾向評分匹配方法（Propensity Score Matching，PSM），旨在將多維協變量降至一維，從而降低匹配難度，具體實施步驟包括：（1）確定協變量X，即找到匹配對照組的關鍵特征指標，這一步可以參考既往研究的結果來選擇協變量；（2）計算傾向分數，通常采用logistic 回歸分析模型計算傾向分值，記作e（X）=Pr（z=1|X），e（X）為個體受到政策干預的傾向概率；（3）選擇匹配算法，基于（2）計算得到的傾向分數，選擇適當的算法（如最鄰近匹配、核匹配等），為干預組匹配傾向得分相近的個體作為對照組；（4）根據兩組之間的差異計算政策效果以及標準誤差。

Guo D 等采用傾向得分匹配法結合固定效應回歸模型，分析了中國的企業研發支持政策能否使企業在商業化創新（以新產品銷售額和出口情況衡量）和技術創新（以專利數量衡量）上實現更多產出，該研究也是首個面向我國最大的政府支持企業研發政策——中小企業創新基金的效果評價研究。 研究者在構建對照組時，將政策實施前的企業績效作為匹配的重點，選擇標準行業分類代碼、位置、規模、杠桿率、新產品銷售額、出口和專利存量作為協變量，以企業獲得政策支持的預測概率表示傾向分數，最后得到從1999-2007 年間，2638 家政策支持企業的18224 個觀察結果，以及10739 家非政策支持企業的64991 個觀察結果。研究者利用上述數據構建了多個固定效應面板數據回歸模型，在模型中引入了政策虛擬變量InnoAftit，分析結果顯示，與未得到政策支持的企業相比，政策支持企業銷售額提高的概率增加了7.88%，產品出口的概率提高了2.41%，發明專利授權量的增長率提高了8.6%，表明我國企業研發支持政策產生了實質性的效果。

2.2.2 基于差異對比的效果計算方法

雙重差分法（Difference in difference analysis，DID）是計算政策效果的主要方法之一，DID 方法的基本原理是分別計算政策干預組與非干預組隨時間推移發生變化的兩個差異。 我們假設政策實施前后，干預組的結果指標測量值分別是Y和Y；政策實施前后，非干預組的結果指標測量值分別是Y和Y，那么，政策效果等于（Y-Y）-（Y-Y）?；谏鲜鏊悸?，政策結果計算的回歸模型可以表達為：Y=α+βT+γt+δ（Tt）+ε。 式中，i 表示政策干預對象個體，因變量Y為政策結果指標，（Ti·t）是以乘法方式引入的虛擬變量，其中T 和t 的取值為0 或1，T=1 代表i 有政策干預，T=0 代表i 沒有政策干預；t=0 代表政策實施前的情況，t=1 代表政策實施后的情況，交互項系數δ 的估計值即為政策效果。 雙重差分法的特點是適用于面板數據，并且要求政策干預組和非干預組在起點時具有相同的發展趨勢。

2017 年，英國研究與創新署（UKRI）首次對其研發與創新支持政策的效果進行了全面評價，著重分析了公共研發投入對提升企業業績的影響。 該評價是一項典型的以結果為重點的評價，采用傾向評分匹配法結合雙重差分法作為解決效果計算問題的核心方法。 評價的過程主要分為兩個步驟：首先，采用傾向評分匹配篩選出了近6000 家獲得政府研發資金支持的英國企業作為政策干預組，以及同樣數量的未得到政府研發資金支持的企業作為對照組。在效果計算階段，該研究將企業員工數量和營業額的年平均增長率作為結果指標，再基于DID 的原理分別構建以員工數量和營業額增長率為因變量的線性回歸模型。 結果顯示，與沒有政策的情況相比，有政策支持的企業短期就業增長提高了4.8%，短期營業額增長約為7.6%?？傮w來看，在政策實施后的第5年，有政策扶持的企業多創造了約150 個新就業崗位，營業額增加近4500 萬英鎊，表明政策對提高英國企業生產率具有顯著的積極影響。

2.3 智能化定量分析方法

智能化定量分析方法是內容派的核心評價方法，它旨在實現政策效果評價的自動化，其特點是采用文獻計量、文本挖掘、自然語言處理和機器學習等方法，對文本類型評價資源的內、外部特征進行量化計算，分析科技創新過程、產出及影響與科技政策的關聯。 智能化定量分析方法主要包括兩種類型，分別是智能化的知識計量方法和智能化的文本分析方法。

2.3.1 基于知識計量的方法

基于知識計量的方法是以知識和科學活動作為研究對象，以論文和專利為代表的文獻為主要載體，采用計量學方法對知識活動及其影響等進行定量研究的一類方法。 在科技政策效果的因果傳遞中，知識溢出和流動扮演了重要的角色。 借助知識計量的方法，能夠將創新知識流動過程顯性化、定量化，因此也是目前公認的衡量政策目標實現程度、 產出是否符合預期、政策帶來的短期和中長期影響的主要依據和有效方法。

基于知識計量的科技政策效果評價方法有三種基本實施途徑：（1）數量分析，即對知識出版物的數量特征進行統計分析，根據出版物的數量特征及其變化趨勢，解釋科技政策在促進創新知識增長方面的效果。如以學術論文為例，論文一方面是科學知識的主要載體，科學知識的創造、傳播和應用是技術活動的重要基礎；另一方面，論文代表著基礎研究的水平，基礎研究是創新的動力和源泉， 在技術發展中起著重要作用。 因此，在科技政策效果評價中，論文數量（特別是高質量論文數量）被用作衡量早期創新活動和科學實力的指標，反映了科技政策對基礎研究的影響，也是衡量科技政策產出的基礎性指標；（2）引文分析，即通過分析論文和專利等的引證和被引證現象揭示科技政策效果。如專利引文為分析知識溢出效應創造了條件，論文中的內容被專利引用提示了基礎研究成果已經開始向應用端轉移，引用數量、內容、時間效率等指標均能夠反映政策對加速科技成果轉化的催化作用；（3）基于共現與合著的網絡分析，如論文、 專利和項目報告等反映科技成果的文獻中所包含的主題詞共現、作者機構共現等現象可以作為揭示知識流動、創新協同和學科交叉融合的重要提示。如通過計算產學研項目合作網絡強度，可以定量地分析政策對促進知識流動與共享以及整合研發與創新能力方面的效果。

2.3.2 智能化文本分析方法

在數字化轉型的背景下，研究與創新領域的數字化程度也在不斷提高，產生的非結構化數據的種類和數量持續增加，越來越多的非結構化文本信息可以作為反映政策目標、內容、效果和影響的直接或間接依據。很多數據類型（如文本）無法用傳統方法進行分析，需要采用適應新數據類型的定量分析方法。 智能化文本分析方法旨在自動化地分析處理海量的非結構化文本信息，包括智能主題建模、文本相似度計算和情感分析等。

智能主題建模是文本挖掘領域最重要的分析手段之一。 主題模型中最重要的方法是概率隱性語義索引（LSI）以及隱含狄利克雷分布（LDA）等，主題可以看成是詞項的概率分布，主題模型通過詞項在文檔級的共現信息抽取出語義相關的主題集合，并能夠將詞項空間中的文檔變換到主題空間，得到文檔在低維空間中的表達。 主題模型在科技政策效果評價中的應用場景之一是針對政策文本本身的分析，通過政策文本主題建模，可以快速掌握政策內容及其演化情況，作為后續與效果指標進行關聯分析的基礎。 主題模型的另一個重要應用場景是以論文、專利、科技新聞、企業公告等一系列反映科技成果和發展動態的科技情報源作為分析對象，將研究主題作為反映政策效果的指標，從內容層面捕捉政策對研發過程的影響。如歐盟的Data4Impact 項目是國際上最早將智能主題建模和情感分析技術應用于科技政策效果評價的研究之一。 該評價將政策效果分為投入、產出、學術影響、經濟影響和社會/健康影響5 個維度，共29 項指標。其中，基于智能主題建模的指標有11 項，如政策實施前后健康領域中的研究主題強度變化、各研究主題下的研究團隊數量分布、政策支持的研究主題在新聞文章、博客、帖子、推文中的討論熱度排名等。以政策的學術影響維度下的“健康領域中的研究主題強度”這一指標為例，其計算過程如下：（1）輸入數據，為從Pubmed 等數據庫獲取的框架計劃資助的出版物全文及相關元數據；（2）數據分析，使用的方法主要包括概率主題模型、語義標注以及實體識別；（3）輸出結果，通常是基于文本主題的定性和定量分析結果，如每篇文檔/專利包含的主題數量等。 分析結果顯示，在2004-2018 年間，以非小細胞肺癌、胰腺癌為代表的研究主題呈逐年增長趨勢，表明歐盟框架計劃促進了癌癥研究的發展。

文本相似度計算旨在量化文本之間的共性和差異，共性越大、差異越小，則相似度越高，也就是說，相似度與文本共性成正相關。相似度一般可用[0，1]之間的實數表示, 該實數可通過語義距離計算獲得。在政策效果評價中，文本相似度計算的主要應用場景是進行主題耦合，即通過主題相似度建立文本之間的聯系，從而揭示政策對研究主題演化以及知識流動和轉移的影響。 如匡奕臣提出了基于主題模型與證據鏈生成的科技政策效果評價模型，該研究主要采用了基于時間序列的論文主題指標分析論文主題演化與政策內容之間的關聯。 研究首先使用LDA 主題模型識別我國學者在國際期刊上發表的癌癥領域論文的Top10 主題；然后，根據語義相似度與余弦相似度的綜合相似度建立相鄰時間窗口的主題之間的關聯；最后，按照設定的主題相似度閾值篩選出具有延續性的主題演化路徑，定性分析了論文主題變化與政策導向作用的聯系。

3 科技政策效果評價的發展趨勢

在數字化高速發展和大數據技術普及的背景下，政策評價領域迎來了重要的發展契機，在積極采納新的技術手段的同時，推動了評價理論、方法與實踐的快速發展。政策效果評價作為政策評價研究的重點和難點，其在大數據環境下的新發展引起了人們的格外關注，具體來看，主要呈現出以下發展趨勢：

3.1 效果評價將在政策評價中占據主要的地位

政策評價的基本內容包括政策方案評估、執行評價、過程評估、效果評估等，以往，效果評價僅被看作是各類政策評價活動的一個組成部分，和其他評價類型處于同等地位。但是從發展趨勢上來看，隨著科技政策的作用及影響面的不斷擴大，政策效果評價的作用也將越來越重要。 據國家科技評估中心的一項研究統計，我國近四十年的科技政策評價論文可以概括為六個主題，以政策效果、效益評價為題的論文占比達到了22%， 屬于集中度較高的主題，且發表時間多集中在近十五年左右，充分說明效果評價未來將在政策評價和決策過程中占據主導地位。 這主要是因為對政策方案和過程的評價固然重要，但人們也越來越關注政策的結果和長期影響，反過來，政策結果本身又會對政策的制定和規劃起到積極的促進作用，因此，幾乎所有的政策評價活動都離不開對政策結果的評價。此外，由于政策的過程與結果存在不確定性，導致政策的實施效果并不一定總是能對實現目標起到正向的促進作用，這就要求我們時刻關注政策的效果，及時調整政策內容和方向。

事實上，在政策評價的發展歷程中，人們本就十分重視對政策效果的評價。但是受到評價手段、方法、時間等方面的限制，對于效果的研究一直沒有取得突破性進展，學者們的注意力也分散在對其他相關問題的研究上。在大數據環境下，政策效果評價的條件已經發生了根本性的變化，政策所帶來的影響以及給政策目標和非目標群體帶來的行為改變等都會暴露于泛在信息環境中，這就為政策效果評價，既帶來了機遇也帶來了挑戰。 挑戰在于需要我們進一步的開發更符合大數據環境的評價方法，機遇在于，效果評價將會成為政策評價中的領頭羊，在推動政策評價整體發展中起到關鍵的帶頭作用。

3.2 采納自動化的方法和技術手段，提升評價質量與效率

大數據環境下，評價數據來源和數據類型復雜多樣、效果評價時效要求嚴格，決定了手工評價的效率不能滿足現實要求，而利用大數據技術能夠做到政策效果的自動化評價，滿足政策效果評價對質量和效率的要求。

一方面，科技政策的體量龐大、體系復雜，解決效果評價問題需要考慮整個科技創新數據價值鏈，從保障決策信息全面性的角度提高評價質量。 創新過程中產生的數據是分散異構的，首要工作是把科技創新過程中產生的多元數據鏈接起來，因此需要利用多源信息融合的理念和方法綜合開發利用各類數據。如歐盟“地平線2020”資助的IntelComp 項目就構建了一個基于多源信息融合的科技創新政策決策競爭情報高性能計算（HPC）平臺。 該平臺匯聚了對科技政策效果分析至關重要的大型科學技術和創新（STI）數據集，囊括了所有歐盟國家和組織層面的公共行政、科技創新利益相關者和社會公眾產生的大量動態、跨語言的異構數據，涵蓋了國家科技創新戰略、計劃和工作方案、項目、報告、科學出版物、專利、媒體新聞等科技情報資源，并在歐洲開放科學云（EOSC）的高性能計算模擬環境進行分析處理。IntelComp 的目標是提供一個平臺和工具來協助STI政策的全過程（包括議程設置、實施、監測和評估），并通過建立協作、可視化、交互式及共享的模式實現創新主體的共同參與。 目前，IntelComp 已經在“地平線歐洲”計劃重點關注的人工智能、氣候變化和健康三大領域開展了試點。

另一方面，政策效果評價正在從以定性分析為主轉變為以定量評價為主導、定量和定性分析相結合的方式，并越來越多地與大數據技術（網絡爬蟲、自然語言處理和機器學習等）相結合，以實現非結構化文本的自動分析，與傳統的基于調查的方法相比，改善了評價效率和客觀性。近期，英國國家科技藝術基金會（NESTA）發表的一份工作報告指出，在產業政策效果評價中，傳統評價方法難以及時捕捉到新興技術企業的創新活動，因為經典的創新調查方法通常是基于比較嚴格的行業分類來進行的，對傳統科技行業更為有效。 而利用大數據技術，可以實現對互聯網上的非結構化企業信息進行大規模數據收集和機器爬取，再利用機器學習方法對企業所屬行業進行自動分類，則打破了傳統行業分類標準對創新統計的限制，展現了自動化技術手段在靈活性和效率方面的優勢。

3.3 充分運用大數據資源，拓展評價的信息來源

在數字化的社會環境下，社會媒體、大眾創新、人員流動性等因素在科技政策擴散過程中扮演著越來越重要的角色，可利用的評價資源越來越豐富，包括項目申請書、研究報告、專業文章、新聞報道、企業信息、社交媒體討論和產品評論等在內的多源異構數據都已成為評價信息的重要來源。

傳統的科技政策評價往往是以政策文本作為分析對象，或僅對某項政策的產出情況進行評價，不能涵蓋政策組合的整體效果和更廣泛的社會效應，以及影響政策結果的其他關鍵因素。 如社會媒體能夠及時捕捉從復雜的人際和知識網絡中涌現出來的新事物（如新思想、新技術和新行業等），具有很強的感知社會熱點和發展趨勢的能力，應用十分廣泛。當與政策密切相關的內容在社交媒體或新聞報道中頻繁出現時，往往代表政策產生了一定的社會影響，反之則說明政策的社會影響和效果尚不顯著。也就是說，可以進一步從社會媒體討論的數量、主題、實體關系、情感傾向等多種視角出發，探索將社會大數據應用于科技政策效果評價的具體途徑?？梢哉f，利用社會媒體大數據已成為政策效果評價的重要趨勢。

此外，大數據的運用還能夠有效改善傳統評價數據存在的一些不足。如專利數據在內容范圍、分析粒度、及時性和數據獲取成本方面都有局限性，尤其是用于評價政策對企業創新進程的影響時，專利并不能直接反映某些關鍵技術是否進入了市場應用階段。 而從Web 大數據中則可以識別出與創新成果應用有關的信息，其中，企業網站是創新研究的一個特別重要的數據源。 因為企業網站經常發布有關潛在創新產品、服務以及與其他公司合作的信息，分析網站內容并從中提取與創新相關的信息，有可能為研究人員和政策制定者提供一種經濟且高效的方式來調查數百萬計的科技企業，并深入了解他們的創新活動、合作和技術應用情況。NESTA 支持的一項研究以石墨烯行業的政策效果評價為例，從中小企業的網站上提取了石墨烯技術和產品方面的信息，以捕捉這些企業的創新活動和經濟活動，充分證明了大數據資源在政策效果評價過程中的價值與優勢。

3.4 不斷開發新的評價指標，評價的范圍更加廣泛

隨著科技創新的不斷發展， 科技政策效果評價的數據、指標和分析領域正在不斷擴展，傳統和經典的評價指標已經無法滿足當前科技政策效果評價的要求，也無法充分利用信息技術發展所帶來的便捷優勢，因此，亟待開發新的科技政策效果評價指標，擴展評價的視野和范圍，以適應不斷擴大的科技政策影響面、揭示更為復雜的政策影響路徑，從而為科技政策制定提供堅實的基礎。

2019 年，德國聯邦教育與研究部（BMBF）資助的一項政府高科技戰略效果評價研究提出了社會創新指標（IndiSI）的概念，他們認為通過分析與社會挑戰相關的社會媒體內容，可以識別創新的傳播模式、感知和追溯社會需求與創新概念形成的早期階段，該研究總結了基于社會媒體數據的四類評價指標，分別是：（1）主題指標；（2）參與者和網絡指標；（3）時空動態指標；（4）事件和資源指標。 此外，基于大數據的指標可以作為傳統指標的補充和替代已成為專家學者的共識，因為大數據指標能夠提供更為詳細的分析數據和更加精準的測量結果，提升捕捉政策效果變化方面的洞察能力。如BMBF 委托歐洲經濟研究中心（ZEW）開展的一項研究在評價中小型科技創新企業的創新產出時，采用了一系列基于企業大數據的創新指標。 該研究發現，企業網站的可用性和網站特征（如文本內容、子頁面和超鏈接的數量、文本規模、使用的語言）因企業規模、年齡和所屬行業而異，而且，這些特征與企業創新能力有著密切的關聯?；诖?，該研究提出了將企業網站特征轉化為有價值的創新指標的幾種方法，包括：（1）基于文本特征的指標；（2）基于網站元信息的指標；（3）基于網絡超鏈接的指標等。實證結果顯示，基于文本內容的指標（如主題流行度指數、英語的使用和網頁上的總字符數量）以及網站的子頁面數量等是分析企業創新產出的有效指標。

4 結語

綜上所述，科技政策效果評價的重要性與日俱增，從理論、方法到實踐都在經歷變化轉型，但相關研究仍在持續探索之中，在評價理念、評價方法、評價對象等方面仍有待做進一步的研究。 本文只是相關研究的初步總結，以起到拋磚引玉之效果，進一步提升科技政策效果評價的相關研究。