科技成果評估中主觀方法的量化改進研究

韋顏秋 鄒立堯

一、引 言

科學技術是第一生產力,作為科學技術研究的最終產物,科技成果受到人們的普遍關注。然而,能否對科技成果進行科學有效的評估關系到科技成果自身權威性的認定與科技成果的轉化。

中國每年有大量的科技成果需要評估,然而長期以來,中國對于科技成果的評估大多采取的是科技成果鑒定的方式。由于成果鑒定是以政府為主導的,并且管理形式存在一些問題,科技成果鑒定得到的都是一些模糊的評語：“國內高水平”“國際領先”“具有較大的推廣價值”“具有良好的市場前景”“填補空白”,等等?？萍汲晒b定是計劃經濟體制下的產物,在計劃經濟時代發揮過重要作用,隨著社會主義市場經濟體制的完善和科技體制的不斷深化,以科技成果鑒定為主要形式的科技成果評估,已經不適應科技成果評估發展的要求。參照國外發達國家政府和社會對科技成果管理的模式,對科技成果的評價應該由鑒定這種單一的模式過渡為鑒定與后效評估相結合的評估模式?？萍荚u估的發展趨勢是逐漸向項目成果評估的中、后期評估延伸。國外科技評估機構對前期評估和中、后期評估的比例大致持平,然而中科技后效評估的案例極少,大都止步于對科技成果的價值作出初步鑒定的階段。中國的科技評估實證分析少,評估方法落后。

本文在對國內外關于科技成果評估理論和方法進行綜合分析的基礎上,結合中國科技成果評估的實踐現狀,對目前主觀評估與客觀評估相結合方式提出方法上的改進,將人力資源評估中的行為等級錨定法引進科技成果評估領域,使評估結果更為公正,最大限度地避免主觀隨意性。

二、科技成果評估方法的主客觀結合范式

(一)科技成果評估及組織

科技成果評估是科技評估的主要內容,也是政府部門科技成果管理的重要內容。它是一種以政府或科技中介機構為主體,在政府宏觀指導下的市場行為,對成果的水平及其價值作出科學合理的評價。有學者認為科技成果評估,就是科技成果評價中介機構根據委托者提出的評價要求,運用科學、可行的方法對被評科技成果進行的真假審查與辨別,對其科學性、創造性、新穎性、先進性、應用效果與前景進行的評議,并做出相應結論。①談毅：《中國科技評價體系的特點、模式及發展》,《科學學與科學技術管理》2007年第5期,第10頁。從科技成果評估的概念出發,科技成果評估應具有以下特點：(1)權威公正性?？萍汲晒u估的主體是政府或科技評價中介機構,理應保障科技成果評估的結果具有權威性。此外科技成果評估是按公正、法定的準則和程序進行的,具有公認的行為規范和業務規范,科技成果的評估應該具有公正性。(2)綜合性?？萍汲晒u估雖然是對一項科技成果進行評估,但是卻往往涉及多方面因素的考量?？萍汲晒u估不僅要評價其自然屬性和經濟價值,而且要評價其社會屬性和社會價值,要對以后可能取得的經濟效益和社會效益進行評估,也就是后效評估。(3)評估方法的科學性?？萍汲晒u估要綜合運用經濟學、數學、統計學、計算機科學等多種學科的方法,綜合考慮市場、政策、法律、金融、風險和供求關系等多種因素。因此,科技成果的評估方法不僅要有嚴格的定量分析研究,也要對科技成果的價值和收益進行廣泛的理性討論,定性的研究方法也要引入進來,不能一味地追求“數量”,還要看“質量”。

近年來,科技成果評估逐漸脫離了原先政府部門為主導的科技成果鑒定,政府強制性的行政干預色彩逐漸淡化,第三方的科技中介機構和社會組織開始參與進來,科技成果的評估程序也越來越透明。并且科技成果評估也逐漸滲透在科技項目的審批立項、成果驗收認定、成果轉化及后效評估的各個環節,成為一種經常性、連續性的活動。

(二)科技成果評估方法的主客觀結合

評價方法是一個多學科彼此交叉、相互滲透、以各種理論體系為基礎,不斷演進變化的研究領域?？萍汲晒脑u估方法在發展過程中呈現出由主觀到客觀、主客觀相互結合的特征。較為早期的評價方法主要是經驗評價或各種定量評價,比如專家調查法、總值法等；發展到了近現代,隨著統計學的發展,產生了諸如主成分分析、因子分析法、聚類分析和判別分析法等評價方法；近年來,隨著模糊數學、灰色系統理論、神經網絡技術等一些新興學科的興起,相應的技術被不斷引入到評價方法中來,使評價方法日益多學科化和豐富化。借鑒各種評價方法的優點和適用性,目前科技成果評估按照測量方式主要有兩種方法：一種是主觀評估方法,就是評估主體按照某種評估標準,借助專業知識和個人經驗進行估計和推斷的一種評估方法。這種定性方法強調的是基于理解的“直觀認識”,對科研成果難以客觀量化的屬性和特征進行分析和評定,以說明其質量標準。另一種是客觀評估方法,又稱為科學計量法,主要是通過科學手段或測量工具對科研成果的特征做出判定和分析評估,并保證評估結果在一定的置信范圍內,具有相當的可靠性,使評估結果更加科學、客觀和公正。

在實踐中,對科技成果的評估通常都是將二者結合起來,這是評估的客觀需要,無論哪一種科技成果,都存在客觀難以測量的特征,這些特征的優劣判斷需要借助專家的主觀判斷。主觀評估方法的優點是原理上較為簡單,操作上不需要高深的技術,在評估對象需要主觀判定和描述、缺乏足夠客觀數據情況下適用。其缺點是受人為因素的影響嚴重,具有主觀隨意性和不公開性等特點,因此,難以保證評價結果的科學性和公正性?？陀^評估方法其理論具有扎實的基礎,就方法本身而言可排除人為的隨意性干擾,但其突出缺點是適用于標準客觀且存在大量參考數據的情況下,在該方法實施中要增加很多約束條件,在現實中進行評估,評價對象往往不能完全滿足其要求,更多時候需要先進行一系列的假設,在此基礎上再進行數據處理,才能完成評估工作。因此,定性評價必須以數量界限為基礎,定量評價必須以定性界定為前提,在科技成果評估中將二者結合起來才具有更強的實效性。

三、科技成果評估的主觀評估方法構建演進

無論是評估范式的演進還是評估內容的拓寬,對于科技成果評估而言其評估方法的演進過程中,評估范式從“科學范式”向“社會構建”轉變,評估內容向后項評估演進,都指示出主觀性的評價方法一直是科技成果評估的重要方法之一,主觀評估方法隨著科技成果評估要求的變化而進行適應性調整。

(一)評估范式向社會構建方向的演進

傳統的科技評估范式注重對技術的可行性和可能的后果進行分析,是純粹的技術性評價的“科學范式”。美國國會技術評價辦公室(OTA)第一任主任Emilio Q.Daddario 認為,“技術評估(TA)系統評價一項技術程序的性質、意義、地位和價值”。①Roger C.Herdman and James E.Jensen,“The OTA story ：The Agency Perspective”,Technological Forecasting and Social change,vol.54,(1997),pp.259-286.Smits、Leyten 和 Den Hertog 提出了三種科技成果評估的模型,即察覺性科技評估模型、戰略性評估模型和建構性模型。

Rathenau 研究所(原荷蘭 TA 組織)主任Eijndhoven 將技術評估分為四種范式：經典范式、OTA 范式(OTA)、公眾范式和建構性范式。②Jose C.M Van Eijndhoven,“Technology Assessment ：Product or Process”,Technological Forecasting and social change,vol.54,(1997),pp.259-286.他總結了技術評估的各種觀點,并且提出學術和政治之間的差異性導致了技術評估組織的兩難困境,強調了將各種評估方法運用于技術評估的重要性,突出對整個過程進行質量控制。

Jan Van Den Ende 等人則總結出了傳統的預警性技術評估和新型的戰略性技術評估、建構性技術評估及回溯性技術評估等幾種類型,Rathenau 研究所提出了交互式技術評估,等等。③Jan Van Den,“traditional and Modern Technology Assessment ：toward a Tool it”,Technological Forecasting and social change,vol.58,(1998),pp.5-21.他們提出將技術評估的不同方法進行分類,并且總結成一個通用的技術評估框架,這些框架將有助于評估方法的選擇。這些評估方法和框架的公開化使得科學家、工程師、政府官員、公民組織的成員都可以參與到評估中來。

隨著技術的社會建構論(social constructivism)興起,對科技成果的評估出現了多種理論流派和分析范式④Weibe Thomas P.Hughesand TrevorF.Pineh,The Social Construction of Technological Systems：New Directions in the Sociology and History of Technology Assessment：The Management,1987,pp.6-22.,其主要觀點是認為技術的發展過程是社會建構或形塑的。在技術產生和發展的每一階段,都涉及到在諸多技術可能性中進行社會選擇。技術正是在持續的社會反饋與利益相關者參與中一步步經過或然性 (Problem-atization)過程走向穩定化,即技術的內容和后果包含在技術發展的社會建構過程中。因此,對技術進行評估便不應僅僅針對技術發展的結果進行靜態分析,更要考察并介入技術選擇過程。

通過對比庫恩的“科學范式”,多西提出了技術軌道的分析框架(technology trajectory)。技術軌道包括在與社會系統的相互作用中,技術評估是受制于多種技術因素、經濟因素、制度和社會因素的動態反饋過程。⑤Dosi G,“echnological paradigms and technological trajectories”,Research Policy,vol.11,(1982),pp.147-162.多西試圖建立一個有效的宏觀框架將這些要素融入其中,并且確定了新的技術范式的選擇過程。技術評估過程不可避免地要受到技術軌道(technological trajectory)的影響,根據技術評估的過程,技術評估的參與者確定了技術評估的戰略。一般而言,主要包括四種類型的技術評估戰略：靈活執行的戰略評估、突發奇想的直覺評估、審慎的定量評估和各方達成一致的戰略評估。

由“科學范式”向“社會建構范式”的轉變,說明了科技評估由單純的技術性評價向吸收社會公眾意見的社會性評價轉變。技術評估與決策過程所依賴的不僅是科學的推理分析,更依賴參與者的經驗、興趣,這些隱性知識不確定性的影響尤為明顯。對于科技成果來說,同樣涉及了在諸多技術可能性中進行社會選擇,評估過程需要持續的社會反饋和利益相關者的參與,在注重技術評價的同時,更要注重社會評價。

(二)評估內容向多維評估的演進

不同的科技成果評估具有不同的評估內容,即科技成果評估內容的設定一般取決于具體的科研項目,其中以論文為主要成果形式的科研項目占絕大多數。一般而言,新的評估方法需要用來衡量社會影響,并且應當與衡量科研質量的方法結合起來,按照和現行的評估方法相符合、能夠預見未來、對評估雙方均有效、具有可行性的原則進行。評估的維度包括：現狀分析(正規出版物數量、政策文件、教科書出版物影響力)、軟件引用分析(上述出版物的引用情況分析)、產品評價(包括健康技術和服務設備、程序和評估方法、社會福利落實情況)、對于非專業大眾的傳播情況(大眾傳媒網絡的影響力)、組織成員關系評價、教育影響評價(基于研究結論,對于健康人群的教育作用)。Marek Kosmulski 在科技論文的評估方面提出了自己的新觀點。他認為獲得引用次數多于被涉及次數的論文就是一篇成功的科技論文,這個評估基于工作在各個科學領域和各個國家的科學家所給出的比較分數。并且結合實證研究提出對期刊論文的評估包括：平均提及率、平均被引率、最高提及次數/被引次數、平均提及次數/平均被引次數、期刊中成功論文的數量、期刊中引用次數大于100 次的文章數、h- 指數。①Marek Kosmulski,Successful papers,“A new idea in evaluation of scientific output”,Journal of Informetrics,vol.8,(2011),pp.481-485.Bonnie和Joseph 在對計算機信息系統成果的評估中運用了定性評估指標,將定性評估指標和實施評估中的關鍵因素相結合,提出了計算機系統成果的評估框架,他們指出不同的評估對象需要不同的評估內容和方法,在計算機信息系統的評估指標設計中需要考慮的關鍵因素有：成本和收益、系統的及時性、系統的完整性、系統的錯誤率、可回收性、用戶滿意度等,還要調查系統的社會、組織、文化等方面的研究影響、注重過程評價而不是結果的評價、突發過程的檢測評價等定性評估。②Bonnie,“ Research Methods for Evalutaing Computer Information” Evaluating the Organization Impact,vol.11,(2005),pp.30-38.

英國高等教育基金委員會(HEFCE)用REF原有的RAE,旨在強調科學研究為英國經濟和社會發展服務。從RAE 到REF,三項評價指標中前兩項即“研究質量”和“研究環境”不變,但是第三項“研究的聲譽”將被“研究的經濟社會影響”所替代。1991年經合組織發展援助委員會(OECD/DAC)首先提出項目成果中后期評估的內容,包括相關性、效果、效率、影響和可持續性等五大評估維度。日本的項目后期評估主要內容有：目標達成度情況、資源(人才和資金等)分配是否合理妥當、研究成果及擴散效果等。韓國對項目成果后期評估的內容還包括：是否落后和重復、與其他項目成果的集成情況等。

四、主觀評估方法的量化改進——以同行評議為例

科技成果評估中一般遵循主客觀評估方法相結合的原則,通過對以上主觀評估方法構建演變的分析可以得出,在科技成果評估中,主觀評估方法的量化演進是必然趨勢和理性選擇。同行評議是一種歷史悠久、應用廣泛的主觀評價方法,它既適用于自然科學,也廣泛應用于人文社會科學。本文以氣象公益領域的科技成果評估為例,重點研究同行評議方法的量化改進問題,以此來說明科技成果評估中的主客觀方法是如何結合的。

(一)同行評議的優勢及局限

國內學者認為,同行評議指的是“某一領域的同個研究方向專家采用一種評價標準,通過定性的評判對涉及某一領域的一項事物進行評價的活動。同行評議是以專家主觀分析與評定為主的方法,其評價結果可以為有關部門決策提供參考依據”。①郭碧堅、韓宇：《同行評議制：方法、理論、功能、指標》,《科學性研究》1994年第3期,第63-74頁。美國國家科學基金會(NSF)對同行評議評估方法的定義為“根據評估決策結果情況,來確定應向哪些科研項目申請提供研究經費,也就是說,NSF 負責官員根據與申請者同一研究領域的其他研究人員的評議結果,評估決定科研項目申請者的資助名單?！痹诂F代科研管理體制中,同行評議是最為重要的評估方法,在科學決策中扮演著不可替代的角色,同時,它在科研領域也承擔著人員招聘、職稱評定、論文評審等方面的決策機制作用,以及肩負著推進整個科研領域技術水平提升的重任。從國際科研機構的評價實踐及國內外學者對同行評議的界定上看,同行評議是目前科技成果評估中主流的評估方法。它更多的是針對整體情況進行診斷與評估,對專家的標準要求更高以及專家的類型要求多樣化,同時在組織方式上以現場評估為主,而對評估結果的使用則是根據其評估目的來確定。同行評議也是一種有組織地用于評價科研工作的方法,由同行或多個領域專家共同擔當科技成果評價的仲裁者,根據評價指標和原則作出主觀判斷,體現的是一種集體智慧。

同行評議在科研成果評估中被廣泛應用并不意味著它是一個完美的評估方法。像所有的評估方法一樣,它也存在一些局限性。第一,同行評議在公開性和公平性方面有所欠缺。同行評議方法的實施更多是依靠同行專家依據一定的評價標準進行主觀性判定,在操作過程中難以避免人為造成的隨意性和個人偏好,因此,評估過程中就難以體現出更多的的公開性和公平性。第二,在實踐中也暴露出同行評議具有主觀性的局限性。評議者個人的年齡、學識、知識背景與興趣等存在差異,就會造成不同的評審專家對同一科技成果的判定結果可能截然相反,且由于人情關系或利益沖突等原因,同行評議可能喪失評估結果的公正性。第三,同行評議的共識性本質與前沿研究的非共識性特點之間存在根本性的沖突。②龔旭：《科學政策與同行評議》,浙江大學出版社2009年版,第235頁。同行評議專家往往認可對已有知識體系的論證和研究的科研成果,而排斥有創新的新思想和觀點。因此,即使同行評議專家持有公正的態度,也因為知識規范性、以往既定經驗和范式等原因對科技成果的評估結果造成偏差。

(二)同行評議方法的改進

為了改進同行評議中主觀隨意性的缺陷,增加量化的嚴謹與科學性,本文借鑒和吸收人力資源考核中行為等級錨定法(BARS)的精髓,在等級評定時基于關鍵特征進行判斷,使主觀的量化基于成果特征證據的強弱。該方法對于同行評議等主觀判定方法的量化改進有十分重要的借鑒意義。

行為等級錨定是由美國學者史密斯(P.C.Smith)和德爾(L.Kendall)將傳統的“等級量表法”與“關鍵事件法”相結合而提出的。行為錨定等級法中的“行為”是指績效指標以“行為”作為實現基礎；“錨定”是指針對每個績效指標都設計出一個評價等級表。在這個表上,每個等級都會由工作中的某個關鍵事件的客觀描述來加以界定,所以我們形象的將其稱為“錨定”。此考核方法將等級評價與關鍵事件有效地結合在一起,整合了兩種方法的優勢,使關鍵事件通過帶有限定功能的等級描述出來,其等級包括針對特別優秀的和特別劣等的行為的敘述。借鑒行為等級錨定法改進同行評議的步驟如下：首先提煉表征被評估成果優劣的關鍵特征,這一提煉過程通過對熟識該類科技成果專家的訪談完成,在正式訪談之前進行文獻分析,收集所有被評估的科技成果的特征要素,為訪談的主題和問卷做好準備,通過對專家訪談結果的處理,確定科技成果的等級與這些特征的對應,為了確保等級與關鍵特征對應的有效性,需要請另一組專家在清楚各個等級的定義和關鍵特征的基礎上,重新分配這些關鍵特征,如果第二組專家與第一組專家分配的一致性達到了某特定百分比(通常為50% ～80%),那就保留這個關鍵特征。請專家為這些評定等級確定具體分值,從而確定與關鍵特征對應的等級表。最后請同行專家對目標科技成果的相應方面進行評定。表1以某氣象成果“推廣應用”為例,給出同行專家評定表作為示例,表中四個等級特征的給定分別為 0-25、26-50、51-75 和 76-100 四個等級,分數越高,評價等級也就越高。

表1 某氣象產品推廣應用情況同行評議表

通過評級等級“錨定”使得同行專家在對同一科技成果的“推廣應用情況”判斷時結果具有一致性和準確性。因為等級的判定標準是清晰的,同行專家很容易將被評估成果的“推廣應用情況”錨定在四個等級的某一個上,等級的高低基于特征的描述,基于特征描述的證據使同行專家在評估時主觀隨意性被限定在某個范圍內。例如,某個氣象科技成果,有足夠的證據證明它在全國氣象部門已經推廣應用,那么它相應的分值應該在76-100 之間,在此區間內,同行專家可以依據證據的強弱和多少酌情給定分值。需要指出的是,在應用時,提煉關鍵成果特征的專家是廣義上的專家,凡是熟識該科技成果的人都是所謂的專家,而參與同行評議的專家應該是狹義上的專家,二者不是同一組專家；改進的同行評議法的困難和關鍵是表征不同等級的科技成果關鍵特征的提煉。

為了使同行評議在科技成果評估中發揮更為重要的作用,在具體實施過程中還應注意以下幾點：第一,注意專家選擇方式。遴選專家的過程中的常用方式是具體化和標準化,在專家選擇時應注意選擇理念相同、公正敢言、視野開闊、有很強科學判斷能力的內外部專家。在具體分類上可考慮戰略科學家、同行專家以及用戶專家等,針對不同類型專家制定相應的選擇標準,使其更加具體化和可操作性。第二,對于科技成果評估結果的使用,要弱化其參與資源配置。如果科研成果評估結果與資源配置相關,在操作中難以避免主觀評估的種種弊端,建議評估結果重在診斷和分析、評估,通過反饋的評估結果幫助發現問題、分析問題、統籌布局、把握方向,提高效率。通過評估活動以及評估結果的應用,可以促進同行業專家與本領域的科研人員相互交流、營造積極探索、不斷創新的科研氛圍。第三,評估過程中應更加關注評估對象和內容。使用同行評議方法進行科研成果評估時,應針對不同評估對象選擇適用性的量化方法,在主觀評估中強化量化方法的使用,具體評估內容應聚焦在科技成果的技術先進性、優勢和核心競爭力,以及在社會經濟發展中的效益,因此,根據不同評估內容有選擇地使用量化的方法以改進和提升評估效果。