科研項目學術質量評價關鍵問題研究

宋歌 孫建軍

摘 要：為進一步提高科研基金績效，激發我國科研創新力，應推進科研項目學術質量評價。文章通過解析科研項目評價實踐與研究中面臨的關鍵問題。包括科研項目評價指標體系設計的復雜性、科研項目社會效益的滯后性和非顯性以及交叉學科科研項目評價的困境。認為優化專家遴選機制，實行小同行評審，建立評價指標事實數據庫，采用新的評價指標揭示非顯效益，確立交叉學科評審組的建立機制可以解決上述問題，并從方法上給出了解決路徑。

關鍵詞：科研項目評價；學術質量評價；評價體系

中圖分類號： G304 文獻標識碼： A DOI：10.11968/tsyqb.1003-6938.2016101

Abstract In order to improve the performance of Science Fund and further stimulate the innovation of scientific research in our country， the evaluation of academic quality of scientific research projects should be promoted. Its key problems have been analyzed， including the complexity of the design of the evaluation index system， the difficulty of the lagging and the non-dominant of social benefits and interdisciplinary research project evaluation. It is believed that these problems can be solved through the optimization expert selection mechanism， implementation of peer review， the establishment of facts database of evaluation indexes， revealing non-significant benefits by using the new evaluation index， establishment mechanisms of interdisciplinary review group.

Key words research project evaluation； academic quality evaluation； evaluation system

1 緒論

近年來，隨著科研經費投入的大幅增加，人們越來越關注科研產出及其質量。如何對這些科研項目進行學術質量評價，以便調整資助策略，提高科研基金的績效，同時為科技創新提供適宜的發展環境，協助達成國家規劃及戰略目標，已成為科研管理中亟待解決的問題。

自然科學基金委員會管理科學部早在1998年就開始對1992年以后資助的管理科學面上結題項目進行“后評估”[1]，以此了解基金項目研究進展，掌握資助效果。而我國自然科學基金委員會于2010年開展的國際評估[2]，即對自然科學基金資助與管理績效進行評價，開創了我國基金整體績效評估的先河。然而，與發達國家相比，我國國家科學基金績效評估的建立均起步較晚，還處于由探索向規范過渡的階段[3]。

當前，通過對我國和歐美日等國實踐經驗的總結與借鑒，學術界和科研管理部門對科研項目評價中存在的問題和改進路徑已經逐漸達成共識。普遍認為質量評價應采取定性的同行評審和定量的指標評價相結合的多元評價方式[4]；不斷完善、及時更新同行評審專家庫是建立評價體系的重要工作；開展國際評審；評價不應過于關注成果數量，而要著重考慮其創新性與影響力；對于不同類型的科學研究，應選擇與之相適應的評價指標；基礎研究周期長、意義大、見效慢，應探索更為有效的評價方式；對于應用研究，應重視發明專利、成果的應用推廣及其創造的經濟價值等[5]。

然而，如何實現以上設想，成為當前面臨的緊要問題或改進評價體系的瓶頸[6]。有關研究不是停留在定性探討和提出建議的層面，就是陷入具體指標的構造與改進等細節研究，或建立一個較為籠統的評價體系的階段，缺乏對于建立評價體系操作層面的研究。本文詳細分析了建立科研項目學術質量評價體系所面臨的關鍵問題，并給出解決路徑。

2 科研項目學術質量評價面臨的關鍵問題

2.1 評價指標體系設計的復雜性

科研項目的質量要素非常復雜，其評價不能僅依靠單一的文獻計量指標，還要考慮成果轉化和應用價值。因此，科研項目質量評價需要建立一個基于多類型產出的綜合評價體系。論文、圖書和專利都有專門的公開發行渠道。學術論文是經同行評審的公開出版物，對內容的獨創性有嚴格的要求。專利是科技活動中創新部分和成功經驗的提煉。而優秀的出版社對于學術專著的出版也是嚴格把關的。圖書銷售量以及一些數據庫包含的圖書被引情況，其數據也可以用于評價。專利和軟件的價值可以用經濟收益來衡量?？傊?，對特定類型的科研成果進行學術評價都有章可循，其研究和實踐也比較豐富，尤其是對于期刊論文的評價已經較為成熟。但是如何將一個科研項目中不同類型成果的評價結果進行適當加權，形成可在相同學科領域中進行比較的標準化指標是該評價體系需要著重考慮的問題。

權值分配的復雜性在于兩個方面。一是，不同的學科門類，其項目成果類型之間的比重不同。有的學科看重高質量論文的發表，而在另一些學科，更看重發明專利。那么，在這兩個學科中，論文與專利的權值分配應該不同。如在信息科學部評估中占有相當分量的“發明專利”指標，在管理科學部評估中則沒有采用；二是同一種成果類型也存在設定權值的問題。如會議論文與期刊論文、SCI論文與EI論文均不能等同，且在不同的學科，它們的相對重要性也不相同。因此，無法統一設定不同成果類型之間的權值，必須根據每個學科領域的具體情況而定。

2.2 項目成果社會效益的滯后性和非顯性

全國科學技術名詞審定委員會認為，社會效益是指一項工程對就業、增加收入、提高生活水平等社會福利方面所做各種貢獻的總稱。而科研項目的社會效益是指科研項目成果對社會有良好的影響，能夠推動科技進步，為國家創造更多的財富。有些科研項目成果單從經濟角度看收益很小，甚至得不償失，但它對人類社會發展和進步、精神文明建設等起著至關重要的作用。這類科研項目應該得到國家和社會的大力支持。

科研項目的社會效益具有兩個基本特征：滯后性與非顯性。滯后性是指項目成果的社會效益需要一段時間后才能顯示出來；非顯性是指項目成果的社會效益并不能直接顯示出來，其效益有時是通過被研究者消化吸收后產生新的科學技術。這兩個特征在不同程度上影響了科研項目評價的客觀性。但是如果過多考慮社會效益的滯后性，延長結項與學術質量評價之間的時間，則降低了項目管理的時效性。而對于科研項目社會效益非顯性價值的測度還是一項空白。

2.3 交叉學科項目評價的局限性

交叉學科研究對于科學研究來說特別重要，因為新學科或研究領域往往產生于現有學科交叉重疊的部分，而學科交叉對于解決現實社會問題常常是必需的?？茖W基金已經成功資助了大量的交叉學科研究，培育了交叉學科研究團隊和平臺。如于1986年設立的科學基金重大項目，資助瞄準國家優先領域的大型研究項目；于2000年設立的重大研究計劃，資助多種項目類型，其中很多由研究者自由選題。這兩類資助通常都由多個科學部共同支持，許多是由4～5個科學部共同資助的。

然而，對于交叉學科項目的申報與評價一直令科研人員和項目管理部門困擾。雖然科學基金使用的學科分類代碼體系自1986年來經過了5次較大調整，但是調查顯示[3]，仍然有三分之一的面上項目負責人表示并非一直可以找到合適的學科代碼，只是“有時”可以找到，而青年科學基金項目負責人認為找到適合的代碼更為困難。不僅項目申請時如此，項目結題鑒定時也遇到同樣的問題。如何針對各個交叉學科項目所涉及的學科領域，組建專門的評審組并有效工作，是所有研究理事會都要面對的問題?；鹞藛T和申請人都表示交叉學科的研究實際上很難獲得同行評議的共識。

3 科研項目學術質量評價關鍵問題解決路徑

3.1 實行小同行評審，優化專家遴選機制

“選擇適當的評價者是評價能否合理最基本、最重要的前提條件?！盵7]小同行由于是同一領域的研究者，熟知該領域的學科發展概況和學術思想，并且遵循同一套研究范式，因此他們比外行人更清楚某人或某成果在學術上所達到的高度以及應用前景[8]。某個學科門類或學科內部的不同研究領域各有側重，其成果形式和內容也不一樣。由某一研究領域的小同行確定該領域科研項目中不同類型成果產出的權重，并對科研項目的學術質量進行綜合評價是最為合適的。

美國已經正式將同行評審綱領作為一項國家信息法令加以頒布。美國科技報告審查和基金評審采取的就是“大學科，小同行”的方式。其國家科學基金會（NSF）將科技領域分為6大學科門類，對基金項目的內容評審基本是由相關度很高的“小同行”具體執行的。目前，我國評審的實質是大同行背景下的學者聲望機制，還未真正實現小同行評審。其弊端顯而易見：其一，評審組內大多是學科領域的大同行，其知識結構和研究經驗限制了他們在學術評價中的作用，其評價難以客觀、準確；其二，評審專家往往比較固定，缺少退出和進入機制，自我更新緩慢，使得評審組的整體氣質較為保守，不易接納新興研究領域和超前創新成果。

實行小同行評審就需要優化專家遴選機制。目前，國家基金委是基于學者的注冊信息來確定其學科領域的。此種方法不但高效、快捷而且成本低。但是也有其不足之處。一方面，專家學者的研究領域不是固定的，可能會隨著人事變動、興趣轉移等情況而發生漂移，而學者的注冊信息很可能不會及時更新或更新滯后；另一方面，沒有合適的退出和進入標準。因此，小同行專家的遴選除了依靠自我登記的方式，還需要有基于科學大數據的推薦系統作為補充和校正。利用科研成果形成的大數據，對其進行挖掘，可視化每個學科大類中的科學共同體，根據專家遴選工作的實際需求調整焦距與視域，確定小同行，標識領域標簽，并定時截取科學發展的演化圖譜，更新小同行成員及領域標簽。這樣，既能實現小同行專家的準確推薦，也能為小同行的退出與進入提供依據。這一過程的實現，可以通過自建遴選推薦系統，也可以通過利用一些成熟的數據挖掘軟件達成。

3.2 確立交叉學科評審組的組建機制

3.2.1 允許項目負責人推薦國際評審專家

對于非共識項目，項目負責人最清楚誰是這個領域的小同行。因此，應允許項目負責人自行推薦評審專家，并且可推薦國際同行，以擴大特殊領域的專家選取范圍。從英美兩國對國家科學基金評審專家的選取中也可以看出，評審委員會中有一定數量的國外專家參與是其評價制度的成功經驗之一[9-10]。其過程可參考歐美近年來對國際同行評審改進的經驗[11]，即要求項目負責人提供包含多名評審專家的候選名單，再由科研管理部門商議，從中選出若干名加入到該評審組中，且選取結果保密。其中需要注意的是，除了項目負責人推薦的專家，該評審組中占大多數的專家應由管理部門選取。如此，既能確保評審組中有合適的評審專家，也可避免項目負責人利用自薦機制作弊。

3.2.2 增加跨領域評審專家的遴選

可以利用學術交流網絡遴選跨領域評審專家，包括引文網絡、科研合作網、關鍵詞共現網絡等。（1）引文網絡記錄科學發展的軌跡，它不僅體現科學知識縱向上的積累與繼承，也揭示不同學科領域之間橫向上的交叉與滲透。因此，該網絡可以確切地反應科研工作者在科學知識地圖中占據的“橋接”位置；（2）科研合作網直接呈現不同研究機構或不同研究領域的合作，以及合作的規模與影響力；（3）關鍵詞共現網絡可及時定位新近涌現出的研究領域與學者?？衫闷渲幸环N或融合幾種網絡進行測度。

跨領域評審專家的篩選過程如下：首先，建立學術交流網絡。以引文網絡為例，建立以作者為節點的同被引網絡、作者耦合網絡或作者互引網絡；其次，利用網絡理論與方法的中介性指標進行測度，得出跨領域專家；最后，當需要組建交叉學科評審組時，可先選取項目所涉學科中的各領域專家，再從跨領域評審專家庫中選取對應的跨領域專家。在交叉學科評審組中，跨領域專家不但是該項目的小同行，而且能夠在評審組各領域專家中起到知識橋梁作用，促進評審組對交叉學科項目的客觀評價。

節點中介性指標可選擇中介中心度（betweenness）[12]和媒介角色系數（Brokerage Roles）[13]。中介中心度用于測量一個節點在多大程度上位于網絡中其他節點的“中間”。中介中心度高的節點位于網絡中不同信息流的交路上，對異質資源起到了重要的中介作用，非常適用于識別跨領域專家。媒介角色系數是基于橋理論發展起來的。所謂橋（bridge）是指連接那些不相連接的行動者的結構性位置。媒介角色根據橋連結派系的情況，將代理行為分為5類。有協調同一子群中信息流的“協調人”（coordinator）和“橋接人”（itinerant broker），也有協調不同子群間成員信息交流的“發言人”（representative）、“守門人”（gatekeeper）和“聯絡人”（liaison）。后三種角色是在測度節點中介性時需要考察的。發言人控制本子群信息流，與其他子群交流信息；守門人控制群外信息的流入；而聯絡人則協調不同子群成員的信息交換，其本身不屬于其中任何一個子群。其算法原理很簡單，計算網絡中每個節點分別“扮演”這幾種角色的頻數[14]。

中介中心度指標偏向于測度節點控制不同信息流的總量，媒介角色系數更注重區分中介的類型。二者在應用中均需先借助因子分析等方法對網絡中的研究領域分群，以便確定跨領域專家所涉及的學科。

3.3 建立評價指標事實數據庫

由于科研項目的社會效益存在滯后性，很多時候，項目結題時所提交的結題驗收報告并不一定能夠完全反映科研成果的質量。這意味著，在科研項目結題時進行的績效評價也并不一定準確和客觀。在這種情況下，如果在結題驗收時評出“特優”、“優”、“良”、“中”、“差”等級，而此后很難更改的話，顯然彈性不足，很容易在客觀上導致科研人員鼠目寸光、疲于奔命。鑒于此，馬健[15]提出建立科研項目的多次評價制度。認為在結題驗收之后的一段時間里，繼續打開對已結題科研項目重新評價的大門，更有助于鼓勵科研人員目光長遠、從容研究。但是，多次評價的評價次數和時間間隔如何確定是個問題，而且過多的評價次數將大大增加人員和經費上的成本。

評價體系既要支持項目結題后的即時評價，也要支持能夠全面反映項目成果社會效益的后繼評價。兼顧科研管理的便捷性和科研激勵的有效性，從根本上解決二者的對立，應建立以“科研項目學術質量評價指標事實數據庫”為基礎的評價制度。該數據庫中記載每個科研項目各學術質量評價指標的歷年得分，即不經過加權處理，或時間窗口處理的原始數據。由于該事實數據庫中指標數據的歷時性和原始性，無論評價制度的時間窗口如何調整，該庫都能為科研項目的后繼評價以及不同年份科研項目學術質量的縱向比較提供客觀、可靠的基礎數據，從根本上避免隨著評價制度的逐漸成熟和新情況的出現，評價時間窗口發生變動造成的當前評價結果與往年評價結果不可比的情況。

“科研項目學術質量評價指標事實數據庫”中的評價指標，如影響力評價指標、創新力評價指標等，從項目結題以后開始每年計算。對于評價時間窗口的設定建議為：（1）項目結題時，成果只要達到結題標準即可結題，無需進行學術質量評價；（2）第一次學術質量評價的時間窗口對于每個學科領域來說應相對固定。根據學科特征，如引文高峰、被引半衰期出現的時間來設定，如生命科學可在結題2年后進行學術質量評價，而管理學的評價應該延后更長的時間，以確保成果的影響力和創新力已經得到較為充分的彰顯；（3）學術質量跟蹤評價。在常規的學術質量評價結束后，繼續利用“科研項目學術質量評價指標事實數據庫”，監測各科研項目評價指標的變動情況。如有異常變動，如發現延遲認可（delayed recognition）的“睡美人現象”[16]，可以對評價結果做出實時修正；（4）可根據需要，如以10年為時間窗口，對科研項目的長期社會效益進行評價。

3.4 采用新的評價指標揭示非顯效益

既然非顯性是指社會效益通過被研究者消化吸收后產生新的科學技術，那么就可以利用科技創新的擴散過程揭示出來。新的評價指標采用大數據思維，不局限于單一的因果關系和線性相關指標的設計，而是利用復雜網絡的思想，考察科研項目在創新擴散網絡中對每個后繼節點的影響。如此，可以衡量科研項目對整個科技領域的影響。近距威望（Proximity Prestige）[17]可以成為有效的測度指標。

基于被引量的影響力測度指標，只關注了引文網絡局部的直接結構，沒有以創新擴散網絡的整體結構為背景。為了把影響力的評估范圍擴展到間接選擇關系，可以計算科研成果的所有直接和間接被引量。就是把直接引用項目成果的文獻或與被評估者之間存在中介的文獻都納入結構威望的評估范圍。這種方法計算的是項目成果的入域，可以稱為影響域（influence domain）。對于創新擴散網絡中的一個節點來說，入域是指與它存在路徑的其他節點的數量或百分比[18]。入域越大，項目成果的結構威望越高。

然而，在一個連通性良好的網絡中，節點的入域可能包含網絡中絕大多數的節點，導致各個節點的入域差別不大。為了解決這個問題，可以限定入域的距離，如與其距離最遠不超過2的間接節點，忽略那些間隔了較多中介節點的間接選擇關系。實際上，如果在被評估項目的創新擴散路徑上相隔較遠，則接受創新知識的最終宿點對該項目成果的采納已經微乎其微了，確實無需計算這些對威望影響很小的節點。

由此帶來的問題是，受限入域中鄰點的最大距離如何確定。對此缺乏標準，在設定上帶有隨意性。而近距威望指標解決了這個問題。該指標關注的是被評估項目入域范圍內的所有節點，但其強調的是近鄰發出的引用關系。認為近鄰的引用對其近距威望的貢獻要比遠鄰更大，但是眾多的遠距引用也有可能起到與單個近距引用相同的效果。近距威望采用加權法，用各條選擇關系通達被評估節點的距離作為這些選擇關系的權值。距離越遠，貢獻越小。因此，科研項目所產生的創新與擴散相繼發生的非顯性社會效益可由近距威望指標來測量。

4 結語

本文僅對科研項目學術質量評價體系建立過程中的關鍵問題進行了研究。試圖為科研項目評價真正實現小同行評審、解決跨領域評價難題、不同學科領域評價指標的個性化選取與賦權、揭示社會效益滯后性和非顯性提供解決路徑。然而，評價體系的建立涉及的內容很多，需要在頂層設計下，分階段、分步驟推進實施。頂層設計是包括評價目的、評價主體、評價客體、評價方法、評價指標和評價制度以及它們之間的關系在內的邏輯完善、功能銜接的系統設計，實現判斷、預測、選擇和導向四大基本功能[19]。而設計的原則應該僅僅圍繞政府資金資助的初衷：（1）引導、協調和資助基礎研究與應用基礎研究；（2）發現和培養科學人才；（3）促進科學技術進步；（4）推動中國經濟與社會發展。而不要讓經費資助異化為一種權利的分配。突出其對于過去良好業績和未來潛力進行獎勵與支持的作用。

參考文獻：

[1] 李若筠.國家自然科學基金委員會管理科學部資助項目評估研究[J].管理學報，2007（1）：5-15.

[2] 國家科技評估中心.科學基金資助與管理績效國際評估報告[R].2011：9.

[3] 龔旭，趙學文，李曉軒，等.關于國家自然科學基金績效評估的思考[J].科研管理，2004（4）：1-8.

[4] 裴雷，孫建軍.中國科技報告質量評價體系與推進策略[J].情報學報，2014（8）：813-823.

[5] 王艷，賀德方，彭潔，等.發達國家科學基金績效評估體制及其啟示[J].科技管理研究，2014（9）：21-25.

[6] 羅彪，楊婷婷，王海風.我國自然科學基金績效評估框架構建[J].華南理工大學學報（社會科學版），2014（4）：1-8，28.

[7] 葉繼元.人文社會科學評價體系探討[J].南京大學學報（哲學·人文科學·社會科學版），2010（1）：97-110，160.

[8] 中國社會科學院外事局.美國人文社會科學現狀與發展[M].北京：社會科學文獻出版社，2001： 377-378.

[9] National Science Foundation. FY 2005 Performance and Accountability ReportII[R].2005：1-86.

[10] Review of BBSRC-Funded Research Relevant to Sustainable Agriculture[EB/OL].[2016-06-05].http：//www.bbsrc.ac.uk/tools/download/Welcome.html.

[11] Mulligan A，Hall L，Raphael E.Peer review in a changing world：An international study measuring the attitudes of researchers[J].Journal of the American Society for Information Science and Technology，2013（1）：132-161.

[12] Freeman L C.Centrality in Social Networks：Conceptual Clarification[J].Social Networks，1979，1（3）：215-239.

[13] Gould R，Fernandez R.Structures of mediation：A formal approach to brokerage in transaction networks[J].Sociological Methodology，1989（19）：89-126.

[14] 宋歌.網絡結構視域下的創新潛力指標研究[J].圖書情報工作，2014，58（3）：64-71.

[15] 馬健.科研項目評價制度的缺陷及其完善[J].自然辯證法研究，2010（10）：120-124.

[16] Van Raan A F J.Sleeping beauties in science[J].Scientometrics，2004（3）：467-472.

[17] N Lin.Foundations of Social Research[M].New York：McGraw-Hill，1976：5.

[18] de Nooy W，Mrvar A，Batagelj V.Exploratory social network analysis with Pajek： revised and expanded （Second Edition）[M].New York：Cambridge University Press，2011：193.

[19] 馮平.評價論[M].北京：東方出版社，1995：1-10，57.

作者簡介：宋歌（1980-），東南大學圖書館情報科學技術研究所、東南大學經濟管理學院副研究館員，博士，研究方向：科學計量與學術評價；孫建軍（1962-），南京大學信息管理學院教授，博士生導師，研究方向：網絡信息計量與網絡信息資源管理。