元評估在學術類社團評估中的探索性研究

裘麗　張劍

[摘要]我國從2011年就開始了對學術類社團的評估工作，旨在“以評促建”?？陀^來看，評估會產生偏差，評估效果的良好與否就在于評估偏差是否被控制在合理的范圍內。當前，我國學術類社團評估效果尚無有效的衡量手段，評估工作的成效得不到檢驗。通常而言，元評估就是對評估本身的評估，它是在先有的評估工作結束后以該評估作為客體而進行的評估。國外的研究已經證明，元評估在控制評估偏差、提高評估質量、提升評估水平以及提高評估結果為依據而作出的決策科學水平方面具有重要的作用。本文認為，鑒于國外對元評估已有的研究成果和國內的實踐和研究經驗，將元評估納入學術類社團評估工作中具有重要的理論和實踐價值。

[關鍵詞]評估 學術類社團 元評估

一、引言

學術類社團是社會團體的重要構成部分，也是我國現代社會治理的重要參與主體。在當前我國構建“小政府、大社會”的環境下，學術類社團因其在優化資源、促進科技發展、提供技術服務、普及科學知識方面具有獨特的優勢，在現代社會治理中扮演著越來越重要的角色。通常意義上的學術類社團評估是社會組織登記管理機關，即民政部門在遵循《社會組織評估管理辦法》的條件下，依據相關規則對學術類社團進行的評估，目的在于“以評促建”。學術類社團評估是社會組織評估的重要部分，我國的學術類社團評估工作開始于2011年，至今不足5年，由于評估開展的時間短，存在發展不足的問題。

評估是一項由多環節組成的系統性工作，盡管評估作為一項科學的研究方法被運用于社會組織中，但是基于評估自身而言，它在實際操作中也會因諸多因素，如評估主體、評估客體、評估方法、評估過程等的影響而產生偏差。就我國的社會組織評估而言，鄧國勝認為，我國的社會組織發展存在著理論和實踐的兩大不足問題田。理論上，社會組織發展存在著動力不足、壓力不足和能力不足的情況；實踐上，社會組織的內部管理與政府的外部管理均存在不足。社會組織發展中存在的不足帶來了評估的必要性，而評估則存在大小不一的偏差。為有效了解評估結果中存在的偏差與不足，研究這些偏差和不足對評估結論的影響并加以引導和反饋，這就涉及“元評估”的概念。正如Stuftlebeam的觀點，引導和反饋評估中優點與缺陷是元評估的基本目的。學術類社團評估是社會組織評估中的一項重要內容，為保證學術類社團評估工作的規范化與科學化，對其開展元評估就顯得意義重大。

二、關于元評估

（一）元評估的基本概念

元評估最早產生并發展于美國。1969年，Scriven在《教育產品報止》中正式提出了“元評估”（meta-evaluation），這被認為是元評估最早的概念化。1974年，Stufflebeam給予元評估以具體的概念化，他指出，“元評估是為獲取和運用那些評估的效用性、可行性、合理性和準確性，以及其系統本質、行為能力、誠信度、受尊重程度和社會責任感方面的描述性和評估性信息來引導并向公眾報告該評估的價值與缺陷的過程”。1975年，Scriven提出了評估與控制偏差的兩條原則，第一，建立評估者與被評估對象之間的獨立性；第二，定期更換評估者，因為固化的安排會產生副作用。Cook和Gruder從過程性元評估和結論性元評估的差異性出發，將元評估分為形成性元評估和總結性元評估。

（二）元評估在國外的發展

元評估的發展中存在著支持與懷疑兩種聲音。持支持態度的學者主要有Stufflebeam、Scriven、Cook、Monica等，他們的依據有三：第一，評估有失敗的可能性，失敗的評估會產生副作用，而形成性元評估可以保證評估工作的公平與高效；第二，總結性評估可以公開揭示已完成評估的優點和缺陷，從而相關人員避免因使用錯誤的結論與建議而導致利益受損；第三，相對于初始評估。元評估具有成本上的效益，因為它遠比初始的評估省錢。而以Brickell、Sroufe、Gene Glass等學者為代表的反對派，則認為元評估跟評估一樣有缺陷，主要依據為：第一，參與評估工作的評估者容易受到政治力量的制約，從而影響評估的公正性。元評估同屬于評估，也會受到影響。第二，評估是一個追求卓越的過程，但是評估中存在的威脅、中斷以及消極的反饋往往制約了卓越成就的實現。第三，評估經常會被上層領導者所利用，以指揮下級從事超出現有能力范疇的工作。第四，邏輯陷阱的存在。元評估作為對原評估的評估，被視為第二次評估，那么，對元評估又該如何檢驗，對元評估的評估又該如何檢驗……如此循環下去就形成了一種邏輯陷阱。

盡管學界對元評估存在著爭論，但是元評估作為一種評估原評估的手段依然受到重視并不斷發展和完善。Stufflebeam（1978）對元評估的意義作了充分的解釋，他認為，對元評估的褒貶與否，都有著幾方面無可置疑的合理性。首先，元評估對原評估進行評估而產生的反對觀點有助于公眾對初始評估做出一個真實評價；其次，元評估可以幫助原評估的評估者反思自己的評估計劃、做法與結論；第三，原評估即將完成且被利用起來，元評估可以幫助原評估者和公眾謹慎地考量原評估的充分性問題。

元評估的研究標準眾多，但最權威的評估標準是美國教育評估標準聯合委員會（JCSEE）發布的1994年版《方案評估標準》。1989年，美國國家標準學會對教育評估標準聯合委員會的程序進行了論證并給予通過，JCSEE標準也因此獲得了國家標準的資質，成為美國的國家標準。因而，JCSEE標準在元評估領域有著特殊的地位，這也是本文著重研究JCSEE標準的緣由所在。

（三）元評估在我國的發展

總體而言，我國的元評估研究存在著三大主要特征：一是研究開展時間相對短。國內學界對元評估的研究主要開始于20世紀80年代末，朱鏡人在他的文章《保證教育評價質量的探索——美國（評價之評價）Metaevaluation理論》中，較早地對元評估進行了研究。二是研究內容偏于集中。國內對元評估的研究內容受國外影響較大。國外的元評估興起并發展于教育領域，國內對元評估的研究遵循元評估研究的教育起點，并長期以教育元評估為研究核心。三是國內的元評估研究還存在著實踐不足的問題。國內學者對元評估的研究偏重于理論，加上缺乏開展元評估工作的物質支持，以致目前元評估實踐案例較少。

（四）元評估之于學術類社團評估

盡管我國在學術類社團評估工作中尚未引入元評估機制，但是在學術類社團評估工作中開展元評估是十分必要的。主要依據有：第一，學術類社團在保障學術自由、推動學術交流、促進科技進步等方面有著重要作用，對學術類社團開展評估有著重要作用，元評估作為對原評估的檢驗，可以有效控制評估偏差。第二，國外學者的研究成果已經證明，元評估適用于廣泛的評估，而非僅僅適用于教育等某一個領域。就非營利組織領域而言，Monica利用Henry和Mark的評估影響分類方法，在個人、人際交往以及集體三大分類條件下對國際救助貧困組織（cARE）的評估影響力進行了元評估的案例研究，證明元評估作為檢驗評估影響力工具的有效性，同時這也是元評估在非營利組織研究中的一次有效運用。第三，遵照Cook和Gruder的觀點，原評估要得到認可就必須進行元評估。

三、開展學術類社團元評估的積極作用

（一）有利于評估偏差的控制

評估中會因為主客觀因素導致偏差的發生，評估偏差貫穿于評估的整個生命周期。同所有的評估工作一樣，學術類社團評估中產生偏差也是一種客觀存在。評估的環節眾多，包括評估主體的選擇、評估客體的確定、評估方法的選擇、評估指標的設立、評估的進行過程等都存在產生偏差的可能。評估偏差容易使所得評估數據出現信息失真，而未糾正的評估偏差會對評估結果產生一些負面影響，嚴重的評估偏差將會導致評估結果偏離預期，甚至使整個評估項目的產生失敗。評估偏差的存在，會使評估工作的科學性、權威性以及公正性遭受質疑。通過元評估的開展，可以有效控制評估偏差。其一，元評估對評估的各個環節進行檢驗，可以對原評估的偏差進行識別，并分析出其中的原因，以利于后續改進；其二，元評估可以幫助其委托人解釋和使用元評估的發現，以提高原評估結果的利用，進而使元評估和原評估之間產生良性循環。

（二）擴大學術類社團評估的影響力

我國學術類社團參與評估途徑遵從社會組織評估普遍采用的依申請評估機制，社會組織的總體參評率不高，評估的影響力有限。以2012年民政部主導的全國性學術類社團評估為例，參與民政部評估的中國科協所屬學術類社團有包括中國農學會、中國糧油學會等在內的40家，而同期中國科協所屬的全國性學術類社團共有198家，占我國科技類社團總量的70%以上，而參評率僅為20.2%。究其原因：一方面，學術類社團評估工作剛剛起步，發展還不夠完善。另一方面，評估對學術類社團帶來的吸引力有限，學術類社團參與評估的積極性不高。而通過開展元評估，既可以完善學術類社團評估機制，夯實現有的學術類社團評估成果，還可以提高評估的權威性與公正性，吸引更多的學術類社團參與評估。

（三）增強學術類社團的社會公信力

我國的社會組織普遍存在公信力不足的問題，而公信力又是社會組織發展良好與否的生命線。姚銳敏認為，“公信力不足是制約我國社會組織健康發展的根本原因”圈。學術類社團發展也存在著公信力不足的問題。究其原因，從內部上看，我國的學術類社團有著獨特的官辦NGO特色，在發展中受政府部門的影響較大，在公共部門公信力普遍下降的社會背景下，學術類社團的社會公信力也會受到影響；從外部上看，社會公眾對社會組織的普遍信任感較低是宏觀原因。元評估可以有效增強初始評估的權威性，促使學術類社團改善工作中的不足，增加公眾的認可度，進而塑造良好的組織公信力。

（四）有助于政府職能的精確轉移

職能轉移是現代政府發展的大趨勢，學術類社團在承接科技成果評價、人才評價、科技項目評價等政府職能過程中，因其獨立的社團法人身份、客觀公正的地位、專業性和權威性、雄厚的人才力量以及組織結構優勢而具有獨特的優勢。作為政府職能轉移的載體之一，學術類社團評估為公共部門向其轉移職能提供了基本依據。元評估可以驗證初始評估的科學性與準確性，為政府得到對參評學術類社團的準確狀況提供了科學依據。政府可以依據元評估結論，將部分職能優先轉移給評估中表現優良的學術類社團，一方面，提高了職能轉移對象選擇的準確性，降低職能轉移后產生政策失敗等負效應的風險；另一方面，政府擇優選擇學術類社團承接職能，有利于促進公共資源使用效率的提高。同時，對評估等級不佳的學術類社團也起到了“榜樣效應”。

四、學術類社團評估的元評估開展

（一）元評估的評估流程

Stufflebeam提出了11步元評估流程。他認為，在形成性元評估和總結性元評估中可能不一定會應用到所有的11步流程，有時還需要補充一些其他的元評估步驟，以滿足不同案例的元評估規劃與實踐需求。Stufflebeam的元評估具體流程見表1。

（二）元評估的運用

元評估的核心在于建立科學的元評估標準，本文著重借鑒美國教育評估標準聯合委員會（JCSEE）的“方案評估標準”?！胺桨冈u估標準”分為效用性、可行性、合理性以及準確性四大維度。四大維度作為一級指標，分別對應衍生出7個、3個、8個、12個二級指標，總計30個，最后由每個二級指標演化出10個三級指標，共計300個具體指標。JCSEE的元評估標準，通過對各級指標得分進行逆向的分層計算，從三級指標開始計算分值，逐步匯總到一級指標，直至得到總的元評估分值與分值所達到的良好水平。

第一步，從三級指標開始。評估者對各個二級指標下的三級指標分別進行勾選，并根據勾選到的三級指標數量得出該三級指標所屬（表2）的二級指標狀態。