公共衛生項目評價工作概述

亓曉 么鴻雁 王琦琦 鄭文靜 胡躍華 孫謹芳

·流行病學與統計學方法·

公共衛生項目評價工作概述

亓曉 么鴻雁 王琦琦 鄭文靜 胡躍華 孫謹芳

確定評價的目的、設計類型及下評價結論是公共衛生項目評價工作的3個關鍵環節，也是評價的獨特之處。作者結合項目評價理論，重點闡述了上述3個環節，以及指出了常見誤區，希望對結核病控制工作者有所幫助。

公共衛生； 評價研究； 結核

評價，是公共衛生實踐工作中不可缺少的一個環節。正是在科學評價的基礎上，公共衛生實踐者不斷總結經驗、發現問題并提出建議，從而促進公共衛生各個領域的發展。筆者列舉結核病控制項目評價工作可以參考的評價方法專著及相關操作指南，并結合其內容，概述公共衛生項目評價中如何確定評價目的、評價設計類型及給出結論等這3個重要步驟。

一、 評價的理論和方法依據

(一)公共衛生項目評價理論

系統的評價研究是現代社會的產物，于20世紀以后得到發展。而系統的社會項目評價最早出現在教育和公共健康領域。美國社會項目評價專家Rossi等[1]在《評估：方法與技術》一書中對項目、政策評價的方法和技術做出了詳細的闡述。作者將常見的評價分為需求評價、執行和理論評價、過程評價、影響評價等幾種類型。

關于衛生項目評價方面的著作，2009年復旦大學的吳擢春[2]主編出版了《衛生項目評價學》一書。作者綜合了國內外項目評價及衛生項目評價實踐經驗，對項目評價目的、理論、設計和方法進行了詳述，同時針對需要評價、監測、過程評價、結果評價分別進行了剖析。

關于專門針對公共衛生項目評價的指南類文獻，1999年美國疾病預防控制中心發表了Frameworkforprogramevaluationinpublichealth一文，將公共衛生項目評價工作的步驟概括如下：召集利益相關者→描述項目→聚焦評價設計→收集可靠證據→結論考證→確保應用和分享經驗[3]。該手冊寫明了每步應該如何實施及相應的注意事項，是公共衛生項目評價工作者值得借鑒的一本操作手冊。

(二)結核病控制項目評價

具體到結核病控制項目的評價，2004年世界衛生組織等頒布了《監測與評估工作手冊：艾滋病病毒感染/艾滋病、結核病與瘧疾》(簡稱“《手冊》”)[4]?！妒謨浴分惺紫汝U明了監測與評價的基本框架，然后列舉了3種疾病常用的產出及結果評價指標。該《手冊》主要是針對國家級評價的使用者編寫，只包含定量評價指標，總的來說只是地區層面監測和評價結核病控制項目的一個粗略框架。2005年，為了促進DOTS策略在發展中國家的實施和擴大，世界衛生組織頒布了MonitorandevaluateTBcontrol手冊，主要是從具體工作如何開展的角度，來指導如何監測和評價地區層面上的結核病控制計劃執行情況及結果，其中列舉了相應的監測和評價指標[5]。該手冊比較適用于既定的以DOTS策略為主的結核病控制項目的監測和評價工作的開展，有些工作表格和指標可以借鑒。以上兩者相對比，前者更像是一個地區級結核病項目的評價框架指南，后者則是一個地區級項目評價的工作操作指南。

與以上兩者不同，2006年美國疾病預防控制中心出版了《結核病項目評價手冊》[6]，該手冊完全按照前述文獻[3]中的步驟，結合結核病項目的特點，逐步詳細闡述。其既適合評價大型結核病控制項目，也適用于局部地區的小型項目，對于評價工作者獨立開展各種類型的結核病項目評價研究工作很有幫助。

關于國內結核病項目評價專著，2003年龔幼龍等[7]主編了《結核病控制經濟與管理學評價》一書。本書將經濟學評價、管理效果評價方法應用于結核病控制領域，比較系統地介紹在結核病控制領域開展社會經濟學評價的調查設計和統計學分析方法，對于開展結核病控制經濟學評價很有指導意義。此外，一些結核病的國際項目，比如全球基金項目、世界銀行貸款項目等，均在項目初始就具備相應的評價方案，這些對于結核病控制評價工作，均有借鑒作用。

綜上，結核病控制評價工作者，可以將結核病控制項目的評價分為需求評價、結構性評價、過程評價、結果評價和影響評價，具體的評價步驟可以按照確定評價目的、評價設計、搜集資料、得出評價結論、分享結果來開展評價。

二、 評價的3個關鍵步驟及常見誤區

評價，最具挑戰性的一點就是沒有“通用”的方法，需要根據不同項目和項目具體的評價需求來逐步確定。至于一些搜集資料和整理分析資料的具體方法，也都不是評價所獨有的方法。因此，任何一個評價獨有的也是必須首要解決的是評價目的、評價設計；其次，資料的綜合分析、解釋和下結論也體現了評價自身的價值。

(一)確定評價目的

評價的概念包含2個基本要素：事實挖掘和價值判斷。評價的結論不是簡單地取決于事實本身，還受到來自于持不同價值取向的利益相關者的深刻影響。評價目的的確定，正好呼應了評價的2個要素，即評價目的也是評價問題的確定，不僅要知道評價本身能夠做什么，還要知道人們想利用評價干什么[2]。因此，評價目的的確定，要通過召集主要利益相關者和描述項目來完成。

1.召集利益相關者：利益相關者可以從項目資助方、監督管理方、實施部門、服務提供者、實施對象，以及評價者幾個方面考慮。不同的利益相關者其價值取向不盡相同。項目資助單位最關心的是是否能實現項目計劃所設定的目標；政府部門關心的是項目是否可推廣、能否降低衛生費用；醫療機構關心項目的經濟效益；患者關心的是服務質量及滿意度。評價者正是要權衡各方關注點之后來最終決定評價問題。一般而言，項目效果是各方共同的關注點[2]。

2.描述項目：首先，要了解項目的類型。不同類型的項目其評價重點也不同。從研究到政策實施，一般會經歷基礎或應用類研究、試點項目、示范項目、項目推廣，最后到政策制定和實施。每個階段的項目，其關注的重點內容也不同。前面階段我們更關注的是對某種理論假設的探索和驗證；驗證合理后，中間階段關注的更多是如何實施及實施效果；到了推廣及政策實施階段，則更多關注項目的綜合影響及效率問題。而許多成熟項目更多關注的不是項目背后的理論是否正確，而是執行中的經驗與問題，以及影響及效率問題，大多數地區級結核病控制項目即屬于此類。其次，要建立項目理論及確定項目目前進展，在此基礎上才能斷定評價能做什么。有人將建立項目理論理解為梳理項目制定及執行成功的各種假設前提，評價者可以從項目理論假設、行動假設及項目組織計劃等3個方面來確定項目理論。在結合三者的基礎上，可以采用邏輯模型框架圖的方式來描述項目。以結核病為例，由于結核病控制的許多策略和措施已經比較成熟，所以其理論假設和行動假設有許多共同點，即干預手段、干預與效果的因果關系相似。圖1是可供結核病控制項目評價者參考的以消除地區結核病為目標的Meta 評價邏輯模型(改編自文獻[6])。具體應用時，要結合項目本身開展的工作重新修訂。建立評價邏輯模型之后，再確定項目目前的進展階段，從而判斷在此階段可以回答哪些評價問題，相應地搜集那些評價指標。結核病項目評價的指標可以參考前面提到的基本操作手冊，當然，前提是必須緊緊圍繞項目計劃書進行。

圖1 消除地區結核病的Meta評價邏輯模型

3.常見評價目的：需求評價是回答項目運作所需的社會條件及項目需求程度等問題；項目理論評價(或稱結構性評價)是回答項目的概念和設計是否合理可行等問題；項目過程評價是回答項目的操作、實施及產出等；項目結果或影響評價是回答項目的短期、中長期的結果和影響等問題；效率評價回答項目成本-收益和成本-績效等問題[1]。

4.常見誤區：現實中的評價，首先在利益相關者方面考慮較少，大部分公共衛生項目評價文獻僅從資助方或者管理方的角度來評價項目的效果。比如，許多全球基金結核病控制項目評價和地區結核病防治規劃效果評價關注的是項目既定目標是否實現，而從醫療機構及患者角度開展的評價較少。其次，評價者對于項目描述不夠，只關注要評價的定量指標的收集和分析，至于項目的目標、項目工作的邏輯關系、項目的進展均不詳細闡述。通常，這樣的評價其最終結論也只是籠統的，項目方或者讀者從中獲益較少。這種缺陷在許多結核病控制項目評價文獻中均可看到。

(二)設計評價

評價設計的目的就是要找到好的參考標準，去除對評價結論產生影響的其他主要因素的干擾，從而得出科學的結論。筆者以下所介紹的內容僅涉及定量評價設計。

1.評價設計類型：比較，是評價設計的核心。嚴格的隨機對照實驗設計說服力最強，而無對照的干預后一次性案例研究說服力最弱。在公共衛生項目評價中，隨機對照實驗設計常常不容易實現或沒有必要，故常采用準實驗設計。公共衛生項目評價常見的設計類型包括：無對照的干預后一次性案例研究、干預前后測量對照設計(或叫自身前后對照設計)、干預后測量對照設計(設立對照組)、干預前后比較設計(自身前后對照的同時設立無干預的對照組)、無對照的時間序列設計、有對照的時間序列設計等類型，以及以上類型的變相組合[2]。是否為隨機對照實驗和準實驗的區別在于是否設立對照組，以及研究對象在對照組與干預組的分配是否隨機。但是，事實上，大部分公共衛生項目評價設計中，很難實現對照組與干預組的隨機分配。此時，可以考慮配比。公式①中即表達了一個干預措施的凈效應，除了對比干預組與對照組的效果之外，還應考慮兩組的可比性，以及設計的其他偏倚及隨機誤差[2]。如果兩組完全可比，即足夠樣本量中隨機選取的干預與對照，則不用考慮兩組之間的差異。

措施凈效應=干預組的效果測量-對照組的效果測量±未控制的干預組和對照組的差異±設計偏倚及隨機誤差

①

除以上類型，還有一種設計類型是回歸間斷設計，也有人說這不是一種獨立的設計類型，而是一種新的分析策略，應該叫回歸間斷分析，這種類型適合無法設立對照的情況。比如，很多政策、項目干預是針對一些經濟狀況差、健康狀況差或處于某種特殊狀態的人群，如貧困人群的特殊援助、肥胖人群的干預、給最差的學生的補習、給學習好的學生的獎學金獎勵等。這些干預無法通過隨機分配找到對照組。此時，可以根據干預的效果變量的分段點將人群分為干預和對照兩組，這種分組方式顯然是不隨機、不可比的。比如獎學金激勵項目，只給學習成績達到一定標準以上的學生提供獎學金，而該標準以下的學生不提供獎學金，然后再觀察獎學金制度對好學生的激勵作用[2]。分組后，在干預前后分別測量其效果變量值，如果干預組沒有效果，原則上兩組仍然處在一條回歸線上；如果有效，兩組在干預后的效果測量值應該在兩條不同的回歸線上，兩者中間出現一個截距，此截距即為干預效果。這種設計由于所有對象都是同一個時間隨訪和測量，有效地控制了許多影響內部效應的因素，如時間效應、測量效應等。其中，處于分段點附近兩側的干預與對照的對比分析則更具有說服力，因為這兩側的研究對象不僅去除了以上效應，同時還是效果變量在起點最相近的對照，從而排除了由此帶來的偏倚，解決了外部有效性的問題。

隨著公共衛生項目涉及的人群越來越大，干預措施越來越復雜，在評價時也只能施加越來越少的研究控制，這些導致項目評價越來越難下結論[8]。因此，近年來，除了以上所提及的實驗、準實驗設計，現在更多的生態學評價設計出現，即不是簡單的設立對照，而是將所有的主要影響因素的信息都搜集到，匯總到一起分析，并通過定量得到這些因素對于產出或結果的影響究竟有多大。這種設計充分考慮了各種影響因素，適合復雜社會項目的評價，有助于全面了解項目，下出合理的結論，但對資料收集、整理和分析的要求也越來越高。

2.確定評價類型：在確定評價設計類型時，首先要考慮現實的實用性及可操作性，包括評價結果是給誰來看，各種資源是否具備、數據是否容易獲得等。其次，在現實允許的前提下，盡量選擇說服力強的設計。所謂說服力強，即讓最終的評價結論看起來更像是由于干預措施所導致的，而不是其他原因。也即盡量消除影響內部和外部有效性的因素，亦或從流行病學因果推斷的原則上看，更符合因果推斷標準，比如時間順序、關聯強度、劑量-效應關系、研究的一致性等。

內部有效性回答的是在多大程度上研究結果的出現可以被解釋為干預措施產生的效果，而不是別的合理解釋。影響項目結果內部效度的因素經常包括：(1)時間效應：即研究結束時觀察指標發生的改變完全有可能是由于發生在研究期間的某一特別事件所導致的，或者可以被籠統地稱為時間因素或歷史因素的影響。(2)成熟效應：即研究結果可能是由于研究對象自身在參與研究期間所發生的一些系統改變所致(精神或身體的)，最典型的例子如“久病成良醫”。(3)測量效應：比如干預前測量時對研究對象產生影響，研究對象因此獲取了知識，或者改變了態度、行為等，導致第二次測量時結果變量發生變化。(4)工具效應：也是由于引入了干預前測量所致，也即前后測量工具或方法等的不一致而導致的偏倚。(5)回歸假象效應：即經過干預前測量后，后續的測量中受試者的某些變量趨向于平均水平，這尤其體現在一些知識、態度類的變量。(6)選擇效應：即干預組與對照組之間不能完全可比導致的偏倚[2]。

外部效度回答的是研究結論可以被推廣到哪些類似的情形中去。常見的影響因素包括：(1)選擇-處理間的交互：即結果可能只是在本研究所選擇的人群有效，不能被外推到其他人群中去[2]。(2)測量-處理間的交互：即只有當存在干預前測量時，相應的研究結果，或者說干預措施才是有效的[2]。(3)項目的擴散和污染：即項目期間，項目區干預措施的影響會擴散到非項目區，或者是其他地區的類似的干預項目會擴散到項目地區，或者同期項目區也存在其他類似的干預項目[8]。上述情況都會影響到評價。

不同的設計類型去除掉不同類型的效應或者叫控制了偏倚。比如，隨機分配的干預前后測量對照設計，因為前后測量和設立對照，可以避免時間效應，而受試者的隨機分配則有效控制了成熟效應、回歸假象效應和選擇效應。而只要保持所有測量盡量標準一致，則測量效應和工具效應也得到盡量控制。如果所進行的干預存在很大的測量-處理間效應，則可以去掉干預前測量，但同時也造成設計對隨機分配的高度依賴，即要求隨機分配能保證在研究開始時設立干預組和對照組是齊同的[2]。

3.常見誤區：評價實踐中，常見的問題包括設計時對可能存在的效應或偏倚分析不足，對無法控制的但對項目效果可能會產生重大影響的背景信息搜集和描述不夠。比如國內對于結核病控制項目的評價，有的雖然設置了對照組，但沒有描述清楚對照組如何選擇的，這讓讀者不能真正了解該設計控制了哪些因素，也就無從判斷評價結果的可信度。而對背景信息分析的不足，可使評價結果不易外推；作為科技文獻，使得其他讀者無法從中獲取更多可供借鑒的經驗。

(三)評價結論的得出

評價結論得出的過程，類似于流行病學中的因果推斷過程。評價結論首先要圍繞評價問題開展，在分析每一個問題時，除了關注結果變量的變化，還要關注前述公式①中考慮項目組和對照組之間的可比性，設計以及資料收集整理過程中的各種偏倚，以及隨機誤差。在綜合所有因素后，才能判斷該結果是否具有內部有效性，也即在多大程度上代表干預措施帶來的效果。如果評價的目的中還包括外推到其他地區或人群中，則需要分析外部有效性，要分析可能影響外部有效性的因素，包括前述可能存在的各種效應，以及能對項目效果產生重大影響的地區背景信息，比如相關的政策、社會事件、其他類似項目等?，F實評價的案例中，在以上分析方面存在明顯不足，更多看到的只是結果的展示，然后是定性的籠統的干預措施和結果之間關系的解釋，從中我們不能得到前述內部有效性和外部有效性的兩個問題的明確答案，以及可供借鑒的具體經驗。

以上存在的問題一方面可以通過評價設計來解決一部分，另外，可以在分析時將過程、產出、結果和影響一起聯合分析，當然這取決于在設計時就考慮到這點，并搜集到應有的信息。具體分析時定量和定性方法均可。通常，對于大型公共衛生項目，因為干預的領域、層次太多，一時很難量化，在這方面，許多控煙項目評價在這方面做出了很多探索，比如美國為癌癥預防開展的控煙干預研究項目(the American Stop Smoking Intervention Study for Cancer Prevention, ASSIST)的評價中，即采納了這種定量的聯合過程、產出、結果指標的分析方法[8]。

綜上所述，所謂項目評價，首先有項目，然后才有評價。因此，所有評價都必須圍繞項目進行，都必須對項目的假設、項目的執行方案和現在進展了解的基礎上才談得上評價。所謂評價，先有價值判斷，才有事實搜集，最后再進行價值判斷。因此，必須要清楚利益相關者的評價需求，結合項目本身，才能確定評價目的和問題。比較，或者說尋找參考標準，是評價設計的核心。設計無明確的好壞之分，只有適合與否，能夠回答評價問題的設計都是適合的。評價資料的解釋和結論的得出，其實就是因果推斷、偏倚分析的過程，要做到歸因分析才能得出科學的結論。

[1] Rossi PH, Lipsey MW, Freeman HE. 評估：方法與技術. 7版. 邱澤奇, 王旭輝, 劉月, 等譯. 重慶: 重慶大學出版社, 2007.

[2] 吳擢春. 衛生項目評價學. 上海：復旦大學出版社, 2009.

[3] Framework for program evaluation in public health. MMWR Recomm Rep, 1999, 48(RR-11): 1-40.

[4] 世界衛生組織, 聯合國艾滋病規劃署, 防治艾滋病、結核病和瘧疾全球基金, 等. 監測與評估工作手冊：艾滋病病毒感染/艾滋病、結核病與瘧疾.日內瓦：世界衛生組織, 2004.

[5] World Health Organization. Monitor and evaluate TB control. Geneva: World Health Organization, 2005.

[6] Centers for Disease Control and Prevention. TB program evaluation handbook: introduction to program evaluation [EB/OL]. [2016-10-30]. http://www.cdc.gov/tb/programs/evaluation/tbevaluationhandbook_tagged.pdf.

[7] 龔幼龍, 萬利亞, 武桂英. 結核病控制經濟與管理學評價. 上海: 第二軍醫大學出版社, 2003.

[8] European University Association, Department of Health and Human Services, National Institutes of Health, et al. Evaluating Assist: a blueprint for understanding state-level tobacco control. Bethesda: U.S. National Cancer Institute, 2006.

(本文編輯：李敬文)

Review of public health program evaluation

QIXiao,YAOHong-yan,WANGQi-qi,ZHENGWen-jing,HUYue-hua,SUNJin-fang.

OfficeofEpidemiology,ChineseCenterforDiseaseControlandPrevention,Beijing102206,ChinaCorrespondingauthor:YAOHong-yan,Email:yaohy@chinacdc.cn

Definiteness the purpose and design type of evaluation, as well as drawing the conclusion are the three key steps and characteristics of public health program evaluation. This review aimed to explain the above three steps and point out common errors in practice, hoping useful to tuberculosis control workers.

Public health; Evaluation studies; Tuberculosis

10.3969/j.issn.1000-6621.2017.01.009

102206 北京，中國疾病預防控制中心流行病學辦公室

么鴻雁，Email：yaohy@chinacdc.cn

2016-11-07)