概化理論在醫學生多站迷你面試中的應用研究

涂文記，趙峻，徐薇薇，張勤

1.中國醫學科學院北京協和醫學院教務處，北京 100730；2.中國醫學科學院北京協和醫院教育處，北京 100730；3.中國醫學科學院北京協和醫院黨委，北京 100730

國務院于2020 年頒布了《深化新時代教育評價改革總體方案》，明確提出要創新學生評價，完善德智體美勞過程性評價，并健全綜合素質評價體系。為改善醫學生評價體系，北京協和醫學院針對長學制八年制臨床醫學生設計了“以勝任力為導向的醫學測評綜合體系”[1]。醫學培養是一個漫長的過程，特別是對于八年制長學制醫學生而言。目前我國臨床醫學多為分段式培養，分為臨床前和臨床階段的學習。北京協和醫學院的臨床醫學八年制培養模式一直沿襲創校初期的三段式，即預科階段、基礎醫學階段和臨床階段。這種培養模式旨在讓學生逐步從基礎知識學習過渡到臨床實踐，為未來的醫生職業打下堅實的基礎。從總體上看，當前臨床醫學專業教育存在以下核心問題：①學生報考醫學院的心理準備不足。許多高中畢業生在報考醫學院時，并未充分認識到醫學專業的挑戰性和長期學習的艱辛。部分學生是由于家庭成員的影響而選擇醫學專業，他們對醫學并無深刻了解，更未培養出對醫學的深厚興趣。還有一部分學生對醫學的了解僅限于一些理想化的概念，他們在面對實際醫學學習的困難和挑戰時，往往感到迷茫和動搖。②預科教育與醫學教育的銜接有待改善。當前，基礎醫學和臨床醫學之間的脫節現象仍然存在。這種脫節不僅表現在課程設置和教學內容上，還反映在學生的思維方式和學習習慣上。這種現象給學生的學習帶來了困擾，也給他們的專業成長帶來了障礙。③醫學生的分流出口制度不完善。為此，北京協和醫學院針八年制醫學生設計了“預科”與“基礎”銜接綜合測試，包括多站迷你面試（Multiple Mini-interview, MMI）的考核形式，希望通過“以考促學”的方式促進學生學習。目前國內較少對多站迷你面試進行應用實踐研究，對考試質量的研究更多采用經典測量理論（classical test theory, CTT）。為了更好地分析考試的質量，本研究采用概化理論分析考試的質量。

概化理論是一種現代心理測量理論，廣泛應用于心理與教育測量領域[2]。其優點在于能夠精確定位測量誤差的多個來源，從而更好地理解測量結果的準確性。概化研究的目的是在明確測量目標和測量側面的前提下，盡可能探明研究設計中各種測量誤差的來源和結構[3]。這有助于提高測量的精度和可靠性，為研究和應用提供更準確的數據支持。概化系數是指從一個測驗的被試得分拓廣到測驗程序同等接受度的條件全域中，被試均分估計的準確性[4]。這個系數被定義為全域分數方差與其和相對誤差方差兩者之和的比率，它反映了測量結果的精確度和可靠性。通過計算概化系數，可以對不同測驗程序下被試得分的差異進行比較，進一步評估測量程序的優劣和改進方向[5]。計算表達式為：

在公式1 中，Eρ2代表的是概化系數，而δ2（p）則表示全域分數的方差分量，即測量目標的方差。同時，δ2（δ）表示的是相對誤差方差，它是由與測量目標相關的測量側面交互作用所產生的方差之和。

概化理論分為概化研究（G study）和決策研究（D study）。決策研究旨在根據特定的決策需求，通過概化研究得到的方差分量估計值來調整測量過程中的各方面關系。這包括調整不同側面的樣本水平、調整各個側面之間的關系、改變不同變量的權重等，以探索如何控制和調節測量誤差[6]。楊志明等[7]的研究表明，多元概化理論為提高考試測量效果、降低測量誤差提供了新的視角和方法，尤其在研究涉及多個相關學科因子的綜合考試方面具有獨特優勢。

本文旨在運用多元概化理論評估臨床醫學生的MMI 的可靠性。通過評估，可以進一步優化考試設計，發現并解決考試過程中可能存在的問題，為改進MMI 的藍圖設計和考站評分方案提供參考依據，從而確保更高質量的考試效果。

1 資料與方法

1.1 一般資料

選取已實施的4 個考站MMI 的為研究對象，考試主題有：溝通交流能力（中、英文）、自我管理能力（模擬場景）、幫助他人的意愿與能力（愛傷）?？荚囁{圖見表1，考試結果詳見表2。

表1 八年制醫學生多站迷你面試藍圖

表2 醫學生MMI 考試成績及描述統計

1.2 方法

計算采用瑞士教育研究學會教育測量研究小組設計（Swiss Society for Research in Education Working Group）的概化理論軟件EduG -6e，根據概化理論的原理及軟件使用說明，把醫學生（Participant）作為測量目標，考試分成平行的2 組（G）作為測量側面1，4 人/輪/組開展，作為測量側面2，考站（Station 考站序號與評分者（Rater）分別作為測量側面3和4。兩組考生同時進行考試，考站（Station）共有四個?？忌c組別之間存在一種嵌套關系，可以表示為R:C:G。在每個考站，由兩位?？漆t生作為評分者，這表明考官與考站之間也存在相互嵌套的關系，記為R:S，概括而言，考試的設計為[學生（P）：輪次（C）：組別（G）]×[考官（R）:考站（S）]多元概化理論分析，見表3。

表3 多元概化理論研究設計

2 結果

2.1 方差估計

按照研究設計，將各個考站的原始分錄入EduG 軟件中，運行之后得到小組（G）、同組內不同輪次（C:G）、學生（在組內輪轉的學生P:C:G）、考站（S）、小組與考站(GS）、不同小組的考官與考站之間（GD:S）、不同輪次的考站與組別之間（CS:G）、不同輪次的考官及不同組別的考站之間（CR:GS）、考生與考官及輪次及組別之間（PS:C:G）、考生與考官及輪次及不同組別的考站之間（PR:C:GS）交互作用的方差估計矩陣，見表4。

表4 方差分析（Analysis of variance）結果

2.2 G 研究

最終計算絕對概化系數為0.92，信度系數較高，見表5。

EduG 提供了G-Facets 分析的功能，它可以評估當移除某個考站后，整體考試的信度變化情況。如果移除其他任何一個考站，考試的相對信度系數仍然在0.90 以上。見表6。因此，可以得出結論，該考試的設計具有較高的可靠性，并且可以有效地評估考生的能力水平。

表6 去掉某個考站后信度分析

2.3 D 研究

D 研究結果表明，現有的5 個考站的考試方式已經具備了較高的考試信度，相對G 系數達到0.95。進一步增加考試站點會導致考試信度略有提升。當站點數目增加至6 個時，相對G 系數將提高至0.96，見表7。

表7 D 研究

3 討論

概化理論是對經典測量理論的升華，它借助實驗設計和方差分析技術，以實現對測評情境中各類誤差的細致分解與有效控制。該理論框架包括G研究和D 研究兩個部分。其中，G 研究主要關注測量目標與測量方面的關聯，而D 研究則在此基礎上，通過巧妙轉化隨機方面為固定方面，從而獲取最高的概化系數，以便優選最佳的測量方案。概化理論在解決許多現實能力測評問題方面具有廣泛的應用價值，尤其在醫學領域的臨床技能多情景考試評價中表現突出。

本研究借助多元概化理論深入剖析了長學制醫學生MMI 考試。此次考試具有較高的信度，其相對G 系數達到了0.95，絕對G 系數為0.92，充分證明了該長學制設置的合理性。方差估計的結果顯現，兩個小組之間的考生成績存在較大差異?？忌姆讲钬暙I率最為突出，這再次證實了考生間在考試能力上存在較大差異，而非考試本身的影響。進一步的研究發現，不同組之間的考生與考站交互作用對誤差的貢獻率最大（56.9%），這表明兩組考生在面對相同的考站時，表現出的能力存在顯著的差異。另外，從組別與考站之間的交互作用對誤差的貢獻率為26.5%來看，也再次證明了兩組考生之間在能力上存在一定差距，其中一組考生的總體能力似乎更勝一籌。為了真正達到以考促學的目的，針對這一結果，可以對兩組考生進行更為深入的分析，探究導致差異的原因。此外，考慮到提高考試信度，將考站數量增設為6 個是必要的，這將使考試的相對概化系數提高至0.96。

醫學是一門實踐性很強的學科，為了更好地促進即將進入基礎醫學學習階段的學生了解臨床醫學在實際實踐中所應具備的溝通能力、隨機應變能力、時間和空間管理能力，在學生從綜合性大學進入醫學院學習基礎醫學知識增加一次“銜接”MMI考試非常的有必要。MMI 主要考察非認知方面的職能，以考察醫學生所應具備的綜合素質。傳統的筆試在評估醫學生的醫學素養方面存在諸多局限性，因此，如何科學客觀地評價MMI 考核指標體系的有效性和科學性成為了當前醫學教育評估中的重要問題。本文運用多元概化理論對長學制醫學生MMI 結果進行了深入研究。多元概化理論能夠客觀科學地評估長學制醫學生MMI 考試結果，同時對于提升和優化醫學生醫學素養的考核質量具有積極的推動作用。