?

醫學統計學位課程考試項目分析*

2011-03-11 14:02山西醫科大學公共衛生學院030001張巖波鄭建中
中國衛生統計 2011年1期
關鍵詞:單選題受測者區分度

山西醫科大學公共衛生學院(030001) 徐 琳 張巖波 鄭建中

考試是學校教育中的一個重要的組成部分。對考試試卷進行科學有效的分析評價,不僅可以檢驗教學效果、評估教學質量,還可以提高命題及組卷水平,在教與學各方面都具有十分重要的意義??茖W有效的試卷質量分析評價要運用教育測量與考試有效性研究方面的專業知識。項目分析(item analysis)是基于經典測驗理論(classical test theory)的一種常用的試題分析和評價方法。項目分析的量的分析就是通過計算項目的一些統計量作為項目質量高低的指標,進而挑選和修改題目〔1〕。本文將運用經典測驗理論,對山西醫科大學2008級碩士研究生醫學統計學位課程考試的502份試卷進行項目定量分析,為評價試題質量提供依據。

項目分析指標

1.難度

難度(difficulty)即測題的難易程度。難度的計算公式:P=N/M,其中P為題目難度,N為該題目的得分均值,M為該題目的滿分值。難度實際高低與難度值大小剛好相反,難度高的題目其難度值反而小,而難度低的題目其難度值卻大。

由于選擇題有猜題的可能,對于多選一的選擇題而言,其難度的計算要用校正公式:CP=(KP-1)/(K-1),其中CP為校正難度值,P為用難度公式直接計算得到的難度值,K為選擇項的數目。運用校正公式計算出的難度值,可以直接進行比較,因為在計算中已經考慮了選擇項數目不同對猜題的影響。

2.區分度

項目區分度(item discrimination)即測題將受測者實際能力水平區分鑒別開的能力。項目區分度有多種計算方法,如積差相關法、點二列相關法、二列相關法、四分相關和φ相關、因素分析法、極端組法等。項目區分度的計算最常用的是鑒別度指數(也稱D指數),是極端組法中的一種計算方法。

鑒別度指數的計算:根據測驗總成績將受測者從高分到低分排列,選取前27%的受測者(或25% ~33%)作為高分組,再選取最后27%的受測者作為低分組,分別計算出高分組和低分組的難度值,最后代入公式D=PH-PL計算出鑒別度指數。其中D為鑒別度指數,PH為高分組難度值,PL為低分組難度值。在選取高分組和低分組的受測者人數方面沒有嚴格的規定,出于計算簡便的目的,可靈活掌握,但要兩組人數相等。

3.難度與區分度的關系

項目區分度受難度的影響,控制試題難度可以提高項目的區分度。當測驗過于難,實際能力高的受測者和實際能力低的受測者都未得分,則無區分度可言;當試題過于容易,實際能力高的受測者和實際能力低的受測者都能得分,也無區分度。過難和過易的試題,都會降低項目區分度。當難度值為0.5時,試題的區分度為最好。在命題及組卷時,不同題目的難度均有不同,所有題目的難度值可控制在一定范圍內。實際能力水平不同的受測者對不同難度的測題表現出不同的區分度。

4.運用項目分析指標衡量試題質量

(1)運用難度衡量試題質量

在命題及組卷時,要盡力做到題目的平均難度為0.50左右,并且做到各個題目的難度值在0.20~0.80范圍內。

表1 項目難度優劣的判斷標準

測題難度應符合考試目的,難度高的測題適用于選拔性考試,難度低的測題適用于達標性考試。

(2)運用區分度衡量試題質量

有些時候進行試卷分析為避免大量的數據計算,僅在大題下作區分度分析,熊廣興〔2〕認為從區分度這一指標用以鑒別、篩選題目的功能來說,應對試卷中每一道小題進行分析,僅對大題計算區分度會夸大題目的鑒別力〔3〕。

測量學家伊貝爾(R.L.Ebel)提出了判斷測題優劣的項目鑒別度標準,見表2。

0.30以上的鑒別度指數反映試題具有良好的區分功能,鑒別度指數在0.20~0.30之間的項目可依據測驗要求靈活掌握,適當保留。

表2 項目鑒別度優劣的判斷標準

(3)綜合難度、區分度衡量試題質量

綜合難度(P值)、區分度(D值)衡量試題質量,可分為以下 A、B、C、D 四級。

A:P 值 >0.5,D 值 >0.20,試題難度適中,區分度良好,是好試題。

B:P 值 <0.5,D 值 >0.20,試題偏難,但區分度良好,依然適用。

C:P 值 >0.5,D 值 <0.20,試題容易且區分較差,必要時少用。

D:P 值 <0.5,D 值 <0.20,試題既難又無區分能力,不應參加計分。

5.多重選擇題的干擾項分析

選擇題的作答除了會受到猜題的影響,還會受到選項中其他干擾項的影響,因此對選擇題的干擾項進行分析是十分必要的。對于干擾項也有其難度分析和區分度分析。干擾項的難度分析是分析其對受測者誘惑性的大小,對于一個干擾項來說,選擇這個干擾項的人數多少可反映其誘惑性的大小。干擾項的誘惑性要適中,不能誘惑性太強,使選擇它的人數過多;也不能誘惑性太弱,起不到干擾作用。干擾項的區分度類似項目的區分度〔4〕。理想的區分度較高的干擾項,能產生使實際能力水平高的受測者選擇正確選項的比例大于實際能力水平低的受測者的效果,并且不出現負向干擾項,即不出現實際能力水平高的受測者選擇錯誤干擾項的人數多于實際能力水平低的受測者的情況出現。

實例分析

本研究以山西醫科大學2008級碩士研究生醫學統計學位課程考試的502份試卷為例??荚囶}型:判斷題10個,每題2分;單選題10個,五選一,每題2分;簡述題2個,第1題8分,第2題12分;分析計算題4個,每題10分。根據總成績把受測者分為高分組和低分組(按照27%選取),每組136人。采用自編Excel試卷分析模板,主要結果見表3~表5。

1.試題分析一般情況

表3可見,試卷總體難度中等,判斷題、單選題較易,簡述題、分析計算題難度中等。試卷總體鑒別度指數偏低,以判斷題的區分度最差。綜合判定,試卷總體為A級,是好試題;但判斷題容易且區分較差,為C級。

表3 試題分析一般情況

2.每小題的難易度與區分度分析

表4中選擇題的難度采用了校正難度系數CP,結果可見:34個項目的難度指數范圍在0.068~0.958之間,平均為0.72。其中分析計算題4(4)的難度值為0.068,為最難項目;單選題10的難度值為0.958,是最容易項目。在命題及組卷時,要盡力做到題目的平均難度為0.50左右,并且做到各個題目的難度值在0.20~0.80范圍內。本研究的34個項目中,有14個項目的難度值大于0.80,有1個項目的難度值小于0.20,該測題總體難度中等。結合本次測題目的,并非為選拔少數能力高的被試,故此難度適中。

從區分度角度分析,34個項目中,單選題2、單選題4、單選題7、簡述題1、分析計算題3這5個項目的鑒別度指數達到0.40以上,是非常優良的項目。判斷題1、判斷題2、單選題1、分析計算題1(3)這4個項目的鑒別度指數在0.30~0.39之間,是良好、如能修改更好的項目。判斷題4、判斷題9、單選題5、單選題6、單選題8、簡述題2、分析計算題1(2)、分析計算題2(1)、分析計算題2(4)、分析計算題4(2)、分析計算題4(3),這11個項目的鑒別度指數在0.20~0.29之間,是尚可、仍須修改的項目。0.30以上的鑒別度指數反映試題具有良好的區分功能,鑒別度指數在0.20~0.30之間的項目可依據測驗要求靈活掌握,適當保留。其余14個項目的鑒別度指數在0.19以下,是劣、必須淘汰的項目。

34個項目綜合判定,A級的有19個,是難度適中、區分度良好的好試題;B級的有1個,試題偏難,但區分度良好,依然適用;C級的有11個,試題容易且區分較差,必要時少用;D級的有3個,試題既難又無區分能力,不應參加計分。

3.單項選擇題干擾項分析

有10題,每題有4個干擾項,共40個干擾項。其中,單選題3的E選項無論對高分組還是低分組都缺乏誘惑性,沒有被受試者選擇。這一干擾項未起到應有的干擾作用,可能干擾作用太明顯,缺乏誘答性,應加以修改和替換。這種無干擾作用的選項,使受試者猜題成功的可能性增加。40個干擾項中,沒有出現負向干擾項,即沒有出現高分組選擇錯誤干擾項的人數多于低分組的情況出現。對于單選題3、9、10這三題來說,高分組和低分組選擇正確選項的受測者人數相差不多,應增加三題中其余選項的誘惑性,以增大干擾作用。

表4 每小題的難易度與區分度

表5 10道單選題干擾項分析結果

總結與討論

通過對考試試卷難度和區分度的分析,可以看到試卷分析的重要性。命制一份質量高的試卷很不容易,只有掌握試卷分析的相關知識,并將其應用在教學工作中,才能命制出高質量的試題。

本文的實例分析中,選擇題難度的計算采用了難度校正公式計算CP值的方法。雖然本文分析的試卷僅涉及五選一這一種單選題題型,難度值校正與否均不影響本文結果;但對于今后進行其他試卷評價時,會遇到在同一試卷中有多種單選題(如三選一、四選一、五選一)題型的情況,那時計算CP值后直接作比較,就能更好地體現出CP值在考慮選擇項數目不同對猜題影響方面的價值。

自上世紀20年代經典測量理論引入我國,在近90年的傳播應用過程中,逐漸發展成為簡單明了、應用廣泛、容易掌握和操作的較為完善的統計分析方法。但經典測量理論也有其不足之處,所求得的題目參數(難度、區分度)受所選取樣本大小和能力水平的不同而有差異。與經典測量理論相比,項目反應理論是一種較新的教育與心理測量理論,如最常用的rasch模型可更好地評價考生能力,同時也可以刪除或修改試題,提高評分方案的準確性。但該理論的理解和掌握均有一定的難度,不利于普及,其應用受到限制。

1.郭慶科.心理測驗的原理與應用.北京:人民軍醫出版社,2002:82-89.

2.熊廣星.心理與教育測量若干概念的應用問題.廣西師范大學學報(哲學社會科學版),2000,36(3):63-65.

3.黃穎,林端宜.試卷分析研究現狀綜述.西北醫學教育,2005,13(1):39-40.

4.左天明,劉強,張陽.用Rasch分析法初步考察計算機模擬病例的評分項目.中國衛生統計,2008,25(3):299-301.

猜你喜歡
單選題受測者區分度
怒氣沖沖 或因睡不好
投射技術在人才選拔中的應用解析
淺談試卷分析常用的幾個參數及其應用
圖形推理測量指標相關性考察*
2017年高考數學模擬試題(二)
2017年高考數學模擬試題(一)
“機械能守恒定律”單元測試(一)
孝心是道單選題
淺觀一道題的“區分度”
利用垂直平分線的定義巧解題
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合