河南省中考英語試卷城鄉生源項目功能差異研究

汪劍

摘要：本研究采用SIBTEST軟件對河南省英語中招試卷中的客觀題部分進行城鄉生源方面項目偏差分析，試圖回答：（1）該試卷中75個客觀題在城鄉生源方面是否存在項目功能差異；（2）該試卷中5個語篇在城鄉生源方面是否存在項目束功能差異。研究發現：（1）該試卷中的第32題和第36題存在明顯的城鄉生源項目功能差異，對農村考生不利；且第32題β絕對值已經超過0.88，表明32題已經不宜采用，而第36題在選用時需考慮，仍可以采用；（2）該試卷中第3篇閱讀理解語篇項目束的β值較各個分項有明顯放大，這表明，雖然各個分項中沒能顯示針對城鄉生源的項目功能差異，但從整個語篇角度觀察，該語篇對農村考生明顯不利，存在明顯的項目束功能差異；而其他四個語篇未發現存在項目束功能差異。

關鍵詞：河南省中考英語試卷；城鄉生源；項目功能差異；公平性

一、 引言

任何一個大規模，高風險的考試的公平與否對考試研發機構，組織實施機構，所有的考試利益相關者，乃至整個社會都會有重要的影響。中招英語考試作為選拔性考試，事關考生的命運，事關政府部門的公信力，對整個社會都影響巨大。河南省每年中招考試參與人數都數以十萬計，如此一項大規模，高風險測試，許多潛在的因素都可能會影響到測試的信度和效度，對考試公平性和有效性產生潛在影響，進而產生難以估量的社會效應。

項目功能差異（Differential Item Functioning，簡稱DIF）檢驗方法是常用的用來檢驗測試公平性的統計方法。DIF是指，對于某個特定項目，如果在來自同一目標特質的兩批平行被試組中，顯現出不同的統計特性，那么該項目就存在功能差異。（董圣鴻，馬世曄，2001）“同一目標特質的兩批平行被試組”是指在測驗打算測查的能力（目標特質）上，兩組被試具有相同的水平。在DIF的實際研究中，常會人為地把被試分為兩組，分別稱為參照組和目標組。

二、 文獻綜述

項目功能差異的檢測在國外已是大規模測試研發的重要環節。在針對語言水平測試方面，國外已有眾多相關研究（SauliTakala & Felianka Kaftand jieva，2000；Mikyung Kim，2001；Geranpayeh，A.& Kunnan，A.J.2007）。國內學者對項目功能差異理論的研究中，一部分涉及方法論問題，主要包括統計學中的計算方法（曾秀芹、孟慶茂，1999；曹亦薇，張厚粲，1999）。另一部分主要是對具體測試進行的一些實證性研究。目前國內學者已經運用DIF檢驗方法對高考英語考試（雷新勇，2007），英語專四考試（李清華，孔文，2009）等考試進行了相關研究。但是尚未見到運用DIF方法對中招考試進行的相關研究。目前河南省中招考試實行全省統一命題考試，涉及的考生人數眾多。因此同一套試卷中難免出現對某一特定群體不利或有利的項目（題目）。當前，我國城鄉差異明顯，經濟上的差別反應在城區考生和農村考生身上不光體現在外表、衣著方面，由經濟差異造成的不同生源的認知、生活體驗這些隱形的差異映射到他們對同一個試題的作答上有巨大差異；同等能力層面的來自不同生源的考生對某一帶有項目功能差異的項目會給出截然不同的作答反應；因此當下社會中城鄉生源差異的客觀性，讓測試設計者必須在試題命制過程中將之作為一個影響測試信度的一個因素考慮。

三、 研究設計

1. 研究對象

本研究選擇河南省中招英語試卷進行檢測。

河南省英語中考試卷題型包括七個題型：聽力理解（單選題，共20題）、單項選擇題（單選題，共15題）、完形填空題（單選題，共10題）、閱讀理解題（單選題，共四個語篇，每個語篇包括5個選擇題，共20題）、詞語運用題（選詞填空題，共10題）、補全對話（一個語篇，共5題）和書面表達（寫作題，1個題目）。因為最后兩個題型屬于主觀題，不作為本研究的考察對象，本研究選用前五個題型進行考察，共75個小題（項目）。另外，對完形填空和閱讀理解題目共有5個語篇，每個語篇后都附帶有多個題目，即多個題目是基于同一個語篇來進行能力考察的，基于此，本研究對5個語篇進行項目束功能差異檢驗。

2. 研究問題

問題1，河南省中招英語試卷的前75個題目在城鄉生源方面是否存在項目功能差異，即該試卷中是否存在對城區考生，或農村考生更有利的題目；

問題2，河南省中招英語試卷的完形填空和閱讀理解在城鄉生源方面是否存在項目束功能差異，即該試卷中完形填空和閱讀理解共5個語篇的是否存在對城區考生，或農村考生更有利的語篇；

問題3，如果檢測到在城鄉生源方面存在項目功能差異的題目或項目束功能差異的語篇，造成差異的原因是什么。

3. 研究樣本

本研究施測對象為河南省內一所城區中學的九年級500名同學和一所鄉鎮中學九年級500名同學。因嚴格統計困難，本研究假定該城區中學的所有受試對象均為城區生源，而鄉鎮中學所有受試對象均為農村生源。

4. 研究工具

本研究研究工具為SIBTEST軟件。得到的分析結果中，β為正值，表示對參照組有利；β為負值，表示對目標組有利。顯著水平定為0.05。若DBF顯著放大（amplification），則表明該語篇（任務）對兩組受試的功能存在差異；若DBF顯著收縮（cancellation），則表明該語篇（任務）對兩組受試的功能差異互相抵消，整項任務無功能差異。

5. 研究步驟

第一，施測并整理數據。本研究數據采集采用模擬中考的形式進行，以最大限度還原中考中的施測情景。本研究在兩所中學的受試對象對中考英語課程要求內容全部講授完畢后立即用月考的形式用中考題對其進行施測，以保證受試對象尚未對此類真題有全面接觸或試做，能保證考試信度；用Excel格式對每位考生的答題情況進行統計，（將答案轉換“0”、“1”計分的數據）按照生源分類，并分別命名為城區生源組和農村生源組。并假設有的題目內容對農村生源組不利農村生源組被設定為目標組，城區生源組相應為參照組。

第二，用軟件處理數據。

（1） 對問題一進行數據處理：運用SIBTEST程序進行分析，以分測驗為匹配變量來操作。第一次將所有的項目都列為懷疑有DIF的范圍，經過篩選的得到結果是：聽力理解部分1道題，單項選擇題部分2道題，完形填空部分1道題，閱讀理解部分3道題被懷疑有DIF；把這些題目分別剔除，對剩下的題目進行再一次操作，反復進行，直到沒有DIF項目為止，這樣得到一個最佳的匹配變量；把篩選出來的項目組成一個“懷疑分測驗組”，用上一步操作得到的最佳匹配變量，再運用程序運算，如果此時得到的項目的β值，仍然在0.05的標準之上，那么這樣的項目就是有DIF的項目。

（2） 用SIBTEST程序分別檢驗問題2中的項目束功能差異（DBF）。

第三，對得出的數據進行統計學意義的解讀。

四、 研究結果及分析

1. 研究問題1

表1是針對問題1的檢測結果。結果顯示，對疑似存在城鄉生源方面DIF的7個題目中，第6，22，47，54，57這5個題組的β絕對值都小于0.05，這表明這5個題目在城鄉差異方面未有明顯項目功能差異；而54題中顯示β值為負，表明該題目可能對目標組（農村考生組）有利，但是β絕對值為0.028，遠低于0.05，表明該題目的項目功能差異不顯著；其他題目β值為正，表明該題目可能對目標組（農村考生組）不利。而第32題和第36題的β值超過了0.05，分別為0.089、0.072，達到了顯著水平，表明這兩道題目存在明顯的城鄉地域項目功能差異，對目標組（農村考生組）不利。根據DIF顯著性的判斷標準，如果β絕對值在0.05到0.88之間，表明此類題目在選用時需考慮，所以第36題仍可以采用，但32題已經超過應被棄用的標準，已不宜采用。

2. 研究問題2

表2是針對問題2的檢測結果中有異常的語篇3的檢測結果。結果顯示，第3篇閱讀理解語篇項目束的β值為0.266，而56-60五個題目中，β值全部都低于0.05的標準線，所以該項目束的β值較各個分項有明顯放大（見表格中有黑色底紋部分）；這表明，雖然各個分項中沒能顯示針對城鄉生源差異的項目功能差異，但從整個語篇角度觀察，這個語篇對目標組（農村考生組）明顯不利，存在明顯的項目束功能差異；而在其他四個語篇中，各個分項目有的對目標組不利（β值為正），有的對參照組不利（β值為負），且β的絕對值都低于0.05的標準線，經過抵消，項目束β值未有明顯放大現象，所以其他四個語篇不存在項目束功能差異。

五、 討論

1. 針對問題1的檢測結果的討論

針對問題1檢測結果顯示，第32題和第36題的β值分別為0.089和0.072，超過了0.05，達到了顯著水平，表明這3道題目存在明顯的城鄉生源項目功能差異，對目標組（農村考生組）不利。

第32題：Now its much easier to shop online when your order is ready， the things you want to buy to you soon.

A. sendB. were sent

C. are sendingD. will be sent

該題答案為D

針對第32題的檢測結果，筆者認為造成這種結果的原因在于：本題的話題為網上購物，這個話題是城區學生日常生活中經常接觸到的，而網上購物現象在農村尚不普遍，所以農村學生對網上購物這個語境尚不夠充分了解，所以可能誤選。但是由于網上購物將會是一種趨勢，所以這種題目雖然暫時會造成不公平，但是相信造成這種不公平的原因會很快消失，所以這種題目也將隨著社會變遷，不再成為測試不公平的制造者。

第36題為完形填空部分的第二自然段，上下文和選項如下：When I looked 36 the plane，I could see that nearly all the passengers were worried and afraid.

A. atB. around

C. upD. into

該題答案為B

針對第36題的檢測結果，筆者認為造成這種結果的原因在于：文章講述的在飛機上的事情，而農村學生受經濟條件制約，很少坐過飛機，對坐飛機機艙內的情景幾乎沒有概念，對講述的故事只能憑空想象，對幾個介詞的選擇更多是靠想象，就更容易誤選，相比較，城區的學生坐過飛機的比例較高，在做題時更能結合自身的經驗，更可能選對正確答案。

2. 針對問題2的檢測結果的討論

針對問題2所做設計得出的檢測結果顯示，該試卷中的完形填空和閱讀理解共5個語篇中，除了第3篇閱讀理解外，其他4個語篇中，相對于每個語篇后的單個題目在城鄉地域方面顯示出的項目功能差異（DIF）的β值，4個語篇（項目束）的DBF都沒有明顯放大或縮小，所以這4個語篇對目標組沒有明顯不利或有利，表明這4個語篇（項目束）在城鄉生源方面沒有明顯的項目束功能差異。

而針對第3篇閱讀理解檢測的數據表明，語篇（項目束）的DBF有顯著放大，β值為0.266，較該語篇中的各單個題目，差別明顯。這表明，該語篇個語篇（項目束）在城鄉生源差異方面有明顯的項目束功能差異，對目標組（農村生源組）明顯不利。

針對第3篇閱讀理解的檢測結果，結合具體語篇，筆者認為造成這種結果的原因在于：語篇為一篇旅游景點指南，而相比較而言，城區學生肯定比農村的學生的旅游經歷更多，所以當遇到此類語篇他們對語篇的理解能力也較農村學生更強些，所以更容易選出正確選項。

這說明該年河南種中考英語試卷的所選用的這一語篇選擇未能較好地避免因城鄉差異因素造成的不公平。

六、 結論

本研究對河南省中考英語試卷進行城鄉生源方面的項目功能差異分析。研究發現：第一，本次試卷中的第32題和第36題存在明顯的城鄉地域項目功能差異對農村考生不利。且第32題β絕對值已經超過0.88，表明32題已經不宜采用，而第36題在選用時需考慮，仍可以采用；第二，本次試卷中第3篇閱讀理解語篇項目束的β值較各個分項有明顯放大，表明雖然各個分項中沒能顯示針對城鄉差異的項目功能差異，但從整個語篇角度觀察，這個語篇存在著針對農村考生組明顯不利，存在明顯的項目束功能差異；而其他四個語篇未發現存在項目束功能差異；第三，造成研究結果的原因與城鄉經濟發展差距有密切聯系。

由于主客觀條件的限制，本研究存在著不足之處。如本研究是模擬中考情景下采集的數據，樣本不具備充分的代表性；此外本研究討論部分，更多憑借筆者的主觀猜斷，主觀性較強；再加上本研究局限于對二級題型進行了檢測，最后兩部分的主觀題都沒有納入的檢測范圍，因此僅憑這得出的結果，可能有失偏頗。

參考文獻：

[1]SauliTakala &FeliankaKaftandjieva，Test Fairness：A DIF Analysis of an L2 Vocabulary Test，Language Testing，2000（3）.

[2]Mikyung Kim，Detecting DIF across the Different Language Groups in a Speaking Test，Language Testing，2001（1）.

[3]Geranpayeh，A.& Kunnan，A.J.Differential Item Functioning in Terms of Age in the Certificate in Advanced English Examination[J].Language Assessment Quarterly.2007，（2）.

[4]曾秀琴，孟慶茂.項目功能差異及其檢測方法[J].心理學動態，1999（2）.

[5]曹亦薇，張厚粲.漢語詞匯測驗中的項目功能差異初探[J].心理學報，1999（4）.

[6]李清華，孔文.TEM-4閱讀測試的DIF研究，中國外語，2009（1）.

[7]雷新勇.上海高考英語分數的性別差異及其原因，上海教育科研，2007（6）.