?

淺析如何保障機考公平
——以北京市高考英語聽說考試為

2024-04-07 21:01孫利君
考試與招生 2024年2期
關鍵詞:機考評卷題型

孫利君

教育數字化轉型的進程加快、社會認知的趨同和智能技術的發展,都為英語聽說考試的智能評分提供了土壤和助力,新的考試題型、新的機考平臺、新的考場環境、新的評卷方式也逐漸被社會和考生所認可。隨著智能評卷技術的突破,考生答題音頻的檢測質量、評卷效率和評分準確性等均獲得顯著提升,讓考生和家長不必為新的考試方式和評卷方式是否公平、是否影響成績而擔心。

一、科學命制機考試題

以高考英語為例,北京市從2021年開始在原有聽力理解的基礎上,加入對口語能力的考查,一并通過計算機輔助測試的方式組織機考,合計分值50分,一年兩考,取兩次考試最高成績計入高考英語總分,首次考試滿分則不再參加第二次考試。試題依據《北京市深化考試招生制度改革的實施方案》和《英語課標》命制,并依據機考的組考特點,科學設計題型結構和測試任務,口語與聽力融合考查??紤]到目前考生的規模性以及機考考查形式的局限性,命題在口語任務的交互性能力考查方面還較弱,在開放性題型的設計和使用方面還有局限。在英語聽說考試試題命制前,為了解考生的整體語言能力水平,分三輪試測為命題規劃與設計提供參考,確??荚嚬?。試測的前兩輪依據平時成績分層抽樣,抽樣率25%左右,最后一輪為全體考生的試測,同時加入以往真題作為“錨題”用以檢驗參評考生的實際能力。經過命題組、學科專家以及測評專家的綜合研判,確定實際高考英語機考的題型結構和分值比例,包括:聽后回答(21分)、聽后記錄(6分)、聽后轉述(9分)、短文朗讀(8分)和讀后回答(6分)。這些題型既考查考生聽的能力、說的水平,更強調英語的實際場景應用,不僅要求考生聽懂、看懂,更要求其準確地在社交環境中熟練交流。這些題型能有效避免以往英語“輕視聽說、重視讀寫”的考法,使得英語考試擺脫“無法張嘴”的尷尬,讓交互式對話考核成為現實,真正體現語言考試的本質,使語言回歸到“交流工具”的功能。

二、優化考試組考流程

數字化賦能聽說考試的核心要素包含兩個方面。第一方面是人的認知,聽說考試實現機考數字化轉型的社會環境,是機考改革得以實現的基礎性保障,關鍵在于人的思想觀念和整體的認知水平;第二方面是流程的優化,它是確??荚嚬降臋C制保障和具體著力點,關鍵在于組考的方式和評卷的流程。堅持穩中求進的工作基調重構業務流程,既考慮社會輿論與考生承受力,也兼顧教育教學的銜接與良性導向。通過重構和優化組考的每個環節,強化流程科學設計,精心組織培訓,確??忌约翱紕战M織管理人員對于新考試方式的適應。另外,強化各個環節現場保障、系統維護和應急保障支持,同步研發中、高考英語聽說考試在線體驗系統,可供考生隨時體驗,使考生考前熟悉機考考試形式和流程,最大限度地服務考生,確保公平。

相較于傳統紙筆考試,英語聽說機考對于考試環境、組考實施流程以及評卷流程有不同的要求。為保障考試公正公平,確??荚嚢踩?,必須精心設計機考考務組考流程,不斷破解成本、規模和質量三者之間的矛盾,利用數字技術的優勢和智能算法的效能,提升大規模高利害性考試的組考效率和評分質量。按照傳統的考試階段三段式劃分,機考整體工作流程及工作內容依然包括考前、考中和考后三個階段。和紙質試卷組考不同,機考組考的考前階段在試卷制作、培訓內容和考生現場培訓等環節有所調整,而且增加平臺部署與測試、機房環境檢查和光盤介質下發等環節;考試期間,考生入場核驗增加人臉識別和系統驗證環節,用計算機(含鍵盤、鼠標和耳麥)替代紙筆答題,還增加考場環境檢查、試題導入、數據備份、考場數據匯總校驗等環節;考試結束后,原有的紙質答題試卷上交、密封等環節被考生考試數據匯總、數據校驗、答卷包回傳等環節所替代。另外,后期的評卷環節,在原有網評的基礎上增加全新的智能評卷流程,包括專家定標、模型訓練、智能評分、異常復審、人機數據比對等環節。

三、迭代優化機考平臺

機考平臺及其相關軟硬件配套設備是英語聽說機考得以實施的保障。為給考生提供一個公平安全的考試環境,無論是新技術的引進,還是平臺的設計,要統籌考慮全局,既保證考試的安全性,也兼顧考生的適應性;既考慮管理流程的便捷,也兼顧技術實施的可行。平臺的框架設計、研發、試用和上線均經過嚴格的小規模、等規模的功能性、安全性和易用性測試。只有技術過硬、平臺設計合理,安全隱患才會減少,才能讓廣大考生放心使用。通過多年迭代,不斷細化需求,針對問題逐步優化,夯實平臺軟硬件基礎環境,強化安全評估等多項措施,管理與技術并重,確??忌矸莅踩?、考試數據安全和考試過程安全。

一是采用貫穿考試全過程的防作弊技術確??忌矸莅踩?,利用多種生物特征識別技術支持考生在網上報名、考點報到、考試入場以及考試過程的生物特征采集和對比驗證,采用加密狗加密、登錄密鑰和授權碼等技術手段保障登錄平臺安全。二是利用高強度、高可靠性加密、代碼混淆等手段保證考試數據安全,并采用一卷一密、一人一密、專用壓縮算法以及數據庫加密機制,確??荚嚫鳝h節試題、考生和答題信息等安全存儲和傳輸,做到數據不泄露、不被篡改。三是結合人工智能技術和軟件處理機制保證考試過程安全,通過自動檢測技術實時發現并處理可能出現的軟硬件異常,包括耳機接觸不良、網絡中斷、系統功能異常、考生周邊噪音及人為干擾等情況。

四、探索智能評卷流程

智能評卷流程設計直接影響考生評分成績,對考試公平至關重要。智能評卷質量取決于兩個因素,一是考試題型,二是評卷方式??荚囶}型是評卷的基礎,決定評卷的標準,同時影響評卷方式的選擇。首先,設計適宜高考英語聽說機考的智能評卷流程,包括計算機預評卷、人工定標評卷、計算機智能評卷和人機協作評卷四個環節。其次,根據考試題型選擇相宜的評分方式。評分方式的選擇直接決定智能評卷流程的設計。聚焦北京高考英語聽說機考聽后回答、聽后記錄、轉述、朗讀和讀后回答五類題型,根據題型各自特點選擇適宜的評分方式。再次,基于智能評分算法的準確性提升,鑒于目前基于無文本語音評測技術的智能評分系統評分的優異表現,在目前“人工評分+智能評分+人工仲裁”即“一人加一機”的智能協助評卷方式上更進一步,探索“雙智能評分+人工仲裁”的雙機評評卷模式。最后,利用仲裁機制強化質檢抽查力度,保證智能評分的準確性,達到既大幅提升評分效率,又降低人工評卷成本,還能有效保證機考評分的科學性、專業性和客觀性。

五、技術賦能保障評分質量

智能評分的質量依賴于語音識別的精準度和智能評分的準確率。通過音質檢測、自動語音識別和自然語言語義表征等多項核心技術突破,助力智能評分提質增效。其中,音質檢測技術用于考中、考后的考生答題錄音音質檢測環節,檢出由于錄音音質問題導致的人工不可評分和機器不可評分數據,便于及時采取措施降低考試風險。自動語音識別和自然語言語義表征兩項技術是智能評分的核心,前者用于識別考生作答內容,后者用于語義分析,提取考生答題特征信息。

首先,改進音質檢測算法有效提升異常音頻檢出效率。通過收集并分析拒評數據特點,采用端到端信噪比估計方案直接評估音頻質量,歸納出錄音音質異常、發音不清晰和特殊作答三類音頻異常,改進音質檢測算法后,各類異常數據檢出率達95%以上。其次,采用端到端語音識別技術提升語音識別準確率。利用基于注意力機制的編解碼網絡端到端語音識別技術,并采用半監督自適應技術適配當次考試環境和考生答題內容,可大幅提升考生音頻的語音識別準確率,降低關鍵詞識別誤觸發的概率。最后,采用語義表征技術提升聽后回答評分準確率。針對聽后回答題型易出現語法、時態錯誤以及語義錯誤作答數據評分偏高的問題,考慮到其作答錄音時間短、對錯回答易于混淆的特點,依托海量規模數據預訓練語言模型Bert構建端到端評分模型,顯著提升聽后回答題型的評分準確率,特別是錯誤回答數據的評分準確率。

總之,英語聽說機考的持續實施,組考與評卷流程逐步優化,最大限度地保障了考試公平,以考促教、以考促學的效果逐漸呈現,考試指揮棒的正面導向作用得以有效發揮。無論是中學課程安排、教師教學方式、學生學習側重都在發生改變,英語考核方式的改變直接影響到育人方式的轉變和育人質量的提升。

猜你喜歡
機考評卷題型
離散型隨機變量??碱}型及解法
北京高考語文卷已現滿分作文
巧妙構造函數 破解三類題型
中國注冊會計師協會關于更新注冊會計師考試機考練習網站的公告
2019年對口升學考試網上評卷考生答題注意事項
雅思機考落地中國大陸半年這些問題你應該心中有數
一次函數中的常見題型
隨機抽樣題型“曬一曬”
“畫?!痹u卷
大規??荚嚲W上評卷中趨中評分的成因探析
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合