基于數據有效性評估的高校學生評教分析優化

卞 慧 王 茜 湯勇明

(東南大學 教師教學發展中心,南京 211100)

學生對教師開展的課堂教學進行評價是課程課堂教學質量評價的重要途徑,學生評教結果是評價教師教學質量的重要依據之一。學生評教體現了學生在教學中的主體地位,凸顯了以學生為本的教學理念[1]。開展學生評教工作既能夠激發學生參與教學管理的責任意識,也能夠更好地激勵教師從學生視角出發查找問題和改進方向,促使教師積極提升教學能力。同時,學生評教數據也為高校教學質量管理部門開展教學管理和教學改革工作提供了數據保障,為課堂教學質量閉環管理模式的構建提供了數據支撐。

學生評教制度最早可追溯至1927年,美國普渡大學的教授雷默斯編制了標準化“學生評教量表”[2]。20世紀80年代中期,我國高校逐步開始試行學生評教制度。經過近四十年的摸索實踐,學生評教制度已基本成為大多數高校教學管理中不可或缺的環節[3]。然而,在高校建設課堂教學質量評價體系的實踐過程中,對學生評教制度的爭議一直存在[4]。對學生評教制度存疑的專家和教師對于學生是否能夠認真評教和公正評教表示擔心,認為學生評教存在一定的應用風險[5]。目前,組織了學生評教但對結果不敢用成了很多高校的窘境。如何對海量的學生評教數據進行科學有效的統計,使得學生評教的結果可信可用是大多高校亟待解決的問題。本文首先針對D高校近年真實海量的學生評教數據開展多維度的有效性分析,并基于研究結果提出相應的數據統計降噪處理算法和基于K-means的分類評價方案。

1 學生評教數據源頭有效性提升

學生評教包括前期的籌備階段、中期的實施階段以及后期的數據統計階段。三個階段相輔相成,共同構成了學生評教完整模式。但在一些高校的實踐過程中出現了重結果不重過程的情況[2]。學生評教結果可信可用的基礎在于有效提高學生對于評教工作的認識,提升學生主動參與評教的意愿是工作前提[6]。因此,高校務必重視學生評教全流程、各環節的工作組織安排。

為了提高學生參與學生評教的積極性與便利性,D高校近兩年對學生評教系統進行多方位更新升級,組織實施學生評教意愿提升計劃。首先,D高校打破了原有系統一次性完成評教任務的限制。目前,學生可以根據個人時間安排,分課程分次靈活評分,不會因為單次評教時間過長導致后續應付性填報。其次,評教系統內打分題預置八分良好缺省值,此舉有效統一了不同學生的評價基準線、極大提高了學生評教效率,也為后續分析提供了更豐富的參考信息。另外,D高校為每位學生構建其個人專屬的學生評教檔案。學生完成評教后可查看個人評教數據分析報表,內容包括學生本人對于教師的評價與班級整體對于教師的評價的比較,學生本人課程成績與教學班整體課程成績的比較等。最后,學生評教數據取之于學生也應該用之于學生,即學生評教數據在為教學管理提供數據支撐的同時也應該為學生自身的學習提供參考幫助。因此,D高校根據學生評教數據,建設學生評教優質課程榜,相關信息也在學生評教檔案界面反饋,可供學生在選課過程中進行參考。如表1所示,實施學生評教意愿提升計劃后,學生參評率由68.69%上升至96.14%,已評教學班的數據有效率從96.16%上升至99.72%。

表1 D高校近年學生評教參與情況

2 學生評教數據有效性分析

學生評教相較于督導評價、同行評價和領導聽課等評價方式有著覆蓋面全、面向教學結果信息量大等不可替代的優勢;以學生為中心的教學工作,也必然要求把學生的學習感受作為課堂質量評價不可或缺的一環[7]。但與督導專家等相較,學生評教工作的組織往往讓學生參與時較為被動,學生在專業知識方面和教學方法技能方面的了解也不夠專業。因此,學生進行教學評價時的認真度、對教師教學情況評分的公正客觀性值得進行深入的研究[8]。本文從學生評教打分一致性、學生評教缺省值修改率和學生評教奇異值三個維度出發,對D高校近年的學生評教數據進行有效性分析。

2.1 學生評教打分一致性

圖1 學生評教問卷總體打分與分項打分一致性情況

數據表明,絕大多數學生在進行課程問卷填寫時,能夠做到思維連貫,根據評價指標文字提示認真完成評價問卷內容,少部分學生填寫問卷時存在思路前后不連貫的問題?？傮w打分和分項打分的一致性可以視作學生評教認真度的一項衡量指標。

2.2 學生評教缺省值修改率

為有效統一學生打分基準,切實提高學生評教效率,D高校在學生評教問卷中創新性引入8分良好默認值設置,即學生僅需要根據實際授課情況對他們認為特別優秀或者不滿意的教師合理上調或下降分值。該問卷設置帶來的另一個作用還包括考察學生是否簡單應付式地對所有課程的評教問卷提交默認值,對應學生個人參與評價的認真性考究。針對學生評教時是否主動修改缺省值進行分析,可以通過對回收的問卷進行分類標簽實現。若問卷作答默認值未修改后提交則標記為“未修改問卷”。若某學期某學生提交的所有課程問卷均為未修改問卷,則該學生標記為“評教主動性較弱學生”。如圖2所示,D高校絕大部分學生能夠認真對待評教任務,對不同課程不同教師的授課情況進行分值調整。學生評教時是否修改缺省值也可以視作學生評教認真度的一項衡量指標。當然,可以從信息平臺上通過學生個人評教檔案對少部分評教主動性較弱的學生予以提醒,促進這些學生今后增強對于評教認真負責的意識。

圖2 D高校學生評教缺省值修改率情況

2.3 學生評教打分奇異值

由于學生評教是學生個體的主觀性評價,可能會存在由于師生間的誤解矛盾或者熟人現象等,個別學生給部分授課教師打出不符合實際教學情況的極高分或者極低分,往往表現為評教記錄中的奇異值打分。在奇異值處理方面,有些高校的處理方式是去除最高分和最低分,例如去除前5%和后5%的評分進行偏差糾正,D高校往年工作中也采用這樣的統計辦法。但是,原始數據經去除高分段和低分段后,在保證數據不受少部分學生的極端打分影響的同時,也可能導致部分有效信息缺失。特別是在小班化教學大規模普及的情況下,教學班內每個學生個體的打分都有一定的信息量,并不是所有的高分打分或者低分打分都是奇異值。統計過程中為了保障評分的公正性,需要去除的僅僅是高分和低分中偏離教學班群體認知的個別極高打分或者極低打分。因此,D高校在評分統計過程中引入離散值分析機制。根據教學班的平均打分情況X和標準差S,計算學生每人次打分數據的離散度Qi=|(Xi-X)/S|,其中Xi為學生i對某個教學班的評價總分。若打分記錄離散值超過一定的閾值,則該打分記錄被認定為奇異值,與教學班絕大多數學生的評價打分不符,有不合群或古怪嫌疑,可暫不納入該教學班評分統計。

從D高校近年的數據可以看出,學生評教打分奇異值整體占比僅在0.6%左右,所以常見的去除最高和最低的5%的打分會去除過多的有效打分。而且從奇異值涉及課程占比情況來看,并非所有的課程都需要進行高分和低分數據去除處理,僅15%左右的課程需要對奇異值進行處理,具體情況如表2所示。通過奇異值分析策略,能夠在保障評分統計公平公正的前提下,最大程度上保留每個學生反饋數據的信息量。

表2 D高校學生評教奇異值分布情況

3 基于數據有效性的降噪處理算法

前面通過分析D高校近年來60萬余條學生評教數據,可以看出絕大多數高校學生能夠做到端正態度,認真對待評教工作,合理公正地進行課程評價。但也存在少部分學生的評教認真度和主動性較弱的情況。因此,結合學生評教認真度衡量,有可能也有必要對學生評教數據進行不同權重的降噪處理,從而提升學生評教數據的有效性,保障學生評價結果公平公正、可信可用。

3.1 數據降噪算法

結合上文所述的學生評教認真度衡量指標,本文提出了包含數據降噪算法的評價數據綜合性處理方案。學生評教問卷由一條綜合評價指標Z和K條X1,X2,…,Xk分項評價指標組成。學生j對教學班i的各分項評價打分之和記為Xij。如圖3所示,數據降噪算法從離散度、一致性和缺省值修改率三個維度來考察學生評教數據的有效性,并針對不同情況賦予學生評教數據不同的權重。降噪算法所賦權重ξ1,ξ2,ξ3可根據本校實際情況進行合理地動態調整,其中0≤ξ1<ξ3<ξ2。

圖3 學生評教數據降噪處理算法

3.2 數據降噪算法優勢

首先,統計數據顯示本文所提的數據降噪算法相較最高分和最低分去除算法能夠保留近4.6%的有效的學生評價信息。因此,在數據在統計過程中采用本算法提出的奇異值判別機制代替原有的最高分和最低分去除機制能夠保留更多的學生評價信息,更加有效可行。同時,本文所提的算法能夠有效提升評教結果的可信度。正常情況下,教師教學水平在某一學期不應有大幅波動,即教師在某一學期教授同一類課程的不同教學班的評教結果應有一定的一致性。但由于學生評教噪聲數據的存在,出現了教師個人多個教學班評教結果差異較大的現象,這也是部分教師不相信學生評教結果最直接的導火索。例如,某教師一學期內開設了建筑設計類課程2門次教學班,學生評教原始均分分別為89分和81.64分。在課程類型、授課學期和授課教師等主、客觀情況都相同的情況下,不同教學班評分的分差較大的問題需要進一步探究實際情況。

采用本文所提的降噪算法對上述2個教學班的學生評教數據進行處理后發現:教學班B存在3位學生為評教主動性較弱學生,應通過權重調整,降低其提交數據對于最終統計結果的影響。另有1位學生提交的數據未能通過問卷一致性檢驗,應予以剔除。如圖4所示,經降噪處理后,兩個教學班的統計得分分別為89分和87.45分。

圖4 同教師不同教學班的數據降噪處理前后對比

本文所提的降噪算法較好地解決了由于噪音數據導致的同一位教師授課的兩個教學班的評分不一致問題。進一步對該學期的所有評教數據進行降噪處理,以提高分析結果的可參考性。經降噪處理后,全校同一位教師教授的多個教學班的評價結果的標準偏差均值降低3.57%。數據表明,降噪算法有效降低了極端打分以及非認真評價數據對于評教統計結果的影響。

4 基于K-means聚類算法的學生評教分類

經調研,目前大多數高校對學生評教數據匯總統計后進行總分排序。學生評教排序的數值或者排序的占位百分比成為了部分教師關注的焦點?？偡峙琶菍W生學業考核中常見的制度。學生學業考核的目的不僅在于檢驗學生的學習效果,也在于對學生的學習成果進行衡量排序,以便后續升學就業等場景使用。但與學生學業考核不同的是,學生評教的目的不在于給教師的授課效果進行排序,而是在于查找教師授課過程中存在的問題,及時改進并提升教學質量。因此,常見的總分排序法在學生評教結果的運用中存在一定的弊端。學生評教總分排序的弊端之一在于較小的分差可能會導致較大的排名差異,從而引發教師對排名結果的認可度降低。另外,總分排名數據相對單一,無法顯示出教師授課存在問題的方面。因此,D高校采用分類分段評價模式代替原有總分排名模式。根據教師各維度評價指標,對授課教師進行群體分類,再對不同教師群體大類進行分段分析。實施分類分段評教后,高?？梢詫Σ煌愋偷氖谡n教師在教學中存在的共性問題開展針對性的督導和培訓。

由于具備收斂速度快、實現難度低等優勢,基于K-means的分類算法被廣泛運用于各行各業。在對原始評教數據進行降噪處理后,進一步采用基于K-means的聚類算法對學生評教數據進行分段建模分析。

如圖5所示,分類算法將教師教學情況分成四類。①A類:該類型教師教學效果優秀,各維度評價均值達9分左右,可作為優質課程推薦給新入職教師、青年教師等觀摩學習。②B類:該類型教師教學效果整體良好,各維度評價均值達8.6分左右,各方面存在一定的提升空間。③C類:該類型教師教學基本合格,各維度評價均值達8.2分左右,基本為正向評價,即大部分學生小幅上調了8分缺省值。但該類型教師授課存在教學節奏把控弱和課堂重點不突出等較為明顯的弱勢方面,需要進一步引導和提升。④D類:該類型教師的教學指標學生評價總體為負向評價且部分指標得分為極低分。此類型教師雖占比低,但教學往往存在較大的問題,需要教學質量管理部門以及院系予以重點關注。

圖5 基于K-means的學生評教結果分類情況

5 結語

如今隨著信息技術的發展,學生評教在不斷普及實踐的過程中得到了發展和完善,從紙質問卷人工統計迭代更新到信息化評教系統為數據智能分析提供支撐。通過對D高校近年學生評教數據的有效性進行多維度的探索分析,提出了數據降噪算法和基于K-means的分類評價方案。數據表明,所提方案具備有效性和可行性,能夠有效提升學生評教數據的可信度和可用性,讓學生評教數據更好地為教學服務。

未來D高校將持續發展完善評教機制,通過有效挖掘主觀評語信息、引入客觀數據拓寬課堂質量評價維度、加強多維數據間的相關性分析等措施,完善多維融合評價體系。同時,D高校將繼續堅持教學實施、教學評價和教學培訓三方聯動,構建教學質量的有效閉環管理體系,達成“以評促教”的根本目標。