院校教學質量評價模型的構建

陳虹麗 夏曉靖 龔洛

摘 ? ?要：要使課堂教學質量評價結果具備較高的認可度，評價過程必須要有科學依據，其中信度是衡量評價過程的一個重要指標。文章依據模糊教學理論構建了院校課堂教學質量綜合評價模型，并以實例分析其信度。

關鍵詞：教學質量;綜合評價;信度

中圖分類號：G640 ? ? ? ? ?文獻標識碼：A ? ? ? ? ?文章編號：1002-4107（2016）03-0046-03

隨著《國家中長期教育改革與發展規劃綱要（2010—2020年）》的實施，教學質量的評價成為科學化管理高校的重要內容之一。實際上，高校里有著比較明確的專業分工，想要建立一個通用的高校教學質量評價體系是不切實際的?？尚械姆椒ㄊ枪陀貌煌瑢I領域的專家學者參與并制定僅僅針對該專業的授課評價體系。具體的實現方法可以通過建立一些專門化的評價數學模型，通過模型來統計專家學者的評價意見并量化表示，用于指導完善實際的評價體系[1]。

常用的課堂教學質量評價方法有層次分析法、人工神經網絡法[2]、模糊綜合評價法、專家打分法等。層次分析法不夠細致，存在決策精細度不高、權重計算復雜的問題;人工神經網絡法存在局部極小和收斂速度慢的問題;模糊綜合評價法依據模糊數學的隸屬理論[3]，較好地解決了評價過程中模糊的和難以量化的問題等。評價對象往往都含有多種屬性，每個屬性都從不同方面反映出評價對象的自有特征，這些特征往往是非線性的和不確定的。因此采用模糊綜合評價方法不僅能客觀地反映評價對象的本質特征，也使得整個課堂質量評價系統趨于完善。

概化理論相比經典測量理論有以下優勢：1.經典測量理論中的“嚴格平行測驗”假設所需的條件比較嚴苛，相比之下概化理論運用“隨機平行測驗”弱假設，問題的分析條件更易滿足。2.可以分辨出多種評價誤差來源。概化理論分別對協方差、方差進行誤差分解，從分量中具體體現測驗變異對結果的影響狀況。3.能夠提供可靠性系數，既考慮專家評審偏差，又考慮評價的隨機誤差，可用于絕對決策，也可以用于相對決策。4.可以提供最優評價方案供決策人使用[4]?；谝陨咸攸c，概化理論非常適用于解決那些影響因素多、評價主觀性強、測評情景復雜的工作，其在行為與心理評測領域的成功應用就是一個很好的例證。

本文利用模糊數學理論對層次分析方法進行改進，用改進后的方法來確定每個評價指標的權重值，設計出了一個較為合理實用的基于模糊綜合評價的高校教學質量評價模型。在實際應用時結合專家打分制度，對于最后的評價結果，運用多元概化理論分析其信度。

一、院校教學質量綜合評價模型的構建

（一）建立因素集

因素集是評價對象各個因素所組成的集合，評價指標體系是由被評對象的各個因素所組成的，包括授課的方法、教學的準備、授課的內容、教師的素養、授課的效果5個一級指標，每一指標又包括有限個子指標，這些子指標組成二級指標體系。本文的質量評價指標系統結構如圖1所示。

圖1 ?評價指標結構圖

（二）確定指標的權重

在模糊綜合評價方法中“權重”非常重要，權重設定情況會對評價結果產生絕對影響。本文在權重設置上采用“模糊層次分析法”，該方法有利于最大限度削弱評價者的主觀因素造成的權重偏差，使得權重值更趨于合理。重要性的標度值參考表1指標相對重要性等級表[5]。

表1 ?0.1—0.9的數量標度

以U（u1，u2，u3，u4，u5）因素集為例，請評審者參照表1，用0.1—0.9來表述其對于評價目標的模糊判斷，判斷結果及模糊一致判斷矩陣A。

其中，ɑij表示的從屬關系為：“ui比uj重要”。

權重可由公式

直接求出[6]。其中ɑ可以在范圍 ? ? ? ? ? ? 選取，ɑ值越小越表明決策者重視指標間差異，則權重差值越大。實際應用中一般取 ? ? ? ? ? ?，此時決策者最為重視指標間重要程度差異。

（三）建立評價集

V={v1，v2，…，vm}{優 良 中 及格 差}。

（四）確定模糊評價矩陣

設評價對象對因素集中的第i個因素進行評價，對于評價集中第j個元素vj的隸屬，將各影響因素評價集的隸屬度成行組成第i個單因素的評價矩陣Ri，程度為rij。

可將權重集Ai看作一行n列的模糊矩陣，將單個因素的模糊評價矩陣與權重集合成，可以得到二級模糊綜合評價集Bj：

在二級模糊評價集基礎上得到一級綜合模糊評價矩陣：

最后得出一級模糊評價集和：B=A·R。

（五）綜合評價得分

式中：M為綜合評價的量化分數，B為模糊綜合評價的結果，V為評價等級的具體分數。

二、教學質量綜合評價模型的應用實例

假設某校督導專家對授課教師進行隨堂聽課，按圖1從17個方面給教師評分（共優、良、中、及格、差5個等級）。在近三年評價結果數據中，隨機抽取10位專家給8位教師的評分數據。以教師甲和乙為例，他們對教學質量綜合評價的結果參照表2。以教師甲的一項評價指標u11為例，其評價等級欄顯示3位評審者給出“優”，6位評審者給出“良”，1位評審者給出“中”，0位評審者給出“及格”和“差”，其評價向量是R11={0.3，0.6，0.1，0，0}，得到二級模糊評價矩陣Ri。

表2 ?評委對授課綜合評價結果

比如教師甲的教學準備的二級模糊評價矩陣：

其二級指標的綜合模糊評價集：

B1（甲）=A1·R1（甲）

=（0.4100 ?0.4300 ?0.1867 ?0 ?0）。

依此類推，得到教學效果B5（甲），授課內容B3（甲），基本素養B2（甲），方法手段B4（甲）。

在二級評價的模糊評價集基礎上可以計算出一級模糊綜合評價矩陣。

教師甲的一級綜合模糊評價集計算公式為：

B（甲）=A·R（甲）

=（0.3905 ?0.4729 ?0.1190 ?0.0144 ?0）

將評價集V={優，良，中，及，差}賦值為V={95，80，

70，60，50}，則計算出教師甲的綜合評價結果：

M（甲）=B（甲）·VT

=（0.3905 ?0.4729 ?0.1190 ?0.0144 ?0）·[95 ?80 ?70 ?60 ?50]T=84.1

教師乙類似，綜合評價結果為82。

三、教學質量綜合評價的信度分析

若用17個評價維度對8個教師（p）進行教學評價，評分者側面專家（r），這時需要完成的是17個維度的單側面完全交叉設計（p×r）。

首先由式（1）至 式（3）計算出教師和專家均值：

式中：Xpr是10位評審者給8名教師從17個教學方面進行打分的結果。

由式（4）至式（6）得到各種方差分量的估計值，其結果見表3和表4。

教員：σ2（p）=[MS（p）-MS（pr）]/nr ? ? ? ? ? （4）

專家：σ2（r）=[MS（r）-MS（pr）]/np ? ? ? ? ? ?（5）

交互效應：σ2（pr）=MS（pr） ? ? ? ? ? ? ? ? ? ? ?（6）

式中：

MS（p）=SS（p）/（np-1）

MS（r）=SS（r）/（nr-1）

概化系數是Cronbach（1951）為概化理論構建的一個信度系數，用G表示，按如下公式計算：

式中：σ2（δ）=σ2（pr）/n|r為相對誤差方差。

布倫南和凱恩（Kane）（1972）同樣構建了一個與信度類似的可靠性系數，用φ表示，計算公式如下：

表3、表4給出了計算后的可靠性系數和概化系數。式中σ2（△）=σ2（r）/n|r+σ2（pr）/n|r：是絕對誤差方差。

合并17個指標的分值，即可得出合成的分數。

表3 ?協方差、方差估計值及信度系數指標（n|r=nr=10，np=8）

表4 ?協方差、方差估計值及信度系數指標（n|r=nr=10，np=8）

四、結論

本文評價指標體系及其權重已在評價實踐工作中運行多年，數據是在近三年評價實踐結果數據中，隨機抽取的。分析具體數據有以下結論。

第一，指標u11、 u32、u42 的方差較大，說明它們對授課質量高低的判別比較明顯。評選結果既注重創新，也符合高校對于教學質量評選的具體標準。

第二，表4所示是總分各項指標在評審體系規定的兩極指標上的權重系數值。改變指數權重，相應的合成可靠性指數結果會隨之改變。本文的可靠性指數值高達0.96，證明設計的評價方案權重分配恰當。

第三，可以組成專家、領導、同行、學生、教師自評五個評價小組，則某教師的最終評價得分為他們的加權和，對他們的權重按照獲得最大的合成可靠性系數求取。

第四，要減低評分誤差、提高評分信度，可以增加評教專家人數。系數G和φ會隨著評教專家人數的增加而變大。當增加1—3個專家數時，G和φ的增大較為明顯。其具體的關系可參見圖2。當增加數超過3后再繼續增加評教專家人數，G和φ的增長趨勢趨于平緩。因此，在實際評教工作中，每門課的評教專家人數在3到5之間是最為合適的。當專家人數確定不變后，可以通過明確具體的評分細則，使評教群體相對固定等方法進一步提高評教信度。

圖2 ?系數G、φ與專家人數的關系圖（專家數多于3時）

參考文獻：

[1]陳小麗，馬建輝.基于AHP方法的教師教學質量評價與

系統實現[J].黑龍江教育：高教研究與評估，2012，（11）.

[2]蔡錦錦.基于BP神經網絡的高校課堂教學質量評價系

統的研究與實現[D].杭州：浙江工業大學，2009.

[3]陳美華.基于Fuzzy綜合評判法的實驗教學質量評價方

法[J].實驗室科學，2011，（6）.

[4]顧海根.應用心理測量學[M].北京：北京大學出版社，

2010：247-261.

[5]蔡紅梅，許曉東.高校課堂教學質量評價指標體系的構建[J].高等工程教育研究，2014，（3）.

[6]杜淼.兩類層次分析法的轉換及在應用中的比較[J].計算機工程與應用，2012，（9）.