基于模糊層次分析法的全過程高職課程教學質量評價研究

肖振泉　陳鑫洋　金星　趙博寧

摘 要：融合CIPP模型與模糊層次分析法的評價方法能夠提高高職課程教學評價質量，因此高職院校應利用CIPP模型，建立課程全過程評價框架，根據FAHP理論，優化求解判斷矩陣，計算評價指標的權值向量，確定評價指標的隸屬度矩陣，運用模糊算子，進行多級模糊運算，獲得課程教學質量的定量評價結果。

關鍵詞：高職課程；CIPP+FAHP；權值向量；隸屬度；模糊算子

中圖分類號：G64 文獻標識碼：A 文章編號：0450-9889（2024）03-0032-07

2020年10月，中共中央、國務院印發的《深化新時代教育評價改革總體方案》指出：“堅持科學有效，改進結果評價，強化過程評價，探索增值評價，健全綜合評價；完善評價結果運用，綜合發揮評價的導向、鑒定、診斷、調控和改進作用?！备髀殬I院校，尤其是高職院校紛紛大力推進教學質量評價模式改革，著力提升教學質量。課程是教學活動的關鍵節點，是學生形成職業素養的重要途徑，而在課程教學評價實踐中依然存在不少問題，亟需改進。

近年來，考慮到CIPP（背景評價-Context、輸入評價-Input、過程評價Process-Input、結果評價-Product）提倡的全過程評價理念、FAHP（Fuzzy Analytic Hierarchy Process）關于定量評價客觀事物的特點，相關學者紛紛將上述兩種理論融入課程教學評價中，取得了一定的研究成果，但是也存在著以下不足之處，一是將CIPP、FAHP理念同時應用于教學質量評價，但是對高職課程教學質量評價的研究尚較少，研究的深度也較為欠缺；二是大部分學者僅是簡單套用現有模糊評價算子，而現有模糊評價算子并不完全適用于教學活動中復雜多層次的指標體系，較難對課程教學質量給出客觀評價。針對上述不足之處，筆者借助CIPP模型，構建高職課程全過程評價框架，有機融入FAHP方法，計算CIPP評價指標的權值向量和隸屬度矩陣，通過相應模糊算子，定量評價高職課程教學質量。

一、基于CIPP+FAHP的高職課程教學質量評價的理論內涵

（一）基于CIPP的評價框架建立策略

CIPP模型由美國學者斯塔弗爾比姆（Stufflebeam）于1966年首次提出，主要借助背景、輸入、過程、結果4個評價手段，全過程跟蹤、監控評價對象，從而對決策產生引導與改進作用。根據當前課程評價改革要求，教學評價要能夠提高課程活動成效，以體現其改進性作用，這與CIPP模型特點高度一致。因此，可以借鑒CIPP模型，構建課程全過程評價框架：①背景評價——主要對課程是否有必要開設進行評價，其評價指標主要描述課程在整個課程體系的作用、能夠提高學生哪些素養等；②輸入評價——主要對課程教學方案是否恰當進行評價，其評價指標主要描述課程軟硬件資源是否滿足要求、課程標準是否切合專業人才培養方案、課程內容是否體現學生發展需求等；③過程評價——主要對課程實施是否完善進行評價，其評價指標主要描述教師教案是否體現教學實際情況、是否充分利用教學資源、學生是否積極主動學習等；④結果評價——主要對課程目標達成度進行評價，其評價指標主要描述學生職業素養的提升情況等。

綜上所述，基于CIPP的評價框架如圖1所示。

（二）基于FAHP的評價結果計算

模糊層次分析法是一種將模糊綜合評價法（FCE）和層次分析法（AHP）有機融合，兼具定性分析和定量計算的評價方法。因此，FAHP綜合了FCE和AHP的優點，具體實施步驟可以概括如下。首先，利用AHP理論使人類語言判斷定量化，形成判斷矩陣，進而求解評價指標的權值向量；其次，根據FCE理論確定評價指標的隸屬度矩陣，選取適當的模糊算子；最后，對權值向量和隸屬度矩陣進行模糊運算，最終得到評價對象的定量評估結果。

根據上述FAHP評價步驟，分別對CIPP框架中的4個階段，進行評價結果計算，具體如下。

1.權值向量的計算

針對每一個階段的多層評價指標體系，設要計算某一層次n個子指標X=（x1，x2…xn）相對于上一級父指標Y的權值向量，主要流程分為以下兩步。

第一步，初步建立區間判斷矩陣。設初步建立的區間判斷矩陣A=（[ψij]）mxm，[ψij]為某一取值區間，表示子指標xi和xj對父指標Y的相對重要性之比，且ψij=1/[ψji]，具體可參考表1。

第二步，優化計算權值向量。

首先，根據區間判斷矩陣，在取值區間內初選判斷矩陣各元素數值aij。

然后，對于一階、二階判斷矩陣A=（aij）mxm（m=1、2），由于其完全滿足下列一致性條件：①aij=1、②aij=1/aji、③aij=aik/ajk（i，j，k=1，2，…，m），可以直接得到最終數值判斷矩陣，進而判斷矩陣最大特征值對應的歸一化特征向量即為所求權值向量ω；對于三階及三階以上判斷矩陣A=（aij）mxm（m≥3），不完全滿足上述一致性條件，為了保證其具有較好的一致性，需要利用如下模型進行迭代優化計算，確定最終數值判斷矩陣及其權值向量ω。

式中：aik、ωk（或ωi）分別為迭代計算期間數值判斷矩陣元素值、權值向量（最大特征值對應的歸一化特征向量）的分量。

2.隸屬度矩陣的確定

在FAHP評價中，通常為評價指標選定多級評語，即評語集V=（V1，V2…Vp），p表示評語等級數。在此基礎上，可以計算評價指標體系中底層指標對各級評語的隸屬度，具體步驟如下。

第一步，指標評分計算。指標分為定性和定量指標。其中，在確定定性指標時，首先邀請m位教學活動參與者對底層指標進行區間評分［ai，bi］（ai、bi分別為第i位參與者評分區間的上下限），最高分為1，最低分為0；然后，利用式（2）計算評分值。

而定量指標的評分值f=F/100，F為指標分數（百分制）。

第二步，進行指標隸屬度計算。首先，選用適當的隸屬度函數，如正態分布、梯形分布和嶺型分布等，將上一步計算得到的評分值f代入隸屬度函數，求得底層指標對評語的隸屬度向量Ri=（ri1，ri2，…rip），其中，rij（1≤j≤p）表示第i個底層指標對第j級評語的隸屬度；然后，將屬于同一個父指標的底層指標的隸屬度向量組合起來，即可得到隸屬度矩陣R=（R1R2…Rn）T，其中n為屬于同一個父指標的底層指標數目。

3.模糊算子的選取

針對1、2求得的權值向量ω和隸屬度矩陣R，需要運用相應模糊算子進行模糊運算。在FAHP評價中，常用的4種模糊算子如下表所示。

4種算子都有自己的優點和缺點：M（∧，∨）只考慮主要因素，不考慮其他次要因素，這會忽略許多重要信息，導致計算結果不準確；M（g，∨）和M（∧，⊕）在M（∧，∨）基礎上，細化了具體計算過程，不僅突出了主要因素，也考慮了次要因素；M（g，⊕）既考慮了各元素的權重，又充分利用了隸屬度矩陣的信息，其評估結果綜合衡量了被評對象的整體特征，比較適合于整體指標的優化。因此，在高職課程教學質量評價中，背景評價、輸入評價和結果評價可統一運用M（g，⊕）算子。

過程評價指標具有多層次結構，指標權值差異較大，為了重點突出主要指標影響，又兼顧隸屬度信息，單獨運用以上任何一個算子均不能滿足要求。因此，需要運用如下基于M（g，⊕）改進的模糊算子M（△）：

式中：bi為評價結果向量B=（b1，b2…bp）的分量，rji、rki、rqi為隸屬度矩陣R的元素，ωj為權值向量ω分量中最大值，ωk為權值向量ω分量中最小值，std（ω）表示權值向量ω的標準差，R（ω）表示權值向量ω的極差；α、β既可表征權值的不均衡程度，又可表征權值的增益程度。

運用該算子時遵循以下原則：首先通過考察權值向量R（ω）與α、std（ω）與β的大小關系，判斷權值分配的均衡性。若權值分配均勻，該算子退化為M（g，⊕）算子；否則，便提高該算子的最高權值，減少最低權值，以突出主要因素的影響，并且保留M（g，⊕）算子，以兼顧隸屬度矩陣信息。在不同課程評價中，可取不同的α、β值，從而調節權值的不均衡和增益程度。

4.多級模糊運算

首先進行單級模糊運算，算式如下：

B1=ωοR? ? ? ? （4）

式中B1表示單級模糊評價結果，ω表示底層指標權值向量，R表示對應的隸屬度矩陣，ο表示模糊算子。

得出B1的值后開展多級模糊運算。

以單級模糊評價結果B1作為輸入，參照（4）式進行二級、三級、四級模糊運算直至得到最終評價結果。多級模糊運算可用下式表示：

Bn+1=ωnοBn（n=1，2，3，…）? ? （5）

式中，Bn+1表示第n+1級的模糊評價結果，ωn表示第n層指標權值向量，ο表示模糊算子，Bn表示第n級模糊評價結果?；谧畲箅`屬度原則，最終結果：max（Bn+1）=max（b1，b2…bp）。

（三）基于CIPP+FAHP的教學質量評價計算流程

按照課程一般教學實施周期，運用FAHP法分階段依次開展背景評價、輸入評價、過程評價和結果評價，獲得課程教學的定量評價結果。最終，建立基于CIPP、FAHP理念的高職課程教學質量評價方法流程，如圖2所示。

二、實例驗證

數控設備裝調與維修課程是高職機械制造及自動化專業的核心課之一，為典型的理實一體化課程，面向數控設備維護管理崗位，注重培養學生典型數控設備的安裝、調試及維護能力，主要采用項目（任務）式和探究式教學方法。以下，以數控設備裝調與維修課程為例，開展圖2所示流程的實例驗證。

（一）背景評價

在背景評價階段，主要對數控設備裝調與維修課程開設的必要性進行評估。背景評價指標體系的3層結構如圖3所示，評語集V={不合格，合格，中，良，優}?；贔AHP的背景評價實施過程如下所示，輸入、過程和結果評價實施過程可以參考背景評價，不再詳述。

根據表1的區間判斷矩陣元素賦值標準，分別建立Ⅲ層指標相對于Ⅱ層指標、Ⅱ層指標相對于Ⅰ層指標的區間判斷矩陣。其中“課程性質合理性”“與其他課程銜接性”相對于“課程地位”的區間判斷矩陣為二階矩陣，可根據“課程性質合理性”和“與其他課程銜接性”之間的相對重要程度，直接確定最終數值判斷矩陣，進而計算權值向量，計算結果如表3所示。其余區間判斷矩陣則運用相應優化算法，求解式（1）對應模型，得到最終數值判斷矩陣和權值向量，具體如表4、表5所示。

由于Ⅲ層指標皆為定性指標，因此邀請3位教學活動參與者進行區間評分（由于Ⅱ層的“課程作用”沒有子指標，所以也要對其進行區間評分），代入式（2）得到具體評分值，結果如表6所示。

為了體現隸屬度非線性變化的特點，選用如圖4所示的嶺型分布作為隸屬度函數（具體函數表達式可參考文獻12），將表6指標評分值代入，求得“課程性質合理性”隸屬度向量：（0，0，0，0，1）、“與其他課程銜接性”隸屬度向量：（0，0，0.095 5，0.904 5，0）、“知識目標”隸屬度向量：（0，0，0.124 9，0.875 1，0）、“技能目標”隸屬度向量：（0，0，0，0.054 5，0.945 5）、“素養目標”隸屬度向量：（0，0，0，0.958 9，0.041 1）、“課程作用”隸屬度向量（“課程作用”沒有子指標，此處求得的隸屬度向量即為評價結果向量）：（0，0，1，0，0）。

將上述隸屬度向量組合得到“課程性質合理性”+“與其他課程銜接性”隸屬度矩陣：[00001000.095 50.904 50]、“知識目標”+“技能目標”+“素養目標”隸屬度矩陣：[000.124 90.875 100000.054 50.945 50000.958 90.041 1]。運用M（g，⊕）算子，將上述隸屬度矩陣分別與表3、4對應的權值向量進行單級模糊運算，求得“課程地位”評價結果：（0，0，0.031 8，0.301 5，0.666 7）、“課程目標”評價結果：（0，0，0.011 8，0.429 6，0.558 6）；將“課程地位”“課程作用”和“課程目標”評價結果向量組合得到“課程地位”+“課程作用”+“課程目標”隸屬度矩陣：[000.031 80.301 50.666 700100000.011 80.429 60.558 6]，與表5對應的權值向量進行二級模糊運算，最終得到背景評價結果：（0，0，0.145 3，0.287 7，0.567 0），以56.7%概率屬于優，說明該課程具有較高的開設必要性，可以開展下一階段的課程活動。

（二）輸入評價

在輸入評價階段，主要對數控設備裝調與維修課程教學方案的合理性、效用性等進行評估，輸入評價指標體系的3層結構如圖5所示。參考背景評價實施過程，最終得到輸入評價結果：（0，0.237 6，0.435 4，0.147 7，0.179 4），以43.54%概率屬于中，評價結果中等且模糊性較大；由圖6可知，課程標準、課程內容和課程結構的評價結果偏向中等。因此，可以考慮改進上述三者，例如增加職業素養元素等，再次進行輸入評價：50.74%-良，可以進入下一階段的課程活動。

（三）過程評價

在過程評價階段，主要對數控設備裝調與維修課程實施活動的實效性等進行評估，過程評價指標體系的4層結構如圖7所示。參考背景評價實施過程，運用改進算子M（△）（根據過程評價指標所有權值向量的極差和標準差的算術平均值，分別取α=0.4、β=0.3），最終得到過程評價結果：（0，0.173 0，0.201 5，0.534 7，0.080 1），以53.47%概率屬于良，可以進行下一階段的課程活動。

（四）結果評價

在結果評價階段，主要對數控設備裝調與維修課程實施結果進行評估，結果評價指標體系的3層結構如圖8所示。參考背景評價實施過程，結果評價結果：（0，0.044 4，0.298 8，0.656 8，0），以65.68%概率屬于良，說明整個課程實施結果較好。

（五）結果分析

數控設備裝調與維修課程的背景、輸入、過程、結果CIPP模型下的評價結果分別為56.7%（優）、50.74%（良）、53.47%（良）、65.68%（良），即背景、結果評價的結果優于輸入、過程評價，分析考慮這與數控設備裝調與維修教材模塊化結構不健全、教學方法不完善等實施情況是一致的，同時也驗證了基于CIPP+FAHP的評價方法在課程教學質量評價中的準確性。此外，由圖6可知，該方法還可以有針對性地找出課程實施的薄弱環節，為課程活動參與者進行改進優化提供參考。

由表7可知，分別利用表2的常用4種算子和改進算子M（△）對數控設備裝調與維修課程教學各要素進行綜合評價，所得評價結果的評語是一致的；但是，改進算子M（△）評價結果的概率（隸屬度）均大于常用4種算子。因此，相比于常用算子，本文所用的改進算子M（△）評價結果模糊性較小，即認為可信度更高。

由表8、表9可知，數控設備裝調與維修課程4個階段權值占比最大（影響最大）的指標分別為課程地位-70.67%、課程內容-47.39%、學生學習-48.86%和職業技能-66.67%，該結果可以用于指導高校提升課程教學質量。

三、結論

綜上所述，筆者建立了基于CIPP+FAHP的課程教學質量評價模型：首先，根據評價指標之間的相對重要程度，初構區間判斷矩陣，運用相應優化算法求解數值判斷矩陣、權值向量；然后，采用適當模糊算子，對高職課程整個實施周期（背景→輸入→過程→結果）進行多級模糊評價運算。之后，以高職理實一體化課程數控設備裝調與維修課程評價為實施案例，驗證了上述模型的準確性和實用性，不僅能夠得到課程各實施階段的定量評價結果，而且還可以對課程教學質量改善提出有效的指導，做到“邊實施邊評價、以評價促改進”，這與現有大多數課程僅進行一次終結性評價區別顯著；并且該模型在一定程度上還可以推廣到其他類型課程的教學評價，對提高高職課程教學評價質量有著現實的價值和意義。

但是，在具體教學實踐過程中也發現了一些不足之處。一是課程教學的背景、輸出、過程和結果評價階段統一采用嶺型分布隸屬度函數，而上述4個階段的教學進程、評價指標等不盡相同，因此，如何根據課程教學各個階段實際情況選用或構造適當的隸屬度函數，將是未來的探究方向；二是目前課程教學質量評價主要依靠“軟件+手工”分步驟計算，速度較慢，在今后實踐中，可以探索建立一體化評價計算平臺。

參考文獻

［1］莊可.職業院校教學評價的實施困境與應對路徑探究［J］.職教論壇，2018（6）：57-64.

［2］李偉燕.基于CIPP評價模式對項目教學法的評價研究：以某高職學院為例［D］.沈陽：東北大學，2014.

［3］楊芳，李福英，鄒安全.CIPP評價模式在高校工商管理類專業實踐教學課程評價中的應用研究［J］.當代教育論壇（管理研究），2011（7）：64-47.

［4］張淑梅，劉珍.基于CIPP的高職院校創新創業教育評價體系構建［J］.中國職業技術教育，2017（26）：53-56.

［5］梁潔.論模糊層次分析法在中職教學質量評價中的應用［J］.科技風，2023（5）：95-97.

［6］黃煜棟，陳蘭生.模糊層次分析法在課堂教學質量評價中的應用［J］.中國教育信息化，2015（14）：82-86.

［7］楊軍強.模糊層次分析法在高職院校公共基礎課程評價中的應用［J］.時代教育，2017（15）：9-10.

［8］Stufflebeam and Shinkfield. Evaluation Theory，Models，and Applications［M］.San Francisco：CA Jossey-Bass，2007：650.

［9］Saaty T L.The Analytic Hieracrhy Process［M］.New York：McGaw Hill，1980：1-3，20.

［10］葛琳.基于遺傳算法的模糊層次綜合評判在高職教學評價中的應用［D］.廣州：廣州大學，2011.

［11］王志亮，吳兵，邢書仁，等.模糊集值統計法在煤礦安全評價指標權值中的應用［J］.中國安全科學學報，2004（1）：72-73.

［12］楊家豪，歐陽森，石怡理，等.一種組合隸屬度函數及其在電能質量模糊評價中的應用［J］.電工電能新技術，2014（2）：63-64.

［13］孫永厚，肖振泉，張驥，等.零件功能與GPS規范集相關性的評估方法［J］.機械設計與研究，2016（4）：113-116.

注：本文系柳州教育科學“十四五”規劃2022年度職業教育一般立項課題“基于STEAM的高職理實一體化混合式教學模式研究”（2022ZJC029）、2023年度柳州市職業教育一般立項課題“基于CIPP+FAHP的高職院校教學質量評價方法研究——以《數控裝調與維修》為例”（LZJ2023C023）、廣西職業教育教學改革研究項目（GXGZJG2023B204）“基于OBE+STEAM的新型活頁式教材開發研究——以《電工操作技能實訓》為例”的研究成果之一。

（責編 羅異豐）