第二十八講 實驗研究中多指標綜合評價方法及應用

徐靜安 趙修顯 張玉梅 曹衛宇

2015年9月—10月間，在“制備超高分子量聚乙烯鋰電池隔膜的探索性研究”項目中，張玉梅、王新威等對研究響應隔膜技術指標（孔隙率、拉伸強度、斷裂伸長率等）進行綜合評分尋優，這個數據處理方法，引起筆者重視。在隨后的項目討論中、發現上?；ぱ芯吭翰簧賹嶒炑芯宽椖可婕按祟惙椒?，但應用方法不太規范。為此調整講義編寫計劃，和同仁一起針對性查閱了多指標綜合評價方面的一批資料，剖析了一些案例，并在項目中探索應用。

一 概述

1 問題的提出

實驗研究中多響應指標是個普遍現象。

超薄瀝青混凝土研究：其他條件固定，考察變量是粉料比、料石類型、瀝青類型、填料類型、粗料石含量5個因素；選用L8（4×24）設計，極差分析尋優，多響應yj見表1。

液體葡萄糖生產工藝最佳條件選?。浩渌麠l件固定，考察粉漿濃度、酸度、穩壓時間、工作壓力4個因素；選用L9（34）設計，極差分析尋優，多響應yj見表2。VD3光化學合成研究：其他條件固定，考察投料量、某溶劑量、反應時間、反應溫度4個因素；選用U7（74）設計，回歸建模尋優，多響應yj見表3。

2個響應指標容易直觀綜合平衡優化。多響應指標一般是指3個及其以上響應指標。每個指標樣本響應值構成1個子集，多維子集間形成復雜關系：各個子集的量綱不一致，各個子集值數量級相差大，可能存在定性子集，各個子集優化趨勢不一致（子集間存在不同的相關性），有的子集指標值有附加約束，子集的重要性不相同等。顯然，僅優化一個響應指標，無法滿足其他指標優化的需求。分階和綜合是人類基本的思維模式，科研人員習慣于分階逐項考察單項指標，但也需面對復雜的多項指標，對其進行綜合評價。需求驅動方法的探索。

表1 超薄瀝青多指標

表2 液體葡萄糖生產指標

表3 光化學反應多指標

2 綜合評價方法一般概念

對多指標進行測試形成的多指標響應進行綜合評價是多元統計分析的第二類問題——降維問題，是系統工程有限方案（樣本）多目標決策分析中，將多指標進行加工提煉為單一綜合目標的一種數學方法，可用于評價、決策、管理等。有的方法還適用于高維、非線性、非正態的復雜系統，已經被用于水質、環境評價、災情評估、工業競爭力分析、人力資源測評等領域。

“多指標綜合評價方法及權重的選擇”一文列舉了10余種多指標評價方法：層次分析加權法（AHP法）、主成分分析法、TOPSIS法、人工神經網絡法、模糊綜合評判法、灰關聯聚類法、因子分析法、綜合指數法，等。DPS軟件中還專門介紹了投影尋蹤分類法（PPC法）等。顯然，不同類型的問題有相應的多指標綜合評價方法。

植煙土壤養分評價：有45個鄉鎮土壤樣本，涉及堿解氮、交換性鎂等14項養分化學指標；根據前人研究成果，引入拐點值，每個指標子集分成4類，土壤樣本綜合評價分成5類，采用主成分分析和聚類法進行綜合評價。

對某醫院1994—1998年的工作質量進行綜合評價，涉及門診量、治療率、病床周轉率、病死率等11項指標的標準值和實際值，采用平均指數法進行綜合評價。

某工程項目的風險評價是個4層目標樹結構，底層指標涉及鋼衍梁制安、柱基礎等18個指標，每個指標分為5個等級，采用層次分析法進行綜合評價。

有資料認為，對于多響應子集，十幾種綜合評價法尚不存在“最好的評價方法”，應根據不同專業領域選用“可行的評價方法”。面對系統工程問題，用同一種方法對同一類項目進行綜合評價，可以分出“優”“劣”排序，但方法不是惟一的；用不同方法對同一項目進行綜合評價，沒有較為客觀的統計量，可借助驗證方法來表征不同方法之間的“優”“劣”。目前對方法的選用：一是依靠帶有主觀成分的“認可度”；二是同類項目評價方法相對穩定，采用“一致性”的原則。

對于實驗研究中的多指標，一般響應不是高維的，都是單層的、沒有冗余的，筆者認為綜合評價方法可采用改進的簡易公式評價方法，這是本講義討論的重點。

3 改進簡易公式法

改進簡易公式法的基本思想是樣本多響應指標的無量綱隸屬度具有可加性，通過“加權和”得到單一綜合評價指標集。

式中：i=1，2，3，...，n，是試驗樣本量；

j=1，2，3，...，k，是響應指標數；

Wj是各響應子集的權值；Yij為i個樣本j指標值yij在j子集中的隸屬度。1965年，系統科學家札德（Zadeh L A）提出模糊集合新概念，用隸屬度表示某元素與相應子集的關系。本方法引用隸屬度Yij表明其在子集中的隸屬排序，在閉區間[0,1]中得一對應數據指標，計算如下：

式中：yij為i個樣本j響應指標實驗值；

yjmax為j響應指標子集中最大實驗值；

yjmin為j響應指標子集中最小實驗值。

在上述眾多綜合評價方法中，差異主要體現在無量綱處理、權重選擇、綜合指標合成的不同上。如TOPSIS法中無量綱歸一化處理，采用

而原簡易公式評分法是采用子集指標波動的標準差Sj對指標做無量綱處理Yij=yij/Sj，并由此比值表征其在該子集中的排序資格。筆者認為這樣的無量綱處理，各子集間比值范圍相差可能較大，不如隸屬度計算將多維子集映射在[0,1]區間，樣本子集間排序也有直觀可比性。

在做隸屬度無量綱處理前，如果子集含有定性模糊指標，首先要轉化為打分定量指標。此外，對指標值應作專業技術上的判斷：高優——指標越高越好；低優——指標越低越好。在綜合評價中，對低優子集須進行1/yij轉換，保持優化趨勢一致性后計算隸屬度。也有資料對低優子集不作倒數轉換，而在隸屬度計算時作如下處理：

4 權重系數的選擇

從專業技術上分析，實驗研究中的多指標響應可分為主響應決定型、主響應突出型、響應加權型三類。前兩類較易處理，本文討論的是響應加權型多指標綜合評價方法。

在綜合評價方法中，各個指標不同的重要性，權重系數在相當一段時間內是由專家按主觀方法確定的，因此稱為“專家權”“經驗權”?！翱陀^權”權重系數是依靠數據驅動，利用多指標子集的數據開發了熵權法、標準離差法、信息量權數法、獨立性權數法等十余種方法。權重系數的選擇對評價結果影響較大，被看作是綜合評價中的重中之重。

有些方法因過于繁復而難以推廣。根據科學、簡明、可操作性，筆者推薦采用改進的信息量權數法，其基本思想是根據指標變異性大小來確定客觀權重，變異程度越大（即響應子集中yij值波動范圍越大），其優、劣差距越大，信息量越多，在綜合評價中的作用越大，權重越大。所以可直接利用各子集變異系數Cvj，經歸一化后求權重系數；筆者認為，同時要計及指標子集的平均值yj對研究期望yj*的偏離，偏離度大的子集對綜合評價優化的影響越大，其權重也應該越大。

子集變異影響的權重系數式中：yj為j指標的平均值；

Sj為j指標的標準差；

子集平均值偏離影響的權重系數：

筆者建議在此客觀權重系數基礎上，兼顧專業知識和經驗僅作小范圍調整，降低主觀性過度干預。

二 方法框架

對多指標綜合評價理論概念描述僅限于基本思想、邏輯的合理，但方法框架，必須具體、清晰，以便于規范應用，見圖1。

框架圖解釋如下：

（1）多指標試驗設計

在實驗研究中，還是推薦使用（UD）均勻設計。由于多指標綜合評價優化的復雜性，建議實驗樣本量N和考察的變量因素M之比（N/M）在2～2.5范圍內適當取大些。

圖1 多指標綜合評價方法框架

（2）結果和判斷

多指標綜合評價的指標的測試工作量很大，后續計算工作量也大，為少走彎路，在框架圖中設置本節點。

由于均勻設計在實驗考察變量的多維空間范圍內均勻布點，試驗設計本身就有優化的功能。針對專業開發的技術指標，相關技術標準，實驗結果樣本中應該出現接近或達標的響應值，如果沒有出現這樣的“好點”，也就是試驗涉及的變量及范圍選擇有問題，實驗結果沒有接近優化值的區域，需要重新設計。對于多指標實驗研究，只要有一個指標子集中沒有出現“好點”，應予以充分重視，判斷是否需要重新設計。

（3）各子集統計建模

子集二次多項式逐步回歸建模，是綜合評價集建模尋優的技術基礎（采用其他模型擬合、映射的復雜對象，另行討論）。

（4）統計檢驗

各子集模型的統計檢驗可以反映多指標實驗的數據質量，模型的顯著性，以及是否需要補充修整實驗。不能有一個子集通不過檢驗，這是綜合評價方法的必要條件。如果子集模型不可信，沒有統計顯著性，那么綜合評價統計模型尋優就沒有意義了。

（5）子集優化趨勢一致性

實驗研究指標在專業上數值越大越好——高優，數值越小越好——低優。在綜合評價時各子集優化趨勢應一致，將低優樣本值作1/yij倒數變換。

（6）子集隸屬度計算

經隸屬度計算，各子集相應值消除了量綱及數量級的差異，并在[0,1]區間中確定了排序資格。

（7）數據計算權重系數

采用改進信息權數法求得權重系數wj，再根據專業知識、經驗進行微調。筆者建議：“客觀權”+“專家權”→“綜合權”。

（8）綜合評價加權和計算

采用改進簡易評分公式計算獲得降維至一維的綜合評分集。

（9）綜合評價集建模優化

采用二次多項式逐步回歸建模尋優。

（10）統計檢驗

根據檢驗結果決定是否需要補充修整實驗，是否需要采用人工神經網絡反向傳播（BP）算法、支向量回歸（SVR）等其他方法比對計算、尋優。

（11）優化驗證

綜合優化工藝條件應予以實驗驗證，如果結果和綜合優化模型預報不一致，可將此組實驗作為補充修整實驗，再進行統一建模。

（12）按要求編制編寫技術文件

實驗研究中的多指標綜合評價方法和社會科學中的系統工程綜合評價方法有所不同。圖1方法框架中節點1，2，3，4是本方法的技術基礎和必要條件；節點 5，6，7，8，9 是方法的主體；節點 10，11 是實驗研究多指標綜合評價方法的特點——及時檢驗、驗證。

本方法框架適用于實驗研究中采用統計模型尋優的多指標綜合評價。

三 應用案例

2016年1月4日，上海應用技術大學和上?；ぱ芯吭汉献髋囵B的專業碩士趙修顯的課題立項：土壤中復合重金屬化學固化技術研究。在曹衛宇、羅勇等導師的支持之下探索、學習試驗設計和數據處理技術。同年6月份完成小論文初稿“基于一種硫磷復配體系的土壤化學固定技術研究”，作者是趙修顯、陳東輝、曹衛宇、羅勇、徐靜安（刊登于《應用化工》2017年第2期上）。在近半年時間內，我們交流討論10余次，培育了本應用案例。本講義側重方法程序，對其進行引用并解讀。

1 實驗方案簡介

本項目以硫脲和羥基磷酸鈣復配體系為固定劑，對土壤中重金屬鎘（Cd）、銅（Cu）、汞（Hg）、鉛（Pb）和鋅（Zn）進行固定化研究，應用U10*(108)均勻設計表安排試驗?？疾炝螂逵昧縓1、氫氧化鈉用量X2、羥基磷酸鈣用量X3、固定時間X4、土壤含水率X5等5個實驗因素。研究目的是尋求綜合優化的復配型固定劑及固定化工藝條件。這是一個多因素多響應指標的綜合優化工程技術開發項目，由于實驗工作量、時間等限制，采用了效率較高的均勻試驗設計，而且選用了U10*(108)表，其樣本率=樣本量/因素數=10/5=2，比較低。為提高實驗數據的穩定性采用雙樣實驗。均勻試驗設計及部分試驗結果見表4。

表4 均勻設計試驗及結果

2 實驗結果判斷

對5個子集鎘、銅、汞、鉛、鋅固定率的直觀分析均出現大于期望值90%的結果。以出現大于90%樣本量最少的鎘為研究對象進行分析，見表4。由于均勻設計是在試驗的空間中“均勻布點”，其試驗設計方案本身就有獲得“好點”的優化概率。出現No.7等“好點”，表明試驗范圍內存在優化區域，試驗因素及其范圍的選擇合理，為數據處理進一步優化提供了基礎。

3 子集建模

采用DPS數據處理二次多項式逐步回歸法建模。

限于篇幅，本文僅列出y1鎘子集統計模型建模的計算過程，y2銅、y3汞、y4鉛、y5鋅的子集建模過程省略。

4 子集統計檢驗

各子集統計模型中變量項的偏相關系數顯著水平P值均小于0.05，檢驗顯著，其他統計量匯總由表5所示。

由表5可見，對子集多元回歸統計檢驗，統計模型顯著性水平P＜0.01，高度顯著；各子集模型中變量偏相關系數的顯著水平P＜0.05，顯著；各子集模型擬合剩余標準差S的相對標準差小于0.2%，正常；調整決定系數是對模型的決定系數作自由度的調整，后者接近且逼近1正常；殘差統計調整量d滿足 0＜d＜ 4，d 值接近 2，處于 1～3 之間，表明殘差獨立性正常。上述統計量檢驗通過。

5 優化趨勢一致性分析

本案例為對土壤中重金屬化學固定的配方和工藝研究，多指標相應固定率均為高優，不必變換。

6 子集隸屬度計算

由表4的固定化率代入隸屬度計算公式（2），即得到y1鎘的隸屬度，現把5個指標的隸屬度計算結果匯總于表6。

7 權重系數選擇

本案例前期工作還是按傳統方法開展根據專業知識及獲得的采用“經驗權”實驗數據，人為地選擇了3組權重系數進行試算，最后選擇能兼顧各子集優化的權重分配：

依靠數據驅動、采用改進信息量權數法，將另行討論。

8 加權和計算

將表6子集隸屬度按樣本序號代入改進簡單評分公式（7），得到綜合評分隸屬度集表7。

表5 子集統計量匯總

表6 子集隸屬度匯總

9 綜合建模優化

采用DPS數據處理二次多項式逐步回歸法建模，為節省篇幅僅列出計算結果。

10 統計檢驗

根據DPS軟件的擬合結果，得出回歸方程的P=0.0052717，決定系數R2=0.999 94，剩余標準差S=0.002 0，調整后決定系數 Ra2=0.999 944，Durbin-Watson統計量d=1.8053，與2接近。模型擬合在統計上有顯著意義，預報最優工藝條件見表8。

11 優化驗證

統計模型（8）預測最佳工藝組合條件綜合評分隸屬度Y=1.1001。需要說明的是，此處Y≥1.00在理論上是可能的。因為在各子集隸屬度計算時，把實測yimax的隸屬度計算定義為1，模型優化值完全可能超過樣本的實測好點值。

對表8優化工藝進行驗證實驗No.11各子集固定化率見表9。

表7 綜合評分集

表8 最高指標時各個因素組合

表9 驗證No.11各子集固定化率

由表9數據可以按公式（2）計算得到相應子集的隸屬度，并由公式（7）計算獲得綜合評分驗證優化值，見表10。

模型（8）預報最優工藝條件Y=1.100 1，驗證實驗綜合評分為0.978 34，則預報相對偏差（1.100 1-0.97834）/0.97834=12.4%。盡管表9各子集重金屬固定率均已達到大于90%的期望值，但預報相對偏差12.4%對于實驗研究的統計模型而言顯得偏大。把No.11驗證實驗和U10*（108）實驗數據一起建模，對統計模型進行修整。計算結果見式（9）。

表10 驗證No.11各子集隸屬度及綜合評分

擬合回歸方程P=0.001 318 1，決定系數R2=0.996 095，剩余標準差S=0.032 4，調整后決定系數Ra2=0.986 982，Durbin-Watson 統計量 d=1.214 3,模型擬合在統計上有顯著意義。

現有一組實驗數據No.12可用于檢驗模型(9)的預報功能，實驗條件見表11，實驗結果見表12。

表11 驗證No.12工藝條件

表12 驗證No.11各子集固定化率

將表12數據由定義式(2)計算得到相應子集的隸屬度，并由公式(7)計算獲得綜合評分值，見表13。

將表11工藝條件代入模型(9)，可得預報值Y=1.027 7，而實驗驗證（表13）的綜合評分為0.954 1，預報相對偏差小于8%。上述模型(8)的預報相對偏差為12.4%，可見模型(8)修整為模型(9)，預報驗證的相對偏差得到較大改善，能被土壤改性專業的工程技術研究所接受。

12 初步結論

通過均勻設計U10*(108)的10次實驗，追加No.11進行優化驗證、學習修整，再追加No.12驗證實驗，獲得了具有顯著意義的模型(9)，檢驗了多指標綜合評分采用改進簡易公式評價方法的可能性；追加的No.11，No.12的多指標固定化率見表9及表12，5個指標的固定化率全部大于期望值90%，證明了多指標綜合評分建模綜合尋優的可操作性。

表13 驗證No.12各子集隸屬度及綜合評分

現先把上個階段的工作編寫成文，下階段還將進行更深入的應用討論。

每年的4月23日是世界讀書日。5月6日筆者因咳嗽住院輸液，97歲的室友給了我幾份報紙一閱。在《文匯學人》中讀到，在以色列每人每年讀書64本、俄羅斯55本、日本40本、韓國7本，而中國不到1本。不管是深閱讀還是淺閱讀，面對快速發展的大千世界，我們還是要多讀點書。