一種基于EWMA-PCA的水質光譜數據標準化方法研究

周思寒，胡新宇，湯 斌，3*，趙明富，李奉笑，汪仁杰，肖棋森，肖 渝

1. 重慶理工大學現代光電檢測技術與儀器重點實驗室，重慶 400054 2. 重慶理工大學光纖傳感與光電檢測重慶市重點實驗室，重慶 400054 3. 重慶大學光電技術及系統教育部重點實驗室，重慶 400044

引 言

傳統的化學方法水質檢測精度高，但檢測周期較長、需專業人員操作、所使用化學試劑容易產生二次污染[1-2]。近年來，紫外-可見光譜法廣泛應用于水質檢測中，其具有快速、無二次污染、指紋檢測、可污染溯源等優點，已成為水質檢測領域的研究熱點[2]。在紫外-可見光譜法水質檢測系統中，為了提高整個檢測系統的精度及穩定性，對數據的光譜探測單元提出更高要求。不同儀器生產廠家制作工藝不同，同一廠家產品批次不同，以及檢測設備老化程度不同等影響因素，對同一樣本檢測結果會出現差異。在一臺儀器(稱源機，Master)建立的模型，將無法適用于另一臺儀器(稱目標機，Slave)。引起該模型“失效”的原因主要是樣本與各儀器響應函數不同所引起的量測信號不一致。因此，實際監測環境需針對不同監測點、不同光譜儀所測得的紫外-可見水質光譜數據分別建模，會導致效率低下，模型維護成本增加，而模型傳遞能夠有效解決上述問題。

國內外學者對拉曼光譜、高光譜、近紅外光譜中的模型傳遞問題有著廣泛深入的研究[3]。如結合標準正態變換，利用分段直接標準化實現拉曼光譜模型傳遞；有研究[4]實現被測物的拉曼光譜的預測模型在同類物種之間傳遞。陳奕云等[5]運用直接標準化對濕土的高光譜進行校正；翁海勇等[6]利用直接標準化算法進行圖像校正，以此研究柑橘潰瘍病高光譜模型普適性差、預測精度低的問題。張曉羽等[7]提出基于穩定競爭自適應重加權采樣的無標模型傳遞方法，提高谷物脂肪含量與蛋白質含量的近紅外光譜預測精度；徐惠榮等[8]采用直接標準化算法，基于平均光譜差值進行模型轉換，降低了皇冠梨糖度的預測均方差根誤差；有報道[9]采用FIR算法實現土壤的近紅外模型在不同測試條件下的傳遞；Qin等[10]研究了煙葉總糖的均相粉末模型轉移和混合模型方法；有報道提出SSCW(screening stable and consistent wavelength)波長優化方法，篩選出對儀器而言光譜信號一致性好且穩定的波長，以實現近紅外光譜模型的無標樣傳遞；賈一飛等[11]提出斜率截距校正結合正交信號校正，實現近紅外定量模型傳遞。上述方法能夠較好地實現拉曼光譜、高光譜、近紅外光譜的模型傳遞，并提高了對應的分析精度。

解決模型傳遞的有效方法是將儀器或數據標準化。針對現有的光譜標準化方法中，鮮有對紫外-可見吸收光譜的應用研究，且在近紅外光譜標準化中，未考慮實驗過程中產生的噪聲對特征峰偏移的影響，以及不同型號的儀器對相同樣本數據測得的量程制定范圍的不同。本工作對水質檢測儀器的標準化工作開展研究，采用基于EWMA-PCA的歸一化算法處理水質光譜數據，對提高模型傳遞的利用率，提高水質檢測精度，以及水質檢測儀器的標準化工作具有十分重要的意義。

1 實驗部分

1.1 樣品及光譜數據采集

實驗采用三種典型的應用于水質光譜檢測的光譜儀進行樣品的檢測，分別為：濱松C10082CAH光譜儀，海洋Maya2000Pro光譜儀以及奧譜天成ATP2000光譜儀，其中濱松C10082CAH光譜儀，測量波段200～800 nm，共測量2 048個點；海洋Maya2000Pro光譜儀，測量波段200～1 100 nm，共測量2 068個點；奧譜天成ATP2000光譜儀，測量波段200～1 100 nm，共測量2 048個點水質檢測系統如圖1所示。為了驗證算法的有效性，實驗除光譜儀不同外，其余實驗環境及試驗設備均相同：采用相同的光源(型號為Ocean optics DH-2000-BAL)，設計相同的光路(光學支架型號為Ocean optics ACH-CUV-VA R)，光程為9.5 cm，采用海洋抗紫外光纖(型號為Ocean optics lnc S/N OOS-004354-05)。實驗所用8組樣本溶液，均為用化學法配備的不同濃度的鄰苯二甲酸氫鉀溶液，并以其作為標準濃度的化學耗氧量(COD)溶液以供實驗測量使用，其濃度分別為20，40，60，120，160，200，400和800 mg·L-1。

每個樣本經光譜儀采集軟件多次測量后取平均。圖2(a)為濱松C10082CAH光譜儀所測光譜圖，在20～800 mg·L-1范圍內，第一個特征峰吸光度范圍在2.4～3.25之間，波段范圍在230～255 nm之間，第二個特征峰吸光度范圍在0.4～3.1之間，波段在280 nm附近；圖2(b)為海洋Maya2000Pro光譜儀所測光譜圖，在20～800 mg·L-1范圍內，第一個特征峰吸光度范圍在1.3～2.2之間，波段范圍在235～260 nm，第二個特征峰吸光度范圍在0.2～2之間，波段范圍在270～300 nm之間；圖2(c)為奧譜天成ATP2000光譜儀所測光譜圖，在20～800 mg·L-1范圍內，第一個特征峰吸光度范圍在1.3～2.4之間，波段范圍在230～255 nm之間，第二個特征峰吸光度范圍在0.3～2.3之間，波段范圍在275～300 nm之間。

圖1 紫外-可見光譜法水質檢測系統框圖Fig.1 UV-Visible spectrum water quality detection system block diagram

圖2 三個光譜儀下測得的8個標準樣本溶液的光譜圖(a)：濱松C10082CAH光譜儀；(b)：海洋Maya200Pro光譜儀；(c)：奧譜天成ATP2000光譜儀Fig.2 Spectra of 8 standard sample solutions measured under three spectrometers(a) Hamamatsu C10082CAH spectrometer；(b)：Ocean Maya 200Pro spectrometer；(c)：Optosky ATP2000 spectrometer

1.2 EWMA-PCA標準化算法原理

首先利用EWMA對樣本水質光譜數據濾波，并對數據進行降維提取主成分；再利用直接標準化算法對源機與目標機兩組數據進行矩陣變換，最后進行Z-score標準化與歸一化數據處理。

EWMA(exponentially weighted moving-average)是一種指數加權平均移動算法。該算法可平滑短期波動，保留波形長期發展趨勢，引入權重因子對數據進行最大似然估計，尋找以較高概率產生觀察紫外-可見水質光譜數據的系統發生樹，最大概率情況復原理論紫外-可見水質光譜數據。

EWMA(N)=λY(N)+(1-λ)EWMA(N-1)

i=1, 2, …,n

(1)

式(1)中，EWMA(N)為波段點N處的光譜數據估計值；Y(N)為波段點N處的光譜數據的測量值；λ為權重因子，0<λ<1，且隨著波長點N的數目增加而指數遞減；n為所測量的波長點N的個數總和。

考慮到實驗所采取的光譜儀采樣點非同步設置，采用三次多項式插值以獲得相同波長點的吸光度值。波長范圍選用三臺光譜儀測量范圍的交集。設三臺光譜儀的測量波段范圍分別為L1=[b1,b2]，L2=[m1,m2]，L3=[a1,a2]。比較范圍值，若b1m2>a2，則波長測量范圍取[b1,a2]，即在[b1,a2]波長范圍內進行插值處理，以取得相同波長點的吸光度值。直接標準化原理：將源機插值后的矩陣定義為Am，目標機插值后得到的矩陣定義為At，通過轉換矩陣F建立起Am與At兩組矩陣的聯系。

Am=AtF

(2)

(3)

(4)

(5)

2 結果與討論

實驗中3個光譜儀測得的八組待測鄰苯二甲酸氫鉀溶液的水質光譜數據，圖3(a)對應20 mg·L-1的樣本溶液，圖3(b)對應40 mg·L-1的樣本溶液，圖3(c)對應60 mg·L-1的樣本溶液，圖3(d)對應120 mg·L-1的樣本溶液，圖3(e)對應160 mg·L-1的樣本溶液，圖3(f)對應200 mg·L-1的樣本溶液，圖3(g)對應化學耗氧量COD 400 mg·L-1的樣本溶液, 圖3(h)對應800 mg·L-1的樣本溶液。

從整體波形趨勢來看，對于8組樣本溶液，三種光譜儀測得的原始光譜數據在210～300 nm范圍內吸光度比較高，且在此范圍內波形變化趨勢明顯：對于濃度160 mg·L-1及其以下的樣本溶液中，可見兩個明顯的特征峰，波段在250與280 nm左右的范圍內，對于濃度在400 nm·L-1以上的樣本溶液，清晰可見，在300 nm處新增第三特征峰(對于濃度在200 mg·L-1的溶液，Maya2000Pro光譜儀與ATP2000光譜儀并無明顯吸收峰，分析原因可能是由于三臺光譜儀的儀器狀態如檢測精度不同等造成的)；在315～430 nm范圍內吸光度值變化幅度較小。對同一樣本溶液而言，三種光譜儀仍有不同：對于第一特征峰，C10082CAH光譜儀測得的吸光度值可達到2.4～3.25；但Maya2000Pro光譜儀與ATP2000光譜儀所測得的第一特征峰的吸光度值只在1.3～2.2與1.3～2.4，且對于同一樣本溶液吸光度值差異更明顯，如圖3(a) COD 20 mg·L-1的樣本溶液，C10082CAH光譜儀測得的吸光度可達到2.4，但Maya2000Pro光譜儀與ATP2000光譜儀測得的吸光度值僅可達到1.3；對于第二特征峰，C10082CAH測得到的吸光度值可達到0.4～3.1，Maya2000Pro光譜儀與ATP2000光譜儀測得的吸光度值分別在0.2～2與0.3～2.3，且對應波段亦有不同。同時差異性對于同一樣本溶液吸光度值更明顯，如圖3(c) COD 60 mg·L-1，C10082CAH光譜儀測得的吸光度值遠大于1.5，但Maya2000Pro光譜儀與ATP2000光譜儀測得的吸光度值遠小于1，且Maya2000Pro光譜儀與ATP2000光譜儀測得的吸光度值也有差距。正是由于對于同一樣本溶液吸光度值差異較大，且出現波形趨勢不同的情況[如圖3(f) COD 200 mg·L-1]，對于單一樣本數據的準確度而言，需要對水質光譜數據進行標準化及歸一化，從而實現對儀器標準化，才能為后續穩定數據處理提供依據，實現模型傳遞。

圖3 八組鄰苯二甲酸氫鉀溶液的水質光譜數據(a)：COD 20 mg·L-1；(b)：COD 40 mg·L-1；(c)：COD 60 mg·L-1；(d)：COD120 mg·L-1；(e)：COD 160 mg·L-1；(f)：COD 200 mg·L-1；(g)：COD 400 mg·L-1；(h)：COD 800 mg·L-1Fig.3 Water quality spectral data of 8 groups of potassium hydrogen phthalate solution(a)：COD 20 mg·L-1；(b)：COD 40 mg·L-1；(c)：COD 60 mg·L-1；(d)：COD120 mg·L-1；(e)：COD 160 mg·L-1；(f)：COD 200 mg·L-1；(g)：COD 400 mg·L-1；(h)：COD 801 mg·L-1

標準化的評價指標采用傳統意義上的相關系數與方差進行比較。同時，由于第一特征峰特征明顯，具有能夠代表此段待標準化的水質吸收光譜數據的特性，因此提出第一特征峰偏移量的評價指標(以下均稱波峰偏移量，Peak offset，Po)，用以評價該方法的優劣性。對于源機和目標機所測得的同一水質樣本溶液，由于實驗過程中易產生噪聲，對于實驗所測得的水質光譜數據的第一特征峰的峰值對應波段的判斷往往會存在一個區間值，即由于噪聲的干擾，極大波峰值不止一個，而在去噪的過程中，有時候亦會去除真實的波峰值，而由其鄰近或較遠的波段的吸光度的值代替，因此，在數據處理過程中，保證特征峰不偏移或偏移較小往往顯得很重要。

波峰偏移量Po定義如式(6)

(6)

實驗結果分別如圖4所示，實驗結果統計如表1，表2和表3所示，其中圖4(a)對應組1: 此組實驗中，C10082CAH光譜儀為源機，Maya2000Pro光譜儀為目標機；圖4(b)對應組2: 此組實驗中，C10082CAH光譜儀為源機，ATP2000光譜儀為目標機；圖4(c)對應組3: 此組實驗中，Maya2000Pro光譜儀為源機，ATP2000光譜儀為目標機。

圖4 三組比對實驗測得各濃度水質吸收光譜標準化數據(a): 對應組1；(b): 對應組2；(c): 對應組

為了更直觀展示實驗統計結果，將表1，2，3繪制成圖5。從表1，2，3可以看出，3組儀器對應的八組樣本溶液的紫外-可見吸收光譜數據標準化指標評價中，除表1中20 mg·L-1相關系數保持不變外，表2，表3濃度分布從20～800 mg·L-1，標準化數據的相關系數較原始數據的相關系數均增加，從圖5(a)中可明顯看出，標準化后的值高于標準化之前的值，即兩曲線的相關系數提高，即該算法標準化使得曲線的相似度提高；從方差指標來看，濃度分布從20～800 mg·L-1，8組樣本溶液的水質數據，標準化后較標準化前方差大幅降低，從圖5(b)中可明顯看出，表明該算法標準化使得兩曲線間方差減小，則兩曲線對應波段點數據波動減小，即標準化效果越好；從波峰偏移量來分析，8組樣本溶液在三組對比實驗中，波峰偏移量均約為1，從圖5(c)中可明顯看出，比對組實驗1中，與1之間的誤差在0.002 8%～0.073 6%，比對組2，與1之間的誤差在0.000 5%～0.054%，比對組3，與1之間的誤差在0.004%～0.045%，誤差較小，說明該標準化算法在進行曲線標準化時，未犧牲曲線特征。經計算，采用基于EWMA-PCA的歸一化算法標準化后，相關系數可達到99.576 5%，方差可達到0.082 3%，波峰偏移量可降低至0.000 5%，以上三個數據均表明該算法在C10082CAH光譜儀與Maya2000Pro光譜儀、C10082CAH光譜儀與ATP2000光譜儀、Maya2000Pro光譜儀與ATP2000光譜儀三組儀器及數據標準化過程中呈良性發展，該標準化算法有效，且表現較好。

表1 C10082CAH光譜儀與Maya2000Pro光譜儀測得水質吸收光譜數據標準化評價Table 1 Standardized evaluation of water absorption spectrum data measured by C10082CAH and Maya2000Pro spectrometer

表2 C10082CAH光譜儀與ATP2000光譜儀測得水質吸收光譜數據標準化評價Table 2 Standardized evaluation of water absorption spectrum data measured by C10082CAH spectrometer and ATP2000 spectrometer

表3 Maya2000Pro光譜儀與ATP2000光譜儀測得水質吸收光譜數據標準化評價Table 3 Standardized evaluation of water absorption spectrum data measured by Maya2000Pro and ATP2000 spectrometer

圖5 三組比對實驗測得各濃度水質吸收光譜標準化評價(a)：相關系數；(b)：方差；(c)：峰的偏移量

3 結 論

通過八組溶液，3組光譜儀的對比實驗，探討了基于EWMA-PCA的歸一化算法在水質光譜數據標準化中的應用研究，并提出相關系數、方差、波峰偏移量等指標，用以評價標準化結果。研究的主要結論是：基于EWMA-PCA的歸一化算法在標準化過程中，控制波峰波段特征不變的同時很大程度上提高波形相似度，降低數據波動，減小兩波形間方差；且將該算法應用于3臺不同的光譜儀中，效果顯著，證明該算法的有效性及適應性。