基于小波變換和連續投影算法的黑土有機質含量高光譜估測

肖艷，辛洪波，王斌，崔利，姜琦剛

(1.長春工程學院勘查與測繪工程學院，長春 130012；2.長春市測繪院，長春 130021；3.吉林大學地球探測科學與技術學院，長春 130026)

0 引言

黑土是寶貴的土地資源，有機質含量的多少是反映土壤肥力、狀態和退化程度的重要指標[1-2]。傳統土壤有機質含量測定基于化學分析方法，步驟繁瑣，耗時費工，很難實現實時檢測。近年來，可見光/近紅外光譜分析技術以其快速、簡便、無污染、不破壞等特點，正逐步成為估測土壤有機質含量的新型有力工具[3]。

采用合適的光譜預處理和波長選擇方法不僅能提高土壤參數定量模型的估測能力，還能簡化模型，減少計算量[4]。在現有光譜預處理方法中，小波變換在信號去噪和數據壓縮方面具有獨特的優勢[5]。王延倉等[6]結合小波變換和偏最小二乘法估測土壤有機質含量，結果表明小波變換在一定程度上提高了土壤光譜對有機質含量的估測能力；李旭青等[7]利用小波變換選取具有異常光譜特征的奇異點，并采用反向傳播神經網絡模型對水稻冠層重金屬含量進行反演，取得了較好的效果。僅依賴小波變換的結果建模，參與的變量依然較多，存在的大量冗余信息不僅會降低建模速度，而且可能會影響模型的精度。因此仍需一種有效的手段從小波變換結果中進一步篩選出最優變量。常用的波長選擇方法有相關系數法、回歸系數法、載荷值法、退火算法、遺傳算法和連續投影算法(successive projections algorithm，SPA)。相關系數法、回歸系數法和載荷值法的閾值大多根據主觀經驗進行選擇，而退火算法和遺傳算法的搜尋過程非常耗時,且不穩定[8]。SPA算法能大大減少建模所用變量的個數 ,且計算效率較高，已被廣泛用于可見/近紅外光譜特征波長的選擇。章海亮等[9]和Peng等[10]都利用SPA算法選取建模變量，在保證精度的同時大大降低了模型的計算量。

綜上，本文嘗試在黑土有機質含量高光譜估測中引入小波變換和SPA算法，即首先采用小波變換對土壤光譜進行降維去噪，然后利用SPA算法從小波變換結果中篩選出最優變量，最后基于最優變量，分別利用偏最小二乘(partial least squares，PLS)和支持向量機(support vector machine，SVM)方法建立估測模型，以驗證小波變換和SPA算法的結合在黑土有機質含量高光譜估測上的有效性。

1 供試樣本及光譜獲取

1.1 土壤樣品采集

2014年5月5日—2014年5月10日，根據第二次土壤普查繪制的1∶100萬黑土分布圖，在黑龍江省黑河市嫩江市、北安市、五大連池市，綏化市以及吉林省長春市德惠市、榆樹市的黑土帶內，共采得61個土壤樣本，采樣點分布情況如圖1所示。將土樣置于室內，自然風干、研磨、過2 mm篩后，把每個樣本分成2份，一份用于光譜測量，另一份用于化學分析。土壤有機質的測定采用重鉻酸鉀容量法。將61個樣本分為2組，每間隔3個樣本取1個樣本作為驗證樣本，其余作為建模樣本，供試樣本有機質含量描述性統計如表1所示。

圖1 采樣點分布圖Fig.1 Distribution map of samples

表1 土壤樣本有機質含量描述性統計Tab.1 Descriptive statistics of soil organic matter content

1.2 光譜數據采集與預處理

光譜測量儀器是美國ASD公司開發生產的FieldSpec3便攜式光譜儀，其光譜范圍為350～2 500 nm，采樣間隔為1.4 nm([350，1 000 nm))和2 nm([1 000，2 500 nm])，重采樣間隔為1 nm。光譜測量在暗室內進行，室內幾何測試條件及測量過程的描述參見文獻[11]。每個土樣采集5條光譜曲線，進行拼接校正后，取其平均曲線，并去除噪聲較大的350～399 nm和2 451～2 500 nm邊緣波段。為擴大樣本之間的光譜特征差異，對光譜曲線進行一階微分變換。

2 估測模型建立方法

2.1 基于小波變換的光譜預處理

小波變換是基于傅里葉變換發展起來的數據處理方法,其通過伸縮和平移等運算功能可對函數或信號進行多尺度的細化分析[12]。小波變換分為連續小波變換和離散小波變換，后者是前者的離散化，在實際運用中，考慮到連續小波變換計算量大、系數冗余度高，常常使用離散小波變換[4]。離散小波變換生成的每一層系數的數目隨著分解層數的增加而減少，下層數目約為上層數目的1/2，但足以表示光譜的整體特征，且數據冗余相對較小。土壤光譜經離散小波變換處理后，可獲取低頻系數和高頻系數。低頻系數反映原始光譜明顯的吸收特征，決定整個光譜的形狀，高頻系數反映原始光譜的噪聲及微小的吸收特征[13]，通過離散小波變換舍去小波高頻系數，提取小波低頻系數，能夠一定程度上減少由光譜儀測試條件等不確定因素造成的高頻噪音[14]。在使用小波變換時，首先要選擇合適的小波基，常用的小波基有Haar，Daubechies，Biorthogonal和Symlet等，陳紅艷等[14]和欒福明等[15]都曾對上述4種小波基的表現進行研究，結果表明，基于Bior1.3小波基進行建模的精度最高。因此，本文采用Bior1.3小波基對土壤反射率的一階導數光譜進行多層離散小波變換，提取各層的小波低頻系數作為SPA算法的輸入變量。研究發現，隨著分解層數的增加，小波低頻系數與原始光譜相關性逐漸降低，根據前人研究經驗，本文選取1～7層小波低頻系數用于估測模型的建立。

2.2 基于SPA算法的變量選擇

SPA算法利用向量的投影分析，尋找含有最低限度冗余信息的變量組合，并使變量之間的共線性達到最小，同時大大減少建模所用的變量個數，以提高建模速度。有關SPA算法運算步驟詳見文獻[16]。

利用SPA算法分別對土壤全譜和1～7層的小波低頻系數進行變量篩選，圖2為土壤全譜和各分解層經SPA算法篩選得到的變量的分布情況。從圖2中可以看出，入選的變量中，在近紅外范圍的居多，可見光的較少，這是由于有機質主要源于農作物遺體，由糖類化合物、纖維素、半纖維素、含氮化合物等組成，這些成分中的C-H鍵、C-O鍵、N-O鍵、N-H鍵等的光譜響應區域位于近紅外區域[6]。

(a)土壤全譜 (b)第1層小波系數 (c)第2層小波系數 (d)第3層小波系數

2.3 模型建立

為驗證小波變換和SPA算法的結合在黑土有機質含量高光譜估測上的有效性，本文分別基于土壤全譜、1～7層小波低頻系數、SPA算法選擇的變量，利用PLS和SVM兩種方法建立估測模型。

PLS是多元定量分析中一種常用的方法，被廣泛應用于近紅外、紅外、拉曼等波譜定量分析模型的建立，已成為光譜分析中建立線性定量校正模型的通用方法。PLS將數據壓縮與回歸結合起來，通過依次選擇正交因子來擴大因變量與自變量之間的協方差[17]。

SVM作為一種非線性建模方法，在土壤參數估測中得到廣泛應用，并取得了不錯的效果。SVM通過非線性映射將輸入向量映射到高維特征空間，然后在這個特征空間中求解凸優化問題[18]，但是這樣就增加了運算的復雜度，而核函數的使用可以很好地解決這個問題，本文選擇應用較為普遍、建模效果較好的徑向基函數作為SVM的核函數。采用徑向基函數時，內核參數和容錯懲罰系數是2個必要調整參數，其取值直接影響模型精度，本文采用訓練集交叉驗證和網格搜索法進行參數尋優。

2.4 模型驗證

采用決定系數R2和均方根誤差(root mean square error,RMSE)對估測模型進行評價，其計算公式分別為：

(1)

(2)

3 實驗結果及分析

分別基于土壤全譜和1～7層小波低頻系數，采用PLS方法和SVM方法構建黑土有機質含量估測模型，并利用驗證樣本集進行模型評價，得到的決定系數R2和均方根誤差RMSE如表2所示。從表2可以看出，經小波變換處理后，模型精度確實得到了一定程度的提高：采用PLS方法時，R2由土壤全譜的0.79提高至第5層的0.88，RMSE由土壤全譜的6.06 g·kg-1降低至第5層的4.56 g·kg-1；采用SVM方法時，R2由土壤全譜的0.75提高至第5層的0.87，RMSE由土壤全譜的7.46 g·kg-1降低至第5層的4.96 g·kg-1。從表2中同時也可以發現，1～7層小波低頻系數中，僅第4，5，6層的模型精度高于土壤全譜，而第1，2，3，7層的模型精度低于土壤全譜精度，可見，經小波變換處理后，并非每一層的精度都高于原始光譜，整體上是先升高再降低的趨勢，中間層的模型精度最高，這一規律與王延倉等[6]的研究結論一致，產生這一現象的主要原因是由于有機質組成成分復雜多樣，各成分均有不同的光譜響應范圍，如果光譜分辨率較高則不能充分利用有機質各成分的光譜信息，而光譜分辨率較低則降低信噪比，進而對建模產生負面影響。

表2 土壤全譜和1～7層小波低頻系數的估測模型評價結果Tab.2 Evaluation results of the estimation models of soil original spectrum and the wavelet coefficients of 1 to 7 levels

分別基于經SPA算法篩選獲得的土壤全譜和第1～7層小波低頻系數變量，采用PLS方法和SVM方法構建黑土有機質含量估測模型，并利用驗證樣本集進行模型評價，得到的決定系數R2和均方根誤差RMSE如表3所示。對比表2和表3可以看出，經SPA算法處理后，不僅變量數目得到了大幅降低，而且模型精度也得到了一定程度的提高：采用PLS方法時，R2由0.88提高至0.93，RMSE由4.56 g·kg-1降低至3.48 g·kg-1；采用SVM方法時，R2由0.87提高至0.91，RMSE由4.96 g·kg-1降低至4.12 g·kg-1。另外，對比表2和表3可以發現，對于PLS方法，經SPA算法處理后，第2～7層小波低頻系數的模型精度得到了提高，而土壤全譜和第1層小波低頻系數的模型精度反而降低；對于SVM方法，經SPA算法處理后，土壤全譜和第1～4層小波低頻系數的模型精度得到了提高，而第5～7層小波低頻系數的模型精度則變換不大?？梢?，若不經小波變換處理，僅采用SPA算法，模型精度并不一定能夠提高，此結論進一步驗證了小波變換和SPA算法的結合在黑土有機質含量高光譜估測上的有效性。

表3 SPA算法篩選后的土壤全譜和1～7層小波低頻系數的估測模型評價結果Tab.3 Evaluation results of the estimation models of the soil original spectrum and the wavelet coefficients of 1 to 7 levels screened by successive projections algorithm

通過對比表2和表3中使用PLS和SVM方法獲得的模型精度發現，PLS精度整體上高于SVM。采用PLS方法時，最優模型的決定系數R2和均方根誤差RMSE分別為0.93和3.48 g·kg-1，采用SVM方法時，最優模型的決定系數R2和均方根誤差RMSE分別為0.91和4.12 g·kg-1。

分別將基于土壤全譜、基于小波變換的最優模型、基于小波變換和SPA算法的最優模型獲得的驗證樣本有機質預測值與實測值進行對比，圖3為預測值與實測值的散點圖，散點離直線越近表示預測效果越好。從圖中可以看出，6個模型都沒有欠擬合和過擬合現象發生，其中基于小波變換、SPA算法和PLS建立的模型預測結果最好；而未經小波變換和SPA算法處理，僅采用SVM建模的預測結果最差。

(a)基于土壤全譜的模型(PLS) (b)基于小波變換的最優模型(PLS) (c)基于小波變換和SPA的最優模型(PLS)

(d)基于土壤全譜的模型(SVM) (e)基于小波變換的 最優模型(SVM) (f)基于小波變換和SPA的最優模型(SVM)

4 結論

本文在黑土有機質含量高光譜估測中引入了小波變換和SPA算法，為驗證小波變換和SPA算法的結合在黑土有機質含量高光譜估測上的有效性，分別基于土壤全譜、1～7層小波低頻系數、SPA算法選擇的變量，利用PLS和SVM兩種方法建立了估測模型，主要結論如下：

1)經小波變換處理后，模型精度確實得到了提高，采用PLS方法時，R2由土壤全譜的0.79提高至第5層小波低頻系數的0.88，RMSE由6.06 g·kg-1降低至4.56 g·kg-1；采用SVM方法時，R2由土壤全譜的0.75提高至第5層小波低頻系數的0.87，RMSE由7.46 g·kg-1降低至4.96 g·kg-1。

2)經小波變換和SPA算法處理后，不僅變量數目得到了大幅降低，而且模型精度也得到了提高，采用PLS方法時，R2由土壤全譜的0.79提高至第6層小波低頻系數的0.93，RMSE由6.06 g·kg-1降低至3.48 g·kg-1；采用SVM方法時，R2由土壤全譜的0.75提高至第3層小波低頻系數的0.91，RMSE由7.46 g·kg-1降低至4.12 g·kg-1。

3)對于1～7層小波低頻系數，整體上是先升高再降低的趨勢。未使用SPA算法時，PLS和SVM均是第5層模型精度最高，R2分別為0.88和0.87，RMSE分別為4.56 g·kg-1和4.96 g·kg-1。使用SPA算法后，PLS第6層模型精度最高，SVM第3層精度最高，二者的R2分別為0.93和0.91，RMSE分別為3.48 g·kg-1和4.12 g·kg-1。

4)PLS和SVM相比，PLS精度整體上高于SVM。采用PLS方法時，最優模型的決定系數R2和均方根誤差RMSE分別為0.93和3.48 g·kg-1，采用SVM方法時，最優模型的決定系數R2和均方根誤差RMSE分別為0.91和4.12 g·kg-1。

迄今為止，許多土壤有機質含量高光譜估測研究中都采用了小波變換或SPA算法，并都取得了較好的估測效果，但將二者結合起來用于有機質含量高光譜估測的研究還非常有限，本研究結果表明結合小波變換和SPA算法進行黑土有機質含量高光譜估測是可行的，相比于使用單一算法，二者的結合能夠獲得更高的模型精度。但本文在建模過程中僅采用Bior1.3小波基進行小波變換，而事實上小波基種類很多，選用不同的小波基勢必得到不同的建模精度，因此，未來將會在土壤有機質含量高光譜估測中針對小波基進行系統研究。