基于離散小波的土壤全氮高光譜特征提取與反演

張娟娟,牛 圳,馬新明,王 健,徐超越,時 雷,Ba??o Fernando,司海平*

1. 河南農業大學信息與管理科學學院,河南 鄭州 450002 2. 河南糧食作物協同創新中心,河南 鄭州 450002 3. Universidade Nova de Lisboa,NOVA Informantion Managment School,Lisboa,1070-312,Portugal

引 言

砂姜黑土是我國珍貴的土壤資源,其發育于河湖相沉積物、河間洼地和崗丘間洼地環境,經前期草甸潛育化過程和后期耕作熟化過程所形成的一種半水成土,全國面積計有370萬 hm2左右,主要分布于淮北平原,其特點是質地黏重,結構松散[1]。全氮作為砂姜黑土肥力的重要組成部分,準確、快速地估測其含量對農田砂姜黑土生產力、糧食安全和農業可持續發展具有重要意義,也是加快精確農業發展的重要手段[2]。目前,砂姜黑土養分的分析仍以傳統的實驗室化驗分析方法為主,測試過程費時、費力。近年來,高光譜分析技術以其快速、簡便、不破壞等特點[3],為土壤養分的快速診斷提供新的思路和技術手段。

國內外學者利用高光譜技術反演土壤全氮已有較多研究。目前,利用高光譜進行土壤養分估測多是首先對光譜進行預處理,如對原始光譜反射率進行一階導數,二階導數、對數、連續統去除和平滑等處理[4],然后結合不同的建模方法進行模型的構建和驗證。預處理方法和建模方法的不同選擇,均顯著影響模型的預測精度。如Cheng等[5]通過估算土壤重金屬含量表明,將光譜數據進行一階導數、二階導數變換可以消除實驗室光譜中的基線漂移和多次散射效應。隨著非線性模型算法的出現,較多研究結合不同的機器學習方法開展了土壤養分含量的光譜模型構建,并取得了較好的精度。如孫小香等[6]將全波段原始光譜作為輸入變量,結合偏最小二乘、BP神經網絡和支持向量機3種建模方法,構建全氮含量高光譜估測模型。任紅艷等[7]采用偏最小二乘回歸方法建立了基于全波段高光譜反射率的全氮含量預測模型。胡貴貴等[8]在主成分方法特征提取基礎上,結合K鄰近和支持向量機模型高效定量分析了土壤有機質含量。然而,上述研究多利用全波段進行建模,而土壤全氮因受到水分、粒徑和微量元素等土壤組分的干擾[9],全氮光譜吸收特征較為微弱。為凸顯或提取土壤光譜中的全氮信息,降低數據的冗余性,篩選與研究對象相關的光譜特征和變量成為提高建模精度的一種有效方法[10]。

離散小波是一種通過對數據在時域和頻域上的分解實現更加精確的局部分析以及信號特征的分離,將光譜信號分解為不同的層,各層所包含的信息與土壤不同成分有關。低頻信息決定土壤光譜基本形狀的物質,高頻信息反映光譜采集過程的各種噪聲及土壤微量成分在原始光譜的特征[11]。王延倉等[12]利用小波變換和偏最小二乘算法構建土壤有機質含量估測模型,結果表明小波變換可以提高模型的估測能力。郭云開等[13]運用小波變換獲得小波系數,放大了土壤高光譜特征信息,而且降低了數據的維度,結合模型預測土壤重金屬鉻含量是可行的。土壤全氮含量較低時,在土壤光譜中的吸收特征較為細弱,噪聲會對光譜信息造成很大的干擾,因此,如何將土壤光譜數據內噪聲信息剔除,并最大限度地保留原始土壤光譜信息,是進一步提高土壤全氮預測精度的關鍵。

因此,以砂漿黑土為研究對象,利用離散小波變換對土壤全氮進行光譜特征提取,將低頻信息和高頻信息的分離,并確定土壤全氮最佳母小波和分解層次選擇,同時結合支持向量機和K鄰近算法構建土壤全氮估測模型,以期為同類研究提供技術參考。

1 實驗部分

1.1 數據采集

1.1.1 土壤數據

供試土壤樣本取自河南省商水縣國營農場的小麥氮肥處理試驗區,試驗施氮量分別為0 kg·hm-2(N0)、90 kg·hm-2(N6)、180 kg·hm-2(N12)、270 kg·hm-2(N18)、360 kg·hm-2(N24)。氮肥使用尿素,分別于播種期和返青期按5∶5施入。如圖1,研究區地勢開闊,土地養分充足,是河南省糧食主產區。土壤類型為砂姜黑土。野外采樣時,將每個采樣點地表植物清除,在每個單元按照五點取樣法的原則采集0～20 cm的表層土壤,將土樣置于陰暗通風處風干。為避免土壤粒徑帶來的土壤光譜異向、噪音問題,對土樣進行研磨、分別過篩0.9和0.15 mm處理,供光譜測試和化學分析使用。

圖1 研究區位置Fig.1 Location of study area

1.1.2 光譜數據

土壤光譜數據獲取采用美國ASD公司生產的FieldSpec4地物光譜儀(光譜波段范圍350～2 500 nm)。測試在暗室進行,選擇穩固的平臺利用鹵素光源和標準白板完成測量。把適量經處理的土壤樣品倒入黑色盛樣皿中,厚度為1.5 mm,用玻璃棒壓實,使其表面盡可能平整。測量時為了減小土壤樣品非目標因素的影響,測量過程中將樣品旋轉3次,每次采集10條共采集30條,計算30條曲線的平均值作為樣本的光譜反射率數據。刪除350～399和2 451～2 500 nm信噪比低、噪聲大的鋸齒波段,共獲得2 051個波段數據。砂姜黑土耕層淺薄,較其他土壤類型光譜差異不明顯。為擴大樣本之間的光譜特征差異,對光譜曲線進行了一階導數變換。

1.1.3 土壤全氮測量

土壤全氮測定采用凱式定氮法[14],表1為土壤樣本全氮含量統計特征。

表1 土壤全氮含量統計(g·kg-1)Table 1 Statistics of total nitrogen content in soil (g·kg-1)

1.2 分析方法

1.2.1 相關分析

相關分析(CA)是分別對原始光譜、一階導數光譜的各個波段與全氮含量的相關計算,計算選定的土壤樣本的全氮含量與每個波段的相關系數。在光譜波段范圍的相關系數曲線中,選取相關系數曲線的波谷和波峰作為輸入波段。相關系數的計算公式如式(1)

(1)

1.2.2 離散小波

離散小波變換的背景和原理可以被描述為有限長度信號和離散小波基的內積,其通過平移和縮放等運算功能可對光譜信號進行多尺度的細化分析[15]?？衫玫屯ㄅc高通濾波器將信號分解為一系列高頻和低頻信號,高頻信號(DC)為原始信息中的細微信號,低頻信號(AC)為原始信息中的宏觀信號[16]。二者可從細微和宏觀角度深入分析原始信息,同時還可以降低高光譜數據的維度。

1.3 建模方法

1.3.1 支持向量機

支持向量機(SVM)是由Vapnik[17]等提出的一種統計學理論,是用作分類和回歸的機器學習方法,可以在有限數據下表現出良好的泛化能力和抗噪聲能力[18]。其目的是尋找數據之間的規律并依此來預測估計數據未來的變化趨勢,在解決小樣本、高位模式識別、大規模數據集的同時,可以有效地處理非線性問題。本研究中,采用高斯核函數作為核函數,使用GridSerachCV函數發現最優參數,其中,懲罰系數代價=10和gamma=0.001。

1.3.2 K鄰近

K鄰近算法(KNN)是由Cover和Hart提出的,其原理是通過測量不同樣本特征值之間的距離進行分類,同時該算法也可用于回歸問題處理[19]。鄰近距離度量使用歐氏度量法,它定義于歐幾里得空間中兩點間直線距離,來衡量樣本特征值之間的相似性。距離越遠,即相似性越低。K鄰近算法采用python中的“sklearn.neights”包,交叉驗證法用于確定K值,K=3。

1.4 模型精度驗證

采用決定系數(R2)、均方根誤差(RMSE)、相對分析誤差(RPD)對估測模型進行評價,其計算公式分別為

(2)

(3)

(4)

2 結果與討論

2.1 土壤全氮含量與原始光譜及一階導數光譜的相關性

已有研究表明,對光譜進行一階導數變換能較好地消除背景信號或噪聲、突出光譜曲線特征、去除或減弱其他因素的影響。將土壤全氮含量與原始光譜、一階導數光譜分別進行相關性分析,見圖2。從圖可以看出,原始光譜與土壤全氮的相關系數介于-0.48～0.59。經一階導數變換后的光譜與土壤全氮的相關性更顯著,峰值點清晰,相關系數介于-0.82～0.84之間。綜合比較可知,一階導數光譜可以去除不同地背景噪聲和基線漂移,解決重疊光譜特征,獲取曲線中拐點和極值點,提高光譜與全氮的相關系數。其中,在1 373 nm處一階導數光譜與全氮含量相關系數最高,為0.84。選取一階導數與全氮相關系數最高的10個峰值對應的波長作為全氮的特征波段,分別為643、1 003、1 373、1 417、1 862、1 918、2 029、2 195、2 211和2 281 nm,用于后續的建模分析。

圖2 土壤全氮與原始光譜及一階導數光譜的相關性Fig.2 Correlation between soil total nitrogen and original spectrum and first derivative spectrum

2.2 基于離散小波的最佳母小波和分解層次選擇

利用常見的5種母小波函數對一階導數光譜進行分解,并用重構相似指標比較,分析不同母小波參數和分解層數的變化特征。隨著分解水平增加,越來越多能夠響應土壤的有用信息會被剔除,導致反射光譜的信息含量減少。DWT系數的數量描述了數據壓縮的程度,如表2所示,小波變換系數的數量隨著母小波和分解級別而變化。從L1—L13趨于下降,下降穩定在L11。5個母小波中,sym8壓縮能力最強,而coif5最弱。例如,本研究中的波段總數為2 051個(400～2 450 nm),在分解級11后,母小波為sym8的DWT系數數量為15,而coif5有29。小波分解可以根據信號的長度和小波基長度,重復進行波長分解,直到達到最大尺度。

表2 不同母小波和分解層數下的小波系數個數Table 2 The number of wavelet coefficients under different mother wavelets and decomposition levels

由于低頻系數被認為是光譜全局信息的一個指標,分解級別1—11的每級變換光譜的低頻系數被用來重構,以便發現低頻系數如何描述反射光譜。反射光譜和重構信號之間的相關性如圖3所示,相關系數從L4一直下降到L11,表明低頻系數對光譜的解釋和信號恢復能力從L4到L11逐漸下降;分解到7級后,相關性系數迅速下降到0.6以下,L11時一階導數光譜相關系數為0.4左右;母小波db10比其他母小波函數更不穩定?？紤]到數據壓縮有效性、母小波的穩定性和保持光譜信息質量的能力,選擇L1—L11分解層的母小波sym8進行小波變換,用于分析與全氮含量的相關性。

圖3 每個分解級不同母小波重構和一階導數光譜之間的相關性Fig.3 Correlations between reconstructed signals and FD spectra for different mother wavelets at each decomposition level

2.3 土壤全氮含量估測模型建立

利用離散小波將土壤光譜數據分解為11個尺度的低頻數據與高頻數據,由于小波變換分析的高頻系數代表光譜中的噪聲或微小的吸收,圖3顯示,光譜信號和分解級1—5的AC重建信號之間的相關系數接近1,這表明L1—L5處的DC振幅非常小(接近0),可以在信號信息內容沒有重大損失的情況下去除,因此,利用各尺度低頻數據作為輸入結合機器學習方法構建模型。圖4為不同分解級的低頻系數結合SVM和KNN模型構建的土壤全氮含量建模和驗證決定系數。

圖4 不同模型的決定系數與分解水平的關系Fig.4 Relationship between determination coefficient and decomposition level of different models

表3 低頻系數不同分解級土壤全氮回歸分析Table 3 Regression analysis of soil total nitrogen with low frequency coefficient at different decomposition levels

圖5 基于L5近似系數的K鄰近算法建模(a)及檢驗(b)Fig.5 K proximity modeling (a) and testing (b) based on L5 approximate coefficient

進一步將全波段和經過相關性分析后選擇的10個特征波段分別作為輸入,結合支持向量機和K鄰近建立土壤全氮模型,見表4?；谔卣鞑ǘ螛嫿ǖ哪Ｐ万炞C決定系數均在0.90以上,全波段構建的模型驗證決定系數均在0.85以上。其中,以特征波段結合KNN建模及驗證結果表現最好,建模決定系數為0.91,RMSE為0.08 g·kg-1,RPD為3.30,驗證決定系數為0.94,RMSE為0.07 g·kg-1,RPD為3.72。

表4 不同波段輸入土壤全氮模型比較Table 4 Comparison of soil total nitrogen models with different wave bands

2.4 不同建模結果比較

小波變換是信號處理的一種新型技術,利用低通與高通濾波器將光譜數據分離為低頻信息與高頻信息。高頻信息是光譜信號中包含的噪聲和特殊信息,低頻信息是光譜信號全局行為的一種表達,對應信號中的主趨勢[20]。已有研究表明土壤全氮的有益信息多集于低頻信息內,而高頻信息內含噪聲較多,信噪比相對較低[21]。本文采用離散小波處理土壤光譜,并與傳統降維方法進行對比建模。由表3和表4對比分析可知,基于不同輸入量構建的SVM模型中,模型性能如下:近似系數1—7>相關分析>全波段>近似系數8—11?；诮葡禂档淖顑災Ｐ偷念A測精度比相關分析模型和全波段模型精度提高6.7%和11.6%?；诓煌斎肓繕嫿ǖ腒NN模型中,模型性能如下:近似系數2—6>相關分析>近似系數1>近似系數7>全波段>近似系數8—11?；诮葡禂档淖顑災Ｐ偷念A測精度比相關分析模型和全波段模型精度提高3.2%和9.0%,表明離散小波可有效提升光譜對土壤全氮含量的敏感性,壓縮了光譜自變量并增加了各組分之間的區別,進而提升模型的預測精度和穩定性,這與其他學者的研究結果相似[22-23]。

機器學習被應用到遙感數據的建模中,但不同方法在構建模型時精度差別較大。Xu等[24]利用隨機森林回歸模型對濱海濕地的全氮含量估測并繪制空間分布地圖,模型決定系數為0.65,為大尺度全氮估測提供了技術指導。在本研究中,使用小波變換提取的低頻系數作為輸入構建的模型要優于全波段和敏感波段作為輸入構建的模型,且整體上使用K鄰近算法構建的模型精度要優于支持向量機,K鄰近算法可能是構建土壤全氮含量反演模型的可靠建模方法,能獲取更高的精度。本研究還存在不足之處,如樣本量較小,模型的穩定性和預測精度需要進一步驗證,在后續研究會擴大取樣范圍,獲取更多的樣本,以進一步驗證模型的可靠性。

3 結 論

以砂漿黑土為研究對象,在系統分析土壤原始光譜和一階導數光譜的基礎上,利用離散小波變換對一階導數光譜進行小波分解和重構,提取特征參數,并結合支持向量機和K鄰近算法建立機土壤全氮模型。結果表明:離散小波分析在保持原始光譜質量和降低光譜數據空間維度的基礎上,可對土壤全氮光譜特征進行提取,利用sym8母小波對一階導數光譜進行壓縮分解,L5層低頻系數結合K鄰近算法構建的土壤全氮模型表現最好,要優于全波段和以敏感波段作為輸入構建的模型。研究結果可為利用高光譜遙感技術快速、實時、精確估測土壤全氮含量提供參考。