應用DS算法消除室內幾何測試條件對土壤高光譜數據波動性的影響

洪永勝， 于 雷*， 耿 雷， 張 薇， 聶 艷， 周 勇

(1.華中師范大學 地理過程分析與模擬湖北省重點實驗室， 武漢 430079；2.華中師范大學 城市與環境科學學院， 武漢 430079)

?

應用DS算法消除室內幾何測試條件對土壤高光譜數據波動性的影響

洪永勝1，2， 于 雷1，2*， 耿 雷1，2， 張 薇1，2， 聶 艷1，2， 周 勇1，2

(1.華中師范大學 地理過程分析與模擬湖北省重點實驗室， 武漢 430079；2.華中師范大學 城市與環境科學學院， 武漢 430079)

土壤高光譜遙感是土壤近地傳感器(Proximal Soil Sensing)研究的重要方向，具有方便快捷、無破壞、成本低等優點，可以高效地分析和估算土壤屬性參數.土壤高光譜數據的采集在室內較野外容易控制環境因素(如土壤水分、土壤表面屬性等)，獲取數據更加穩定且具有可重復性，因而，基于室內高光譜數據反演土壤屬性參數在國內外已形成較為成熟的理論.但是，室內土壤光譜數據的采集方法缺乏統一的標準體系，限制了光譜數據的共享，關鍵的幾何測試條件不同而引起的光譜差異也未能消除，導致不同幾何測試條件觀測的光譜數據所建模型的傳遞效果較差.該研究以江漢平原公安縣的36個土壤樣本為研究載體，通過在室內環境下設置光源入射角度(A)、光源到土壤表面距離(L)、探頭到土壤表面距離(H)3個幾何測試參數的不同梯度組合，采用ASD FS3地物光譜儀獲取27個組合的光譜數據，利用偏最小二乘回歸(Partial Least Squares Regression，PLSR)建立27個參數組合的土壤有機質含量 (soil organic matter content，SOMC)的反演模型，分析不同參數組合對土壤高光譜數據離散性的影響，確定1組理想的幾何測試參數組合用于其他26組參數的模型傳遞研究，探討直接標準化(Direct Standardization，DS)算法在消除其他26組參數組合光譜差異方面的可行性.研究表明，A30L50H15是室內較為理想的土壤高光譜的幾何測試參數組合；L對土壤光譜反射率的影響沒有明顯的規律，而土壤光譜反射率隨A增大而增大、隨H增大而降低；經過DS算法校正后的其他26個參數模型的驗證RPD值均增加到5.54，基本無光譜信息的丟失，模型穩定，有效的解決了不同幾何測試參數之間光譜數據的差異性問題.

土壤有機質； 高光譜； 室內幾何測試參數； 模型傳遞； DS算法； 光譜校正

土壤作為農業生產的主要對象之一，具有為農作物提供并協調營養條件的能力，而快速精確掌握其理化特性參數是農情信息的關鍵，對推進精準農業發展、土壤數字化制圖具有重要意義[1].高光譜遙感技術具有方便快捷、無破壞、無污染、信息量大等優點，已被逐漸應用于土壤關鍵參數(如土壤含水量、有機質、重金屬等)含量的定量估算[2-3].目前，土壤光譜的獲取手段主要涉及3種方式：室內光譜測量、田間近地采集、航空航天遙感獲取[4].室內土壤光譜測試環境(水分、粒徑等因素)較室外環境影響條件容易控制、觀測結果穩定且具有良好的可重復性，被國內外廣大學者所采用[5].但是，室內土壤光譜數據獲取的幾何測試參數(光源距離、光譜入射角度、探頭距離等)也沒有統一的標準體系，增加了光譜數據的測試中的不確定性，關鍵的幾何測試參數對光譜數據的影響也未能消除，限制了光譜數據之間的共享性、可比性[6].

模型傳遞方法，用于解決相同光譜儀器不同幾何測試參數的光譜反演模型的共性問題[7].光譜標準轉換法是模型傳遞的一種常用算法[8]，主要的轉換法有直接標準化法(Direct standardization，DS)、分段直接標準化法(Piecewise direct standardization，PDS)等.陳奕云等在室內環境下通過對95個土壤樣本進行人工加濕風干處理，測得不同濕度等級土壤高光譜數據，運用DS算法消除濕度差異對土壤高光譜估算有機質的影響，校正后建立模型的RPD值提高到7.01[9].Ji等采用PDS算法將在野外環境下測量土壤光譜數據轉換成室內環境下的光譜數據，建立野外光譜與室內光譜的模型傳遞相關關系，實現了野外環境影響因素的去除，土壤有機碳的預測精度R2較野外提高0.68[10].模型傳遞的思想已應用于消除不同的測試環境、濕度等級等因素對原有光譜數據建模精度的影響，有效提升了模型的預測精度.

1 實驗部分

1.1 土樣采集與制備

實驗土樣采集于湖北省中南部邊緣的公安縣，江漢平原腹地，地勢平坦.選用十字法取樣，土壤采集時剔出表層侵入體及其他雜物，充分混勻后用四分法收集樣品，采樣耕層深度為0～20cm.樣品放置于室內，風干后磨碎、過2 mm孔篩，將每份土樣分為兩份，分別用于高光譜數據采集和土壤農化分析測試.土壤有機質含量采用重鉻酸鉀容量法-外加熱法測定，表1為36個土壤樣本的描述性統計特征.

表1 土壤有機質含量統計特征

1.2 光譜測試與實驗設計

土壤光譜反射率的測定采用美國ASD(Analytical Spectral Devices)公司開發生產的 ASD FieldSpec3地物光譜儀.波譜范圍為350～2 500 nm，采樣間隔為1.4 nm(350～1 000 nm)和2 nm(1 000～2 500 nm)，重采樣間隔為1 nm.

已有研究表明，影響土壤高光譜數據離散性的室內幾何測試參數主要包括：光源到土壤表面的距離、光源入射角度、傳感器(探頭)到土壤表面的距離、培養皿的直徑和高度等[5].本研究的實驗設計在保證光源能為土壤表面提供平行光照(無陰影)的50W的鹵素燈、探頭垂直于供試土壤表面、培養皿的直徑范圍(10 cm)大于探頭的視場角、培養皿的深度(2 cm)大于1.5cm、土樣表面用直尺刮平、光譜測量在暗室環境下等可控影響因素不變的情況下(圖1)，主要研究光源入射角度(A)、光源到土壤表面距離(L)、探頭到土壤表面距離(H)3個參數對土壤光譜反射率的影響，并設置不同的梯度水平(表2)，將參數1代表A15L30H15；參數2代表A15L30H30；參數3 代表A15L30H45；參數4 代表A15L50H15；……；參數26代表A45L70H30；參數27 代表A45L70H45.

每個土樣測量4個方向(轉動3次，每次90°)，每個方向上保存5條光譜曲線，共20條，作算術平均后得到土樣實際的反射光譜數據.選用Savitzky-Golay 9點濾波平滑法(多項式階數為2)對原始土壤光譜反射率進行平滑去噪[11].每份土樣的光譜曲線去除噪聲較大的邊緣波段350～399 nm和2 401～2 500 nm.

圖1 ASD FieldSpec3地物光譜儀的幾何測試參數設置Fig.1 Geometric parameters of ASD Field Spec3 instrument set-up[3]

表2 幾何測試參數正交實驗的因素和水平梯度

注：參數1代表A15L30H15；參數2代表A15L30H30；參數3 代表A15L30H45；參數4 代表A15L50H15；……；參數26代表A45L70H30；參數27 代表A45L70H45；下同.

1.3 DS算法

DS算法是近紅外光譜分析最常用的模型傳遞方法之一，利用全光譜的光譜數據逐一校正每個波長點[12].設主光譜矩陣為S1(m×p)，從光譜矩陣為S2(m×p)，m為土壤樣本個數，p為光譜波段個數.DS算法的主要思想是通過S1(m×p)和S2(m×p)求取兩者之間的轉換矩陣，建立校正模型.具體算法流程如下：

(1)

其中，B(p×p)為轉換矩陣，ds(p×1)為背景校正矩陣，λ為所有元素為1的(m×1)列向量.

為計算未知矩陣B，引入中心化矩陣Cm(m×m)：

Cm=Im-(1/m)λλT，

(2)

(3)

則得到

(4)

式中，“+”代表廣義逆矩陣.將轉換矩陣B代入方程(1)中，則得到：

(5)

式中，S1m、S2m分別為S1矩陣和S2矩陣每列元素的平均值組成的行向量.

1.4 模型建立與驗證

PLSR是一種多變量統計分析的方法，可以實現回歸建模、數據結構簡化和兩組變量間的相關性分析，同時還考慮了分解自變量光譜矩陣和目標因變量矩陣的影響，將壓縮與回歸相結合，使建立的模型具有更好的穩健性，該方法已成為土壤高光譜線性建模統計分析的主流方法[13].建模過程采用Leave-one-out交叉驗證法，用以確定最佳主成分因子個數，防止過擬合的發生.

Savitzky-Golay光譜數據平滑預處理、PLSR建模分析、DS算法的模型轉換、圖表分析繪制均在MatlabR2012a(TheMathworksInc.，USA)環境下完成.

2 結果與討論

2.1 采用PLSR分析確定室內土壤高光譜理想的幾何測試參數

圖2 基于不同幾何測試參數的土壤有機質含量PLSR估算研究的比較)Fig.2 Comparison of and RMSEcv for SOMC estimation using PLSR with different geometric parameters

2.2 室內幾何測試參數對土壤高光譜數據的影響

為深入研究光源入射角度(A)、光源到土壤表面距離(L)、探頭到土壤表面距離(H)3個參數對土壤高光譜反射率的影響，實驗采用變化1個參數、固定另外2個參數的對比方法，分析單因素對土壤光譜反射率的變化影響(圖3)，并將參數13應用于各參數之間的比較分析.由圖可知，各參數的土壤光譜反射率具有以下共性特征：曲線均呈現上凸遞增趨勢；在可見光波段范圍內曲線呈現明顯的上升趨勢，而在近紅外波段范圍內曲線變化趨于平緩；在1 400、1 900 以及2 200nm附近存在水分吸收谷，但每條曲線的吸收深度和吸收面積都存在差異性.

圖3(a)為光源入射角度(A)對光譜反射率的影響因素圖，土壤的光譜反射率隨光源入射角度(A)增大而增大，這是由于土壤表面不是朗伯面，具有二向反射特性，導致進入傳感器探頭的能量通量不同，進而影響土壤高光譜曲線的離散性.圖3(b)為光源到土壤表面距離(L)對光譜反射率的影響因素圖，光源到土壤表面距離(L)對土壤高光譜反射率有影響，但沒有呈現單調遞增(或減)變化的規律，L為50cm時光譜反射率最高.圖3(c)為探頭到土壤表面距離(H)對光譜反射率的影響因素圖，土壤的光譜反射率隨探頭到土壤表面距離(H)增大而降低.因此，土壤的高光譜反射率因幾何測試參數的組合不同而呈現一定的差異性.

圖3 不同幾何測試參數的土壤光譜反射率平均值比較Fig.3 Comparison of average spectral reflectance with different geometric parameters

2.3 運用DS算法進行光譜校正

以參數13的光譜為主光譜，其他26個參數的光譜分別為從光譜.采用DS算法求取主、從光譜矩陣之間的模型轉換矩陣B(p×p)，對從光譜進行校正，使不同幾何測試參數的光譜反射率均匹配于參數13的光譜；利用轉換后的從光譜矩陣對參數13的光譜矩陣模型進行驗證，檢驗參數13模型在不同幾何測試參數光譜之間的傳遞效果，以達到提高該模型光譜數據的共享性、適應性的目的.

選取PLSR建模精度最差的參數組合27(即A45L70H45，以下簡稱“參數27”)用來檢驗DS算法的模型轉換效果，并分別對參數27校正前、后兩組光譜數據進行三維主成分分析，圖4為參數13和參數27兩個樣本的前3個主成分的得分圖.圖4(a)顯示，兩個參數樣本的三維主成分得分點相對分散，參數27的光譜主成分分布圖獨立于參數13范圍之外，表明不同幾何測試參數的樣本光譜之間具有明顯的差異性；圖4(b)為參數27經DS轉換后得到的主成分得分圖，發現校正后參數27的光譜主成分得分散點分布圖與參數13的分布圖基本吻合，兩者光譜的相似性程度較高，說明采用DS算法可以成功消除不同幾何測試參數造成的光譜數據離散性差異.

圖4 DS算法校正前(a)、后(b)參數13和參數27的光譜反射率主成分得分分析Fig.4 Principal component analysis for spectral reflectance of parameter 13 and parameter 27 with (a) and without (b) DS algorithm

圖5為DS算法校正前、后其他26組參數的土壤樣本光譜數據用于驗證參數13的PLSR模型RPD圖.DS校正前不同幾何測試參數的高光譜數據用于驗證參數13的RPD值均小于2，無法或只能粗略進行土壤有機質含量的估算；而DS校正后各參數模型的驗證RPD值由小于2均增加到5.54，基本無光譜信息的丟失，模型穩定，光譜經模型傳遞后達到了極好的預測效果.建立的模型能夠不受室內幾何測試參數的波動性干擾可以更精確地估測土壤有機質含量，實現了不同幾何測試參數之間的土壤高光譜模型傳遞，增強了校正模型的適應性.

圖5 DS算法校正前、后的其他26個參數用于參數13的土壤有機質含量PLSR估算的驗證RPD值Fig.5 Validation RPD for parameter 13 in the estimation of SOMC using other 26 parameters by PLSR method with or without DS algorithm

3 結論

本文通過在室內環境下設置不同梯度的幾何測試參數，分析研究了不同參數組合對土壤高光譜數據離散性的影響，重點探討采用DS算法消除各參數之間的光譜數據差異.研究結果表明，室內幾何測試參數對土壤高光譜數據的離散性具有較大影響，采用DS算法可以成功消除室內不同幾何測試參數的土壤高光譜數據差異性，能提高校正模型的穩健性，實現了不同參數組合間的模型傳遞，方法簡單可行.希冀本文可為完善國家、地區土壤光譜數據庫的數據共享理論和方法體系提供支持.此外，今后也可將DS算法的光譜校正思想延伸于消除野外光譜采集過程中的水分參數、溫度參數、表面粗糙度(粒徑參數)等外界因素對光譜數據的影響，擴展土壤高光譜的應用范圍，為野外光譜數據的預處理提供參考.

[1]CONFORTIM，CASTRIGNANOA，ROBUSTELLIG，etal.Laboratory-basedVis-NIRspectroscopyandpartialleastsquareregressionwithspatiallycorrelatederrorsforpredictingspatialvariationofsoilorganicmattercontent[J].Catena， 2015， 124: 60-67．

[2]VISCARRAROSSELRA，WEBSTERR.PredictingsoilpropertiesfromtheAustraliansoilvisible-nearinfraredspectroscopicdatabase[J].EuropeanJournalofSoilScience， 2012， 63(6): 848-860．

[3]SHITZ，CHENYY，LIUYL，etal.Visibleandnear-infraredreflectancespectroscopy-Analternativeformonitoringsoilcontaminationbyheavymetals[J].JournalofHazardousMaterials， 2014， 265: 166-176．

[4]STEVENSA，VANWESEMAELB，BARTHOLOMEUSH，etal.Laboratory,fieldandairbornespectroscopyformonitoringorganiccarboncontentinagriculturalsoils[J].Geoderma， 2008， 144(1-2): 395-404．

[5]TERRAFS，DEMATTEJAM，VISCARRAROSSELRA.SpectrallibrariesforquantitativeanalysesoftropicalBraziliansoils:Comparingvis-NIRandmid-IRreflectancedata[J].Geoderma， 2015， 255: 81-93．

[6] 周 清， 周 斌， 王人潮， 等. 室內幾何測試條件對土壤高光譜數據離散性的影響[J]. 華南農業大學學報， 2005， 26(1): 31-35．

[7] 柳培忠， 張麗萍， 李衛軍， 等. 基于DS算法的玉米近紅外定性分析光譜校正方法研究[J]. 光譜學與光譜分析， 2014， 34(6)：1533-1537．

[8]JIW，VISCARRARRA，SHIZ.Accountingfortheeffectsofwaterandtheenvironmentonproximallysensedvis-NIRsoilspectraandtheircalibrations[J].EuropeanJournalofSoilScience， 2015， 66(3): 555-565．

[9] 陳奕云， 漆 錕， 劉耀林， 等. 顧及土壤濕度的土壤有機質高光譜預測模型傳遞研究[J]. 光譜學與光譜分析， 2015， 35(6): 1705-1708．

[10]JIW，VISCARRAROSSELRA，SHIZ.Improvedestimatesoforganiccarbonusingproximallysensedvis-NIRspectracorrectedbypiecewisedirectstandardization[J].EuropeanJournalofSoilScience， 2015， 66(4): 670-678．

[11]SAVITZKYA，GOLAYMJE.Smoothinganddifferentiationofdatabysimplifiedleastsquaresprocedures[J].AnalyticalChemistry， 1964， 36(8): 1627-1639．

[12] 李慶波， 張廣軍， 徐可欣， 等.DS算法在近紅外光譜多元校正模型傳遞中的應用[J]. 光譜學與光譜分析， 2007， 27(5): 873-876．

[13] 于 雷， 洪永勝， 耿 雷， 等. 基于偏最小二乘回歸的土壤有機質含量高光譜估算[J]. 農業工程學報， 2015， 31(14)：103-109．

Using Direct Standardization algorithm to eliminate the effect of laboratory geometric parameters on soil hyperspectral data fluctuate characteristic

HONG Yongsheng1，2， YU Lei1，2， GENG Lei1，2， ZHANG Wei1，2， NIE Yan1，2， ZHOU Yong1，2

(1.Hubei Provincial Key Laboratory for the Analysis and Simulation of Geographical Process，Central China Normal University， Wuhan 430079；2.College of Urban and Environmental Science，Central China Normal University， Wuhan 430079)

Soil hyperspectral remote sensing has become an important research area of proximal soil sensing， which is considered to be a fast， non-destructive and low-cost method for effectively analyzing the soil key parameters. Several studies have proposed that the environmental factors， such as soil moisture and surface attributes， are more stable to be controlled in the laboratory than that in the field， data collected in the laboratory environment are more stable and repeatable， making it widely approved by researchers. However， the data sharing based on laboratory environment was limited due to lacking of uniform geometric parameters standards on data acquisition and the transfer effect was not satisfied between models established by different geometric parameters because of disparity induced by distinct key parameters. In this paper， 36 soil samples at 0～20 cm depth were collected as experimental material from Gong’an County in Jianghan Plain. The beam angle (A)， lamp distance (L)， sensor distance (H) were combined at different levels in the laboratory conditions. Then 27 sets of soil spectral data were measured by an ASD FieldSpec3 instrument， and 27 sets of quantitative inversion models for soil organic matter content (SOMC) were built using Partial Least Squares Regression (PLSR) method. Meanwhile， the fluctuations of soil hyperspectral data caused by different geometric parameters were analyzed. An optimal dataset was chosen for research on data transfer between the other 26 models. The feasibility was discussed upon the generalization capacity of Direct Standardization (DS) algorithm between the optimal geometric parameter and other 26 ones. Results showed that the optimal geometric parameter of beam angle， lamp distance and sensor distance is 30°， 50 cm and 15 cm， respectively. Lamp distance (L) has a great impact on soil spectral reflectance without a regular pattern. In contrast， the soil spectral reflectance increases as beam angle (A) enlarging， while decreases as sensor distance (H) elongating. The validation PRD for the other 26 models are improved to 5.54 after calibration by DS algorithm. Basically， no loss of spectrum information are detected， indicating the stability of the model which effectively solve the problem of disparities resulted from parameter variety.

soil organic matter； hyperspectral； laboratory geometric parameters； model transfer； Direct Standardization algorithm； spectral calibrations

2015-09-11.

國家自然科學基金項目(41401232;41271537);中央高?；究蒲袠I務費專項資金項目(CCNU15A05006;CCNU15ZD001).

1000-1190(2016)02-0303-06

S127； TP79

A

*通訊聯系人. E-mail: yulei@mail.ccnu.edu.cn.