基于多尺度超像素的高光譜圖像分類研究

王 華，李衛衛，李志剛，陳學業，孫 樂

(1.自然資源部城市土地資源監測與仿真重點試驗室，深圳 518034；2.鄭州輕工業大學河南省食品安全數據智能重點實驗室，鄭州 450002；3.南京信息工程大學計算機與軟件學院，南京 210044)

0 引言

遙感影像由于其較高的時效性，一直被用作土地利用分類、醫學圖像處理、目標檢測識別等信息采集、更新的主要數據源。高光譜遙感影像不僅包含地物空間信息，還包含豐富的地物光譜信息，在高光譜圖像分類研究中，特征提取、數據處理、算法運用等因素會影響最終分類精度。因此，全面考慮圖像特征信息、靈活運用算法對于提升高光譜圖像分類精度具有非常重要的意義[1]。

目前，用于高光譜圖像(hyperspectral image,HSI)分類的算法包括決策樹[2-3]、支持向量機(support vector machines，SVM)[4-5]、深度學習[6-7]等，相比于一般遙感影像，HSI數據提供了更加龐大的細微光譜特征[8-10]，使得傳統的逐像素方法極易受噪聲影響，并且在提取圖像特征時往往忽略相似特征聚類的重要性，降低了分類精度[11]。超像素分割能夠將圖像中空間位置相鄰且色彩、亮度、紋理等特征相似的像素點劃分成小區域，能夠將像素級影像抽象為區域級的高維數據[12-15]，是應用較為廣泛的圖像分割方法[16-18]。將超像素分割方法運用到HSI分類或目標檢測，可以提取更加有效的樣本空間特征，進而提升分類效果或目標檢測效率，如陳允杰等[19]基于超像素方法提升HSI的分類精度；劉忠林等[20]基于超像素圖像模型，極大地提高了復雜背景下的小目標檢測準確率。上述方法表明，基于超像素的改進方法可有效提高目標分類精度，但是將超像素分割應用到HSI分類中仍然存在以下缺陷：①將圖像在單一尺度下進行超像素分割，無法精確判斷初始超像素個數，數值過小可能會丟失關鍵判別信息，初始數值過大會包含過多干擾信息；②單一尺度的特征提取與單一核的特征分類很難提取較為精細的圖像信息。較為合理的方法應在滿足減少干擾信息的情況下，盡可能提取更加全面的判別信息。

基于上述研究，為有效提高HSI分類精度，本文提出一種耦合多尺度超像素分割與合成核(multi-scale spatial spectrum synthesis kernel，Ms-SSSK)的分類方法。該方法將HSI的第一主成分分量，在多個尺度下進行超像素分割，并融合所有尺度下的分割圖像，以提取較為全面的圖像空間光譜特征核矩陣，并通過權重與原始光譜核矩陣結合，形成多尺度空間光譜合成核矩陣，完成分類模型的構建與預測。本研究以Washington DC Mall HYDICE為實驗數據，在MATLAB平臺上對本文所提方法進行實現與測試，并將本文方法所得高光譜影像分類結果與多尺度濾波空間光譜核(multi-scale filtering spatial spectrum kernel，Ms-FSSK)、單一尺度下空間光譜合成核(single-scale spatial spectrum synthesis kernel，Ss-SSSK)方法、原始空間光譜合成核(original spatial spectrum synthesis kernel，O-SSSK)方法進行對比，驗證改進方法的有效性及可行性。

1 研究方法

1.1 方法流程

Ms-SSSK方法將多尺度超像素和空間光譜特征結合，有效地提升了HSI的分類精度，方法總體研究流程如圖1所示。

圖1 模型流程圖Fig.1 Overall flowchart

由圖1可知，該方法提取了空間光譜特征和原始光譜特征2種分類特征，其中空間光譜特征獲取步驟如下：①采用主成分分析(principal component analysis，PCA)算法對HSI降維，提取HSI的第一主成分分量；②在多個尺度下將提取的主成分分量采用基于熵率的超像素分割算法(entropy rate superpixel，ERS)進行超像素分割處理；③通過徑向基核函數(radial basis function，RBF)計算每一尺度下的空間光譜核矩陣；④將所有尺度下的核矩陣做均值運算，得到空間光譜核矩陣。原始光譜特征獲取步驟如下：①計算原始HSI中各像素所有波段的光譜均值；②使用RBF核函數計算各像素間的相似性，形成原始光譜核矩陣。隨后，通過權值將空間光譜核矩陣和原始光譜核矩陣結合形成多尺度超像素空間光譜合成核，并隨機選取訓練樣本和測試樣本，索引出訓練核矩陣與測試核矩陣，隨后通過LIBSVM軟件包進行分類模型的構建與預測。

1.2 數據降維

本文使用的HSI具有191個波段，每個像素點均包含大量的光譜信息，此外，相鄰的波段之間具有緊密的空間、光譜關系，若使用全部波段的光譜信息進行影像空間光譜核形成的實驗，將會因數據維數大導致實驗時間的延長、實驗工作的繁重。因此，為了快速、高效地完成空間光譜核形成工作，需要對HSI進行降維，目的是在眾多波段中挑選出包含HSI大部分光譜信息的主成分分量，再使用該主成分分量進行實驗，能夠極大地提升分類效率。

一般情況下，用于數據降維的算法有線性判別分析(linear discriminant analysis，LDA)、PCA、局部線性嵌入(locally linear embedding，LLE)等，其中應用較為廣泛的降維方法[21]是PCA，此方法降維步驟如下：①輸入原始HSI數據a×b×n，將原始矩陣處理成m×n(m=a×b)的二維矩陣；②求出m×n矩陣的均值(μ)與協方差矩陣(C)n×n，計算C的特征值(λ)與特征向量(E)；③將特征值從大到小依次排列，特征值越大則代表此特征越重要，若只提取前p個特征，則選取E中前p個列向量構造模式矩陣Ep；④將原始圖像去中心化后形成矩陣A，最后通過計算[EpT×AT]T形成降維后的矩陣。本研究通過調用MATLAB軟件中的PCA函數進行數據降維獲得第一個主成分分量且貢獻率為81.7%。

1.3 超像素分割

采用PCA算法提取高光譜影像的第一主成分分量之后，需要對第一主成分分量進行超像素分割處理，以確保具有相同或相似光譜特征的相鄰像素同屬一個類別標簽，除此之外，圖像進行超像素分割后，按超像素區域塊執行運算操作，避免了逐像素運算的繁瑣過程。

目前，用于超像素分割的常用算法有ERS、基于梯度下降法的超像素分割算法(simple linear iterative clustering，SLIC)、基于圖論的超像素分割算法(Graph-based)等，本文基于ERS[22]對提取的主成分分量進行多尺度超像素分割處理。該方法通過定義目標函數計算每個像素頂點與其鄰像素間邊的函數值，函數值越大代表2個像素相似性越高、屬于同一類別的可能性越大，將函數值最大的邊刪除，使2個像素同屬一個超像素，依次計算所有像素頂點直至超像素個數等于設定超像素數值。通過ERS算法分割圖像能夠最大程度地保留圖像邊緣信息生成較優的超像素圖像，并且在多個尺度下對圖像分別進行超像素分割處理，能夠使某一尺度中較難獲取到的特性在某個尺度中輕松提取。每個尺度的數值需滿足M=2L-1[23]，其中L為尺度個數，超像素數量N=M×q，q為初始超像素個數，根據現有研究[24]，本文選擇4個尺度進行圖像分割處理，并且q設置為400，各個尺度下的超像素分割圖像如圖2所示。

(a)N=400 (b)N=800 (c)N=1600 (d)N=3200

1.4 SVM

SVM是較為常用且能有效解決分類問題的機器學習算法，針對維度較高、樣本較少等問題表現出良好的分類效果，最常見的是線性分類問題，對待線性不可分問題，需要通過核函數完成低維空間至高維空間的映射，隨后進行分類研究[25]，核函數定義為：

K(x,y)=<φ(x),φ(y)>，

(1)

式中：φ為映射；x,y為空間內任意點。常用的核函數有sigmoid核函數、高斯(RBF)核函數與線性核函數等，針對大、小樣本，RBF核函數能夠產生很好的性能，且涉及參數相對較少[26]，因此本文選擇RBF核函數進行研究，其表達式為：

K(Xi,Xj)=exp (-||Xi-Xj||/2δ2)，

(2)

式中：δ是寬度參數，該數值的選取對分類精度會產生較大的影響；Xi,Xj為空間內任意點?；?個有效核K1，K2，一個新的有效核可由下式產生，即

K(Xi,Xj)=K1(Xi,Xj)+K2(Xi,Xj)，

(3)

K(Xi,Xj)=K1(Xi,Xj)·K2(Xi,Xj)，

(4)

K(Xi,Xj)=μK1(Xi,Xj);μ>0，

(5)

式中μ為權重值。新構造的核函數K(Xi,Xj)由K1和K2進行組合，并且K1和K2可以應用于不同來源、時相的高光譜遙感影像數據[27-28]，本研究通過式(3)將不同尺度下的空間光譜特征進行結合形成新的空間光譜核，通過式(5)以賦予權重值的形式將空間光譜核與原始光譜核結合形成合成核進行分類。

1.5 Ms-SSSK分類

本研究使用的高光譜數據集經過PCA提取主成分分量之后，在多個尺度下進行超像素分割處理，并將超像素特征定義為超像素中所有像素的光譜特征均值，通過RBF核函數計算每2個超像素的線性內積代表超像素之間的相似性，使樣本映射至核空間形成核矩陣。實驗中某一像素Xi1，其所在超像素Si={Xi1,Xi2,Xi3…Xik}，超像素中像素集合的光譜均值為：

(6)

<Φ(Si),Φ(Sj)>=K(Si,Sj)=K(Simean,Sjmean)，

(7)

由式(7)計算得出空間光譜核矩陣，遍歷訓練集中各個像素所在超像素位置并提取訓練核矩陣，p個訓練樣本的訓練核矩陣為p×p，隨后在核空間中查找出測試樣本中每個像素所在超像素位置，并找出與所有訓練樣本所在超像素間的相似性構成測試核矩陣。圖像的尺度不同獲得的核矩陣不同，將所有尺度下的核矩陣結合，公式為：

(8)

空間光譜信息的提取有利于建立各像元間空間關系，原始光譜信息的提取則更加注重地物間光譜差異有利于區分不同物體。提取出訓練集與測試集的原始光譜核矩陣，并分別將訓練集與測試集的空間光譜核矩陣與原始光譜核矩陣結合，公式為：

K=?Kpp+(1-?)Kyp，

(9)

式中:?為平衡參數，范圍為[0，1]；Kpp為空間光譜核矩陣；Kyp為原始光譜核矩陣。用于構建分類模型的多尺度超像素空間光譜合成核矩陣的計算公式為：

(10)

式中si和sj分別為像素i和j的光譜信息。由式(10)計算得出訓練核矩陣與測試核矩陣，并應用LIBSVM軟件包進行分類模型的構建與測試樣本集分類結果的預測，以驗證本文方法分類性能，并通過分類模型得出整個區域內樣本的所屬類別，由此觀察此區域地物分類現狀。

1.6 實驗方案

本文實驗在原有Ms-SSSK方法的基礎之上，設置了3組對照實驗，分別為Ms-FSSK，Ss-SSSK和O-SSSK，每組實驗的計算方法如下：

1)Ms-FSSK方法。Ms-FSSK由多尺度濾波和空間光譜核共同組成，其中多尺度濾波空間光譜核獲得方式如圖3所示。

圖3 多尺度濾波空間光譜核獲取流程Fig.3 Multi-scale filtering spatial spectrum kernel acquisition process

該方法中不同大小的濾波窗代表不同的尺度，將所有尺度下的空間光譜核結合求均值，得到多尺度空間多譜核，并通過RBF核函數獲得原始光譜核，多尺度濾波空間光譜核與原始光譜核通過權值結合形成Ms-FSSK。

2)Ss-SSSK方法。Ss-SSSK由單尺度超像素空間光譜核與原始光譜核共同組成，其中單尺度超像素空間光譜核獲得方式如圖4所示。

圖4 單尺度超像素空間光譜核獲取流程Fig.4 Single-scale superpixel spatial spectrum nuclear acquisition process

獲取原始高光譜影像各個像素所有波段的光譜均值信息，并通過RBF核函數得到原始光譜核矩陣，單尺度超像素空間光譜核矩陣與原始光譜核矩陣通過權值結合形成Ss-SSSK進行高光譜影像分類。

3)O-SSSK方法。O-SSSK由原始空間光譜核與原始光譜核共同組成，其中原始空間光譜核的獲得方式如圖5所示。

圖5 原始空間光譜核獲取流程Fig.5 Original space spectrum nuclear acquisition process

獲取高光譜影像的第一主成分分量，隨后使用5×5的窗口對主成分圖像進行光譜均值提取，并使用RBF核函數獲取原始空間光譜核矩陣，將原始空間光譜核矩陣與原始光譜核矩陣通過權值結合形成O-SSSK進行高光譜影像分類。

2 實驗結果與分析

2.1 實驗數據

本文實驗使用的高光譜數據集為Washington DC Mall，去除不透明波段之后，此影像剩余波段個數為191。影像像素大小為1 280×307×191，本研究使用圖像為591行以下部分數據(690×307×191)作為研究對象，并根據地面實際情況將研究區分為住宅、公路、街道、草地、林地、水域和陰影7種類別，各波段包含像素個數為211 830，其中樣本集個數為5 471，7個類別的訓練集和測試集個數如下表1所示。

表1 樣本類別與樣本集個數Tab.1 Number of sample categories and sample sets (個)

2.2 Ms-SSSK模型結果分析

本文選取具有191個有效光譜波段的HSI為分析對象，并將樣本集中的5 471個已知地物類別的樣本點進行標注，隨機抽取其中的820個樣本作為訓練集構建分類模型，其余4 651個樣本作為測試集驗證分類模型性能。選取RBF核構建Ms-SSSK分類模型，并結合7次交叉驗證及網格搜索，遍歷出最佳核函數參數值g為9.196，最佳懲罰因子c為16.489。

?為空間光譜核權重系數，(1-?)為原始光譜核權重系數，Ms-SSSK方法中的合成核形成時，參數?的選取對分類精度會產生一定的影響[27]，因此Ms-SSSK方法在區間[0,1]內以0.1為增幅進行權值的搜索，在每個?值下運行5次實驗程序并計算平均分類精度，找出獲得最高平均分類精度的最佳?值。針對測試集，不同權值?下的分類精度如圖6所示。

圖6 權值?對應的分類精度Fig.6 Classification accuracycorresponding to the weight ?

由圖6可知，當?為0或1時，代表最終分類核矩陣由單一核構成，并且單一原始光譜核分類精度為85.87%，低于單一空間光譜核分類精度91.79%；當?從0遞增至0.6時，測試集的分類精度承上升狀態，當?從0.6遞增至1時分類精度開始下降，因此可以認為，當?為0.6時分類精度最高，為98.53%。

由此可以看出，在基于Ms-SSSK方法的高光譜影像分類實驗過程中，用于構建合成核的空間光譜核與原始光譜核都占有重要作用，并且空間光譜核的貢獻率略高于原始光譜核。各類地物都有其獨特的原始光譜特征，但是同譜異物、同物異譜的現象時有發生，Ms-SSSK方法中原始光譜特征占比較大時，具有較精細的空間光譜特征發揮不出優勢，較易導致整體分類精度的下降，使用權值?合理地分配空間光譜和原始光譜特征，可以極大地提高高光譜影像分類精度。

2.3 方法對比分析

當?為0.6時，按照原來的c和g參數和訓練集、測試集個數設置，將Ms-SSSK，Ms-FSSK，Ss-SSSK和O-SSSK這4種分類方法分別運行5次，得出測試集的平均分類精度和所有地物分類精度如表2所示。

表2 分類結果對比Tab.2 Comparison of classification results

從表2中可以看出，Ms-SSSK的分類精度最高，達到98.53%，O-SSSK的分類精度最低，為91.60%。相比于O-SSSK，Ss-SSSK的分類精度提升3.73個百分點；相比于Ms-FSSK，Ss-SSSK和O-SSSK這3種方法，Ms-SSSK的分類精度分別提高2.04，3.20和6.93個百分點。相比于現有深度學習方法[29]，針對該數據集Ms-SSSK方法的分類精度提升了6.97個百分點。表2中的4種高光譜影像分類方法，采用Ms-SSSK得到的陰影、公路、草地的分類精度提升幅度較大，其中，陰影從O-SSSK的87.73%、Ss-SSSK的96.60%和Ms-FSSK的96.98%提升到Ms-SSSK的98.16%；草地的分類精度從O-SSSK的89.16%、Ss-SSSK的92.12%和Ms-FSSK的95.25%提升到Ms-SSSK方法的97.35%；公路的分類精度從O-SSSK的87.55%、Ss-SSSK的92.68%和Ms-FSSK的94.36%提升到Ms-SSSK方法的98.32%。4種模型的測試集分類結果如圖7所示。由圖7可以看出，數據集中陰影所占面積小且布局分散，當住宅面積較大時，極易將住宅與陰影分為一類；研究區中的林地與草地在空間格局上不夠聚集且散布整個區域，并且二者具有較為相似的光譜特征，因此草地與林地在分類時易產生混淆；公路在整個區域中所占面積較大，并且與草地、林地，住宅等像元毗鄰，因此分類時易被誤劃入上述地類。

(a)原始測試集 (b)Ms-SSSK (c)Ms-FSSK (d)Ss-SSSK (e)O-SSSK

Ss-SSSK方法將圖像在一個尺度下進行超像素分割，無法判斷最佳原始超像素個數，相較于多尺度超像素而言，無法考慮較為精細的圖像特征信息；Ms-FSSK和O-SSSK方法采用濾波窗的方式獲得圖像空間光譜均值信息，然而最佳窗口的大小很難被確定，窗口過小無法包含全部重要信息，窗口過大會包含干擾信息，相較于超像素而言無法自適應均值計算區域；因此3種方法很難獲得優于Ms-SSSK方法的分類效果。將在測試集上訓練完成的模型用于分類原始圖像，形成全區域分類結果如圖8所示。并選取了2個典型區域用于分類細節信息對比，如圖9所示。

(a)原始地物圖 (b)Ms-SSSK (c)Ms-FSSK (d)Ss-SSSK (e)O-SSSK

(a)原始地物圖1 (b)Ms-SSSK1 (c)Ms-FSSK1 (d)Ss-SSSK1 (e)O-SSSK1

O-SSSK方法針對大住宅附近公路的分類效果較差，并且易混淆草地和林地，如圖8(e)和圖9(e)(j)所示；Ss-SSSK方法可以大致對7種地物進行分類，但是缺少空間細節，如圖8(d)和圖9(d)所示；Ms-FSSK方法的分類結果中陰影細節較為明顯，但是總體分類結果出現較多差錯，尤其是公路與草地，如圖8(c)和圖9(c)(h)所示；Ms-SSSK方法考慮的圖像特征較為精細，相比于另外2種方法，圖像細節區分較為明顯(如圖8(b)和圖9(b)(g)所示)，獲得了較高的地物分類精度。

為了繼續探討上述4類方法在不同規模樣本集上的分類精度變化情況，分別從樣本集合中隨機抽取200，400，600和800個樣本點用來訓練模型，剩余樣本作為測試集驗證模型性能，針對不同規模測試集各模型的相對誤差如圖10所示。

圖10 各模型相對誤差結果圖Fig.10 Relative error results of each model

從圖10中可以看出，樣本量從200遞增到800，各模型的分類誤差都在不斷下降，且樣本數目為200時，Ms-SSSK模型的分類相對誤差在10%～15%內，與另外3個模型差距最大，隨著樣本數目的遞增，分類精度差距逐漸縮小至2%～4.5%。該結果證明Ms-SSSK模型的空間光譜合成核方法能夠在核空間中學習樣本的相似性特征，進而融合圖像多維特征，以獲得較為精細充分的圖像信息，在訓練樣本集規模較小時，依然可以獲得較為理想的HSI分類精度。

3 結論

本研究針對高光譜影像具有的高維光譜特征信息，提出了耦合多尺度超像素空間光譜特征與原始光譜特征的Ms-SSSK分類模型，以Washington DC Mall高光譜圖像為實驗對象進行高光譜影像分類，并將分類結果與Ms-FSSK，Ss-SSSK和O-SSSK方法進行對比分析，主要結論如下：

1)Ms-SSSK方法得到的測試集分類精度為98.53%，相比于另外3種方法，該方法可以有效提升HSI分類精度，較易區分林地與草地等空間相鄰且光譜特征相似的地類，有利于土地監管人員了解更為準確的地物現勢信息。

2)多尺度超像素方法的運用，有利于提取更加精細的空間信息，并且能夠減少最佳初始超像素個數對分類精度的影響。合成核的運用在注重圖像空間關系的同時，合理利用豐富的光譜信息，使提取的特征更加全面。

3)在樣本集規模很小的情況下，Ms-SSSK模型依然可以獲得高于另外2種方法的分類精度，表明特征提取的全面性和精細程度在分類過程與分類精度有很大的關系。

Ms-SSSK方法能夠有效解決圖像光譜無法自適應、光譜信息獲取不全面的問題，能夠顯著提升高光譜影像分類精度，對未來精準目標識別、地物準確分類、醫學正確檢測等具有重要意義。但是，不同地物具有不同的紋理特征，本文未探討紋理特征在HSI分類中的影響，因此，在后續研究中考慮進一步結合圖像紋理特征和空間光譜特征，研究出更高精度的高光譜遙感影像分類方法。