融合超像素和多屬性形態學輪廓方法的高光譜圖像分類

李雷, 孫希延, 紀元法 , 付文濤

(1.桂林電子科技大學精密導航技術及應用廣西重點實驗室,桂林 541004; 2.桂林電子科技大學信息與通信學院,桂林 541004; 3.衛星導航定位與位置服務國家地方聯合工程研究中心,桂林 541004)

0 引言

高光譜傳感器集成了傳感技術和光譜技術,采集的圖像包含幾十到幾百個波段,具有很高的光譜分辨率,能夠從不同角度反映地物的材料特性[1],因此在資源勘探[2]、目標檢測[3-5]、土地分類[6]等眾多領域都有廣泛應用[7],然而,由于成像光譜儀距離地面較遠,加上大氣傳輸過程中的多次散射以及表面微觀物質的復雜分布,因此在高光譜圖像(hyperspectral image,HSI)中經常出現混合像素,即一個圖像像素可能覆蓋幾種不同的物質,因此其分類技術也是眾多學者研究的重點。

由于HSI的豐富的光譜特性,在以往的分類方法中,產生了眾多光譜信息的特征提取和分類方法,基于光譜信息的稀疏表示方法[8],尋找最優超平面的支持向量機(support vector machine,SVM)分類后處理方法[9],此外,空間信息同樣不可忽視,在發現僅使用光譜信息的分類效率有限時,針對空間特征提取的HSI分類方法也被提出,例如利用擴展多屬性輪廓(extended multi-attribute profile,EMAP)方法提取空間紋理信息[10-11]。Liao等[12]利用雙邊濾波提取HSI中的空間信息; Feng等[13]疊加了從原始圖像中提取的EMAP和Gabor空間信息,構建HSI單個場景的多視圖數據集。

一般來說,上述所提方法皆是從像素級層面對HSI進行信息提取,即直接對HSI進行紋理、光譜等特征提取,除此之外,HSI的另外一種表征方式是超像素分割,其考慮到了空間鄰域弱假設,從超像素級層面對HSI進行表征,提高了對HSI的辨識度。Ren等[14]利用超像素改進了異常檢測算法RX的自適應內窗; Sellars等[15]采用超像素生成收縮加權圖表示,加速了HSI的圖形分類器; Jiang等[16]通過多尺度超像素方法與傳統的主成分分析(principal component analysis,PCA)方法相結合來學習HSI固有的低維特征,提出了SuperPCA方法; Zhang等[17]改進了SuperPCA方法,將全局PCA方法結合了局部PCA,重建降維HSI; Beirami等[18]采用波段分組技術改進了SuperPCA方法,總體精度比傳統SuperPCA提高了8百分點; Jia等[19]建立了超像素之間的相似度矩陣,在超像素特征層面傳播樣本標簽。

但是上述方法均建立在超像素分割方法能夠完全提取信息的基礎上,其他處理方案諸如波段分組、線性判別分析(linear discriminant analysis,LDA)、PCA等只是輔助,因此分類的結果極度依賴分割方法的參數設置。本文受SuperPCA方法的啟發,從超像素方面來表示HSI,然而,并沒有一種最佳的方式能夠完整無缺地利用HSI的豐富信息,同樣地,也沒有任何單獨的一種表達方式能夠完整地表達HSI,性能較好的超像素分割方法也是比較依賴參數設置,需要進行多次重復實驗才能取得令人滿意的效果。因此,本文介紹了一種HSI分類方法,重點在于解決超像素分割方法依賴參數嚴重以及單一方法提取信息不充分的問題。該方法建立在超像素分割方法基礎上,分別從超像素級和像素級層面提取HSI特征并相結合。采用熵率超像素分割方法(entropy rate superpixel segmentation,ERS)將HSI分割為一個個單獨的區域,然后對每一個同質區域進行PCA分析,并重新組合,提取了HSI的低維固有的局部特征; 采用EMAP方法提取紋理特征,之后將2種信息進行融合,并采用遞歸濾波(recursive filtering,RF)方法去除信息融合后的冗余,最后進行分類。該方法將提高分類精度,減少對超像素數目設置的依賴性,提高單一方法對HSI的信息提取程度。

1 理論模型

本文提出的分類框架如圖1所示,主要包括4個主要部分: ①超像素級特征生成; ②生成EMAP特征; ③分別融合這些特征并采用RF方法濾波; ④進行SVM分類,確定最后的分類標簽。

圖1 分類框架示意圖

1.1 超像素級特征生成

超像素分割方法基于相鄰像素具有相似結構的假設,將整個圖像精細劃分為多個彼此不重疊的同質子區域,小尺度分割的超像素在強度上和紋理特征上都具有較高的一致性,由于其簡單、高效和魯棒性,被廣泛應用于圖像處理的預處理過程。由于原始的HSI波段眾多,因此分割之前需要對HSI進行PCA處理,獲得貢獻率最大的第一主成分If,然后使用ERS對圖像的第一主成分進行分割[11],描述為:

(1)

式中:Yk和Yg分別為互不重疊的同質區域;S為總的超像素數目。

傳統的降維方法多是在全局層面對整個HSI進行PCA分析,忽視了HSI的局部特征。受到SuperPCA方法[16]的啟發,為了提高對HSI的信息挖掘程度,本文采用一種“分而治之”的策略: 在生成同質區域后,對每一個同質區域進行單獨的PCA分析,然后再將它們組合起來形成新的降維HSI,如圖2所示。圖2中首先將超像素分割后的圖像作為目標處理圖像,可見圖像被劃分為多個均勻區域,每個區域由矩陣表示,矩陣列為像素的譜向量,B為原始的波段數,Si,Sj和Sk是均勻區域的位置標識,將PCA應用到每個區域中,使波段數目由B減少到d,按照原來的位置重新組合Si,Sj和Sk,即可得到新的特征集合Hsp。

圖2 獲取超像素級特征

相對于全局意義上的PCA分析,針對每一個同質區域進行PCA固然是增加了計算量,但由于PCA的高效性,兩者的計算量差距可以忽略不計。而帶來的好處是可以顯著提高第一特征向量方向的偏心率,即有效在低維空間中保存基本數據信息,經過重組后的圖像Hsp視為超像素的特征圖像。

1.2 像素級特征生成及融合

像素級特征的提取采用EMAP方法,作為傳統形態學剖面紋理特征提取方法的改進,EMAP級聯了多種屬性原則的形態學濾波器[20],其做法是首先對HSI進行PCA分析,然后根據面積、標準差、形狀等準則,分別生成不同的屬性文件(attribute profile,AP),然后級聯起來形成擴展屬性文件(extended attribute profile ,EAP),公式為:

EAP={AP1,AP2,…,APn}

,

(2)

式中:APi(i=1,2,…,n)為對分量i的屬性濾波;n為主成分個數。EMAP是將不同屬性特性向量級聯成單一向量(圖3),公式為:

圖3 獲取像素級特征

,

(3)

EMAP方法的像素級特征提取采用閾值參數計算,該參數相當于單個特征的平均值為2.5%～10%,標準偏差為2.5%,面積屬性為200和500的閾值,由于EMAP特征生成要增加眾多的維度,因此本文基于HSI的前3個主成分分量生成EMAP特征HEMAP。

1.3 融合特征及分類

EMAP方法集中考慮了圖像的全局特征,基于超像素級的分割方法生成的特征Hsp是基于局部的PCA來學習固有的低維特征,這2種特征形成了信息互補,重要的是,EMAP特征彌補了分割方法提取邊緣信息的不足的缺陷。因此采用一種簡單的融合方法,將2種特征沿著光譜維度疊加起來,計算公式為:

H=[Hsp,HEMAP]∈R

。

(4)

在分類之前,由于融合了多個特征,新特征的維度會變大,因此需要對新的特征再次進行PCA分析,提取HSI的光譜-空間特征,方法是對融合后的圖像進行域變換RF, 獲得特征圖像,公式為:

O=RF(H)δs,δr

,

(5)

式中:RF為域變換遞歸濾波操作;δr和δs分別為空間和范圍標準差參數;O為產生的特征圖像。

最后,采用SVM分類器來獲得最后的分類標簽圖label,其中,分類器的核函數選用高斯核函數(radial basis function,RBF)。

label=SVM(O)RBF

。

(6)

2 實驗及分析

為了驗證所提方法的可行性和有效性,本文選擇2個數據集作為試驗場景,同時以SVM,PCA,LDA ,SuperPCA[16], S3-PCA[17],BG-SuperPCA[18]幾種方法作為對照試驗,均在一臺2.5 GHz CPU和12 GB 內存的筆記本電腦上使用MATLAB進行實驗,同時為了評估總體分類性能,使用3種常用的分類指標,即總體精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系數。OA是正確分類的像素的比例,AA是每個類別中正確分類的特征的比例,Kappa系數則基于混淆矩陣,綜合了OA和AA這2種精度指標,取值越靠近1,表明其分類效果越好,其中,Kappa系數是圖像分類精度的最有價值的評價指標[21]。

2.1 實驗數據集

實驗選擇2個經典的高光譜數據集: Indian Pines數據集和University of Pavia數據集[22]。

Indian Pines數據集是位于美國印第安納州西北部的印第安松樹試驗場景。該場景尺寸為145像元×145像元,空間分辨率為20 m[22]。該圖像刪除了20個多余的吸水波段,共包含220個波段,并包含16種地物。真實地物圖以及偽彩色圖如圖4所示。University of Pavia數據集為拍攝于意大利帕維亞大學周圍的城區場景,尺寸為610像元×340像元,空間分辨率為1.3 m,為了消除噪聲影響,將原始拍攝圖像制作成數據集時,去除了被冗余的被水體吸收的波段,共115個波段[22]。圖5 顯示了圖像的波段合成圖,以及真實的特征圖。

(a) 偽彩色圖 (b) 地面標記樣本

(a) 偽彩色圖 (b) 地面標記樣本

2.2 數據集實驗

對于2個數據集,隨機從樣本總含量中選擇10%標記樣本作為訓練樣本,剩余的作為測試樣本。RF的參數分別為δs=200,δr=0.3; SVM分類器采用RBF核,參數選擇默認的參數; 超像素數目設置為S=100。每個數據均重復10次取平均值為最后結果。

2.2.1 Indian Pines 數據集測試

圖6所示為幾種對照算法和本文算法在Indian Pines數據集的分類結果,從圖6(b)中可以看出SVM方法錯分、誤分類現象嚴重,出現了很多的噪點,說明了在本文算法中進行濾波處理的必要性,其好處是在減少數據量的同時,也降低了誤分類現象出現的概率,本文算法中的分類結果(圖6(h))中誤分類的情況大大減少,整體分類效果優于其他同類算法。

(a) 地面真值 (b) SVM (c) PCA (d) LDA

表1中給出了6種對照算法分別在3種分類精度評價指標上的數據對比,其中,PCA和LDA方法僅僅提取了光譜信息,因此在分類精度有限,S3-PCA由于是在SuperPCA方法的基礎上提取了全局特征,因此精度有所提升。BG-superPCA方法是在superPCA基礎上將初始圖像的波段進行分組,原因是考慮到相鄰波段之間擁有相似的信息,聚合波段在一定程度上減少了冗余小噪聲的干擾,但其精度依賴超像素數目,隨機超像素數目下表現略差。本文提出的方法在增加了紋理特征的同時,采用RF方法去除了細小的噪聲,因此在3個精度評價指標上較其他算法均有明顯提升。其中,Kappa系數較最高的S3-PCA方法提高了3.55百分點,AA提高了2.24百分點。

表1 Indian Pines 數據集分類精度對比

2.2.2 University of Pavia數據集測試

圖7為在University of Pavia數據集中的實驗分布結果,可以看到雖然該數據集包含的細節較多,本文提出算法的分類精度仍優于其他算法,這是因為與其他方法相比,本文算法綜合考慮了HSI中固有的低維特征,使用EMAP方法保留了邊緣地物的輪廓細節信息,對比算法中的各個分類精度也在表2中給出。由表2可見,本文方法在此數據集中在3種分類評價指標上依然保持優勢,Kappa系數較SVM方法提高了14.23百分點。

表2 University of Pavia 數據集分類精度對比

(a) truth (b) SVM (c) PCA (d) LDA

2.3 參數變化對比

本節實驗測試不同訓練集比例對3種分類精度的影響,測試分別在2個數據集上進行,數據集比例分別設置從5%～40%,間隔5百分點,測試3個分類精度的變化。圖8為在2個數據集中,3種分類精度隨訓練集比例增加的變化圖。當訓練集比例均從1%逐漸增加至40%時,3種分類精度均在提高,驗證了本文方法的有效性。

(a) Indian Pines (b) University of Pavia

圖9為在2個數據集中,以10%訓練集,進行測試Kappa系數隨超像素的數目變化,可以看出,超像素數目的增加會對Kappa系數造成一定的影響,即有輕微的下降趨勢,但總體來看,在超像素數目很高時,2個數據集中的Kappa系數依然有令人滿意的表現,這是因為EMAP方法彌補了由于超像素過高導致圖像過分解時的缺陷,說明了本文算法能夠很好地減少對超像素參數的依賴性。

圖9 Kappa系數隨超像素數目變化圖

2.4 消融實驗分析

為了全方位驗證本文方法的有效性,在本節中,分別在Indian Pines數據集中將EMAP特征、光譜學RF、超像素特征這3種步驟去除,將訓練集逐漸增加至40%,觀察Kappa精度的變化,來測試每一個步驟的必要性。

圖10可以看出,當去掉超像素特征時獲得的Kappa精度最低,精度較完整方法下降了約10百分點,可見對高光譜圖像進行局部特征提取的必要性。不疊加EMAP特征時獲得較高的精度,去掉RF步驟的效果次之。但是均未達到完整方法的效果,驗證了疊加EMAP特征為提取紋理特征時起到了積極的效果。綜合來看,去掉任何一個步驟時,都不能達到完整算法所達到的效果,本文提出算法的每一個步驟均對特征提取過程起到了積極作用,每一個步驟都缺一不可。

圖10 Indian Pines數據集消融試驗分析

3 結論

本文提出了一種基于像素和超像素互補信息自適應融合的HSI分類框架?；诔袼氐慕稻S方法,采用分而治之的策略,提取了HSI固有的低維特征; 使用EMAP方法從像素級層面提取特征,達到像素級和超像素級信息的互補; 同時使用了RF方法去除融合信息的冗余; 最后采用SVM方法確定最后的分類標簽。

在2個公開的高光譜數據集上進行了實驗驗證,與現有的幾種分類方法相比,該分類方法在3種分類精度上均有明顯的優勢。更重要的是,該方法可以分別從像素級和超像素級層面提取特征,充分提取HSI的內部信息,在保留局部特征的同時聯系全局特征。減少了在基于超像素分割方法中對分割參數的依賴性。

在今后的研究工作中,筆者將著眼于更適合超像素級特征和像素級特征的融合方法,從而更好地適應實際應用。