基于多尺度分割的高分辨率遙感影像鑲嵌線自動提取

溫銀堂， 王鐵柱， 王書濤， 王貴川， 劉詩瑜， 崔 凱

(燕山大學電氣工程學院河北省測試計量技術及儀器重點實驗室，秦皇島 066004)

0 引言

隨著我國航天事業的蓬勃發展，高分辨遙感影像憑借覆蓋范圍廣、包含信息豐富、周期性觀測等優勢逐步走入大眾的視線，在城市規劃、搶險救災、生態環境監測等方面發揮了重要作用[1]。由于衛星相機視角限制，單景的遙感影像覆蓋范圍有限，難以展現大范圍地區的地物特征。為了獲取更大范圍、更加完整的高質量遙感影像數據，通常需要將多景影像進行鑲嵌處理。遙感影像的鑲嵌，就是將從傳感器中獲取的兩幅或兩幅以上的遙感影像數據根據一系列的遙感技術手段拼接在一起，形成一整幅大范圍影像的過程[2]。鑲嵌線的提取是其中非常關鍵的一步，為避免因不同影像間的灰度差異產生明顯的接縫線，鑲嵌線不能直接橫穿建筑物、湖泊、農田等地物區域。在遙感影像制作過程中，選擇合適鑲嵌線是消除接縫痕跡的重要手段[3]。

目前常用的商業軟件對于鑲嵌線的提取結果并不理想，不能有效避讓建筑物等明顯的地物目標[4]，無法滿足較高要求的鑲嵌任務，常常還需要人工進行多次編輯修改，耗費大量人力物力，使用算法提取最優鑲嵌線仍然是研究難點?，F階段鑲嵌線提取方法主要可以分為3種，分別是基于影像重疊區域差異的方法[5]、基于輔助數據的方法[6]和基于形態學的方法[7]?；谥丿B區影像差異的方法通常對重疊區域像素對比計算差值，利用一定搜索策略選擇最優鑲嵌線[8]，方法簡單容易實行，但計算量通常較大，重疊區域差異主要是針對單個像素或局部紋理，鑲嵌線難免穿過房屋建筑等區域?；谳o助數據的提取方法需要道路矢量、激光雷達(light detection and ranging,LiDAR)點云等數據配合，能夠精準有效避開目標地物[9]，鑲嵌線質量較高，但輔助數據的獲取有一定的難度?；谛螒B學的方法使用影像分割手段將重疊區域劃分成不同的區域，然后利用尋優算法選擇鑲嵌線通過區域，使接縫線沿著地物本身的邊界實現自然過渡，如韓天慶[10]使用標記的分水嶺算法和Dijkstra算法尋找最佳接縫線，但分割過程可能產生過分割現象; 岳桂杰等[11]使用Canny邊緣檢測和A*算法，避開邊緣圖像的邊緣信息尋找最短路徑，邊緣特征不能很好地反映地物完整性。本文使用超像素合并的方法對遙感影像進行多尺度分割，以保留影像地物紋理信息，使用A*算法在分割線上進行路徑尋優，有效減少鑲嵌線穿過明顯地物，確保地物完整性，對鑲嵌線的提取具有重要意義。

1 研究方法

首先對影像進行正射校正等必要的預處理。校正后影像四周會出現無效的黑色區域，通過采樣判斷有效區域的范圍并生成每張影像的有效區域多邊形，并以多邊形交點作為鑲嵌線的起始點。利用簡單線性迭代聚類(simple linear iterative cluster，SLIC)算法對于重疊區域影像進行預分割，使顏色、亮度位置等特征相似的像素聚集成緊密的像素塊，然后通過區域連接圖對相鄰相似區域進行合并生成不同尺度的數據集，減少過分割。完成分割后對影像進行掩模，對于分割區域內部設置為障礙，分割線作為可行區域，利用A*算法完成重疊區域從起點到終點的搜索，生成鑲嵌線，具體過程如圖1所示。

圖1 基于多尺度分割的鑲嵌線自動提取技術Fig.1 Automatic extraction of mosaic line based on multi-scale segmentation

1.1 SLIC超像素分割

使用SLIC算法對重疊區域影像進行預分割，對明顯地物區域進行聚類生成緊密的超像素。超像素是由空間位置相鄰，顏色、亮度和紋理等特征相似的像素點組成的圖像子區域。SLIC分割能有效避免椒鹽噪聲帶來的影響，可以更好地保留圖像地物的紋理信息[12]。生成具有較好邊界附著性且具有一定視覺意義的像素塊,分割結果的邊界緊湊度較高，且是當前效率最高的超像素分割算法[13]。首先要將圖像從RGB顏色空間轉到Lab顏色空間，圖像每個像素對應的(l,a,b)顏色值和所處的位置坐標(x,y)共同構成一個5維的特征向量[14]，根據特征向量將相似的像素聚類生成為超像素塊，具體算法步驟[15]：

1)設置生成超像素的個數K，生成K個種子點。將尺寸為M×N的影像分割為K個像素塊，每個像素塊的大小就是M×N/K，鄰近的兩個種子的距離為：

(1)

2)調整生成的種子位置。為了防止初始種子點位落在影像物體的輪廓邊緣或噪聲點上，計算種子點3×3窗口鄰域所有像素的梯度值，把初始種子點位置調整到梯度值最小的像素位置，圖像梯度計算如下：

G(x,y)=‖I(x+1,y)-I(x-1,y)‖2+
‖I(x,y+1)-I(x,y-1)‖2

(2)

式中：I(x,y)為(x,y)點的Lab向量； ‖‖為求歐幾里得范數。

3)計算距離迭代聚類。為了增加算法的運算效率，SLIC只對種子2S×2S的鄰域范圍內的像素進行搜索，計算像素點與種子點之間的距離，將與種子點距離最近的若干個像素歸于一類，距離由顏色距離和空間距離共同決定，計算公式如下：

(3)

(4)

(5)

式中： [lk,ak,bk,xk,yk]為種子點的特征向量； [li,ai,bi,xi,yi]為像素塊內待判斷的像素點的特征向量；dlab為兩個像素點在Lab顏色空間內歐式距離；dxy為兩個像素在空間位置上的歐式距離；D為待測像素點和種子點的總距離，可以表示兩個像素的相似度；S為種子點的間距大??；m為緊湊度因子，調整顏色信息和距離信息的相對重要程度，值越大則越強調空間的鄰近性，在這里取經驗值10。SLIC算法種子點搜索范圍限制在2S×2S之內，可以減少不必要的計算，有效地提高收斂速度。

所有像素歸類完畢后計算超像素里所有像素點的平均向量值，把區域內最接近平均向量值的點調整為聚類中心點，然后重復迭代2)— 3)步驟，直到收斂或達到迭代次數停止計算。多數情況下，10次迭代對于絕大多數影像都能取得比較好的分割效果[16]。對于迭代聚類后的影像進行遍歷篩選，其中會有未聚類的孤立點和面積過小的像素點，直接加入到就近的超像素中，以增強連通性。

1.2 基于區域合并的多尺度分割

經過SLIC分割后，圖像中生成緊密的過分割超像素塊，保留了圖像中的紋理信息，但生成過程中只考慮到圖像局部特征，對圖像分割過于破碎，因此需要對相似區域進行合并消除過分割，只保留相似度差值較大的區域。本文方法通過不斷重復提高閾值，使用層次區域合并的方法生成不同的分割尺度集，以超像素里所有像素點的平均向量值為特征，Lab空間和位置的加權和表示超像素間相異度，采用區域鄰接連接圖(region adjacency graph，RAG)記錄超像素間的鄰接關系和相似度，逐步合并相似區域。區域連接圖的定義為R=(V，E)，其中V為像素區域，E為與之相鄰的區域和相似度。生成RAG如圖2所示。

(a) 超像素鄰接關系(b) 初始區域鄰接圖(c) 合并后的鄰接圖圖2 區域鄰接示意圖Fig.2 Schematic of region adjacency graph

多尺度分割主要通過“增大閾值”和“搜索合并小于閾值鄰接區域”兩部分完成，圖2(a)是經過SLIC分割后的超像素的分布關系圖，首先對鄰接圖進行初始化，可以由圖2(b)表示，連線表示像素間的相交關系，連線的長度表示超像素間的相似度，然后設定較小的初始閾值，采用深度優先的搜索策略尋找小于合并閾值的相鄰超像素對，找到滿足條件的相鄰像素對(S1，S2)后初始化合并后的區域S12屬性信息和連接信息，在RAG中刪除原始區域S1，S2的信息，將S12插入到RAG中，并更新所有與S12相鄰區域的鄰接關系，S1和S2合并后的鄰接關系如圖2(c)所示，然后繼續搜索合并直至所有區域相似度大于閾值。隨著閾值的增加，像素塊根據相異性不斷被合并，當圖像由過分割進入欠分割狀態時結束，利用二元分割樹記錄合并過程，可以快速回溯合并中的任意閾值，生成多尺度分割數據集，合并過程如圖3所示，選擇合適的閾值分割結果。

圖3 尺度集層次結構圖Fig.3 Illustration of scale-sets hierarchy

分割結果可以通過兩個相對的指標來評估： 區域內部同質性和區域間異質性，最優分割需要平衡這兩個指標。區域內部同質性表現的是一個區域內像素的一致性，通過光譜特征的局部方差(local variance，LV)來評估，整個分割結果的整體同質性可以通過各個區域加權計算：

(6)

式中：M和N分別為圖像的寬度和高度；n為當前閾值的區域數量；si和σi分別為區域i的面積和光譜的標準差。分割結果的整體同質性通過區域的面積來衡量，合并后的較大區域比未合并的小區域權重大，光譜標準差σi的值越小內部同質性越好。

區域間異質性是相鄰區域間的相互差異，可以通過空間自相關指標評價，這里使用莫蘭指數(Moran’s index，MI)來計算衡量區域間異質性：

(7)

利用區域內部同質性和區域間異質性來估計最優尺度參數，隨著閾值的增加區域合并范圍變大，區域內同質性逐漸減小，區域間異質性增大，為選擇圖像由過分割到欠分割的鄰接閾值，將LV和MI結合的目標函數GS的最小值作為最優尺度，公式為：

GS(k)=MInorm(k)+LVnorm(k)

(8)

MInorm和LVnorm分別是MI和LV的歸一化后的值，即

(9)

(10)

1.3 A*算法路徑搜索

A*搜索算法是啟發式搜索算法中的一種，可以高效地求解在復雜結構中尋找路徑的問題，在電腦游戲尋徑計算、最短路徑計算、機器人路徑規劃及最佳航線規劃等領域具有廣泛的應用[17-20]。A*算法結合了Dijkstra算法和最佳優先算法優勢，減少了計算同時找到一條最佳的路徑。由配準影像有效區域輪廓交點作為路徑尋優的起始點，多尺度分割的區域內部作為障礙物，提取所帶紋路信息的分割線作為通路，A*算法在圖像分割線中搜索步驟如下：

1)將點A作為起點放入open列表中，然后檢測和A相鄰的點，如果是障礙物則忽略，如果是可走路徑則放入open列表中，同時將A點從open列表移到close列表中，并設置A為父節點。

2)計算open列表中的點的移動屬性F，根據屬性值F從列表中選擇新的擴展點，F可以由以下公式計算：

F=G+H

(11)

式中：G為由起點A點到指定點位移動代價；H為由指定點位不考慮障礙因素移動到終點B的估算代價，這里使用Manhattan距離，即當前點位不考慮斜角，只橫向或縱向移動到終點經過的點位數。

3)選取F值為最小的點T作為擴展點并檢測其相鄰點位，其相鄰點位是障礙物或已經在close列表中的直接忽略，作為通路的相鄰點沒有在open列表中則直接加入open列表中。如果已經在open列表中則按照當前路徑重新計算G值并與原G值比較，如果當前路徑G值大于原列表G值，則原列表中點位屬性不變，如果當前路徑G值小于原列表G值，更新列表中的點位屬性，并將T作為父節點移入close列表中。

重復步驟2)直到終點B加入open列表中，完成搜索后由B回溯父節點構成鑲嵌線。

2 實驗及分析

2.1 實驗數據

高分二號(GF-2)衛星于2014年8月19日在太原衛星發射中心用長征四號乙運載火箭發射成功，是目前我國分辨率最高的民用光學對地觀測衛星，其幅寬相比于高分一號和資源三號衛星是最小的[21]，所以更需要對影像進行拼接。高分二號衛星參數見表1。

表1 高分二號衛星參數Tab.1 Gaofen-2 satellite parameters

本次實驗研究影像使用3組正射校正影像，其中2組為天津市地區(圖4(a)和(d)，圖4(b)和(e))，1組為青島市地區(圖4(c)和(f))，可以看出3組數據中包含農田、建筑、河流、道路等常見典型地物，由于拍攝時間不同，每組影像間的色調有所不同。

(a) 區域1左下(b) 區域2左上(c) 區域3左上

(d) 區域1右上(e) 區域2右下(f) 區域3右下圖4 正射校正影像數據Fig.4 Orthorectified image

2.2 實驗結果

可以看到GF-2影像經過校正后影像四周出現無效區域，通過采樣可以判斷有效區域的范圍，通過生成影像有效區域多邊形并求交集，可以獲取重疊區域影像，并以多邊形的交點A和B作為鑲嵌線的起始點(圖5)。

圖5 重疊影像獲取Fig.5 Overlapping image acquisition

對重疊區域影像，SLIC生成超像素，經過不斷地提高閾值和區域合并，得到不同閾值合并后的一系列影像，計算影像的LV和MI同時進行歸一化，圖6是經過歸一化的LV和MI的變化趨勢圖，

圖6 不同分割尺度下LV，MI和GS的變化圖Fig.6 Variation diagram of LV, MI and GS under different segmentation scales

可以看出隨著合并閾值的增加局部方差逐漸增大，MI逐漸減小，當GS最小時即圖像由過分割狀態進入欠分割狀態，因此可以選擇尺度為25的分割結果作為鑲嵌線提取的基礎。圖7展現了在建筑、河流、農田等不同地物的分割效果。分水嶺算法是一種基于拓撲理論的數學形態學的分割方法，也是一種優秀且得到廣泛應用的分割技術，但可以從圖6(b)看出分水嶺算法對小面積的建筑區域輪廓提取時不夠精細，同時根據圖7(f)可以看出對于大區域的河流進行了過分割，不利于后續對鑲嵌線的提取。圖7中的(c)和(g)是SLIC預分割生成影像，可以看出超像素間非常緊密，內部特性單一，雖然對圖像分割過于破碎，但對地物的輪廓非常敏感，很好地保留了地物輪廓信息。圖7中的(d)和(h)是區域合并后的影像，從結果可以看出無論對于小面積的區域的農田，還是對于大區域的河流農田，基于區域合并的多尺度分割均保持良好的分割效果。對多尺度分割后的遙感影像進行鑲嵌線的提取，設置分割區域內部區域為障礙物不能通過，因此鑲嵌線只能在分割線上進行提取，鑲嵌線提取結果如圖8所示。其中紅色的線是使用ENVI軟件基于Voronoi圖的鑲嵌方案提取的鑲嵌線，基本只是對于重疊影像的面積進行平分，沒有考慮影像特征，接縫線明顯； 黃色線是基于重疊影像差異的方法使用Dijkstra算法進行尋優提取得到的，提取的鑲嵌線為影像間灰度差異最小，但由于在差值影像上建筑、河流等區域像素是不連續的，提取過程不能考慮圖像地物信息，會導致穿越大片建筑、內部均勻的農田和河流等區域； 綠色為使用本文方法提取的鑲嵌線，本文方法提取的鑲嵌線盡量沿著圖像中的道路、農田和河流等地物的邊界，鑲嵌線可以很好地隱藏在地物信息之中，通過紋路信息達到自然地過渡，避免穿過明顯地物特征。

(a) 建筑區域原圖 (b) 建筑區域分水嶺分割 (c) 建筑區SLIC分割 (d) 建筑區SLIC合并

(e) 河流區域原圖 (f) 河流區域分水嶺分割 (g) 河流區域SLIC分割 (h) 河流區域SLIC合并圖7 典型地物分割效果圖Fig.7 Typical feature segmentation effect diagram

(a) 區域1(b) 區域2(c) 區域3

圖8 鑲嵌線提取結果對比Fig.8 Mosaic line extraction contrast

如表2所示，通過對比ENVI軟件和Dijkstra模型穿越地物情況，ENVI軟件穿越地物最多，提取的鑲嵌線不能直接用于影像間的鑲嵌； Dijkstra模型基于影像重疊區域最小差異能夠一定程度降低鑲嵌痕跡，但穿越明顯地物數量仍然很多，在不能滿足高質量鑲嵌要求； 本文方法穿過障礙物數量最少，可以大幅度減少由于地物被分割而產生的錯位現象，保留影像中真實地物特征，鑲嵌線自動提取方法獲得較好的影像拼接結果，能夠滿足大范圍數字正射影像拼接生產的需求。

表2 各方法穿越明顯地物數量Tab.2 The number of obvious objects traversed by each method (個)

3 結論

本文提出了一種基于多尺度分割的高分辨率遙感影像鑲嵌線自動提取方法，使用天津地區和青島地區3組GF-2數據進行測試，并與商業軟件ENVI軟件和基于重疊區域差異的Dijkstra算法對比，可以得出以下結論：

1)本文方法可以有效地處理高分辨率遙感影像鑲嵌，生成的鑲嵌線能夠較好地避免穿過建筑，河流及農田等內部區域處理結果優于ENVI和基于重疊區域差異的Dijkstra算法。

2)對SLIC超像素區域合并能夠更精準地分割地物，使用尺度集模型解決調整分割尺度參數問題。與現有鑲嵌線提取技術相比，本文方法的優點在于無需輔助數據，充分利用圖像地物信息，根據區域對象的差異而不是像元的差異進行鑲嵌線的提取，能夠避免鑲嵌線穿過地物內部，提高鑲嵌質量，可廣泛應用于高分辨率遙感影像地圖制作。