高分七號影像大場景DSM生成深度學習方法

何 升,張建凱,陳 鳳,李紳弘,江萬壽

1. 武漢大學測繪遙感信息工程國家重點實驗室,湖北 武漢 430079; 2. 北京吉威空間信息股份有限公司,北京 100040

使用衛星影像生成高質量的大場景數字表面模型(DSM)是攝影測量與遙感的基本任務之一,核心在于對影像進行準確的立體匹配以獲取高精度的視差圖,其關鍵是尋找左右核線影像上同名點的像素對應關系[1]。立體匹配一般分為4個步驟[2]:匹配代價計算、代價聚合、視差計算和視差優化。傳統算法可分為局部匹配、全局匹配和半全局匹配(semi-global matching,SGM)3類[3],其中半全局匹配在近景、航空、衛星等多種影像的立體匹配中得到了廣泛的應用[4-7]。然而,傳統算法在各個階段都或多或少地采用了經驗性的方法[8],例如,按照給定的相似性測度計算匹配代價,通過對匹配點鄰域內的所有匹配代價加權求和執行代價聚合,根據“贏家通吃(winner takes all,WTA)”的規則計算視差,采用后處理如噪聲剔除、子像素增強等技術優化視差。手工設計的策略使得傳統方法易受弱(無)紋理、遮擋及視差不連續的影響,對光照、噪聲等外界環境也比較敏感,這些缺點使其在匹配大場景復雜的衛星影像時容易產生大量誤匹配和無效值。

最近的研究表明,深度學習技術,尤其是卷積神經網絡(convolutional neural network,CNN),在立體匹配中表現出超越傳統方法的性能[9]。最初的基于深度學習的立體匹配方法通過使用CNN代替4個標準步驟中的某些部分來改善匹配效果,如MC-CNN(matching cost)[10]使用CNN自適應地學習匹配代價,SGM-Net[11]在傳統SGM中引入CNN學習懲罰項以解決懲罰參數難以調整的問題,GDN(global disparity network)[12]使用CNN學習匹配代價并在視差優化階段對視差圖做異常值探測。文獻[13]提出了首個端到端的立體匹配神經網絡DispNet,隨后,大量端到端的模型被提出并逐漸成為主流的深度學習方法。這類方法將4個標準步驟整合在同一個網絡模型中,通常的做法是,首先使用一個共享參數的孿生網絡(siamese network)[14]提取左右核線影像的深度特征并構建一個匹配代價量(cost volume);然后使用卷積網絡對其進行聚合,接著將聚合后的代價量轉換成概率分布,通過對所有可能的視差值加權求和得到初步的視差圖;最后通過一定的優化策略得到最終的視差。例如,GC-Net(geometry and context)[15]采用共享權重的2D卷積層提取影像下采樣后的特征圖,再將左右特征圖在視差方向上錯位拼接得到代價體,利用3D卷積層對其進行聚合并上采樣至輸入影像大小,最后使用soft argmin將匹配代價轉換成視差圖。PSM-Net(pyramidal stereo matching)[16]引入SPP(spatial pyramid pooling)模塊[17]用于提取不同尺度的特征來構建代價體,在代價聚合階段采用堆疊漏斗結構的3D卷積層,并計算3個階段的視差圖,在測試時以最后一個視差圖作為優化后的視差。由于完全避免了手工的特征設計,端到端的方法取得了更高的匹配精度,在多個開源數據集上,如KITTI[18-19]、Middlebury[20]和SceneFlow[13,21]等,處于領先地位。

在攝影測量與遙感領域,也有一些深度學習模型被用于遙感影像的立體匹配。例如,文獻[22]在PSM-Net的基礎上改進得到Bidir-EPNet(bidirectional pyramid stereo matching network),提升了對遮擋區域視差的估計;文獻[23]提出了HMSM-Net(hierarchical multi-scale matching network),通過構建多尺度的代價量來學習不同尺度地物的匹配;文獻[24]提出了一個多任務模型BGA-Net(bidirectional guided attention network),可同時對遙感影像進行立體匹配和語義分割。這些模型在公開數據集上取得了好于傳統方法的結果,但是它們的性能僅在小尺寸遙感影像(如1024×1024)上得到了驗證,很少有研究人員將深度學習模型用于大場景衛星遙感影像的視差圖生成。盡管基于深度學習的立體匹配算法表現出良好的前景,但是現階段將其應用于衛星立體影像的匹配中仍存在一些困難,原因主要是目前主流的立體匹配模型嚴重依賴訓練數據,而基于衛星影像的立體匹配數據集較少;衛星影像幅寬大,覆蓋范圍廣,在地形起伏大或有高層建筑物的地區視差很大,而一般深度學習模型每次只能匹配一小塊影像,且能夠預測的視差范圍固定有限(如Bidir-EPNet設置的范圍為[-64,64]),這些限制了它們在大場景衛星立體影像處理中的實際應用能力。近年來,高分系列衛星的發射極大地提高了我國對地觀測的能力,以高分七號為例,它搭載的兩線陣立體相機可獲取20 km幅寬、分辨率優于0.8 m的前后視全色立體影像,是立體測繪的重要數據來源。然而由于場景十分復雜,傳統方法在高分七號影像立體匹配中表現不佳,因此如何將深度學習有效地應用于這類衛星影像是值得探索的。

針對上述問題,本文提出一種能夠使深度學習模型適應大場景衛星影像立體匹配的策略,同時提出一套衛星影像立體匹配訓練樣本的制作方案,構建一個高分七號立體匹配數據集,并首次以高分七號衛星立體影像為試驗對象,使用兩個典型的立體匹配神經網絡模型預測整景視差圖并制作DSM,通過與傳統方法的對比論證了本文方法的可行性和制作的數據集的應用價值。

1 立體匹配神經網絡模型

目前,大多數端到端的立體匹配神經網絡模型都采用GC-Net[15]模式計算匹配代價和執行代價聚合,即生成大小為H×W×D×C的4維代價量,其中H、W為影像的高、寬,D為視差范圍,C為特征通道數,再用3D卷積處理這個代價量。這種方式可以獲得比較高的精度,然而由于代價量和3D卷積的維度較高,運算量較大。本文選取兩個具有代表性的,可以實現快速立體匹配的輕量卷積神經網絡模型,分別是Stereo-Net[25]和DSM-Net[26],用于高分七號影像的立體匹配。其中Stereo-Net是計算機視覺領域的經典模型,DSM-Net是專門針對遙感影像設計的模型。

1.1 Stereo-Net

Stereo-Net[25]是首個端到端的可以進行實時立體匹配的深度神經網絡模型,其主要思想是構建一個低分辨率的代價量以減少運算量,對其進行聚合后計算一個低分辨率的視差圖,然后利用原始影像逐步引導其恢復至原圖分辨率,網絡結構如圖1所示[25]。

首先連續使用K(K=3或4)個尺寸為5×5、步長為2的卷積操作從原始影像中提取特征并降低分辨率,再使用6個殘差塊(residual block)[27]和1個3×3卷積提取更深的特征,得到通道數為32的特征圖。然后以左右特征圖在視差方向上錯位相減得到代價體,使用4個3×3×3的3D卷積執行代價聚合,再用1個3D卷積將聚合后的代價體的通道調整為1,得到形狀為H/2K×W/2K×D/2K的代價體。最后,采用soft argmin[15]將代價體轉化成大小為H/2K×W/2K的視差圖。為了將低分辨率的視差圖恢復至原始影像分辨率并重建下采樣中丟失的部分細節信息,網絡采用了分層優化的方法,每次將上一級的視差圖上采樣兩倍,并將其與調整大小后的原始影像拼接,經過若干2D卷積和殘差塊,得到視差殘差并與上一級視差相加得到當前層級的視差圖,重復這樣的操作直到獲得與原始圖像大小一致的視差圖。訓練時,同時學習左右視差圖(缺少右圖視差標簽時也可以只學習左圖視差),對每級視差圖都計算損失,以它們的和作為總的訓練損失。測試階段,以左視的最后一級視差圖作為最終的預測結果。

1.2 DSM-Net

DSM-Net[26]是一個用于高分辨率衛星影像立體匹配的端到端模型,其主要思想是通過構建兩個尺度的代價量來學習不同尺度地物的匹配,從而提高匹配的成功率,網絡結構如圖2所示。

圖2 DSM-Net網絡結構[26]Fig.2 DSM-Net network structure[26]

首先,使用由若干層2D卷積和殘差塊構成的特征提取器提取兩個尺度(輸入圖像1/4和1/8分辨率)的深度特征;然后,采用與Stereo-Net相同的方式分別構建兩個尺度的代價體。由于遙感影像的視差可能同時存在正負值,因此DSM-Net構建了從負視差到正視差范圍的代價體。在代價聚合階段,首先使用一個代價聚合模塊處理低尺度的代價量并計算相應尺度的視差圖,然后將聚合后的低尺度代價量上采樣并與初始的高尺度代價量融合,經過另一個代價聚合模塊后計算該尺度的視差圖。為了降低網絡的計算量,代價聚合模塊被設計成編碼器-解碼器的結構,并且使用分解的3D卷積代替普通的3D卷積。在視差優化階段,先將高尺度的視差圖上采樣至原始影像的1/2分辨率,并與從左核線影像提取出來的淺層特征拼接,然后采用與Stereo-Net相似的方式學習一個視差殘差,相加得到優化后的視差。訓練時,對3個視差圖都計算損失值,以它們的加權和為最終損失。預測時,使用雙線性插值將優化后的視差直接上采樣輸入影像分辨率作為最終的預測結果。

2 大幅寬影像匹配策略與數據集

2.1 分層動態匹配策略

由于衛星影像往往具有很大的尺寸,無法直接使用深度學習模型對整幅核線影像進行匹配,因此需要分塊處理,再將小塊的視差圖拼接成整體視差圖。然而,衛星影像成像視角差異大,有些地區地形起伏大或者存在高層建筑,直接對立體像對進行一一對應分塊可能導致得到的小像對上視差過大或者重疊度較低(如圖3綠色分塊),加上網絡模型本身能夠回歸的視差范圍固定且有限,難以匹配成功。因此,需要將其中一個分塊窗口做一定量的平移,使得到的分塊核線影像有較大的重疊度,縮小像對的視差。

圖3 核線影像分塊方法Fig.3 Blocking method for epipolar image

整幅核線影像上不同區域的視差不一樣,無法通過移動整幅左核線或右核線影像使所有區域視差都被調整到合適的范圍。本文提出一種簡單有效的分層動態匹配策略,采用局部動態調整核線影像切塊位置的方式解決該問題。首先構建原始核線影像的金字塔影像(如分別縮小16、8、4、2倍),不同層級的金字塔核線影像上,視差也被縮小相應的倍數。對于最小的核線影像(金字塔頂端),由于視差較小,一一對應分塊也可以獲得高重疊度的核線影像塊,采用這種方式分塊預測小塊視差圖,最后拼接成最小核線影像的整幅視差圖。從金字塔的次頂層開始,采用前一級的視差圖作為參考,將前一級的視差圖放大一倍到當前層級的大小,計算左核線影像塊對應區域(圖3紅色框區域)的視差的平均值,然后以該平均值為平移量將右核線影像上分塊窗口平移,取平移后窗口的右核線影像塊與左核線影像塊匹配,如圖3所示,綠色框是按照一一對應關系獲取的核線影像塊,藍色框是根據視差平均值平移后獲取的右核線影像塊,平移后的右核線影像塊與左核線影像塊的重疊度明顯比平移前更大。

假設左核線影像分塊區域范圍為[i:i+h,j:j+w],平移量為a,則右核線影像分塊區域為[i:i+h,j-a:j-a+w],核線塊上的視差換算到整幅核線影像上為D=d+a(d表示分塊核線影像對上匹配得到的視差)。為了使由小塊視差圖拼接成的整幅視差圖不出現明顯的接縫線,在對大核線影像分塊時,以分塊窗口的寬、高的一半為步長分別在水平和垂直方向上滑動切割窗口,每次取窗口的中間部分的視差值作為整幅視差圖對應區域的視差。

2.2 數據集

數據集是推動和影響深度學習模型發展和性能的關鍵因素之一。目前有不少基于街景影像、虛擬影像或者航空影像制作的數據集,如KITTI[18-19]、Middlebury[20]、SceneFlow[13,21]、ISPRS[28]等。然而與衛星影像相比,它們在成像方式、交會視角、影像波段、覆蓋范圍等方面都有著顯著的差異,基于這些數據集訓練的模型難以直接遷移到衛星影像的處理中?，F有公開的衛星影像立體匹配數據集較少,US3D(urban semantic 3D)[29]和SatStereo[30]各提供了一個基于WorldView衛星影像的立體匹配數據集。對于國產高分系列衛星,目前已知的僅有WHU-Stereo[31]提供了一個基于高分七號立體影像的數據集,但WHU-Stereo主要面向城市及其周邊區域,所代表的地面覆蓋類型有限。本文基于高分七號衛星影像制作了一個數據集,彌補了WHU-Stereo缺乏地形起伏大、視差大的樣本的不足。

WHU-Stereo數據集的視差真值由機載LiDAR制作得到,然而點云的獲取成本高,點云與影像之間的時間不一致容易給計算變化地物(如植物)的視差真值帶來誤差。本文提出了一個不依賴LiDAR點云的視差標簽制作方案,如圖4所示。給定1景高分七號立體影像,首先使用商業軟件生成整景核線影像和視差圖,如果視差圖質量滿足要求,則對核線影像和視差圖進行切片得到樣本;如果不滿足要求,則生成相應的DSM,并使用立體測圖軟件對其進行人工編輯,得到目視精度較高的DSM,再由DSM反算得到視差圖,連同核線影像進行切片獲取樣本。一般情況下,對于山區等人工地物不多的影像,使用商業軟件生成的視差圖可以滿足神經網絡的訓練;對于城區等,則需要適當的人工編輯。

圖4 高分七號立體匹配樣本制作方案Fig.4 Production scheme of GF-7 stereo matching samples

依照該方案,本文使用山東省嶗山地區的高分七號影像,采用國產商業軟件生成了若干樣本(以山區為主,如圖5(a))。此外,本文收集了若干LiDAR點云(廣東省梅州市)及成像時間與點云相近的該地區高分七號影像,采用與WHU-Stereo相同的方式生成了一批覆蓋城市建筑物的樣本(圖5(c))。

3 試驗與分析

整體的試驗方案流程如圖6所示。試驗中將WHU-Stereo[31]數據集與本文提供的數據集混合,使用Stereo-Net[25]和DSM-Net[26]公開的代碼訓練兩個立體匹配神經網絡模型,根據訓練樣本的視差分布及GPU顯存的大小,將網絡模型回歸的視差范圍設定為[-192,128]。模型訓練時,采用提前結束的措施,即當損失函數連續若干個訓練回合下降不超過一定的閾值時就停止訓練,這樣可以一定程度上避免過擬合。本文制作的數據集、使用的代碼及訓練好的模型權重文件均已公布至https:∥github.com/Sheng029/GF-7_Stereo_Matching。測試的數據為3景高分七號前后視全色立體影像,它們均沒有在訓練樣本中出現過,其部分信息見表1,3景影像均有極大的幅寬。試驗中,后視影像作為參考影像,前視影像作為目標影像。

表1 試驗高分七號影像的部分信息

圖6 試驗方案流程Fig.6 Flowchart of experiment

3.1 匹配策略的有效性分析

為驗證本文分層動態匹配策略在大幅寬衛星影像立體匹配中的有效性,設計了一組對比試驗,即對同1景高分七號核線影像,分別使用一一對應分塊匹配和分層動態匹配兩種方式預測視差大圖。以Stereo-Net和北京市影像為例,將原始核線影像分別縮小8、4、2倍構建金字塔,使用兩種方法預測的結果如圖7所示。由北京市影像整景匹配結果(圖7第1行)可以看出,在地形較為平坦的地區,兩種方法均可以預測出比較好的視差。然而在地形高差較大的山區(左下區域),一一對應分塊獲得的小塊核線影像對重疊度較小、視差較大,超出了模型所能回歸的范圍,因此預測出來的視差有明顯的錯誤。而采用分層動態匹配策略,可以根據上一級的視差動態調整本級右核線影像的分塊位置,使得每次分塊得到的核線影像塊之間有較大的重疊度,進而將視差偏移到相對較小、模型能夠回歸的范圍。該策略使得深度學習模型能夠突破自身預測視差范圍的限制,從而適用于視差范圍較大的大幅寬衛星影像,由圖7中可以看出,一一對應分塊預測出的視差沒有超過預設的[-192,128],而分層動態匹配策略能夠預測的視差遠大于預設范圍。由于GF-7搭載的立體相機前后兩個視角差異大,高層建筑物區域難以匹配,由圖7第2行可以看出,SGM幾乎無法匹配高層建筑物,深度學習方法顯著優于SGM。進一步對比兩種匹配策略的結果,不難發現分層動態匹配的成功率高于一一對應分塊匹配,進一步證明了本文提出的匹配策略的有效性。

圖7 兩種策略視差預測結果對比Fig.7 Comparison of disparity maps predicted by two strategies

3.2 視差圖質量評價

為統計預測視差圖的精度,利用SIFT算子提取核線影像上的同名像點,計算這些特征點的x視差作為視差真值,通過比較這些特征點的預測視差值與真值來評價精度。采用平均視差絕對誤差(average endpoint error,EPE)和錯誤視差像素比例(D1)[26,29]作為衡量指標,前者表示所有參與統計的視差誤差的絕對值的平均數,后者表示視差錯誤的像素在所有參與統計的像素中占有的比例,兩個指標均是越小代表視差精度越高,計算公式為

(1)

對于所有影像,以分層動態匹配的方式,分別使用Stereo-Net和DSM-Net對核線影像進行視差圖預測,并將結果與傳統SGM算法匹配的結果對比。表2統計了這3種方法的定量精度比較,可以看出,深度學習方法的EPE整體在1個像素左右,稍差于SGM,而D1要優于SGM,說明深度學習方法預測的視差異常值要少于SGM算法。需要說明的是,SGM算法匹配的視差圖中有很多無效值,因此SGM生成的視差圖中參與統計的點數少于深度學習生成的視差圖,如果考慮無效值,則SGM的EPE和D1都要差于深度學習方法。

表2 3種方法生成的視差圖精度統計

圖8是3種方法生成的廣州市影像的整景視差圖及局部細節?？梢钥闯?SGM生成的視差圖存在大量的無效值(局部細節圖中黑色空洞),而深度學習模型可以為每個像素都預測出有效的視差值。對于建筑物,深度學習模型可以更好地還原建筑物的整體輪廓,對建筑物的細部結構也保持得較好。對于平地,SGM視差圖中存在較多的表現為“突刺”的噪聲,平滑性明顯不如深度學習方法。對比Stereo-Net和DSM-Net,前者在平坦地面的表現稍好于后者,而后者對建筑物的視差預測更有優勢?？傮w而言,兩個深度學習模型的匹配效果均超過了SGM算法。

圖8 3種方法生成的視差圖對比Fig.8 Comparison of disparity maps generated by three methods

3.3 DSM質量評價

獲取視差圖后,利用核線影像與原始影像之間的對應關系,逐像素地把通過視差計算得到的同名點推算至原始影像,再基于前方交會原理即可獲取物方密集點云[32-33]。本文將Stereo-Net和DSM-Net生成的點云柵格化為1 m分辨率的DSM,并與用基于SGM算法的商業軟件PCI Geomatica制作的DSM進行對比分析,圖9為3種方法生成的中山市影像整景DSM。需要說明的是,由于區域網平差中缺少實測地面控制點或高精度參考地形等數據,本文方法生成的DSM均為相對高程,因此只做定性評價?？傮w上看,幾種DSM均能大致反映該地區的地表形態,兩種深度學習方法的結果好于PCI,例如PCI在河流等水域生成的結果明顯不如兩個深度學習模型的結果。為進一步分析遮擋、視差不連續及弱紋理地區的匹配質量,選取建筑物和平坦地面兩類具有代表性的地物進行詳細比較。

圖10為城區某區域3種方法的效果對比?？梢钥闯?在建筑物分布密集的區域,PCI生成的DSM建筑物容易連成一片。在含有高層建筑物的區域,由于遮擋嚴重,這種現象尤為明顯(如左上角部分),而兩種深度學習方法對建筑物群的區分明顯更好,其中DSM-Net對高層建筑物的匹配效果最好。此外,深度學習方法能夠更好地保持建筑物的邊緣信息。猜測可能是神經網絡模型不僅能夠有效學習像素之間的相關性,還可以充分利用上下文語意信息對不同的地物類型加以區分,并對遮擋部分的視差進行合理的推測。

圖10 3種方法生成的建筑物密集區域DSM對比Fig.10 Comparison of DSMs generated by three methods in a built-up area

進一步評價建筑物的匹配質量,選取房屋的斷面對3種方法生成的DSM進行比較。如圖11所示,沿著圖中紅色線段采集高程,可通過高程變化來反映DSM的垂直精度。從整體斷面曲線可以看出,PCI將第3和第4個屋頂之間的狹小地面誤匹配成了屋頂,而Stereo-Net和DSM-Net能正確地區分出所有屋頂及夾在其中的地面。由屋頂部分的曲線可以看出,PCI的DSM平滑性不佳,有較大的粗差,Stereo-Net和DSM-Net也存在同樣的問題,但屋頂整體上還是更加平整。由屋頂和地面交界處的曲線可以看出,兩種深度學習方法的DSM高程變化較為劇烈,更加符合這些地方高程不連續的特點。綜合表明,深度學習方法在保持建筑物的整體輪廓、屋頂形態及處理視差不連續和遮擋等方面比基于SGM的傳統方法更具優勢。

圖11 3種方法獲取的房屋斷面高程變化曲線Fig.11 Elevation change curves of house section acquired from three methods

弱紋理區域對于SGM算法是一個難點,為了驗證深度學習方法在匹配衛星影像弱紋理區域是否更加有效,選取了3種方法在平坦地區的結果進行對比(圖12)。不難看出,PCI生成的DSM有明顯的錯誤。采集左影像紅色線段上的高程繪制成平地斷面高程變化曲線,可以看出,Stereo-Net和DSM-Net反映出的高程變化較小,符合平地起伏不大的特點,而PCI的曲線存在一個顯著的階躍,說明SGM算法在匹配該區域時出現嚴重誤匹配。深度學習模型能夠更好地保持地表形態,對于弱紋理的處理也更加有效,推測可能的原因是深度學習方法可以自適應地學習匹配代價,對于弱紋理區的像素能夠得到比傳統方法定義的更合適的相似性測度。

圖12 3種方法生成的弱紋理平地DSM對比Fig.12 Comparison of DSMs in a texture-less plain ground generated by three methods

3.4 本文數據集的作用分析

為驗證本文制作的高分七號立體匹配數據集的應用價值,設計了一組消融試驗:對于DSM-Net,僅使用WHU-Stereo[31]數據集訓練(視差范圍設置為[-128,64],與文獻[31]一致)和混合兩個數據集訓練(視差范圍設置為[-192,128]),結合分層動態匹配策略分別在廣州市影像上進行立體匹配測試,結果如圖13所示。當模型僅用WHU-Stereo數據集訓練時,對于地形起伏較大的山區錯誤匹配較多(視差圖左邊部分),而引入本文數據集后,效果有明顯改善,原因在于本文數據集中含有較多視差范圍較大的山區樣本,彌補了WHU-Stereo缺乏這類樣本的不足,使訓練出來的模型具有更大的視差回歸范圍和更強的預測能力。

圖13 使用和不使用本文數據集訓練的模型預測結果對比Fig.13 Comparison of predictions of models trained with and without the dataset in this paper

4 結 語

針對深度學習模型直接用于大場景衛星影像的立體匹配遇到的困難,本文提出了相應的解決方案。通過分層動態匹配策略,神經網絡模型可以突破自身視差回歸范圍不足的限制,適用于視差跨度較大的大幅寬衛星影像;提出了一套制作衛星影像立體匹配樣本的方案并制作了一個高分七號影像數據集,對現有的數據庫是一個很好的補充?；诖?本文實現了結合深度學習技術的高分七號影像大場景DSM生成。在3個城市的高分七號影像上的試驗表明,使用本文方法和數據,深度學習模型可以生成高質量的視差圖,在遮擋、視差不連續和弱紋理等傳統SGM算法難以匹配的區域,效果有顯著的提升,基于深度學習方法生成的視差圖制作的DSM,無論在高程精度還是典型地物的形態特征保留上,都優于傳統方法。