結合空間約束的卷積神經網絡多模型多尺度船企場景識別

于新莉， 宋 妍， 楊 淼， 黃 磊， 張艷杰

(1.中國地質大學(武漢)地理與信息工程學院，武漢 430074； 2.國家衛星海洋應用中心，北京 100081)

0 引言

船舶產業為海洋資源開發、國防建設等提供幫助[1]，在維護海洋權益、探索海洋資源等多個領域承擔著重要角色，得到世界各國尤其是沿海地區和國家的重視[2]。結合衛星遙感圖像成像范圍廣、重訪周期短等優點，提取造船企業位置，對修復沿岸生態環境、保護水域環境以及促進船舶產業的協調發展具有現實意義。

與自然景物圖像相比，衛星遙感數據具有尺度大、場景復雜等特點。針對遙感數據中復雜場景識別問題，部分學者結合卷積神經網絡，運用多示例、多標簽[3]等思想提取場景的多語義、多尺度特征，取得了良好的效果[4-7]?？臻g分布也作為重要特征應用于場景識別中，多項研究表明充分利用場景的空間布局信息能提高場景識別的準確性[8-12]。但此類方法需要對場景進行多次空間劃分，可能導致大型地物被過度分割產生特征丟失的情況，降低了識別準確性[13]。

船企作為衛星影像中的一種具有高階語義特性的復雜場景，常規遙感分類識別方法無法充分利用船企場景特征，難以取得理想的結果。本文綜合了船企的多尺度、多語義特征及空間關系特征進行船企場景充分表達，提出了一種結合空間約束的卷積神經網絡多模型多尺度的船企場景識別方法。

1 造船企業特征

利用卷積神經網絡識別船企前應先掌握船企的圖像特征，建立船企解譯標志、統計船企內部地物空間特征并了解船企分布情況，為后續樣本集的制作、識別算法的研究提供參考。

1.1 船企解譯標志

分析船企在遙感影像上的特征表現，如圖1，船企內部可以分為船塢(臺)、船只和廠房，解譯標志見表1。

圖1 船企內部結構圖Fig.1 Internal structure diagram of the shipbuilding enterprise

表1 船企內部解譯標志Tab.1 Interpretation marks within the shipbuilding enterprise

1.2 船企內部空間特征分析

根據船企解譯標志、船企空間分布知識[2]和中國船舶工業年鑒資料[14]，基于資源三號衛星遙感影像進行全國船企矢量提取。進一步，依據船企矢量提取結果，對船企內部地物的面積和地物之間的空間距離進行統計。

1)船企建設面積統計。船企面積分布差異較大，最大的船企面積達6.8×106m2，而最小的船企面積小于1×104m2，占地面積在7×105m2以下的船企數目占85%。

2)內部地物占地面積統計。對船塢(臺)、廠房、船只3類重要船企內部地物進行分析與統計： 其中船塢(臺)占地面積在5×104m2以內的占97%； 在5×104～1×105m2之間的為3%。廠房面積在5×104m2以內占97%，而5×104～1×105m2之間為3%。

3)內部地物空間距離統計。船塢(臺)是船企內最核心的地物，能夠反映船企的生產能力，是船企解譯中具有唯一性的判別標志。因此，本文在建立內部地物空間關系時，以船塢(臺)為基準，對船塢(臺)與船只，船塢(臺)與廠房的質心間的距離進行近鄰分析，計算廠房、船只與船塢(臺)質心之間的最近距離。

船塢(臺)與廠房距離小于400 m的占93%，距離大于400 m占比7%； 船塢(臺)與船只之間的距離小于400 m的占92%，距離大于400 m的占8%。

2 遙感圖像船企場景識別理論

2.1 基準網絡介紹

本文選用經典殘差網絡(ResNet)作為基準網絡。殘差學習單元(圖2)分為兩個分支，分別為殘差函數F(x)和輸入的恒等映射x，經過殘差學習后的期望輸出為H(x)=F(x)+x，該段網絡需要學習的目標函數即為F(x)=H(x)-x。這種近路連接的方式在一定程度上降低了學習難度，不需要引入其他參數增加網絡訓練的計算負擔，同時可以讓梯度信息被有效利用和傳播下去，較好地避免了網絡層數越來越深帶來的梯度彌散現象[15]。

圖2 殘差學習單元Fig.2 Residual learning unit

2.2 多模型多尺度檢測

船企內部地物之間分布密集，且形狀不規則，因此不同類別樣本存在重疊和相似。多個具有相似特征的樣本一起訓練時，會產生特征競爭現象，導致公用特征被某一類別獨占，特征難以被充分利用，無法達到預期的類別檢測效果。

本文提出多模型多尺度船企場景識別方法。該方法基于全局尺度場景樣本訓練得到船企場景模型，在局部尺度下，分別采用船塢(臺)樣本、船只樣本和廠房樣本單獨訓練多個對象模型，對同一場景采用訓練后的多個模型進行檢測，避免類別得分被平均而導致漏檢，如圖3所示。

圖3 多模型檢測流程Fig.3 Multi-model detection process

2.3 多模型多尺度場景識別

本文采用全局尺度模型進行船企場景初檢測，獲取船企候選區域，并在候選區域內開展局部對象檢測，得到各局部對象的粗略位置和語義標簽。為提升場景識別的準確性，結合弱監督學習方法精化船塢(臺)、船只和廠房在圖像中的位置分布，計算各地物間的空間距離。最終結合多尺度模型檢測結果、局部對象標簽組合方式以及空間距離條件進行船企場景的綜合識別。

2.3.1 全局尺度初檢測

為縮小船企檢測范圍，首先基于全局尺度船企場景模型在研究區進行初步滑窗檢測，獲取船企候選區域(圖4)。

(a) 全局初檢 (b) 初檢細節展示 (c) 局部對象檢測 (d) 局部對象檢測結果圖4 多模型多尺度船企識別流程Fig.4 Multi-model and multi-scale shipbuilding enterprise recognition process

2.3.2 局部尺度精檢測

在全局尺度初檢測的基礎上，將場景切割為多個局部圖像塊，以此為依據開展局部尺度精檢測(如圖4(c)所示，分別沿著圖中箭頭方向進行滑窗檢測)。最后提取出船塢(臺)、船只、廠房對象的局部圖像塊(如圖4(d)所示，紅色框為船塢(臺)，黃色框為廠房，藍色框為船只)。此時，船企可視為由多個局部圖像塊的標簽所組成的高階語義場景。

2.3.3 空間距離約束

將船企內部地物空間距離作為約束條件進一步提高船企場景的識別精度。為了獲得較為精確的空間距離，應獲取船企內部對象的位置信息。目前采用卷積神經網絡獲取位置信息的成熟算法主要基于強監督學習思想[16]，需要提前大量標注目標位置的訓練樣本。但對于船企這一復雜人工岸線，其具有語義豐富、內部構造復雜、地物邊界不清晰、形狀不規則等特點，為船企場景樣本加上范圍和位置標注框的人力成本較高且具有主觀性。如果標注者缺乏船企場景的專家知識，則難以保證目標框選的準確性?；诖筇崛〉膶嶋H需求以及樣本標注的困難性，考慮到方法的適用性和實用性，強監督學習的目標檢測并不是最合適的方法。

本文采用弱監督學習中的不精確監督方法[17]，用圖像級別標注的樣本，借助卷積神經網絡深層特征的定位特性提取目標大致位置。采用梯度加權類激活映射[18](Grad-CAM)可視化每類對象的像素級位置?；谏顚犹卣鲌D的定位特性，Grad-CAM的每個特征圖對指定類別的權重計算見公式(1)：

(1)

式中：z為該特征圖中像元數量；yc為對應類別c的分數；Aijk為第k個特征圖中(i,j)所在位置的像素值；z=m×n,1

(2)

Grad-CAM的優點在于可以不改變網絡結構來實現可視化，且應用十分便捷，可以直接擴展到任意訓練完成的卷積神經網絡中，對網絡的訓練過程沒有要求。

基于深層網絡的定位特性和Grad-CAM方法將對象所在的大致像素位置提取出來，開展空間距離約束。具體過程如圖5所示，左圖為船企初步識別結果。對其內部對象進行檢測，分別檢出廠房(紅色框)、船塢(臺)(藍色框)、船只(綠色框)，對檢測出的局部對象進行可視化，獲取類別響應區域中紅色像元所在位置，據此進行船企內部不同地物的空間約束。

圖5 局部對象空間關系約束Fig.5 Local object spatial relationship constraints

2.4 場景綜合評判和識別

結合場景多尺度標簽得分、局部對象標簽組合、局部對象空間距離約束3個決策條件對船企場景進行綜合評判，并提取滿足3類條件的區域，具體為：

1)多尺度標簽得分。通過調低船企場景置信度閾值盡可能提取候選場景以避免漏檢，實驗中該閾值設置為0.8。設置較高的局部對象檢測閾值進一步減少局部對象錯檢，實驗中該閾值為0.95。置信度高于兩種閾值的區域，符合船企場景的多尺度標簽得分條件。

2)局部對象標簽組合條件。局部對象組合方式會為場景分配不同類別標簽，只有當場景內同時存在船塢(臺)、船只和廠房標簽，認為其滿足船企標簽組合條件。

3)局部對象空間距離約束條件。計算船塢(臺)-船只和船塢(臺)-廠房的空間距離，依據船企內部地物空間統計規律，當面積和地物之間的距離結果符合時，則認為滿足對象空間距離條件。

3 船企場景識別流程

實驗中計算機軟硬件參數為： CPU為i7-8700，顯卡為RTX2070，操作系統為Ubuntu16，框架為Pytorch1.1.0，編程語言為Python。

長江沿岸是我國船企集群程度最高的區域，因此，選擇我國長江流域江蘇段(范圍E118°27′～121°57′，N31°38′～32°22′，總面積6 307 km2)為第一個實驗區； 采用2018年資源三號融合后正射影像進行船企識別。為進一步驗證方法的適用性，依據空間分辨率2 m左右的衛星影像，分別在日本和韓國選取造船業發達的區域進行識別實驗。日本研究區為造船業較為發達的長崎縣和愛媛縣周邊部分區域。其中，長崎縣區域(簡稱日本研究區一)位于E129°42′～130°1′，N32°39′～33°7′； 愛媛縣區域(簡稱日本研究區二)位于E132°54′～133°45′，N33°53′～34°21′。2個研究區總占地面積為5 472 km2。韓國研究區為木浦市和巨濟市周邊區域。木浦市區域(簡稱韓國研究區一)，位于E126°13′～126°30′，N34°33′～34°55′； 巨濟市區域(簡稱韓國研究區二)，位于E128°24′～129°3′，N34°47′～35°12′。韓國2個研究區總占地面積為3 738 km2。

船企場景識別流程如圖6所示，接下來對船企場景識別的整個實驗流程進行介紹。

圖6 船企場景識別流程Fig.6 Scene recognition process of shipbuilding enterprise

3.1 樣本集制作與影像預處理

首先進行樣本集制作，充分利用現有基準數據集AID[19]，NWPU-RESISC45[20]，選擇常見土地覆蓋類型作為背景負樣本。采用兩類衛星遙感數據(資源三號和Google Earth 2 m分辨率遙感影像)，依靠人工目視解譯識別船企并制作船企正樣本，包含全局船企場景樣本、局部船塢(臺)、廠房、船只樣本。船企樣本集制作充分考慮全國不同地區、不同格局、不同規模的船企的差異性，依據各地物大小不一，制作的樣本大小不同，在輸入網絡時，進行處理，大小統一為224×224。樣本數量如表2所示。對待檢測試驗區影像進行預處理，由于船企位于水陸交界區域，因此依據水邊線進行緩沖區提取，剔除影像中大部分陸地區域。

表2 樣本數量Tab.2 Number of samples

3.2 多模型多尺度訓練

1)樣本劃分與增強。樣本的選取需要保證訓練樣本的數量，同時應考慮不同地域樣本的差異性和多樣性。為識別江蘇省船企，訓練模型時采用除江蘇省外的全國船企樣本集。國內外船企廠區內部地類具有高度相似性，因此為識別日本和韓國船企，訓練模型時采用全國船企樣本。在劃分訓練和測試樣本時，按照8∶2的比例隨機劃分。對樣本進行了隨機翻轉和隨機旋轉操作，并進行色調變化調整。

2)網絡訓練參數設置與結果?；A網絡采用ResNet50，通過對在ImageNet數據集上訓練收斂的ResNet50網絡進行微調更新網絡相關參數。運用基于動量的隨機梯度下降方法，動量因子0.9，批處理大小為64，訓練過程中迭代次數為200，采用交叉熵損失函數。學習率初始設置為0.000 1，并根據迭代次數和接近收斂程度調整學習率，每次調整將學習率減小10倍。表3為網絡訓練收斂后，船企場景、船塢(臺)、廠房、船只4類地物的分類精確度、召回率、漏警率和虛警率結果。

表3 網絡訓練結果Tab.3 Network training results (%)

3.3 船企場景識別實驗

通過訓練獲得4類模型： 船企場景模型、船塢(臺)模型、船只模型和廠房模型。采用上述多個模型進行船企多模型多尺度檢測，并采用弱監督學習的方法計算場景內部地物之間的空間距離，結合多個約束條件進行船企場景的綜合評判與識別。圖7—9為不同實驗區的檢測過程和結果。具體步驟如下： 依據1.2節的分析結果，采用2 m分辨率遙感影像進行船企識別時，將船企全局場景檢測框長度設置在400～600像素之間； 局部對象檢測框長度設置在100～200像素之間。為避免圖像塊切割導致場景特征被破壞，將滑窗移動步長設置的較小(長度約為局部對象檢測框的1/3)。采用非極大值抑制方法將大面積重復的檢測框刪除。最后，采用結合場景多尺度檢測標簽得分、對象多標簽組合方式和對象空間距離約束進行船企場景綜合判別。

(a) 區域一全局檢測結果 (b) 區域一局部檢測結果 (c) 區域一綜合判別結果

(d) 區域二全局檢測結果 (e) 區域二局部檢測結果 (f) 區域二綜合判別結果圖7 江蘇省研究區域結果展示Fig.7 Display of the results of the study area in Jiangsu Province

(a) 全局檢測結果 (b) 局部檢測結果 (c) 綜合判別結果圖8 日本研究區域結果展示Fig.8 Display of results of the study area in Japan

(a) 全局檢測結果 (b) 局部檢測結果 (c) 綜合判別結果圖9 韓國研究區域結果展示Fig.9 Display of results of the study area in Korea

4 實驗結果分析

4.1 江蘇省結果與精度

目前多種基礎網絡如AlexNet[21]及VGG16[22]等均可以應用在本文的框架中，為了驗證ResNet50基礎網絡在船企識別中的有效性，分別采用AlexNet和VGG16網絡模型作為基礎網絡，使用本文方法對江蘇省船企進行識別，模型訓練和檢測參數設置根據實際情況微調，以達到最優效果。識別結果的精確度、召回率、虛警率和漏警率如表4所示?？梢钥闯?，AlexNet和VGG16基礎網絡識別結果的虛警率較高，對船企和其他沿江目標的區分能力有限，識別效果不如ResNet50網絡模型。

表4 基于不同基礎網絡模型的江蘇省船企識別結果Tab.4 Recognition results of shipbuilding enterprises in Jiangsu Province based on different basic network models (%)

以ResNet50作為基礎網絡，使用本文方法識別出的江蘇省船企分布如圖10所示，區域內共識別出121個船企，其中正檢105個，錯檢16個，漏檢18個船企。識別結果細節見表5。

圖10 江蘇省船企分布的最終識別結果Fig.10 Final recognition results of the distribution of shipbuilding enterprises in Jiangsu Province

表5 江蘇省船企識別結果細節展示Tab.5 Detailed results in Jiangsu Province

進一步分析，發現正確識別結果主要包含大中型船企以及特征較為明顯的小型船企和灘涂船企； 錯檢結果主要為港口和沿海工廠； 漏檢主要為特征不顯著的中小型和灘涂船企。

4.2 境外研究區域船企識別結果分析與精度評價

4.2.1 日本研究區域

日本研究區一船企識別結果如圖11(a)所示，共檢出5處船企場景，其中4處為正檢場景，1個為錯檢場景。日本研究區二識別結果如圖11(b)所示，共檢出17個檢測框，其中16個為正檢，1個為錯檢，并存在3處漏檢。對日本2個研究區船企整體識別結果進行統計，日本實驗區船企識別的精確度為91%，召回率為87%，虛警率為9%，漏警率為13%，證明制作的船企樣本數據集和多模型多尺度方法應用于日本區域依然有效。表6中顯示日本研究區識別結果示例，漏檢一個大型和兩個小型船企，發生錯檢為沿海工廠和港口。

(a) 區域一 (b) 區域二圖11 日本研究區域的船企識別結果Fig.11 The recognition results of shipbuilding enterprises in Japan study area

表6 日本研究區船企識別結果細節展示Tab.6 Detailed display of recognition results of shipbuilding enterprises in Japanese research areas

4.2.2 韓國研究區域

韓國研究區識別結果如表7和圖12所示。研究區一共檢出6個正檢場景(圖12(a))。韓國研究區二共檢出16個為正檢場景，4個錯檢場景，存在2個漏檢船企(圖12(b))。韓國研究區船企的總體識別精確度為85%，召回率為92%。對識別結果分析得知，錯檢主要為港口，而漏檢主要為小型船廠。

表7 韓國研究區船企識別結果細節展示Tab.7 Detailed display of recognition results of shipbuilding enterprises in Korean research areas

(a) 區域一 (b) 區域二圖12 韓國研究區域的船企識別結果Fig.12 The recognition results of shipbuilding enterprises in Korea study area

通過對日韓研究區域船企識別的結果分析，可知本文方法可以較好地對日韓區域進行船企識別。漏檢和錯檢主要原因為： 船企內部空間距離、廠房色調等方面與國內存在差異，如國內船企廠房主要為棕色、白色和藍色，而日本部分船企的廠房呈淺綠色； 同時，日韓研究區中少量船企建在島嶼上，空間布局較為獨特。

5 結論

針對船企語義豐富、場景復雜的特點，本文充分利用了場景多尺度、多語義、空間布局信息，提出了一種結合空間距離約束的多模型多尺度船企場景識別方法。將該方法應用于國內外研究區域進行船企識別，實驗結果證明了本文方法的可行性和有效性，提取的船企空間分布情況能夠為政府產能調控、產業布局提供宏觀決策依據。