AIS 和光學遙感圖像引導的星載SAR 艦船目標識別網絡

王子玲，熊振宇，*，楊璐鋮，楊蕊寧，黃林周

1.海軍航空大學 信息融合研究所，煙臺 264001

2.中國人民解放軍 91033 部隊，青島 266000

3.重慶市勘測院，重慶 401120

4.重慶市地理信息和遙感應用中心，重慶 401120

在遼闊的海洋中，各類信息呈現海量特征，但感興趣艦船目標的有效信息密度低、不完備，且易受到復雜海洋環境影響，導致精準識別目標困難。隨著海洋監視技術的大力發展，各類探測手段不斷增多，探測效果不斷增強，通過多手段聯合方式能夠實現優勢互補，得到更易于理解、更加全面、更為精確有效的目標信息，進一步提升艦船目標探測效率。例如，光學衛星圖像分辨率高，圖像解譯快，可對目標實現精準觀測，但無法在夜晚條件工作，同時易受到惡劣天氣影響；星載SAR 不易受環境影響，可全天時全天候觀測艦船目標，但圖像解譯困難，不能連續觀測；AIS 能提供目標的身份信息和長、寬等屬性信息，實現感興趣目標連續觀測，但準確獲取非合作目標信息困難，特別是外國軍用艦船目標信息。通過融合不同模態數據，有效降低目標不確定性，得到準確的目標狀態和身份估計。但以上各類目標信息類型多樣，數據異構且形狀、紋理、極化、光譜、結構等特征差異大，導致在海洋目標識別任務中出現多模態信息融合處理難，識別精度低等問題。本文著手以SAR 圖像為基準，以AIS 歷史數據和光學遙感圖像作為輔助信息，通過構建遷移學習網絡精確識別出SAR 圖像中的艦船目標。

早期SAR 圖像艦船目標識別工作主要利用幾何、紋理、局部雷達散射截面（Local Radar Cross Section， LRCS）和梯度方向直方圖（Histogram of Oriented Gradients， HOGs）等 特 征［1-4］識 別 各類目標，但這些算法都采用手工特征的提取方式，其特征表示能力弱，識別準確率和識別效率低。得益于神經網絡強大的特征提取能力，深度神經網絡在計算機視覺領域應用廣泛［5-6］。近期許多研究通過構建深度注意力網絡和特征融合框架有效提升目標識別精度［7-11］。

但是以上算法大都只適用于于單一模態的SAR 圖像艦船目標識別，不同模態之間數據異構，其特征分布存在巨大差異，難以度量。Xiong等［12］提出了一種跨模態知識蒸餾網絡，通過將SAR 圖像和光學遙感圖像映射到共同的空間中，使不同模態能在同一特征空間中進行度量。Sun等［13］提出了一種跨模態哈希網絡，利用生成對抗網絡和語義保護模型有效解決不同模態之間的語義差異，同時將特征從實值轉換成二值哈希編碼，提升跨模態SAR 圖像和光學遙感圖像之間的處理效率。但是這些算法都只適應于大規模遙感場景圖像處理任務，SAR 圖像艦船目標識別需要利用算法模型關注圖像中更加細粒度的目標特征。Lang 等［14］提出了一種改進的多類自適應支持向量機，利用幾何特征實現AIS 與SAR圖像之間的特征遷移，提升SAR 圖像艦船目標識別精度。Lang 等［15］提出了一種多源異構遷移學習算法，利用特征增強機制充分挖掘不同模態之間的互補信息，能夠以半監督的方式實現小樣本SAR 圖像艦船目標識別。Hou 等［16］利用AIS信息實現了大規模SAR 圖像海洋場景中的艦船目標細粒度標注。Zhan 等［17］利用生成對抗的思想以細粒度的方式實現了不同模態異構特征之間的知識遷移。Rodger 等［18］構建了SAR 圖像和AIS 融合數據，提出輔助信息引導的天基海洋目標監視框架。

受到現有工作啟發，同時考慮到SAR 圖像艦船目標數據分辨率低，成像質量較差，圖像解譯困難，樣本不均衡等問題，本文提出了AIS 和光學遙感圖像引導的星載SAR 艦船目標識別網絡，借助AIS 歷史數據和高分辨率光學遙感圖像艦船目標數據集，解決SAR 圖像艦船目標識別精度低的問題。本文提出的目標識別網絡主要包括特征提取模塊、異構特征遷移模塊、特征對齊模塊3 部分。在特征提取模塊中分別提取各自模態的判別性特征，其中對于AIS 數據以艦船目標長寬為基礎，設計11 維屬性特征，對于光學遙感圖像和SAR 圖像分 別 采 用 深 度 神 經 網 絡VGG16［19］和Resnet18［20］提取圖像深度特征。在異構特征遷移模塊中，利用兩層全連接層將不同維度的異構特征映射到共同的空間中進行度量，同時保留各自模態獨有的屬性特征。在特征對齊模塊中，利用對抗域自適應模型，通過設計多個判別器和生成器進一步以細粒度的方式對齊不同模態數據的異構特征，充分挖掘不同模態的判別性特征，實現AIS 數據和光學遙感圖像向SAR 圖像的數據特征遷移，有效提升SAR 圖像艦船目標的識別精度。實驗結果表明，本文提出的算法利用其他模態的信息有效提升了SAR 圖像艦船識別的準確率，在識別精度上超過了基準算法。

1 模型方法

1.1 特征提取模塊

圖1 提出算法的整體框架Fig.1 Framework of our proposed method

將AIS 數據提供的艦船長（L）寬（W）屬性特征分別記作f1和f2?？紤]到單純利用這2 個特征來表示所有的艦船類別不具有足夠的判別性，利用長寬特征作為基礎，構建艦船目標AIS 數據11 維度特征向量fais=[f1，f2，…，f11]，具體 描述如表1所示。光學遙感圖像采用了經典VGG16 網絡提取圖像特征，最終輸出4 096 維度的特征表示fopt。星載SAR 艦船目標圖像采用Resnet18 網絡提特征，最終輸出512 維度的特征表示fsar。

表1 AIS 特征描述Table 1 Description of AIS features

1.2 異構特征遷移模塊

1.3 異構特征對齊模塊

為進一步對齊不同模態間的特征分布，設計模態對抗損失函數LD，在訓練過程中通過對抗域自適應的方式減小跨模態差異。模態對抗損失函數包含模態判別器和特征生成器，其中特征生成器由特征遷移模塊中的神經網絡G構成，用于生成AIS、光學圖像和SAR 圖像特征來欺騙模態判別器。模態判別器由包含兩層全連接層的神經網絡D組成，用于判斷從生成器中輸出的特征模態。通過優化對抗損失函數LD來最小化判別器輸出值，最大化生成器輸出值，從而減小不同模態之間的特征距離，讓判別器難以辨別從生成器中輸出的特征模態?？紤]到在不同模態中圖像類別分布不一致，進一步將模態對抗損失函數LD分為全局對抗損失函數LD1和局部對抗損失函數LD2，以更加細粒度的方式對齊不同模態間的特征分布，全局對抗損失函數LD1分別為

式中：S表示不同模態內部的數據類別，在局部對抗損失中，判別器依據類別被劃分成S個局部判別器Ds，其 中yi，s表 示 類 別 為s的 輸 入 數 據xi的 標 簽值，y?i，s表 示 標 簽yi，s的 預 測 值。進 一 步 構 建 包 含 分類器C和特征生成器G的分類損失函數LY，該分類損失函數為

式中：Lc表示交叉熵損失函數，分類器C由線性激活函數的一層全連接層網絡構成；yaisi，和分別為模態內部對每個類別標簽的預測值，通過優化分類損失LY，讓特征生成器G能夠幫助各自模態輸出更具判別性的圖像特征，提升各自模態的識別準確率。

考慮到不同模態數據樣本分布差異較大，在訓練過程中可能將AIS 和光學圖像樣本中的無關信息引入到SAR 圖像模態中。為進一步消除在特征對齊過程中引入無關樣本導致的不利影響，在局部對抗損失中添加權值ws擬合樣本空間中不同模態的數據分布：

式中：表 示SAR 模 態 數 據 中 標 簽的 預 測 值。為了提升遷移模型的可解釋性，對AIS 和光學遙感圖像模態分別引入權值wais和wopt，以量化的方式計算AIS 數據和光學遙感數據對SAR 圖像艦船分類任務的貢獻率。在訓練過程中，利用MMD算法［14］度量不同模態間的差異，使得不同模態間差異越大，wais和wopt取值越小?？紤]該差異為條件分布間的非參數距離估計，因此不同模態的差異度量因子定義為

綜合考慮異構特征遷移模塊和異構特征對齊模塊，并對不同損失添加權值，最終得到總損失函數定義為

2 實驗結果

2.1 實驗設置

本文采用2 個公開SAR 艦船目標圖像數據集、一個光學遙感圖像數據集和AIS 歷史數據驗證本文算法的有效性。在訓練過程中，采用圖像翻轉，隨機剪裁和旋轉，不同程度改變圖像光照等數據增強策略以應對不同類別樣本不均衡問題。采用每一類樣本的準確率（Accuracy Rate， AR）和總體準確率（Overall Accuracy， OA）2 種經典的分類度量標準來衡量本文算法的有效性。AR 主要用來衡量算法對單個類別的識別準確率，OA 主要用來衡量算法對所有類別的全體艦船目標圖像的識別準確率。所有實驗在PyTorch 深度學習框架下運行，實驗配置為Ubuntu 16.04， 32 GB of RAM， 8 Intel（R） Core（TM） i7-6770K CPU and NVIDIA RTX 2080Ti。

2.2 數據集

1）星載SAR 艦船目標圖像：考慮到星載SAR 圖像分辨率低，艦船目標細粒度解譯和標注難度大，星載SAR 艦船目標圖像利用當前僅有的開源數據集OpenSARShip［21］和FUSAR-Ship［16］。OpenSARShip 數據集源于Sentinel-1 衛星獲取的SAR 圖像，搜集了17 個艦船類別的共計11 346 個SAR 圖像艦船切片，其中每艘艦船包含了VV 和VH 兩種極化方式，圖像空間分辨率高于20 m。FUSAR-Ship 數據集中部分類別的艦船樣例圖像如圖2（a）所示，該數據集源于高分3 號衛星獲取的SAR 圖像，搜集了15 個艦船大類和98 個艦船子類的超過5 000 個高分辨率SAR 圖像艦船切片，圖像空間分辨率高于1.5 m。由于這2 個數據集中每個類別的艦船圖像數量存在較大差異，本文主要考慮散貨船、貨船、集裝箱船和油船這4 個艦船類別。實驗過程中，不同數據集選取的樣本數量如表2 所示。對于2 個SAR 艦船目標數據集，隨機選取了數據集中的80%用于訓練，余下的20%作為測試集。

表2 艦船樣本數量Table 2 Number of ship samples

圖2 數據集樣例Fig.2 Examples from dataset

2）光學遙感圖像：光學遙感圖像來源于ORS［15］數據集，樣例圖像如圖2（b）所示，該數據集源于谷歌地球，圖像分辨率為0.5 m，整理包含了8 個類別的艦船圖像切片。該數據集相較于當前其他光學遙感艦船數據集艦船圖像更加完整，沒有過多繁雜的背景信息，能夠更好幫助網絡學習到更具判別性的艦船特征。與SAR 圖像數據類似，從該數據集中選取了散貨船、貨船、集裝箱船和油船這4 個艦船類別用于網絡訓練，每個類別包含400 張帶有標注的艦船目標圖像。不同數據集中艦船目標圖像之間沒有配對關系，我們僅利用類別標簽提供監督信息。

3） AIS 數 據：AIS 數 據 采 用 在hiFleet（https：//www.hifleet.com/）下載的共計3 325 條歷史實測數據，其中包含了散貨船、貨船、集裝箱船和油船共計4 個類別，每個類別包含了約800 條AIS 艦船數據。如圖2（c）所示，每條AIS 數據采用文本的格式，從中提取了每艘艦船的海上移動業務識別碼（Maritime Mobile Service Identity，MMSI）、艦船類別和艦船的長寬信息用于作為標簽信息和特征表示。在訓練過程中，從該數據集每個類別中選取400 張帶有標注的艦船目標圖像用于網絡訓練，僅利用類別標簽提供監督信息。

2.3 結果與分析

2.3.1 分類精度

為驗證本文算法的有效性，在OpenSARShip和FUSAR-Ship 這2 個數據集中開展消融實驗，每個類別的AR 實驗結果如表3 所示。其中AR1、AR2、AR3和AR4分代表了散貨船、貨船、集裝箱船和油船的分類精度值，“LY”表示只采用分類損失時的識別準確率，從實驗結果可以看出只采用分類損失識別精度最低，不同模態特征之間沒有遷移，無法對SAR 圖像模態的艦船識別任務提供有利特征信息輸入?！?Lp”表示同時采用分類損失和參數約束損失，從實驗結果可以看出相比于單純采用分類損失，參數約束損失統一了異構特征，將不同維度特征映射到共同空間中進行度量，在2 個數據集中的識別準確率都有較大提升?！?Lp+LD1”表示同時采用分類損失、參數約束損失和全局對抗損失，從實驗結果可以看出，全局對抗損失進一步對齊了不同模態的異構特征，有效提升了識別精度?！?Lp+LD1+LD2”表示本文提出算法，同時結合了分類損失、參數約束損失、全局對抗損失和局部對抗損失，從實驗結果可以看出該算法有效解決了異構數據中特征分布不同導致的度量困難、不同類別樣本不均衡導致識別結果精度低等問題，以更加細粒度的方式實現不同模態間的知識遷移，在2 個數據集中達到最佳效果，有效提升了SAR 圖像艦船目標的識別精度。除此之外，考慮到不同圖像成像質量差異大，部分類別SAR 艦船目標圖像類間差異小，類內差異大，不同類別利用相同算法精度有較大差異。但對于同一艦船類別，本文提出的算法有較為明顯的提升，同時達到最佳識別精度，進一步驗證本文算法有較強的魯棒性。

表3 消融實驗Table 3 Ablation study

2.3.2 特征可視化

為了直觀地展現出本文算法所學習到不同模態數據特征的判別性，利用t-分布隨機鄰域嵌入算法［22］得到高維特征的二維表示，在2 個數據集中的特征可視化結果如圖3 所示。從實驗結果的特征分布可以看出對于不同模態的同類圖像在特征空間距離更近，異類圖像距離更遠。對于同一模態內部，相同類別的圖像更加聚集，不同類別的圖像更加分散。進一步驗證本文算法具有良好的鑒別能力。在特征空間中同樣存在部分離群值嵌入在其他類別簇中，主要存在以下2 點原因：① 鑒于SAR 圖像的成像原理，對于停泊在港口的靜止艦船目標成像較為清晰，但對于遠海運動目標成像模糊，所以在2 個SAR 圖像數據集中部分圖像成像質量差，艦船目標輪廓肉眼難辨，判別性特征提取困難，無法在特征空間中對其進行有效劃分；② 遙感艦船目標圖像背景信息繁雜，對于港口艦船目標圖像，相似的背景區域將導致類內差異遠大于類間差異。

圖3 特征可視化實驗結果Fig.3 Experimental results of feature visualization

2.3.3 參數分析

為了進一步驗證總損失函數（式（19））中超參數λ對識別精度（OA）的影響，設計參數敏感性分析實驗，實驗結果如圖4 所示。從實驗結果可以看出，當λ＜0.1 時，隨著λ增加，識別精度急劇增加。當λ=0.1 時，在OpenSARShip 和FUSAR-Ship這2 個數據集識別精度最高，隨著λ取值繼續增大，識別精度逐漸減小，且出現較小幅度的波動，識別精度下降緩慢。

圖4 參數分析實驗結果Fig.4 Experimental results of parameter analysis

2.3.4 對比實驗

為了進一步體現本文算法的先進性，在Open?SARShip 和FUSAR-Ship 數據集上進行的對比實驗如表4 所示。其中數據模態“SAR”表示只利用SAR 圖像一種模態進行艦船識別，分別采用3 種 經 典 的 深 度 神 經 網 絡VGG16［19］、Resnet18［20］和Resnet50［20］作為深度特征提取器提取特征后進行目標識別。從實驗結果可以看出，隨著網絡的不斷加深，識別準確率不斷提高，但由于SAR 圖像分辨率低，判別性特征不明顯，單一利用深度特征提取器的識別準確率依然不理想?！?AIS”表示同時利用SAR 圖像和AIS 數據兩種模態進行艦船識別，利用AIS 歷史數據作為先驗信息，將知識遷移到SAR 圖像模態中?？紤]到，OpenSARShip 數據集中的艦船圖像分辨率明顯小于FUSAR-Ship數據集，判別性特征提取相對困難，不同算法在OpenSARShip 數據集中的分類精度低于FUSAR-Ship。從實驗結果可以看出MMDT［23］算法相比于HFA［24］和CDLS［25］識別結果較差，該算法無法從AIS 中提取到充分屬性特征，特征提取模塊無法從SAR 圖像中提取判別性的艦船特征?！?OPT”表示同時利用SAR 圖像和光學遙感圖像2 種模態進行艦船識別，從實驗結果可以看出相比于AIS 數據識別準確率有了大幅提升，光學遙感圖像內容更為豐富，能夠提取更具判別性的圖像特征，通過遷移學習，利用先驗知識幫助模型更準確的識別艦船目標?！?AIS+OPT”表示本文算法同時利用AIS 數據、光學遙感圖像和SAR這3 種模態進行艦船識別，從實驗結果可以看出，DAMA［26］算法識別精度較低，主要是因為傳統基于手工特征的表示方式無法獲取不同模態艦船圖像的判別性信息。MUDAF［27］算法采用了無監督遷移方式實現不同模態信息的互補提取，考慮到遙感艦船目標圖像內容豐富，背景信息繁雜，該算法無法有效提升識別精度。本文算法提取了各自模態獨有判別性特征，充分挖掘了不同模態之間的互補信息，在2 個數據集中都達到了最佳的識別準確率，驗證了本文算法的有效性。

表4 分類精度對比實驗結果Table 4 Comparison of classification accuracy of dif?ferent methods

3 結 論

本文提出了一種AIS 和光學遙感圖像引導的星載SAR 艦船目標識別網絡，利用特征遷移模塊在保留各自模態獨有特征屬性前提下將異構特征映射到共同的空間中度量，利用異構特征對齊模塊充分挖掘不同模態的互補信息，以細粒度的方式進一步對齊不同模態的異構特征，將各個模態的判別性特征作為先驗信息遷移至SAR 圖像模態中。實驗中，本文利用AIS 歷史數據和光學遙感圖像作為輔助信息，利用2 個公開SAR 艦船目標圖像數據集對本文算法模型進行有效性驗證。實驗結果表明本文算法通過利用不同模態信息，有效提升了SAR 圖像艦船目標的識別準確率。

在后續的工作中將對SAR 艦船目標圖像數據集的數量和種類進一步擴充，并利用AIS、光學圖像、一維距離像等多種目標探測手段，構建大規模多源異構艦船目標數據庫。在此基礎上設計統一大模型框架實現不同模態的數據遷移，進一步提升海上艦船目標的識別精度。