?

基于深度學習的遙感圖像旋轉目標檢測研究綜述

2024-03-05 04:58陳天鵬胡建文
計算機應用研究 2024年2期
關鍵詞:卷積神經網絡深度學習

陳天鵬 胡建文

收稿日期:2023-06-16;修回日期:2023-07-31? 基金項目:國家自然科學基金面上項目(62271087);湖南省自然科學基金資助項目(2021JJ40609);湖南省教育廳科研項目(21B0330);長沙市自然科學基金資助項目(kq2208403)

作者簡介:陳天鵬(1996—),男,湖南岳陽人,碩士研究生,CCF會員,主要研究方向為深度學習、遙感圖像目標檢測等(1183108098@qq.com);胡建文(1985—),男,湖南婁底人,副教授,碩導,博士,主要研究方向為圖像處理、深度學習和模式識別等.

摘? 要:由于遙感圖像中的目標具有方向任意、分布密集和尺度差異大等特點,使得遙感圖像目標檢測成為一個頗具挑戰性的難題。針對該難題,系統梳理了近三年來深度學習遙感圖像旋轉目標檢測的相關工作。首先介紹旋轉框的表示方法及其特點;然后按照特征提取網絡、旋轉錨框和候選框生成、標簽分配及采樣策略、損失函數四個方面對當前遙感圖像旋轉目標檢測的現有方法進行分析;再對常用的遙感圖像旋轉目標數據集進行介紹,對比分析不同算法的性能;最后對遙感圖像旋轉目標檢測進行了展望。

關鍵詞:卷積神經網絡;深度學習;遙感圖像;旋轉目標檢測

中圖分類號:TP391.41??? 文獻標志碼:A

文章編號:1001-3695(2024)02-002-0329-12

doi:10.19734/j.issn.1001-3695.2023.06.0255

Overview of oriented object detection based on deep learning in remote sensing

Chen Tianpeng,Hu Jianwen

(School of Electrical & Information Engineering,Changsha University of Science & Technology,Changsha 410114,China)

Abstract:Since the objects in remote sensing images have the characteristics of arbitrary direction,dense distribution and large scale differences,object detection in remote sensing images has become a challenging problem.Aiming at this problem,this paper systematically reviewed the work related to rotating object detection in deep learning remote sensing images in recent three years.Firstly,this paper introduced the representation method and characteristics of rotated bounding box.Then,it analyzed the existing methods of rotating object detection in remote sensing images from four aspects:the feature extraction network,the generation of rotating anchor and candidate bounding box,the label allocation and sampling strategy,and the loss function.Next,it introduced the commonly used remote sensing image datasets for rotated object detection,and compared the performance of different algorithms.Finally,this paper prospected rotating object detection in remote sensing images.

Key words:convolutional neural network;deep learning;remote sensing image;rotated object detection

0? 引言

遙感圖像是指在地球高空對地面拍攝所獲得的圖像,為監測地球表面提供了豐富信息[1]。目標檢測技術是遙感圖像領域的一項重要任務,其對遙感圖像中的地物目標進行分類和定位,在農業、軍事偵查、資源調查、災害救援、環境監測等各個領域具有廣泛應用[2]。遙感圖像的檢測對象包括飛機、車輛、輪船等背景復雜的多類型目標,其具有方向任意、分布密集和尺度差異大等特點,因此在遙感圖像上進行目標檢測是一項具有挑戰性的任務[3]。

目標檢測算法主要分為傳統目標檢測算法和深度學習目標檢測算法。傳統目標檢測算法主要是設置不同大小和寬高比的滑動窗口對圖像進行遍歷提取候選區域,然后利用SIFT(scale-invariant feature transform)[4]等方法對候選區域進行特征提取,最后利用支持向量機(SVM)[5]等分類器對提取的特征進行分類。由于人工設計的特征其表示能力有限,這類方法很難對不同種類和尺度的目標進行較好檢測,并且候選區域選擇的時間復雜度高、特征提取時容易受到背景和物體形態等因素的影響,導致算法魯棒性較差,檢測精度有限?;谏疃葘W習的目標檢測算法[6]主要利用卷積神經網絡提取特征,一般采用水平框對目標進行框選,相比于傳統的手工設計特征提取方法,深度學習目標檢測算法的特征提取能力大大增強。然而,遙感圖像不同于自然圖像[7],若用水平框對遙感圖像目標進行框選,在檢測物體時存在框選不精確、大量目標框重疊等一系列問題。為此,研究人員提出旋轉目標檢測算法,使用帶有角度的旋轉矩形框對目標進行檢測。

近年來,隨著深度學習算法的快速發展以及大量高分辨率遙感圖像數據的支持,基于深度學習的遙感圖像旋轉目標檢測算法發展迅速[8],檢測性能得到明顯提升。這些算法大部分由通用目標檢測算法衍生而來。文獻[9~13]針對Faster R-CNN算法[14]進行改進,很好地繼承了二階段目標檢測算法高精度的特點;文獻[15~19]分別針對RetinaNet[20]和YOLO系列[21~24]等單階段目標檢測算法進行改進,在參數量和實時性上擁有較大優勢。這些算法能很好地應用于遙感圖像旋轉目標檢測任務,在DOTA[25]、DIOR[26]等數據集上均取得了較好的檢測精度。

隨著深度學習目標檢測算法的不斷發展,已經有部分學者對旋轉目標檢測算法進行了一定的歸納和總結。張磊等人[27]針對遙感圖像的旋轉目標檢測算法的原理及其優勢與不足進行了重點敘述,但只針對特征提取網絡、錨框及候選區域和損失函數三個方面進行了簡要分析;安勝彪等人[28]根據有無錨框,將當前基于深度學習的旋轉目標檢測方法分為基于錨框的單階段方法、基于錨框的二階段方法和無錨框方法,并對這三類方法進行了歸納分析,不過由于分類級別太大,并沒有對各方法進行細致比對;廖育榮等人[29]針對旋轉目標、小目標、多尺度和密集目標四類常見特定任務場景目標檢測算法進行了總結,然而該文只是針對任務場景來分析。與上述綜述不同,本文按照旋轉目標檢測各改進模塊,即特征提取網絡、旋轉錨框和候選框生成、標簽分配及采樣策略和損失函數對各方法進行系統分析和歸納,重點對近三年的遙感圖像旋轉目標檢測方法進行綜述。

考慮到旋轉框表示是旋轉目標檢測的基礎,且與旋轉錨框和候選框生成等內容具有密切聯系,所以,本文首先介紹旋轉框表示方法,并對這些表示法存在的問題進行綜合分析;然后按照網絡模型的常用改進部分對遙感圖像旋轉目標檢測領域的經典方法和當前較新方法進行重點闡述與分析;再介紹目前遙感圖像旋轉目標檢測常用數據集,并將主要檢測算法在DOTA v1.0數據集上的性能進行了對比分析;最后展望遙感圖像旋轉目標檢測的發展方向。

1? 旋轉框表示

自然圖像的通用目標檢測采用水平框對目標進行框選,而遙感圖像上的目標往往具有分布緊密、朝向任意等特點,若使用水平框對目標進行框選,框中會引入大量背景,且相鄰框可能會大量重疊,導致框選準確性低。同時,由于兩個水平框之間的交并比整體偏高,使用非極大值抑制后易造成目標漏檢,導致召回率偏低。所以,遙感圖像的目標檢測通常采用旋轉框對目標進行框選,當前旋轉框表示方法主要包括OpenCV定義法Doc、長邊定義法Dle90、長邊定義法Dle135和四角點定義法[30]。

a)OpenCV定義法DOC。表示參數為(x,y,w,h,θ),其中θ∈(0,π/2]。如圖1(a)所示,旋轉框的幾何中心為目標中心點(x,y),將x軸順時針旋轉,第一條與之貼合的邊定義為寬w,另一條邊定義為高h,旋轉角度為θ。

b)長邊定義法Dle90。表示參數為(x,y,w,h,θ),其中θ∈[-π/2,π/2)。如圖1(b)所示,旋轉框的幾何中心為目標中心點(x,y),旋轉框的最長邊與x軸的夾角即為旋轉角度θ。當長邊在x軸上方時角度為負,當長邊在x軸下方時角度為正;長邊和短邊的長度分別為w和h。

c)長邊定義法Dle135。其表示與長邊定義法Dle90一樣,但是θ∈[-π/4,3π/4)。在遙感圖像的目標角度分布中,處于±π/2附近的目標比例整體較多,使用長邊定義法Dle90易觸發角度周期性(見下文解釋)。為了緩解這一問題,重新定義角度為θ∈[-π/4,3π/4),如圖1(c)所示。

d)四角點定義法。表示參數為(x1,y1,x2,y2,x3,y3,x4,y4)。如圖1(d)所示,用回歸框的四個頂點表示旋轉框,從旋轉框最左邊的點開始,按照順時針方向依次得到四個角點(若為水平框,則取左上角的點為第一個點)。

下面分析這四種表示方法存在的問題:

a)角度周期性(periodicity of angular,PoA)。在OpenCV定義法和長邊定義法中,當角度數值位于其定義域邊界附近時,其大小可能會出現突變,使得角度損失不穩定,從而影響模型的收斂效果。如圖2(a)所示,綠色真實框的角度為π/2,藍色預測框的角度為π/20,兩個框重疊度很高,由于角度損失通常采用L1系列的損失,使得損失值驟增,模型性能退化。PoA問題使得模型在角度邊界附近時難以優化,降低模型的優化效率。

b)邊的交換性(exchangeability of edge,EoE)。該問題存在于OpenCV定義法中,如圖2(b)所示,綠色框和藍色框分別表示真實框和錨框(參見電子版),最理想的回歸路徑是錨框(0,0,6,3,π/2)按照順時針的方式旋轉π/36且寬和高不發生交換得到預測框(0,0,6,3,19π/36)。該回歸方式雖然簡單,但在OpenCV定義法中,預測框的角度19π/36超出了定義域,并且真實框表示為(0,0,3,6,π/36)。按照該方式計算出的損失值較大。而實際回歸路徑為錨框按照逆時針的方式旋轉15π/36,且錨框的寬變長、高縮短,得到預測框(0,0,3,6,π/36),此時損失值為0。模型以復雜的方式回歸,增加了回歸的難度,影響了模型的收斂速度。

c)頂點交換性(exchange of vertice,EoV)。該問題存在于使用距離損失的四角點定義法中。如圖2(c)所示,紫色框為水平錨框(參見電子版),實線箭頭表示旋轉框頂點實際的回歸路徑,虛線箭頭表示四邊形頂點理想的回歸路徑。當紫色錨框(a1,b1,c1,d1)回歸到紅色多邊形框(a2,b2,c2,d2)時,實際回歸路徑與理想回歸路徑保持一致;當紫色錨框(a1,b1,c1,d1)回歸到綠色多邊形框(a3,b3,c3,d3)時,由于八參數表示法以最左邊的點為起始點,頂點重新排序,所以實際回歸方式以一種更復雜的方式進行回歸。

d)參數不一致性。在OpenCV表示法和長邊表示法中,中心點坐標、寬高和角度等五個參數的測量單位不同,不同測量單位的參數在回歸上存在不一致性,簡單地將它們的損失相加會導致回歸不一致的問題。

2? 特征提取網絡

特征提取是目標檢測中至關重要的一步,網絡模型的特征提取是否充分直接影響到模型性能的好壞,一些方法通過設計新穎的網絡結構提取豐富的目標特征[31~35]?,F有工作為了提高網絡模型的特征提取能力,主要在基礎特征提取網絡、特征融合網絡和特征精細化模塊上進行相應改進。

2.1? 基礎特征提取網絡

近幾年,部分學者考慮改進基礎特征提取網絡,以改善模型的特征提取能力,提高其在遙感圖像旋轉目標檢測的性能。目前大部分基于遙感圖像的旋轉目標檢測算法的主干網絡以ResNet系列[36]為主,其對輸入圖像進行下采樣和殘差連接等操作輸出多尺度特征圖,進行基礎特征提??;基于YOLO的旋轉目標檢測算法的主干網絡為DarkNet系列網絡,其通過改進的卷積模塊和殘差模塊提取基礎特征;隨著Transformer網絡[37]的興起,有學者將其作為遙感圖像旋轉目標檢測主干網絡[38,39],在基礎特征提取上取得了較好的檢測效果。本節分別從圖像金字塔、注意力機制和Transformer網絡模型三個角度介紹基礎特征提取。

Azimi等人[40]受到語義分割網絡[41]的啟發,設計了一種圖像級聯網絡(image cascade network,ICN),通過雙線性插值獲得四種不同尺度的輸入圖像,使得模型可以提取多尺度特征;此外,通過引入可變形卷積[42],在圖像金字塔[43]與特征金字塔(feature pyramid network,FPN)之間設計一種可變形連接網絡(deformable inception network,DIN)以增強定位小目標的性能。該方法通過權重共享把ICN與FPN結合在一起,但是引入的圖像金字塔顯著增加了計算量,并且DIN中的可變形卷積也引入了一定的參數,導致訓練難度增加。

隨著注意力機制在圖像分類上表現出的優越性[44~47],眾多學者將其應用于遙感圖像旋轉目標檢測骨干網絡。Ran等人[48]設計了一種輕量化旋轉目標檢測網絡,將PeleeNet[49]作為骨干網絡并進行改進,在每個過渡層之后設計一種通道增強注意力(enhanced channel attention,ECA)模塊,其為一種由全局平均池化、全連接層等組成的簡化結構。該方法能夠增強模型的表征能力,提高檢測性能。Cheng等人[50]在主干網絡瓶頸模塊中引入坐標注意力(coordinate attention,CA)機制[51],使得模型能夠關注目標的空間位置,提高了模型訓練效率。張濤等人[52]在ResNet的基礎上引入方向不變模型(orientation-invariant model,OIM),增強模型對旋轉目標的適應能力;同時,引入無參注意力機制(simple parameter-free attention module,SimAM)[53]并利用深度可分離卷積降低計算量,在不影響檢測速度的情況下增強模型對艦船目標的關注度。Liu等人[54]設計了一種通道增強注意力機制(enhanced effective channel attention,EECA),用于殘差模塊中。

M(X)=σ(C2(RL(C1(Xavg)))+C2(RL(C1(Xmax))))(1)

其中:σ(·)表示sigmoid函數;RL(·)表示ReLU激活函數;C1、C2均為1×1卷積;Xavg和Xmax分別代表平均池化和最大池化操作。通過EECA注意力機制,模型更關注于目標的空間上下文信息,有利于提取細粒度特征。

隨著Carion等人[55]將Transformer模型應用于通用目標檢測,有學者對其進行改進并應用于旋轉目標檢測。Dai等人[56]提出了一種基于Transformer的旋轉目標檢測模型,其將圖像劃分為較小的4×4圖像塊,以利于遙感圖像中小且密集分布的目標檢測;同時引入全局下采樣注意力(global subsampled attention,GSSA)[57]代替原自注意力,降低模型的時間復雜度。此外,該方法設計一種空間FFN(spatial feed-forward network,spatial-FFN),融合深度可分離卷積的局部空間特征和多層感知器(multilayer perceptron,MLP)的全局通道特征,以彌補vision Transformer的FFN在局部空間建模方面的不足[58]。Liu等人[59]設計了一種混合網絡以提取基礎特征,在Swin Transformer[60]每一階段后添加卷積模塊,使得模型具備CNN的局部性與Transformer的全局性,能夠提取更豐富的特征,提高在復雜背景下的檢測效果。

在基礎特征提取時,使用圖像金字塔可以增強基礎特征提取和目標定位性能,使用注意力機制可以增強模型對目標的關注程度,使用Transformer網絡有利于模型捕捉全局信息,但這三種方式均會增加模型的計算復雜度。因此,在基礎特征提取時,可以根據自身網絡模型的需求有針對性地對網絡模型進行改進。

2.2? 特征融合網絡

輸入圖像經過基礎特征提取后,通常在頸部網絡進行特征融合[61,62],充分結合高層語義信息與底層細節信息以生成新的特征圖??紤]到遙感圖像中的目標排列密集、尺度差異大等情況,研究人員對特征融合網絡進行了改進。本節從特征增強和高效特征融合等方面介紹特征融合網絡。

Li等人[63]受到RefineDet[64]的啟發提出了RADet,如圖3所示。該方法針對目標尺度差異大的問題,在特征金字塔網絡中設計了一種增強模塊,結合最近鄰插值和卷積對高層特征層進行上采樣操作,再與底層特征層融合,有效減少了特征融合中由反卷積引起的棋盤格效應和混疊效應[65],提高了特征融合的有效性。另一方面,針對遙感圖像中目標背景復雜的問題,該方法在特征金字塔網絡中設計了一種多層混合注意力模塊,將位置注意力模塊與通道注意力模塊相堆疊,對特征圖的像素建立空間位置依賴關系,對于易被復雜背景淹沒的小物體檢測有一定幫助。劉萬軍等人[66]針對艦船方向任意、密集排列造成的漏檢問題,提出多尺度特征增強的遙感圖像艦船目標檢測算法。該算法主要貢獻為:a)在特征金字塔頂層特征圖融合之前設計一種密集連接感受野模塊(densely connected receptive field,DCRF),利用不同空洞率的卷積提取多尺度感受野特征,密集連接采用級聯模式和并行模式兩種策略,在級聯模式中,較大空洞率的卷積層接收較小空洞率卷積層的輸出,利用上下文信息產生更大的感受野,多個卷積層在并行模式下接收相同的輸入,經過不同大小和不同空洞率的卷積層后輸出多尺度特征;b)初步融合后,設計一種包含位置和通道的雙重注意力機制,進一步對提取到的特征進行增強,該方法有效抑制噪聲并突出目標特征,給予目標位置更多關注,在一定程度上緩解了目標漏檢問題。

Zhen等人[67]發現在構建特征金字塔時,最頂層的通道數較骨干網絡頂層通道通常會驟減,造成部分小目標的語義信息損失,對此提出一種自適應多級特征融合網絡,在特征金字塔的頂層構建多尺度特征融合模塊,利用多尺度加權信息補償語義信息的損失,從而減少小目標的語義信息損失。受到循環神經網絡(recurrent neural network,RNN)[68]的啟發,Sun等人[16]在特征融合網絡中設計一種反饋連接,增強網絡模型對多尺度特征的表征能力;張國生等人[69]認為在特征金字塔中,不同尺度特征在融合時具有不同的貢獻,利用自適應權重對不同尺度特征進行加權融合,融合策略如下:

Mi=Conv1×1(βiFi+(1-βi)Up(Fi-1))(2)

其中:Conv1×1(·)為1×1卷積操作;βi為自適應權重,其值為0~1;Fi和Fi-1分別表示第i和第i-1個尺度的融合特征;Up(·)表示雙線性插值上采樣操作。該方法使得模型能夠自動選擇更具判別性的尺度特征,提高整體性能。

增強目標特征和高效融合不同尺度特征是特征融合網絡改進的重要舉措。在增強目標特征時可以考慮引入注意力機制,降低背景噪聲的干擾;在如何高效地融合不同特征層時可以借鑒R4Det[16],從而減少融合時高層語義信息的損失。

2.3? 特征精細化模塊

對于部分單階段旋轉目標檢測方法(如由RetinaNet衍生的算法),特征不對齊是導致這些方法性能不佳的原因之一[70]。由于遙感圖像目標存在方向任意的特點,在基礎特征提取和融合后得到不同大小的特征圖,在低層特征圖上布置錨框會存在大量負樣本,在高層特征圖布置錨框使得錨框在訓練時位置和大小難以對齊目標,所以有學者設計特征精細化模塊應對此問題。本節分別從注意力機制、邊界框位置調整和特征重組三個方面介紹特征精細化模塊。

Liu等人[71]認為使用關鍵點不足以獲取旋轉目標的全部特征,設計一種中心邊界雙重注意力模塊(center-boundary dual attention,CBDA),引入中心點區域掩碼和邊界區域掩碼捕獲目標重要信息,利用雙重注意力機制提取目標中心和邊界區域特征,將兩者合并形成新特征。圖4是該方法的整體網絡結構,其利用不同區域注意力的優點對不同寬高比目標產生更精確的關鍵點定位,有助于聚焦目標的重要區域。

Yang等人[15]以RetinaNet為基線,通過使用從粗到細的漸進回歸方式快速準確地檢測目標。該方法設計一種特征精細化模塊(feature refinement module,FRM)處理由邊界框位置變化造成的特征不對齊問題,通過逐像素特征插值,將當前邊界框的位置信息重新編碼到對應特征點上,實現特征重構和對齊。該模塊可以過濾掉一定數量的無用邊界框,加快模型訓練速度;同時模型對目標的位置信息更為敏感,對檢測準確性的提高較為明顯。Sun等人[16]在R3Det[15]的FRM之前設計一種遞歸連接模塊(recursion connection block,RCB),其對不同特征層進行特征細化,從而加強FRM的輸入特征,使得模型在特征提取上更為精確,但降低了檢測速度。Liu等人[72]在YOLOX[73]上設計了一個精細化旋轉模塊(refined rotated mo-dule,RRM)以細化旋轉目標特征,RRM由旋轉邊界框模塊(rotated bounding box module,RBBM)和細化特征層模塊(refined feature layer,RFL)組成。RBBM是一個輕量級模塊,用來提取旋轉目標特征;RFL中引入了對齊卷積(alignConv),其利用RBBM的輸出作為偏移量,將特征與RBBM解碼的旋轉邊界框對齊。該方法很好地繼承了YOLOX的優點,檢測速度較快。

Zheng等人[70]提出一種自適應動態細化單階段目標檢測網絡,設計一種特征金字塔轉換器(feature pyramid transformer,FPT),通過對特征金字塔的特征進行轉換、重新排列、拼接和卷積等方式達到精細化特征提取的目的,有助于多尺度目標和密集目標的檢測;同時,考慮邊界框與目標特征存在不對齊的問題,該方法將轉換后的特征進行細化,引入動態特征細化(dynamic feature refine,DFR)模塊,通過對特征圖進行自適應調整,重構適用于旋轉目標的特征圖。

特征精細化模塊主要為單階段目標檢測算法設計,利用注意力機制可使模型關注旋轉目標特征;直接調節特征圖上邊界框的位置信息能快速將邊界框與特征進行對齊,較為直接地改善模型性能;基于特征重組的方式在針對密集目標的檢測上較為有效。

3? 旋轉錨框和候選框生成

基于錨框的目標檢測算法通常在特征圖的每個像素上布置不同大小、寬高比的水平錨框,然后從水平錨框中提取候選區域,通過計算真實框與錨框的中心點位置偏移、寬和高的縮放比例對錨框的大小和位置進行調整,逐漸逼近真實框。二階段無錨框目標檢測算法直接在特征圖的每個像素點上生成候選區域,隨后利用分類器對候選框進行過濾,使得保留下的候選區域逐漸擬合真實框。旋轉目標檢測算法在擬合真實框時,不再基于水平框,而是基于旋轉框。研究人員對此進行了研究,在旋轉錨框和候選框生成上進行了一系列工作。

3.1? 旋轉錨框轉換

Ding等人[74]設計了一個旋轉感興趣區域學習模塊(rotated region of interests learner,RRoI Learner),以增加少量計算量的代價將水平錨框轉換成旋轉錨框,緩解了水平錨框與目標之間的不對齊問題;同時,設計了一個旋轉感興趣區域對齊模塊(rotated position sensitive region of interests align,RRoI Align),從經過RRoI Learner處理后生成的感興趣區域中提取旋轉不變特征,用于后續的目標分類和位置回歸。該錨框轉換方式在旋轉目標檢測算法興起之時取得了較好效果,但是該方法沒有考慮引入角度所帶來的角度周期性和邊界性等問題,對于寬高比較大的目標檢測效果欠佳。Xu等人[12]采用在水平錨框上滑動四頂點的方式得到旋轉錨框,如圖5所示。與此同時,該方法設計一個傾斜因子,其為旋轉錨框與水平錨框面積之比,在推理階段根據傾斜因子的大小,模型選擇是否使用旋轉框的方式對目標進行回歸。該旋轉錨框生成方式比引入角度的方式產生的誤差小,避免了邊界問題,但是該方法存在邊界框回歸不準確、檢測速度慢等問題。

與文獻[12]方法不同的是,Xie等人[13]提出中點偏移法產生旋轉錨框,如圖6所示。該方法在水平錨框的基礎上分別對上邊和右邊的中點進行偏移,并通過微調得到旋轉錨框。該錨框表示方法相較于文獻[12]方法所需參數更少,為后續學者重新思考旋轉錨框的設計提供了啟發。Cheng等人[75]提出短側偏移檢測法(short-side excursion detection,SSEDet),利用短邊相對于右上頂點的偏移量來表示旋轉錨框,以水平錨框的中心為圓點,以短邊上的點和其關于圓心對稱點之間的距離為直徑畫圓,得到圓與該錨框長邊的四個交點,分別將短邊點與四個交點相連接,得到兩個旋轉錨框,利用三角形相似的規則過濾其中一個旋轉錨框。該方法能緩解由角度誤差造成的定位不精準等問題,但是在生成旋轉錨框的過程中計算較為煩瑣,且正方形目標的短邊不易確定,對于類正方形目標訓練過程模糊不定。

(x,y,w,h,α1=s1w,

α2=s2h,

α3=s3w,

α4=s4h)

3.2? 二階段anchor free回歸候選框

Li等人[76]以RoI Transformer為基線,設計一種無錨框區域生成網絡模塊(anchor-free oriented region proposal network,AFO-RPN)代替RRoI Learner,無須布置大量錨框,提升了模型的檢測速度。Cheng等人[77]設計了一種無錨框旋轉提議生成器(anchor-free oriented proposal generator,AOPG)產生旋轉候選框,在特征圖上以無錨框的方式在每個像素點生成粗略的類別分數和粗略的旋轉候選框,并引入可變形卷積將粗略的旋轉候選框與特征進行對齊得到精細旋轉候選框。該方法通過由粗到精的方式產生高質量的旋轉框,提高檢測精度。

3.3? 其他

Wang等人[78]認為在旋轉目標檢測時,在特征圖上布置水平錨框會產生回歸誤差,進一步影響旋轉錨框質量。為了解決這一問題,該方法根據最小外接矩形原則,將RoI Transformer產生的旋轉錨框反轉換成水平錨框,隨后與布置的水平錨框計算IoU損失,對水平錨框與旋轉角度之間建立了一種約束關系。該方法直觀簡單,以一種幾乎無成本的方式增強了錨框的魯棒性。由此可以得出,使用錨框轉換方式得到旋轉錨框簡單直觀,但需要考慮可能引入角度所帶來的問題;二階段anchor free回歸旋轉框的方式能整體降低模型參數量,提高檢測速度;針對水平錨框與旋轉錨框進行約束也能提高模型的性能。

4? 標簽分配及采樣策略

在模型訓練前,通常在特征圖上布置一系列錨框或點集,根據錨框與真實框的交并比或點集在真實框的位置進行正樣本、負樣本、忽略樣本等屬性分配[79],不同的樣本分配策略會給模型帶來性能差異。確定樣本屬性后,需要對樣本進行采樣操作,使得樣本平衡。

4.1? 基于錨框的標簽分配

基于錨框的目標檢測算法通常根據錨框與真實框的交并比進行正負樣本劃分。預設兩個閾值,將與真實框交并比大于較大閾值的錨框置為正樣本,與真實框交并比小于較小閾值的錨框置為負樣本,其余錨框為忽略樣本。本節從樣本衡量因子設計和基于交并比劃分樣本的改進進行介紹。

Ming等人[80]發現在標簽分配時使用交并比的方法會存在回歸不精確、分類與回歸性能不一致等問題,提出一種動態錨框分配方法,設計一種正負樣本衡量因子綜合評價錨框的定位能力:

md=αs+(1-α)f-uγ(3)

其中:s表示該錨框的空間對齊先驗知識,在數值上等于錨框與真實框的交并比;f表示該錨框的特征對齊能力,在數值上等于錨框與回歸框之間的交并比;α、γ為超參數;u表示懲罰因子,由回歸前后的交并比變化量所得。

u=|s-f|(4)

通過計算衡量因子的大小,網絡選擇高質量的錨框,使得框回歸變得精確并緩解分類與回歸之間不一致的問題。Wang等人[78]在采用交并比分配正負樣本的基礎上,額外計算正樣本與真實框的最小外接水平框的交并比dgh,同時計算正樣本與真實框的交并比dgo,但是分母為真實框,即

dgo=cg∩g0g0(5)

最后對dgh、dgo兩者取平均得到tg,當tg大于設定的閾值時,將該錨框置為正樣本。通過這種簡單的計算方式,在增加少量計算的前提下可得到高質量正樣本。

綜上,基于錨框的標簽分配,通過設計一種適用于錨框定位能力的樣本衡量因子能夠取得比基于傳統交并比的標簽分配方案更好的效果。由于錨框描述對象為旋轉目標,針對交并比做特殊的設計修改也可得到高質量正樣本。

4.2? 基于點集的標簽分配及采樣策略

基于無錨框的目標檢測算法,通常采用中心采樣策略確立正負樣本:通過設定中心采樣半徑,以真實框的中心為圓心,將采樣半徑內的樣本點置為正樣本,其余樣本點置為負樣本。本節分別從收縮法、高斯分布采樣法和點質量度量法等方面進行介紹。

受到EAST[81]的啟發,Zhu等人[82]利用收縮法進行正負樣本分配。如圖7所示(參見電子版),該方法引入兩個參數r1、r2(r1

Li等人[83]提出了一種單階段無錨框旋轉目標檢測網絡,采用基于2D高斯分布的橢圓中心采樣,即

g(X)=exp(-12(X-μ)TΣ-1(X-μ))(6)

其中:X表示該點的二維向量坐標;μ為中心點的坐標;Σ表示協方差矩陣,其可由水平協方差矩陣Σ0與旋轉變化矩陣Rθ得到:

Σ=Rθ·Σ0·RTθ(7)

Rθ=cos θ-sin θ

sin θcos θ,Σ0=min(w,h)12w0

0h(8)

其中:w、h分別表示旋轉框的寬和高;θ表示旋轉角度。當某一點的采樣分數g(X)大于設定的閾值時,則對該點進行采樣,該采樣方法為旋轉目標框提供了合適的采樣區域。與此同時,該文獻指出,模糊樣本標簽分配策略(當某一點同時位于不同目標的中心時,以往的標簽分配策略通常按照目標最小原則進行標簽分配)不適用于遙感圖像,其基于2D高斯分布引入一個采樣分數J(X),即

J(X)=wh·f(X)(9)

其中:w、h分別表示旋轉框的寬和高;f(X)表示該點的2D高斯分布。當該點在某一目標上取得的分數最高,則將目標的標簽賦予該點。最后,通過該方法計算目標短邊長度與采樣步幅之商,當其小于2或目標最小外接矩形的長邊超出了特征圖的接受范圍,則在下一級更大的特征圖上進行采樣。這兩種標簽分配策略為模型提供了合理的標簽。

Li等人[84]認為在無錨框的旋轉目標檢測中,點的質量對最終檢測結果至關重要。為了挑選高質量的樣本點,提出一種點集評估和分配方案(adaptive points assessment and assignment,APAA)度量點的質量,從分類質量、定位質量、方向質量和點相關質量四個方面對點集進行質量度量,即

Q=Qcls+μ1Qloc+μ2Qori+μ3Qpoc(10)

其中:μ1、μ2、μ3為各質量的權重;分類質量Qcls反映了點特征與真實框的類別接近程度,即

Qcls(Ri,bj)=Lcls(Rclsi(θ),bclsj)(11)

其中:Rclsi(θ)表示該點的分類置信度;bclsj表示真實框的標簽;Lcls為分類損失函數。定位質量Qloc表示空間位置距離的度量,反映了該點集中心與真實框幾何中心的接近程度,即

Qloc(Ri,bj)=Lloc(OBloci(θ),blocj)(12)

其中:OBloci(θ)表示點的位置;blocj表示真值框的中心;Lloc為定位損失函數。方向質量反映了該點集與真值框輪廓點之間的方向差異,即

Qori(Ri,bj)=CD(Rvi(θ),Rgbi)(13)

其中:Rvi(θ)表示點集的四個角點;Rgbj表示真值框的四個角點;CD(·)表示倒角距離。

點相關質量反映了點集的點相關程度,使用特征向量之間的余弦相似度來衡量點相關質量,即

Qpoc=1-1Np∑kcos(e*i,k,e*i)(14)

e*i,k=ei,k‖ei,k‖2(15)

e*i=1Np∑k=1e*i,k(16)

其中:Np代表一組點集中點的個數;ei,k表示第i組點的第k個點相關特征向量;e*i,k、e*i分別表示第i組點的歸一化嵌入特征向量和均值。APAA方案使模型能夠布置高質量的點集,提高點集的分類置信度和定位分數,但是該方法訓練過程緩慢,模型收斂時間較長。

由上可以看出,基于邊界框收縮的方法能夠確保絕大部分目標都有正樣本;基于2D高斯分布的采樣方法為每個點計算采樣分數,根據分數高低更合理地確立正樣本;設計新的點集分配方案能夠從整體上把握點集質量,得到高質量的采樣點。

4.3? 其他

Liang等人[85]認為基于交并比的錨框匹配策略會帶來量化誤差、噪聲樣本、特征金字塔層級與樣本不匹配等問題,進一步使得與小目標匹配的錨框較少或誤匹配,而使用點集的方式生成的旋轉框與小目標的交并比較布置錨框的方式更高,因此提出了一種動態增強錨框網絡(dynamic enhancement anchor network,DEA-Net),在特征圖上以布置錨框的方式和生成點集的方式分別得到一系列的錨框A、B,并計算其與真實框的交并比IAg、IBg,篩選出點集方式產生的更高IoU的候選框B。

(IBjg≥IAig)∩(IBjg≥TP)(17)

其中:i、j分別表示錨框A、B的索引;TP表示設定的正樣本閾值。當錨框B與真實框的交并比大于錨框A與真實框的交并比且大于正樣本閾值時,將該錨框置為正樣本。通過第一次篩選,篩選出點集支路的高質量候選框,再以同樣方式對錨框A進行篩選。

(IAjg≥TP)∩(IAjg≥IBjg)(18)

通過再次篩選,找到錨框支路的高質量候選框Ajg,并將其置為正樣本。該方法利用錨框支路產生大目標和寬高比較大目標的正樣本,利用點集支路產生小目標的正樣本,利用樣本鑒別器(sample discriminator)在錨框與點集之間生成合格樣本,提高模型的小目標檢測性能。Hou等人[86]提出了形狀自適應選擇策略(shape-adaptive selection,SAS)和形狀自適應測量策略(shape-adaptive measurement,SAM),SAS將物體形狀信息聚焦在寬高比上,針對不同寬高比的對象計算最優交并比閾值。SAM將質量信息添加到正樣本中,結合目標的中心和形狀計算出樣本點相對于目標的距離,以此衡量正樣本的質量。該方法實現了不同樣本之間的動態選擇,提升了寬高比較大的目標性能。使用動態樣本選擇策略能夠結合錨框方法與點集方法的優點,為小目標匹配更合適的正樣本;使用自適應的樣本選擇策略可以充分結合目標的形狀信息和中心點信息,在選擇正樣本時更為靈活。

5? 損失函數

目標檢測模型的損失函數包括分類損失和回歸損失。分類損失函數直接影響預測框的類別概率,在旋轉目標檢測模型中,focal loss[20]為最常見的分類損失,其針對樣本不平衡問題,在交叉熵損失的基礎上引入一個調節因子降低易分類樣本權重,使得模型聚焦于困難樣本的訓練?;貧w損失函數直接影響預測框的定位準確性,對于旋轉目標檢測模型,對角度做smooth L1損失[87]是一種較為常見的方式,但由于訓練時采用的優化指標與評價性能指標(IoU)不一致,影響了模型性能;交并比損失[88~91]通過優化旋轉框的重疊度訓練網絡參數,幫助模型改善定位結果,有效評估模型的回歸準確率。但由于當前開源框架中并不支持旋轉交并比(skewIoU)損失,所以該損失在旋轉目標檢測領域沒有被廣泛使用。針對以上問題,研究人員對旋轉目標檢測網絡的回歸損失函數進行了相應的研究,本章分別從損失函數加權因子、回歸損失的轉換、高斯分布度量損失等方面對損失函數進行介紹。

Yang等人[92]針對旋轉邊界框回歸的角度邊界問題設計IoU常數因子|-log(IoU)|,對回歸損失函數進行了改進:

Lreg=1N∑Nn=1t′n∑j∈{x,y,w,h,θ}LsmoothL1(v′nj,vnj)LsmoothL1(v′nj,vnj)-log(IoU)(19)

其中:N表示候選框的數目;t′n表示目標的二值分布;v′nj和vnj分別表示預測框的偏移量和真實框的編碼;IoU表示預測框與真實框的交并比;LsmoothL1為smooth L1損失。該方法在傳統的smooth L1損失中引入IoU常數因子|-log(IoU)|,在邊界情況下,|-log(IoU)|接近于0,使得回歸損失近似等于0,消除損失突增。Liu等人[71]發現不同寬高比的目標對角度誤差具有不同的敏感性,提出一種基于寬高比的加權角度損失,即

Larw(θi,θi)=∑Ni=1{(1+e-1/rati)|θi-θi|}(20)

其中:N表示一個批次中的目標個數;i表示一個批次中的目標索引;rati表示目標的寬高比;θi表示預測框的角度,θi表示真實框的角度;根據目標的寬高比分配不同的權重,使得寬高比較大的目標獲得更高的懲罰。

Yang等人[93]以分類的方式處理旋轉框角度,克服了角度周期性和邊的交換性問題,但是其對角度編碼的方式需要的位數較長,使得預測層過于厚重,增加了參數量和計算量。針對此問題,文獻[94]采用二值編碼和格雷編碼,相較于文獻[93]大幅降低了參數量和計算量。上述方法驗證了將角度回歸轉換成角度分類是可行的,但卻沒有利用角度分類這一想法的優越性,損失函數的梯度方向依然由距離損失主導。

Qian等人[95]設計FRIoU(focal rotated-IoU)衡量兩個旋轉框之間的重疊程度,通過分別計算旋轉框的上頂點和右頂點與最小外接矩形的上邊中點和右邊中點的偏移量,并將之引入到Focal-EIoU[96]損失函數中,該方法繼承了Focal-EIoU損失的優點,使得模型更加關注困難樣本,可提高檢測性能。Yang等人[97]定義了一個距離公式用來描述兩個多邊形的重疊度,并進一步提出了P2P(polygon to polygon distance)損失,即

LP2P=αLc+βLsp+λL′P2P(21)

其中:α、β、λ為各損失項的權重;Lc表示多邊形中心點損失,用來優化預測框的中心點參數;Lsp表示與寬高有關的半周長損失,用來優化預測框的寬、高等參數;L′P2P表示P2P距離損失,用來優化預測框的位置。Lc和Lsp均為smooth L1損失函數,表示為

Lc=∑i∈{x,y}smoothL1(ti,ti)(22)

Lsp=smoothL1((wA+hA)/(wB+hB),1)(23)

其中:ti、ti分別表示預測框與真實框的中心點坐標;wA、hA、wB、hB分別表示預測框和真實框的寬和高。L′P2P是基于P2P距離提出的損失,即

L′P2P=d(A4,B4)/(SA+SB)(24)

其中:SA、SB分別表示預測框與真實框的面積;d(·)表示預測框與真實框的P2P距離。

d(An,Bm)=(1nSPP(An,Bm)-SB)=(1mSPP(Bm,An)-SA)(25)

其中:n、m分別表示多邊形A、B的頂點數;SPP(·)表示P2P面積,定義為

SPP(An,Bm)=∑ni=1SVP(viA,EB)(26)

其中:viA表示多邊形A的第i個頂點;EB表示多邊形B;SVP表示多邊形A的第i個頂點與多邊形B的V2P面積,其計算方法如下:當多邊形A的頂點i處于多邊形B的內部或外部時,按照圖8(a)(b)所示劃分為多個三角形,再進行三角形面積相加。通過該方法表示兩個旋轉框的重疊程度,避免了角度周期性的問題,本質上不受任何旋轉框形狀的約束。

使用現有深度學習框架算子不易實現skewIoU,文獻[98]將旋轉框轉換成為二維高斯分布(m,Σ),即

m=(x,y)Σ1/2=RΛRT=

cos θ-sin θ

sin θcos θw20

0h2 cos θsin θ

-sin θcos θ(27)

其中:x和y分別表示旋轉框的中心點的橫縱坐標;R為旋轉變換矩陣;Λ表示中心點的對角矩陣。通過計算兩個旋轉框之間高斯分布的Wasserstein距離[99]來判斷旋轉框之間的重合程度,即

d2=‖m1-m2‖22+Tr(Σ1+Σ2-2(Σ1/21Σ2Σ1/21)1/2)(28)

其中:‖·‖2表示2范數,用來計算兩個旋轉框中心點的歐氏距離;Tr表示矩陣的跡;m1、m2分別表示預測框與真實框的中心點坐標;Σ1、Σ2分別表示預測框與真實框的協方差矩陣。這種方式能夠較好地解決邊界問題和類正方形問題,但是在中心點單獨優化時會出現檢測結果的位置偏移,并且該方法缺乏尺度不變性。針對以上問題,文獻[100]利用KL散度代替Wasserstein距離,并在協方差矩陣Σ中引入了兩個權重1/w2t、1/h2t,模型可以根據目標的尺度動態調整權重,使得模型具備尺度不變性。Yang等人[38]不再通過分布距離進行距離度量,而是通過卡爾曼濾波模擬交并比的計算過程:將兩個旋轉框轉換成高斯分布,利用卡爾曼濾波對兩塊高斯分布區域相乘,得到相交區域的高斯分布,最后將三塊高斯分布反轉換為旋轉矩形框,計算近似的交并比,該方法取得了比文獻[98,100]更好的效果。由上可以看出,通過設計損失函數加權因子在一定程度上能夠緩解角度周期性問題;采用分類的方式處理角度損失,避免了角度周期性和邊的交換性,但是其檢測效果仍需進一步挖掘;利用高斯分布度量距離或近似交并比處理損失函數取得了很好的效果,值得進一步研究。

6? 數據集及各方法性能對比

6.1? 遙感圖像旋轉目標檢測公開數據集

數據集是進行深度學習各項研究任務的前提,正是在大量數據的支持下,深度學習才得以飛速發展。當前遙感圖像旋轉目標檢測技術發展迅速,各研究團隊制做了一些遙感圖像旋轉目標檢測數據集,研究人員基于數據進行模型訓練和算法性能驗證并不斷改進算法,從而提高性能。本節對DOTA系列、UCAS-AOD等14種已公開的旋轉數據集進行介紹,包括內容描述、框標注方式、圖像和實例、數據集大小以及數據集地址,如表1所示。

6.2? 檢測算法性能比較

現有的遙感圖像旋轉目標檢測中最常用的評測指標是精確度(precision)、召回率(recall)和平均精度(average precision)。精確度反映所有被檢測出來的目標中檢測正確的概率,召回率反映所有目標被檢測出來的概率。以召回率、精確度為橫縱坐標畫出的曲線稱為精確度-召回率曲線(precision-recall curve),簡稱PR曲線。曲線下對應的面積稱為平均精度(average precision,AP),用來表征單一類別的檢測性能。每個檢測類別對應一個AP值,所有類別AP的平均值記為mAP(mean AP),用來評測算法的整體性能。為了比較算法在復雜場景下的表現和對多類目標的檢測魯棒性,本節利用常用數據集DOTA v1.0對前述各類型算法進行性能比對。為了公平比較,大部分方法都是在單尺度訓練和測試的條件下進行比較,部分方法采用多尺度訓練和測試。通過對第一部分各算法改進內容的分析,結合表2中各算法在DOTA v1.0上的性能對比可以得出:

a)設計模型算法時應當充分考慮主干網絡的特征表達能力和算法的特點。如表2所示,由于ResNet由多個殘差模塊構成,在提取目標深層特征的同時能緩解梯度消失問題,適用于絕大部分算法;近期興起的Swin Transformer網絡具有層級特征結構的特點,可以很好地適用于Oriented RepPoints等算法。

b)結合遙感圖像目標特性,針對一階段算法本身特點進行一系列的改進是有效的。如表2所示,R3Det、R4Det和ADT-Det等算法在DOTA v1.0數據集上的mAP分別達到73.74%、75.84%和77.43%,取得了較好的檢測精度。上述方法均為一階段算法,其基線采取端到端的方式,模型在面對旋轉目標時回歸性能差。研究人員考慮旋轉目標與水平目標的差異,對目標的位置信息重新編碼并細化,使邊界框能有效對齊目標特征,改善模型檢測性能。如R4Det在R3Det的基礎上進一步細化旋轉邊界框,檢測精度提升了2.1%。

c)利用高斯建模處理損失能提高模型性能。如表2所示,KLD、GWD和KFIOU等在DOTA v1.0上地mAP均超過77%,其值取得了較高精度的一個重要原因是這些方法在計算損失上引入了高斯建模,KLD、GWD通過高斯分布進行距離度量,使得檢測器能夠克服角度周期性等問題;KFIOU使用高斯分布和卡爾曼濾波得到近似的旋轉交并比,取得了很好的效果。

7? 遙感圖像旋轉目標檢測展望

當前,基于深度學習的遙感圖像旋轉目標檢測發展如火如荼,在DOTA v1.0數據集上的單尺度測試精度已經達到79.15%[95],多尺度測試精度已經超過81%[38]。然而,算法對于密集目標、弱小目標和外觀模糊目標的檢測精度不夠高、檢測速度整體不夠快的問題依然存在,如何進一步提高算法的精度和速度仍然是未來的研究重點。本文對遙感圖像旋轉目標檢測存在的問題及發展趨勢進行展望。

a)在軌實時檢測。受到實際應用需求,遙感圖像旋轉目標檢測任務將朝著在軌實時方向發展。由于遙感圖像的空間分辨率大且旋轉目標檢測任務較通用目標檢測更為復雜,在模型訓練和推理過程中會耗費大量計算資源,導致算法參數量龐大、檢測速度慢。受制于遙感衛星有限算力,如何在犧牲少量甚至不犧牲網絡模型精度的條件下,盡可能地降低網絡模型的計算量和參數量、提升其檢測速度,實現遙感圖像在軌實時檢測是未來重要的研究方向。

b)多源圖像融合檢測。目前遙感圖像旋轉目標檢測主要針對可見光圖像,其容易受到惡劣天氣、云霧遮擋等復雜環境因素影響,使用可見光相機獲取的圖像其目標可能存在遮擋、模糊、邊界不清晰、紋理信息弱、可利用特征少等問題,給旋轉目標檢測提出了更多的挑戰。隨著合成孔徑雷達、紅外熱成像等技術的逐漸成熟,通過融合可見光圖像與紅外圖像、SAR圖像等能夠克服上述可見光圖像的問題。因此,可以結合旋轉目標檢測技術與多源圖像融合技術提高旋轉目標檢測的魯棒性。

c)主干網絡設計。旋轉目標檢測網絡在骨干網絡的選取上大都采用經典的分類網絡,如ResNet。眾多學者在旋轉目標檢測網絡的改進工作中將重心放到了頸部網絡、檢測頭上面。隨著Swin Transformer的興起,有學者將之作為旋轉目標檢測器的骨干網絡,如Oriented RepPoints、KFIOU等,取得了比ResNet主干網絡(同一方法下不同主干網絡)更好的性能。因此,可以結合旋轉目標的特性,設計一種適配于旋轉目標檢測任務的高性能主干網絡。

d)先進旋轉框表示。當前旋轉框的表示方式會出現角度周期性、邊的交換性、頂點交換性和參數不一致性等問題,使模型以一種低效的方式訓練,對算法的檢測性能造成影響。如何設計一種先進的旋轉框表示方式將是旋轉目標檢測算法的重要研究方向。

e)結合弱監督、半監督的旋轉目標檢測。由于旋轉目標數據集的樣本標注成本高,同時數據集大都存在小目標、模糊目標未標注等質量問題,結合弱監督、半監督的旋轉目標檢測是一個值得研究的方向。目前,在通用目標檢測領域,弱監督和半監督已獲得較多關注,但關于旋轉目標檢測的弱監督和半監督的方法還很少。由于旋轉目標檢測的對象通常具有任意朝向、密集分布等特殊性,現有弱監督、半監督旋轉目標檢測方法的檢測精度較低,亟待提高,需要針對旋轉目標檢測進行深入的弱監督和半監督研究。

參考文獻:

[1]陳璐,管霜霜.基于深度學習的城市高分遙感圖像變化檢測方法的研究[J].計算機應用研究,2020,37(S1):320-323.(Chen Lu,Guan Shuangshuang.Research on changing detection method of urban high-resolution remote sensing image based on deep learning[J].Application Research of Computers,2020,37(S1):320-323.)

[2]南曉虎,丁雷.深度學習的典型目標檢測算法綜述[J].計算機應用研究,2020,37(S2):15-21.(Nan Xiaohu,Ding Lei.Review of typical target detection algorithms for deep learning[J].Application Research of Computers,2020,37(S2):15-21.)

[3]Ding Jian,Xue Nan,Xia Guisong,et al.Object detection in aerial images:a large-scale benchmark and challenges[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2022,44(11):7778-7796.

[4]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(11):91-110.

[5]Noble W S.What is a support vector machine?[J].Nature Biotechnology,2006,24(12):1565-1567.

[6]趙永強,饒元,董世鵬,等.深度學習目標檢測方法綜述[J].中國圖象圖形學報,2020,25(4):629-654.(Zhao Yongqiang,Rao Yuan,Dong Shipeng,et al.Survey on deep learning object detection[J].Journal of Image and Graphics,2020,25(4):629-654.)

[7]蔣光峰,胡鵬程,葉樺,等.基于旋轉中心點估計的遙感目標精確檢測算法[J].計算機應用研究,2021,38(9):2866-2870.(Jiang Guangfeng,Hu Pengcheng,Ye Hua,et al.Remote sensing target accurate detection algorithm based on rotation center point estimation[J].Application Research of Computers,2021,38(9):2866-2870.)

[8]Zhou Yue,Yang Xue,Zhang Gefan,et al.MMRotate:a rotated object detection benchmark using PyTorch[C]//Proc of the 30th ACM International Conference on Multimedia.New York:ACM Press,2022:7331-7334.

[9]Cheng Gong,Yao Yanqing,Li Shengyang,et al.Dual-aligned oriented detector[J].IEEE Trans on Geoscience and Remote Sensing,2022,60:5618111.

[10]Zhou Qiang,Yu Chaohui.Point RCNN:an angle-free framework for rotated object detection[J].Remote Sensing,2022,14(11):2605.

[11]Han Jiaming,Ding Jian,Xue Nan,et al.ReDet:a rotation-equivariant detector for aerial object detection[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2021:2786-2795.

[12]Xu Yongchao,Fu Mingtao,Wang Qi,et al.Gliding vertex on the horizontal bounding box for multi-oriented object detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2020,43(4):1452-1459.

[13]Xie Xingxing,Cheng Gong,Wang Jiabao,et al.Oriented R-CNN for object detection[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2021:3520-3529.

[14]Ren Shaoqing,He Kaiming,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.

[15]Yang Xue,Yan Junchi,Feng Ziming,et al.R3Det:refined single-stage detector with feature refinement for rotating object[C]//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2021:3163-3171.

[16]Sun Peng,Zheng Yongbin,Zhou Zongtan,et al.R4Det:refined single-stage detector with feature recursion and refinement for rotating object detection in aerial images[J].Image and Vision Computing,2020,103(11):104036.

[17]沈豐毅,王琴,蔣劍飛.基于改進卷積神經網絡艦船的實時目標檢測算法[J].計算機應用研究,2020,37(S1):316-319.(Shen Fengyi,Wang Qin,Jiang Jianfei.Real-time automatic ship detection based on modified convolutional neural networks[J].Application Research of Computers,2020,37(S1):316-319.)

[18]Yu Xinyi,Lin Mi,Lu Jiangping,et al.Oriented object detection in ae-rial images based on area ratio of parallelogram[EB/OL].(2021-11-08).https://arxiv.org/ftp/arxiv/papers/2109/2109.10187.pdf.

[19]Wang Xinxin,Wang Guanzhong,Dang Qingqing,et al.PP-YOLOE-R:an efficient anchor-free rotated object detector[EB/OL].(2022-11-04).https://arxiv.org/pdf/2211.02386.pdf.

[20]Tsungyi L,Goyal P,Girshick R,et al.Focal loss for dense object detection[C]//Proc of IEEE International Conference on Computer Vision.Washington DC:IEEE Computer Society,2017:2980-2988.

[21]Redmon J,Divvala S,Girshick R,et al.You only look once:unified,real-time object detection[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2016:779-788.

[22]Redmon J,Farhadi A.YOLO9000:better,faster,stronger[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2017:7263-7271.

[23]Redmon J,Farhadi A.YOLOv3:an incremental improvement[EB/OL].(2018-04-08).https://arxiv.org/pdf/1804.02767.pdf.

[24]Bochkovskiy A,Wang C Y,Liao H Y M.YOLOv4:optimal speed and accuracy of object detection[EB/OL].(2020-04-23).https://arxiv.org/pdf/2004.10934.pdf.

[25]Xia Guisong,Bai Xiang,Ding Jian,et al.DOTA:a large-scale dataset for object detection in aerial images[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2018:3974-3983.

[26]Li Ke,Wan Gang,Cheng Gong,et al.Object detection in optical remote sensing images:a survey and a new benchmark[J].ISPRS Journal of Photogrammetry and Remote sensing,2020,159(1):296-307.

[27]張磊,張永生,于英,等.遙感圖像傾斜邊界框目標檢測研究進展與展望[J].遙感學報,2022,26(9):1723-1743.(Zhang Lei,Zhang Yongsheng,Yu Ying,et al.Survey on object detection in tilting box for remote sensing images[J].Journal of Remote Sensing,2022,26(9):1723-1743.)

[28]安勝彪,婁慧儒,陳書旺,等.基于深度學習的旋轉目標檢測方法研究進展[J].電子測量技術,2021,44(21):168-178.(An Shengbiao,Lou Huiru,Chen Shuwang,et al.Research progress of rotating target detection methods based on deep learning[J].Electronic Measurement Technology,2021,44(21):168-178.)

[29]廖育榮,王海寧,林存寶,等.基于深度學習的光學遙感圖像目標檢測研究進展[J].通信學報,2022,43(5):190-203.(Liao Yurong,Wang Haining,Lin Cunbao,et al.Research progress of deep learning-based object detection of optical remote sensing image[J].Journal on Communications,2022,43(5):190-203.)

[30]胡凱旋.基于YOLOv5的航拍圖像旋轉目標檢測算法[D].成都:電子科技大學,2022.(Hu Kaixuan.Oriented object detector in UAVs aerial images based on YOLOv5[D].Chengdu:University of Electronic Science & Technology of China,2022.)

[31]呂曉君,向偉,劉云鵬.基于強化底層特征的無人機航拍圖像小目標檢測算法[J].計算機應用研究,2021,38(5):1567-1571.(Lyu Xiaojun,Xiang Wei,LiuYunpeng.Small object detection algorithm on UAV aerial images based on enhanced lower feature[J].Application Research of Computers,2021,38(5):1567-1571.)

[32]連遠鋒,李光洋,沈韶辰.融合超像素與多模態感知網絡的遙感影像車輛檢測[J].光學精密工程,2023,31(6):905-919.(Lian Yuanfeng,Li Guangyang,Shen Shaochen.Vehicle detection method based on remote sensing image fusion of superpixel and multi-modal sensing network[J].Optics and Precision Engineering,2023,31(6):905-919.)

[33]李暉暉,周康鵬,韓太初.基于CreLU和FPN改進的SSD艦船目標檢測[J].儀器儀表學報,2020,41(4):183-190.(Li Huihui,Zhou Kangpeng,Han Taichu.Ship object detection based on SSD improved with CreLU and FPN[J].Chinese Journal of Scientific Instrument,2020,41(4):183-190.)

[34]閆鈞華,張琨,施天俊,等.融合多層級特征的遙感圖像地面弱小目標檢測[J].儀器儀表學報,2022,43(3):221-229.(Yan Junhua,Zhang Kun,Shi Tianjun,et al.Multi-level feature fusion based dim and small ground target detection in remote sensing images[J].Chinese Journal of Scientific Instrument,2022,43(3):221-229.)

[35]何哲,陶于祥,羅小波,等.基于改進U-Net網絡的遙感圖像道路提?。跩].激光與光電子學進展,2023,60(16):1628004.(He Zhe,Tao Yuxiang,Luo Xiaobo,et al.Road extraction from remote sensing image based on improved U-Net[J].Laser & Optoelectro-nics Progress,2023,60(16):1628004.)

[36]He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Deep residual lear-ning for image recognition[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2016:770-778.

[37]Han Kai,Xiao An,Wu Enhua,et al.Transformer in transformer[EB/OL].(2021-10-26).https://arxiv.org/pdf/2103.00112.pdf.

[38]Yang Xue,Zhou Yue,Zhang Gefan,et al.The KFIoU loss for rotated object detection[EB/OL].(2023-02-06).https://arxiv.org/abs/2201.12558.pdf.

[39]李想,特日根,儀鋒,等.針對全球儲油罐檢測的TCS-YOLO模型[J].光學精密工程,2023,31(2):246-262.(Li Xiang,Te Rigen,Yi Feng,et al.TCS-YOLO model for global oil storage tank inspection[J].Optics and Precision Engineering,2023,31(2):246-262.)

[40]Azimi S M,Vig E,Bahmanyar R,et al.Towards multi-class object detection in unconstrained remote sensing imagery[C]//Proc of the 14th Asian Conference on Computer Vision.Cham:Springer,2019:150-165.

[41]Zhao Hengshuang,Qi Xiaojuan,Shen Xiaoyong,et al.ICNet for real-time semantic segmentation on high-resolution images[C]//Proc of the 15th European Conference on Computer Vision.Cham:Springer,2018:405-420.

[42]Dai Jifeng,Qi Haozhi,Xiong Yuwen,et al.Deformable convolutional networks[C]//Proc of IEEE International Conference on Computer Vision.Washington DC:IEEE Computer Society,2017:764-773.

[43]Burt P J,Adelson E H.The Laplacian pyramid as a compact image code[M]//Readings in Computer Vision:Issues,Problems,Principles,and Paradigms.San Francisco,CA:Morgan Kaufmann Publi-shers,1987:671-679.

[44]Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[C]//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook:Curran Associates Inc.,2017:6000-6010.

[45]Hu Jie,Shen Li,Sun Gang.Squeeze-and-excitation networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway,NJ:IEEE Press,2018:7132-7141.

[46]Li Xiang,Wang Wenhai,Hu Xiaolin,et al.Selective kernel networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2019:510-519.

[47]趙玉卿,賈金露,公維軍,等.基于pro-YOLOv4的多尺度航拍圖像目標檢測算法[J].計算機應用研究,2021,38(11):3466-3471.(Zhao Yuqing,Jia Jinlu,Gong Weijun,et al.Multi-scale aerial image target detection algorithm based on pro-YOLOv4[J].Application Research of Computers,2021,38(11):3466-3471.)

[48]Ran Qiong,Wang Qing,Zhao Boya,et al.Lightweight oriented object detection using multiscale context and enhanced channel attention in remote sensing images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2021,14:5786-5795.

[49]Wang R J,Li Xiang,Ling C X.Pelee:a real-time object detection system on mobile devices[C]//Proc of the 32nd International Confe-rence on Neural Information Processing Systems.Red Hook:Curran Associates Inc.,2018:1967-1976.

[50]Cheng Xiaotong,Zhang Chongyang.C2-YOLO:rotating object detection network for remote sensing images with complex backgrounds[C]//Proc of International Joint Conference on Neural Networks.Piscataway,NJ:IEEE Press,2022:1-8.

[51]Hou Qibin,Zhou Daquan,Feng Jiashi.Coordinate attention for efficient mobile network design[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2021:13713-13722.

[52]張濤,楊小岡,盧瑞濤,等.基于關鍵點的遙感圖像艦船目標檢測[J].系統工程與電子技術,2022,44(8):2437-2447.(Zhang Tao,Yang Xiaogang,Lu Ruitao,et al.Key-point based method for ship detection in remote sensing images[J].Systems Engineering and Electronics,2022,44(8):2437-2447.)

[53]Yang Lingxiao,Zhang Ruyuan,Li Lida,et al.SimAM:a simple,parameter-free attention module for convolutional neural networks[C]//Proc of International Conference on Machine Learning.2021:11863-11874.

[54]Liu Yanfeng,Li Qiang,Yuan Yuan,et al.ABNet:adaptive balanced network for multiscale object detection in remote sensing imagery[J].IEEE Trans on Geoscience and Remote Sensing,2022,60:5614914.

[55]Carion N,Massa F,Synnaeve G,et al.End-to-end object detection with transformers[C]//Proc of the 16th European Conference Computer Vision.Cham:Springer,2020:213-229.

[56]Dai Yaonan,Yu Jiuyang,Zhang Dean,et al.RODFormer:high-precision design for rotating object detection with transformers[J].Sensors,2022,22(7):2633.

[57]Chu Xiangxiang,Tian Zhi,Wang Yuqing,et al.Twins:revisiting the design of spatial attention in vision transformers[EB/OL].(2021-09-30).https://arxiv.org/pdf/2104.13840.pdf.

[58]Han Kai,Wang Yunhe,Chen Hanting,et al.A survey on vision transformer[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2022,45(1):87-110.

[59]Liu Xulun,Ma Shiping,He Linyuan,et al.Hybrid network model:transconvnet for oriented object detection in remote sensing images[J].Remote Sensing,2022,14(9):2090.

[60]Liu Ze,Lin Yutong,Cao Yue,et al.Swin transformer:hierarchical vision transformer using shifted windows[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2021:10012-10022.

[61]Zhang Gongjie,Lyu Shijian,Zhang Wei.CAD-Net:a context-aware detection network for objects in remote sensing imagery[J].IEEE Trans on Geoscience and Remote Sensing,2019,57(12):10015-10024.

[62]汪西莉,梁正印,劉濤.基于特征注意力金字塔的遙感圖像目標檢測方法[J].遙感學報,2023,27(2):492-501.(Wang Xili,Liang Zhengyin,Liu Tao.Feature attention pyramid-based remote sensing image object detection method[J].Journal of Remote Sensing,2023,27(2):492-501.)

[63]Li Yangyang,Huang Qin,Pei Xuan,et al.RADet:refine feature pyramid network and multi-layer attention network for arbitrary-oriented object detection of remote sensing images[J].Remote Sensing,2020,12(3):389.

[64]Zhang Shifeng,Wen Longyin,Bian Xiao,et al.Single-shot refinement neural network for object detection[C]//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2018:4203-4212.

[65]Odena A,Dumoulin V,Olah C.Deconvolution and checkerboard artifacts[J/OL].Distill,2016,1(10):DOI:10.23915/distill.00003.

[66]劉萬軍,高健康,曲海成,等.多尺度特征增強的遙感圖像艦船目標檢測[J].自然資源遙感,2021,33(3):97-106.(Liu Wanjun,Gao Jiankang,Qu Haicheng,et al.Ship detection based on multi-scale feature enhancement of remote sensing images[J].Remote Sensing for Natural Resources,2021,33(3):97-106.)

[67]Zhen Peining,Wang Shuqi,Zhang Suming,et al.Towards accurate oriented object detection in aerial images with adaptive multi-level feature fusion[J].ACM Trans on Multimedia Computing,Communications and Applications,2023,19(1):article No.6.

[68]Zaremba W,Sutskever I,Vinyals O.Recurrent neural network regulari-zation[EB/OL].(2015-02-19).https://arxiv.org/pdf/1409.2329.pdf.

[69]張國生,馮廣,李東.基于姿態表示的航空影像旋轉目標檢測網絡[J].廣東工業大學學報,2021,38(5):40-47.(Zhang Guosheng,Feng Guang,Li Dong.Pose-based oriented object detection network for aerial images[J].Journal of Guangdong University of Technology,2021,38(5):40-47.)

[70]Zheng Yongbin,Sun Peng,Zhou Zhongtan,et al.ADT-Det:adaptive dynamic refined single-stage transformer detector for arbitrary-oriented object detection in satellite optical imagery[J].Remote Sensing,2021,13(13):2623.

[71]Liu Shuai,Zhang Lu,Lu Huchuan,et al.Center-boundary dual attention for oriented object detection in remote sensing images[J].IEEE Trans on Geoscience and Remote Sensing,2021,60:1-14.

[72]Liu Fei,Chen Renwen,Zhang Junyi,et al.R2YOLOX:a lightweight refined anchor-free rotated detector for object detection in aerial images[J].IEEE Trans on Geoscience and Remote Sensing,2022,60:1-15.

[73]Ge Zheng,Liu Songtao,Wang Feng,et al.YOLOX:exceeding YOLO series in 2021[EB/OL].(2021-08-06).https://arxiv.org/pdf/2107.08430.pdf.

[74]Ding Jian,Xue Nan,Long Yang,et al.Learning ROI transformer for oriented object detection in aerial images[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2019:2849-2858.

[75]Cheng Yuhu,Xu Chengqing,Kong Yi,et al.Short-side excursion for oriented object detection[J].IEEE Geoscience and Remote Sensing Letters,2022,19:6515205.

[76]Li Jianxiang,Tian Yan,Xu Yiping,et al.Oriented object detection in remote sensing images with anchor-free oriented region proposal network[J].Remote Sensing,2022,14(5):1246.

[77]Cheng Gong,Wang Jiabao,Li Ke,et al.Anchor-free oriented proposal generator for object detection[J].IEEE Trans on Geoscience and Remote Sensing,2022,60:5625411.

[78]Wang Yanjie,Zou Xu,Zhang Zhihui,et al.Learning oriented remote sensing object detection via nave geometric computing[EB/OL].(2021-12-01).https://arxiv.org/pdf/2112.00504.pdf.

[79]曾浩.基于深度學習的遙感影像旋轉目標檢測[D].成都:電子科技大學,2022.(Zeng Hao.Rotated object detection for remote sen-sing image using deep learning[D].Chengdu:University of Electronic Science & Technology of China,2022.)

[80]Ming Qi,Zhou Zhiqiang,Miao Lingjuan,et al.Dynamic anchor lear-ning for arbitrary-oriented object detection[C]//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2021:2355-2363.

[81]Zhou Xinyu,Yao Cong,Wen He,et al.EAST:an efficient and accurate scene text detector[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Computer Society,2017:5551-5560.

[82]Zhu Yixing,Du Jun,Wu Xueqing.Adaptive period embedding for representing oriented objects in aerial images[J].IEEE Trans on Geo-science and Remote Sensing,2020,58(10):7247-7257.

[83]Li Zhonghua,Hou Biao,Wu Zitong,et al.FCOSR:a simple anchor-free rotated detector for aerial object detection[EB/OL].(2021-12-01).https://arxiv.org/ftp/arxiv/papers/2111/2111.10780.pdf.

[84]Li Wentong,Chen Yijie,Hu Kaixuan,et al.Oriented reppoints for ae-rial object detection[C]//Proc of IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2022:1829-1838.

[85]Liang Dong,Geng Qixiang,Wei Zongqi,et al.Anchor retouching via model interaction for robust object detection in aerial images[J].IEEE Trans on Geoscience and Remote Sensing,2021,60:5619213.

[86]Hou Liping,Lu Ke,Xue Jian,et al.Shape-adaptive selection and measurement for oriented object detection[C]//Proc of the 36th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2022:923-932.

[87]Girshick R.Fast R-CNN[C]//Proc of IEEE International Conference on Computer Vision.Washington DC:IEEE Computer Society,2015:1440-1448.

[88]Yu Jiahui,Jiang Yuning,Wang Zhangyang,et al.Unitbox:an advanced object detection network[C]//Proc of the 24th ACM International Conference on Multimedia.New York:ACM Press,2016:516-520.

[89]Rezatofighi H,Tsoi N,Gwak J Y,et al.Generalized intersection over union:a metric and a loss for bounding box regression[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2019:658-666.

[90]Zheng Zhaohui,Wang Ping,Liu Wei,et al.Distance-IoU loss:faster and better learning for bounding box regression[C]//Proc of the 34th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2020:12993-13000.

[91]Zheng Zhaohui,Wang Ping,Ren Dongwei,et al.Enhancing geometric factors in model learning and inference for object detection and instance segmentation[J].IEEE Trans on Cybernetics,2021,52(8):8574-8586.

[92]Yang Xue,Yang Jirui,Yan Junchi,et al.SCRDet:towards more robust detection for small,cluttered and rotated objects[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway,NJ:IEEE Press,2019:8232-8241.

[93]Yang Xue,Yan Junchi.On the arbitrary-oriented object detection:classification based approaches revisited[J].International Journal of Computer Vision,2022,130(5):1340-1365.

[94]Yang Xue,Hou Liping,Zhou Yue,et al.Dense label encoding for boundary discontinuity free rotation detection[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway,NJ:IEEE Press,2021:15819-15829.

[95]Qian Xiaoliang,Wu Baokun,Cheng Gong,et al.Building a bridge of bounding box regression between oriented and horizontal object detection in remote sensing images[J].IEEE Trans on Geoscience and Remote Sensing,2023,61:5605209.

[96]Zhang Yifan,Ren Weiqiang,Zhang Zhang,et al.Focal and efficient IoU loss for accurate bounding box regression[J].Neurocomputing,2022,506(9):146-157.

[97]Yang Yang,Chen Jifeng,Zhong Xiaopin,et al.Polygon-to-polygon distance loss for rotated object detection[C]//Proc of the 36th AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press,2022:3072-3080.

[98]Yang Xue,Yan Junchi,Ming Qi,et al.Rethinking rotated object detection with Gaussian Wasserstein distance loss[C]//Proc of the 38th International Conference on Machine Learning.2021:11830-11841.

[99]Vallender S S.Calculation of the Wasserstein distance between probability distributions on the line[J].Theory of Probability & Its Applications,1974,18(4):784-786.

[100]Yang Xue,Yang Xiaojiang,Yang Jirui,et al.Learning high-precision bounding box for rotated object detection via Kullback-Leibler divergence[EB/OL].(2022-04-18).https://arxiv.org/pdf/2106.01883.pdf.

[101]Zhu Haigang,Chen Xiaogang,Dai Weiqun,et al.Orientation robust object detection in aerial images using deep convolutional neural network[C]//Proc of IEEE International Conference on Image Proces-sing.Piscataway,NJ:IEEE Press,2015:3735-3739.

[102]Liu Zikun,Yuan Liu,Weng Lubin,et al.A high resolution optical satellite image dataset for ship recognition and some new baselines[C]//Proc of the 6th International Conference on Pattern Recognition Applications and Methods.Cham:Springer,2017:324-331.

[103]Zhang Feng,Wang Xueying,Zhou Shilin,et al.Arbitrary-oriented ship detection through center-head point extraction[J].IEEE Trans on Geoscience and Remote Sensing,2021,60:5612414.

[104]Razakarivony S,Jurie F.Vehicle detection in aerial imagery:a small target detection benchmark[J].Journal of Visual Communication and Image Representation,2016,34(1):187-203.

[105]Sun Xian,Wang Peijin,Yan Zhiyuan,et al.FAIR1M:a benchmark dataset for fine-grained object recognition in high-resolution remote sensing imagery[J].ISPRS Journal of Photogrammetry and Remote Sensing,2022,184(2):116-130.

[106]Li Jianwei,Qu Changwen,Shao Jiaqi.Ship detection in SAR images based on an improved faster R-CNN[C]//Proc of SAR in Big Data Era:Mo-dels,Methods and Applications.Piscataway,NJ:IEEE Press,2017:1-6.

[107]Cheng Gong,Yuan Xiang,Yao Xiwen,et al.Towards large-scale small object detection:survey and benchmarks[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2023,45(11):13467-13488.

[108]徐從安,蘇航,李健偉,等.RSDD-SAR:SAR艦船斜框檢測數據集[J].雷達學報,2022,11(4):581-599.(Xu Congan,Su Hang,Li Jiangwei,et al.RSDD-SAR:rotated ship detection dataset in SAR images[J].Journal of Radars,2022,11(4):581-599.)

[109]Liu Kang,Mattyus G.Fast multiclass vehicle detection on aerial images[J].IEEE Geoscience and Remote Sensing Letters,2015,12(9):1938-1942.

[110]Zhou Jian,Feng Kai,Li Weixing,et al.TS4Net:two-stage sample selective strategy for rotating object detection[J].Neurocomputing,2022,501(8):753-764.

猜你喜歡
卷積神經網絡深度學習
基于卷積神經網絡溫室智能大棚監控系統的研究
基于深度卷積神經網絡的物體識別算法
有體驗的學習才是有意義的學習
電子商務中基于深度學習的虛假交易識別研究
MOOC與翻轉課堂融合的深度學習場域建構
大數據技術在反恐怖主義中的應用展望
深度學習算法應用于巖石圖像處理的可行性研究
基于深度卷積網絡的人臉年齡分析算法與實現
基于卷積神經網絡的樹葉識別的算法的研究
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合