?

基于空間相關性增強的無人機檢測算法

2024-03-12 12:48張會娟李坤鵬姬淼鑫劉振江劉建娟張弛
浙江大學學報(工學版) 2024年3期
關鍵詞:尺度卷積特征

張會娟,李坤鵬,姬淼鑫,劉振江,劉建娟,張弛

(1.河南工業大學 電氣工程學院,河南 鄭州 450001;2.北京理工大學 自動化學院,北京 100081)

隨著無人機技術和功能的逐漸完善,各個領域都出現無人機的身影,這在豐富和便利人們日常生活的同時,也帶來極大的安全隱患.管控不當導致黑飛亂飛事件的日益增多,給公共安全和人民生活帶來極大的威脅[1].因此,須采用反無人機系統來防范非法無人機的侵入.在反無人機系統中,檢測被視為至關重要的環節,因為只有在準確檢測到無人機的存在之后,才能采取進一步的反制措施.因此,對現實場景中低空飛行的無人機進行快速準確檢測具有重要的現實意義.

目標檢測作為近年來計算機視覺領域的熱門研究方向之一,在視覺搜索、虛擬現實、增強現實、自動駕駛等場景應用廣泛[2].隨著卷積神經網絡(convolutional neural network,CNN)[3]的不斷發展,基于深度學習的目標檢測算法發展迅猛.目前,基于深度學習的目標檢測算法可以分為基于回歸的單階段目標檢測算法和基于候選區域的兩階段目標檢測算法[4].比較有代表性的兩階段算法有RCNN[5]、Fast-RCNN[6]、Faster-RCNN[7]、Mask R-CNN[8]等.這類算法須先從生成的多個候選區域中提取特征,然后進行類標簽和邊界框的輸出,檢測精度較高,但是復雜的結構致使檢測速度較慢,難以滿足實時性的要求[9].以YOLO[10]、SSD[11]為代表的單階段算法通過提取的特征直接回歸目標的坐標和類別,具有檢測速度快的優點,但檢測精度往往不如兩階段算法.這2類算法對大目標和中目標的檢測效果較好,但是在小目標檢測方面效果并不理想.雖然兩階段算法具有較高的檢測精度,但是無法突破檢測速度的限制.對于一些實時性檢測任務,無法滿足速度要求.對于實際場景下的無人機目標檢測須采用極高檢測速度的算法,因此更適合使用單階段算法來進行研究.

無人機作為小目標的一種,經過多層特征提取網絡后,其分辨率降低,部分重要信息丟失.因此,實現無人機小目標的快速精準檢測絕非易事.目前,諸多學者針對小目標檢測提出有效的改進方法,檢測性能不斷提高.Wang等[12]將金字塔最頂層2個特征圖通過注意力編碼器進行特征融合,以增強特征圖的局部特征和全局表征.Peng等[13]提出通道空間混合注意模塊,抑制無用特征信息.Min等[14]提出注意特征金字塔網絡結構,過濾冗余信息突出小目標,并通過前景相關上下文增強特征,抑制背景噪聲.上述文獻在特征融合時抑制冗余信息方面具有一定的效果,但是對于無人機此類微小目標的檢測不能保證足夠的精度.Ju等[15]設計擴張模塊減少信息損失,并設計穿透模塊來融合淺層細節信息和深層語義信息.Deng等[16]設計擴張模塊減少信息損失,并設計穿透模塊來融合淺層細節信息和深層語義信息.He等[17]提出多尺度特征增強融合網絡,更好地融合提取的特征,同時提出SCSA模塊提高交通場景中小目標的檢測精度.Ji等[18]提出擴展的感知塊獲取更多的上下文特征,并在CIoU的權重函數中引入縱橫比權重因子增強網絡對小目標的學習能力.張娜等[19]提出雙向加權特征金字塔網絡,對解碼后的位置信息進行通道再分配,進一步融合特征信息.謝譽等[20]提出深層次特征金字塔網絡,深層次融合多尺度特征層.上述文獻可以進一步增強小目標的特征信息,但是忽略了融合語義不一致特征時的沖突問題.

以上針對小目標檢測提出的改進在一定程度上適用于顏色、紋理、形狀等特征明顯的小目標.在實際場景中對無人機檢測時須對空拍攝,面臨天空背景下的相機逆光情況.這種情況下的圖像分辨率會大幅度降低,導致顏色、紋理、形狀等低級特征大量丟失,這就需要融合更多低級特征.其次,無人機有時會在復雜的背景環境下飛行,有時目標的成像只有幾個像素,如果不減小信息沖突、增強目標特征表達,無人機特征很有可能會淹沒在背景雜波中.

針對上述問題,在一階段檢測算法YOLOv5的基礎上,提出基于自適應上采樣和空間相關性增強的無人機小目標檢測算法.首先提出多尺度上下文信息和注意力特征融合增強(multi-scale context information and attention feature fusion enhancement,MCIAFFE)模塊,通過不同空洞率的空洞卷積擴展多尺度的感受野,疊加多尺度的重要淺層特征,經過通道注意力模塊 (channel attention module,CAM)提高目標通道的有效性,隨后采用注意力特征融合模塊抑制特征沖突;其次,提出自適應上采樣結構,自適應融合亞像素卷積和雙線性插值作為新的上采樣方式,平衡計算量并保留更多無人機特征信息;最后,提出空間相關性增強(spatial correlation enhancement,SCE)模塊,通過評估局部特征和全局特征的相似度,增強強相關的通道以提高目標辨識度,抑制弱相關的通道以抑制背景噪聲,從而增強小目標的敏感度.

1 YOLOv5算法模型

YOLOv5作為端到端的單階段檢測網絡,實現了檢測速度和精度兼顧,能以極快的速度對目標完成分類和定位任務,被廣泛應用于實時性要求高的目標檢測任務中.YOLOv5整體結構分為3部分:骨干網絡(Backbone)、特征融合網絡(Neck)和檢測頭(Head).輸入圖片在進行訓練之前采用和YOLOv4[21]一樣的Mosaic數據增強方式,將4張圖片經過隨機剪裁、縮放變換后拼接在一起,不僅可以擴充數據集,而且可以提高訓練速度,使模型具有更好的魯棒性.

Backbone網絡的主要作用是提取圖像特征,將輸入的3維圖像轉化為多層特征圖.在網絡訓練過程中,輸入圖像經過Backbone結構實現32倍下采樣提取特征.Neck網絡的主要作用是跨層融合多尺度的特征圖,整體采用PAN[22]結構,該結構通過上采樣和下采樣可以得到與Backbone中相同尺度、包含豐富語義信息的深層特征圖.通過融合多尺度的深層特征與淺層特征,得到更豐富的特征表示,最終輸出尺度為20×20、40×40、80×80的3個特征圖,分別負責對大、中、小目標的檢測[23].Head網絡生成目標的邊界框和類別概率,從而實現目標定位和分類[24].

雖然YOLOv5具有一定的小目標檢測能力,但是不滿足無人機此類對檢測要求極高的小目標檢測,因此須對YOLOv5算法的網絡結構進行改進.

2 改進的YOLOv5算法

為了提高無人機小目標的檢測性能,同時考慮算法實時性的問題,在YOLOv5算法上進行改進,改進后的網絡結構如圖1所示.首先,為了緩解多層特征提取網絡導致的特征損失,同時為了減少語義不同和尺度不一致導致的特征沖突問題,在金字塔最頂層嵌入多尺度上下文信息和注意力特征融合增強模塊MCIAFFE,使頂層特征圖有效融合淺層特征圖中豐富的小目標位置和細節這些低級特征;其次,為了減少YOLOv5采用最近鄰插值法導致的上采樣結果中的特征損失,提出自適應的上采樣方式,通過自適應融合亞像素卷積和雙線性插值2種上采樣方式,在平衡計算量的同時還原更準確的特征信息,得到包含更多無人機小目標低級特征的特征圖;最后,為了提高特征相似的背景下無人機的辨識度,在Neck結構中,對在自頂向下路徑上的特征圖進行下采樣后,采用空間相關性增強SCE模塊,增強小目標在復雜背景下的特征提取能力.

圖1 改進后的YOLOv5網絡結構Fig.1 Improved YOLOv5 network structure

2.1 多尺度上下文信息和注意力特征融合增強

無人機小目標的特征信息主要集中在擁有豐富位置信息和細節信息的淺層特征中,但高層特征圖中包含的豐富的語義信息也不可忽略.為了解決在特征提取過程中,高層特征圖中無人機小目標的低級特征丟失導致檢測能力較弱的問題,須將淺層特征圖的上下文信息融入到高層特征圖中,即使得上下文信息能為小目標檢測提供更有效的信息[25],故對金字塔最頂層進行特征融合增強.設計多尺度上下文信息和注意力特征融合增強模塊MCIAFFE,該模塊結構如圖2所示.

圖2 多尺度上下文信息和注意力特征融合增強模塊Fig.2 Multi-scale contextual information and attentional feature fusion enhancement module

具體步驟如下.

如圖2(a)所示為多尺度上下文信息和注意力特征融合增強模塊整體結構圖.首先,使用2、3、5這3個空洞率不同的空洞卷積對輸入特征圖X分別進行感受野擴大處理,學習小目標的局部上下文信息[26],得到X1、X2、X3,可以表示為

式中:dconv(·) 表示空洞卷積,右上角角標代表空洞率,右下角角標代表卷積核的大??;conv1×1(·)表示1×1的標準卷積,用于縮放通道減少計算量.

將得到的3個特征圖進行拼接得到特征圖F,之后經過CAM調整每個通道的權重,CAM同時使用自適應平均池化和自適應最大池化2種池化操作.將池化后的向量經過MLP操作和歸一化函數得到通道注意力權重,拆分得到3個對應于X1、X2和X3的權重 α、β、γ,可以表示為

式中:split(·) 表示chunk函數,將注意力權重平均拆分為3份;S(·) 表示sigmoid函數,得到0~1.0的歸一化權值[27];MLP(·) 表示輸入經過卷積-Relu激活-卷積操作;Pa(·) 和Pm(·) 分別為平均池化和最大池化,用于對H×W×C的輸入進行壓縮,得到1×1×C大小的向量.

將得到的權重分別與輸入相乘,調整不同輸入的重要性,增強重要信息抑制噪聲,則融合上下文信息的特征Y可以表示為

最后將語義特征不一致的輸入特征X′和Y經過如圖2(b)所示的注意力特征融合模塊,得到分配給2個輸入特征圖的動態融合權重 δ 和(1-δ).將2個權重與輸入相乘得到融合特征Z,可以抑制不同語義特征融合導致的信息沖突問題,防止無人機小目標信息被背景噪聲覆蓋,其中Z可以表示為

式中:δ(X′+Y) 表示輸入特征相加后經過ICBAM得到的注意力權重矩陣.

ICBAM為改進的CBAM[28],ICBAM結構如圖2(c)所示.首先經過CAM得到權重 ωc,而后通過空間注意機制SAM得到注意力權重 ωs.無人機小目標的重要特征是淺層的低級信息,而非高層的語義信息,輸入Z相較于經過CAM得到的特征來說,語義信息更少.因此,將得到的 ωs與輸入Z相乘,再利用歸一化函數得到注意力權重矩陣Zo,可以表示為

式中:S(·) 為sigmoid歸一化函數.

2.2 自適應上采樣

YOLOv5算法采用最近鄰插值法作為上采樣方式,計算量小,運算速度快,但是最近鄰插值法只考慮離采樣點最近的像素值,不考慮其他相鄰像素點造成的影響,導致插值結果不平滑,無人機小目標特征損失較嚴重.為了緩解上采樣過程中,目標特征丟失的問題,對上采樣方式進行改進,改進后的上采樣方式如圖3所示.

該模塊使用亞像素卷和雙線性插值法作為新的上采樣方式.亞像素卷積對通道像素重新排列,得到高分辨率圖像,實現對特征圖放大的功能,可以保證完整的信息量,計算量小.由于放大特征圖尺寸會縮減通道數,且亞像素卷積的結果并不會改變上一層特征圖的特征信息,即上采樣后得到的特征圖與backbone網絡中同尺度特征圖相比,仍然損失一部分重要特征信息.雙線性插值考慮采樣點周圍4個相鄰點灰度值對它的影響,能更準確還原出淺層的無人機特征信息,在一定程度上克服了采樣點不連續的問題,但是計算量更大一些.為了平衡計算量,盡可能還原更多重要特征信息,將亞像素卷積和雙線性插值法進行融合輸出.

如圖3所示,首先對輸入特征X進行通道縮放,減少計算量,得到特征圖X′.然后對X′分別進行亞像素卷積和雙線性插值操作得到特征圖U和D,具體公式如下:

式中:conv(·) 表示卷積、批量歸一化以及SiLu激活函數的組合;SPconv(·) 表示亞像素卷積操作;Bilinear(·) 表示雙線性插值操作.之后將U和D融合得到特征圖F.

特征融合方式可以采用如圖3(a)所示的加權融合或如圖3(b)所示的拼接融合,即通道維度的相加或通道維度的拼接.

為了證明2種融合方式的優劣,在公共數據集VisDrone2019[29]上進行對比實驗,實驗結果如表1所示.表中,P為準確率,R為召回率,mAP0.5表示IoU為0.5時所有類別的平均精度;mAP0.5∶0.95表示IoU在0.50~0.95以0.05的步長變化求得的10個檢測精度的平均值;GFLOPs為10億次浮點運算,用于表示模型的復雜度;基線模型為在YOLOv5算法模型的基礎上引入了MCIAFFE和SCE模塊.相比于拼接融合方式,加權融合模型復雜度較小,且其他指標均有提升,因此本研究選擇加權融合方式對U和D進行融合.

表1 特征融合方式對比實驗Tab.1 Comparison experiments of feature fusion methods

由于亞像素卷積在進行2倍上采樣時通道數會縮減4倍,須將雙線性插值的輸出通道通過卷積操作調整為與之相同的數量才能進行加權操作.然后經過自適應平均池化、Softmax歸一化以及chunk分塊函數操作,得到自適應權重 μ 和λ,得到的權重向量元素的和越大表示對應的上采樣方式越重要,還原無人機小目標信息的效果更好,更能達到增強有用信息抑制背景噪聲的目的.最后調整通道得到特征圖Y,具體公式如下:

2.3 空間相關性增強

無人機飛行時在真實成像設備中會呈現出只有幾個像素的極小目標情況.當處于顏色相似或形狀相似的復雜背景下時,由于受到背景噪聲的干擾,準確提取前景小目標的特征十分具有挑戰性.因此,增強背景和前景的辨識度和表達能力是非常有必要的.為了提高前景目標的敏感度,提出空間相關性增強方法SCE.通過局部特征與全局特征的相關性分析,自適應增強前景的特征識別能力.如圖4所示為SCE模塊的結構圖.

圖4 空間相關性增強Fig.4 Spatial correlation enhancement

首先對輸入特征通道的重要性進行評估,抑制背景噪聲.然后尋找輸入特征圖的空間局部特征,對空間局部特征進行均值處理和重要性評估.隨后對局部特征與全局特征進行相似度度量,根據相似關系對全局特征通道抑制或增強,提高目標與背景的對比度,從而提高小目標的識別能力.

如圖4所示,首先對輸入特征圖X利用自適應平均池化和自適應最大池化進行處理,將特征映射到通道方向,然后利用歸一化函數對通道重要性進行建模,得到描述全局特征的權重向量gi,則gi可以表示為

同時,對H×W×C的輸入特征圖沿空間方向遍歷,尋找對角線上的特征表示,并對得到的空間局部特征在W維度進行對齊,得到C×1×W的特征表達.隨后對其進行一維卷積處理提取特征,得到空間局部特征表達H.

式中:?(·) 表示查找函數,用于在空間方向尋找局部特征;φ(·) 表示對齊函數,將尋找的局部特征在W維度對齊;conv1d3表示卷積核為3的一維卷積,用于提取特征.

為了保證局部特征與全局特征在維度上保持一致,將H上的特征沿W維度映射,采用沿W維度取均值操作,得到大小為C×1×1 的特征向量.然后對其進行歸一化處理,得到描述空間局部特征的權重向量表達ki,表達式如下:

式中:Pmn(·) 表示取均值 函數.

將全局特征的權重向量gi和局部特征的向量表達ki進行相似度度量,得到描述局部特征和全局特征的相關性向量Pi:

將相關性向量疊加到全局特征向量表達gi,并作用到輸入特征圖X上,達到增強目標抑制背景的目的,提高目標區域的敏感度,更有利于從復雜背景中準確提取目標特征.

3 實驗與分析

3.1 數據集與實驗環境介紹

實驗在自制無人機數據集和VisDrone2019數據集上進行測試.自制無人機數據集制作如下:采用??低晹z像頭拍攝DJIMINISE無人機在不同場景下不同背景的飛行視頻,對視頻圖像進行剪裁處理,并從網上收集部分無人機圖片,隨后將所有圖像劃分為訓練集、驗證集和測試集,并進行人工標注.自建無人機數據集共有5 869張訓練圖像、1 218張驗證圖像和2 765張測試圖片.如圖5所示為自制無人機數據集中的樣本圖像.對數據集中的目標邊界框尺度情況進行統計,結果如表2所示.表中,Aa表示目標框面積與圖像面積的比值區間,φn表示目標框(或邊界框)處于Aa區間內的數量百分比.

表2 不同尺度下的邊界框統計Tab.2 Statistics of bounding boxes at different scales

圖5 自制無人機數據集的樣本圖像Fig.5 Sample images from self-made UAV dataset

如圖6所示為自建數據集中所有無人機標簽大小的分布圖.圖中,φH、φW分別表示無人機真實框的寬度和高度所占比例.可以看出,幾乎所有圖像中無人機的寬度和高度所占比例均小于0.1,符合實際場景下無人機飛行時成像比例的一般情況.

圖6 自制無人機數據集中無人機標簽大小的分布圖Fig.6 Distribution of UAV label size of self-made UAV dataset

VisDrone2019數據集包含大量的密集小目標對象,共有6 471張訓練圖片,548張驗證圖片和1 580張測試圖片,包含10個類別.如圖7所示為訓練集和驗證集中每個類別標簽的分布情況.圖中,N為目標框的數量.

圖7 VisDrone 2019數據集中訓練集和驗證集中每個類別的標簽分布情況Fig.7 Distribution of labels of each category in train set and validation set of VisDrone 2019 dataset

采用Win10操作系統、基于pytorch框架的YOLOv5目標檢測模型,在顯卡為NVIDIA Ge-Force RTX 3080、torch 1.11.0、內存16 G、CUDA 11.5、顯存10 G的環境上進行實驗.其中,batchsize設為12,輸入圖像尺寸為640×640,采用余弦退火學習率調整策略、Adam優化器和mosaic數據增強策略,具體超參數采用算法默認值.采用準確率P、召回率R、mAP0.5、mAP0.5∶0.95、GFLOPs、FPS等指標作為模型的評價指標.其中,FPS為幀率,衡量模型的實時性能.

3.2 消融實驗

為了驗證所提出的多尺度上下文信息和注意力特征融合增強模塊、自適應上采樣方式和空間相關性增強模塊的有效性,在原始YOLOv5模型下依次加入各個模塊進行消融實驗,在自制數據集上訓練并進行驗證,訓練100個epoch的結果如表3所示,訓練過程中各個模塊的mAP0.5變化如圖8所示.

表3 自制無人機數據集上的消融實驗結果Tab.3 Results of ablation experiments of self-made UAV dataset

圖8 訓練過程中mAP0.5的變化過程Fig.8 Change process of mAP0.5 during training

消融實驗結果表明,與原始YOLOv5模型在自制無人機數據集上的訓練參數相比,所提出的算法可以顯著提高無人機目標檢測性能.如表3所示,在原始YOLOv5中加入MCIAFFE后,算法各項指標得到提升,其中P提高了0.8%,R提高了2.9%,mAP0.5和mAP0.5∶0.95分別提高了2.7%和2.2%,證明上下文信息中含有豐富的無人機小目標信息;當加入自適應上采樣后,P提高了0.6%,R提高了1.3%,mAP0.5和mAP0.5∶0.95分別提高了0.1%和2.0%,表明新的上采樣方法可以還原更多的小目標位置和細節信息;加入SCE模塊后,P和R分別提高了0.3%和1.2%,mAP0.5∶0.95提高了0.3%,由此可知,空間相關性增強模塊可以增強復雜背景中目標與背景的辨識度,并提高特征識別能力.

由表3可知,所提出的算法相對于原始模型,P提高了1.6%,R提高了4.3%,mAP0.5和mAP0.5∶0.95分別提高了2.4%和2.7%,且檢測速度依然能夠達到58.5幀/s.由于實時檢測要求檢測幀率大于25幀/s,所提算法仍然滿足實時性的要求.由圖8可以看出,當訓練過程趨于穩定后,所提算法的mAP0.5始終高于原始模型的.由此可見,所提算法能有效減少無人機目標在特征提取過程中造成的信息丟失,融合淺層重要的細節和位置信息,同時增強目標與背景的對比度,從而提高特征識別能力和無人機小目標的檢測能力.

綜上所述,在無人機數據集上訓練時,加入所提算法,可以顯著提高無人機檢測的性能指標參數.

為了更直觀地看出所提算法的檢測性能,從自制無人機數據集中選取多目標和遮擋條件下的2幅圖像,并用原始YOLOv5算法和本研究改進算法分別檢測,結果如圖9所示,圖中從上到下分別為原始圖像、原始YOLOv5算法的檢測圖、本研究改進算法的檢測圖.

圖9 YOLOv5和本研究所提算法的檢測結果對比Fig.9 Comparison of detection results between YOLOv5 and proposed algorithm

由圖9(a)可以看出,原始YOLOv5算法對于極小尺寸的多無人機目標存在漏檢的情況,且對于在特征相似的樹枝背景下的無人機目標,準確率只有56%,而所提算法不僅解決了極小目標漏檢的情況,檢測準確率也大大提高,尤其對于相似特征背景下的無人機檢測,準確率達到了80%.如圖9(b)所示,在背景特征相似、目標被遮擋的情況下,所提算法的檢測精度也高出原始YOLOv5算法6%.由圖9的檢測對比結果可知,所提算法提高了極小尺寸無人機目標的檢測準確率,同時提高了復雜背景下小目標的特征提取能力.

3.3 對比實驗

為了驗證所提算法在無人機小目標檢測方面具有良好的性能,在自制數據集上將所提算法與目前主流檢測算法進行對比,結果如表4所示.可以看出,所提算法在幾種經典的通用目標檢測算法當中具有良好的檢測性能,其中相比于SSD算法,mAP0.5提高27.5%;相比于Refinedet算法,mAP0.5提高了12.6%;相比于YOLOv4算法,mAP0.5和mAP0.5∶0.95分別提高了11.7%和13.7%;與YOLOv5相比,mAP0.5和mAP0.5∶0.95也有2.4%和2.7%的提高;與先進的改進通用目標檢測算法相比,也表現出良好的性能,相比于Edgeyolo[31],所提算法的mAP0.5和mAP0.5∶0.95分別提高了13%和8%;與ScaledYOLOv4[32]相比,本研究算法依然具有更好的檢測能力,其中P、R、mAP0.5和mAP0.5∶0.95分別提高了1.5%,1.6%,3.6%和1.8%.與其他小目標檢測算法相比,所提算法也表現更好,如與MDSSD[33]相比,mAP0.5提高了16.8%,與SuperYOLO[34]相比,所提算法的P、R、mAP0.5和mAP0.5∶0.95分別提高了5.8%、2.9%、0.6%和0.9%.

表4 不同檢測方法在自制無人機數據集上的實驗結果Tab.4 Experimental results of different detection methods on self-made UAV dataset

為了進一步驗證本研究算法的有效性,在公共數據集VisDrone2019上進行實驗,并與原始YOLOv5目標檢測模型進行對比,實驗結果如表5所示.表中,模型A為3.2節中提到的基線模型,即在YOLOv5算法上引入了MCIAFFE和SCE.可以看出,本研究提出的改進算法在Vis-Drone2019數據集上依然具有良好的性能,具體表現為:mAP0.5比原始YOLOv5模型提高了4.6%,mAP0.5∶0.95提高了1.3%,P和R分別具有4.6%和4.3%的提升,其中相對于模型A來說,替換本研究提出的上采樣方式后,GFLOPs僅增加了1.6,且其他指標均略有上升.

表5 VisDrone2019數據集上的檢測結果Tab.5 Detection results on VisDrone2019 dataset

如表6所示為所提算法與原始YOLOv5算法在VisDrone2019數據集上各個類別的mAP0.5.表中,Δ 為本研究算法相對于YOLOv5算法在mAP0.5上的提升.可以看出,所提算法對于所有類別均有不同程度的提升效果,其中對類別pedestrian、car和bus具有極為明顯的提升,說明所提算法不僅對于無人機小目標具有良好的檢測效果,對于其他目標依然具有較強的檢測能力.

表6 VisDrone2019數據集上各個類別的mAP0.5Tab.6 mAP0.5 of each category on VisDrone2019 dataset

為了驗證本研究算法在復雜場景中對密集目標的檢測效果,從VisDrone2019數據集中的挑戰性測試集中選取檢測困難的2張圖像進行可視化檢測,結果如圖10所示.可以看出,所提算法對于密集遮擋小目標依然具有良好的檢測能力,能準確識別絕大多數目標.但是在模糊光線導致圖像分辨力下降的場景中所提算法發生了誤識別情況,如第1張圖片中將左側的pedestrian和中間的tricycle誤識別為bicycle,將右側的2個路障誤識別為pedestrian.在光線條件較好的場景下,如第2張圖片中,所提算法能夠準確檢測到被遮擋的密集行人,具有良好的性能.對模糊場景下的密集小目標的檢測不可避免的存在誤檢情況,如何進一步優化算法網絡是減小誤檢的關鍵.

圖10 挑戰性測試集檢測結果Fig.10 Detection results on challenge testset

4 結語

為了提高無人機的檢測效果,提出基于自適應上采樣和空間相關性增強的無人機小目標檢測算法.首先通過多尺度空洞卷積融合淺層重要特征,并采用改進CBAM的注意力特征融合模塊抑制融合時的信息沖突;其次,提出基于自適應融合的上采樣方式,更準確地還原低級特征同時平衡計算量;最后,提出空間相關性增強模塊,通過局部特征和全局特征的相關性提高目標與背景的對比度,增強復雜背景下小目標特征提取的能力.在自制無人機數據集上進行實驗,所提算法的mAP0.5和mAP0.5∶0.95分別為76.1%和32.5%,檢測速度為58.5幀/s;在VisDrone2019數據集上,mAP0.5和mAP0.5∶0.95分別提高到35.5%和17.0%.實驗結果表明,本研究所提算法在顯著提高檢測性能的同時保證了實時性.但是本研究算法仍有不足,未來將考慮對網絡進一步優化以降低模糊場景下目標的誤檢率,同時引入剪枝操作對模型進行輕量化處理,保證算法性能并減小模型大小.

猜你喜歡
尺度卷積特征
基于3D-Winograd的快速卷積算法設計及FPGA實現
財產的五大尺度和五重應對
如何表達“特征”
從濾波器理解卷積
不忠誠的四個特征
基于傅里葉域卷積表示的目標跟蹤算法
抓住特征巧觀察
宇宙的尺度
9
一種基于卷積神經網絡的性別識別方法
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合