用于無人機探測系統的紅外小目標檢測算法

張明淳,牛春暉,劉力雙,劉 洋

(北京信息科技大學 儀器科學與光電工程學院,北京 100192,中國)

0 引 言

隨著無人機(unmanned aerial vehicle,UAV)技術的快速發展以及其產品的大量應用,面對日趨嚴重的無人機威脅,世界各國對無人機探測系統的需求不斷上升?，F有常用探測方法主要為無線電探測、紅外探測、雷達探測和光電探測等[1]。其中紅外探測不易受夜晚和不良氣候條件影響,可以全天候工作,且無需主動向外發射電磁波,具有很高的隱蔽性,因此作為一種理想的目標探測方式,備受專家學者們的關注。遠距離無人機目標在紅外圖像中所占像素較少;同時,在受到云層、噪聲等復雜背景影響時,會加大目標檢測難度。作為無人機探測系統中的一項關鍵技術,紅外小目標檢測算法[2]的研究對于提高無人機探測系統在不同場景下的適用性具有重要作用。

LI[3]提出了基于粒子群優化(particle swarm optimization,PSO)的先檢測后跟蹤(detect before track,DBT)算法,使用5×5大小的固定權值矩陣對圖像背景進行預測,并與原圖作差得到殘差圖像,最后通過PSO算法計算最佳閾值對其進行閾值分割,剔除背景與虛警,得到真實目標。HU等人[4]基于硬件平臺,研究了一種中值濾波硬件優化算法[5],提出基于行復雜度的背景分離方法提取目標。ZHAO等人[6]采用基于時空上下文(space time context,STC)的跟蹤算法進行建模,通過當前目標位置和上下文位置的時空關系估算下一幀目標位置,同時由高斯曲率濾波(Gaussian curvature filtering,GCF)進行預處理[7],保持邊緣去除噪聲,得到較為準確的下一幀目標置信圖來估算目標位置,一定程度上提高了目標跟蹤精度,具有較好的實時性。

現有的檢測算法在目標背景較為簡單時有較好效果,但面對復雜背景中的目標,其檢測效果并不理想,導致無人機探測系統不具備適用性。

為滿足不同場景下無人機目標檢測需求,本文作者對無人機探測系統的結構組成進行了闡述,采用現場可編程門陣列(field-programmable gate array,FPGA)加數字信號處理器(digital signal processor,DSP)架構進行圖像采集與目標檢測。在此基礎上,針對復雜背景下無人機目標成像特性,提出一種基于雙邊濾波的多尺度改進top-hat紅外小目標檢測算法。為了驗證該算法的檢測效果,選取云層、山地和森林等不同背景的圖像序列,分別從主觀上和客觀上進行對比實驗。

1 無人機探測系統組成

無人機探測系統主要由圖像采集模塊(image acquisition module)、圖像處理模塊(image processing module)以及人機交互模塊(human-computer interaction module)三部分組成,能夠對視場內的無人機進行遠距離探測。圖像采集模塊由長波紅外凝視光學系統與非制冷長波紅外焦平面探測器組成[8]。無人機探測系統以凝視方式工作,無需通過旋轉和掃描獲取圖像,由于省去了制冷模塊與笨重的轉臺,因此具有體積小、質量輕、功耗低的優勢。

圖像數據處理采用國產FPGA+DSP架構[9]。其中FPGA具有現場可編程特性,主要負責接口以及圖像預處理;DSP負責后續的圖像處理、目標檢測等工作[10]。無人機目標向外界發射熱輻射信號,熱輻射經過光學系統采集后進入到紅外探測器,經過數字攝像機和圖像采集卡之間的接口傳輸給FPGA;FPGA完成采集數字圖像信號、數字圖像解調及預處理工作;圖像數據在FPGA與DSP之間通過高速串行輸入輸出口(serial rapid input output,SRIO)進行高速傳輸;DSP完成圖像處理并將檢測到的目標信息傳給FPGA,最后通過通用異步收發器(universal asynchronous receiver transmitter,UART)發送給上位機。系統結構如圖1所示。

圖1 系統結構框圖Fig.1 Block diagram of system structure

2 目標檢測算法

通常情況下,當無人機目標距離較遠時,其紅外輻射能量較弱,導致其在紅外圖像中所占的像素較少,表現為典型的紅外弱小目標[11]。另一方面,當無人機所處位置有云層遮擋,環境較為復雜時,易受噪聲和背景雜波的干擾和影響,導致目標信噪比和對比度都非常低,進一步加大了檢測的難度[12]。為了能準確檢測無人機目標,本文中采用基于雙邊濾波(bilateral filters,BF)的多尺度改進頂帽(top-hat)算法檢測目標,并利用基于最大值和平均值的自適應閾值分割方法進行目標提取,流程圖如圖2所示。算法的多尺度體現在對雙邊濾波之后的圖像,分別在升采樣與降采樣之后進行改進top-hat處理,并與原尺寸改進top-hat處理之后的圖像進行融合。當目標較小時,升采樣可以擴大目標,當目標較大時,降采樣可以縮小目標,從而便于檢測。將其部署到不同的DSP物理核心中,在保證效率的同時提高檢測率[13]。

圖2 算法流程圖Fig.2 Algorithm flow chart

2.1 雙邊濾波

雙邊濾波是一種典型的非線性濾波算法[14]。其設計思想源于高斯濾波算法,通過像素強度的變化表征并保存邊緣信息,能夠有效地解決由于濾波引起的邊緣模糊問題[15]。雙邊濾波同樣采用加權平均,目標位置的像素值為其周圍像素值的加權平均。不同于高斯濾波只考慮目標與周圍像素的歐氏距離,雙邊濾波還將目標與周圍像素的灰度距離考慮在內[16]。圖像I在像素點I(x,y)的雙邊濾波可以表示為:

Gσr(|I(p)-I(q)|)I(q)

(1)

(2)

式中:IBF(p)為去噪后的圖像;I(p)為更新的像素值;I(q)為鄰域像素值;S表示濾波窗口;Wp為歸一化參數;Gσs為空間域核,本質為空間函數,用來降低距離較遠的像素對要更新的像素的干擾;Gσr為像素域核,本質為范圍函數,其用來降低與要更新的像素灰度值不同的像素q的干擾。Gσs和Gσr定義為:

(3)

Gσr(|I(p)-I(q)|)=

(4)

式中:σs、σr分別為高斯距離標準差和高斯灰度標準差,用來衡量圖像I的濾波量;(m,n)為目標位置相鄰像素的坐標;(i,j)為當前被卷積目標像素的坐標。在圖像灰度值差異不大的區域,I(m,n)與I(i,j)大小接近,此時Gσr近似于1,與高斯濾波的作用并無太大差別,不能很好地表征并保留圖像細節紋理部分;在圖像灰度值差異較大的區域,I(m,n)與I(i,j)相差較大,此時Gσr不能近似于1,由于將目標位置像素點相鄰位置的灰度值差異計算在內,因此可以很好地表征并保留圖像邊緣信息。

2.2 改進top-hat算法

數學形態學的各種運算都是基于腐蝕(f?b)和膨脹(f⊕b)兩個基本運算[17],其公式為:

(5)

(6)

式中:f(x,y)代表原始灰度圖像;b(i,j)代表結構算子;(x,y)和(i,j)分別表示圖像和結構算子中的像素坐標。為有效利用目標區域與周圍區域的差異,定義結構算子Bin和Bout,二者形狀相同但大小不同,尺寸較小的Bin為最內層結構算子,尺寸較大的Bout為最外層結構算子[18];Bb是位于Bin和Bout之間的結構算子,其大小介于二者之間,用來調節參與運算的目標區域的大小;ΔB=Bout-Bin為環形結構,用來體現目標位置與周圍區域的差異。Bin、Bout、ΔB和Bb之間的關系如圖3所示。

圖3 結構算子之間的關系Fig.3 Relationships between structural operators

定義運算fΘBout-in:先膨脹后腐蝕。fΘBout-in定義為:

fΘBout-in(x,y)=(f⊕ΔB)?Bb

(7)

式中:Bout-in表示運算fΘBout-in中用到的結構算子,和Bin、Bout有關[19]。

改進top-hat算法Ntop-hat(x,y)定義為:

Ntop-hat(x,y)=f(x,y)-fΘBout-in(x,y)

(8)

對于紅外圖像中的亮目標區域,改進top-hat算法首先使用環狀結構ΔB膨脹,利用目標周圍區域像素值替代目標位置像素值;其次使用結構算子Bb腐蝕,利用目標周圍區域像素最小值替代目標位置像素值;最后將原圖與經過fΘBout-in運算之后的圖像作差得到目標圖像。

2.3 自適應閾值分割

本文中采用基于最大值與平均值的自適應閾值,對經過目標增強之后的圖像I進行二值化目標提取,計算公式為:

Eth=λEmax+(1-λ)Emean,(λ∈(0,1))

(9)

式中:Eth為計算所得閾值;Emax為圖像I中的像素最大值;Emean為圖像I中的像素均值;λ為調參系數,這里λ取值為0.7,用于對單目標檢測。當檢測多目標圖像時,可修改λ值在0.4～0.5之間會有較好效果,從而降低漏檢率。通過閾值判斷,得到二值化圖像Iout(x,y),其判斷公式為:

(10)

3 實驗過程與分析

3.1 本文中所提算法效果

本文中提出一種基于雙邊濾波的多尺度改進top-hat紅外小目標檢測算法。首先采用雙邊濾波平滑背景,保留目標區域邊緣,濾波窗口S取值為5×5,兩個標準差參數σs、σr分別取值為6和0.01;其次,利用改進top-hat算法對紅外圖像進行目標增強,提高目標區域與周圍區域差異,結構算子Bin和Bout分別取值為2和4;最后,根據式(9),使用所提出的基于最大值和平均值的自適應閾值分割方法對紅外無人機目標進行提取,λ取值為0.7。算法實現效果如圖4所示。

圖4 算法實現效果Fig.4 Effect of algorithm

3.2 算法對比

為了驗證該算法的檢測效果,本文中從主觀和客觀上對比實驗,評價算法檢測效果。采用復雜云層背景(complex cloud background)、山地背景(mountain background)和森林背景(forest background)以及空天背景(sky multiple targets)4組單目標或多目標紅外圖像序列進行了仿真實驗。在Windows11 MATLAB 2020b環境下,分別應用局部對比度方法(local contrast method,LCM)、頂帽算法(top-hat)、多尺度塊對比度方法(multiscale patch-based contrast method,MPCM)和高斯-拉普拉斯(Laplace of Gaussian, LoG)4種現有的典型紅外小目標檢測算法作為對比算法。表1中介紹了實驗數據的詳細信息,圖5、圖6中分別給出了4組紅外小目標序列圖像在各個算法下的檢測結果與同一閾值處理后的結果。

表1 序列圖像描述Table 1 Sequential image description

圖5 5種算法處理后的序列圖像Fig.5 Sequence image processed by five algorithms

圖6 同一閾值處理后的序列圖像Fig.6 Sequence image after same threshold processing

從實驗結果可以看出,LCM算法檢測結果中伴隨大量的虛警目標,top-hat算法與LoG算法檢測結果中伴隨部分虛警目標,MPCM算法在山地背景中伴隨少量虛警目標,相比之下,本文中所提算法能準確分離目標,對不同背景下的紅外序列圖像具有較好的檢測效果。

從客觀上評價算法效果,采用信噪比(signal-to-noise ratio,SNR)、信噪比增益(SNR gain,SNRG)和背景抑制因子(background suppression factor,BSF)作為評價指標[20]。SNR和SNRG定義為:

(11)

(12)

式中:μt表示目標位置所有像素的平均值;μb表示背景部分所有像素的平均值;σb表示背景部分所有像素值的標準差;ESNR,in表示算法處理前的信噪比值;ESNR,out表示算法處理后的信噪比值。ESNR越大,表示目標越容易被檢測到;ESNRG越大,表示對目標信號的增強性能越好。

背景抑制因子BSF用來表示對背景的抑制能力,BSF定義為:

(13)

式中:σin和σout分別表示原圖與處理后圖像中完整背景的標準差。EBSF值越高,抑制效果越好。

5種算法在Seq.1～Seq.3場景下的SNRG和BSF如表2所示。

表2 5種算法在前3組場景下的SNRG與BSF值Table 2 Sequence images describe the SNRG and BSF values of the five algorithms in the first three sets of scenes

由實驗結果可以看出,本文中所提算法在不同復雜背景的紅外序列圖像中的SNRG和BSF值最大,分別平均提高了6.8倍和7.44倍,表明本文中所提算法在目標增強和背景抑制方面都優于其它4種比較算法。

為了進一步驗證該算法與其它4種算法相比的優越性能,通過接受者操作特性(receiver operating characteristic,ROC)曲線[21]來表征目標檢測過程中檢測率和虛警率關于閾值的相關關系。根據式(9),使用所提出的基于最大值和均值的自適應閾值分割方法,通過設置不同的λ值來調整閾值門限Eth,繪制ROC曲線。檢測率Fd和虛警率Fa定義為:

(14)

(15)

式中:nt表示檢測出來的真實目標個數;Nt表示真實目標個數;nf表示虛假目標數;N表示總像素數[22]。

以Fd作為縱坐標,Fa作為橫坐標繪制ROC曲線。通常情況下,曲線距離左上方越接近,即Fd較高,Fa較低,說明該算法的檢測效果越好。選取Seq.1～Seq.3這3組序列圖像進行實驗測試,分別為復雜云層背景、山地背景和森林背景。由圖7可以看出,和其它4種算法相比,本文中所提算法(紅色實線、空圓心標記符)總是能率先趨近于1,能在10-6數量級的虛警率下無限接近于100%的檢測率。

圖7 不同算法的ROC曲線Fig.7 ROC curves of different algorithms

通過上述實驗結果可以看出,與LCM、top-hat、MPCM和LoG這4種典型紅外小目標檢測算法相比,本文中所提算法的SNRG和BSF值分別平均提高了6.8倍和7.44倍,在目標增強和背景抑制方面都優于其它4種比較算法;同時,由ROC曲線可以看出,該算法在更低的虛警率下有更高的檢測率,其總體的處理效果要優于其它4種典型的紅外小目標檢測算法,具有較強的適用性與魯棒性。

3.3 系統性能測試

為了驗證無人機探測系統在實際使用場景下的性能,通過外場實驗對其進行測試,具體測試場景如圖8所示。其中1為220 V戶外移動電源,2為上位機,3為28 V線性電源,4為無人機探測裝置,5為供電接口,6為數據接口與線纜。

圖8 外場測試場景Fig.8 Outdoor test scenario

實驗過程中,將無人機探測裝置固定于實驗平臺上,采用四旋翼無人機作為紅外目標,控制無人機攀升至距離地面200 m高度,并在成像系統視場內飛行,最后利用無人機探測系統對無人機目標進行檢測。圖9、圖10分別為單幀檢測效果和連續多幀檢測效果。

圖9 單幀檢測效果Fig.9 Single frame detection effect

圖10 多幀檢測效果Fig.10 Multi-frames detection effect

為了客觀評價系統在實際場景下的檢測效果,對連續幀下的檢測數據進行分析,在108幀圖像中成功檢測并框出目標位置的有106幀,系統的檢測率為98.15%。由此可以看出,無人機探測系統在實際使用場景下的檢測率能夠達到預期效果。

為了驗證目標檢測算法的實時性,采用代碼調試器(code composer studio,CCS)中的clock計時器功能計算目標檢測算法所花費的時間。如圖11所示,DSP中圖像處理所花費的時間為19.92 ms。系統中探測器的輸出幀頻為30 Hz,所以FPGA采集一幀圖像的時間為33.33 ms,減去SRIO與UART的傳輸時延,大概為32 ms,遠大于DSP完成目標檢測的時間。因此,當目標出現在當前幀并被檢測到時,系統在采集下一幀圖像時即可獲取目標相關信息,不會出現丟幀、漏檢的情況,具有較強的實時性。

圖11 目標檢測時間Fig.11 Target detection time

通過上述實驗結果可以看出,本文中所設計并實現的無人機探測系統能夠準確檢測出200 m高度的四旋翼無人機小目標;通過多幀目標檢測實驗,系統的檢測率為98.15%,能夠達到預期效果;另外系統圖像處理花費時間為19.92 ms,遠小于33.33 ms的系統整體時延,具有較強的實時性。

4 結 論

介紹了基于國產FPGA與DSP架構的無人機探測系統的組成模塊及工作原理,通過分析無人機目標的成像特點,提出了一種可應用于復雜背景的紅外弱小目標檢測算法。采用基于雙邊濾波的多尺度改進top-hat算法進行目標增強與背景抑制,并使用基于最大值和平均值的自適應閾值分割方法對無人機目標進行提取。通過對云層、山地和森林等不同背景的圖像序列進行定性和定量實驗,結果表明,與其它4種算法相比,本文中所提算法具有較強的適用性與魯棒性,能有效地檢測出不同復雜背景下的無人機目標。

后續將在此研究的基礎上,增加目標跟蹤策略,進一步提高算法的工程適用能力。