一種基于全景視覺的運動目標檢測改進方法

夏麗娟， 姚明磊， 張曉玲

(江蘇理工學院機械工程學院,江蘇 常州 213000)

0 引言

隨著視覺領域的快速發展，全景視覺和運動目標檢測成為當前研究和討論的重點，它能夠在水平方向 360°和垂直方向240°的區域內獲取場景中的高分辨率圖像和視頻，可以有效克服傳統視覺傳感器只能檢測部分信息的缺點，因此，如何提高其運動目標檢測的精準性和可靠性成為研究重點。一般來說獲取全景視覺的為魚眼鏡頭[1]，它的廣闊視角使得其在機器人導航[2]、智能視頻監控[3]、航空航天[4]等領域得到廣泛運用。

在運動目標檢測方法中經常使用的是幀差法[5]、光流法[6-7]、背景減除法[8]。其中，幀差法的原理是對像素點進行處理，作為前景對象的圖像的相鄰兩幀的像素值差異很大，這種方法的優點在于操作簡單、速度快，但是提取到的前景對象容易出現空洞，正是因為存在這種不足，所以這種方法一般用于精度要求不高的初級提取操作；光流法的計算過程復雜，并且對使用的設備條件有比較高的要求，難以得到實時檢測結果；關于背景減除法，STAUFFER等[9]提出的等高斯模型方法最為流行，混合高斯模型使用一個或多個高斯模型描述時間序列中的像素。特別地，像素值在給定的時間段內波動很大，并且大多數典型區域使用多個高斯分布建模。對于變化的場景高斯混合模型通過模型的自動更新，產生的結果相較于其他傳統背景模型準確率和穩定性有所提高，但是不足之處依然存在：得到的結果中前景目標中有空洞，輪廓不連續；由于模型采用統一的刷新率，無法及時地更新運動目標移動而暴露的區域，從而導致此區域被錯誤地歸類為前景。

面對以上這些問題，針對應用在全景圖像上的運動目標的檢測，本文提出基于全景圖像改進的運動目標檢測方法，改進的方法是將五幀差分法和混合高斯模型結合起來，五幀差分法可以利用連續多幀之間的檢測提高獲取目標的完整度，有效克服空洞現象；混合高斯背景模型的改進解決了運動目標出現在檢測結果中的重影現象，降低背景中出現的干擾，再通過形態學處理得到最終結果。實驗表明，本文方法更加著重于前景檢測率，得到更加精準和可靠的檢測結果。

1 傳統混合高斯模型

混合高斯背景建模[10]是一種基于像素模型的統計數據來表示背景的方法，它利用大量像素在長時間內大量樣本值的概率密度等統計信息來表示背景，然后通過統計變量來確定目標像素，從而獲得前景目標，過程如圖1所示。

圖1 混合高斯建模的基礎流程圖Fig.1 Basic flow chart of Gaussian mixture modeling

1.1 混合高斯背景建模理論

在圖像序列中，對于任意的像素點(x0,y0)來說，隨著時間的推移形成一個“像素序列”，表達形式如下

{X1,…,Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中，I(x0,y0,i)表示的是對應像素點(x0,y0)的像素值，并且將這一系列像素點用K個高斯模型來近似，觀測到的像素值Xt的概率可以表示為

(2)

(3)

1.2 背景模型的參數更新

將每一幀的像素值Ii(x,y)所計算的高斯分布遵循優先級進行降序排列，若像素值與高斯分布匹配，那么滿足式(4)，對第1個匹配的高斯分布按式(5)-式(8)更新高斯混合模型參數,即

|It(x,y)-ui,t-1|

(4)

wi,t=(1-α)wi,t-1+α

(5)

μ=(1-β)μi，t-1+βIi(x,y)

(6)

(7)

β=αη(It(x,y))|μ,δi,t

(8)

式中:α為學習速率，0≤α≤1，表示高斯混合背景模型的更新速率；β為更新率，是由α和η(Xt,μi,t,Σi，t)所決定的。

1.3 前景分割

隨著背景模型的更新，Xt對應的分布權重會增加，從而降低方差并且提高優先級，則所用時間最長的高斯分布擁有最大的優先級，說明該高斯分布最接近原背景。將所有的高斯分布按降序排列時，離背景最近的高斯分布是前景，所以放在前面，反之，越靠近后面的高斯分布越不可能正確表示背景。因此用前B個分布來表示背景，即

(9)

式中，T為閾值，表示創建背景所需的最小權重比，當T取值很小時，表示背景用一個高斯分布來表示，當T取值較大時，表示背景用多個高斯分布來表示。在上述T個分布中至少有一個分布與像素值Xt相匹配，那么就將此像素點判斷為背景點；反之為前景點，以此來實現前景分割。背景圖像中像素值Xb,t表示為

(10)

2 結合五幀差分法改進的混合高斯背景建模

本文方法是混合高斯建模方法和五幀差分法的結合，并且最后對結果進行形態學處理，得到最終目標結果，流程如圖2所示。

圖2 本文方法流程圖Fig.2 Flow chart of the proposed algorithm

2.1 改進的自適應混合高斯模型

檢測到的圖像會產生重影現象是因為穩定不變的學習速率，而重影的產生會對檢測結果的準確性造成影響。如果學習速率太高，模型更新的速度會太快，將檢測目標與背景混淆；如果學習速率太低，背景模型更新速度會變慢，造成背景模型的變化不符合實際場景，導致沒有準確判斷出被檢測目標的背景，影響檢測結果。因此，對學習速率使用不同的更新方法，即

(11)

式中:N檢為當前檢測幀的圖像總像素數；N全為指定檢測目標的像素數，根據目標像素在整個圖像幀所有像素的比例來分配學習速率。在檢測的第一階段，檢測目標還沒有在背景中，目標像素在整個圖像中的占比低，λ值較小，需要有較快的更新速度來加速消除“鬼影”，這種情況下有必要加大學習速率；當目標進入背景時，目標像素的占比高，λ值較大，背景模型趨于穩定，這種情況下有必要降低學習速率，以便不將檢測目標設置為背景。

每個像素包含若干個固定的高斯分布，它在執行流程操作的實現中會占用大量系統資源，因此，通過刪除多余的高斯分布來減少運算。每相隔y幀，則對高斯分布進行掃描，檢查所有的高斯分布的權重，權重公式為wi,t=(1-α)wi,t-1。若存在高斯分布滿足

(12)

則判斷其為多余的高斯分布，并將其刪除。

2.2 五幀差分法

幀間差分法是通過對相鄰兩幀或多個圖像幀進行差分運算從而得到檢測目標的方法。在檢測過程中，多幀連續檢測能更好地減少目標空洞問題，提升目標檢測精度。兩幀差分法[11-12]可以方便快捷地檢測出運動目標，但會出現明顯的空洞和雙陰影，準確率低。不同于兩幀差分的是三幀差分法[13],通過3幅連續的視頻圖像進行差分操作，與固定閾值進行比較，然后再細分。雖然雙影現象[14]得到改善，但是不足之處是仍然存在空洞。在此基礎上，五幀差分法[15-16]可以有效解決目標中出現空洞問題。取連續的5幀圖像Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y),Ik+2(x,y)以第k幀圖像作為當前幀，分別與前2幀和后2幀進行差分和二值化運算，即

(13)

(14)

(15)

(16)

得到差分后的圖像g1k,g2k,g3k,g4k，M為固定的二值化閾值。最后，為了使獲得的目標空洞更少，使用先“與”后 “或”的邏輯操作，即

g1∩g2=k1

(17)

g3∩g4=k2

(18)

k1∪k2=K

(19)

得到最終的差分圖像K。

3 實驗結果及分析

為驗證本文方法，采用如下仿真實驗進行比較分析。在本次實驗中使用的計算機CPU為AMD Ryzen-7-4800H-with-Radon-Graphics 2.90 GHz，仿真軟件openCV3.4.1,VS2017,獲取全景圖像所使用的魚眼鏡頭型號為FE185C086HA-1 F1.8/2.7 mm，相機型號為acA1600-20uc-Basler ace，最高分辨率為1626像素×1234像素。

實驗1 本實驗針對2段使用魚眼相機獲取的視頻進行對比，分別采用幀間差分法、傳統高斯混合模型以及本文改進方法進行測試，然后將實驗得到的結果進行對比，第1段視頻實驗結果對比如圖3所示。

圖3 實驗結果對比Fig.3 Comparison of experimental results

在上述實驗中，運動目標勻速移動，并且在移動過程中有小部分障礙物遮掩。從效果圖中可以發現，在獲取的全景圖像中，目標檢測的準確率會受到影響。幀間差分法所得到的目標結果中存在巨大空洞且不連貫，輪廓粗大與實際有出入，傳統的高斯混合模型重影現象嚴重，而且存在噪聲干擾。而本文方法明顯優于前兩種，改進的高斯混合模型不僅使得運動目標檢測結果的完整度得到改善，并且對于噪聲的去除也有所提高，在有遮擋物的情況下依然可以檢測到目標，可以使檢測結果更加精確。

實驗2 為了驗證運動目標移動速度對本文方法的影響，仿真實驗中使用魚眼鏡頭分別對步行和跑步時的目標進行檢測。實驗對比結果如圖4所示。

圖4 速度對檢測結果影響Fig.4 Effect of speed on test results

在上述仿真實驗中，對于魚眼鏡頭獲取的全景圖像，在實驗1中使用幀間差分法，運動目標速度慢時檢測不到對象，實驗2中目標人物步行和跑步時，速度變化由慢到快，檢測結果并未受到明顯影響，運動目標邊緣輪廓流暢，提取的目標信息內容比較豐富，可見，改進后方法明顯優于其他實驗方法。

通過識別率P和誤檢率F對改進方法的效率和準確度進行分析評估，具體計算過程為

(20)

(21)

式中:M為正確檢測出的前景像素點數；N為未被檢測出的前景像素點數；D為檢測錯誤的個數。表1所示為3種方法的識別率和誤檢率。

表1 3種方法的識別率和誤檢率Table 1 Recognition rate and false detection rate of three methods %

從表1中可以明顯看出，3種不同方法的識別率接近，在實驗中都可以檢測出運動目標，但是在誤檢率上有明顯差距，本文方法既可以滿足一定的識別率，也可以降低誤檢率，檢測結果較為精準。

4 結束語

本文提出基于全景圖像的運動目標檢測改進方法，將五幀差分法和混合高斯背景模型法結合起來，利用形態學對結果進行處理，得到最終的目標檢測結果，在運動目標的檢測結果的完整度上有一定提高，在一定程度上有效克服空洞現象，同時，混合高斯的自適應學習率可以減少運動目標出現在檢測結果中的重影現象，提高目標檢測精度和速度，降低背景造成的干擾。實驗結果表明，本文方法更加著重于前景檢測率，得到更加精準和可靠的檢測，效果上比其他檢測方法更可靠，總體來說，本文方法可以滿足在全景領域的應用，使得全景圖像的應用更為廣泛，但面對復雜的背景變化對全景圖像帶來的影響需要在未來的研究中進一步改進和提高。