基于圖像融合與分水嶺技術的車輛檢測*

張瑜慧　鄭步芹　沈　洋

(宿遷學院　宿遷　223800)

?

基于圖像融合與分水嶺技術的車輛檢測*

張瑜慧鄭步芹沈洋

(宿遷學院宿遷223800)

摘要提出了一種有效的運動車輛檢測方法。首先采用連續幀差法進行背景建模,之后采用像素級的圖像融合技術,將視頻幀與背景幀在RGB通道進行融合處理。隨后在模板匹配的基礎上進行分水嶺分割,獲取最佳匹配信息,最終實現車輛檢測與定位。實驗結果顯示,該方法能夠實時檢測運動車輛,檢測效果較好。

關鍵詞目標檢測; 圖像融合; 分水嶺技術

Vehicle Detection Based on Image Fusion and Watershed Technology

ZHANG YuhuiZHENG BuqinSHEN Yang

(Suqian College, Suqian223800)

AbstractAn effective detection method for moving vehicles is proposed. Firstly, the consecutive frames subtraction method is used for background modeling, the video frame and background frame are fused in the RGB channels based on the pixel level image fusion technology. Watershed segmentation is applied to obtain the best matching information after template matching, vehicle detection and localization is realized at last. Experimental results show that the proposed method can detect moving vehicles in real time and get good results.

Key Wordsobject detection, image fusion, watershed technology

Class NumberTN911; TP391

1引言

運動目標檢測已成為視頻處理中的關鍵技術,是進行后繼目標跟蹤、識別與分析的基礎,在智能交通、智慧城市、公共安全和計算機視覺等領域有著重要的意義。目前,目標檢測的主要方法有幀差法、光流法和背景減法等。光流法[1]能夠在移動攝像頭情形下進行運動目標檢測,但其計算復雜度較高,并且需要特定的硬件支持,不能滿足實時高效的檢測需求。它適合于動態變化的環境,但是分割的運動目標容易出現空洞和沿著運動方向拉伸的現象,不能完整地檢測運動目標,而且處理時間較長。背景減法是較常用的一種檢測方法,適合于固定攝像頭的情形,這種方法的關鍵在于建立可靠背景模型以及合理的背景更新機制,檢測的結果直接依賴于背景模型提取的準確與否。而運動目標檢測的實現主要是通過比較當前幀與背景模型之間的差別來完成的,其性能依賴于所使用的背景建模技術。因此設計高效魯棒的背景建模算法,成為運動目標檢測領域的一個研究熱點[2~7]。本文采用連續幀差法提取視頻背景,在此基礎上結合圖像融合技術和分水嶺技術實現運動目標檢測。

2背景建模

Surendra等人[2]提出一種以幀差分為基礎,在固定場景下自動提取背景的連續幀差法。通過相鄰兩幀的差值確定運動前景區域,對前景區域保持不變,非運動區域則用當前幀進行更新,經過反復迭代形成背景。其具體步驟如下:

1) 把第一幀圖像I0作為原始背景BI0;

2) 令迭代參數i值為1;

3) 求當前幀與前一幀幀差分的二值圖像BWi;

(1)

其中,Ii、Ii-1分別為當前幀與前一幀圖像,T為閾值,定義為幀差分圖像灰度直方圖中最大峰值右邊0.1最大峰值處對應的灰度值;

4) 由二值圖像BWi更新背景BIi。

BIi(x,y)=

(2)

其中,BIi(x,y)、BWi(x,y)分別是i時刻背景圖像和二值圖像在坐標(x,y)處的灰度值,背景更新系數a影響背景更新的速度,一般取值為0~1;

5)i=i+1,返回至步驟3)進行迭代,當迭代一定步數,便可結束迭代,BIi即為提取的背景圖像。

Surendra算法能較快地適應背景圖像的實時變化,特別是對光照的變化適應能力很強,并且該算法不需要初始化背景,可以通過對前景圖像的反復迭代,較快地提取背景圖像[8]。圖1是對一來源于網絡的由固定攝像頭獲取的高速公路視頻進行背景提取的實驗結果。分別迭代5、10、20、30次獲取背景圖像,由圖可以看出該算法隨著迭代次數的增加能夠迅速地提高背景提取質量,經過30次迭代可以形成較好的背景,能夠滿足后繼處理的要求。

圖1　交通視頻的背景提取

3車輛檢測

運動前景檢測是視頻監控處理的重要部分,本文采用基于圖像融合的前景檢測技術[9],將視頻流的每一幀與背景幀融合,并借此提取運動前景。

一般由攝像機采集的視頻采用的是RGB顏色空間模型,一幀圖像由R(紅色)、G(綠色)和B(藍色)三個通道的圖像組成彩色圖像。為了提取運動前景區域,將當前幀Ii與背景幀BI按式(3)在三個顏色通道上進行融合：

F=(FR,FG,FB)

(3)

其中,F是融合圖像,FR、FG和FB分別是融合圖像在R、G和B通道的分量,具體取值為FR=Ii,FG=BI,FB=BI,Ii是第i幀圖像,BI是當前背景。

融合圖像F在各個像素上同時包含了背景知識與當前幀信息。圖2(a)為視頻的第2幀圖像,圖2給出了對該幀進行前景檢測的結果。圖2(b)為采用式(3)在R、G、B顏色通道融合當前幀與背景后的圖像。圖2(c)是融合圖像的S分量,圖中,前景區域的飽和度較高,背景區域的飽和度很低。這為前景與背景的分離提供了條件。

算法采用大津算法自適應確定分割閾值,實現了目標與背景的分割。圖2(d)是二值分割的結果示例圖。其中,白色部分是檢測到的前景區域,黑色部分是背景區域。圖中前景區域雖然存在一些空洞,但背景區域噪聲很少。針對二值化后目標區域產生的空洞以及背景區域存在孤立噪聲的現象,結合形態學進行處理。首先采用較小的結構元素對圖像進行開運算,以此消除孤立噪聲,之后再用較大尺寸的結構元素進行閉合操作,填補目標空洞。開運算和閉運算的定義如式(4)~(5)所示

開啟:A°B=(A?B)⊕B

(4)

閉合:A·B=(A⊕B)?B

(5)

其中,A是二值圖像,B是結構元素,?表示腐蝕,⊕表示膨脹。先腐蝕、后膨脹的過程稱為開運算,原圖經過開運算后,能夠去除孤立的小點、毛刺和小橋,消除小物體、平滑較大物體的邊界,同時并不明顯地改變其面積;先膨脹后腐蝕的過程稱為閉運算,其功能是用來填充物體內細小空洞、連接鄰近物體、平滑邊界。

對圖2(d)二值圖像進行形態學處理結果如圖2(e)所示,從示例結果可以看出目標前景中一些小的空洞被填充了,背景區域中一些噪聲也被有效去除,目標區域比較完整。在此基礎上獲取了前景圖2(f),原始圖像中的路面等背景區域被有效地分割了,剩下由目標車輛和其投射陰影組成的運動前景。

圖2　運動前景檢測

在目標前景區域初步檢測之后,結合了模板匹配與分水嶺技術以實現車輛檢測與定位。為實現的簡單化,車輛的模板直接采用矩形模板,具體模板的尺寸根據交通視頻中車輛的平均大小進行動態設置。

圖3　模板匹配

圖3給出了模板匹配的示意圖,圖3(a)為搜索區域f(i,j),水平和垂直方向長度分別為A和B,圖3(b)為矩形模板g(i,j),水平和垂直長度分別為C和D。

(6)

將模板在每一視頻幀的搜索區域從左到右、從上到下進行平滑匹配,找到匹配位置。該過程的數學描述見式(7):

(7)

其中i=0,1,…,A-1,j=0,1,…,B-1。

由于視頻幀中的車輛往往不止一輛,因而可能獲得多個匹配結果。圖4給出了車輛檢測的過程。圖4(a)為用模板對某視頻幀二值圖像進行模板匹配的操作結果,可以看出在目標區域,匹配值較大,表現在圖像上即呈現灰度值較亮區域。

為將目標與背景分離,引入分水嶺技術。分水嶺變換的思想來源于地形學,其本質是一種區域增長算法,所不同的是,它是從圖像中的局部極小值開始增長的[10]。它將圖像看作是地形學上被水覆蓋的地貌,假想對該地注水,即在各極小區域的最小灰度值點打小孔,同時讓水從小孔中涌出,并慢慢淹沒極小區域周圍的區域,當在某一個時刻,水位達到灰度值的最大高度時,兩個或更多的集水盆就會開始連通。把能夠阻止這種連通的點連成一條線,就會在來自不同區域將會連通的地方形成分水嶺,這是把輸入圖像劃分為一組區域的過程。分水嶺計算過程是一個迭代標注過程,在該算法中,分水嶺計算分為排序和淹沒兩個過程。

假設定義域Dk上的函數g為待處理圖像,它的最大最小值分別為hmax=max(g),hmin=min(g)。集合[Dg]h表示函數g的上限閾值,其中:

[Dg]h={x∈Dg|g(x)≤h}

(8)

Reg_Mink(g)={x∈Dg|x=Localmin且g(x)≤h}

(9)

g的分水嶺區域即為集合Xhmax和Xhmin,可以通過迭代運算得到,即:

(10)

圖4　目標檢測與定位

圖4(b)是對圖4(a)進行分水嶺分割后形成的結果示意圖,從圖可以看出圖4(a)的灰度被分割為幾個區域,理論上每個區域對應一個目標。

對分水嶺的每一個區域進行統計,找出對應平滑卷積區域的極值,由于卷積值等于極值的像素可能不唯一,因而獲取極值像素坐標的均值作為最終確定的極值,并用白色星號標于圖上,具體結果見圖4(c)。為便于觀察,將極值標于二值圖像上,如圖4(d)所示,可以看出通過上述模板匹配與分水嶺技術獲得的車輛區域較準確,由于模板匹配的特性,這些星號對應車輛區域的左上角。根據車輛左上角位置,結合車輛的寬度和高度等先驗數據,可以獲得初始的車輛檢測結果,如圖4(e)所示,圖中用白色的矩形框將獲得的車輛標識出來,從圖可以發現,部分目標有重復標識現象,或目標標識的區域過大等不準確現象。因而結合先驗知識對獲得的目標區域邊界進行處理。比如,標識的兩個區域發生重疊時,如果重疊區域大于閾值,則認為是同一車輛被重復標識,此時采取相應處理措施,將兩個標識矩形框取并集,合并成一個標識矩形框。當

然,由于視頻中車型不一,以及攝像頭安置位置的差異,車輛大小處于變化狀態,因而處理結果中可能出現漏檢現象,比如圖4(f)圖上方中漏檢一輛汽車,其原因應是該幀上方車輛較小,且有三輛車較接近所致。

4結語

運動車輛檢測是當前一個研究熱點,論文結合圖像融合技術與分水嶺技術實現了目標的檢測。首先采用幀差法獲取視頻背景幀,之后采用像素級的圖像融合技術,將視頻幀與背景幀進行融合處理,獲得前景區域,隨后在模板匹配的基礎上進行分水嶺分割,獲取最佳匹配位置信息,結合先驗知識最終實現車輛檢測。實驗證明,該方法能夠實時檢測運動車輛,檢測效果良好。

參 考 文 獻

[1] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial intelligence,1981,17(1):185-203.

[2] Gupte S, Masoud O, Martin R, et al. Detection and classification of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems,2002,(3):37-47.

[3] Kristan M, Kovacic S, Leonardis A, et al. A two-stage Dynamic Model for visual tracking[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B-Cybernetics,2010,40(6):1505-1520.

[4] 朱振峰,赤誠,趙耀.基于多尺度的增強ViBe背景建模[J].北京交通大學學報,2015,39(2):1-6.

ZHU Zhenfeng, CHI Cheng, ZHAO Yao. Multi-scale based Enhanced ViBe for Background Modeling[J]. Journal of Beijing Jiaotong University,2015,39(2):1-6.

[5] 曹倩霞,羅大庸,王正武.光照突變場景中結合Phong模型的分層差分前景檢測[J].計算機科學,2015,42(2):283-286.

CAO Qianxia, LUO Dayong, WANG Zhengwu. Hierarchical Subtraction Combining Phong Model for Foreground Detection in Sudden Illumination Changes Scenes[J]. Computer Science,2015,42(2):283-286.

[6] 王愛麗,董寶田,王澤勝.融合光流速度場與背景差分的自適應背景更新方法[J].中國鐵道科學,2014,35(6):131-137.

WANG Aili, DONG Baotian, WANG Zesheng, et al. Adaptive Background Updating Based on Optical Flow and Background Difference[J]. China Railway Science,2014,35(6):131-137.

[7] Brutzer S, Hofelin B, Heidemann G. Evaluation of background subtraction techniques for video surveillance[C]//Proceeding of IEEE Conference on Computer Vision and Patten Recognition,2011:1937-1944.

[8] 王正勤,劉富強.自適應背景提取算法的比較[J].計算機工程,2008,34(23):220-223.

WANG Zhengqin, LIU Fuqiang. Comparison of Adaptive Extract Algorithm of Object Scene[J]. Computer Engineering,2008,34(23):220-223.

[9] 張瑜慧,沈洋.基于圖像融合的運動前景檢測方法[J].現代電子技術,2013,36(24):67-69.

ZHANG Yuhui, SHEN Yang. Method for Moving Foreground Detection Based on Image Fusion[J]. Modern Electronics Technique,2013,36(24):67-69.

[10] 高麗,楊樹元,李海強.一種基于標記的分水嶺圖像分割新算法[J].中國圖象圖形學報,2007,12(6):1025-1032.

GAO Li, YANG Shuyuan, LI Haiqiang. New Unsupervised Image Segmentation Via Marked-Based Watershed[J]. Journal of Image and Graphics,2007,12(6):1025-1032.

中圖分類號TN911; TP391

DOI:10.3969/j.issn.1672-9722.2016.02.013

作者簡介:張瑜慧,女,碩士,副教授,研究方向:圖像處理,模式識別等。

基金項目:宿遷市科技創新專項基金資助項目(編號:Z201415,Z201446)資助。

*收稿日期:2015年8月8日,修回日期:2015年9月21日