基于多特征協同的交通標志檢測

湯 凱,李實英,劉 娟,李仁發

(湖南大學信息科學與工程學院嵌入式系統與網絡省重點實驗室,長沙410082)

基于多特征協同的交通標志檢測

湯 凱,李實英,劉 娟,李仁發

(湖南大學信息科學與工程學院嵌入式系統與網絡省重點實驗室,長沙410082)

針對交通場景圖像中交通標志因顏色失真、形狀失真和尺度變化導致漏檢嚴重的問題,提出一種顏色特征、形狀特征和尺度特征的多特征協同方法。從交通場景圖像計算顏色增強圖,利用多閾值分割方法和閉合輪廓曲率直方圖鏈碼表達,并對提取的形狀輪廓的曲率直方圖進行尺度歸一化處理,融合顏色特征和歸一化后的形狀特征構成區域的特征向量,采用支持向量機分類獲得檢測結果。實驗結果表明,該算法在較低時間復雜度下,能有效提高交通標志檢測精度。

交通標志;多特征協同;多閾值;曲率鏈碼;尺度歸一化;支持向量機分類

1 概述

道路交通標志檢測識別是汽車輔助駕駛系統和無人駕駛汽車技術中重要的研究部分。為了保證道路暢通,預防和避免可能的交通事故,需要快速有效地檢測出車輛行使環境中不同距離的交通標志,做出正確識別,從而讓車輛及時做出合適的決策反應。

本文針對圖像中交通標志的顏色失真和形狀失真,特別是同幀圖像中多個不同尺度的交通標志同時檢測問題,從顏色增強處理后的圖像中分別提取顏色特征和形狀特征,并對尺度不同的交通標志歸一化處理,將這些單個特征分別處理的結果進行協同計算,以提高交通標志的檢測精度。

2 相關工作

交通標志是根據特殊規定進行設計、制作和設置的圖案和文字符號。按照各國的交通標志設計規范,每個交通標志的顏色主要采用紅、綠、黃、藍、黑和白等幾種顏色中的2種或以上容易引起視覺注意的顏色搭配;形狀采用正圓、三角形、矩形、正八邊形等易于分辨的規則形狀;交通標志的尺寸與限制速度有關,通常高速公路上的交通標志比城市道路的

尺寸大。根據這樣的規定,理論上只要基于顏色或形狀中的一種特征,或者將這2種特征結合就能正確檢測交通標志。然而,在實際的交通環境中,通過車載攝像機獲取的視頻圖像存在以下3個主要問題:(1)由于陰晴天氣和早晚光照的變化、交通標志的老化褪色,以及與車行方向的相對位置偏移引起高光或背光,圖像中交通標志的顏色不再是標準顏色,即顏色失真;(2)交通標志可能損壞變形,與車行方向形成非垂直的位置關系,或從車載攝像機的角度被建筑物或樹木等障礙物造成不同程度的遮擋,圖像中交通標志不再是標準的規則形狀,甚至顯示成完全不同的形狀,比如正圓變成橢圓,三角形變成四邊形。這種情形本文統稱為形狀失真;(3)道路上的交通標志與車載攝像機的距離不同,同一幀圖像中顯示的交通標志大小不一,近距離大遠距離小。由于車行速度快,需要快速檢測和識別近距離的交通標志,同時盡早檢測出較遠距離的交通標志。也就是要應對同一圖像中不同尺度的交通標志,即尺度不一致問題。

針對顏色失真、形狀以及尺度不一致問題,現有的研究主要分為特征串行和協同檢測2類方法。常見的串行算法利用顏色分割交通標志區域,然后進行形狀識別。這類算法的檢測精度主要依賴顏色分割結果。為克服光照變化等因素,有些算法選擇采用具有光照不變性的顏色空間,如HSV［1］、CIECAM［2］等。文獻［3］通過統計大量交通標志樣本的色相-飽和度(H-S)分布確定分割閾值,然后提取區域邊緣到外接矩形距離的DtB向量,采用支持向量機(Support Vector Machine,SVM)分類。H和S分量在光照變化情形下相對穩定,然而當存在陰影覆蓋或標志老化褪色時,H分量的適應性降低,導致檢測精度下降。文獻［4］在CIELab空間中使用Gabor算子提取紋理相近的區域進行聚類,然后利用規則形狀的緊湊性約束和輪廓點距中心的距離分布進行形狀識別,能有效降低局部陰影、褪色情形下的漏檢率。當場景較暗或前景和背景對比度較低時,容易導致聚類錯誤。另一些串行算法選擇先進行形狀檢測,再利用顏色特征過濾交通標志。當形狀失真時,形狀檢測性能直接影響檢測結果。文獻［5］利用徑向對稱變換快速定位圓形區域,然后在改進的RGB空間中學習像素的分類概率,以區域顏色的累計概率判斷是否為交通標志。該算法時間復雜度較低,然而當存在形狀失真時投票中心峰值不明顯,容易導致漏檢或定位不準確。

由于串行方法過分依賴單一特征的檢測性能,顏色和形狀特征協同方法可以提高檢測精度。有些算法采用特征加權策略,如文獻［6］將SVM預測的前景概率圖與形狀模板進行卷積,利用卷積響應來分割交通標志區域。盡管能夠降低局部顏色失真情形下的漏檢率,然而以多尺度和旋轉模板卷積來克服尺度和旋轉變化使算法的運行效率和尺度適應范圍受到限制。文獻［7］比較不同的顏色特征和邊緣,通過投票組合策略,提出先利用樣本學習交通標志的梯度先驗概率,然后對n元組邊緣投票。這種加權策略具有更高的檢測精度,對背景邊緣噪聲較嚴重的情形具有魯棒性?；谔卣魅诤系臋C器學習策略則更注重局部特征模式的學習。文獻［8］在不同顏色通道中訓練Haar小波特征,保留鑒別能力較強的Haar特征,然后采用Adaboost算法提高分類器的準確率。該算法對樣本訓練的質量要求較高。文獻［9］在CIELab空間中,級聯不同顏色通道的HOG進行分類學習。相比普通RGB空間或直接在灰度圖中提取HOG特征,具有更高的檢測精度。然而高維HOG特征增大了分類器訓練的時間復雜度。

基于多特征協同的方法通過增加額外約束或冗余信息降低交通標志的誤檢和漏檢,如利用雙目立體視覺中的極線約束［10-11］檢測交通標志。文獻［12］使用顏色、形狀特征獲取交通標志區域后,由局部SIFT特征匹配點對計算區域的3D平面參數,能夠緩解交通標志與投射方向非垂直時導致的形狀失真,降低形狀失真下的漏檢率。然而當交通標志尺度較小時,稀少的SIFT特征點對降低3D平面估計的可靠性。文獻［13］利用多閾值分割和基于模糊模板的廣義霍夫變換獲取初始分割區域,然后利用多視圖冗余信息和視覺一致性約束獲取交通標志的三維假設支持,具有較低的漏檢率和誤檢率。

針對因交通標志尺度小而難以檢測的問題,提出了一些具有尺度不變性的形狀特征,如邊緣轉向角［14］、正切函數空間［15］等。文獻［16］將中心到輪廓點距離的抽樣序列進行離散傅里葉變換,這樣特征響應的循環移位和線性性質使算法具有旋轉和尺度不變性。文獻［17］首先利用小尺度HOG特征聚類獲取盡可能多的興趣區域,然后將區域縮放到同一尺度下,提取大尺度HOG特征進行分類。對尺度較小的交通標志也有較低的漏檢率和誤檢率。

3 多特征協同算法

利用交通場景圖像的RGB通道差異生成顏色增強圖。對增強圖采用多閾值分割,提取顏色特征。同時利用增強圖的梯度信息提取閉合輪廓,計算曲率直方圖的鏈碼表達,然后與模板匹配獲取形狀特征值。采用SVM分類方法［18］對顏色和形狀的融合特征進行分類,獲得最終的檢測結果。實現過程如圖1所示。

圖1 多特征協同算法實現流程

3.1 顏色特征提取

利用RGB顏色通道間的歸一化差異獲取紅-綠、黃-藍4類增強圖,計算方法如式(1)所示:

(IR,IG,IB)為像素x在RGB空間對應的各個顏色值,歸一化因子s=(IR+IG+IB)/3為x的亮度值。

由于圖像中存在大部分非交通標志的背景像素,利用閾值分割方法獲取初始交通標志區域,降低交通標志搜索范圍。Otsu算法［19］利用分割的前景和背景的類間方差最大化來確定閾值λmid,如式(2)所示:

其中,pi表示亮度值為i的像素個數占圖像總像素的比例;w0(T),w1(T)分別表示當分割閾值為T時的背景和前景像素概率;μ0(T),μ1(T)分別為相應背景和前景的亮度均值。由于單閾值分割方法容易漏檢顏色失真或尺度較小的交通標志,本文采用Otsu多閾值分割方法［19］。增強圖首先由λmid分割為前景和背景區域,然后分別在［1,λmid］,［λmid, 255］進行二次分割。為降低計算復雜度,閾值采用前景和背景的期望均值迭代求解,如式(3)所示:

其中,［a,b］為亮度值范圍,當亮度值范圍為［1,λmid］時,迭代初始值為λ0=λmid。亮度值范圍為［λmid,255］時,λ0=255。

首先提取分割結果中的連通域,然后利用長寬比、規則形狀的緊湊性約束進行過濾,得到顏色特征區域。為提取區域的顏色特征,本文將增強圖灰度級分為10個區間,統計像素的概率分布作為該區域的顏色特征,記為vc。

3.2 形狀特征提取

以式(1)定義的顏色增強圖為基礎,采用Sobel算子獲得邊緣信息,提取閉合輪廓并計算相應的曲率直方圖的鏈碼。

在連續空間中,曲率表示點在該曲線上的切線變化速率。而在離散空間中,曲率由輪廓點的k階位移方向差分來度量。如圖2所示,規定逆時針為正方向,輪廓點pf的離散曲率看作是向量pf-kpf到向量pfpf+k的到角θf,計算如下:

其中,pf-kpf=(x1,y1);pfpf+k=(x2,y2)。

圖2 k階離散曲率定義

為方便提取曲率特征,將輪廓Ci的曲率序列{θf}采用式(5)量化為(LCi/k)進制的曲率直方圖鏈碼{df}。

其中,j∈{0,1,…,(LCi/k)-1},f∈{0,1,…,LCi-1};LCi為Ci的長度。

自然場景中由于交通標志設置或攝像機姿態等

3.3 尺度歸一化

輪廓的曲率直方圖與k值密切相關。圖3表示正三角形輪廓分別取k=4,8,12,20對應的曲率直方圖。當k值增大,曲率直方圖噪聲降低,峰值和周期性也越明顯。因此高階離散曲率更適用于形狀識別。

圖3 不同k值對應的三角形曲率直方圖

k值可以作為輪廓曲率直方圖鏈碼的尺度控制變量,固定的k值使尺度不同的相似形狀對應的曲率直方圖差異較大。因此,本文采用與輪廓長度LCi成正比的自適應k值計算曲率直方圖的鏈碼。如圖4所示,尺度不同的相似輪廓均分為(LCi/k)等分,由相似性可知對應的輪廓點具有相同的曲率值。

圖4 尺度不同(大小圓)的曲率

其中,r∈{0,1,…,L0-1};f∈{0,1,…,LCi-1}。圖5為場景中交通標志形狀歸一化前和后的曲率直方圖。其中,圖5(b)～圖5(d)各圖的上下圖像對應交通標志外輪廓歸一化前、后的曲率直方圖。

圖5 曲率直方圖的尺度歸一化

待檢測形狀主要有三角形、正方形、正八邊形和圓,本文采用能區分這4類形狀的鏈碼的最大階值k=Lci/16,相應的量化規格為16進制。圖6為交通標志模板形狀的曲率直方圖。將檢測到的輪廓的曲率直方圖鏈碼{Dr}與交通標志模板的鏈碼{Mr}匹配,最大相似度記為{Dr}的特征值vs:

圖6模板曲率直方圖

3.4 特征融合

結合顏色和輪廓分別得到的興趣區域,按3.1節方法獲得興趣區域的顏色特征vc,與按3.2節和3.3節方法計算相應輪廓的曲率直方圖鏈碼,并進行尺度歸一化處理后的形狀特征vs構成融合特征向量v=(vc,vs)。

在此基礎上,將交通場景圖像集分成包含通常情形、顏色失真、形狀失真、尺度變化等4種情形下的交通標志特征作為正樣本,同時從中得到偽交通標志和不存在交通標志的隨機分割區域特征作為負樣本。正負樣本共同構成訓練樣本集{(xi,yi)}。

利用SVM對樣本集進行訓練,獲得最優分類超平面系數(αi,b)。采用式(9)對融合特征向量v進行分類預測:

其中,xi為支持向量;yi∈{-1,1}為相應樣本標簽。當g(v)＞0,特征v對應區域分類為交通標志,否則視為非交通標志進行濾除。然后將訓練得到的分類超平面系數應用于不同的交通場景圖像集。

4 實驗結果與分析

由于交通環境中交通標志的漏檢容易造成重大的安全事故,本文采用召回率評價交通標志檢測的效果,它是實際檢測到的交通標志占數據集中交通標志總數的百分比。為驗證算法的有效性,采用數據集Traffic Signs UAH［20］和GTSDB［21］數據集進行實驗。將UAH數據集中的交通場景圖像分成通常情形、顏色失真、形狀失真以及尺度變化4種情形,得到交通標志特征的正樣本共計614個,負樣本共計1 107個,然后利用樣本訓練SVM分類器。訓練尺度變化數據集選擇的是交通場景圖像中有交通標志特征的20×20～40×40大小的圖像區域。圖7～圖10顯示部分實驗結果,這些圖的(c)和(d)分別為檢測到的顏色特征和形狀輪廓,(e)為對形狀輪廓進行尺度歸一化處理后的曲率直方圖。

在圖7所示的通常情形下,單獨利用顏色特征或形狀特征大致能正確檢測出交通標志,如圖7(c)和圖7(d)。圖7(e)中計算的形狀特征值分別為0.98,1.00,0.87,表明曲率直方圖鏈碼具有較高的匹配置信度。

圖7 尺度變化

圖8～圖10分別顯示顏色失真、形狀失真和有尺度變化的情形。當交通標志平面與車行方向非垂直時形狀發生變化,圖8(e)中橢圓的形狀特征值為0.85。當df≤(LCi/2k),記為凸曲率,反之為凹曲率。當交通標志存在部分遮擋時,受損的輪廓具有凹曲率值。本文提取輪廓中的最長連續凸曲率直方圖鏈碼,將該部分與模板匹配得分作為輪廓的形狀特征值。圖9(e)所示的受遮擋圓的形狀特征值為0.80。另外,曲率直方圖隨尺度減小而噪聲增加,相應形狀特征值減小。這是由于小尺度的輪廓曲率相比大尺度更容易受到邊緣噪聲的影響。

圖8 顏色失真和形狀失真

圖9 形狀失真和尺度變化

圖10 顏色失真、形狀失真和尺度變化

圖8～圖10表明,融合這些顏色特征和尺度歸一化后的形狀特征能夠提高交通標志的檢測精度。

文獻［6］方法利用SVM方法估計像素的顏色分類概率,然后與模板卷積提取交通標志,本文方法策略與之類似。因此,實驗分別在UAH和GTSDB數據集上與文獻［6］方法比較。本文對GTSDB數據集與UAH同樣進行4種情形下的分類設置,由于GTSDB中形狀失真數據較少,補充53幀交通標志存在形狀失真的圖像作為GTSDB+據集。在UAH和GTSDB+2個測試數據集中4類情形下的各個子數據集,以及對總數據集進行的綜合情形進行實驗,結果如表1所示。在UAH數據集中,綜合情形、形狀失真和尺度變化情形下的召回率都明顯高于文獻［6］方法。在GTSDB+數據集中通常情形和顏色失真情形下的召回率比文獻［6］方法略低,然而在形狀失真和尺度變化情形下,本文方法比文獻［6］方法均高出15%以上。以上實驗結果表明,尺度歸一化的形狀特征能夠明顯提高交通標志的正確檢測。

表1 不同情形下的召回率統計

表2顯示的是對數據集UAH和GTSDB+利用顏色特征、形狀特征這2個特征單獨進行交通標志檢測以及2種特征協同算法進行檢測的結果。從表中可以看出,協同算法比單個特征的檢測效果有明顯提高。

表2 單一特征與多特征協同的檢測結果對比

文獻［6］方法通過增加模板數量來克服尺度和旋轉變化,而本文方法僅需在線性時間內對曲率鏈碼進行尺度歸一化。因此,本文方法的時間復雜度低于文獻［6］方法。采用C++語言,在Inter雙核、主頻為2.7 GHz、內存為2 GB的機器上進行實驗, 2種方法處理的時間如表3所示。在這2個數據集上,本文方法平均每幀運行時間低于1.0 s,而文獻［6］方法則高于20.0 s。

表3 平均運行時間對比

5 結束語

本文基于交通場景圖像的顏色增強圖,利用多閾值顏色分割方法和輪廓曲率直方圖鏈碼表達分別得到交通標志的興趣區域,并對提取的形狀輪廓的曲率直方圖進行尺度歸一化處理,融合顏色特征和歸一化處理后的形狀特征進行分類,能夠有效提高通常情形、顏色失真、形狀失真以及尺度變化這4種情形下的交通標志檢測率。在行駛環境中首先需要盡早正確檢測到交通標志,其次對于檢測的交通標志要進行正確的語義識別,后者將是下一步的主要工作。

［1]Chen Long,Li Qingquan,Li Ming,et al.Traffic Sign Detection and Recognition for Intelligent Vehicle［C］// ProceedingsofIntelligentVehiclesSymposium.Washington D.C.,USA:IEEE Press,2011:908-913.

［2]Gao Xiaohong,Hong Kunbin,Peter P,et al.Colour VisionModel-basedApproachforSegmentationof Traffic Signs［J］.EURASIP Journal on Image and Video Processing,2008,(1):1-7.

［3]Maldonado B S,Lafuente A S,Gil J P,et al.Road-sign Detection and Recognition Based on Support Vector Machines［J］.IEEE Transactions on Intelligent Transportation Systems,2007,8(2):264-278.

［4]Khan J F,BhuiyanSMA,AdhamiRR.Image SegmentationandShapeAnalysisforRoad-sign

Detection［J］.IEEE Transactions on Intelligent Transportation Systems,2011,12(1):83-96.

［5]Gu Yanlei,Yendo T,Tehrani M P,et al.Traffic Sign Detection in Dual-focal Active Camera System［C］// ProceedingsofIntelligentVehiclesSymposium.Washington D.C.,USA:IEEE Press,2011:1054-1059.

［6]Liang Ming,Yuan Mingyi,Hu Xiaolin,et al.Traffic SignDetectionbyROIExtractionandHistogram Features-basedRecognition［C］//Proceedingsof International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-8.

［7]Houben S.A Single Target Voting Scheme for Traffic Sign Detection［C］//Proceedings of Intelligent Vehicles Symposium.Washington D.C.,USA:IEEE Press,2011: 124-129.

［8]Bahlmann C,Zhu Y,Ramesh V,et al.A System for Traffic Sign Detection,Tracking,and Recognition Using Color,Shape,and Motion Information［C］//Proceedings of Intelligent Vehicles Symposium.Washington D.C., USA:IEEE Press,2005:255-260.

［9]Creusen I M,Wijnhoven R G J,Herbschleb E,et al.Color Exploitation in Hog-based Traffic Sign Detection［C］//Proceedings of the 17th IEEE International Conference on Image Processing.Washington D.C., USA:IEEE Press,2010:2669-2672.

［10]Garcia G M A,Ocana M,Llorca D F,et al.Robust Traffic Signs Detection by Means of Vision and V2I Communications［C］//Proceedingsofthe14thIEEE InternationalConferenceonIntelligentTransportation Systems.Washington D.C.,USA:IEEE Press,2011: 1003-1008.

［11]Baro X,Escalera S,Vitria J,et al.Traffic Sign Recognition Using Evolutionary Adaboost Detection and Forest-ECOC Classification［J］.IEEETransactionsonIntelligent Transportation Systems,2009,10(1):113-126.

［12]Marinas J,Salgado L,Arrospide J,et al.Efficient Hybrid Monocular-stereo Approach to Onboard Video-based Traffic Sign Detection and Tracking［C］//Proceedings of International Society for Electronic Imaging,Optics and Photonics.Washington D.C.,USA:IEEE Press, 2012:106-120.

［13]Timofte R,ZimmermannK,VanGL.Multi-view Traffic Sign Detection,Recognition,and 3d Localization［C］//Proceedings of Workshop on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2009:1-8.

［14]谷明琴,蔡自興.基于無參數形狀檢測子和DT-CWT的交通標志識別［J］.計算機研究與發展,2013, 50(9):1893-1901.

［15]許少秋.戶外交通標志檢測和形狀識別［J］.中國圖象圖形學報,2009,14(4):707-711

［16]Gomez M H,Maldonado B S,Gil J P,et al.Goal Evaluation of Segmentation Algorithms for Traffic Sign Recognition［J］.IEEETransactionsonIntelligent Transportation Systems,2010,11(4):917-930.

［17]Wang Gangyi,Ren Guanghui,Wu Zhilu,et al.A Robust, Coarse-to-FineTrafficSignDetectionMethod［C］// Proceedings of International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-5.

［18]Vapnik V.The Nature of Statistical Learning Theory［M］.New York,USA:Springer,2000.

［19]Otsu N.A Threshold Selection Method from Gray-level Histograms［J］.IEEE Transactions on Systems,Man and Cybernetics,1979,9(1):62-66.

［20]GRAM.Traffic Sign UAH Dataset［EB/OL］.(2014-02-27).http://agamenon.tsc.uah.es/Investigacion/gram/ traffic_signs.html.

［21]Houben S,Stallkamp J,Salmen J,et al.Detection of Traffic Signs in Real-world Images:The German Traffic SignDetectionBenchmark［C］//Proceedingsof International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-8.

編輯 顧逸斐

Traffic Sign Detection Based on Multiple Features Cooperation

TANG Kai,LI Shiying,LIU Juan,LI Renfa
(Provincial Key Laboratory of Embedded Systems and Networking, School of Information Science and Engineering,Hunan University,Changsha 410082,China)

A new method is presented to improve traffic sign detection with cooperation of color,shape and scale features,especially under conditions of color distortion,shape deformation and scale variance.Color enhancement maps are generated from traffic scene images.Regions of interest are then extracted from the color enhancement maps using multiple thresholds of color,chain codes of the curvature histograms of closed contours are calculated and scale normalized for the contours.The Support Vector Machine(SVM)classifier is applied to classify the chain codes of the extracted traffic signs and the template signs.Experimental results demonstrate that this method is capable of improving traffic sign detection,with low time complexity.

traffic sign;multiple features cooperation;multiple thresholds;curvature chain code;scale normalization; Support Vector Machine(SVM)classification

湯 凱,李實英,劉 娟,等.基于多特征協同的交通標志檢測［J］.計算機工程,2015,41(3):211-217.

英文引用格式:Tang Kai,Li Shiying,Liu Juan,et al.Traffic Sign Detection Based on Multiple Features Cooperation［J］.Computer Engineering,2015,41(3):211-217.

1000-3428(2015)03-0211-07

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.040

國家自然科學基金資助項目(61272396)。

湯 凱(1989-),男,碩士研究生,主研方向:計算機視覺;李實英,副教授、博士、CCF會員;劉 娟,碩士研究生;李仁發,教授、博士、博士生導師、CCF會員。

2014-04-21

:2014-05-13E-mail:lishiying66@gmail.com