基于改進Shape Context的分層交通標志識別系統

秦 瑾，張新峰

（復旦大學 計算機科學技術學院，上海201203）

0 引 言

復雜背景中交通標志的識別可以為智能車輛行駛提供很有價值的道路環境信息。智能交通標志識別系統包括兩個基本步驟，即檢測與識別。通過顏色分割等技術可以檢測到交通標志所在的區域，我們稱之為ROI（region of interest）。在交通標志檢測方法中，可以通過顏色分割直接檢測出交通標志［1］，也可以利用邊緣信息進行形狀的檢測，通過離散曲線演變方法［2］檢測出交通標志的形狀，該方法有較強的魯棒性，但計算過程比較繁瑣；還有利用Hough變換［3］及傅利葉變換［4］等方法確定形狀，但計算過程都比較復雜，時間復雜度較高。

對于交通標志的識別技術，可以分為基于學習訓練分類和基于模板分類兩種方法?；趯W習訓練對交通標志進行分類的方法中，常見的有利用神經網絡［5］進行分類，通過SVM［6］分類器進行分類等。另一種方法是直接利用模板進行匹配分類，在與模板匹配的過程中有很多不同的方法。如用SURF技術［7］，利用角點或某些特征點建立描述子，進行模板匹配。此外，J.F.Khan等［8］用Gabor濾波提取與亮度和顏色相關的局部穩定特征點作為特征表述，與模板進行匹配。對于模板匹配分類的方法，需要特征描述進行模板匹配。

本文采用基于模板的識別方法，充分利用交通標志的顏色形狀信息，提出了一種分層交通標志識別系統。首先通過RGB空間的顏色分割，得到交通標志的ROI，利用交通標志的外輪廓信息實現形狀粗分類；然后采用文中提出的改進Shape Context描述子對其內部圖像進行特征描述，與模板匹配，完成細分類，識別出交通標志。通過粗分類到細分類兩層操作，可以快速準確地識別出自然場景中的交通標志。

1 分層交通標志識別系統的設計

1.1 系統設計流程圖

交通標志可以看作是圖形、符號和顏色的結合，充分利用交通標志的這一特征，將其形狀和顏色結合起來進行交通標志的檢測與識別，可以達到較好的效果。本文提出了一種基于改進Shape Context算法的快速分層交通標志識別系統，系統的流程圖如圖1所示。整個識別系統分為三層，包括預處理層、粗分類層和細分類層。預處理層對輸入的測試圖像進行處理后，可以突出目標區域。

圖1 分層交通識別系統流程

1.2 預處理層

1.2.1 RGB空間顏色分割

交通標志主要起提示、指示和警示作用，為了引起人們足夠的注意及判斷，日常生活中交通標志通常采用一些比較固定特殊的顏色。我們可以看到，世界各國的交通標志彼此間存在一定的差異，但幾乎都采用紅、藍、黃等顏色。因為在自然場景中，這些顏色比較突出，和背景顏色有著明顯的差異，我們的感官可以快速地區分出它們。

根據這樣一個經驗，我們利用交通標志的顏色特征在RGB空間進行顏色分割，將交通標志區域與背景區域分開。這樣可以縮小目標范圍，減少計算量，更快速地定位識別出交通標志。

交通標志的識別通常是在自然場景中進行，光照的影響無法避免。研究發現，在各個季節中白天不同時刻光照雖然不同，但是在一天中從早上到晚上，交通標志區域特定的顏色，在RGB空間，與其它顏色的值有較大的差距［9］。以紅色交通標志為例，在一天中不同光照強度下，交通標志處R值與G值、B值間差值仍然比較明顯。據此，可以利用它們之間的差值作為顏色分割的標準。

在本文中，通過RGB空間顏色分割，足以為后繼的各層處理提供足夠的信息。以R、G、B為軸建立空間直角坐標系，將每個軸量化為0－255之間的值，用3個通道來表示圖像中的每個像素點。我們令ΔRG、ΔRB分別表示在RGB空間中紅色通道和綠色與藍色通道之間的差值。同理，用ΔGR和ΔGB作為綠色通道的閾值，ΔBG和ΔBR則代表藍色通道的閾值。本文中采用算法1作為圖像分割算法。

算法1：RGB 圖像分割算法輸入：測試圖像輸出：分割結果對圖像中每一個像素點Pi，用 （Ri，Gi，Bi）來表示。（1）FOR每一個像素點Pi（2） IF Ri＞Gi ＆ ＆ Ri－Gi≥ΔRG ＆ ＆ Ri－Bi≥ΔRB則Pi為紅色（3） ELSE IF Gi＞Ri ＆ ＆ Gi－Ri≥ΔGR ＆ ＆ Gi－Bi≥ΔGB則Pi為綠色（4） ELSE IF Bi＞Gi ＆ ＆ Bi－Gi≥ΔBG ＆ ＆ Bi－Ri≥ΔBR則Pi為藍色（5） ELSE Pi為白色或黑色（6） ENDIF（7）END

在算法1中，由于用顏色通道之間的差值來分割，考慮了各顏色通道之間的相互關系。所以對各閾值的取值要求并不高。我們根據經驗數據確定閾值參數ΔRG＝30、ΔRB＝20、ΔBG＝30、ΔBR＝50。為方便后面各層的進一步處理，將分割結果以 （0，1）二值圖形式保存。對自然場景圖2（a）采用顏色分割后，圖中紅色交通標志的分割結果如圖2（b）所示。圖2中，通過分割后，可以得到交通標志的外部輪廓區域，將目標的范圍大大縮小。

圖2 RGB空間顏色分割

1.2.2 確定感興趣區域 （ROI）

通過前面RGB空間的顏色分割，得到的分割區域通常不止一塊，我們感興趣的交通標志區域包含在分割圖像中。需要將干擾部分去掉，得到交通標志的候選區域。在自然場景圖像中，交通標志所占的比例很小，所以檢測到交通標志ROI，縮小目標區域，可以使整個識別系統的處理速度大大提高。

很多文章中利用膨脹及腐蝕的方法來去除干擾。在本文中，我們利用顏色分割后得到的連通區域的大小特征來去除干擾。為了提取到盡可能緊密的連通區域，但又可以把一些不是同一塊目標的區域區分開，文中選擇4連通原則來確定連通區域。得到各個連通區域后，統計連通區域的面積 （即連通域中的像素點個數），根據面積大小去除干擾。通常干擾部分的面積比交通標志的面積要小得多，如圖2（b）中結果所示。本文中采用算法2中所示的步驟得到交通標志的候選ROI。

算法2：確定候選ROI算法輸入：RGB空間顏色分割二值圖像輸出：候選ROI的連通域（1）用4連通原則對顏色分割得到的二值圖像提取連通域；（2）計算各個連通域的面積，統計各連通域中的像素點個數，找出面積最大的兩個區域，依次記為S1，S2；（3）若面積S2與S1之間相差很大，即S1－S2＞TS（TS為面積閾值，實驗中取TS＝0.5S1）則直接舍去S2，將S1作為候選ROI連通域輸出，否則將S1，S2都作為候選ROI連通域輸出。

用算法2對圖2（b）中分割圖像確定候選ROI，得到的結果如圖3所示，背景中的干擾被消除掉了。在文中提出的分層識別系統中，得到交通標志ROI后，對其進行交通標志的形狀粗細分類完成識別功能。

1.3 粗分類層

對形狀分類的方法有很多，文中我們采用標記 （signature）實現交通標志外輪廓的形狀粗分類。由于直接對顏色分割后的ROI區域 （圖3）進行邊緣提取，得到的形狀輪廓不一定是單一像素的邊緣，如圖4所示。

圖4 中的邊界有兩層，如果直接進行ROI邊界標記圖描述，不利于準確進行形狀分類，需要對圖像進行一些處理消除這種干擾?？梢栽谛螤畲址诸惽?，先采用孔洞填充技術，得到單一像素邊緣后再作進一步處理。

圖5 （a）中是對ROI進行孔洞填充后的結果，此時再對ROI進行邊緣提取，得到圖5（b）中所示的單一像素邊緣。得到單一像素邊緣后，采用標記圖 （signature）作為形狀特征對ROI進行形狀粗分類。

圖5 孔洞填充實現單一像素邊緣

標記 （signature）作為一種圖像邊界表示方法，將最初的二維邊界簡化為一個一維函數，于是更容易描述邊界形狀［10］。標記可以通過多種方法產生，文獻 ［11］中采用（r，θ）標記來表示邊界，本文中我們采用一種簡單的生成方法，利用質心到邊界上各點i的距離Dis（i）作為邊界的標記。

將待確定形狀的圖像邊界點集用集合E＝｛（xi，yi）｝來表示，其中i＝1，2，...，N表示第i個邊界點，N表示邊界點的個數。該形狀的質心 （x0，y0）用式 （1）表示

則圖像邊界的標記可以表示為式 （2）

日常生活中常見的交通標志主要有圓形、三角形和矩形等形狀。文中采用標記法主要對這3種常見形狀進行粗分類。圖6中給出了圓形、三角形和矩形這3種形狀的標記圖曲線。圖6中上面表示3種形狀，下面的波形分別對應其標記圖曲線。標記圖曲線中，坐標橫軸每一刻度對應一個邊界點，表示從水平夾角開始，逆時針遍歷各個邊界點；縱軸表示邊界點到質心點的距離，圖6中將所有距離都作了歸一化處理，幅值范圍為（0，1］。

圖6 形狀標記曲線

從圖6所示的曲線中我們可以看出，這3種形狀標記圖的均值和方差都有各自的特點。據此，可以對ROI進行形狀粗分類。定義Dis（i）的均值Meand和標準差Vard為

計算出目標圖像中候選ROI的標記圖均值和方差，并根據式 （5）的標準對其進行形狀粗分類。若都不滿足，則說明該候選ROI不屬于交通標志，將其排除

為了確保真實性，式 （5）中的閾值根據交通標志模板中形狀的標記特征確定。對模板中交通標志形狀進行邊界標記描述，并統計標記的均值和方差特征，結果見表1。

表1 形狀特征參數

用上述的標記特征描述形狀并用其對形狀進行分類，其中一個優點是具有旋轉不變性，對形狀的分類有較高的準確率，并且可以去掉偽候選ROI。此外，由于只需對圖像中交通標志所在的ROI進行處理，邊界點的數量并不大，分類速度比較快。

1.4 細分類層

交通標志可以視為由兩個部分構成的圖形，如圖7中所示，包括交通標志的外部形狀及內部內容。

圖7 交通標志的結構

經過前面的粗分類后，交通標志內部圖形的識別可以看作是和模板內部圖形的匹配問題。對于同一外輪廓形狀的交通標志，通過對其內部內容與模板進行匹配實現細分類，即可完成整個交通標志識別系統的功能。文中利用改進的Shape Context實現細分類，識別交通標志。

在本文中改進的算法中，并不像傳統的Shape Context那樣，需要對所有采樣點都統計直方圖，而是用粗分類步驟中的質心 （x0，y0）（見式 （1））為中心點，計算質心和內部圖形邊界點之間形成的直方圖。與具有相同外部輪廓形狀的交通標志模板計算cost值，cost值最小的模板即為識別結果。

由于交通標志的內部圖像占相對面積不大，當光照條件影響較大時，利用顏色信息效果不理想。同時，輪廓信息對于人類的感知而言同樣重要，即使是在一些復雜的環境中，輪廓也是一種比較突出且穩定的信息。于是我們針對不同的交通標志內容，通過目標與模板的內部圖形形狀相似度比較，找到匹配的模板。本文中將采用一種改進的Shape Context描述子來描述兩幅圖像的相似度。

Shape Context描述子［12］利用輪廓上點與點之間的關系判斷兩者相似性。對一幅圖中的N個點，任意一個點p，它與其它的N－1個點之間的位置關系可以形成N－1維向量。利用極坐標圖對點p周圍的點進行統計。通過式 （6）統計點p的對數極坐標直方圖，k表示第k個統計區間，統計過程如圖8所示。對于字符A中標記的點，利用對數極坐標系統對其進行直方圖統計。圖8（b）中，將對數極坐標按長度分為5個區間，按角度分為12個區間，則總共得到60個區間。圖8（c）中，對每個區間的邊界點個數進行統計，顏色越深，表示該區間的點個數越多

圖8 Shape Context描述子

文中的改進主要體現在兩個方面：

（1）采用外部形狀質心與內部圖形邊界點的相互關系計算相似度

在傳統的Shape Context中，對于圖像中的所有形狀邊界點，都會進行直方圖統計，然后進行匹配度的計算。采用外部形狀的質心為中心點，而不是所有邊界點，更有利于去掉冗余計算，提高識別系統的識別速度。

（2）利用邊緣點總數進行歸一化統計

Shape Context需要匹配的邊緣點個數一致。為了保留內部圖形的完整性，當被識別的標志與模板中的邊界點個數不一樣時，不需要進行稀疏采樣或插入點使其點個數一致，而是采用對點總數進行歸一化來統計直方圖。

得到直方統計圖后，通過計算需匹配的兩邊界點pi和qi直方圖的χ2距離［12］來判斷其是否匹配。匹配標準cost值定義為式 （7）。cost的值在0～1之間，其值越小形狀越匹配

與傳統的Shape Context相比較，本文中的算法大大減少了計算時間，不需要進行重復的匹配計算。在測試圖像與模板圖像匹配過程中，取cost值最小的為識別結果。實驗表明，當與模板匹時，cost值介于0.1～0.3之間。

2 實驗結果與分析

本文提出的分層交通標志識別系統使用文獻 ［13］中的數據集進行實驗。該數據集中的模板如圖9所示。數據集中分別有三角形、圓形和矩形三類交通標志。

圖9 交通標志模板

實驗中分別對圓形、三角形、矩形交通標志進行識別，利用本文中提出的分層識別系統，先進行形狀細分類，再對內部圖像用改進后的Shape Context計算與模板的相似度，得出最終的分類。本文與另一種直接分割用Shape Context描述子進行匹配的識別系統［14］進行了對比。實驗結果見表2。

表2 實驗結果

從表2的實驗結果中可以看出，通過分層后，總體而言，可以實現更高的準確率，準確率基本達到90%以上。此外，實驗中采用改進Shape Context描述子，把質心作為中心點，并通過歸一化的方法求相似度，減少了很多冗余的計算，提高了交通標志識別系統的速度。

3 結束語

本文中提出的分層交通識別系統，包括圖像預處理層、粗分類層和細分類層。圖像經過預處理后，進行外部形狀的粗分類，再對內部圖像利用改進的Shape Context與模板中的標志進行匹配細分類。實驗表明，本文中的方法可以快速并準確地對交通標志進行識別。本文只針對三角形、矩形和圓形3種形狀的交通標志進行識別，在今后的工作中可以考慮更多形狀類型的交通標志，使文中的分層識別系統性能更加完善。

［1］Eom Tae Jung，Kalyan Goswami.Hybrid color space based road sign detection technique［C］／／Berlin：ICCE，2012：81－83.

［2］XU Shaoqiu.Traffic sign detection and shape recognition in outdoor environments［J］.Journal of Image and Graphics，2009，14 （4）：707－711（in Chinese）.［許少秋.戶外交通標志檢測與形狀識別［J］.中國圖象圖形學報，2009，14 （4）：707－711.］

［3］ZHU Guiying，ZHANG Ruilin.Circle detection using Hough transform ［J］.Computer Engineering and Design，2008，29（6）：1462－1464 （in Chinese）.［朱 桂英，張瑞林.基 于Hough變換的圓檢測方法 ［J］.計算機工程與設計，2008，29（6）：1462－1464.］

［4］Pedro Jimenez，Saturnino Maldonado.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies ［J］.Signal Processing，2008，88 （12）：2943－2955.

［5］Ciresan D，Meier U，Masci J.A committee of neural networks for traffic sign classification ［C］／／CA：The International Joint Conference on Neural Networks，2011：1918－1921.

［6］Saturnino Maldonado－Bascón.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8 （2）：264－278.

［7］Erdal Oruklu，Damien Pesty.Real－time traffic sign detection and recognition for in－car driver assistance systems ［C］／／USA：MWSCAS，2012：976－979.

［8］Konchar A，Janbn H，Halgamuge S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers ［J］.Pattern Recognition Letters，2007，28 （2）：260－267.

［9］Yang Siyan，Wu Xiaoying，Miao Qiguang.Road－sign segmentation and recognition in natural scenes ［C］／／Xi’an：ICSPCC，2011：1－4.

［10］Rafael C Gonzale，Woods R E，Eddins S L.Digital image processing using MATLA ［M］.RUAN Qiuqi，transl.Beijing：Publishing House of Electronics Industry，2009：337－340 （in Chinese）.［岡薩雷斯，Woods R E，Eddins S L.數字圖像處理 （MATLAB版）［M］.阮秋琦，譯.北京：電子工業出版社，2009：337－340.］

［11］GU Mingqin，CAI Zixing，HE Fenfen.Traffic sign recognition based on shape signature and Gabor wavelets ［J］.CAAI Transactions on Intelligent Systems，2011，6 （6）：526－530 （in Chinese）.［谷明琴，蔡自興，何芬芬.形狀標記圖和Gabor小波的交通標志識別 ［J］.智能系統學報，2011，6 （6）：526－530.］

［12］Kai Li，Weiyao Lan.Traffic indication symbols recognition with shape context［C］／／Singapore：ICCSE，2011：852－855.

［13］Grigorescu C，Petkov N.Traffic sign image database ［DB］.［2013－03－17］.http：／／www.cs.rug.nl／～imaging／databases／traffic＿sign＿database／traffic＿sign＿database.html.

［14］Guan Ruimin，Yang Su，Wang Yuanyuan.Symbol recognition in natural scenes by shape matching across multi－scale segmentations［G］.Lecture Notes in Computer Science 7423：New Trends and Challenges，2011：59－68.