車牌識別系統中的超分辨率圖像重建技術研究

林明儒

( 黎明職業大學 信息與電子工程學院，福建 泉州 362000 )

摘要：針對車牌識別系統中圖像模糊和分辨率低而影響車牌識別效果的問題，提出利用超分辨率重建來提高車牌圖像分辨率的解決方法.建立了凸集投影(POCS)算法的數學模型，研究了凸集投影超分辨率重建的實現過程，并用仿真實驗進行了驗證.實驗結果表明：采用凸集投影算法進行圖像重建，可以提高車牌圖像分辨率，豐富圖像細節信息，能夠有效提高車牌識別的準確率，并且迭代次數越多，圖像重建效果越好.

關鍵詞：超分辨率； 圖像重建； 凸集投影； 車牌識別

收稿日期：2015-06-24

基金項目：福建省教育廳科技研究項目(JB12290)；黎明職業大學校級課題研究項目(LZ2012102)；黎明職業大學科研團隊建設項目(LMTD2014104)

文章編號：1004-4353(2015)03-0233-05

中圖分類號：TP391.41

Research of super-resolution image reconstruction in license plate recognition system

LIN Mingru

(SchoolofInformationandElectronicEngineering,LimingVocationalUniversity，

Quanzhou362000,China)

Abstract：In the license plate recognition system,blurred image and low resolution affect the effect of license plate recognition. A method which uses the super-resolution image reconstruction to improve the resolution of plate image is proposed. In this paper,mathematical model of projection onto convex sets (POCS) is established and the process of image reconstruction based on POCS is researched. Simulation experiments are conducted to verify the research. Experimental results show that，image reconstruction based on POCS algorithm can improve the resolution of license plate image,rich detail information of the image,enhance the vehicle license plate recognition system performance. Through the experiments,the more iterations are made,the better effects of image reconstruction appear.

Key words： super-resolution; image reconstruction; projection onto convex sets; license plate recognition

0引言

車牌識別作為智能交通管理的重要組成部分，在違章車輛監控、高速公路不停車電子收費、智能停車場管理等領域得到廣泛應用.車牌識別系統包括車牌圖像采集、圖像預處理、車牌定位、字符分割和字符識別等部分[1].在實際應用中，車牌圖像的采集因為受到光照、成像設備、車輛運動快慢、圖像傳輸等因素的影響，容易出現圖像分辨率低、干擾噪聲多、圖像模糊等現象，影響車牌識別的準確率.為提高車牌圖像的分辨率，通常采用硬件技術和軟件處理來提高圖像的分辨率.文獻[2]通過改善硬件設備方法提高了車牌字符識別率，但該方法工作量大，成本高.文獻[3]通過采用插值放大與雙邊濾波相結合的車牌圖像超分辨率重建方法，提高了車牌圖像的亞像素級精度.文獻[4]基于馬爾可夫隨機場的車牌圖像重建方法，對圖像進行分塊后通過建立模型進行字符訓練，然后根據訓練結果預測圖像高頻細節信息.文獻[5]基于稀疏編碼的超分辨率車牌圖像重建技術建立了高低分辨率圖像之間的關系，該方法先定位車牌的目標區域，然后再通過壓縮感知重建高分辨率車牌圖像.本文研究是基于凸集投影算法的超分辨率圖像重建技術，從視頻中提取多幅低分辨率車牌圖像進行超分辨率重建，以此提高車牌圖像質量.

1超分辨率圖像重建技術

圖像超分辨率重建技術就是利用一組低質量、低分辨率圖像來產生單幅高質量、高分辨率圖像[6].通過超分辨率重建，可以彌補硬件原因造成的圖像像素丟失，消除圖像的噪聲，恢復圖像的細節信息，獲得高分辨率圖像.超分辨率重建方法在遙感成像、醫學影像等領域已經得到應用[7-8].超分辨率圖像重建分為頻域法[9]和空域法[10]兩大類.頻域法計算簡單，但由于沒有充分利用圖像的先驗信息，一般只用在全局平移運動的圖像上，可對于運動模糊和干擾噪聲的圖像，其重建效果和靈活性較差.空域法能夠較好地利用圖像的先驗知識，對運動模糊、全局或局部運動、噪聲干擾等圖像進行重建，應用范圍廣.常見的空域重建方法有基于插值重建法[11]、基于概率論方法[12]、基于集合論方法[13]和迭代反投影法[14].

隨著超分辨率重建技術研究的深入，國內外許多學者提出了一些新的圖像重建技術.Kim等[15]提出了基于稀疏回歸的單幀圖像重建技術，這是一種基于學習的圖像超分辨率重建技術.文獻[16]的作者通過先進行大量圖像訓練，建立圖像梯度分布模型，然后利用模型中的梯度場對預重建圖像的梯度場進行正則性約束，以實現增強圖像進行重建.韓玉兵等[17]提出了基于MG-GMRES算法的圖像重建方法，他們在概率估計和加權二乘的基礎上，通過對非對稱線性稀疏關系進行求解，來實現圖像超分辨率重建，結果顯示該算法重建效果較好.陳湘驥[18]提出了基于多尺度相似學習的圖像重建方法，該方法先將圖像拆分再進行多重匹配，以提高匹配精度，然后再結合近鄰嵌入方法進行圖像重建，該算法魯棒性高.此外，文獻[19]提出了基于曲率的迭代插值圖像重建方法，文獻[20]提出了基于學習和基于重構相結合的超分辨率重建方法.雖然超分辨率圖像重建技術近年來得到大力發展和研究，但仍存在一些不足：圖像信息密集區域重建后容易出現邊緣模糊；大多圖像重建方法只針對單幀圖像，而從視頻中獲取的多幀運動模糊圖像重建效果較差；圖像重建方法大多是放大2n倍的圖像重建，針對任意倍數放大的圖像重建成功范例較少.

2基于凸集投影的超分辨率圖像重建

凸集投影(POCS)算法具有觀測模型靈活、算法簡單、重建過程能夠充分利用圖像先驗信息等優點，又因為車牌具有固定的規格，容易為凸集投影提供先驗信息，因此車牌圖像超分辨率重建適宜選用凸集投影法.

2.1　凸集投影算法數學模型

設m,n∈S，存在am+(1-a)n∈S(其中0≤a≤1)，則稱S是一個凸集.

凸集投影法是根據約束凸集進行圖像超分辨率重建，約束凸集分為誤差噪聲約束集、幅值約束集、數據一致性約束集3種[21]，約束凸集可以定義為

S(m,n)={f(m,n):|α(f)(m,n)|≤δ(m,n)},

(1)

式中δ(m,n)用來表示對觀測結果信任度的參數，α(f)(m,n)表示低分辨率圖像與擬重建的高分辨率圖像之間的差值.

設r(m1,n1;m2,n2)為點擴展函數，則擬重建高分辨率圖像f(m,n)各像素點在約束凸集S(m,n)上的投影G(m,n)[f(m,n)]可以表示為

(2)

根據8bit圖像的先驗知識可知，其取值范圍為[0,255]，所以幅值約束集SA可以表示為

SA={f(m,n):0≤f(m,n)≤255}.

(3)

根據式(2)和式(3)，圖像f(m,n)在幅值約束集SA的投影GA為

(4)

2.2　凸集投影超分辨率圖像重建的實現

凸集投影超分辨率重建過程為：

1) 從視頻獲取連續多幀低分辨率圖像序列；

2) 從獲取的低分辨率圖像序列中選擇其中一幅作為初始圖像，對其進行插值放大(插值放大倍數根據需要自行設置)后作為高分辨率圖像的參考圖像；

3) 設置迭代次數(迭代次數根據實際需要設置)，迭代次數初始值為1；

4) 讀取下一幀，并計算參考幀與相鄰幀圖像像素之間的運動系數；

5) 根據運動系數，轉化為高分辨率圖像網格上的坐標；

6) 對各幀中的每個像素進行凸集運算，求得一個差值R；

7) 根據在步驟6)中所得的差值R對范圍內各像素進行修正，直至差值R在(-1,1)之間；

8) 該幀圖像像素全部修復完后，以該幀圖像作為參考圖像，重復步驟4)，直至所有圖像序列全部重建完成；

9) 迭代終止，獲得高分辨率圖像.

3實驗與結果分析

原始圖像為從視頻中獲取的連續4幀低分辨率圖像，分辨率為320×240，如圖1所示.分別采用本文提出的凸集投影法、文獻[4]提出的基于馬爾可夫隨機場和文獻[14]提出的迭代反投影法對原始圖像進行2倍放大圖像重建，重建后圖像分辨率為640×480，峰值信噪比PSNR值分別為24.252、22.370、21.688，重建效果圖如圖2所示.實驗結果表明，采用凸集投影法進行圖像重建的視覺效果明顯優于基于馬爾可夫隨機場和迭代反投影法的重建效果，即采用凸集投影法進行圖像重建的圖像其細節信息更加豐富，圖像信息密集區域重建后邊緣更清晰，反映圖像重建效果的PSNR值更高.

將在視頻中獲取的原始低分辨率圖像(圖1(a))和本文算法重建的高分辨率圖像(圖2(a))分別在Matlab編寫的車牌識別系統中進行車牌定位和字符識別，其結果如圖3和圖4所示.這表明，采用凸集投影算法重建可以提高圖像分辨率，進而提高系統的車牌定位和字符識別的準確率.

表1為采用不同迭代次數進行重建實驗獲得的PSNR值.從表1可知，迭代次數越多，PSNR值越大.這表明，迭代次數越多，重建算法精度越高，圖像重建效果越好.

圖1　視頻獲取的4幀低分辨率原始圖像

圖2　采用不同方法的超分辨率圖像重建效果比較

圖3　原始低分辨率圖像進行車牌定位和字符識別的結果

圖4　重建后高分辨率圖像進行車牌定位和字符識別的結果

迭代次數PSNR值324.252425.130525.845626.215

4結論

本文實驗結果表明，采用凸集投影法進行圖像重建的視覺效果明顯優于基于馬爾可夫隨機場和迭代反投影法的重建效果，即圖像細節信息更加豐富，圖像信息密集區域重建后邊緣更清晰，反映圖像重建效果的PSNR值更高，能夠為車牌識別后續工作提供高質量的圖像，進而提高車牌識別的準確率.實驗還表明，迭代次數越多，圖像重建質量越高.由于迭代次數越多，圖像重建時間越長，因此在后續工作中，筆者將進一步研究圖像重建效果和重建時間的關系，通過獲取迭代次數最佳閾值，以進一步提高算法的效率.

參考文獻：

[1]林明儒.基于邊緣分析和紋理信息統計的車牌定位研究[J].阜陽師范學院學報,2010,27(3):66-69.

[2]李彥.探究車牌識別中的超分辨率算法[J].淮海工學院學報，2013,22(2):29-31.

[3]Yang Q X,Yang R G,Davis J,et al. Spatial depth super resolution for range images[C] //Proceedings of Computer Vision and Pattern Recognition Minneapolis. MN，USA: IEEE Computer Society Press,2007.

[4]吳煒,楊曉敏,卿粼波,等.基于馬爾可夫隨機場的低分辨率車牌圖像復原算法[J].計算機應用研究,2010,27(3):1170-1172.

[5]姚振杰,易衛東.一種用于車牌識別的圖像超分辨率算法[J].中國科學院研究生院學報,2013,30(1):137-143.

[6]李翠華,施華,戴平陽,等.引入格式塔理論的超分辨率圖像重建技術[J].廈門大學學報,2011,50(2):261-270.

[7]鐘九生,江南,胡斌,等.一種遙感影像超分辨率重建的稀疏表示建模及算法[J].測繪學報,2014，43(3):276-283.

[8]袁晶.基于超分辨重建數學模型的醫學圖像處理方法[J].計算機仿真,2014,31(5):243-245.

[9]Tsai R Y,Huang T S. Multiframe image restoration and registration[J].Advances in Computer Vision and Image Processing,1984,1:317-339.

[10]余永松,吳煒,陳為龍.基于凸集投影(POCS)的車牌圖像超分辨率重建研究[J].計算機與數字工程,2009,37(2):139-142.

[11]王茜艷,陳力,李萌.基于插值的圖像修復算法[J].汕頭大學學報,2015,30(2):72-80.

[12]王春霞,蘇紅旗,范郭亮.圖像超分辨率重建技術綜述[J].計算機技術與發展,2011,21(5):124-127.

[13]孫玉剛.數字圖像修復技術研究[D].南京:南京航空航天大學,2011.

[14]郭偉偉,章品正.基于迭代反投影的超分辨率圖像重建[J].計算機科學與探索,2009,3(3):321-329.

[15]Kim K I，Kwon Y. Single-image super-resolution using sparse regression and natural image prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(6):1127-1133.

[16]Sun J,Xu Z,Shum H Y. Gradient profile prior and its applications in image super-resolution and enhancement[J]. IEEE Transactions on Image Processing,2011,20(6):1529-1542.

[17]韓玉兵,束鋒,孫錦濤,等.基于MG-GMRES算法的圖像超分辨率重建[J].計算機學報,2007,30(6):1028-1034.

[18]陳湘驥.基于多尺度相似學習的圖像超分辨率重建算法研究[D].廣州:華南理工大學，2014.

[19]Giachetti A,Asuni N. Real time artifact-free image up scaling[J].IEEE Transactions on Image Processing,2011,20(10):2760-2768.

[20]Yu J,Gao X,Tao D,et al. A unified learning framework for single image super-resolution[J]. IEEE Trans on Neural Networks and Learning Systems,2014,25(4):780-792.

[21]梅文蘭.車牌識別中超分辨率算法的研究[D].成都:西南交通大學,2011.