基于AI深度學習的車輛識別智能管理系統

周華英

（煙臺汽車工程職業學院，山東煙臺，265500）

0 引言

早在20世紀90年代，基于視覺分析的車輛識別技術就已成為研究熱點，諸多學者利用交通視頻及圖像數據通過視覺處理技術進行分析和識別，并取得了一定范圍的實際應用。2012年卷積神經網絡（CNN）技術在大型視覺識別挑戰ImageNet比賽中以巨大優勢取得冠軍，現已廣泛應用于圖像分類、目標檢測和自動駕駛等領域。目前針對車輛識別方法及應用系統的綜述性研究還較少，因此本文重點研究基于深度學習方法進行車輛識別。

利用深度學習方法進行車輛識別目標是基于模擬人腦結構來設計神經網絡模型，讀取采集的數據進行模型訓練，形成對圖像由淺入深的抽象化表征，最終得到較高精度和準確性的車輛分析識別模型。當前流行的模型包括卷積神經網絡（CNN）、深度置信網絡（DBN)、循環神經網絡(RNN)和生成對抗網絡(GAN)等，其中CNN已在車輛識別的研究中得到了廣泛應用。本系統基于采集的交通視頻和圖像進行智能分析，提取車牌、車型和顏色等信息，結合其他輔助系統獲得車輛檔案、注冊地等信息，形成結構化的車輛信息，傳輸到智能交通大數據平臺進行數據存儲和分析挖掘，支撐智能交通系統的管理應用。

本系統基于深度神經網絡模型構建初步的車輛檢測和分類識別應用，并在交通領域實際使用過程收集數據反饋情況，支持模型定期訓練升級及網絡結構優化，生成適應交通領域需求的AI模型，形成車輛智能識別應用的可持續提升。

1 系統設計

系統模塊包括車牌識別、車輛檢測、顏色識別和車型識別等，本節從系統設計的角度進行闡述，分析其技術流程。

1.1 車牌識別方案

對采集的車輛視頻或圖像進行車牌定位、牌照顏色和字符識別，通過模式識別技術獲得關鍵性信息，此外還包括車輛存在性識別模塊，共同構成基礎服務，對采集的圖像進行處理，定位出車牌區域，分析識別牌照顏色和字符，最終按預設的格式進行輸出，步驟如下：

1）區域定位，檢測車牌存在性，定位車牌區域;2）字符分割，對車牌區域進行細化分析，分割出字符集合;3）模式識別，對車牌進行字符識別，獲得號碼字符串，同時對車牌顏色進行識別，判斷車牌類型。

識別過程中，牌照顏色和字符識別需結合實際應用場景，將檢測定位和分類識別等方法進行有效組合，建立校驗機制來構建穩定的車牌識別服務。

1.1.1 區域定位

復雜多變的場景會面臨背景復雜、光照不均和圖像畸變等干擾，如何有效定位車牌區域就成為首要問題。一般情況下首先進行粗范圍搜索，收集符合車牌區域特征的候選區域；然后對候選區域進行分析判斷，按照車牌特點進行評分；最后對符合評分閾值的區域進行輸出，并進行定位裁剪得到車牌的分割圖像。

1.1.2 字符分割

車牌區域定位后得到區域圖像，進行字符分割得到該區域的字符圖像序列再進行識別輸出。利用字符的豎直分布和字符間存在間隔的特點，投影后即可利用投影曲線的峰谷特點完成字符分割。根據車牌字符的排列特點，按照一定順序進行字符圖像組合，得到符合車牌字符格式的分割結果。

1.1.3 模式識別

字符分割后得到字符序列圖像，利用識別方法進行車牌字符識別。常用的字符識別方法包括基于模板匹配和人工神經網絡的識別方法?；谀０迤ヅ涫菍⒆址麍D像進行二值化并建立與模板庫相同的尺寸，通過匹配判斷相似度距離，最終選擇匹配度最高的字符進行輸出；基于人工神經網絡是通過提取字符圖像特征或將圖像統一尺寸后作為輸入，基于隱藏層搭建網絡并訓練，借助特征提取能力來自動構建識別服務，最終輸出識別標簽，得到車牌字符。

識別率與拍攝條件、圖像質量等因素相關，在實際應用中難免會受到車牌污損、雨雪遮擋和光照不均等情況干擾。一般需綜合考慮采集條件及應用場景，從拍攝位置、光照補充和圖像增強等角度綜合進行優化，進而采集到更有利于識別的車輛圖像。

1.2 車輛檢測方案

車輛檢測是判斷車輛存在性及具體位置的關鍵模塊，一般包括線圈觸發、紅外捕捉、雷達信號和視頻抓拍等方式。視頻抓拍檢測直接采用非接觸性的間距拍攝方式獲得圖像數據，不需要路面安裝、附加設備、線圈和雷達安裝等環節，更加適合實際中的車輛通行需求。

針對處理視頻圖像，需要處理較高分辨率、較大規模的圖像數據，對檢測速度和運行效率都具有較高要求。在保持圖像不丟幀的情況下，盡可能達到實時圖像的采集和處理。如果存在檢測速度和效率瓶頸，則無法檢測速度較快的車輛，帶來信息丟失和誤檢，影響識別效率。因此車輛檢測和車牌識別模塊在算法和性能上均要求較高，是整個識別模塊的關鍵。

1.3 車身顏色識別方案

提取車輛顏色對交通事件調查、目標車輛篩選及管制等起到輔助作用。但在抓拍過程中，難免會遇到拍攝環境和光照等因素干擾，帶來車輛顏色失真，會影響到顏色屬性識別。因此圖像在生成或傳輸過程中會進行數字化處理，進行圖像增強，消除噪聲干擾，綜合考慮不同噪聲帶來的影響，利用排序差值脈沖檢測方法進行圖像濾波增強，將目標圖像在預設窗口內的顏色分量值進行排序并定位噪聲點，利用改進的自適應矢量中值濾波來消除噪聲干擾，達到較好的噪聲消除效果。同時該處理過程采用濾波窗口的自適應調整方式來生成符合圖像特點的濾波器，進而有選擇地消除噪聲干擾，盡可能還原出顏色分布情況。

1.4 車輛類型識別方案

類型識別目標是獲取車輛種類、品牌等信息，采用CNN設計識別模型，在分析Inception V3預訓練模型的基礎上進行遷移學習，結合系統積累的車輛類別和樣本圖像進行模型編輯，消除原模型的全連接層并引入參數優化層，經Dropout和全局平均池化層后接入到實際的車輛類別信息，經樣本圖像數據集訓練得到車型識別模型。經評測該模型與基于VGG-16、Xception和Resnet50的模型相比均具有較好的性能，最終達到訓練精度超過96.48%、測試精度超過83.86%，因此可選擇該模型提供類型識別服務。

2 實驗環境

本文實驗環境選擇Keras2.X框架，基于Python編寫，以Theano/Tensorflow為基礎支撐，支持便捷的網絡設計及訓練評測的API，是進行深度學習實驗開發的常用框架，對常用的數據處理和訓練等核心任務進行了封裝處理，使得用戶能重點關注網絡結構和參數調試，無需關注內部的實現細節，提高了研究和實驗效率。此外還支持通過配置參數使得程序能選擇在CPU和GPU上運行，考慮到本實驗數據及應用情況，選擇基于GPU，通過CUDA庫和CUDNN加速器進行訓練。實驗環境采用了CUDA 10.X版本，cuDNN 7.6.X版本，Keras2.X版本和TensorFlow_gpu-2.X版本，訓練環境采用GPU，測試和應用環境則兼容GPU和CPU的配置。

本實驗基于Keras搭建神經網絡模型，主要通過以下步驟搭建網絡：模型設計、參數配置、數據加載、模型訓練和模型評估。通過Keras提供的API可快速搭建網絡模型并加載數據進行訓練，能夠以較低的成本進行模型編輯和完善，更快地驗證算法思路的有效性。

3 數據處理

數據是模型訓練和具備感知識別能力的基礎。良好的標注數據是影響模型性能的重要因素，模型識別根據數據本身或某些特性作為依據，通過標注才能讓模型獲得數據對應關系，進而通過訓練來調節模型權重參數，最終得到適合數據特點的模型并應用于目標感知識別。因此優秀算法模型需要一定規模的標注數據來進行訓練，進而能建立模型的特征抽象能力，形成智能化的模型推理能力。

系統需給圖像打上標簽信息來對應車輛種類、車牌信息、車輛品牌和顏色等，對預先標注的圖像樣本集合進行訓練學習后，即可產生具備識別能力，將車輛圖像傳給模型并獲得識別結果，進而推斷出當前車輛的相關信息。

系統引入正則化項及dropout機制，可有效地處理過擬合問題，提高模型的泛化能力。在訓練過程中按設定概率摒棄部分網絡神經元，降低了原網絡的復雜度，緩解了模型訓練中對計算資源及訓練時間的要求，最終提高模型的魯棒性，形成具備泛化能力的AI模型。

圖1 使用Dropout的神經網絡模型前后對比

訓練模塊對實時性要求不高，所以可進行離線訓練，將訓練模型導出為文件并遷移到線上環境，并建立數據反饋收集機制和周期化升級機制，推進AI模型的迭代升級。

4 模型訓練

基于AI深度學習的車輛識別智能管理系統采用Inception網絡訓練分類識別模型，該網絡具有更寬、更深的結構，在帶來訓練效果提升的同時也出現了包括梯度消失、過擬合等問題，通過引入1*1的卷積來進行維度更新，形成多尺寸窗口的卷積及聚合機制，最終促進訓練效果的提升，并節省計算資源，能在相同計算資源投入下建立更廣泛的特征抽象能力，得到更好的模型訓練結果。

圖2 線性卷積和NIN結構對比

線性卷積通過設定尺度上進行一次卷積的方式來訓練，而NIN（即Network in Network）結構通過引入普通的3*3、1*1卷積的方式進行訓練，這樣能對像素點經1*1的卷積來執行全連接計算。NIN中無論3*3還是1*1卷積都緊跟非線性激活函數ReLu，提供非線性計算模塊，通過卷積間的聯系來組合出更為豐富的非線性特征。

經實驗發現，設置超過1000的卷積核數目，可能會引起網絡架構更深層殘差單元異常而帶來訓練失敗，使得訓練過程中的GAP層激活值趨于0，無法通過調整學習率尺度和增加正則化層來進行規避。因此為了提高模型訓練的性能，本實驗通過設置0.1～0.3的比例來縮放殘差激活值，構建具有更高魯棒性的AI模型。

5 實驗總結

基于AI深度學習的車輛識別智能管理系統采用的數據集包含2萬余張車輛圖像，存儲空間約240MB。為了便于實驗，創建了專用的數據集對象，按12000張訓練、4000張測試和4000張驗證的比例對數據集進行隨機重排并拆分，用于模型的訓練工作。

系統將訓練后的模型進行封裝，建立統一的車輛識別驗證服務，采用預設的4000張驗證集圖像進行模型驗證。為了降低深層卷積神經網絡的計算消耗,對網絡模型進行了優化,并通過模型訓練確定了模型最佳參數,從而以較為輕量的網絡結構取得了較高的車輛識別精度，使得優化后的AI模型對車輛的識別速度約提升52.4%，識別精度約提升33.1%。