基于深度學習的霧天車標識別

曾珍，周欣，魏彪，楊映波

（四川大學計算機學院，成都 610065）

0 引言

隨著科學技術的飛速發展以及人們生活方式的不斷改變，汽車已經成為了一種更為普遍的交通出行工具。然而，汽車的普及直接導致了交通事故發生率的提高。對于交通事故的處理通常離不開智能交通系統，而車標識別作為智能交通系統中的一個重要部分，其準確率至關重要。近些年來，由于環境污染的影響，室外攝像機采集到的圖像質量嚴重下降，這極大地限制了車標等關鍵信息的檢測識別。因此，霧霾天氣下車標識別的研究成為了智能交通系統中的一個重要研究方向。

對于車標識別而言，目前的研究較為成熟[1]，但還有所欠缺。傳統的研究方法主要分為車標定位和車標識別兩個部分，其中車標定位主要是依據車標與車牌之間的位置關系及先驗知識來確定車標的位置，而車標識別則主要根據正負樣本提取的特征來進行分類器的學習，從而根據分類器對測試圖片進行分類識別。如王玫等提出的基于PCA和邊緣不變距的車標識別[6]、楊飚等提出的基于HOG和ASIFT特征的車標二次識別[7]、余燁等提出的前背景骨架區域隨機點對策略驅動下的車標識別[8]以及彭博等提出的基于深度學習的車標識別[9]等，這些方法分別從不同的角度對車標識別進行了研究，但是均未考慮霧霾天氣情況。

由于使用非霧天圖片作為訓練集訓練得到的網絡模型，在檢測非霧天攝像機采集到的圖片時，其準確率較高，而在檢測霧天攝像機采集到的圖片時，其準確率嚴重下降。于是，本文提出了一種基于深度學習與圖像去霧相結合的方法。該方法在神經網絡的卷積層之前加入圖像去霧功能，通過對圖片的清晰化處理提高圖片中的細節信息，從而提高車標識別的準確率以及智能交通系統的智能性，使其能夠在不同的天氣情況下均達到較好的識別效果。

1 改進的Faster R-CNN

為了提高霧霾天車標識別的準確率，在傳統的Faster R-CNN[10]卷積層之前加入了圖像去霧算法，如圖1所示，通過對測試圖片的去霧處理實現圖像增強，突出圖片中的細節信息，從而提高車標識別的準確率。

1.1 圖像去霧

傳統的圖像去霧方法主要有以下幾種：直方圖均衡化算法、多尺度Retinex算法以及暗通道優先算法。其中直方圖均衡化算法及多尺度Retinex算法是基于圖像處理的增強方法，而暗通道優先算法則是基于物理模型的復原方法，其主要是從物理復原的角度對圖像進行清晰化處理，關鍵在于建立準確的物理模型，通過物理模型來實現圖像的復原。

在計算機視覺和計算機圖形中，霧圖形成模型通常表示如下：

（其中I(x)為待去霧圖像，J(x)為去霧后圖像，A為全球大氣光成分，t(x)為透射率）

所謂暗通道先驗，即在絕大多數非天空的局部區域里，某一些像素總會有至少一個顏色通道具有很低的值[11]。因此，根據暗通道先驗及暗通道的數學定義：

（其中Jc表示彩色圖像的每個通道，Ω(x)表示以像素x為中心的一個窗口）

可知，Jdark-＞0。

對上式（1）進行變形可得：

（其中C表示R、G、B三個通道）

因此，根據Jdark-＞0及式（4）可推導出：

此即透射率的預估值。

然而，在現實生活中，霧的存在能夠讓人感受到景深的存在，因此在去霧的過程中有必要保留一定程度的霧。于是，對上式進行修改可得：

另外，當透射圖t的值很小時，會導致J的值偏大，從而使圖像整體向白場過度。因此可以設置一個閾值t0，當t值小于t0時，令t=t0。于是，最終的圖像恢復公式如下：

因此，根據霧圖形成模型、暗通道先驗理論及霧圖來還原無霧圖片的過程即圖像去霧的過程。

1.2 提取特征圖

在模式識別研究領域中，卷積神經網絡[12]通常是一個包含多個隱層的神經網絡，它通過對底層特征的逐層組合來形成更加抽象的高層特征，從而根據高層特征來區分不同的物體類別。其基本結構如圖2所示，主要包括以下幾層：輸入層、特征提取層、特征映射層、全連接層以及輸出層。其中Cx為特征提取層，Sx為特征映射層，fx和wx為乘性偏置，bx為加性偏置，σ為sig?moid函數。

圖2 卷積神經網絡基本結構

其中特征提取層也叫卷積層，通過不同的卷積模板可以提取到不同的局部特征，如邊緣特征、角點特征等。特征映射層也叫下采樣層，通過對來自卷積層的特征圖進行下采樣，保留特征圖中的有用信息而減少無用信息，從而達到壓縮數據集、減少參數數量的目的[13]。

因此，對圖像去霧處理得到的圖片進行逐層特征提取，即可得到一張該圖片的特征圖。

1.3 生成候選區域

RPN（Region Proposal Network）是一個全連接的卷積神經網絡。它的核心思想是使用卷積神經網絡直接產生候選區域，即根據輸入的特征圖，輸出300個矩形候選區域，此300個矩形候選區域基本覆蓋了所有目標可能區域。

RPN生成候選區域的過程中主要運用到了滑動窗口技術及anchor機制。通過滑動窗口技術可以保證滑動窗口在特征圖上只需滑動一次即可，而anchor機制則可以在每一個錨點處生成多尺度多長寬比的候選區域，從而使得RPN網絡具有平移不變性。

其具體實現方式如下：在卷積得到的特征圖上，用一個3×3的滑窗，生成一個長度為512維（對于VGG網絡）長度的全連接特征。在這個512維的特征后產生兩個分支的全連接層：reg-layer，主要用于預測pro?posal的中心錨點對應的proposal的坐標及寬高；clslayer，主要用于判定該proposal是前景或是背景。

1.4 檢測候選區域

對于RPN生成的尺寸不定的候選區域，通過ROI pooling層輸出尺寸固定的候選區域特征圖。其具體實現方式如下：首先，根據輸入圖片image，將ROI映射到特征圖對應位置；其次，將映射后的區域劃分為相同大小的sections；最后，對每個sections進行最大值池化，即可根據輸入的尺寸不定的候選區域生成尺寸固定的候選區域特征圖。通過全連接操作及Softmax的分類即可判別該候選區域是否屬于某一個特定類，對于屬于某一特定類的候選框，用回歸器進一步調整其位置[14]。

2 處理流程

2.1 圖像去霧

（1）根據原圖計算暗通道圖

①讀入原圖；

②獲取原圖每個像素點RGB分量的最小值，存入一幅與原始圖片大小相同的灰度圖中；

③對灰度圖進行最小值濾波，即可得到暗通道圖。

（2）借助暗通道圖從有霧圖片中獲取全球大氣光A的值

①從暗通道圖像中按照亮度的大小提取最亮的前0.1%個像素點，將這些像素點的坐標存放于一個數組中，并將坐標對應位置的像素值置為0；

②根據坐標在原圖片的三個通道內找到這些像素點并加和得到 sum_r，sum_g，sum_b，取平均得到 Ar，Ag，Ab，并以此作為 A的值。

（3）根據A的值及暗通道先驗理論求出透射率

設置參數ω=0.98，利用輸入圖片、求解的A值及參數ω根據公式（6）計算透射率。

（4）導向濾波細化透射率

用所求的透射率圖作為導向圖對原圖進行導向濾波[15]。

（5）求解去霧后圖像

設置閾值t0=0.1，利用輸入圖片、求解的A值，求解的透射率及閾值t0根據公式（7）求解去霧后圖像。

2.2 提取特征圖

將圖像去霧處理后得到的圖片傳入卷積神經網絡中，通過一共13層卷積層和5層池化層的卷積神經網絡逐層組合底層特征，從而得到一張更加抽象的高層特征圖。

2.3 生成候選區域

在生成的特征圖上使用3×3的滑動窗口及anchor機制（比例為 1：1 1：2 2：1），生成 300 個矩形候選區域。

2.4 檢測候選區域

將生成的300個候選區域通過ROI pooling生成尺寸固定的候選區域特征圖，然后通過全連接層及Softmax進行分類。最后對分類得到的矩形框進行bbox回歸，調整矩形框的位置，使其更加精確。

3 實驗與分析

3.1 實驗環境

本文的車標圖片來源于高架橋交通違章拍照攝像機所拍攝到的車輛圖片，共有10種車標合計966張，其中訓練集800張，測試集166張。本實驗在NVID?IA GeForce GTX 1070 GPU、Intel Core i7-6700K CPU、4G內存的Ubuntu平臺下運行。

訓練樣本及測試樣本圖片大小均為2448×2144的攝像機拍攝圖片，圖3為經過處理后的10種車標圖片實例，其中車標種類分別為奧迪、奔馳、現代、大眾、別克、雪佛蘭、本田、豐田、標致及雷克薩斯。

圖3 10種車標圖片實例

3.2 數據測試與比較

為測試霧天車標識別的效果，進行了如下實驗：實驗一對引言中提到的四種車標識別方法與本文實現的方法進行了對比；實驗二對文中提到的三種常見的圖像去霧算法的效果及運行時間進行了測試；實驗三對圖像去霧算法中參數調整對識別準確率的影響進行了測試；實驗四對經過圖像去霧處理和未經圖像去霧處理的霧圖車標識別準確率進行了測試。

表1為四種車標識別方法與本文提出的方法在霧天車標識別上的比較。通過比較可以發現，其他方法均未考慮霧天車標的識別，而本文提出的方法能很好地處理霧天車標識別的問題。

表1 車標識別方法比較

圖4為三種圖像去霧算法測試得到的效果圖，其中（a）為測試原圖，（b）為經過直方圖均衡化算法處理后的效果圖，（c）為經過多尺度Retinex算法處理后的效果圖，（d）為經過暗通道優先算法處理后的效果圖。根據測試效果圖的對比可以發現，三種算法均實現了圖像去霧功能，其中暗通道優先算法要較其他兩種算法更好，圖像復原的結果更加接近真實情況。

圖4 三種圖像去霧算法效果比較

表2則為三種圖像去霧算法運行時間結果。通過數據比較發現，暗通道優先算法運行時間不是三者中最短。但是，針對車標識別研究而言，選擇去霧效果更好且運行時間適中的暗通道優先算法是一種更優的選擇。

表2 三種圖像去霧算法運行時間比較/單位ms

圖5為圖像去霧算法中參數ω及閾值t0的調整對車標識別準確率的影響。通過數據對比發現，ω取0.98，t0取0.1時，車標識別的準確率達到最高。

圖5 參數調整對比圖

表3為測試圖片是霧圖且識別過程中未經去霧處理得到的測試結果。根據表中數據分析可知，使用非霧圖作為訓練集訓練得到的網絡模型，用于測試霧圖得到的測試結果正確率較低。其主要原因是霧霾天氣下攝像機采集到的圖片質量不高，圖片較為模糊，導致很多重要的細節信息損失，從而導致車標識別的準確率受到了很大的限制。

表3 霧圖且未經去霧處理測試結果

表4為測試圖片是霧圖且識別過程中經過去霧處理得到的測試結果。根據表中數據可以發現，經過圖像去霧處理后各種車標識別的準確率均有了很大提升。由于表3與表4中測試圖片均為同一批測試圖片，因此對比兩個表中的數據可以說明，經過圖像去霧處理后的車標識別準確率要比未經圖像去霧處理的車標識別準確率有了明顯的提高。但是，由于測試樣本集數量較少且一些車標類似的原因，導致一些車標類別，如雷克薩斯、本田、豐田等識別的準確率不是很理想，但是這些準確率均在未經圖像去霧處理的準確率上有了很大的提高。

表4 霧圖且經過去霧處理測試結果

另外，針對測試圖片為非霧圖的情況也進行了測試比較。測試結果表明，經過去霧處理的車標識別準確率較未經去霧處理的識別準確率有稍微的提升。

因此，不論測試圖片為霧圖或非霧圖，圖像去霧與深度學習相結合的方法均能保證車標識別較高的準確率，有效地解決了實際應用中霧天車標識別的問題。

4 結語

本文以霧天車標識別為目的，研究并提出了一種基于深度學習與圖像去霧相結合的方法，從實驗結果上看，本文提出的方法對霧天車標識別的準確率有了明顯的提升。與以往的算法相比，本文算法不僅能對正常天氣下圖片進行較高準確率的識別，對霧天圖片的識別也能達到較高的準確率。另外，本文算法思想不僅對霧天適用，同樣也可以推廣到其他惡劣環境下車標識別的研究。并且，車標識別作為車輛識別的一個重要輔助，還可以與車牌識別、車型識別等相結合，進行二次識別處理，從而達到更高的車輛識別準確率。