基于卷積神經網絡的能見度估算

曹爽亮，楊亞莉，陳浩，楊書偉

摘? 要：一直以來，如何準確便捷地監測能見度都是減少交通事故工作關注的重點所在，而傳統的使用能見度儀檢測能見度存在造價高、范圍小等缺陷。隨著深度學習研究的不斷發展，使用深度學習估算能見度也變成現實。本文建立了一種VGGnet 16卷積神經網絡模型，經過Dropout（丟棄層）和數據增強優化后，使用監控圖像及其對應的能見度值對其進行訓練。結果表明，優化后的模型能有效提升訓練精度，在小數據集上也能實現非常好的能見度估算效果。

關鍵詞：能見度;深度學習;卷積神經網絡;丟棄層;數據增強

中圖分類號：TP391.4? ? ?文獻標識碼：A

Visibility Estimation based on Convolutional Neural Network

CAO Shuangliang， YANG Yali， CHEN Hao， YANG Shuwei

（School of Mechanical and Automotive Engineering， Shanghai University of Engineering Science， Shanghai 201620， China）

caoshuangliang2020@163.com; carolyn71@163.com; pschenhao@163.com; 18016334293@163.com

Abstract： Accurate and convenient visibility monitoring has always been the focus of reducing traffic accidents. Traditional visibility meter has the effect of high cost and small range. With the continuous development of deep learning research， deep learning is used to estimate visibility in reality. This paper proposes to establish a VGGnet 16 convolutional neural network model. After Dropout （discard layer） and data enhancement optimization， monitoring image and its corresponding visibility value are used to train it. The results show that the optimized model can effectively improve training accuracy， and it can also achieve very good visibility estimation effect on small data sets.

Keywords： visibility; deep learning; convolutional neural network; discarding layer; data enhancement

1? ?引言（Introduction）

能見度是氣象觀測的重要因素之一，它對高速公路安全行車、機場飛機起飛等都有著重要影響。惡劣天氣導致能見度低會引發許多交通事故[1-2]。因此，對能見度進行實時監測十分重要。激光能見度儀是用于檢測能見度的常用工具[3]，但由于其造價高、團霧檢測精度低、探測范圍小等問題，難以大范圍推廣。因此，如何高效便捷地檢測能見度已經成為一個值得關注的問題[4-5]。

隨著機器視覺與人工智能的不斷發展，使用計算機配合監控攝像頭來監測能見度成為一種十分有效的解決方案。許多學者也就這一方面展開了研究，王京麗等[6]提出了基于數字攝像觀測能見度的基本原理和軟件流程。在此基礎上，數位學者提出了一種基于亮度對比度和暗原色先驗原理的道路圖像能見度檢測方法[7-9]。但是，這些研究只應用了傳統的圖像處理方法。

國內外許多學者將機器學習和深度學習運用到能見度監測中。劉南輝[10]提出了一種基于數字圖像處理和支持向量機（SVM）相結合的道路能見度檢測算法，對圖像提取特征值后，導入SVM中進行分類訓練，建立能見度檢測模型。DUDDU等[11]開發了一種前饋反向傳播神經網絡（BPNN）模型來監測能見度。DEAR等[12]應用人工神經網絡實現了能見度的預測。

卷積神經網絡（CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一[13-14]，在圖像處理領域應用廣泛。圣文順等[15]將卷積神經網絡應用到病理圖像的識別中。陳杰等[16]將卷積神經網絡應用到掌紋識別中。李春利等[17]使用卷積神經網絡進行人臉識別研究。ABIRAMI等[18]實現了使用卷積神經網絡對圖像中的人臉進行年齡和性別的估算。

本文使用卷積神經網絡，將道路監控圖像作為輸入，自動提取特征后嵌入神經網絡結構中，再將能見度值標簽作為輸出，訓練網絡得到能見度估算模型。實驗結果表明，本文所設計的網絡模型準確率達到92.7%。

2? ?數據集（Data set）

本文采用的數據集來自一段時長為7.5 小時的機場監控視頻，以及通過能見度儀測出的此時間段內的能見度值。能見度儀每隔15 秒記錄一次當前的能見度值，共計1，800 個能見度值數據。為從監控視頻中提取出與能見度值一一對應的圖片，本文使用Python編程語言搭配OpenCV模塊，從監控視頻中每隔375 幀（視頻幀數為每秒25 幀）提取一張圖片，共計1，800 張監控圖片。部分監控圖片與能見度值如圖1所示。

截取的監控圖片的分辨率為1280×720，為防止圖片數據過大導致出現內存不足的情況以及為加快模型訓練速度，將圖像的分辨率降為卷積網絡適用的正方形，本文使用的分辨率為224×224。由于能見度數據范圍過大且各不相同，因此需要按照取值范圍給能見度數據打上標簽，本文將能見度數據分為11 類，具體分類標準如表1所示。

最后從監控圖片及能見度標簽數據中選取70%作為訓練集，10%作為驗證集，剩下的20%作為測試集，輸入卷積神經網絡。為保證各類數據的平衡性，本文采用手動分層的方法獲取這三個數據集。

3? 卷積神經網絡原理（Principles of convolutional neural networks）

卷積神經網絡最早是由Hubel與Wiesel通過對貓的視覺皮層電生理研究試驗而發現的。卷積神經網絡由輸入層、卷積層、池化層、全連接層組合而成，相比于淺層網絡，卷積神經網絡具有更深層的結構，不同卷積神經網絡的卷積層、池化層、全連接層的個數不盡相同。如圖2所示為卷積神經網絡的一般結構。

在卷積神經網絡中，輸入層的任務是讀取圖像信息，其神經元的個數取決于圖像的維度。為提高卷積神經網絡的運行效率和學習表現，輸入的圖像特征需要進行標準化處理。

卷積層的作用是用于提取圖像特征，其工作原理是使用卷積核與輸入圖像的特征向量進行卷積操作，再通過激勵函數的變換得到新的特征圖。卷積層具有局部感知和權值共享的特點，其中，局部感知是指每個神經元只與上一層的部分神經元相連，只感知局部圖像，最后在更高層將感受不同局部的神經元綜合起來，得到全局信息。這樣做的好處是可以減少連接的數目，即訓練的權值參數;權值共享是指將在局部區域學到的信息應用到圖像的其他地方去，這樣也可以大大減少訓練所需的參數。

池化層的作用是對輸入的特征圖進行壓縮處理，從而簡化網絡計算復雜度和壓縮特征，獲取主要特征。常用的池化操作有最大池化（Max Pooling）和平均池化（Average Pooling），其中最大池化是指取池化窗口內的最大特征值作為新的特征值，平均池化是指取池化窗口內平均特征值作為新的特征值。池化層可以在保留有效信息的基礎上減少數據量，加快訓練速度。

全連接層在卷積神經網絡中的作用相當于一個分類器。全連接層中的每個神經元與前一層的每個神經元進行全連接，對輸入的信息進行整合，最后傳遞給Softmax函數進行分類。

4? ?網絡模型構建（Network model construction）

本文選取的卷積神經網絡為VGGnet 16模型，是由牛津大學計算機視覺幾何組以及Google DeepMind公司研究院一同研發的深度卷積網絡模型。該模型整體可分為8 段，前5 段為卷積網絡。其中第一段網絡中包含2 個卷積層和1 個最大池化層：兩個卷積層的卷積核大小均為3×3，卷積核數量為64，步長為1;最大池化層的大小為2×2，步長為2。第二段卷積網絡除卷積核個數為128之外，其余與第一段網絡相同。第三段卷積網絡有3 個卷積層，卷積核大小不變，但卷積層輸出通道數變為256，步長為1。第四段卷積網絡與第三層卷積網絡類似，但輸出通道增加到512。最后一段卷積網絡與第四層卷積網絡相同，且通道數維持在512。后三段為全連接層，其中第一、二個全連接層均有4，096 個單元，第三個全連接層有1，000 個單元。最后使用Softmax函數進行全分類。模型結構圖如圖3所示。

本文使用MATLAB搭建VGGnet模型，激活函數選用ReLU，以防止梯度消失;池化層選用Average Pooling;迭代設為50 輪，每輪8 次，共計400 次;學習率設為0.01。

5? ?訓練結果（Training result）

將數據集輸入構建完成的模型之后，運行模型開始訓練，結果如圖4所示。

從圖4中可以看出，模型的驗證精度從60%開始逐漸穩步上升，最終穩定在82.32%，不是十分理想，這可能是由于數據集過小導致的，因此需要對模型進行進一步優化。

6? ?模型優化（Model optimization）

由于數據集數量較少，訓練過程可能會出現提取特征相對薄弱和訓練過擬合的現象。為防止這種現象的出現，需要對模型進行進一步優化。本文應用了兩個重要的深度學習技術：Dropout（丟棄層）和數據增強（Data Augmentation）。Dropout是由Srivastava等[19]提出的一種廣泛應用于深度學習的正則化技術，具體思路為：在迭代過程中隨機關閉一部分神經元，隨著迭代次數不斷增加，由于每個神經元都可能隨時被關閉，因此神經元對相互之間的激活將會變得不敏感。數據增強可以從有限的數據中生成數量更多的等價數據，具體思路為通過數次隨機轉換生成可信的圖像，以增加樣本數量，在這種情況下，模型中不會看到兩張一模一樣的圖片，這能讓模型學到更多的圖像特征。

對經過優化的模型再次進行訓練，訓練結果如圖5所示。

從圖5中可以看出，優化后的模型驗證精度達了92.68%，這表明本文使用的優化后的VGGnet 16卷積神經網絡模型能準確地從圖像中估算出能見度，完成通過監控攝像頭實時監測能見度的任務。

7? ?結論（Conclusion）

本文通過建立VGGnet 16模型，并使用Dropout和數據增強兩種深度學習技術對模型進行優化，將模型應用到基于監控圖像的能見度估算中，最終可以得出以下結論：

（1）經過Dropout和數據增強優化后的模型能更有效地應用于小數據集的訓練。

（2）本文建立的模型能有效應用于基于監控視頻的能見度估算中，且精度達到92.68%。

除了本文所應用的VGGnet 16模型，未來還可以使用其他算法來建立能見度估算模型進行對比，以得出最佳模型。

參考文獻（References）

[1] 傅剛，李曉嵐，魏娜.大氣能見度研究[J].中國海洋大學學報（自然科學版），2009，39（05）：855-862.

[2] 楊杰顏，郭浩鑫.湛江市一次持續性大霧天氣過程的特征分析[J].廣東氣象，2016，38（06）：55-58，66.

[3] 楊召瓊，陳慧嫻，付哲，等.能見度人工觀測與能見度儀遙測資料的差異[J].廣東氣象，2008，30（S2）：11-12.

[4] 梁敏妍，林卓宏，黃曉東，等.江門地區初春大霧的預報預警業務系統[J].廣東氣象，2009，31（03）：13-15.

[5] 劉桂興，周炳輝，龐志梅，等.實現“大應急”的遂溪縣氣象防災減災體系構建[J].廣東氣象，2016，38（06）：67-69.

[6] 王京麗，劉旭林，雷鳴，等.數字攝像能見度系統及其比對實驗[J].電子學報，2014，42（11）：2298-2302.

[7] 郜婧婧，田華，吳昊，等.基于亮度對比度和暗原色先驗原理的白天道路圖像能見度檢測方法[J].氣象科技，2019，47（03）：386-396.

[8] 邱新法，葉棟水，曾燕，等.基于視頻的霧天能見度實時監測方法研究[J].安全與環境學報，2018，18（04）：1413-1418.

[9] 鄭輝，花毓幸，吳毅楠.基于圖形興趣窗格的能見度監測模擬[C]//中國氣象學會.第33屆中國氣象學會年會 S10城市、降水與霧霾——第五屆城市氣象論壇.西安：中國氣象學會，2016：819-827.

[10] 劉南輝.基于能見度檢測的道路限速監拍系統[D].福州：福州大學，2017.

[11] DUDDU V R， PULUGURTHA S S， MANE A S， et al. Back-propagation neural network model to predict visibility at a road link-level[J]. Transportation Research Interdisciplinary Perspectives， 2020， 8：1-9.

[12] DEAR F， LELLYETT S. Application of artificial neural network forecasts to predict fog at canberra international airport[J]. Weather and Forecasting， 2007， 22（2）：372-381.

[13] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[14] CUN Y L， BOSER B， DENKER J S， et al. Handwritten digit recognition with a back-propagation network[J]. Advances in Neural Information Processing Systems， 1990， 2（2）：396-404.

[15] 圣文順，孫艷文.卷積神經網絡在圖像識別中的應用[J].軟件工程，2019，22（02）：13-16.

[16] 陳杰，張雷，張睿，等.基于卷積神經網絡的掌紋識別[J].軟件工程，2019，22（10）：7-11.

[17] 李春利，柳振東，惠康華.基于卷積神經網絡的人臉識別研究[J].軟件導刊，2017，16（05）：186-188.

[18] ABIRAMI B， SUBASHINI T S， Mahavaishnavi V. Gender and age prediction from real time facial images using CNN[J]. Materials Today： Proceedings， 2020，33（7）：4708-4712.

[19] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

作者簡介：

曹爽亮（1997-），男，碩士生.研究領域：汽車零部件損傷與輕量化研究.

楊亞莉（1982-），女，碩士，副教授.研究領域：汽車零部件損傷與輕量化研究.本文通訊作者.

陳? 浩（1980-），男，博士，教授.研究領域：汽車零部件損傷與輕量化研究.

楊書偉（1991-），男，碩士生.研究領域：汽車零部件損傷與輕量化研究.