結合YdUaVa顏色模型和改進MobileNetV3的視頻煙霧檢測方法*

劉 通，程江華，華宏虎，羅笑冰，程 榜

(國防科技大學 電子科學學院， 湖南 長沙 410073)

快速檢測煙霧有利于及早發現火災，降低火災危害。傳統的煙霧傳感器需要煙進入傳感器且濃度達到一定程度才能檢測到煙霧，難以在室外開放空間使用?；谝曈X的煙霧檢測技術不受空間限制、覆蓋區域大、成本低，是室外煙霧檢測研究的主要方向[1]。就煙霧目標的視覺表現而言，顏色[2]、紋理[3]和運動[4]特征是常用的煙霧檢測特征，基于這些傳統特征檢測煙霧目標通常具有復雜度低、檢測效率高的優點，但往往檢測正確率偏低，因為煙霧的顏色、紋理特征并不顯著，運動特征受自然界的其他物體運動干擾較大，自然界中存在許多與煙霧類似的目標，如云等，導致煙霧目標的可靠檢測非常困難。采用深度學習提取圖像或者視頻中的煙霧目標的深度特征，相比傳統特征而言不受人為選擇影響，特征泛化能力更強，在大數據集下性能通常優于傳統特征，是近些年煙霧檢測的主流方法。常用的卷積神經網絡(Convolutional Neural Networks, CNN)、區域卷積神經網絡(Region-CNN, R-CNN)等網絡模型都可以用于煙霧目標的檢測[5]，也有專門針對煙霧特性優化的深度網絡模型，如深度歸一化卷積神經網絡(Deep Normalization and Convolution Neural Network, DNCNN)[6]。該網絡將傳統CNN中的卷積層改進為批規范化卷積層，有效地解決了網絡訓練過程中梯度彌散和過擬合的問題，以此加速訓練過程和提高檢測效果；并且對訓練樣本進行了數據增強，從而解決正負樣本不平衡和訓練樣本不足的問題。目前基于深度學習開展的煙霧檢測研究主要是提取煙霧圖像中的深度特征，沒有充分利用煙霧運動特性的深層特征，在煙霧檢測性能上還有待提升，尤其是虛警率還偏高。而且，采用深度網絡通常運算效率偏低，難以滿足煙霧視頻檢測應用對時效性的要求。

為進一步降低視頻煙霧檢測中的虛警率和提升檢測效率，本文提出一種結合YdUaVa顏色模型和改進MobileNetV3的視頻煙霧檢測方法。首先提出YdUaVa顏色模型，描述相鄰幀煙霧的運動和顏色變化特征；然后在分塊圖像中利用YdUaVa顏色模型粗篩選疑似煙霧圖像塊；最后結合煙霧快速檢測要求改進MobileNetV3網絡結構，實現視頻中煙霧的快速可靠檢測。

1 YdUaVa顏色模型

煙霧檢測領域目前采用CNN、DCNN等深度網絡來提升煙霧特征的顯著性和穩健性，進而提升煙霧檢測性能。通常是將RGB圖像送入深度網絡，在R、G、B三個通道上提取特征。然而，R、G、B三個通道不能很好地展示煙霧的視覺特性。通過對煙霧的視覺特性進行分析發現：煙霧的亮度會隨著顆粒的濃度以及成分的變化而大幅變化，可能很亮，也可能很暗，但煙霧的色度比較均勻且穩定，而且煙霧是運動的，存在向上和向四周的擴散運動?；诖?，提出YdUaVa模型，用于更好地描述煙霧的視覺特性?；舅悸肥牵涸赮UV顏色模型上，計算Y空間上相鄰幀圖像的變化圖像，用于反映煙霧的運動擴散特性；對U空間和V空間的圖像進行均值濾波，用于反映煙霧的色度變化特性。具體地，對于視頻中的第k幀圖像，有:

(1)

(2)

(3)

圖1展示了煙霧視頻wildfire_smoke_4.avi[7]中RGB、YUV和YdUaVa三種模型在第115幀的對比情況。在RGB和YUV的各顏色分量中，煙霧與白云等顏色相近目標的差異不顯著。在YdUaVa

圖1 三種顏色模型對比Fig.1 Comparison of three color models

模型的三個分量中，運動的煙霧與類煙霧的白云有了較為明顯的差異，而且煙霧與背景的顏色差異仍然得以體現。因此，采用YdUaVa模型既利于表征煙霧的運動特性，又能描述煙霧的顏色差異，更適于提取煙霧的顯著和穩健特征。

2 疑似煙霧圖像塊檢測

運用深度網絡檢測圖像中的煙霧目標通常采用以下兩種方式：

一是按照網絡模型的輸入要求將視頻圖像進行變換，之后送入網絡模型得到圖像的分類結果，如MobileNetV3的輸入圖像為224×224的三通道RGB圖像。在實際圖像中，煙霧區域通常只占據整幅圖像中的一小部分，此時煙霧目標并不顯著，難以訓練較好的模型。

二是采用目標檢測的思想，主要包括兩類方法。一是two-stage的方法，如Fast R-CNN。此類方法先生成許多候選框，然后對每一個候選框進行分類和回歸來完成目標分類工作，精度較高但效率偏低[8]。二是one-stage的方法，如SSD。此類方法通過一遍網絡搜索即可得到目標的位置和類別信息，速度較快但仍難以滿足實時視頻檢測的要求[9]。

事實上，對于森林火災監測預警等視頻煙霧檢測應用而言，其主要任務是快速判斷實時視頻中某時刻是否存在煙霧，而并不關心煙霧的面積、輪廓等詳細信息。因此，為了實現視頻中煙霧目標的快速檢測，采用分塊的思想，先將圖像劃分為互不重疊的子塊，然后將各子塊的圖像送入深度網絡模型進行分類。與前述的第一種方式相比，在各個圖像塊中，煙霧目標的顯著性會得到提升，便于訓練出分類性能好的深度網絡模型。與前述的第二種方式相比，圖像塊的數量與多尺度候選框的數量相比是非常小的，從而可以提升整體的運算效率。進一步地，還將對送入深度網絡模型的圖像塊進行濾波處理，依據煙霧的運動和顏色特性篩選出疑似煙霧的圖像塊，僅將疑似煙霧區域的圖像塊送入深度網絡模型進行分類，這樣又將提升視頻煙霧的檢測效率。

圖像分塊的思路具體是：首先將輸入圖像的尺寸調整為560×448；然后按照從左到右、從上到下的順序，將圖像劃分為互不重疊的56×56的圖像子塊，每幅圖像共可劃分為80個圖像子塊。需要解釋的是，圖像子塊尺寸是為適應后續改進的MobileNetV3網絡而定的，將后續網絡的輸入圖像尺寸設計為56×56，可以更多地繼承原網絡的結構優勢以及已訓練好的模型資源。

對于每一個圖像分塊，依據煙霧的運動和顏色特性來檢測疑似煙霧圖像子塊。具體是在YdUaVa顏色模型上，統計每一個圖像子塊中疑似煙霧像素點的數量N，當N超過圖像子塊面積的10%時，就認定該圖像子塊是疑似煙霧圖像子塊。這里，疑似煙霧圖像塊的篩選條件比較寬松，目的是盡可能避免遺漏，后續會通過深度網絡模型對疑似煙霧圖像塊進行細分類，濾除此處虛檢的圖像塊。其中，疑似煙霧像素點是依據煙霧的運動和顏色特性來判定的，公式為：

(4)

式中：gk(x,y)=1表示第k幀圖像中的像素點(x,y)為疑似煙霧像素點，否則不是。T1和T2為經驗閾值，通過觀察小樣本煙霧像素點在YdUaVa顏色模型上的變化情況主觀確定，為寬松起見，取T1=10、T2=40。

3 改進的MobileNetV3網絡

為了滿足視頻煙霧檢測對于煙霧檢測效率的要求，以及前端嵌入式視頻采集處理平臺部署的要求，通常需要采用輕量級網絡模型實現煙霧圖像深度特征的提取及煙霧目標的識別。MobileNetV3網絡是谷歌新推出的輕量級網絡，其中的MobileNetV3 large版本相對于MobileNetV2而言，在COCO上達到相同精度的前提下，速度可提升25%[10]。這對于視頻煙霧檢測的效率提升而言很有意義。因此，基于MobileNetV3 large版本設計視頻煙霧檢測的網絡模型。主要從視頻煙霧檢測的實際出發，對MobileNetV3 large版本進行改進，基本思路是：

第一，為了提取顯著性和穩健性更強的煙霧運動和顏色變化特征，對MobileNetV3網絡的輸入層進行改進，具體是采用YdUaVa顏色模型替代MobileNetV3網絡常用的RGB顏色模型。YdUaVa顏色模型如第1節所述。

第二，由第2節所述，深度網絡的目標是對疑似煙霧區域的圖像進行分類，結合這一需求，對MobileNetV3 large版本的網絡結構進行修改，修改后的網絡結構如表1所示，具體修改內容包括：

1)在第一層，“Input”的尺寸改為562×3，以適應疑似煙霧區域的尺寸。同時，步長“s”改為1，在這一層卷積運算過程中不降低特征尺度，但擴展了通道數。

2)合并了原始MobileNetV3 large版本網絡結構的第二層和第三層，因為結合本文第一層的修改，原始的第二層和第三層存在較大的冗余，在修改后的結構中，第二層網絡能夠抽取相似的特征，而且由于刪除了一層網絡，運算效率得以進一步提升，且資源占用也相應減少。

3)在最后一層，根據應用需求，只需要判斷疑似煙霧區域是否為真實的煙霧區域，這是個二分類問題，因此將“#output”改為2。

表1 改進的MobileNetV3網絡

4 算法實現

綜上所述，算法的主要實現步驟如下所示。

Step1：采用雙線性插值方法，將視頻的第k幀圖像尺寸調整為560×448；

Step2：依據式(1)～(3)，計算第k幀圖像的YdUaVa顏色模型；

Step3：依據式(4)，判別疑似煙霧像素點；

Step4：依據第2節所述，統計各個56×56的圖像子塊的疑似煙霧像素點數量，篩選出疑似煙霧圖像塊；

Step5：將疑似煙霧圖像塊送入第3節所述的改進MobileNetV3網絡模型，開啟多線程并行計算，只要有一個疑似煙霧圖像塊分類結果為煙霧，則判斷第k幀圖像為煙霧圖像，繼續下一幀檢測。

5 實驗與分析

5.1 實驗說明

選擇煙霧檢測領域公開的視頻數據集進行實驗仿真，包括Yuan公開的3段煙霧視頻和3段非煙霧視頻[11]，以及CVPR實驗室公開的4段煙霧視頻和10段非煙霧視頻[7]。其中，每段視頻的前500幀用作測試。剩余的視頻幀都用作訓練。

視頻煙霧檢測的評價指標選用文獻[6]所述的準確率(Accuracy Rate，AR)和虛警率(False Alarm Rate，FAR)，同時增加檢測幀率(detected frames per second，dfps)指標，用于評測算法的運算效率。實驗平臺環境為： Windows 7系統，python 3.6.2、tensorflow 1.11.0和keras 2.2.4軟件平臺，NVIDIA GeForce GTX1080Ti顯卡和Intel Core i7-8700K CPU。

5.2 網絡模型訓練

改進的MobileNetV3網絡模型的訓練方法是：對于訓練數據，先按照第4節所述的Step 1至Step 4生成視頻中每幀圖像(第一幀除外)的各個56×56圖像子塊的YdUaVa圖像，其中疑似煙霧圖像塊的YdUaVa圖像與其他圖像塊分開存放。然后分別從中人工篩選出煙霧圖像塊和非煙霧圖像塊的YdUaVa圖像，并為每一個圖像塊人工設定標簽，煙霧圖像塊標簽為1，非煙霧圖像塊標簽為0，構建正負樣本集。篩選的正樣本集圖像數量為12 182，負樣本集圖像數量為42 860?；谠摂祿柧毐?所示的改進MobileNetV3網絡模型，訓練過程的損失曲線和精度曲線如圖2所示。同時，存儲YdUaVa圖像對應的RGB圖像，同樣人工設定標簽，構建正負樣本集，作為后續對比實驗中所對比方法的訓練樣本集。

(a) 損失曲線(a) Loss curve

5.3 實驗對比分析

5.3.1 不同輸入圖像和網絡的對比測試

主要創新之處包括：1)提出YdUaVa顏色模型，作為深度網絡模型的輸入；2)采用圖像分塊和疑似煙霧塊篩選，降低虛警率和提高運算效率；3)改進MobileNetV3網絡。下面對比這三個階段所達到的性能指標，如表2所示。其中，實驗1直接用原RGB圖像作為MobileNetV3 large版本網絡的輸入(網絡模型訓練數據集為訓練數據中的RGB圖像)；實驗2先對RGB圖像進行分塊(分塊方法與本文所述一致)，然后再將圖像塊采用雙線性插值方法歸一化到224×224，之后再作為MobileNetV3 large版本網絡的輸入(網絡模型訓練數據集為YdUaVa圖像對應的RGB圖像構建的正負樣本集)；實驗3采用分塊后的YdUaVa圖像作為改進的MobileNetV3網絡的輸入；實驗4是在實驗3的基礎上，對輸入的YdUaVa圖像塊進行疑似煙霧塊的粗篩選，然后再送入改進的MobileNetV3網絡進行細分類，詳見第4節的算法實現。由表2可見，采用RGB圖像作為輸入時，AR偏低且FAR偏高，這主要是因為測試視頻中煙霧目標較小，在整幅圖像中特征不夠顯著。實驗2對RGB進行分塊之后，AR提升較為明顯，但因為參與分類的圖像塊大幅增加，檢測幀率明顯降低。實驗3采用分塊后的YdUaVa圖像作為改進MobileNetV3網絡的輸入，因為YdUaVa圖像相比RGB圖像更能呈現煙霧的顯著特征，虛警率有一定下降。同時由于改進MobileNetV3網絡層數減少且輸入層尺度下降，檢測幀率也有一定提升。進一步地，實驗4對輸入的YdUaVa圖像塊進行疑似煙霧塊的粗篩選，降低了靜止目標可能引起的虛警，從而降低了虛警率，而且檢測幀率也得以提升。而且，由于式(4)中疑似煙霧像素點判決的參數T1和T2設置寬松，實驗中經過疑似煙霧塊粗篩選之后盡管存在部分煙霧占比很小的真實煙霧塊被誤判為非煙霧塊，但每一幀煙霧圖像中仍能檢測出多個疑似煙霧圖像塊，而每幀圖像中最終只要檢測出一個真實的煙霧圖像塊就會將該幀圖像標記為煙霧圖像，因此粗篩選沒有引起漏檢，實驗4的準確率指標在虛警率下降后得以提升。

表2 不同輸入圖像和網絡的實驗結果

5.3.2 不同方法性能對比

表3給出了本文方法與部分常用的煙霧檢測方法的性能對比結果。其中，對比方法中使用的圖像訓練數據集是5.2節所述的存儲YdUaVa圖像對應的RGB圖像構建的正負樣本集。由表3可見，采用深度學習的煙霧檢測方法(DNCNN，MobileNetV3+SSD和本文方法)的準確率普遍高于傳統方法的特征提取方法(HS′I，LBP+LBPV和optical flow)，這主要是因為煙霧的顏色、紋理、運動特征都不是特別顯著，人為選擇最優的特征比較困難，難以單一鑒別能力強的特征。但是深度學習方法往往復雜度高，檢測幀率一般較低，相對而言，使用輕量級網絡(MobileNetV3+SSD和本文方法)可以提升運算效率，而本文方法在使用輕量級網絡前先采用運動、顏色等快速篩選策略剔除了大量的非煙霧區域圖像子塊，進一步降低了運算量。使用運動特征的煙霧檢測方法(optical flow和本文方法)的虛警率通常較低，這是因為場景中與煙霧顏色、紋理類似的物體比較多，容易引起虛警，而運動可以剔除大量靜止物體，從而降低虛警率。綜合分析，本文方法使用YdUaVa顏色模型融合煙霧的空間域分布特性和時間域變化特性，快速剔除非煙霧區域圖像塊，同時改進MobileNetV3輕量級網絡來快速提取鑒別能力更強的煙霧特征，視頻煙霧檢測的準確率最高，虛警率最低，而且檢測幀率在深度學習方法中最高，盡管與傳統特征提取方法相比檢測效率偏低，但基本能滿足視頻煙霧檢測對時效性的要求。

表3 不同方法的實驗結果

6 結論

利用計算機視覺技術檢測視頻中的煙霧是近些年火災探測領域的熱點研究方向。為降低視頻煙霧檢測中的虛警率和提升檢測效率，提出YdUaVa顏色模型，該模型可以表征煙霧的顏色和運動變化特性，有助于快速篩選出疑似煙霧圖像塊和提取鑒別能力強的特征。在此基礎上，改進MobileNetV3網絡模型，可以快速準確地對疑似煙霧圖像塊進行細分類。仿真實驗證實本文方法準確率高，虛警率低，且檢測幀率高，但檢測幀率仍然不能充分地滿足實時性的要求，后續還需進一步提升。