基于景深先驗引導與環境光優化的圖像去霧

麻文剛，張亞東，郭 進

（西南交通大學信息科學與技術學院，四川成都 611756）

1 引言

霧天降質圖像［1］的清晰化處理在航空、遙感、公路及鐵路等場景的工業操作中扮演著重要角色.尤其是在鐵路及公路場景，有霧圖像的清晰化處理將能有效提高鐵路及公路異物圖像的識別與檢測精度，因此具有相當重要的應用意義.目前圖像領域的去霧方法已有很多，但總體可分為三大類：圖像增強、暗通道先驗和深度學習.這三種方法對不同的去霧場景分別有不同應用，且時間復雜度相差較多.例如，傳統的圖像增強由于未將圖像處理時的退化信息加以考慮，僅通過不斷提升圖像的對比度來突出細節信息，通過減弱某些信息干擾來提高圖像質量，這種方式很大程度上會導致去霧不徹底［2］；而基于暗通道先驗［3～8］的方法通過使用包含在單個圖像中的先驗信息來提出合理的假設條件，同時根據各種類型相關的約束函數進行求解與迭代來實現圖像去霧，雖能取得較好的效果，但參數設置存在局限性，導致去霧魯棒性不強.如Tan 等人［3］根據最大化局部對比度的方法實現去霧，通過計算局部對比度及對飽和度進行相關補償來優化圖像，該方法獲得的圖像在一定程度上較為清晰，但是由于沒有做出閾值截斷，恢復圖像的顏色往往會過飽和；Fattal 等人［4］基于獨立分量分析來估計場景的反射率，根據提出的約束函數對透射率進行優化，且對不同場景的圖像進行去霧分析，可以達到一定的效果，但由于該方法固有的統計特性弱點，因此對濃霧圖像的去霧效果不好；He 等人［5］根據暗通道先驗實現了良好的去霧效果，然而使用了軟摳圖技術，導致運行時間較長，不能實現圖像的實時處理；Gibson 等人［6］根據中值濾波計算大氣散射函數，通過計算不同場景圖像的透射率及大氣光值來實現圖像復原，但由于濾波參數選取不當，容易導致圖像邊緣信息丟失，因此復原圖像易產生黑斑效應［7～10］.此外，使用暗通道先驗去霧時，大多數散射模型的去霧方法在處理天空區域時都會產生過增強［11～14］現象，致使圖像的主觀視覺質量較差.

機器學習的發展，尤其是深度學習中卷積神經網絡的快速發展，使得去霧越來越優越，性能已超過了傳統去霧方法.例如，Tang 等人［15］根據隨機森林的回歸框架，利用迭代優化方法提出了一種基于學習的去霧方法.該方法雖能取得一定效果，但在去霧過程中必須先提取圖像特征向量，然后將其輸入隨機森林進行分類，最后實現去霧，因此計算復雜度較高，不適合實時性去霧；文獻［16，17］通過建立霧天圖像庫，通過卷積神經網絡得到圖像傳輸圖來實現圖像去霧，由于只獲取傳輸圖，仍需應用大氣成像模型得到清晰圖像，因此去霧效果會受到成像模型的參數影響；文獻［18］首先以有霧圖像作為輸入，輸出了有霧圖像與無霧圖像之間的殘差圖像，然后直接從有霧圖像中去除霾層圖像，最后引入殘差學習來直接估計初始霾層，從而得到無霧圖像，由于利用最優學習率減少了計算量，因此收斂過程被大大加快，實驗結果表明該方法能夠取得較好的去霧效果；文獻［19］提出了并聯卷積神經網絡的單幅圖像去霧方法，首先采用RGB 圖像YUV 構建并聯卷積神經網絡，自適應地獲得有霧圖像特征，同時采用遞歸雙邊濾波對去霧后的圖像進行濾波，雖能得到較為清晰的無霧圖像，但運行時間較長.

綜上分析可知：雖然圖像增強與傳統暗通道先驗去霧能取得一定的效果，但這兩種方式須依賴參數選取，因此計算量過大，且對于復雜場景的有霧圖像效果一般；而基于深度學習的方法通過訓練模型庫，以清晰圖像作為訓練標簽，保證了霧天圖像與清晰圖像像素點的對應關系，因此效果較好，尤其對交通、航天及其野外等環境的圖像處理效果最好［20，21］.

復雜場景的圖像去霧對圖像清晰性要求較高.因此本文提出了景深先驗引導與環境光優化的圖像去霧方法.具體過程為：根據景深引導網絡（Depth Guided Network，DGN）的兩個優化分支恢復圖像邊界結構，在深度引導網絡基礎上，利用空間特征變換（Spatial Feature Transform，SFT）層將細調后的景深圖轉化為空間特征；采用縮放及平移操作與去模糊分支中的圖像特征進行融合，通過景深引導對初始清晰圖像進行優化；使用動態環境光替代全局大氣光來進一步優化圖像去霧，得到最終復原圖像.主客觀評價表明，本文方法恢復出的圖像輪廓清晰且平滑性好，在各類性能指標最優的情況下，平均運行時間最短.

2 本文方法

本文提出的去霧流程如圖1 所示.首先根據景深先驗復原出初始清晰圖像，同時采用景深細調網絡恢復出景深圖的邊界與結構；然后，利用SFT 層將圖像進行迭代變換使細調后景深信息轉化為圖像特征，結合縮放及平移與初始清晰圖像特征融合，根據景深引導對初始清晰圖像進行優化；最后，為使復原圖像具有適宜色彩與較高對比度，將動態環境光細化后用于圖像去霧，進一步優化細節信息，得到最終復原圖像.

圖1 本文方法去霧流程

2.1 大氣散射模型

根據原始暗通道先驗原理，有霧圖像與復原圖像存在如下關系：

其中，I為有霧圖像；J為最終復原圖像；t為透射率；d為場景深度；A為大氣光值.去霧的主要目標為：求出最優的場景深度d，進而求出透射率t，最終帶入式（1）求出復原圖像J.

2.2 景深引導的深度神經網絡

DGN的網絡結構如圖2所示，主要由去模糊分支與景深細調分支兩個主體結構組成.為了更加清晰地恢復出圖像結構信息，細調分支將有霧圖像的粗略景深圖進行估計分析，通過編碼計算進行不斷優化；初始清晰圖像由DGN 中的去模糊分支利用細調的景深圖優化得到.最終設計的DGN 網絡輸入為有霧圖像I及初始模糊景深由I估計），通過上述兩個分支進行編碼解碼計算，復原出初始清晰圖像J1.初始模糊景深βb的獲取過程如下所述.

圖2 景深引導的DGN結構圖

一般而言，霧濃度隨著場景深度遞增而增加，因此假設場景深度、霧濃度及亮度值呈正相關［22］關系，即

其中，d(x)表示場景深度；c(x)為霧濃度；v(x)表示場景亮度，可轉換到HSV 空間進行求解，但該分量在包含白色物體的圖像中往往會失效.因為白色物體通常具有較高的亮度值，而圖像亮度分量圖中的白色場景通常對應景物較深處，因此容易導致亮度值估計不準確.為此，對大量有霧圖像進行統計后發現RGB 這3 種光的波長（700 nm，520 nm，440 nm）不同，且RGB這3個通道對光的散射強度為Sr＜Sg＜Sb.因此假設大氣中介質同質且均勻分布，霧濃度與景深之間呈正相關性關系［22］，此時散射強度也會隨著景深增加而增加.因此可由RGB這3個通道的散射強度來逼近景深，具體表達為

其中，SC代表圖像某一通道的散射強度.通過疊加原理可知：在圖像越亮的區域，RGB 某個分量會越大，但考慮到實際像素的不確定性，本文采用RGB 這3 個通道的算數平均值來逼近濃度，具體表達為

其中，mean(·)表示取均值，Ic(x)為有霧圖像的某一顏色通道.通常霧濃度隨著景深增加而變化，且兩者為正相關關系［22］，因此最終可以粗略得到初始模糊景深圖的估計，具體表達為

其中，c(x)表示霧濃度；βb(d(x))表示最終獲得的初始模糊景深圖；符號∝～表示近似相關關系；wθ是修正參數.

由于初始模糊景深圖βb從模糊圖像I中估計得到，因此圖像中包含的清晰結構信息不足.為此本文根據景深細調分支對βb進行細化，從而使得βb達到最優，優化的具體過程如圖2 下半部分所示.圖中景深細調分支（以λD表示）的基礎結構為1個“編碼器-解碼器”，其中編碼器與解碼器之間存在部分跳躍的網絡連接.編碼器由3個特征尺度組成，每個尺度由1個跨步卷積層與3個殘差塊組成，其中跨步卷積層步長設置為2，目的是將上層特征圖分辨率通過采樣計算變為原來的二分之一；與之相對應的為解碼器，結構上與編碼器對稱.同時為使得DGN 網絡的性能更佳，設計解碼器包含3 個殘差塊與1個轉置卷積層，作用為將上層特征圖分辨率通過采樣計算變為原來的2倍.最終設計的景深細調分支結構含卷積層（Conv）、跨步卷積層（SC）、轉置卷積層（TC）、SFT層、Res 殘差塊及Tanh 正切激活函數，參數的詳細信息如表1所示.除了Conv2層，每個卷積層后面均連接一個線性整流單元激活層ReLU來優化圖像景深信息.

表1 景深細調分支

由于初始清晰圖像未經過細化，因此初始景模糊深βb不能完全體現出圖像所包含的具體信息.為此本文通過SFT層將原始輸入圖像中的特征進行不斷提取，然后傳遞到景深細調分支，經過景深引導來優化初始清晰圖像.在此過程中，網絡將通過殘差學習方式細調初始模糊景深βb，恢復其中的邊界并生成細調景深βr，繼續分析圖像特征后，得到初始清晰圖像J1，βr細化的過程為

景深細調分支設計完后，本文繼續給出了圖像去模糊分支的構建過程，將其網絡結構設計為解碼器-編碼器的一一對應模型結構，設計思路與細調分支相同（篇幅原因，具體設計過程不再闡述），參數信息如表2所示.為了更好地恢復初始清晰圖像J1，繼續采用殘差學習對其優化分析，具體如下：

表2 去模糊分支

2.3 空間特征變化層

常用的特征融合方法有特征串聯或特征點乘，此類方法雖在處理無霧圖像時具有很好效果，但在處理有霧圖像時，不能很好地提取圖像中的特征空間信息，導致特征融合效果一般，恢復的圖像細節信息有可能會被濾除.因此為了盡可能地提取圖像特征空間信息，本文利用SFT層進行圖像特征融合，快捷地提取特征中的空間信息，然后有效地融合由先驗及輸入圖像提取的特征，具體過程如圖3所示.

由圖3 可知，采用SFT 層進行特征融合的具體原理如下：首先將條件圖γ根據DGN 網絡中的三個卷積層進行不間斷的提取分析，之后傳遞到卷積塊中通過卷積層的特征分析進行計算，最終得到圖像空間特征信息的調制參數χ與θ.同時為了輸出圖像平移特征，原始圖像輸入特征φ在通過SFT 層時，按照式（9）進行調制，參數χ為

圖3 空間特征變換(SFT)結構圖

其中，⊙代表點乘運算.

綜上分析，基于景深先驗引導的圖像去霧流程主要如下：對于景深細調分支結構來說，首先將原始有霧圖像I視作DGN網絡的先驗信息，作為網絡輸入進行去霧分析；然后利用SFT 層進行圖像特征融合，快捷地提取特征的空間信息，同時有效地融合先驗與輸入圖像特征，進而獲得細調景深βr；在獲得細調景深βr后，根據DGN網絡中的去模糊分支將βr作為此層的輸入進行計算分析，通過設計的SFT 層將Conv1 層的輸出特征與先驗信息進行融合，得到初始清晰圖像J1.在此過程中，通過DGN 網絡中的兩個去霧分支進行編碼、解碼計算，使得圖像避免了傳統暗通道先驗帶來的細節信息恢復不完善與低對比度弱點，最終更好地完成圖像去霧.在具體訓練中，加入Dropout 層來改善深度神經網絡的過擬合問題，dropout rate 為0.5，使得圖像數據集的訓練效果更好，最終的復原圖像效果更佳.

2.4 損失函數推導

為了更好地衡量去霧方法的性能，本文將對DGN網絡存在的損失函數進行推導.由于搭建的網絡為DGN 結構，此結構包括兩個分支結構，因此在結合感知圖像的基礎上，推導出3 個損失函數，依次為去模糊分支損失、感知損失及景深精調損失.

（1）去模糊分支損失

對于去模糊分支損失，采用的是均方誤差損失，計算初始清晰圖像J1與“偽真實”圖像Jgt之間的均方誤差，如下所示：

偽真實圖像與模糊核尺寸相關，模糊核尺寸反映了圖像的模糊程度.當輸入的模糊核尺寸與偽真實圖像核尺寸相同時，可以得到較準確的模糊核以及清晰的復原圖像.

（2）感知損失

感知損失是初始清晰圖像J1與真實清晰圖像Jreal在高維特征空間之間的差距.傳統方法為將半監督學習中的分類網絡作為特征提取工具來分析圖像信息.在參閱文獻［23］后，根據VGG 網絡進行圖像特征分析并完成信息提取.在提取特征后，輸入到分類器中進行訓練得到感知損失，感知損失計算如下：

其中，Vt代表分類網絡模型中的第t層特征，本文根據VGG-19 網絡［23］的三層卷積神經網絡進行計算感知損失，通過分析感知損失使去霧效果達到最佳.

（3）景深精調損失

為了使得DGN 網絡訓練過程更好，同時使細調景深最優，本文將真實清晰圖像估計得到的景深圖作為一個監督信息，通過最小化細調景深βr與“偽真實”景深圖βgt之間的MSE損失來訓練網絡，具體如下：

根據上述分析，總損失函數為3個損失函數的加權和，即

其中，δa，δb及δc分別代表圖像內容損失、感知損失、及景深細調損失的權重，取值分別為δa=1，δb=0.01，δc=1.

為了分析各個損失函數對圖像復原結果的貢獻，將式（13）中的各項損失權重值分別設置為0，并保持其余兩個權重參數不變.表3 首先給出了本文網絡結構在不同損失函數組合下的圖像復原能力對比，繼而表4又給出了3種不同權重組合值下的圖像復原能力對比.選取結構相似性（Structure Similarity Index Measure，SSIM）與峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）對圖像進行評價［19］.SSIM衡量兩幅圖像的相似度，該值越大表明圖像細節信息越好；PSNR 衡量圖像質量，該值越大表明去霧圖像越接近無霧圖像.從表3、表4 可知，只有當3 個損失函數都存在時，DGN 模型才能夠復原出更加逼真的清晰圖像.更進一步，只有當權重組合設置為δa=1，δb=0.01及δc=1時，復原效果才會最好.

表3 損失函數有效性分析

表4 損失函數權重有效性分析

3 動態環境光估計

在利用傳統方法進行圖像去霧時，全局大氣光的使用會使得圖像對比度在復原后變低.圖像天空及遠景區域也會因為光照不均而導致去霧效果變差.同時當原始有霧圖像的環境較為惡劣或者陰影部分區域較多時，有霧區域也會出現光照不均問題，從而導致圖像色彩不均衡，對比度不適宜.因此在考慮全局大氣光帶來的缺點后，本文提出了一種動態環境光優化策略，通過自適應地給圖像的不同區域分配光照，使得圖像去霧可以克服全局大氣光的光照不均衡問題，最終改善圖像去霧中低對比度的弱點.

3.1 環境光

由于原始輸入圖像景物特點的不同，必須自適應地為圖像不同區域進行分配光照，因此本文借鑒一種四叉樹搜索方法來［24］獲得全局大氣光AG，通過分析圖像每個區域特征將圖像分為3個區域，具體為

其中，A1，A2及A3分別表示有霧圖像中的濃霧區域、近景區域及陰影偏暗區域；R(i，j)表示圖像在HSV 空間中的亮度通道；ρ為圖像天空區域的分割系數；i，j分別表示像素點的行與列.本文首先通過分析原始有霧圖像的通道直方圖將圖像區域進行劃分.分割思路具體為：當圖像存在大面積濃霧信息時，圖像的通道直方圖具有明顯波峰，因此確定此時通道圖波峰波谷的位置即可很好地將有霧圖像進行分割.處理完濃霧區域后，非濃霧區域的處理為利用式（14）設置的ρAG/2 將圖像分割為近景與陰暗區域.當然一些圖像包含的信息較為簡單，圖像中結構信息較少，因此可通過一種大津閾值方法將圖像簡易分割為天空與非天空區域，此時將天空區域得到的閾值稱為大津閾值.最終利用四叉樹方法可以動態的給圖像不同區域分配大氣光，同時通過大津閾值方法得到大津閾值，進而確定分割系數ρ.大多數實驗分析表明：有霧圖像的大津閾值與全局大氣光比值在0.8～1.0 范圍內，因此本文將分割系數設置為ρ=0.9.為了驗證不同分割閾值對圖像去霧的影響，圖4（b）～（e）分別給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 時分割的去霧結果，從圖可知分割系數為0.9 時不僅可分割出有霧圖像中的濃霧區域，而且還可較好地分割出圖像中的陰影偏暗區域與近景區域.

圖4 不同ρ值的圖像處理效果對比

將有霧圖像的V通道圖像分割為3 個區域后，取各自區域亮度均值為對應區域的大氣光，此時會生成粗略環境光圖集合，具體表達為

實驗結果表明，適度增大近景區域的大氣光值有利于改善去霧圖像的整體視覺效果，因此在計算近景區域的大氣光值時引入增益系數k，令k=1，2.

在具體的去霧過程中，對于濃霧圖像，增益系數k設置為2，對于非濃霧圖像，增益系數k設置為1.同時為了更直觀地驗證增益系數選擇原則，本文分別給出了不同有霧圖像在不同增益系數下的去霧效果對比（第一幅為濃霧圖像，第二幅為非濃霧圖像），具體結果如圖5 所示，從圖可知，濃霧圖像在k為2 時去霧較好，非濃霧圖像在k為1時去霧較好.

圖5 不同增益系數下的去霧效果對比

3.2 環境光圖細化

圖像雖然根據四叉樹搜索方法能夠動態分配環境光，但初始環境光圖較為粗略.因此本文根據閉運算操作對不同區域的動態環境光進行細化，使得環境光中的不連續區域被減少.為了直觀地說明細化環境光的作用，實驗給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 的分割圖像在細化環境光、粗略環境光及未使用環境光的平滑損失對比（圖6（a）～（d））.從圖6 可知：第一，隨著迭代次數增加，利用細化環境光進行優化去霧時，平滑損失值會一直下降，而其他兩種情況的平滑損失值在迭代次數增加時情況不一，例如，未使用環境光時平滑損失值會增大（圖6（a）（c）（d）），同時粗略環境光的曲線收斂性較差（圖6（a）（c）（d）），因此間接證明了細化環境光的優勢；第二，細化環境光得到的平滑損失值下降幅度較大（圖6（a）（c）（d）），且在ρ=0.9 時的效果最好（圖6（c）），雖然圖6（b）中三者的平滑損失值相差不大，但還是細化環境光最小，圖6（d）中雖然粗略環境光的平滑損失在某些情況下小于細化環境光，但由于分割值設置不是最優，曲線收斂性較差.而從圖6（c）可知：當分割值最優時，細化環境光的平滑損失值會隨著迭代次數增加一直下降，因為動態地給圖像分配光照后，能使得圖像克服全局大氣光的光照不均衡問題，因此平滑損失最小，去霧效果也會最好.

圖6 不同分割值的平滑損失值對比

作為對比，實驗也給出了3種情況下的景深圖及復原圖像（圖7）.從圖7 可知，當最終利用細化環境光優化去霧時，細化環境光后的景深圖最優，如圖7（d）所示，此時環境光為，可以看出細化之后的環境光圖較為平滑，且復原圖像光照適宜，主觀效果較好.

圖7 環境光優化效果對比

4 圖像復原及實驗分析討論

4.1 圖像復原

根據景深引導網絡優化去霧后，得到了初始清晰圖像J1(x)與細調后的景深βr，根據βr及式（2）計算出透射率t(x)，此時對初始清晰圖像進行環境光優化處理，在估算出動態環境光之后，根據式（1）得到終復原圖像J(x)，數學表達為

4.2 實驗結果對比

4.2.1 本文方法去霧效果驗證

圖8、圖9 給出了5 幅有霧圖像利用本文方法去霧的效果圖，從圖可知：5 幅圖像的清晰度與對比度都得到了很大程度的提高，濃霧區域圖像邊緣細節信息保持良好，天空區域去霧之后，沒有產生黑斑效應及圖像失真.由此驗證了本文方法去霧的性能.

圖8 有霧圖像

圖9 本文方法去霧效果

為了進一步驗證本文方法每個步驟去霧的必要性，建立了逐步去霧對比實驗.主要思路為：選取兩幅有霧圖像分別在圖像去模糊分支優化（圖10（b）），在圖10（b）基礎上利用圖像細調分支優化（圖（c）），在圖（c）基礎上使用粗略環境光去霧（圖10（d））及在圖10（d）基礎上使用優化動態環境光去霧（圖10（e））情況下進行去霧對比.從圖10 可以看出，僅使用去模糊分支優化恢復的圖像在濃霧區域去霧不徹底，兩幅圖像的部分濃霧依舊存在，且天空區域較為暗淡，基本沒有達到去霧效果；當利用圖像細調分支進行優化后，景物（圖10（c）第一幅圖）中濃霧相對減少，天空區域較之前者亮度適宜，景物（圖10（c）第二幅圖）中火車部分濃霧相對減少，但是遠處濃霧區域還有霧氣干擾，圖像較遠處信息顯示不清晰；利用動態環境光代替全局大氣光后，可以看到景物（圖10（d）第一幅圖）圖像亮度適宜，且光照強度比較適宜，同時可以看到，較遠處的圖像信息處理較好（紅框標記部分），景物（圖10（d）第二幅圖）圖像對比度更加適宜，但由于是粗略環境光，所以天空區域較暗；在經過動態環境光細化后，圖像整體恢復效果較好，邊緣細節信息能得到一定的復原（圖10（e）紅框標記部分），暗影現象基本消失且不存在halo效應，由此驗證了每個步驟的必要性.

圖10 去霧過程效果對比圖

4.2.2 合成有霧圖像對比實驗

為了進一步驗證所提方法的有效性，實驗選擇了去霧領域一些經典的方法來比較去霧效果.主要有He方法、Gibson方法、Cai方法、基于深度學習的文獻［18］方法及文獻［19］方法.實驗首先在合成有霧圖像上進行上述方法的去霧對比，選取的圖像素材分別為偏向天空區域景物（去霧效果見圖11）及建筑景物（去霧效果見圖12）.

對于天空區域景物來說，當采用He 方法進行去霧時，基本能夠消除圖像中的霧氣干擾，去霧效果較好，但是可看出天空區域景物還是較為模糊（圖11（b）的第一幅圖），同時圖像色彩較為暗淡（圖11（b）的第二及第三幅圖），這主要是全局大氣光估計不準確造成的.當采用Gibson 方法進行去霧時，圖像對比度較之He 方法好，但可以看出復原圖像具有明顯的偏色現象（圖11（c）的第一幅圖），因此去霧存在局限性.當采用Cai 方法進行去霧時，與He 方法一樣，復原圖像整體色彩較淡，但是比He 方法恢復的圖像清晰度高，且具有良好的亮度，但對天空區域進行處理時，存在嚴重的偏色現象（圖12（d）的第三幅圖）.當采用文獻［18，19］方法進行去霧時，由于使用了基于神經網絡的訓練方法，因此去霧效果較好，復原圖像的清晰度較高（圖12（e）（f）），但是也有各自的不足，例如，會形成整體去霧偏色現象（圖11（e）（f）的第一幅圖），且天空區域失真及遠處景物處理效果較差（圖11（e）（f）的第三幅圖）.圖11（g）及圖12（g）是本文方法實現的去霧效果，與前幾種方法相比，本文方法恢復了很多細節，天空區域處理較好，特別是在遠景區域，亮度相對較好，圖像主觀效果較好.

圖11 合成景物1(去霧效果對比)

圖12 合成景物2(遠處建筑景物)

主觀對比不足以證明本文方法對于去霧的有效性.因此本文繼續選取結構相似性（SSIM）與峰值信噪比（PSNR）對圖像繼續進行客觀對比評價，客觀對比實驗結果如表5、表6所示.

從表5、表6 可知，在PSNR 指標對比方面，圖像1得到的PSNR 值都比較偏低，這是因為各方法都不同程度地產生了偏色現象，本文方法僅有第一幅圖像PSNR 值略小于文獻［19］方法，但均大于其余5 種方法，而在另外5 幅圖像的PSNR 對比中，本文方法均有最高的PSNR 值，這就表明本文方法去霧誤差相對較低，能夠較大程度地恢復圖像的細節信息，去霧性能較好.在SSIM 指標對比方面，綜合6 幅圖像對比來看，本文方法復原圖像的SSIM 值僅有第六幅圖像略低于文獻［19］方法，但另外幾幅圖像，本文得到的SSIM 值均最高，因此平均值也最高.這就表明經過本文方法去霧的圖像更接近于標準無霧圖像，復原質量相對較高.由此驗證了本文方法去霧的有效性.

表5 合成有霧圖像的PSNR指標對比/dB(↑)

表6 合成有霧圖像的SSIM值對比/%(↑)

4.2.3 真實有霧圖像對比實驗

圖13、圖14 為真實有霧圖像的去霧效果對比.He方法能夠在一定基礎上降低圖像霧氣，但圖像深度區域還是會存在去霧不徹底的問題（圖13（b）第二幅圖），且恢復細節能力較差（圖13（b）第二、三幅圖）.相對于He 方法，Gibson 方法去霧能夠使得復原圖像具有較好的對比度（（圖13（c）第一幅圖），但會使得圖像存在黑斑效應及濃霧區域去霧不徹底等問題（圖13（c）第二、三幅圖），也會使得局部區域產生過增強現象（圖14（c）第三幅圖），因此去霧存在很大的局限性.Cai 方法相對于前兩種方法得到的復原圖像整體效果較好，且從圖13（d）可看出，圖像整體亮度較為適宜，恢復的細節信息較多，但由于網絡模型學習能力有限，部分區域去霧不徹底（圖14（d）第四幅圖），可以看到大片區域還是存留殘霧.文獻［18，19］方法均為基于神經網絡的去霧方法，因此去霧效果比前3 種方法好，例如從圖13（e）與圖14（e）可看到，文獻［18］方法復原的圖像整體對比度較高，濃霧區域去霧效果較好，同時也可從圖13（f）與圖14（f）看到，文獻［19］方法還可消除Gibson 方法去霧的黑斑效應問題，得到的圖像色彩適宜.但是由于神經網絡的訓練庫本身數據小及過擬合問題，2 種方法也各有不足，例如，文獻［18］復原的圖像還是會產生較為嚴重的偏色現象（圖13（e）第三幅圖與圖14（e）第四幅圖），文獻［19］復原圖像會存在天空區域霧氣處理不完整的問題（圖13（f）第四幅圖）.圖13（g）和圖14（g）為本文算法實現的去霧效果，由圖可知，本文方法恢復出了圖像的很多細節，使得圖像更加直觀清晰，且圖像飽和度與亮度相對較好.對比其他去霧方法，本文復原的4 類圖像邊緣特性較為良好，在有效去霧的同時失真最小，同時復原圖像的整體直觀視覺性效果較好.

圖13 真實景物1(近景景物)

圖14 真實景物2(遠景景物)

為了進一步驗證本文方法對真實有霧圖像去霧的性能，繼續使用客觀對比參數再次評價去霧性能，參數為細節強度與色彩還原程度［25］.細節強度As表示圖像的總細節強度，使用Canny 算子檢測圖像的邊緣并求和；光暈強度Ahalo表示圖像的明亮通道估計.細節強度值越大，圖像細節越好，且圖像更加清晰.細節強度的表達式如下：

色彩還原程度的表達式如下：

對圖13、圖14 的去霧圖像進行上述客觀參數對比分析，得到如表7的客觀對比結果.從表7可以看出，在細節強度的對比中，文獻［18］與文獻［19］方法均采用神經網絡進行訓練圖像，因此得到的Aν相對較大，其中第三、四幅圖的Aν值，文獻［19］方法均略高于本文方法，但是另外幾幅圖像得到的Aν值，本文均是最大.因此綜合來看，相較于He方法、Gibson方法、Cai方法及文獻［18］方法，本文復原圖像得到的Aν值最大，雖有2 幅圖像略小于文獻［19］方法，但是本文方法在9幅圖像中得到的平均Aν值還是最高，這也證明了本文方法獲得的復原圖像細節信息最好，且去霧性能較好.而在色彩還原程度對比結果中，He 方法、Gibson 方法及Cai 方法得到的M(h，h*)值相差不大，這是由于3 種方法恢復出的圖像可能存在黑斑效應及去霧不徹底現象，因此圖像某些細節信息沒有被恢復出來，色彩還原能力較弱；而文獻［18］與文獻［19］方法雖然得到的M(h，h*)比上述3 種方法都大，但是卻均小于本文方法；本文方法通過深度引導網絡優化圖像景深，從而使得復原圖像的信息較為豐富，因此得到的M(h，h*)在幾種對比方法中最大，這也就表明本文方法具有較好的圖像色彩恢復能力.綜上所述，細節強度與色彩還原程度方面的實驗結果再次證明了本文方法去霧的優越性與有效性.

表7 真實有霧圖像的實驗結果數據分析

4.2.4 魯棒性與時間分析

為了分析本文模型對噪聲的魯棒性，將真實場景的圖像加上噪聲進行去霧魯棒性的驗證，該噪聲為等級從0（未添加噪聲）到5%的高斯隨機噪聲.在添加噪聲后的測試集上評估本文方法的復原效果，并與幾種方法對比平均PSNR 值及SSIM 值，具體如圖15（a）（b）所示.從圖15（a）可知，所有方法在PSNR 值的對比中均對噪聲敏感，因此復原能力隨著噪聲等級增大而下降，但是本文方法的復原能力還是最好；從15（b）可以看出，本文方法在SSIM 值的對比中對等級低于2%的噪聲不太敏感，因此具有良好的復原效果.然而隨著噪聲等級增大，本文方法的復原效果也會變差，尤其是等級在3%以上時，復原效果會下降.但也可看出本文方法在測試過程中一直比其他去霧方法的評估結果好，由此也證明了本文方法在噪聲存在時的魯棒性.

圖15 不同噪聲等級下的復原能力對比

表8給出了不同圖像利用不同方法去霧時的平均運行時間對比，其中文獻［18］、文獻［19］及本文方法均對比測試時間.從表8可以看到He方法由于采用了軟摳圖技術，因此運行時間最長，其他方法運行時間次之，本文方法運行時間最短.因此又從時間對比可以得知：本文方法相比于其他去霧方法，更適合實時性去霧，且效果較好.

表8 各方法去霧的時間對比/s

5 結論

本文提出了一種基于景深先驗引導與環境光優化的圖像去霧方法，結合DGN 的兩個優化分支、SFT 層及細化動態環境光實現了優化去霧，使得復原圖像清晰度較好.本文方法中景深先驗引導的深度神經網絡能夠復原模糊圖像，圖像去模糊分支利用景深先驗從輸入的模糊圖像復原出了初始清晰圖像；景深細調分支利用模糊圖像作為先驗信息去除了景深圖中的模糊信息，進而恢復出了清晰邊界；使用動態環境光替代全局大氣光能夠優化圖像去霧，使得圖像不同區域能夠自適應獲得環境光，進而使得復原圖像具有更高的對比度，且平滑損失較小.與當前去霧領域經典的去霧方法相比，本文方法具有較好的直觀去霧效果，去霧更加徹底，且細節信息較好，在客觀評價指標取得最優的同時運行時間最短，能夠適用于實時性去霧.更進一步，在不同噪聲等級干擾下，本文方法去霧魯棒性較好.