基于注意力與多尺度分組并聯網絡的去霧算法*

張浩文，楊 燕，張金龍，王志偉

（1.蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070；2.國網甘肅省電力公司蘭州供電公司，甘肅 蘭州 730050）

0 引 言

在霧天條件下，成像設備采集圖片時會受到大氣中懸浮粒子等雜質的影響，通常表現為采集到的圖片對比度下降、顏色模糊等?；趶驮娜レF方法依據大氣散射模型，引入一系列先驗信息等條件，進而估計大氣光與透射率。He K 等人［1］提出基于暗通道先驗（dark channel prior，DCP）的圖像去霧算法，對于大多數有霧圖像都能取得較好的處理效果；但對含有大片天空或白色區域的圖像則失效。Yang Y等人［2］提出基于邊緣保持函數代替最小濾波擬合暗通道的去霧算法，利用冪律壓縮和線性衰減克服最小濾波的局限性，得到較為準確的透射率；但對于一些含有超遠景區域的圖像會產生失真現象。Xu Y 等人［3］提出結合暗通道和亮通道先驗理論的去霧算法，取得了不錯的復原結果；但由于透射率估計不準，復原結果局部區域仍存在失真現象?；趶驮娜レF算法［1～14］大多需借助先驗信息，導致復原結果并不總是很準確。

近些年隨著人工智能與深度學習的迅速發展，一些研究人員將神經網絡應用于圖像去霧。Cai B等人［15］提出端到端的去霧網絡（DehazeNet）結構，通過提取特征，結合多尺度映射與最大池化等操作得到霧氣特征，訓練出有霧圖像的透射率，進而得到清晰圖像。Ren W Q等人［16］提出多尺度卷積神經網絡（multi-scale CNN，MSCNN）結構，結合細尺度網絡優化得到透射率，進而得到復原結果。Li B 等人［17］將透射率與大氣光合并為一個變量，提出新型網絡結構（all-in-one dehazing，AOD-Net）估計此變量，消除了大氣光與透射率分別訓練的誤差，取得較好的復原效果，但復原結果整體偏暗。Liu 等人［18］提出殘差網絡結構，結合有霧圖像及其假設或者先驗信息估計透射率，進而得到復原結果。Qian W 等人［19］提出一種新型去霧卷積神經網絡（CNN）——CIASM-Net，該網絡模型包括顏色特征提取子網絡和深度去霧子網絡，并使用多尺度卷積估計透射率，進而得到復原結果。目前這類方法［6，7，15～20］得到了快速發展，并取得較為理想的效果。

本文提出了一種用以去除霧霾的注意力機制與分組多尺度并聯CNN模型。主要包含深層常規卷積模塊、淺層分組卷積模塊、殘差塊與注意力機制結構。深層卷積主要提取RGB 通道與霧氣相關特征，淺層卷積主要克服RGB 通道的互相影響與色彩渲染造成的結果失真問題。為了克服反向傳播梯度消失與深層網絡特征信息丟失問題，引入殘差處理，并以通道注意力的方式合理分配特征資源，進而得到訓練結果。

1 大氣散射模型

用大氣散射模型描述霧天條件下圖像的降質過程為

式中 I（x）為成像設備采集到的有霧圖像，J（x）為復原的清晰圖像，t（x）為介質透射率，A 為大氣光值。大多數研究人員借助一些先驗信息或者假設條件估計透射率與大氣光，但由于假設條件和先驗信息的引入，導致一定程度的主觀干擾，復原結果產生偏色和失真等現象。為此，Li 等人［17］將透射率與大氣光進行集中學習，將大氣散射模型處理如下

進一步可得

式中 f（x）＝［（I（x）-A）／t（x）＋（A -Δ）］／（I（x）-1），Δ為偏差，取值為1。

2 注意力與多尺度分組并聯網絡模型

網絡結構主要包含深層常規卷積模塊，淺層分組卷積模塊，上、下2 個注意力模塊，5 個殘差處理模塊（RB1—RB5），整體網絡結構如圖1所示。

圖1 本文網絡結構

2.1 網絡結構模型

本文采用多尺度卷積核構成的并聯卷積結構，學習有霧圖像與f（x）的映射關系。彩色圖像一般處理其RGB 3個顏色通道，以圖2（a）的2 個圖為例，其RGB 通道分布曲線如圖2（b）所示。

圖2 彩色圖像及其RGB分布

為消除三通道互相作用的問題，引入分組卷積與常規卷積的并聯結構。常規卷積模塊參數如表1 所示，分組卷積模塊參數如表2所示。

表1 常規卷積模塊參數

表2 分組卷積模塊參數

深層常規卷積模塊包含8 層不同尺度卷積，主要用來提取有霧圖像RGB通道和f（x）之間的相關性特征。利用多尺度提取策略可以獲得更豐富的霧濃度相關特征，提取更全面的圖像細節信息。分組卷積模塊包含4 層卷積，前3層將有霧圖像RGB通道分組學習，克服三通道互相作用與提取的特征間互相渲染的問題。在深層卷積模塊中，隨著網絡層次的加深，可能出現梯度消失等問題。He K等人提出的殘差網絡結構很好地解決了梯度消失與信息丟失問題，因此，本文對深層卷積的特征圖進行殘差處理。

在并聯結構深層卷積模塊中，每隔兩層卷積得到一個殘差塊，即第1層和第2 層卷積的輸出特征進行殘差處理得到第一個殘差塊RB1。將RB1 作為第3 層卷積的輸入，第3層和第4層卷積的輸出特征進行殘差處理得到殘差塊RB2，以此類推。并聯結構最后一層的輸出與原始圖像也做一次殘差，以避免特征圖信息丟失的問題，殘差處理結構如圖3所示。

圖3 殘差處理結構

本文對并聯結構中深層常規卷積塊和淺層分組卷積塊的最后一層輸出特征分別進行通道注意力加權操作。通道注意力加權時，將待處理的特征圖記為Ri，i∈｛1，2｝，通道注意力權重為mi∈R1×1×C，C為特征圖通道數，則加權后的特征可表示為

在深層卷積模塊中，分別將第1，3 層和第5，7 層的輸出特征進行通道合并，并對合并后的特征進行平均池化和1 ×1卷積處理，1 ×1卷積是為了保證注意力權重個數與處理的特征通道數保持一致。淺層分組卷積模塊中，將第3層的輸出特征進行同樣的處理得到注意力權重值。通道注意力處理結構如圖4所示，其中，Conv8 out表示深層卷積第8層的輸出特征。

圖4 通道注意力加權處理結構

2.2 損失函數

圖像復原采用L2損失函數即均方誤差（MSE）函數作為損失函數，表達式為

式中 m為訓練樣本數目，fi為網絡結構第i 組的輸出結果，gi為第i組輸出結果對應的標簽。

2.3 訓練細節

本文選擇RESIDE 數據集中的1 390 張清晰圖像作為標簽，每個標簽以不同的參數合成10 張不同霧濃度的有霧圖像，即將1390張標簽對應的13 900 張有霧圖像作為訓練集。選擇RESIDE為測試集，包含500 張室內合成圖，500 張室外圖。整個訓練過程的學習率為0.000 1，訓練集圖像大小均設為480 ×640像素，網絡訓練時參數優化方法選擇隨機梯度下降法，所有卷積步長為1。訓練環境為NVIDIA RTX 1050Ti GPU，編程采用Pytorch深度學習框架。根據實驗，迭代次數為20 左右時，整個訓練過程達到收斂，本文模型訓練損失曲線如圖5所示。

圖5 本文訓練損失曲線

2.4 圖像復原

最后根據式（4）恢復清晰圖像，本文復原模型結構如圖6所示。本文復原公式與文獻［17］一致，但本文復原結果無論在亮度方面，還是去霧程度均優于文獻［17］結果。圖7為本文結果與文獻［17］結果的局部對比，由白色框部分可以看出本文網絡對于顏色保真度較好。根據大氣成像理論，薄霧區域容易去霧過徹底導致顏色失真。由黑色框部分可以看出，本文在近景地面區域去霧的同時保留了更加符合視覺效果的色彩和亮度特點。

圖7 本文結果與文獻［17］結果局部對比

3 實驗結果與分析

本文選擇真實環境下的有霧圖像與合成數據集中的合成霧圖分別進行主客觀評價。在主客觀評價時，選擇了一些在圖像復原領域比較經典的算法進行對比，分別為He K等人的DCP算法［1］，Cai B等人的Dehaze-Net 算法［15］，Ren W Q 等 人 的MSCCN 算 法［16］，Li B等 人 的AOD-Net 算法［17］，Yang Y等人的Haze Removal算法［2］。

3.1 主觀評價

真實環境下的實驗結果對比如圖8 所示，合成數據集中室內與室外實驗結果對比如圖9 和圖10 所示。經對比可以看出，相比其他算法，本文算法整體復原效果較好，去霧徹底，亮度適宜。

圖8 真實環境下霧圖及其復原結果對比（圖像1—圖像3）

圖9 測試集室外圖復原結果對比

圖10 測試集室內圖復原結果對比

3.2 客觀評價

對于圖7所示真實霧圖復原結果采用可見邊數e與平均梯度r進行客觀指標對比分析。在RESIDE 數據集隨機選擇1 000幅合成霧圖進行峰值信噪比（peak signal to noise ratio，PSNR）與結構相似性（structural similarity，SSIM）的定量分析，上述指標的數學計算式如下

式中 nr，n0分別為有霧圖像和無霧圖像的可見邊，Ω為無霧圖像可見邊集合，μi，μo為輸入與輸出的平均值，σ為輸入輸出的協方差，為輸入與輸出的方差，ω1，ω2為避免分母為0的常數，fi，fo為清晰圖像標簽和去霧圖像。上述4個指標越大，說明算法有效性越高。

由圖11可以看出，本文所提模型對真實霧圖的處理在客觀指標上取得了理想的評分。Haze Removal算法從大氣散射模型出發，以傳統的方法估計了透射率和大氣光，對于真實環境下的有霧圖像復原結果較為理想，因此其客觀指標較為理想，與本文算法相差不大。DCP 算法、Dehaze-Net算法、MSCNN算法、AOD-Net 算法在處理自然霧圖時其客觀指標均落后于本文算法。

圖11 自然霧圖客觀指標對比

由表3可以看出，本文所提模型相對其他算法在PSNR和SSIM上均取得了良好的評分，進一步表明本文算法的有效性和適用性。

表3 各算法測試集客觀指標對比

4 結 論

本文將大氣光與透射率聯合訓練的方式極大地降低了二者分別學習引起的誤差放大問題，使訓練過程取得較好的擬合性。利用深層常規卷積與淺層分組卷積的并聯結構，有效解決了彩色圖像RGB 通道密切相關和互相影響，其中常規卷積用來提取其相關特征信息，分組卷積對RGB通道分組學習，進而將常規層與分組層的輸出特征融合處理，以達到互相補償與抑制的作用。最后利用改進的大氣散射模型獲得清晰圖像。實驗表明，所提模型在主觀評價與定量分析中均表現優異。