基于暗原色先驗及運動檢測的視頻去霧方法

劉東輝，蘭時勇＋，楊紅雨，吳樹霖，朱超軍

（1.四川大學 計算機學院，四川 成都610065；2.四川大學 視覺合成圖形圖像技術國家重點學科實驗室，四川 成都610065）

0 引 言

近年來基于大氣散射物理模型的單幅圖像去霧方法成為去霧領域研究的熱點，并且取得了很大的進展。如Fattal［1］假定霧靄天氣下大氣透射率和表面陰影在局部是不相關的，通過估計場景的反射率，進而求得透射率，Fattal的算法對于薄霧圖像的處理效果很好，但是當霧很濃時效果很差，并且算法復雜度高。He［2］等人提出了一種暗原色先驗的物理統計規律，結合大氣散射模型和soft matting［3］修復進行去霧，該算法不僅在物理上有效，并且可以處理濃度較大的有霧圖像，不過He的缺點也是算法復雜度高、處理速度慢。Jean－Philippe［4］對原彩色圖像進行最小值濾波，然后對濾波后的圖像用中值濾波計算局部均值和標準差，進而求得大氣光幕，恢復出場景的無霧圖像，這種方法對存在景物深度突變的區域去霧效果很差，去霧后的圖像在該區域還存在較多殘霧，而且會產生光暈。

目前，在視頻實時去霧方向的研究還比較少且不夠成熟，視頻實時去霧方法主要在背景、前景分割的前提下，分別利用相關的去霧算法進行復原處理，再將兩者處理后的結果進行融合得到完整的無霧視頻。如Jisha－John［5］等采用小波融合的方法對霧天視頻進行增強，雖然這種方法處理效率很高，但是需要人工設置不同視頻中的相關閾值，并且處理后的視頻圖像中會有塊狀噪聲。Xu Zhiyuan［6］等人通過對比度約束的自適應直方圖均衡化的方法對背景、前景進行去霧，這種方法的缺點在于處理后的視頻圖像顏色不夠自然。

單幅圖像去霧算法處理效果好，但是效率太低，達不到實時要求；現存的視頻實時去霧算法處理速度滿足了，但是在效果上又不夠理想?？傊?，魚與熊掌不能兼得。

針對以上問題，本文提出了一種結合He的暗原色先驗理論與背景、前景差分的實時高清視頻去霧方法，并且改進了He方法中求取大氣光的過程。在保證處理效果的前提下，提高了處理速度，達到實時去霧的目的。

1 暗原色先驗單幅圖像去霧

1.1 大氣散射物理模型

在計算機視覺和圖形學中，霧化圖像被廣泛地描述為方程

式中：I——霧化圖像的強度值，J——場景無霧情況下得強度值，A——空氣強度值而t則是場景強度在各個區域通過程度的描述 （也稱作透射率）。去霧的本質就是從I中獲取J、A和t。

1.2 暗原色先驗理論

暗原色先驗理論是經過對大量室外無霧圖像的觀察統計得到的：在大部分非天空的局部區域里，存在一些像素它的3個通道中至少有一個通道顏色值很低。也就是說，在該局部區域里景物光線的強度值的最小值趨于零。對于圖像J有

式中：Jc——J的一個顏色通道，Ω（x）——以x為中心的局部區域。通過觀察統計得到，Jdark的強度值很低且趨于零。假設J是室外的清晰圖像，我們將Jdark稱作圖像J的暗通道。

1.3 求取透射率

對式 （1）兩邊取最小值操作，并在3個顏色通道中取最小值運算。假設A是一個定值，根據暗原色先驗理論可知Jdark接近0，把式 （2）代入式 （1）可求得初始透射率t，由于在局部區域內透射率t不是一個定值，所以這樣求得的透射率包含一些塊狀效應。由于霧圖形成模型方程 （1）和摳圖方程I＝F×α＋B×（1－α）在形式上很相似。透射率t的分布其實就是α的分布，所以He使用了一種軟摳圖算法來完善透射率。最優的t通過求解下面的方程得到

式中：U——一個與L具有相同大小的單位矩陣，r——一個具有較小值的修正系數，L——摳圖拉普拉斯矩陣。式（3）具體定義請參見文獻 ［3］。

1.4 估測大氣光強度值與去霧

首先選取暗原色中亮度值最大的0.1%的像素。在這些像素中，原有霧圖像I中強度值最大的像素點的值作為大氣光A的值。根據A、tnew代入式 （1）就可以得到復原后的圖像。

He的算法中最大的問題在于優化透射率t的過程中需要構建大小為圖像高度乘以圖像寬度的摳圖拉普拉斯矩陣，且每一個像素值都要計算，耗時太多，后來He使用Christophe Clienti［7］的快速算法來實現求局部區域最小值的操作，并且使用引導濾波［8］來優化透射率大大提高了處理速度，但是還達不到實時的要求。

2 背景差分實時高清去霧

對于監控相機來說，視頻各幀的背景一般是固定不變的，盡管針對單幅圖像采用暗原色先驗求得透射率然后進行去霧的效果比較好，但是如果每一幀都計算背景的暗原色、透射率，勢必會浪費大量時間，無法滿足實時要求［9］。本文的思想就是將背景與前景運動目標分離出來，對于背景，每隔一定的幀數求一次背景透射率，對于前景運動目標的透射率，每一幀都進行計算，然后將兩者的透射率融合起來進行去霧。

2.1 改進大氣光的估計方法

He的暗原色先驗去霧中大氣光A值求取是首先選取暗原色中亮度最大的0.1%的像素。在這些像素中，原圖像I中強度值最大的像素點的值作為大氣光A的值［2］。當圖像中有大片白色物體時，這種方法會產生誤差，求得的大氣光的位置會落在白色物體上。本文在求取大氣光A值的時候是取這些像素對應在原圖I中的平均值作為大氣光值，經過測試，這樣求取的大氣光值更準確，去霧效果更自然。

2.2 算法流程

如圖1所示。首先提取前N幀的圖像求像素平均值作為初始背景圖像。公式如下

式中：N——重建的圖像幀數，Bk——重建的初始背景圖像，fi——第i幀圖像，N幀圖像每一個像素點的值累加平均構成了背景圖像中對應的像素點的值［10］。

根據創建好的背景圖像用改進的暗原色先驗法求大氣光強度值A及背景透射率tk。設置一個全局的標記值num，初始化為1，創建一個新的線程，每當num＝2的時候這個新線程就計算一次背景透射率。然后在主線程中，如果num＝1就將計算好的背景透射率復制過來，同時將當前更新好的背景復制給新線程，然后進行背景差分來檢測運動目標，計算運動目標的透射率，將兩者透射率融合起來，進行去霧，然后num值加1，如果num值大于閾值M的話就把num重新設置為1，也就是說每隔M幀算一次背景透射率，這樣既保證了效果，又能滿足實時的要求。M值的選取要根據算一次背景的透射率需要多長時間及主線程中處理一幀需要的時間有關

圖1 去霧算法流程

式中：t1——新線程中計算背景透射率需要的時間，t2——主線程中處理一幀需要的時間，同時1／t2也是本去霧方法的實時幀率。最后要進行背景更新，本文采用Surendra［11］背景更新算法。主要思想就是通過幀差法找到運動區域，對運動區域內的背景用之前的背景覆蓋，非運動區域的背景用當前幀進行加權更新。

并且在去霧過程中利用CUDA （compute unified device architecture）技術，構建CPU和GPU協同工作的編程模型。CUDA是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題，傳統的GPU架構受其硬件架構的影響不能有效利用資源進行通用計算，而利用CUDA可以使GPU不僅能執行傳統的圖像計算，還能高效地執行通用計算，大大提高了處理速度［12］。

3 實驗結果和分析

求取大氣光A時，局部區域的大小為15＊15；在Visual Studio 2008平臺上使用C＋＋、OpenCV編程實現。硬件配置環境為：顯卡 （NVIDIA GeForce GTX 690 2GB），CPU （Intel?CoreTMi7－3770K ＠3.50GHz），內 存 （4GB RAM）。

3.1 實驗結果

通過圖2、圖3兩幀不同分辨率的視頻圖像的去霧結果可以看出，Jean－Philippe在景深突變區域去霧效果不好，存在較多殘霧，且有光暈現象。在圖2中按照He的方法求得的大氣光在左邊較亮的建筑物上，如圖中矩形框標記處，大氣光位置不準確，所以圖2用He的方法去霧效果不好，天空部分失真。而在圖3中由于用He的方法求得的大氣光的位置正好在左上角的天空部分，如圖中矩形框標記處，所以圖3用He的方法能夠取得很好的效果。相比來說本文算法在效果上要好于另外兩種方法。

圖2 圖像分辨率為800＊457的去霧結果對比

圖3 圖像分辨率為1280＊720的去霧結果對比

3.2 處理速度

對于800＊457像素的彩色圖像和1280＊720的高清圖像的處理時間表1給出了3種方法的對比結果，從表中可以看出本文方法對于高清視頻圖像每秒可以處理22幀，達到了實時去霧的要求。

表1 不同方法的處理時間對比

4 結束語

本文在改進了He的暗原色先驗去霧中對大氣光的估計的同時，結合背景差分運動目標檢測算法進行視頻去霧，該方法在保證去霧效果的基礎上，大幅度的提高了處理度速度，達到了實時去霧的要求，不過由于復雜場景下的背景模型不好建立，對于復雜的運動場景，提出一種更好更精確的背景模型建立及運動目標檢測方法是下一步要解決的問題。并且因為暗原色先驗是一種統計規律，當圖像中的景物和大氣層接近且沒有陰影遮擋，或者存在大片灰白色區域時，暗原色先驗理論是無效的，去霧效果就比較差。更加先進的去霧模型能夠描述復雜的場景，像陽光對大氣光的影響等，這也是下一步我們需要研究的內容。

［1］Fattal R.Single image dehazing ［C］／／Proceedings of ACM SIGGRAPH Conference.Los Angeles：ACM，2008：1－9.

［2］He K M，Sun J，Tang X O.Single image haze removal using dark channel prior ［C］／／Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Florida：IEEE，2009：1956－1963.

［3］Levin A，Lischinski D，Weiss Y.A closed form solution to natural image matting ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30 （2）：228－242.

［4］Tarel J P，Hautiere N.Fast visibility restoration from a single color or gray level image ［C］／／Proceedings of IEEE International Conference on Computer Vision.Tokyo：IEEE，2009：2201－2208.

［5］Jone J，Wilscy M.Enhancement of weather degraded video sequences using wavelet fusion ［C］／／Proceedings of the 7th IEEE International Conference on Cybemetic Intelligent System.London，UK：IEEE Computer Society，2008：1－6.

［6］Xu Zhiyuan，Liu Xiaoming，Chen Xiaonan.Fog removal from video sequences using contrast limited adaptive histogram equalization ［C］／／Proceedings of International Conference on Computational Intelligence and Software Engineering.Wuhan，China：IEEE Computer Society，2009：1－4.

［7］Christophe Clienti，Michel Bilodeau，Serge Beucher.An efficient hardware architecture without line memories for morphological image processing ［G］.Lecture Notes in Computer Science 5259：10th International Conference on Advanced Concepts for Intelligent Vision Systems，2008：147－156.

［8］He Kaiming，Sun jian，Tang Xiaoou.Guided image filtering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012 （99）：1－14.

［9］GUO Fan，CAI Zixing，XIE Bin.Video defogging algorithm based on fog theory ［J］.ACTA Electronica Sinica，2011，39（9）：2019－2025 （in Chinese）.［郭璠，蔡自興，謝斌.基于霧氣理論的視頻去霧算法 ［J］.電子學報，2011，39 （9）：2019－2025.］

［10］ZHANG Jianfei.Detection and tracking of moving object in traffic video based on OpenCV ［J］.Electronic Test，2012（1）：50－53 （in Chinese）.［張建飛.基于 OpenCV 的交通視頻運動目標檢測與跟蹤 ［J］.電子測試，2012（1）：50－53.］

［11］XU Fangming，LU Guanming.Moving object detection based on ameliorative surendra background update arithmetic ［J］.Shanxi Electronic Technology，2009 （5）：39－40 （in Chinese）.［徐方明，盧官明.基于改進surendra背景更新算法的運動目標檢測算法 ［J］.山西電子技術，2009 （5）：39－40.］

［12］LIANG Liang.CUDA based moving object detection ［D］.Beijing：Beijing Jiaotong University，2012：16－30 （in Chinese）.［梁良.基于CUDA加速的運動目標檢測 ［D］.北京：北京交通大學，2012：16－30.］