基于引導濾波的自適應紅外圖像增強改進算法

汪子君，羅淵貽*，蔣尚志，熊楠菲，萬李濤

1. 電子科技大學航空航天學院，四川 成都 611731 2. 飛行器集群智能感知協同控制四川省重點實驗室，四川 成都 611731

引 言

紅外圖像作為紅外技術和成像技術結合的產物，在工業、軍事、民用等領域被廣泛使用。由于紅外波輻射波長較長、易受大氣熱輻射等因素影響，使得紅外圖像空間分辨力較低，圖像細節紋理較模糊。因此，如何提升紅外圖像的對比度，突出細節信息就顯得十分重要。傳統的圖像增強算法通常以直方圖均衡為基礎, 該算法是為解決圖像的灰度分布集中、對比度差的問題而提出，使圖像的直方圖達到“最平坦”，卻使一些灰度相近、分布較少的圖像細節信息被抹去。例如，有限對比度的自適應直方圖均衡[1]，動態直方圖均衡[2]，有限范圍的雙直方圖均衡[3]等等。這些算法能有效的增強圖像對比度，但一些紋理信息會因為對細節的忽視而變得模糊。

各國學者提出了多種紅外圖像細節增強算法。2009年Branchitta和Francesco提出了基于雙邊濾波的動態范圍分割算法[4]。在此基礎上，各國學者提出了與之相似的濾波分層框架算法，使得這種分層模式的算法在紅外圖像細節增強方面更為普遍[5]。在基于雙邊濾波的動態范圍分割算法中，雙邊濾波將原始圖像分為包含低頻信息的基礎層分量和包含高頻信息的細節層分量，通過壓縮算法和噪聲抑制分別對兩層分量進行處理，選擇合適的融合比例將兩層分量的圖像進行融合。分層模式的算法處理，在保留紅外圖像細節信息的同時增強了紅外圖像的對比度。但雙邊濾波器在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉現象，圖像將出現光暈偽像[4]。為了消除梯度翻轉現象并減少整體算法運算時間，Liu等在2014年提出了一種基于引導濾波的DDE算法(detail enhancement for high-dynamic-range infrared images based on guided image filter，GF&DDE)。算法采用引導濾波代替雙邊濾波，既保留圖像細節信息又避免梯度翻轉現象。由于算法采用設定參數的方法，場景自適應性較差。因此，為了實現自適應場景的參數調節，Zhou等在2018年提出了一種基于引導濾波的自適應紅外圖像細節增強算法(an improved adaptive detail enhancement algorithm for infrared images based on guided image filter，AGF&DDE)[6]，通過直方圖分布信息為基礎層圖像確定自適應門限，去除圖像中無效灰度值，使得基礎層圖像能更好的顯示有效信息。

AGF&DDE算法在GF&DDE算法的基礎上對門限參數進行了場景自適應調節。但基礎層圖像處理過程中，門限的二值化和基礎層壓縮增加了算法的運算時間。此外，基礎層圖像與細節層圖像融合時，AGF&DDE算法中圖像的基礎層與細節層融合比例為定值，對于復雜地面場景紅外圖像，可突出細節、抑制噪聲，但對于含有大面積天空背景的紅外圖像，算法處理后的紅外圖像包含大量噪聲干擾。

本文提出一種基于引導濾波的自適應紅外圖像增強改進算法，在滿足自適應場景圖像增強的情況下減少算法運算時間。在紅外圖像基礎層處理方面，為了滿足顯示設備或快速處理的8位數據寬度要求，根據直方圖分布和有效灰度值個數計算出壓縮數組，將16 bit圖像壓縮至8bit圖像；紅外圖像融合方面，通過有效灰度值個數計算融合比例，達到自適應場景的效果。

1 算法簡介

引導濾波可平滑輸出圖像，將圖像分為基礎層以及細節層，并能保存細節信息、抑制噪聲[7]。本文采用引導濾波算法將原始紅外圖像分為基礎層圖像和細節層圖像

IMGbase=Tguide×IMGoriginal

(1)

IMGdetail=IMGoriginal-IMGbase

(2)

式(1)和式(2)中，Tguide為引導圖像濾波傳遞函數，IMGoriginal代表原始圖像，IMGbase為基礎層圖像，IMGdetail為細節層圖像。

1.1 基礎層圖像處理

基礎層圖像包含原始圖像較為豐富的場景信息，因此需增強基礎層圖像的對比度[6]。二值化直方圖門限TH，如式(3)所示。

TH=(smax-smin)×β+smin

(3)

式(3)中，smax和smin分別為基礎層圖像直方圖中的最大值與最小值。β是范圍為0到1的參數，決定圖像中無效像素值的比例。通常認為95%置信區間內的灰度值為有效的[8]，其余5%灰度值為無效，因此式(3)中的β值設置為0.05。

在AGF&DDE中，根據門限TH進行直方圖二值化處理，處理后的二值化直方圖可表述為式(4)

(4)

式(4)中，H(K)為門限TH二值化后的統計直方圖，nk表示第k個灰度值所包含的像素點個數。在得到二值化直方圖后，AGF&DDE算法中的基礎層輸出圖像可以表示為

(5)

式(5)中，Ibp為處理后的基礎層圖像，nvalid代表二值化直方圖中值為“1”的灰度值個數總和。

如式(4)和式(5)所示，AGF&DDE算法通過計算門限TH，將直方圖進行二值化處理，對基礎層圖像進行動態壓縮。此算法有效的增強了基礎層圖像的對比度，但在根據二值化直方圖分布進行基礎層圖像動態壓縮的過程中，每將一個16 bit圖像中像素點灰度值n映射到0～255之間時，都需對二值化直方圖進行一次從1～n的加法，增加了算法的計算量。其次，當有效灰度值個數低于50時，此算法會將圖像的整體灰度放置在[1, 50]范圍內，使得圖像十分暗淡。本文采用不同的數學方式對其基礎層算法進行表達。根據直方圖分布以及門限大小得出一維數組P(k)，表達式如式(6)所示

(0≤k≤2M-1)

(6)

式(6)中，P(k)是值為0～nvalid的一維數組，分別對應直方圖中0～2M-1個灰度級數，在已知有效灰度值nvalid的數值和映射數組的情況下，可將16 bit紅外圖像映射為8 bit紅外圖像?；A層圖像的壓縮算法如式(7)所示

(7)

式(7)中，Ibp為處理后的基礎層輸出圖像，l為原圖像的像素值，范圍為0～2M-1。當有效灰度值個數小于150時，本算法會將原圖像灰度范圍壓縮至[(255-nvalid)/2, 255-(255-nvalid)/2]，可提升紅外圖像整體視覺效果。

1.2 細節層圖像處理

細節層圖像中包含著大量的細節和噪聲，處理的重點在噪聲的抑制以及細節信息的增強。AGF&DDE算法與BF&DDE算法在細節層圖像處理方面較為相似，皆采用了自適應增益控制的方法對細節層圖像進行增強。AGF&DDE算法采用了引導濾波的線性系數而BF&DDE算法采用了濾波核權值系數，AGF&DDE算法細節層圖像處理方法如式(8)所示。

Idp(i，j)=(Gmaxa(i，j)avg+Gmin)×IMGdetail(i,j)

(8)

式(8)中，Idp為處理后的細節層圖像。Gmax和Gmin可線性地將增益映射為一個適當的值，分別設置Gmax=5和Gmin=2.5。a(i,j)avg代表著引導濾波的線性系數。對于圖像邊緣或其他細節，a(i,j)avg接近1。

1.3 圖像融合

AGF&DDE算法將基礎層分量和細節層分量進行不同比例融合，如式(9)所示

IMGout=(1-p)Ibp+pIdp

(9)

式(9)中，IMGout為融合后的輸出圖像，Ibp和Idp分別為基礎層分量以及細節層分量，p為融合系數，范圍為(0, 1)。在AGF&DDE算法中，為平衡細節增強效果和視覺效果，設置p=0.3，若在大面積的天空背景下，選擇融合系數p=0.3會導致噪聲突出，使整幅圖像呈現大量噪聲和較差的主觀視覺效果。針對此問題，對基礎層圖像的融合系數做出了改進，如式(10)所示。

(10)

式(10)中，kb為基礎層分量的融合系數。α為補償增值，因基礎層中含有重要的場景信息，需調整α值以增大基礎層在融合中的比例，減少細節層噪聲的影響。σ為固定指數，其作用在于控制不同場景下基礎層融合系數與細節層融合系數的的差值范圍。在試驗中發現，當背景噪聲對圖像的影響較大時，圖像的細節層融合系數控制在0.1～0.2之間效果更佳，背景噪聲對圖像的影響較小時，則融合系數控制在0.2～0.4之間效果更佳。因此，將α設置為0.12，σ設置為0.1。nvalid為基礎層直方圖分布中的有效灰度值個數總和?；A層圖像動態壓縮的過程中，所包含的有效灰度值個數nvalid已被確定，因此我們可以通過有效灰度值個數占整個灰度級的比例來對圖像的基礎層融合系數kb進行確定：比例越低說明灰度范圍窄，圖像中景物單一，可能是純天空或者純地面；若比例越大，說明灰度范圍廣且圖像視野寬闊，可能是一處既包含天空也包含地面的遠景。在得到基礎層融合系數后，細節層分量的融合系數可表示為式(11)所示。

kd=1-kb

(11)

式(11)中，kd為細節層分量融合系數。

基礎層圖像和細節層圖像的融合系數分別得到確定后，融合后的輸出圖像可以表示為式(12)所示。

IMGout=kbIbp+kdIdp

(12)

2 實驗部分

用直方圖均衡算法(HE)[9]，GF&DDE算法[7]，AGF&DDE算法[6]，分別對4幅384×288的16 bit紅外圖像進行增強處理，從圖像的主觀效果以及客觀算法進行評價。

2.1 主觀分析

主觀分析中，算法處理結果以實際圖像列舉，可從主觀視覺上對圖像直觀判斷。選用的4幅場景圖像分別為：圖1所示建筑物場景，此種場景包含邊緣信息多，細節層圖像包含的噪聲不易對整幅圖像的視覺效果產生過大的影響。圖2所示地面、天空場景，包含豐富的細節信息，屬于復雜場頸圖像。圖3所示地面場景，包含地面物體，直方圖分布集中，有效灰度值個數少。圖4所示為天地混合場景，此場景的直方圖分布較廣，大部分場景為均勻背景，易受到噪聲干擾。

圖1 建筑物場景圖像增強處理結果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.1 Results of image enhancement on the building scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

圖2 地面天空場景圖像增強處理結果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.2 Results of image enhancement on the ground and sky scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

從以上對比圖像中我們可以發現，圖1(a)左側紅色區域內，過度曝光導致該處的細節信息不突出，圖1(b)—(d)中，此處細節信息顯示較好，圖1(d)噪聲干擾小，細節顯示清晰，給人更好的視覺效果。圖2對比圖像中，圖2(a)中HE算法處理后的圖像顯得更為真實，圖2(c)AGF&DDE與圖2(b)GF&DDE處理結果在細節方面較突出，可較好的突出紅色區域內云朵的輪廓，但由于細節層融合比例過大，使得圖像較多的顯示細節信息導致圖像失真較為嚴重，圖2(d)中，本算法較好的顯示出細節信息，并還原了實際場景。圖3(a)細節表現不明顯。圖3(c)中細節輪廓明顯，但過于黯淡。而圖3(b)和(d)細節明顯且視圖明亮。圖4(a)中HE算法處理后的圖像沒有受到噪聲影響，但其細節增強效果不明顯，紅色區域內的細節信息十分暗淡，從直觀上看很難發現紅色區域內的豎直電桿。而圖4(b)和(c)的信息突出較為明顯，但均受到了不同程度的噪聲干擾，使得某些細節被噪聲掩蓋，主觀視覺效果較差。圖4(d)選擇自適應的細節層融合比例，融合后的圖像極少受到噪聲干擾，且較好的突出圖像中的細節信息。

圖3 地面場景圖像增強處理結果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.3 Results of image enhancement on the ground scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

圖4 天地混合場景圖像增強處理結果(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：本算法Fig.4 Results of image enhancement on the sky and ground mixed scene(a)：HE；(b)：GF&DDE；(c)：AGF&DDE；(d)：Proposed

2.2 客觀分析

通過平均梯度參數和運算時間對4種算法結果進行客觀評價。圖像的平均梯度表達如式(13)所示。

|f(i，j)-f(i，j-1)|)/2

(13)

式(13)中，Gm代表平均梯度，f(i,j)為對應坐標位置上像素的灰度值。平均梯度體現了圖像弱小細節的變化速率，反映了圖像細節信息的呈現能力。4種算法對4種場景紅外圖像處理后的平均梯度數值如表1所示。

表1 4種算法處理后紅外圖像的平均梯度Table 1 Average gradient of infrared images processed by four algorithms

由于本算法采取自適應的融合系數，因此當細節層圖像噪聲過大時，細節層會占據較小的融合比例，使得融合后的圖像受到噪聲影響較小。在噪聲影響較小的情況下，本算法的平均梯度小于GF算法和AGF算法。

由文獻[6]可知，AGF算法計算時間優于GF算法，故僅與AGF算法進行運算時間比較。對比結果如表2所示。

表2 2種算法的運算時間(s)Table 2 Operation time of two algorithms (s)

本算法利用創建壓縮數組的方式，將高動態范圍的灰度值通過壓縮數組與低動態范圍的灰度值相對應，在達到壓縮動態范圍效果的同時減少了運算時間。

3 結 論

提出了一種基于引導濾波的自適應紅外圖像增強改進算法。采用引導濾波將原始紅外圖像分為基礎層分量和細節層分量，通過直方圖分布信息計算出自適應門限，利用自適應門限值篩選出有效灰度值并創建一維壓縮數組對基礎層圖像進行壓縮，將16 bit基礎層圖像壓縮為8bit基礎圖像。通過有效灰度值個數對圖像進行一個大致場景的判斷，并根據有效灰度值個數占總灰度值個數的比值獲取自適應融合系數，達到在不同場景下抑制噪聲和突出細節信息的效果。實驗結果表明，本算法能有效且自適應的處理多種場景下的紅外圖像。與其他算法進行對比顯示，本算法可降低運算時間，并且在抑制細節層噪聲的同時保留圖像細節信息，達到更好的視覺效果，可實現多場景下自適應紅外圖像增強。