多尺度形態聚焦測量和優化隨機游走的多聚焦圖像融合算法

王長城，周冬明，劉琰煜，謝詩冬

(云南大學 信息學院，云南 昆明 650500)

由于照相機光學透鏡的景深有限，光學鏡頭只能捕捉聚焦在局部場景上的圖像. 因此，只有在景深內的物體是聚焦的、清晰的，而景深外的物體則是模糊的[1]. 然而，部分聚焦的圖像所傳遞的信息是不完備的，因為有意義的對象并沒有全部聚焦在一幅圖像中. 多聚焦圖像融合是解決這一問題的一種有效手段，通過將一系列同一場景具有不同聚焦設置的圖像中的聚焦對象合并來構建一個全聚焦圖像. 近幾十年來，已經提出了許多種用于多聚焦圖像融合的算法，主要分為基于變換域的算法和基于空間域的算法[2].

基于變換域的方法首先產生變換系數，然后根據一定的規則對這些系數進行融合[3]，最后根據這些合成系數重建融合圖像[4]. 基于變換域的方法主要包括拉普拉斯金字塔[5]、非下采樣輪廓波變換[6]、基于多尺度變換和稀疏表示[7]等. 而基于空間域的算法則是通過聚焦測量的方法檢測聚焦的像素，根據生成的決策圖來完成圖像融合. 相對于變換域的算法，這更加直接也更為有效. 一般來說，空間域算法可以分為：基于像素、基于塊和基于區域[8]. 基于像素的算法通常僅考慮單個像素或者使用局部鄰域中的信息，快速簡單且有效. 近幾年比較先進的幾種基于像素的圖像融合方法有：GFF[9], MWGF[10]以及DSIFT[11]等. 這些方法確實能提高融合圖像的視覺效果，但在大多數情況下在生成決策圖的過程中會損失來自源圖像中的原始信息. 在基于塊[12]的算法中，源圖像首先被分解成大小相等的塊，再通過測量相應塊上的聚焦情況來檢測聚焦塊. 這些算法的性能會受到所選塊大小的影響. 基于區域[13]的算法通過使用諸如歸一化切割的圖像分割技術將源圖像分割成幾個區域，然后通過測量相應區域的清晰度并組合聚焦區域來進行圖像融合. 通常分割過程會降低算法的效率，分割精度也會影響融合圖像的最終質量.

本文將常用于圖像平滑的多尺度形態濾波器，改進運用到聚焦檢測中取得了很好的效果. 在圖像聚焦區域與離焦區域的邊界較為復雜情況下，仍然能生成邊界準確的決策圖. 此外，對傳統的隨機游走算法進行了優化，對決策圖進行更優的選擇.

1 算法實現

基于多尺度形態聚焦測量和優化隨機游走的融合算法基本流程圖如圖1所示. 算法由聚焦檢測、決策優化和隨機游走3個部分組成，首先多聚焦圖像通過多尺度形態聚焦檢測生成初始的決策圖，然后利用形態濾波和小塊濾波對初始決策圖中的聚焦區域進行重建優化，最后利用優化后的隨機游走算法生成最優的決策圖.

1.1 多尺度形態聚焦測量在圖像處理中，梯度表示圖像的銳度信息[14]，而形態學梯度算子[15]能很好地提取圖像的梯度信息，并且可以通過改變結構元素[16]的尺寸擴展到多尺度形態學梯度算子，進行濾波處理等多項操作. 同樣，通過利用多尺度形態學梯度算子在不同的尺度上提取圖像的梯度信息[17]，再將這些信息梯度進行整合就成了一個有效的聚焦測量，即為多尺度形態聚焦測量，步驟描述如下.

步驟 1構建好多尺度結構元素.

其中，多尺度結構元素Ej由j個半徑為r的基本結構元素組成；n表示尺度的數目；⊕表示形態梯度算子中的膨脹算子.

在數學形態學中，結構元素是用于提取圖像特征的虛擬工具，不同形狀的結構元素用于提取不同類型的圖像特征. 另外，改變結構元素的大小可以擴展到多尺度，利用這些多尺度結構元素，可以在圖像中提取全面的梯度特征.

步驟 2利用形態梯度算子計算圖像像f(x,y)中尺度為j的梯度特征為

其中，⊕ 和 ⊕ 分別是形態梯度算子中的膨脹算子和腐蝕算子，而在形態學運算當中，形態學梯度等于膨脹算子運算減去腐蝕算子運算.

步驟 3將不同尺度下的形態梯度整合成多尺度形態梯度為

其中，wj為j尺度下梯度的加權值，值為1/(2j+1).通過采用加權和的方式將不同尺度下的形態梯度整合到一起構造多尺度形態梯度. 不同的尺度下分配不同的加權值，尺度j越大，加權值便越小，反之尺度j越小，加權值便越大. 整合的加權梯度圖能很好地表達梯度信息，也能夠清楚有效地傳遞源圖像的聚焦信息[18].

步驟 4將區域內的多尺度形態梯度求和，構建區域的多尺度形態聚焦測量. 由于梯度的總和有助于測量該區域的銳度，同時抑制噪聲[19]，于是利用多尺度形態梯度的總和來描述該區域的聚焦測量為

其中，B表示源圖像塊.

兒科的臨床護理具有特殊性，一方面，患兒普遍年幼，認知和理解能力不足，對疾病的耐受力較差，容易哭鬧、喊叫、抗拒，導致護理工作難以開展。另一方面，家屬通常伴有焦慮、緊張、煩躁、易怒等情緒，很容易因溝通不到位而產生誤會，導致醫療糾紛[1]。針對上述問題，我科將個性化護理模式引入臨床，通過一系列干預提高患兒的臨床依從性，現總結如下。

圖 1 融合算法流程圖Fig. 1 Flow chart of fusion algorithm

在整個多尺度形態梯度測量過程中，還需要設置結構元素的形狀和尺度數值. 結構元素的形狀決定了運算所提取的信號的形狀信息，用不同形狀的結構元素對圖像進行處理就會得到不同的結果.在本文中，我們構建一個平坦的圓形結構元素來獲取局部的圖像特征信息. 此外，尺度數n的設置決定了生成的形態梯度的性能和聚焦測量的效果，如果尺度數值設置較小，則效果不明顯，若設置太大，基于多尺度形態聚焦測量的耗時會比較長，并且會有很大的冗余.在本文中，尺度數值設置的實驗區間為[2,8]，通過多組實驗的對比后發現將尺度n設置為6時，融合圖像的效果最佳.

1.2 決策優化源圖像經過多尺度形態聚焦測量得到了初始的決策圖，但初始的決策圖不太理想，雖然聚焦區域和離焦區域的邊界比較明顯，但檢測的聚焦區域內仍然存在部分識別錯誤的偽區域. 因此，利用兩個連續的濾波器來重建聚焦區域,對初始決策圖進行優化.

源圖像經各處理步驟后產生的決策圖如圖2所示，圖2（a）為多尺度形態聚焦測量產生的初始決策圖，圖中存在部分識別錯誤的偽區域，圖2（b）為經過多尺度形態濾波后的決策圖，即利用小圓盤形狀的結構元素對檢測到的聚焦區域進行開閉運算處理，對初始決策圖中的聚焦區域進行微小調整. 通過這種處理方式消除如圖2（a）所示檢測區域內的細線和毛刺，平滑聚焦區域的連接部分，并且將附近區域組合為整個區域，實現對檢測區域的優化調整. 形態濾波處理后，從圖2（b）中可以較明顯地看到一些細線、毛刺狀的微小區域得到了調整.

但是決策圖的檢測區域內存在的小塊孤立區域并沒有太大的變化，因此為了優化決策圖，小塊濾波器來被用來重建檢測區域，將聚焦區域中的小孔進行填充或者刪除小的孤立區域. 小塊濾波的原理是基于小塊孤立區域面積與設定的閾值的比較，如果面積小于設定的閾值則判定為孤立區域進而被濾除. 在本文中，實驗的閾值區間是[1/60,1/20]，實驗過程中閾值過高或過低都會影響濾除效果，多組實驗后發現將閾值設定為圖像面積的1/40時能有效地去除小的孤立區域，使得最終檢測到的聚焦區域的一致性變得更好. 圖2（c）是經過小塊濾波后的決策圖，與圖2（b）相比可以明顯看到濾除了小塊的孤立區域，同時聚焦與離焦區域邊界整體更清晰明了.

圖 2 各流程后的決策圖Fig. 2 Decision map after each process

1.3 隨機游走算法隨機游走算法實質上是計算一個隨機游走的人從一個像素點開始游走，最后到達標簽下的一個種子的到達概率，然后將該像素與種子集中有最大到達概率的相應種子標記為相同的標簽[20]. 把多尺度形態梯度聚焦測量得到的兩幅決策圖看成是來自源圖像的兩個不同的觀測結果，因為這兩個觀測結果具備互補的性質，所以使得決策圖通過隨機游走算法估計后，可以得到效果更好更全面的決策圖.

使用一個包含頂點的圖表示隨機游走算法，如圖3所示. 在圖3中，假定以多尺度形態聚焦測量生成的兩幅決策圖為估計的已知先驗，這兩個先驗可以作為標記種子被包括在增強圖中，即S1代表源圖像1產生的決策圖，S2代表源圖像2產生的決策圖. 運用上述增廣圖，先驗可以被自然編碼到隨機行走的框架中，以構建多標簽隨機游走算法. 估計決策圖中的每個像素由圖中的節點xi表示，在估計從每個節點開始首先到達兩個種子之一的概率時，如果一個種子首先到達的概率較高，則表示該像素與該種子(例如S1)有更大的可能相關聯.

此外，在圖中還需要分配兩種類型的權重：一種是節點與節點之間相互連接邊的權重wij， 它模擬節點xi與節點xj之間的相似性；還有一種則是節點與種子相互連接邊的權重hik(k=1,2)，它模擬節點xi與種子Sk之間的相似性. 這些權重對于隨機游走來說是比較重要的，因為它們從實質上確定了從相鄰節點穿過相應邊緣最終到達標記種子的概率. 像許多其他隨機行走算法一樣，圖像域上的權重wij可以使用典型的高斯加權函數來定義，相鄰像素之間的相似性表示為

圖 3 隨機游走算法的圖表模型Fig. 3 A graph model of the random walk algorithm

其中，g表示源圖像，σ在文中設為 0.2. 令表示隨機游走從每個節點xi(i=1,2,···,N) 首次到達標記的種子Sk的概率，表示隨機游走從節點中確定到達兩個種子中的其中一個的概率. 我們把放到一個量中

在最近研究中發現隨機游走與電勢理論有緊密的聯系，在適當的仿真條件下，求解節點首次到達種子的概率可以表示為電路各節點電位的分布[21].因此，系統的總能量為

LX能夠寫成如下的表達形式：

其中，Ni表示圖像域中第i個像素的4個相鄰像素，設置 ?Jk=0，這樣相對于使得能量函數有最小值. 可以得到

式(12)能夠最小化能量函數

我們利用以上方法對決策圖實現隨機游走，圖4為隨機游走算法優化前后的最終決策圖的對比，圖4(a)為源圖像，圖4(b)為未經優化的隨機游走算法選取生成的最終決策圖，圖4(c)則是優化的隨機游走算法選取的最終決策圖. 從圖 4(b)、4(c)看，圖4(c)中圖的整體輪廓要比圖4(b)要更加流暢，與源圖像中模糊和清晰的邊界更加吻合，能生成更準確的融合圖像. 此外，在實驗的過程中發現，未優化的隨機游走算法效果不穩定，一旦在處理邊界較為復雜的圖像時，選取生成的決策圖效果不佳，而優化后的隨機游走算法則更加穩定，整體性能優異.

2 實驗結果與分析

從公共多聚焦圖像數據集中的20組選取4組進行實驗，并將所提出的算法同其他算法進行對比，其中有基于變換域的圖像融合方法：NSCT[6]、CRF[23]和DCHWT[24]，以及基于空間域的圖像融合方法：GFF[9]、CBF[25]、CNN[26]和 MWGF[10].

圖 4 優化前后隨機游走算法選取的決策圖Fig. 4 Decision diagram selected by the random walk algorithm before and after optimization

圖 5 “高爾夫”實驗圖像集融合結果Fig. 5 Fusion results of "Golf" experimental image set

圖5展示了“高爾夫”實驗圖像集各方法融合結果，圖5(a)和圖5(b)為源圖像. 圖5(c)融合圖像清晰程度較高，但球棍與邊界區域交界處有輕微的虛化. 圖5(d)融合后的圖像效果較佳，人物與背景的邊緣區域卻仍存在輕微的偽影. 圖5(e)，圖5(g)和圖5(i)的局部放大區域中高爾夫球已近乎虛化，球棍與背景草地交界的區域偽影嚴重，未能很好地融合源圖像里的圖像信息. 圖5(f)整體效果融合較好，但是存在部分小區域比較模糊的情況. 圖5(h)圖像整體融合的效果較好，但還是能夠觀察到小部分區域邊界及紋理等細節信息有缺失. 圖5(j)融合圖像無論是人物還是背景對比源圖像可以發現有很好的融合效果，融合圖像整體清晰，很好地保留了源圖像的邊緣和細節信息.

圖6為可視化了“潛水員”實驗圖像集各方法融合結果. 圖6(c)中潛水器的黃色圖標比起源圖像圖6(a)中的要更模糊一些. 圖6(d)中在鏡框下方區域與背景的邊界區域存在小塊的模糊. 圖6(e)中潛水器黃色標志下的區域存在著偽影，這部分區域丟失了源圖像的細節信息. 圖6(f)中人物鏡框下方與嘴唇上方區域與背景的邊緣區域仍然是比較模糊的. 圖6(g)整體清晰程度不高，人物部分相較源圖像圖6(a)更加模糊，圖像亮度有不正常的提升.圖6(h)中潛水器上方有一塊黑色的不正常加深，整體看起來比較突兀，并且下方的衣服區域清晰程度不高. 圖6(i)中潛水器的黃色標志相較于圖6(a)稍顯模糊. 圖6(j)則整體融合效果較佳，前面幾種融合方法所出現的融合瑕疵在圖6(j)中并沒有表現出來，很好地融合了來自源圖像中的細節信息.

圖7是“小孩”實驗圖像集各方法融合結果.圖7(c)中小男孩的五官比起圖7(a)清晰程度要低一些，并且衣領區域存在小塊的模糊區域. 圖7(d)整體融合效果較佳，但小男孩帽檐與背景的邊界區域有淡的偽影. 圖7(e)中小男孩右眼與圖像邊緣的區域存在有模糊的小塊，丟失了來自源圖像的細節和紋理信息. 圖7(f)中前面小男孩的耳朵與衣領那一塊小區域仍然是模糊的. 圖7(g)整體融合效果較差，整體清晰程度相較其他的融合方法要低. 圖7(h)中小男孩衣領區域有小塊稍顯模糊的區域. 圖7(i)小男孩的面部清晰程度并不高，對比圖7(a)無論是頭發還是眼睛區域都要看著更模糊一些. 圖7(j)圖像融合效果較佳，小男孩耳朵區域與衣領區域融合較好，并未有模糊的情況，背景區域也清晰，整體效果很好.

圖 6 “潛水員”實驗圖像集融合結果Fig. 6 Fusion results of "Diver" experimental image set

圖 7 “小孩”實驗圖像集融合結果Fig. 7 Fusion results of "Kid" experimental image set

圖8是“城堡”實驗圖像集的融合圖像結果. 圖8(c)里欄桿的兩邊沿著欄桿的邊界都有小塊模糊的區域. 圖8(d)整體融合效果較差，在欄桿相交的十字區域欄桿的邊界出現一層偽影，欄桿區域邊界與背景城堡整體融合得比較差，呈現效果模糊. 圖8(e)同樣在十字交叉區域出現有淡淡地偽影. 圖8(f)欄桿左下區域有一塊模糊的區域，融合圖像并沒有很好地融合來自源圖像中的細節信息. 圖8(g)整體都是模糊的，無論是背景的城堡還是前景的欄桿區域相較于其他融合圖像，可以肉眼觀察到差異. 圖8(h)里可以看到只融合了源圖像8(b)里的城堡區域，右上的森林區域并沒有融合. 圖8(i)同樣存在邊界區域模糊的情況，左下森林區域并沒有很好地融合來自源圖像里的信息. 圖8(j)相比較前幾張融合圖像，欄桿區域與背景城堡融合效果較好，沒有出現偽影，并且背景森林也融合的不錯，整體呈現效果較優.

為了更加全面的評價各種融合算法的性能，除了視覺上的主觀評價，還需有客觀評價，在本文中采用了平均梯度(AVG)、交叉熵(SEN)、標準差(STD)、視覺信息保真度(VIF)、基于像素的視覺信息保真度(VIFP)、信息保真度準則(IFC)、互信息(MIN)和QABF等8個客觀評價指標對這4組融合圖像進行定量分析. 在這4組客觀評價指標表中，我們可以清楚地看到本文方法與其他7種方法在各個指標上直觀的對比，在表1中，本文方法在8項指標評估中均優于其他方法，表2和表3中，本文方法在8項指標上有6項優于其它方法，剩下的兩個指標也僅僅以非常微小的差距低于其它兩項方法，排在第2. 在表4中，本文方法在各項指標上表現優異，領先明顯. 表5是4組實驗客觀評價指標的平均值，從表中可以看出提出的方法領先優勢明顯. 實驗結果表明：提出方法所融合的多聚焦圖像與其他的融合算法所融合的圖像相比，融合圖像背景細節更為豐富，能更多地保留源圖像中的細節信息，無論是主觀評價還是客觀評價都要優于其他算法.

圖 8 “城堡”實驗圖像集融合結果Fig. 8 Fusion results of "Castle" experimental image set

表 1 “高爾夫”實驗圖像集融合結果的客觀評價指標Tab. 1 Objective evaluation index of fusion results of "Golf" experimental image set

表 2 “潛水員”實驗圖像集融合結果的客觀評價指標Tab. 2 Objective evaluation index of fusion results of "Diver" experimental image set

表 3 “小孩”實驗圖像集融合結果的客觀評價指標Tab. 3 Objective evaluation index of the fusion results of "Kid" experimental image set

表 4 “城堡”實驗圖像集融合結果的客觀評價指標Tab. 4 Objective evaluation index of fusion results of "Castle" experimental image set

表 5 4 組實驗客觀融合評價指標的平均值Tab. 5 The average value of objective evaluation index of four groups of experiments

3 結語

本文介紹了一種基于空間域的多尺度形態聚焦測量和優化隨機游走算法的多聚焦圖像融合方法，該方法將多尺度形態運算和優化后的隨機游走相結合，有效地實現了圖像融合. 盡管與其他方法相比要更出色，之后也會嘗試與深度學習相結合，通過更多的訓練學習以期得到更先進的圖像融合方法.