基于深度學習的圖像融合方法綜述

唐霖峰，張浩，徐涵，馬佳義

武漢大學電子信息學院，武漢 430072

0 引 言

由于成像設備硬件限制，單一類型或單一設置下的傳感器通常無法全面地表征成像場景(Liu等，2018；Zhang等，2021b)。例如可見光圖像通常包含豐富的紋理細節信息，但卻容易遭受極端環境和遮擋的影響而丟失場景中的目標。與之相反，紅外傳感器通過捕獲物體散發的熱輻射信息成像，能夠有效地突出行人、車輛等顯著目標，但是缺乏對場景的細節描述(Ma等，2019a)。此外，具有不同ISO(international organization for standardization)和曝光時間的相機只能捕捉在其動態范圍內的場景信息，而不可避免地丟失動態范圍之外的信息。值得注意的是，不同類型或不同光學設置下的傳感器通常包含大量互補信息，這也啟發人們將這些互補信息集成到單一的圖像中。因此，圖像融合技術應運而生。

根據成像設備/成像設置的差異，圖像融合通?？梢苑譃?類，即多模圖像融合、數字攝影圖像融合和遙感影像融合。

1)多模圖像融合。由于成像原理的限制，單一類型的傳感器只能捕獲部分場景信息。多模圖像融合能夠將多個傳感器捕獲的有用信息整合到單幅的融合圖像中，以實現對場景有效且全面地表征。典型的多模圖像融合包括紅外和可見光圖像融合以及醫學圖像融合。

2)數字攝影圖像融合。由于光學器件的限制，數碼相機通常無法在單一設置下收集成像場景中的所有信息。具體來說，數碼相機拍攝的圖像通常只能適應一定范圍的光照變化，并且只能清晰地呈現在預定義景深中的場景。多曝光圖像融合和多聚焦圖像融合作為數字攝影圖像融合中典型的任務能夠將不同設置下拍攝的圖像進行融合，并生成高動態范圍、全聚焦的融合圖像。

3)遙感影像融合。在保證信噪比的前提下，光譜與瞬時視場(instantaneous field of view，IFOV)是相互矛盾的(Zhang等，2021b)。這意味著，僅依靠一種傳感器無法同時捕獲高空間分辨率、高光譜分辨率的圖像。遙感影像融合旨在將空間分辨率和光譜分辨率不同的圖像進行融合，得到一幅高空間分辨率和高光譜分辨率兼備的融合圖像。多光譜與全色圖像融合是最具有代表性的遙感影像融合場景。從源圖像的成像角度來看，遙感影像融合也屬于多模圖像融合。但是遙感影像融合相較于多模圖像融合需要更高的空間和光譜保真度來提升分辨率。因此本文將遙感影像融合作為一個獨立的范疇來討論。

這3種圖像融合場景示意圖如圖1所示。融合圖像能夠吸收源圖像中的互補特性，并具有更好的場景表達和視覺感知效果，從而能夠有效地促進諸如目標檢測(Cao等，2019)、語義分割(Tang等，2022a)、場景感知(Zhang和Ji，2005)、臨床診斷(Bhatnagar等，2013)和遙感監測(Zhang等，2020a)等實際計算機視覺應用。

圖1 各類圖像融合場景示意圖

在深度學習席卷計算機視覺領域之前，圖像融合問題已經得到了深入研究。傳統的圖像融合算法通常是在空間域或變換域(通過某種數學變換將圖像轉換至變換域)執行活動水平測量并手動設計融合規則來實現圖像融合(Ma等，2019a)。經典的傳統圖像融合框架主要包括基于多尺度變換的融合框架(Liu等，2014；Zhang和Maldague，2016；殷明 等，2016；Liu等，2017a；樓建強 等，2017；焦姣和吳玲達，2019；Chen等，2020；Li等，2020b；霍星 等，2021)、基于稀疏表示的融合框架(李奕和吳小俊，2014；Liu等，2016；楊培 等，2021)、基于子空間的融合框架(Cvejic等，2007；Mou等，2013；Fu等，2016)、基于顯著性的融合框架(Ma等，2017；霍星 等，2021；楊培 等，2021)、基于變分模型的融合框架(馬寧 等，2013；周雨薇 等，2015；Ma等，2016)等。盡管現有的傳統圖像融合算法在多數情況下能夠產生較為滿意的結果，但是仍然存在一些阻礙其進一步發展的難題。首先，現有的方法通常使用相同的變換或表示從源圖像中提取特征，卻沒能考慮不同源圖像存在本質差異。其次，手工設計的活動水平測量和融合規則無法適應復雜的融合場景，而且為了追求更好的融合性能，活動水平測量和融合規則的設計變得越來越復雜(Li等，2017)。

近年來，深度學習以其強大的特征提取和表達能力主導了計算機視覺領域的發展，并在諸如圖像分類(He等，2016；Huang等，2017)、目標檢測(Redmon等，2016；Ren等，2017)和語義分割(Ronneberger等，2015；Chen等，2018)等視覺任務上展現了顯著的性能優勢。為了克服傳統算法的不足，圖像融合領域的研究者也探索了大量基于深度學習的圖像融合算法?，F有基于深度學習的圖像融合算法主要致力于解決圖像融合中3個關鍵問題：特征提取、特征融合和圖像重建。根據采用的網絡架構，基于深度學習的圖像融合算法可分為基于自編碼器(auto-encoder, AE)的圖像融合框架、基于卷積神經網絡(convolutional neural network，CNN)的圖像融合框架和基于生成對抗網絡(generative adversarial network，GAN)的圖像融合框架3類。圖2展示了這3類圖像融合框架的整體流程。

圖2 不同圖像融合框架示意圖

1)基于自編碼器(AE)的圖像融合框架首先在大型數據集上預訓練一個自編碼器，用來實現特征提取和圖像重建。例如MS-COCO(Microsoft common objects in context)數據集(Lin等，2014)、ImageNet數據集(Deng等，2009)。然后采用手工設計的融合策略來整合從不同源圖像中提取的深度特征以實現圖像融合(Li和Wu，2019；Li等，2020a)，然而這些手工設計的融合策略并不一定適用于深度特征，從而限制了基于AE的融合框架的性能。

2)基于卷積神經網絡(CNN)的圖像融合框架通過設計網絡結構和損失函數來實現端到端的特征提取、特征融合和圖像重建，從而避免手動設計融合規則的煩瑣(Ma等，2021c)。圖2(b)是一種主流的基于CNN的圖像融合框架，通過度量融合圖像與源圖像之間的相似性來構造損失函數，指導網絡進行端到端訓練(Han等，2022)。也有方法利用先驗知識設計一個偽標簽圖像與融合圖像構造損失函數(Deng等，2021)。此外，有部分基于CNN的方法將卷積神經網絡作為整體方法的一部分用于特征提取或活動水平測量(Liu等，2017c)。

3)基于生成對抗網絡(GAN)的圖像融合框架將圖像融合問題建模為生成器與判別器之間的對抗博弈問題。如圖2(c)所示，基于GAN的圖像融合框架通過判別器來迫使生成器生成的融合結果在概率分布上與目標分布趨于一致，從而隱式地實現特征提取、融合和圖像重建?，F有基于GAN的融合方法通過源圖像(Ma等，2020c)或者偽標簽圖像(Xu等，2020b)來構造目標分布。

根據訓練過程中使用的監督范式，基于深度學習的圖像融合算法還可分為無監督圖像融合框架、自監督圖像融合框架和有監督圖像融合框架。

本文根據網絡架構并輔以監督范式，全面系統地闡述基于深度學習的多模圖像融合、數字攝影圖像融合以及遙感影像融合的研究進展，以便人們能夠更好地掌握深度圖像融合領域的研究現狀。本文結構框架如圖3所示。首先結合網絡架構和監督范式，討論3大融合場景中有代表性的基于深度學習的方法以及通用的圖像融合算法。然后簡要介紹不同融合任務中的數據集和評估指標，并對有代表性的算法進行全面評估分析。最后，對全文進行總結，并結合圖像融合中存在的挑戰提出展望。

圖3 本文結構框架

1 方法回顧

1.1 多模圖像融合

多模圖像融合旨在通過整合不同傳感器捕獲的互補信息來全面地表征成像場景，典型的多模圖像融合任務主要包括紅外和可見光圖像融合以及醫學圖像融合。

1.1.1 紅外和可見光圖像融合

紅外傳感器通過捕獲物體的熱輻射信息成像，即使在極端條件、惡劣天氣及部分遮擋情況下也能夠有效地突出顯著目標。但是紅外圖像無法提供足夠的環境信息，如紋理細節、環境照明等。與之相反，可見光傳感器通過收集物體表面的反射光成像，因此可見光圖像包含豐富的紋理細節信息并更加符合人類的視覺感知。紅外和可見光圖像融合旨在整合源圖像中的互補信息，并生成既能突出顯著目標又包含豐富紋理細節的高對比度融合圖像(Zhang等，2020c)，主要包括基于AE、基于CNN和基于GAN的紅外和可見光圖像融合框架。

基于AE的方法首先在大規模自然圖像數據集上訓練一個自編碼器，然后預訓練的編碼網絡和解碼網絡分別用于實現特征提取與圖像重建，最后一般使用手工設計的融合策略融合編碼網絡提取的深度特征來實現圖像融合。為了強化編碼網絡提取特征的能力，Li和Wu(2019)、Li等人(2020a，2021a)和王建中等人(2021)在基于AE的圖像融合框架中引入了密集連接、蜂巢連接以及殘差密集塊。此外，Liu等人(2022b)、Jian等人(2021)和俞利新等人(2022)在基于AE的融合框架中引入注意力機制，使網絡能夠更加關注顯著目標以及紋理細節信息。為了提取更具可解釋性的深度特征，Xu等人(2021b)將解離化表征學習注入到了基于AE的圖像融合框架中。值得一提的是，上述算法均采用手工設計的融合策略(例如逐像素相加、逐像素加權求和以及最大選擇策略)融合深度特征，在傳統方法中取得了不錯的融合效果，但是深度特征通常具有不可解釋性，因此手工設計的融合策略無法為深度特征分配恰當的權重，以至于限制了這類算法的性能提升。Xu等人(2021c)基于像素級顯著性和可解釋重要性評估，提出一種可學習的融合策略，能夠根據深度特征的重要性和顯著性，為不同源圖像的特征分配恰當的權重，自適應地融合這些深度特征，進而賦予深度融合算法更強的可解釋性。然而，計算像素級顯著性以及執行重要性評估十分耗時。所以，進一步研究實時的可學習融合策略將是未來基于AE的圖像融合框架下的研究熱點之一。

基于CNN的端到端圖像融合框架是另一種避免手動設計融合規則弊端的技術路線。這類方法通常依靠設計的網絡結構和損失函數隱式地實現特征提取、特征融合和圖像重建。一方面，人們提出聚合殘差密集網絡(Long等，2021)、基于雙注意力的特征融合模塊(Li等，2021d)、梯度殘差密集塊(Tang等，2022a)、SE(squeeze-and-excitation)融合模塊(陳國洋 等，2022)和跨模差分感知融合模塊(Tang等，2022b)等網絡結構來提升融合性能，但這些網絡結構通常會增加網絡復雜度，從而影響方法的運行效率。Liu等人(2021b)提出一種基于網絡架構搜索的圖像融合方法，能夠針對不同融合任務的特點，自適應地構造高效且有效的特征提取、特征融合以及圖像重建網絡。另一方面，人們使用強度損失、梯度損失、結構相似性度量(structural similarity index measure, SSIM)損失、感知損失、對比度損失以及語義損失等損失函數從不同層面約束融合圖像與源圖像的相似性。值得一提的是，Li等人(2021b)結合元學習實現了不同分辨率條件下，只需重新訓練一個學習模型便能生成任意大小的融合結果。此外，Tang等人(2022a)結合高層視覺任務(目標檢測、語義分割等)的需求，提出一種高層視覺任務驅動的圖像融合框架(SeAFusion)來集成盡可能多的語義信息，以提升高層視覺任務在融合圖像上的性能。盡管SeAFusion(Tang等，2022a)在建模融合問題的過程中考慮了高層視覺任務的需求，但是作為初步的嘗試只考慮了在損失函數上的改進。如何以一種更加自洽的方式探索圖像融合問題與高層視覺任務之間的內在聯系將是未來圖像融合領域的發展趨勢之一。

生成對抗網絡(Goodfellow等，2014)在沒有監督信息的情形下也能夠有效地建模數據分布，該特性非常符合紅外和可見光圖像融合的需求。Ma等人(2019b)在FusionGAN中首次將圖像融合問題定義為生成器與判別器之間的對抗博弈。具體來說，生成器負責捕獲源圖像樣本中的潛在分布，并將這些分布特性充分集成到融合圖像中。判別器負責從分布上判別輸入的是源圖像還是融合圖像，從而迫使生成器合成的融合結果盡可能多地包含源圖像的分布特性。在FusionGAN之后，細節損失、邊緣增強損失(Ma等，2020b)、密集連接塊(Fu等，2021b)、視覺顯著性圖(周祎楠和楊曉敏，2021)、條件GAN(Ma等，2020c)、Patch-GAN(Zhang等，2021c)、多分類生成對抗網絡(Ma 等，2021d)、聚合紋理圖以及引導濾波器(Yang等，2021a)等新穎的損失和網絡相繼引入到基于GAN的融合框架中，進一步提升了融合性能。然而單判別器容易在訓練過程中造成模態失衡，導致融合結果無法保持紅外圖像的對比度或可見光圖像中的紋理細節信息。Xu等人(2019)和Ma等人(2020c)提出利用雙判別器維持不同模態間的信息平衡，并更好地約束融合結果的概率分布。在此基礎上，Li等人(2021c，d)將注意力機制注入到基于GAN的圖像融合框架中，以促使生成器和判別器更關注那些重要區域。類似于SeAFusion，Zhou等人(2021)將語義標簽引入到基于GAN的圖像融合框架中，從而迫使生成器保留更多的語義信息。盡管基于GAN的圖像融合算法能夠生成較好的融合結果，但如何在訓練過程中維持生成器與判別器的平衡仍值得深入研究。

基于深度學習的多模圖像融合算法歸納如表1所示。

表1 多模圖像融合研究歸納

1.1.2 醫學圖像融合

根據源圖像表征的信息，醫學影像可以分為結構圖像和功能圖像兩大類。結構圖像主要提供結構和解剖信息。例如，CT(computed tomography)圖像可以很好地反映骨頭和植入物等密質結構，MRI(magnetic resonance imaging)圖像能夠提供軟組織的相關信息。功能圖像主要包括PET(positron emission tomography)圖像和SPECT(single-photon emission computed tomography)圖像。PET圖像表征腫瘤的功能和代謝，SPECT圖像則反映組織器官和血流情況(Liu等，2017b；Xu和Ma，2021)。此外，綠色熒光蛋白(green fluorescent protein，GFP)圖像能夠反映與生物細胞分子分布相關的功能信息并展現細胞中的蛋白質分布。而高分辨率的相襯(phase contrast, PC)圖像能夠清晰地展現包括細胞核和線粒體在內的亞細胞結構信息(Tang等，2021)。醫學圖像融合旨在將多幅不同類型圖像中重要的、互補的信息整合到一幅信息豐富的融合圖像中，幫助醫生快速準確地診斷疾病。本文通過基于CNN和基于GAN的圖像融合框架介紹深度學習背景下醫學圖像融合的研究進展。

最初，基于CNN的醫學圖像融合方法只利用卷積神經網絡實現活動水平測量或特征提取。一方面，部分方法基于拉普拉斯金字塔(Liu等，2017b)或對比度金字塔(Wang等，2020)實現圖像分解和重建，然后使用暹羅卷積神經網絡度量源圖像的像素活動水平并生成融合權重圖；另一方面，一些方法(Lahoud和Süsstrunk，2019)采用預訓練的卷積神經網絡從源圖像中提取深度特征，并利用高斯濾波器融合這些深度特征來獲得融合圖像，然而采用的網絡并未在醫學圖像上進行預訓練，因而無法有效捕獲不同類型醫學圖像中的特性?；诖?，人們提出了基于CNN的端到端醫學圖像融合算法(Liang等，2019；Fu等，2021a)。類似于基于CNN的紅外和可見光圖像融合方法，基于CNN的醫學圖像融合算法也通過精心設計網絡結構和損失函數，以端到端的方式實現特征提取、融合以及圖像重建。具體來說，Tang等人(2021)提出了由結構引導的功能特征提取分支、功能引導的結構特征提取分支以及細節保留模塊組成的細節保留交叉網絡(detail preserving cross network，DPCN)，實現端到端的GFP和PC圖像融合。另外，Xu和Ma(2021)提出的無監督的端到端醫學圖像融合方法(enhanced medical image fusion network，EMFusion)能夠通過施加表層約束和深層約束，實現信息增強以及互補信息聚合。

基于GAN的方法通過對抗學習將醫學圖像中重要信息的潛在分布進行建模，如功能圖像中的強度分布和結構圖像中的空間紋理細節等。GFPPC-GAN(green fluorescent protein and phase-contrast image fusion via generative adversarial networks)(Tang等，2019)首次將生成對抗網絡引入到醫學圖像融合任務中，并設計了基于融合圖像與PC圖像之間的對抗學習來強化生成網絡對結構信息保存的能力。此外，Zhao等人(2021a)將密集連接和編—解碼結構注入到基于GAN的醫學圖像融合框架中，并設計了細節損失和結構相似度損失來強化生成網絡對功能信息和邊緣細節的提取能力，然而單個判別器無法在對抗過程中有效維持結構信息與功能信息的平衡。Ma等人(2020c)提出一個多判別器的條件對抗網絡(dual-discriminator conditional generative adversarial network，DDcGAN)，用于實現更加平衡的信息融合。具體來說，DDcGAN通過建立單個生成器與多個判別器的對抗博弈，促使生成網絡同時捕獲源圖像中的功能信息和紋理細節。在此基礎上，Huang等人(2020a)進一步設計了一個多生成器多判別器的生成對抗網絡(multi-generator multi-discriminator conditional generative adversarial network，MGMDcGAN)，在更加平衡地融合互補信息的同時，實現跨分辨率醫學圖像融合。盡管引入多個生成器和判別器能夠提升融合網絡的性能和功能，但有可能導致訓練不穩定問題以及模式坍塌。

1.2 數字攝影圖像融合

數字成像設備首先利用光學鏡頭捕獲反射光，然后通過CCD(charge-coupled device)和CMOS(complementary metal oxide semiconductor)等元件記錄場景信息，但是由于動態范圍有限，CCD和CMOS等元件無法承受過大的曝光差異。因此，在曝光差異過大時，單幅圖像無法準確呈現場景中的所有細節信息。此外，受光學鏡頭景深限制的影響，數碼相機很難在一幅圖像內保證場景中所有目標都在景深范圍內。然而只有在景深范圍內的物體才能在圖像中清晰地呈現，景深外的物體將變得模糊不清。數字攝影圖像融合旨在將不同光學設置下拍攝的多幅圖像組合在一起，并生成具有高動態范圍的全聚焦圖像，這是解決上述難題的不二之選。

1.2.1 多曝光圖像融合

通常成像場景中存在較大的光照變化，此時由于傳感器捕獲的動態范圍有限，單一光學設置下拍攝的數字圖像會因過度曝光或曝光不足而不可避免地丟失場景信息。多曝光圖像融合能夠將不同曝光程度圖像中的有效信息整合起來并產生曝光合適、場景信息豐富的融合圖像。本文通過介紹基于CNN和基于GAN的多曝光圖像融合框架，回顧基于深度學習的多曝光圖像融合的發展。

基于CNN的多曝光圖像融合算法在損失函數的指導下，利用卷積神經網絡直接學習多幅曝光不同的源圖像到正常曝光圖像的映射關系。根據是否使用監督信息，這類算法可以進一步分為有監督方案和無監督方案。有監督方案通常使用手動挑選的良好曝光圖像作為監督信息指導融合網絡的訓練(Pan等，2020；Deng等，2021)。值得強調的是，Deng等人(2021)設計的深度反饋網絡能夠將多曝光圖像融合與圖像超分問題統一建模到一個框架中，在校正圖像曝光水平的同時提升融合圖像的分辨率。然而人工挑選正常曝光圖像是非常主觀的，會不可避免地為這類技術方案設置性能上限。為了避免人工挑選正常曝光圖像帶來的弊端，無監督多曝光圖像融合方法受到廣泛關注。無監督方案一般利用非參考指標(例如MEF-SSIM(multi-exposure fusion-structural similarity index))衡量融合結果的質量來構造損失函數，并引導融合網絡生成高質量的正常曝光圖像(Prabhakar等，2017；Ma等，2020d；Qi等，2021)。DeepFuse(Prabhakar等，2017)是首次提出的這類方法，在MEF-SSIM損失的指導下，利用簡單的5層網絡學習多曝光輸入到單幅融合圖像的映射關系?？紤]到簡單的網絡無法提取深層語義特征，人們將一些新穎的學習方式如深度強化學習(Yin等，2022)以及網絡架構如Transformer(Qu 等，2022)引入到多曝光圖像融合任務中，進一步提升融合性能。與上述技術路線不同，Ma等人(2020d)提出上下文聚合網絡(MEF-Net)來學習不同源圖像的權重圖，最后對源圖像進行加權求和生成最終的融合結果。然而僅在像素層面對源圖像進行線性加權會不可避免地在融合結果中引入偽影，因此在精心設計的損失函數的指導下，直接學習輸入圖像到融合結果的映射關系仍然是無監督方案的主流思想。然而MEF-SSIM度量指標只能衡量融合圖像的對比度和結構信息，忽略了融合圖像的色彩信息。所以上述方法的重心更多在于校正源圖像的曝光水平，對于色彩信息只能采用簡單方式處理。事實上，恰當的色彩對于提升數字圖像的視覺效果尤為重要。對此，DPE-MEF(multi-exposure image fusion via deep perceptual enhancement)將視覺真實性納入多曝光圖像融合問題的建模過程中，并設計了兩個獨立的模塊，分別負責內容細節信息收集和融合圖像的色彩校正(Han等，2022)。值得注意的是，無監督方案的融合性能很大程度上取決于采用的非參考指標能否有效且全面地表征融合結果的質量。因此，研究一種能更加全面表征融合圖像質量的評估指標是進一步提升融合效果的關鍵之一。此外，如何使融合網絡自適應感知正常的曝光水平也是未來的研究思路之一。

基于GAN的多曝光圖像融合算法將曝光條件建模為概率分布，通過對抗學習使融合結果的曝光水平趨于正常。因此，這類技術路線的關鍵在于如何構造目標分布來引導對抗學習。類似于基于CNN的方法，基于GAN的方法也分為有監督方案和無監督方案。其中，無監督方案將生成器輸出的融合圖像與手動挑選的偽標簽圖像(一般來自MEF數據集(Cai等，2018)，標簽圖像是基于13種多曝光融合和基于堆棧的高動態范圍算法挑選的)構造基于曝光分布的對抗博弈，使生成網絡產生與偽標簽圖像具有近似曝光分布的融合結果(Xu等，2020b；Yin等，2022；Liu等，2022c)。在這類方法中，MEF-GAN(Xu等，2020b)引入了自注意力模塊和局部細節模塊來強化生成器對細節信息的提取和保留能力。而AGAL(attention-guided global-local adversarial learning)則通過由粗至精的方式實現極端曝光條件下的圖像融合，并設計了一個全局與局部相結合的判別器來平衡融合圖像的像素強度分布并校正色彩失真。但這類技術方案利用手動挑選的偽標簽圖像作為監督信息，往往面臨性能受限的困境。為此，Yang等人(2021b)提出一種基于GAN的無監督多曝光圖像融合方法，通過引入差分相關性之和(sum of correlation differences, SCD)損失，從信息組合的角度構造了融合圖像與源圖像之間的對抗博弈，認為融合圖像與源圖像的差分結果能夠表征另一幅源圖像的分布。盡管這樣構造的對抗模型能夠約束生成器保留盡可能多的信息，但這是基于融合圖像是兩幅源圖像之和這樣一個不準確的假設而實現的，因此研究如何有效利用源圖像中的先驗信息(如曝光條件、場景結構)來建立無監督對抗模型將是實現高質量多曝光圖像融合的良好選擇之一。

1.2.2 多聚焦圖像融合

由于光學鏡頭的局限性，單一光學設置下的數碼相機很難將不同景深下的物體都集中在一幅圖像中(Zhang，2022)。多聚焦圖像融合能夠將不同聚焦區域的圖像進行組合并生成全聚焦的融合圖像?；贑NN和基于GAN的融合框架是兩種主流的多聚焦圖像融合框架。此外，由于多聚焦圖像融合可以看做是清晰像素的選擇問題，因此上述框架還可以進一步劃分為基于決策圖的方案和基于整體重建的方案。

基于決策圖的CNN方法本質上是學習一個能夠確定每個像素聚焦與否的二值分類器，然后進一步修正分類結果以生成融合決策圖，最后根據融合決策圖對源圖像中的每一個像素進行選擇組合來生成全聚焦的融合圖像。這類方案通常使用高斯模糊核構造訓練二值分類器的數據集并利用一致性驗證(Liu等，2017c)、形態學開閉算子(Yang等，2019)、高斯濾波器、保邊濾波器(Ma等，2021a)和條件隨機場(Xiao等，2021a，b)等技術作為后處理來得到最終的融合決策圖。其中，Xiao等人(2021a)將基于離散切比雪夫矩的深度神經網絡引入到這類技術方案中，實現實時的多聚焦圖像融合。但是上述方案通常需要使用手工設計的后處理操作來進一步修正神經網絡輸出的聚焦圖，而無法實現端到端的圖像融合。為了避免煩瑣的后處理過程，Amin-Naji等人(2019)提出一種基于集成學習的方法，通過組合不同模型的決策圖直接得到最終決策圖。類似地，D2MFIF(depth-distilled multi-focus image fusion)將深度信息納入到聚焦圖的估計過程中，并提出一個直接從源圖像估計決策圖的深度蒸餾模型。除了利用高斯核構造訓練數據外，Li等人(2020c)和Ma等人(2021b)提出利用二值掩膜來構造訓練數據，并引入梯度損失來引導融合網絡生成清晰的全聚焦圖像。然而基于高斯模糊核或二值掩膜構造的訓練數據集均無法模擬多聚集圖像真實的成像方式，特別是這兩種方法都沒有考慮現實世界中多聚焦圖像存在的散焦擴散效應。Ma等人(2020a)提出一種α-啞光邊界散焦模型，用于精確模擬散焦擴散效應并生成更加逼真的訓練數據。Xu等人(2020c)設計了一個多聚焦結構相似度(MFF-SSIM)指標來衡量融合結果的質量，并使用隨機梯度算法在融合過程中最大化MFF-SSIM。與基于決策圖的方法不同，基于整體重構的方法利用一些特殊的度量指標(例如MFF-SSIM)作為損失函數來引導融合網絡以端到端、無監督學習的方式直接實現多聚焦圖像融合(Yan等，2020)。但這類技術方案目前還未將散焦擴散效應納入到建模過程中，因此結合多聚焦圖像的成像原理，通過整體重構的技術路線，在實現有用信息保留的同時消除散焦擴散效應，或許是未來基于CNN的多聚焦圖像融合框架的研究方向之一。

基于決策圖的GAN方法通常利用生成器學習源圖像到決策圖的映射關系并生成融合結果，同時通過對抗學習迫使融合結果在分布上接近參考的全聚焦圖像。具體來說，FuseGAN(Guo等，2019)將人工標注的聚焦掩膜與源圖像堆疊在一起作為正樣本，而生成器輸出的決策圖與源圖像堆疊在一起作為負樣本來構造對抗博弈關系，指導生成網絡從兩幅源圖像中準確地估計決策圖。在此基礎上，MFIF-GAN(Wang等，2021b)引入前景區域的聚焦圖應大于對應的目標這一先驗來改善散焦擴散效應?；贕AN的整體重構方法則利用生成器直接輸出全聚焦的融合圖像，然后再利用參考圖像和融合圖像構造對抗關系來指導生成網絡的優化(Huang等，2020b；Zhang等，2021a)。然而，以上大部分基于GAN的方法無法有效解決多聚焦圖像融合任務中的散焦擴散效應，而散焦擴散效應會嚴重影響融合圖像的視覺效果。因此如何從分布的角度充分建模散焦擴散效應，在生成更加逼真且細節清晰的融合圖像的同時，進一步提升融合圖像的視覺質量是一個值得進一步探索的研究方向。

基于深度學習的數字攝影圖像融合算法歸納如表2所示，其中MEF表示多曝光圖像融合場景，MFF表示多聚焦圖像融合場景。

表2 數字攝影圖像融合研究歸納

1.3 遙感影像融合

在遙感成像中，光譜傳感器的光譜/濾波機制需要較大的瞬時視場(IFOV)來滿足信噪比的要求，這意味著在保證成像光譜分辨率的同時必然降低空間分辨率。然而在高精度遙感應用中，空間分辨率和光譜分辨率同等重要，前者描述地物的物理形態，后者反映地面的物質組成。因此空間和光譜分辨率不可兼得的特性極大制約了高層遙感任務的精度提升。在此背景下，多光譜與全色圖像融合技術應運而生，通過將全色圖像中的空間信息及多光譜圖像中的光譜信息相融合，生成空間和光譜分辨率并存的高質量遙感圖像?；诓捎玫谋O督范式，深度多光譜與全色圖像融合方法分為有監督的方案和無監督的方案兩類。兩類方案采取的網絡架構主要有CNN和GAN兩種。

有監督的多光譜與全色圖像融合方法在銳化結果與參考圖像間構造最小距離損失，引導神經網絡的輸出不斷趨近于參考圖像對應的理想分布。PNN(pan-sharpening neural network)(Masi等，2016)是使用深度學習解決多光譜與全色圖像融合問題的開創之作，首次引入CNN提取和融合全色和多光譜圖像中的有效信息。然而僅在l2距離損失的約束下，PNN的結果往往存在局部空間結構平滑的現象。此外，簡單的3層結構限制了PNN的非線性擬合能力，導致一定程度的光譜失真。后續方法主要從網絡架構和約束條件兩方面進行改進來提升融合性能。首先，通過改進網絡架構使融合過程中信息的提取和聚合更具針對性。例如PanNet(deep network architecture for pan-sharpening)(Yang等，2017)使用殘差學習將網絡的訓練轉換到高通域進行，使網絡專注于高頻結構信息的學習，極大提升了融合結果的空間質量。同時，PanNet引入ResNet加深網絡深度，強化了非線性擬合能力，在一定程度上緩解了光譜失真。Liu等人(2021a)使用GAN架構提升融合性能，提出一個多光譜與全色圖像融合框架PSGAN(generative adversarial network for pan-sharpening)，將參考圖像的概率分布定義為目標分布，并使用連續的對抗學習迫使融合結果在分布上逼近參考圖像，保證了信息保留質量。與此不同，SRPPNN(super-resolution-guided progressive pansharpening neural network)(Cai和Huang，2021)引入超分辨率模塊和漸進學習兩種特定的結構設計，使網絡能夠不斷捕獲不同尺度上的空間細節，并連續注入到上采樣的多光譜圖像中。類似地，基于網絡架構改進的有監督方法還包括DPFN(dual-path fusion network)(Wang等，2022a)、TFNet(two-stream fusion network)(Liu等，2020)、DI-GAN(detail injection based on relativistic generative adversarial network)(Benzenati等，2022)以及MDCNN(multiscale dilated convolutional neural network)(Dong等，2021)。然而上述方法在設計網絡架構時未考慮輸入數據與融合結果間的內在關系，更多的是從圖像超分辨率這個角度進行的。GPPNN(gradient projection networks for pan-sharpening)(Xu等，2021d)從全色圖像與多光譜圖像的生成模型出發，探討空間和光譜退化過程，并將其作為先驗來指導神經網絡的優化，極大提升了融合性能。與上述方法不同，另外一些多光譜與全色圖像融合方法通過額外設計一些更合理的約束條件來改善融合結果中空間和光譜信息的保留質量。SDPNet(Xu等，2021a)除了在參考圖像與融合結果間建立常用的表觀一致性損失外，還通過訓練兩個多光譜與全色模態互相轉換網絡以及一個自編碼網絡來定義模態相關的獨特特征，然后在定義的獨特特征上建立一致性損失，進一步保證了融合性能的提升。Zhang(2022)認為只約束融合結果與參考圖像的一致性無法有效利用全色圖像中的空間信息，且會因為空間結構缺乏顯式約束引發光譜與空間信息的不平衡，為此提出了GTP-PNet(gradient transformation prior for pansharpening network)，使用特定的TNet擬合光譜退化過程，在梯度域中建立了更加準確的多光譜與全色圖像的非線性回歸關系，并將此非線性回歸關系作為一種先驗來約束空間結構的保留，從而保障光譜與空間信息的平衡。然而有監督的多光譜與全色圖像融合方法本質上是學習輸入圖像到參考圖像的非線性映射，實際性能很大程度上依賴于參考圖像構建的合理性。在有監督方法中，參考圖像的構建遵循Wald協議，該協議將全分辨率多光譜與全色圖像進行空間下采樣，得到降分辨率數據并作為網絡的輸入，而將原始的全分辨率多光譜圖像作為參考圖像監督網絡的優化。這種策略可能會從兩方面限制有監督方法的性能。一方面，采取的空間退化模式可能與真實的遙感數據退化模式不一致，使網絡學到的映射關系無法推廣到真實遙感數據上；另一方面，有監督方法遵循的尺度不變性假設可能并不成立，使得在降分辨率數據上訓練的模型無法有效地推廣到全分辨率數據上。

為了擺脫網絡對參考圖像的依賴，進而解決上述難題，無監督多光譜與全色圖像融合方法受到了廣泛關注。具體來說，無監督方案通過建立融合結果與輸入多光譜和全色圖像之間的聯系來分別約束光譜分布與空間結構的保留，生成光譜和空間分辨率兼具的理想圖像。從技術路線來看，無監督方案的優勢包括兩方面。首先，無監督方法不再需要合成配對數據，使網絡優化和學習更加便捷；其次，網絡訓練直接在衛星真實捕獲的全分辨率數據上進行，在保證數據可信度的同時，能夠充分利用有監督方法中忽視的全分辨率全色圖像包含的信息。無監督方法的研究主要在于如何完善約束光譜保留的空間退化模型和約束空間結構保留的光譜退化模型。Pan-GAN(Ma等，2020d)是首個探索無監督多光譜與全色圖像融合的方法，引入了兩個判別器在融合結果與兩幅源圖像間建立對抗，分別判定光譜與空間信息是否保真。在Pan-GAN中，光譜退化模型定義為平均池化操作，空間退化模型定義為插值采樣操作。類似地，UCGAN(unsupervised cycle-consistent generative adversarial networks)(Zhou等，2022)將光譜退化模型定義在高通域并使用最大池化來實現通道合并，空間退化模型定義在低通域并使用插值采樣實現空間分辨率降低。然而這兩種方法都采樣相對粗糙的方式模擬光譜退化模型和空間退化模型，在一定程度上限制了融合質量的提升。Luo等人(2020)將光譜退化模型建模為多譜段全局線性加權，并使用最小二乘法求解加權系數。對于空間退化模型，采用與MTF相關的高斯模糊以及插值采樣操作來模擬該過程，取得了一定的性能提升。需要強調的是，光譜退化模型更傾向于局部非線性而不是全局線性，使用最小二乘求解系數所依賴的尺度不變性假設也可能并不成立。為了實現更準確地估計觀測模型，BKL(blur kernel learning)(Guo等，2020)采用卷積神經網絡和全連接網絡分別估計空間模糊核以及光譜模糊核，然后結合插值采樣操作在退化一致性的約束下估計空間和光譜退化模型。值得注意的是，這種無監督退化模型估計的解空間是非常大的，僅依賴退化一致性非常容易陷入平凡解或局部最優解。類似地，無監督多光譜與全色圖像融合還包括LDP-Net(pansharpening network based on learnable degradation processes)(Ni等，2021)、UPSNet(unsupervised pan-sharpening network)(Seo等，2020)以及MSGAN(multi-scale generative adversarial network)(Wang等，2022b)等。相較于有監督方法，對于無監督多光譜與全色圖像融合方法的研究還相對較少，如何估計更準確的觀測模型是未來進一步提升融合性能的關鍵。

基于深度學習的遙感影像融合算法歸納如表3所示，其中，Pansharpening表示多光譜與全色圖像融合場景。

表3 遙感影像融合研究歸納

1.4 通用圖像融合

任務特定的圖像融合算法均通過挖掘不同融合問題中的先驗知識來提升融合性能，但忽略了不同融合任務之間的內在聯系。因此，人們致力于開發通用的圖像融合框架。IFCNN(image fusion framework based on convolutional neural network)(Zhang等，2020d)是首個基于深度學習的通用圖像融合方法，該方法參考DeepFuse(Prabhakar等，2017)設計網絡結構，并在大型的多聚焦圖像數據集上通過端到端的方式訓練網絡。特別地，IFCNN通過改變融合層的融合策略，將不同圖像融合任務統一到一個框架下。PMGI(proportional maintenance of gradient and intensity)(Zhang等，2020b)將不同圖像融合問題定義為梯度和強度的比例維持，并設計一個統一的損失函數形式，根據不同任務的先驗知識，手動調整各項損失函數的加權系數，能夠在一個統一框架下解決不同的圖像融合問題。為了避免手動調整超參數，Zhang和Ma(2021b)進一步提出了擠壓分解網絡(squeeze-and-decomposition network，SDNet)和自適應決策塊來提升融合性能。類似地，Jung等人(2020)將多種圖像融合問題統一為對比度保持問題，并引入結構張量來表征圖像對比度以及構造損失函數。Deng和Dragotti(2021)將圖像融合問題定義為獨特特征與公共特征的集合，并基于多模卷積稀疏編碼模型提出一種用于解決通用多模圖像恢復和多模圖像融合難題的深度卷積神經網絡(Cu-Net)。類似地，IFSepR(image fusion based on separate representation learning)(Luo等，2021)結合對比學習和解糾纏表示學習將源圖像分解為私有特征和公有特征，并提出一種空間自適應策略融合來自不同源圖像的私有特征，在統一的基于自編碼器的框架下實現多種圖像融合任務。為了學習到特定任務的特征，Li等人(2021e)提出使用多個面向任務的編碼器和一個通用的解碼器來實現多任務圖像融合，并設計一個自適應損失函數來指導網絡訓練。值得一提的是，考慮到不同的融合任務能夠相互促進，Xu等人(2020a，2022a)結合可學習信息測量和彈性權重固化，開發了一種無監督圖像融合模型用于解決多場景圖像融合問題。其中，彈性權重固化用于克服多任務持續學習中的遺忘難題。Ma等人(2022)提出一種基于跨域長距離依賴和Swin Transformer 的通用圖像融合框架(SwinFusion)，通過充分挖掘同一幅源圖像的域內上下文信息，以及多源圖像的域間全局交互以充分整合互補信息，在多模圖像融合以及數字攝影圖像融合上都取得了較好的性能表現。

綜合考慮各類圖像融合任務的共性并設計統一的融合框架來同時解決多種融合問題能夠增加融合算法的實用性。因此，設計通用的圖像融合框架仍然是未來的研究熱點之一?；谏疃葘W習的通用圖像融合算法如表4所示。

2 數據集與評估指標

2.1 數據集

各類圖像融合任務中常用的數據集主要包括紅外和可見光圖像融合數據集、醫學圖像融合數據集、多曝光圖像融合數據集、多聚焦圖像融合數據集和多光譜與全色圖像融合數據集，如圖4所示。

圖4 圖像融合常用數據集匯總

2.1.1 紅外和可見光圖像融合數據集

TNO(Toegepast-Natuurwetenschappelijk-Onder-zoek)數據集(https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029)是紅外和可見圖像融合常用數據集之一，包含60對軍事相關場景的紅外和可見光圖像。INO(Institute National D’optique)數據集(https://www.ino.ca/en/technologies/video-analytics-dataset/videos/)由加拿大光學研究所提供，包含12對不同天氣條件拍攝的紅外和可見光視頻。TNO數據集和INO數據集只包含少量圖像對，無法用來訓練性能優異的融合網絡。為此，Xu等人(2022a)基于FLIR(forward-looking infrared)視頻發布RoadScene數據集(https://github.com/hanna-xu/RoadScene)，該數據集由221對已配準的紅外和可見光圖像組成，包含豐富的道路、車輛以及行人場景。此外，Tang等人(2022b)基于MFNet數據集(Ha等，2017)發布一個新的多光譜數據集MSRS(multi-spectral road scenarios)(https://github.com/Linfeng-Tang/MSRS)，用于紅外和可見光圖像融合評估。其中，訓練集包含1 083對圖像，測試集包含361對圖像，該數據集為每一對圖像提供了語義分割標簽，并提供了80對有目標檢測標簽的圖像。該數據集能夠促進高層視覺任務驅動的圖像融合和基于高層視覺任務的圖像融合評估的發展。借助于?？低晹z像機，Jia等人(2021)在夜間場景收集了15 488對紅外和可見光圖像對，發布了LLVIP(visible-infrared paired dataset for low-light lision)數據集(https://bupt-ai-cz.github.io/LLVIP/)。LLVIP數據集為每一個場景提供了相應的行人檢測的標簽，能夠用于圖像融合、行人檢測和圖像轉換等多項任務。此外，Liu等人(2022a)基于構建的同步紅外和可見光傳感器成像系統，發布了一個多場景多模態數據集，即M3FD數據集(https://github.com/JinyuanLiu-CV/TarDAL)。M3FD數據集包含4 177對已配準的紅外和可見光圖像并標注了23 635個目標檢測對象，場景覆蓋白天、陰天、夜間以及一些具有挑戰性的情形。值得強調的是，LLVIP數據集和M3FD數據集的發布能夠促使研究者開展極端條件下的紅外和可見光圖像融合的研究。

2.1.2 醫學圖像融合數據集

Harvard數據集(http://www.med.harvard.edu/AANLIB/home.html)是一個用于機器學習的權威醫療數據集，涵蓋醫學影像、電子健康記錄、UCI數據和生物醫學文獻，提供了大量CT-MRI，PET-MRI、SPECT-MRI、CT-SPECT圖像對，用于醫學圖像融合模型的訓練和評估以及智慧醫療診斷。

2.1.3 多曝光圖像融合數據集

Cai等人(2018)利用7種相機在室內和室外場景收集了589個圖像序列4 413幅不同曝光水平的高分辨率圖像，并發布MEF數據集(https://github.com/csjcai/SICE)，用于單幅圖像曝光校正或多曝光圖像融合任務的訓練和測試。對每一個序列，采用13種多曝光圖像融合算法或基于堆棧的HDR(high dynamic range)算法來生成對應的高質量參考圖像。Zhang(2021)從互聯網以及現有的多曝光圖像融合數據庫中收集了100對具有不同曝光水平的圖像對，并發布了一個新的基準數據集MEFB(multi-exposure image fusion benchmark)(https://github.com/xingchenzhang/MEFB)，用于多曝光圖像融合算法的評估。

2.1.4 多聚焦圖像融合數據集

Lytro數據集(https://mansournejati.ece.iut.ac.ir/content/lytro-multi-focus-dataset)是一個廣泛用于評估多聚焦圖像融合算法性能的數據集(Nejati等，2015)，包含20對大小為520×520像素的彩色多聚焦圖像以及4個具有3種焦距的多聚焦圖像序列。MFI-WHU數據集(https://github.com/HaoZhang1018/MFI-WHU)是Zhang等人(2021a)基于MEF數據集以及MS-COCO數據集建立的多聚焦圖像融合數據集，包含120對由高斯模糊和手動標注的決策圖合成的多聚焦圖像。值得注意的是，Lytro和MFI-WHU數據集都沒能明顯突出散焦擴散效應對多聚焦圖像融合任務的影響。MFFW(multi-focus image fusion in the wild)(https://www.semanticscholar.org/paper/MFFW%3A-A-new-dataset-for-multi-focus-image-fusion-Xu-Wei/4c0658f338849284ee4251 a69b3c323908e62b45)數據集是Xu等人(2020d)提出的一個新基準數據集，用于測試多聚焦圖像融合算法能否有效處理散焦擴散效應。與Lytro數據集相似，該數據集僅包含19對多聚焦圖像。

2.1.5 多光譜與全色圖像融合數據集

2.2 評估指標

各種定量評估圖像融合算法的性能指標包括通用的評估指標和為多光譜與全色圖像融合特別設計的評估指標。

2.2.1 通用評估指標

通用的圖像融合評估指標能夠用于評估多模圖像融合和數字攝影圖像融合，其中部分指標也能夠用于評估多光譜與全色圖像融合。根據其定義的不同，通用的指標可以分為基于信息熵的指標、基于圖像特征的指標、基于相關性的指標、基于圖像結構的指標以及基于人類感知的指標等5類。圖5匯總了主流的通用圖像融合評估指標。在通用圖像融合評估指標中，A和B分別表示源圖像A和源圖像B，X泛指所有的源圖像，F代表融合圖像，M和N分別表示圖像的寬和高。

圖5 通用圖像融合評估指標匯總

1)基于信息熵的指標。

(1)信息熵(entropy, EN)是基于信息論計算融合圖像中包含的信息量(Roberts等，2008)。具體定義為

(1)

式中，L為灰度級數，pl為融合圖像中對應灰度級的歸一化直方圖。EN越高，意味著融合圖像包含的信息越豐富。

(2)互信息(mutual information, MI)指標是基于信息論度量從源圖像轉移到融合圖像的信息量(Qu等，2002)。具體定義為

MI=MIA,F+MIB,F

(2)

式中，MIA,F和MIB,F分別表示從源圖像A和源圖像B中轉移到融合圖像F的信息。特別地，MIX,F的具體定義為

(3)

式中，PX(x)和PF(f)分別表示源圖像X和融合圖像F的邊緣直方圖，PX,F(x,f)表示源圖像與融合圖像的聯合直方圖。融合圖像的MI越高，意味著相應的融合算法從源圖像中轉移到融合圖像中的信息越多。

(3)特征互信息(feature mutual information，FMI)是在MI和特征信息的基礎上，度量從源圖像中傳輸到融合圖像的特征信息的量(Haghighat等，2011)。具體定義為

(4)

(4)峰值信噪比(peak signal-to-noise ratio，PSNR)表征融合圖像中峰值功率與噪聲功率的比值，能夠從像素層面反映融合過程中的失真情況(Jagalingam和Hegde，2015)。具體定義為

(5)

式中，r表示融合圖像的峰值，MSE表示均方誤差，具體計算為

(6)

QAB/F=

(7)

(6)基于偽影的指標(NAB/F)用于衡量融合過程中引入的偽影(Petrovic和Xydeas，2005)。具體定義為

(8)

2)基于圖像特征的指標。

(1)平均梯度(average gradient，AG)是通過測量融合圖像的梯度信息并以此表征融合圖像的紋理細節(Cui等，2015)的指標。具體定義為

(9)

(2)空間頻率(spatial frequency，SF)類似于AG，是通過測量融合圖像的梯度分布揭示融合圖像的細節和紋理信息(Eskicioglu和Fisher，1995)的指標。具體定義為

(10)

(3)標準差(standard deviation，SD)是反映融合圖像的對比度及分布(Rao，1997)的指標。具體定義為

(11)

式中，μ表示融合圖像的均值。人類視覺系統往往更能被具有高對比度的區域所吸引，因此具有更高SD的融合結果具有更好的對比度。

3)基于相關性的指標。

(1)相關系數(correlation coefficient, CC)是用于測量融合圖像與源圖像的線性相關程度的指標。具體定義為

(12)

式中，

(2)非線性相關系數(nonlinear correlation coefficient，NCC)是測量融合圖像與源圖像的非線性相關程度(Adu等，2013)的指標。具體計算為

(13)

(3)差異相關性總和(sum of correlation differences，SCD)是通過測量融合圖像與源圖像的差異來表征融合算法優劣(Aslantas和Bendes，2015)的指標。具體定義為

SCD=r(A,DA,F)+r(B,DB,F)

(14)

式中，DX,F表示融合圖像F與源圖像X的差分圖像。SCD越高，意味著融合圖像包含源圖像中的信息越豐富。

4)基于圖像結構的指標。

(1)結構相似性度量(structural similarity index measure, SSIM)是用于對融合過程中的信息損失和失真進行建模，并以此反映融合圖像與源圖像之間結構相似性(Wang等，2004)的指標。SSIM由相關性損失、亮度和對比度失真3部分構成。融合圖像F與源圖像X之間的結構相似性SSIMX,F定義為

(15)

式中，x和f分別表示源圖像和融合圖像在一個滑動窗口內的圖像塊。σxf表示源圖像與融合圖像的協方差，σx和σf分別表示源圖像和融合圖像的標準差，μx和μf分別表示源圖像和融合圖像的均值。C1、C2和C3是用來防止除數為零的常量。SSIM指標的計算式為

(16)

SSIM越大，說明融合圖像越接近源圖像，即融合過程中的信息丟失和失真越小。

(2)多尺度結構相似性度量(multi-scale structural similarity index measure，MS-SSIM)是在SSIM基礎上，結合多尺度下的結構相似度綜合評估融合圖像失真情況(Wang等，2003)的指標。具體定義為

MS-SSIM(x,f)=[lM(x,f)]αM′×

(17)

5)基于人類感知的指標。

(1)視覺保真度(visual information fidelity，VIF)是基于自然場景統計和人類視覺系統(human vision system，HSV)量化融合圖像F與源圖像X之間共享的信息量(Han等，2013)的指標。使用融合圖像信息源圖像信息比值定義VIFX,F，具體為

(18)

(19)

VIF越高，意味著融合結果越符合人類視覺感知。

(2)人類視覺感知(QCB)是基于人類視覺系統衡量融合圖像與源圖像中主要特征的相似性(Chen和Blum，2009)的指標。具體定義為

βB(i,j)WB,F(i,j))

(20)

式中，WA,F(i,j)和WB,F(i,j)表示從源圖像A和B中轉移到融合圖像F的對比度，βA和βB分別代表WA,F(i,j)和WB,F(i,j)的顯著圖。QCB越大，意味著融合圖像保留了源圖像中更多的信息。

在上述指標中，EN、MI、FMI、PSNR、QAB/F、AG、SF、SD、CC、NCC、SCD、SSIM、MS-SSIM、VIF和QCB均為正向指標，即指標越高意味著越好的融合性能；而NAB/F為逆向指標，即指標越低意味著越好的融合性能。值得注意的是，上述指標都是僅從某一個角度反映算法的融合性能。因此在實際研究中，通常需要綜合多種類別的評估指標來全面衡量融合算法的性能。為了便于研究者全面評估各種融合算法的性能，上述指標的MATLAB實現已開源至https://github.com/Linfeng-Tang/Evaluation-for-Image-Fusion。

2.2.2 多光譜與全色圖像融合指標

通用圖像融合評估指標中有部分指標，如PSNR、CC、SSIM和VIF也能夠用來評估多光譜與全色圖像融合，但是這些指標用于評估多光譜與全色圖像融合任務時，都使用全分辨率多光譜(full resolution multi-spectral，FRMS)圖像作為參考圖像。

為多光譜與全色圖像融合特別設計的指標通常分為全參考指標和無參考指標兩類。用于定量評估多光譜與全色圖像融合性能的指標如圖6所示。在評估多光譜與全色圖像融合性能的指標中，MS和PAN分別表示多光譜圖像和全色圖像，R代表參考圖像，即全分辨率多光譜圖像，F代表融合圖像，M、N和B分別表示FRMS圖像的寬、高和波段數。

圖6 多光譜與全色圖像融合評估指標匯總

1)全參考指標。

(1)均方根誤差(root mean squared error，RMSE)是從像素層面反映融合結果與參考圖像,即全分辨率多光譜圖像之間差異的指標。具體定義為

RMSE=RMSE(F,R)=

(21)

用于計算兩幅圖像之間的誤差，B表示圖像的波段數。RMSE越小，說明融合結果與參考圖像之間的像素越接近，即性能更好。

(2)相對平均光譜誤差(relative average spectral error, RASE)是在考慮所有光譜波段的情形下衡量融合算法平均性能的指標。具體定義為

(22)

式中，Fk和Rk分別表示融合圖像和全分辨率多光譜圖像第k個波段。r表示多光譜圖像所有波段的平均輻射半徑。

(3)相對全局誤差(relative dimensionless global error in synthesis，ERGAS)是一個測量融合結果與全分辨率多光譜圖像之間的平均誤差和動態范圍變化的全局指標(Ranchin和Wald，2000)。具體定義為

(23)

(4)光譜角映射(spectral angular mapper，SAM)是通過計算融合圖像與參考圖像之間的夾角來反映融合結果的光譜質量的指標，SAM將每個光譜通道視為坐標軸來計算相角(Yuhas等，1992)。假設F{i}=[F{i},1,…,F{i},B]為融合圖像中的某個像素向量，R{i}=[R{i},1,…,R{i},B]是參考圖像的某個向量，則F{i}和R{i}之間的SAM指標定義為

(24)

(5)通用圖像質量評估指標(universal image quality index，UIQI)通過量化融合結果與參考圖像的相關性、亮度和對比度相似度來表征融合性能(Wang和Bovik，2002)。UIQI指標也稱Q指標，具體定義為

(25)

式中，σF和σR分別表示融合圖像F和參考圖像R的標準差，σFR表示融合圖像F與參考圖像R的協方差。μF和μR分別表示融合圖像F和參考圖像R的均值。從左至右各項的物理含義分別為相關性、平均亮度相似度和對比度相似度。UIQI越高，意味著融合圖像與參考圖像越相似。

(6)Q4指標是將Q指標擴展到4個通道向量上，即在Q指標的基礎上，Q4指標進一步考慮了光譜失真(Alparone等，2004)。首先，Q4指標將每一個像素F{i}建模為四元數的組合，具體表示為

F{i}=F{i},1+K1F{i},2+K2F{i},3+K3F{i},4

(26)

式中，K1、K2和K3表示對應通道的加權系數。Q4指標的具體計算為

Q4(F{i},R{i})=

(27)

類似地，進一步將通道數推廣到大于4，可以得到Q2n指標(Garzelli和Nencini，2009)。

2)無參考指標。

(1)光譜失真指標(Dλ)是度量融合圖像與多光譜(MS)圖像之間的光譜損失的指標(Alparone等，2008)，其數學定義為

Dλ=

(28)

式中，p是強調較大光譜差異的正整數，在本文中,p設置為1。Dλ越小，意味著融合圖像相較于多光譜圖像的光譜失真越小。

(2)空間失真指標(Ds)是用于衡量融合圖像與全色(PAN)圖像之間的細節損失(Alparone等，2008)的指標。具體定義為

(29)

式中，PANLP表示多光譜圖像具有相同尺寸的全色圖像。在計算過程中應確保下采樣的PAN圖像與MS圖像空間嚴格對齊，避免該指標產生偏差。

由式(29)可知，Ds與差分向量Q(Fi,PAN)-Q(MSi,PANLP)的q范數成正比，通過調整q的取值可以在計算過程中強調大的差分值。遵循Alparone等人(2008)方法，q取值為1。

(3)無參考指標(quality with no reference, QNR)是評估多光譜與全色圖像融合算法最為主流的無參考指標，綜合考慮了光譜失真和空間失真(Alparone等，2008)。QNR的具體定義為

QNR=(1-Dλ)α(1-Ds)β

(30)

式中，α和β是用于平衡光譜失真和空間失真的參數。當QNR=1時，意味著光譜失真和空間失真均為0。

(4)空間相關系數(spatial correlation coefficient SCC)是可以有效衡量融合圖像與全色圖像的空間信息相似性(Zhou等，1998)的指標。具體來說，SCC首先利用2D的高通濾波器提取全色圖像和融合圖像的高頻細節信息，然后利用相關系數(CC)計算融合圖像和全色圖像的高頻細節相關性。SCC越大，表明融合圖像保留了更多的空間信息。

在上述指標中，UIQI、Q4、QNR和SCC屬于正向指標，即指標越高意味著融合性能越好；RASE、ERGAS、SAM、Dλ和Ds屬于逆向指標，即指標越低意味著融合性能越優異。

3 評 估

3.1 實驗設置

為了全面分析不同算法的性能，在各類融合場景進行實驗。在上述5類融合任務上對6種代表性算法進行定性和定量評估，并進一步分析運行效率。對紅外和可見光圖像融合，選取兩種基于AE的算法，即DenseFuse(Li和Wu，2019)和RFN-Nest(Li等，2021a)、1種基于CNN的算法，即SeAFusion(Tang等，2022a)、1種基于GAN的算法，即FusionGAN(Ma等，2019b)和兩種通用的圖像融合框架，即IFCNN(Zhang等，2020d)和U2Fusion(Xu等，2022a)進行實驗。其中，兩種通用的融合框架也用于醫學圖像融合、多曝光圖像融合和多聚焦圖像融合任務的性能評估。用于評估醫學圖像融合任務的4種特定算法分別是3種基于CNN的方法，即Zero-LMF(zero-learning fast medical image fusion)(Lahoud和Süsstrunk，2019)、EMFusion(Xu和Ma，2021)和DPCN-Fusion(detail preserving cross network fusion)(Tang等，2021)以及1種基于GAN的算法，即DDcGAN(Ma等，2020c)。用于評估多曝光圖像融合任務的4種特定算法分別是兩種基于CNN的算法，即DeepFuse(Prabhakar等，2017)和DPE-MEF(Han等，2022)以及兩種基于GGAN的算法，即MEF-GAN(Xu等，2020b)和AGAL(Liu等，2022c)。用于評估多聚焦圖像融合任務的4種特定算法分別是兩種基于CNN的算法，即DPRL(deep regression pair learning)(Li等，2020c)和SESF-Fuse(Ma等，2021a)以及兩種基于GAN的算法，即MFF-GAN(Zhang等，2021a)和MFIF-GAN(Wang等，2021b)。用于評估多光譜與全色圖像融合的6種算法分別是4種基于CNN的算法，即PNN(Masi等，2016)、PanNet(Yang等，2017)、SDPNet(Xu等，2021a)和GTP-Pnet(Zhang和Ma，2021a)以及兩種基于GAN的算法，即Pan-GAN(Ma等，2020d)和PSGAN(Liu等，2021a)。用于評估紅外和可見光圖像融合算法的圖像來自TNO數據集，同時使用Harvard數據集的PET圖像和MRI圖像評估醫學圖像融合算法的性能。評估多曝光圖像融合算法和多聚焦圖像融合算法的圖像分別來自MEFB數據集和Lytro數據集。同時本文從這些數據集中各隨機選取20對圖像進行定量評估。QuickBird衛星捕獲的全色圖像和多光譜圖像用于評估多光譜與全色圖像融合算法的性能。需要注意的是，對于降分辨率測試，全色圖像裁剪為132幅264×264像素的圖像塊，多光譜圖像裁剪為132幅66×66像素的圖像塊。對于全分辨率測試，全色圖像裁剪為74幅1 056×1 056像素的圖像塊，多光譜圖像裁剪為74幅264×264像素的圖像塊。所有的源圖像都是事先配準好的，即所有的源圖像在空間上嚴格對齊。實驗選擇6種通用評估指標用于定量評估多模圖像融合和數字攝影圖像融合任務。分別是兩種基于信息熵的指標MI和PSNR、1種基于圖像特征的指標SF、1種基于相關性的指標CC、1種基于圖像結構的指標SSIM和1種基于人類感知的指標VIF。由于多光譜與全色圖像融合任務的特殊性，因此6種針對多光譜與全色圖像融合任務設計的指標包括3種全參考指標即ERGAS、SAM和SSIM以及3種無參考指標即Dλ、Ds和QNR，用來全面評估多光譜與全色圖像融合算法的性能。需要注意的是，3種全參考指標是基于降分辨率測試統計的，而3種無參考指標是基于全分辨率測試計算的。

3.2 定性評估

圖7—圖9展示了不同算法在各類融合任務上的可視化結果，每類融合任務選擇了兩個代表性的場景反映不同融合算法的差異。

多模圖像融合的可視化結果如圖7所示，對于紅外和可見光圖像融合任務，所有算法在一定程度上集成了源圖像中的互補特性。FusionGAN有效保持了紅外圖像的顯著對比度和顯著目標，但忽略了可見光圖像中的紋理細節。DenseFuse、RFN-Nest和U2Fusion將部分可見光圖像中的細節信息注入到融合圖像中，卻在一定程度上削弱了紅外目標的強度。IFCNN保持了紅外圖像的顯著目標，卻丟失了部分紋理細節信息。特別地，上述算法在第1行天空區域均遭受不同程度的熱輻射污染。值得強調的是，SeAFusion在保持顯著目標強度的同時，有效保留了可見光圖像中的豐富紋理細節。對于醫學圖像融合，6種對比算法在一定程度上整合了MRI圖像中的結構信息以及PET圖像中的功能信息。但不同算法的表現仍有所差異。特別地，Zero-LMF在融合過程中引入了偽影，而DDcGAN沒能有效保留MRI圖像中的結構信息。類似現象也發生在IFCNN和U2Fusion算法上，如第3行中的綠色矩形框所示，上述兩種算法削弱了MRI圖像中的結構信息。

圖7 多模圖像融合定性對比結果

圖8是數字攝影圖像融合的可視化結果。對于多曝光圖像融合，大部分算法能夠校正源圖像的曝光，但有所差異。其中，DeepFuse、MEF-GAN、IFCNN和U2Fusion雖然能夠在一定程度上點亮欠曝區域，但是效果并不顯著。相對來說，DPE-MEF和AGAL能夠以較好的曝光水平呈現源圖像中的場景信息，DPE-MEF甚至能夠在過曝圖像的基礎上進一步提升暗處的細節信息，如第1行紅色矩形框所示。此外，DPE-MEF、MEF-GAN和AGAL在融合過程中考慮了色彩信息，因此這些算法生成的融合結果具有更加鮮艷的色彩。對于多聚焦圖像融合而言，不同算法均能結合源圖像中聚焦區域的信息并生成一幅全聚焦的清晰圖像。各種算法的主要區別在于能否有效處理散焦擴散效應。如圖8第3行所示，基于決策圖像的方案DPRL、SESF-Fuse和MFIF-GAN能夠有效避免散焦擴散效應造成的視覺效果退化，主要由于這類算法在融合過程中考慮了散焦擴散效應。而基于整體重構的方案，如MFF-GAN、IFCNN和U2Fusion則遭受了不同程度的散焦擴散效應的影響。特別地，MFF-GAN和U2Fusion在融合過程中改變了源圖像中的強度分布，從而導致某些紋理細節信息被淹沒，如第4行紅色矩形框所示。

圖8 數字攝影圖像融合定性對比結果

遙感影像融合的可視化結果如圖9所示。從圖中可以看到，除Pan-GAN外，其他算法得到的融合結果的色彩均能與FRMS圖像(或MS圖像)保持一致，這意味著Pan-GAN的光譜失真較為嚴重。此外，PNN、PanNet、SDPNet、GTP-PNet和PSGAN能夠在一定程度上維持較好的空間結構，其中PNN和PSGAN效果最為突出。但是以上算法均無法像FRMS圖像那樣將場景中細節信息清晰地呈現。

圖9 遙感影像融合定性對比結果

3.3 定量評估

多模圖像融合和數字攝影圖像融合的定量比較結果如表5和表6所示。

表5 多模圖像融合定量比較結果

表6 數字攝影圖像融合定量比較結果

對于紅外和可見光圖像融合任務，DenseFuse在CC和SSIM指標上均是最優的，意味著DenseFuse生成的融合結果與源圖像的相關性最高，同時其空間結構與源圖像保持最為一致。此外，SeAFusion在MI指標上遠遠領先其他算法，意味著SeAFusion在融合過程中盡可能多地將源圖像中的信息轉移到了融合圖像中。SeAFusion取得了最高的VIF，表明SeAFusion獲得的融合結果更加符合人類的視覺感知，這與定性分析的結果高度吻合。作為通用圖像融合框架，IFCNN在SF和PSNR指標上均取得了最好效果，意味著有IFCNN生成的融合圖像包含更多的細節信息，同時在融合過程中的失真較小。另一種通用圖像融合框架U2Fusion在CC、VIF和PSNR指標上均取得了次優效果，說明盡管是針對多種融合任務設計的通用融合框架，在特定任務上仍能取得較好表現。

對于醫學圖像融合任務，各類算法的性能優勢在不同指標上有所差異。特別地，作為通用圖像融合框，U2Fusion在CC和PSNR指標上取得了最好的表現，而IFCNN在SSIM指標上達到了最優的性能，并且在CC和PSNR上的性能也是次優的。此外，Zero-LMF、DPCN-Fusion和DDcGAN分別在MI、VIF和SF指標上取得了最好效果。與定性評估有所出入的是，EMFusion在定量評估中表現略為普通，只在VIF和SSIM指標上取得了次優效果。

對于多曝光圖像融合任務，DeepFuse在MI、CC、VIF和SSIM等大部分指標上取得了最優效果。而定性評估中表現頗好的DPE-MEF僅在SF指標上取得了最好效果，意味著DPE-MEF獲得的融合圖像能夠呈現更多的紋理細節信息，這與可視化結果相吻合。而通用圖像融合框架之一，IFCNN在PSNR指標上取得了最好效果，并在VIF和SSIM指標上取得了次優效果。

對于多聚焦圖像融合任務，不同融合算法在定量評估中表現大同小異，在SF指標上，大部分算法取得了較好結果。SESF-Fuse在VIF和SSIM指標上取得了最好效果，IFCNN在PSNR和SSIM上取得了最好效果。MFIF-GAN和U2Fusion分別在MI和CC指標上取得了最好效果。DRPL在MI、SF、VIF和PSNR上取得了次優結果。由于不同算法在多聚焦圖像融合任務上的定量評估差異并不特別明顯，因此定性評估對于該任務更為重要。

多光譜與全色圖像融合任務的定量評估結果如表7所示。由表7可知，PSGAN在全參考指標ERGAS、SAM和SSIM上達到最優性能，意味著PSGAN獲得的銳化圖像在像素層面和圖像結構上都最接近參考圖像。最好的SAM意味著PSGAN在降分辨率測試上具有最小的光譜失真。此外，PNN在降分辨率測試中取得了次優的ERGAS和SSIM，與定性評估結果保持一致。在無參考指標中，Pan-GAN取得最優的Ds和QNR，意味著Pan-GAN在全分辨率測試中具有最小的空間失真。而PNN在Dλ指標上取得了最好效果，表明PNN具有最小的光譜失真。

表7 遙感影像融合定量比較結果

3.4 運行效率

運行效率是另一個衡量基于深度學習的融合算法優劣的重要因素。不同算法在各類融合任務上的平均運行時間如表8所示。其中，多光譜與全色圖像融合是在降分辨率測試上統計的平均運行時間。由結果可知，IFCNN在醫學圖像融合、多曝光圖像融合和多聚焦圖像融合等任務上達到最高的運行效率。而SeAFusion和PSGAN分別在紅外和可見光圖像融合以及多光譜與全色圖像融合等任務上具有最快的運行效率。以上算法都具有網絡結構簡單、模型參數量少等特點，因而能夠在保證融合性能的條件下實現實時圖像融合。所有對比算法中，除了Zero-LMF、MEF-GAN和MFIF-GAN，其他算法均能在1 s內生成一幅融合圖像。

表8 不同算法在各類融合任務上的平均運行時間

4 結 語

作為一項重要的圖像增強技術，圖像融合在目標檢測、語義分割、臨床診斷、遙感監測、視頻監控和軍事偵察等任務中發揮著至關重要的作用。隨著深度學習技術的不斷進步，基于深度學習的各類圖像融合算法不斷涌現。為使相關領域的研究人員快速了解基于深度學習的融合算法，把握基于深度學習的圖像融合研究的發展脈絡，本文綜合分析了圖像融合領域最前沿的基于深度學習的圖像融合算法。結合具體的融合場景，本文從網絡架構和監督范式等多個角度詳細闡述了各類方法的基本思想并討論了各類方法的特點，同時針對現有算法的局限性，提出了進一步的改進方向。此外，為了方便相關人員開展研究，詳盡介紹了不同融合任務中常用的數據集和評估指標。對每一類融合任務，從定性評估、定量評估以及運行效率等多個角度分析了代表性方法的性能。

盡管深度學習在圖像融合領域取得了巨大成功，但仍存在一些嚴峻挑戰和難題。

1)未配準圖像融合?，F有圖像融合算法均要求源圖像在空間上是嚴格對齊的。然而在實際應用中，由于鏡頭畸變、尺度差異、視差以及拍攝位置的影響，無論是不同傳感器拍攝的圖像還是數碼相機在不同設置下拍攝的圖像都無法實現嚴格的空間對齊。通常情況下，需要使用成熟的圖像配準算法或手工標注在融合前配準源圖像(Jiang等，2021)。已有的配準算法能夠成功配準相同模態的圖像，但對于多模圖像，尚未有對大規模多模圖像魯棒的配準算法。事實上，多模圖像融合能夠削弱多模數據中的模態差異，并降低冗余信息對配準過程的影響。盡管已有算法，如RFNet(Xu等，2022b)在近紅外和可見光圖像融合任務中充分利用了上述特性，但是近紅外和可見光模態差異相對較少，且RFNet僅能應對相對簡單的場景。因此，期待在模態差異更顯著的融合場景(如紅外和可見光圖像融合、醫學圖像融合)中開發圖像配準—圖像融合相輔相成的魯棒算法。

2)高層視覺任務驅動的圖像融合。圖像融合能夠充分集成源圖像中的互補信息以全面表征成像場景，為提升后續視覺任務的性能提供了可能。然而，大部分融合算法通常忽略了后續視覺任務的實際需求，只是片面追求更好的視覺效果和評估指標。盡管SeAFusion(Tang等，2022a)進行了初步探索，但是圖像融合與高層視覺任務僅通過損失函數建立連接。因此，未來應該進一步將高層視覺任務的需求建模到整個圖像融合過程中，進一步提升高層視覺任務的性能。

3)基于成像原理的圖像融合。不同類型傳感器或不同設置的傳感器通常具有不同的成像原理。在成像原理上的差異雖然為網絡結構和損失函數的設計帶來了障礙，但也為融合算法的設計提供了更多的先驗信息。深入剖析不同類型傳感器或不同成像設置的傳感器的成像原理，并將其建模至融合過程中有助于進一步提升融合性能，尤其是從成像角度建模多聚焦圖像中的散焦擴散效應值得深入探索。

4)極端條件下的圖像融合?，F有的圖像融合算法均是基于正常成像場景設計的。然而在實際應用中往往需要應付極端情形，例如欠曝、過曝以及嚴重噪聲等。對于紅外和可見光圖像融合，往往需要在夜間通過綜合紅外圖像和可見光圖像中的信息全面感知成像場景，然而此時可見光圖像中的信息往往淹沒在黑暗中并伴隨嚴重噪聲。因此，設計有效的融合算法在聚合互補信息的同時挖掘隱藏在黑暗和噪聲中的信息至關重要。此外，現有的多曝光圖像融合算法大多未針對極端的曝光情形設計，當這些融合算法應用至極端曝光情形時往往會出現嚴重的性能退化，如何充分挖掘極度欠曝圖像中的信息并有效抑制極度過曝圖像造成的不良影響將是一重大挑戰。

5)跨分辨率的圖像融合。由于成像原理的差異，不同類型傳感器捕獲的圖像往往具有不同的分辨率，如何克服分辨率差異并充分整合不同源圖像中的有效信息是一個嚴峻挑戰。雖然已有算法(Huang等，2020a；Ma等，2020c；Li等，2021b)解決跨分辨率的圖像融合，但仍存在一些問題。例如，采用何種上采樣策略以及上采樣層在網絡中的位置等。將圖像超分與圖像融合有機結合并設計網絡結構和損失函數是解決這一難題的思路之一。

6)實時圖像融合。圖像融合通常作為高層視覺任務的預處理手段或攝影設備的后處理過程。對于高層視覺任務，往往對預處理過程具有較高的實時性要求。對于攝影設備，人們期望能夠在不可察覺的時間內實現多幅輸入圖像到單幅融合圖像的轉換。但是，攝影設備的硬件能力往往有限。因此，在保障融合性能的前提下，開發輕量級的實時圖像融合算法對于擴寬圖像融合算法的應用場景具有至關重要的作用。

7)彩色圖像融合。大部分現有的圖像融合算法通常將彩色圖像轉換至YCbCr空間，然后僅使用亮度(Y)通道作為深度網絡的輸入得到融合后的亮度通道，而色度通道(Cb和Cr通道)采用傳統的策略進行簡單融合。事實上，色度通道也包含對全面表征成像場景有用的信息，在融合過程中考慮色彩信息將為網絡提供更加豐富的互補信息。而基于深度網絡自適應調整融合結果的色彩信息有助于獲得更加生動的融合結果，這對于提升數字攝影圖像融合的視覺效果尤為重要。

8)全面的評估指標。由于大部分圖像融合(多模圖像融合和數字攝影圖像融合)任務缺乏參考圖像，因此如何全面評估不同算法的融合性能是一個巨大挑戰?，F有的評估指標往往僅能從某一個角度出發，片面地評估融合性能。而一種融合算法往往無法兼顧所有的評估指標。因此，設計具有更強表征能力的無參考指標全面評估不同融合算法的性能對于圖像融合領域來說至關重要。首先，一個全面的評估指標能夠更加公平地評估不同融合結果的優劣，從而更好地引導后續研究。其次，能夠全面評估融合性能的無參考指標有助于更好地構造損失函數來引導深度網絡的優化。

基于以上回顧和展望，可以發現已有融合算法的性能并未達到圖像融合任務的上限?；诔上裨淼膱D像融合、彩色圖像融合以及全面評估的圖像融合指標能夠使融合性能進一步提升，未配準圖像融合、高層視覺任務驅動的圖像融合以及跨分辨率的圖像融合能夠使圖像融合獲得更大的應用價值，實時圖像融合研究能夠使圖像融合任務具有更廣闊的應用前景。