基于深度學習的無人機遙感影像增強＊

中鐵第一勘察設計院集團有限公司 魏域君

無人機遙感影像的質量對無人機遙感的應用至關重要，通常由于天氣原因，無人機遙感影像存在曝光不足，圖像偏暗的情況，需要手工利用調色軟件進行調色，效率偏低。隨著深度學習的快速發展，深度學習在圖像智能化處理方面取得了廣泛的應用。本文提出了一種適合高分辨率無人機遙感影像暗光增強的深度網絡模型，該模型能夠保持輸入影像的高分辨率特征，經過訓練后的模型以原始暗光圖像作為輸入，直接生成光照增強后的無人機影像，無需手工設計參數調色。實驗證明本文方法具有較強的魯棒性，對無人機遙感圖像暗光增強取得了較好的效果，提高了生產效率。

隨著測繪地理信息行業的快速發展，無人機遙感技術作為一門新興技術，在測繪工作中取得了廣泛的應用。無人機遙感的優勢有以下幾點：（1）無人機體積較小，重量較輕，這保證了無人機的靈活性，可在各種地形條件下起飛；（2）無人機遙感監測效率較高，可快速高效的處理各種突發事件[1]；（3）無人機遙感可獲取大范圍的高分辨率遙感影像，具有監測尺度大的特點。由于以上獨特的優勢，無人機遙感技術被廣泛的應用于實景三維建設、高分辨率正射影像制作、災害檢測、航拍視頻視頻制作等業務。因此，獲取清晰度高、對比度強的無人機遙感影像是無人機遙感的核心。而由于天氣原因，在光照條件較差的情況下，通過無人機航飛獲取的遙感影像通常情況下存在曝光不足，圖像偏暗的情況，通常需要利用CaptureOne、PhotoScan 軟件進行處理，對暗光條件下的無人機遙感影像進行人工增強，這需要耗費較大的勞動力和時間，效率較低。而傳統的基于直方圖均衡和Retinex 理論的暗光圖像自動增強算法，很難適應遙感圖像地物類別復雜、信息量大的特點，因此效果都不令人滿意。

隨著深度學習的快速發展，卷積神經網絡（CNN）被廣泛的應用到低層次的圖像處理任務中。在此基礎上，一些研究者提出了很多基于深度學習的自然圖像暗光增強模型，通常是利用深度網絡將暗光圖像分解為光照分量和反射分量，通過調整光照分量進行暗光增強，然而這類方法并不能很好地適應場景復雜的高分辨率遙感影像。因此，本文提出了一種基于卷積神經網絡的端到端的遙感影像暗光增強模型，無需進行光照分解，以暗光條件下的無人機遙感圖像作為輸入，通過深度網絡直接輸出光照增強后的影像。通過實驗證明了本文方法對無人機遙感圖像暗光增強取得了較好的效果。

1 基于卷積神經網絡的無人機影像暗光增強

本文通過訓練卷積神經網絡模型來實現無人機影像暗光增強，訓練樣本集可表示為{Li,Hi|i=1,...,N}，其中Li為暗光圖像，Hi為對應的經過光照增強后的無人機影像，這是人工通過CaptureOne 等軟件調色得到的。本文設計了一種適合無人機影像暗光增強的高分辨率網絡模型，該模型能夠保持輸入影像的高分辨率特征，經過訓練后的模型以原始暗光圖像作為輸入，輸出光照增強后的無人機影像。

本文方法技術流程如圖1 所示。

圖1 技術流程Fig.1 Technical process

1.1 網絡模型

無人機遙感由于要獲取清晰的地物細節，具有很高的影像分辨率，一般優于5cm/每像素。因此，對無人機遙感影像進行暗光增強，除了對光照分量進行調整之外，保持影像的細節信息也是非常重要的?，F有的大多深度網絡模型一般都使用采樣間隔為2 的最大池化層和卷積層來擴大感受野，從輸入的高分辨率影像中提取出高層語義特征，得到低分辨率特征圖，然后采用反卷積或上采樣的方式恢復原始尺寸，得到輸出結果。使用這種網絡模型必然會導致細節信息的丟失，從而使暗光增強后的遙感影像丟失細節信息。因此，本文提出了一種高分辨率網絡結構RS-HRNet 來進行無人機遙感影像暗光增強。

RS-HRNet 以高分辨率網絡模型HRNet[2]為基礎，網絡存在多個分支，第一個分支為高分辨率分支，在網絡傳播的整個過程中都維持高分辨率的特征表示，隨著高分辨率分支向后傳播，逐漸增加高分辨率到低分辨率的網絡分支，并將多個分辨率的網絡分支進行并行連接，通過多分支網絡互相交換信息完成多尺度特征的融合，使得網絡生成的特征既有高層次信息，又能保持較高的分辨率。網絡結構如圖2 所示。

圖2 網絡結構Fig.2 Network architecture

RS-HRNet 與HRNet 不 同 的 地 方 在 于，HRNet 前 兩層使用采樣間隔為2 的卷積層，將輸入尺寸為（H，W）的影像進行4 倍降采樣，得到尺寸為（H/4,W/4）的特征圖，最后再通過連續上采樣將特征尺寸恢復為（H,W）輸出最終結果。本文通過實驗發現，如果直接采用這種方式，網絡模型雖然能通過訓練預測出光照增強后的影像，但是影像會損失一定程度的清晰度，失去細節信息。所以RS-HRNet 在HRNet 的基礎上，將前兩層卷積層的采樣間隔設置為1，同時在最后去掉上采樣操作，將特征圖的尺寸始終保持為（H，W），與輸入影像尺寸一致。

1.2 損失函數

給 定 訓 練 樣 本{Li,Hi|i=1,...,N}， 其 中Li為 暗 光圖像，Hi為對應的經過光照增強后的無人機影像，RSHRNet 以Li為輸入，通過一系列卷積層、歸一化層和激活函數后輸出增強后的影像H?i，本文以Charbonnier 損失函數[5]對網絡模型進行訓練，Charbonnier 損失是一種帶常量的L1 損失函數，相比L1 損失函數更加穩定，在圖像超分辨率、圖像生成、圖像復原等領域都取得了較好的效果。RS-HRNet 的損失函數如公式（1）所示：

其中ε 為常量，在本文實驗中根據經驗將ε 設置為10-3。

1.3 模型訓練與預測

實驗的主要步驟如下：

（1）獲取暗光增強訓練數據。實驗采用在暗光條件下使用飛馬OP3000 傾斜航攝儀獲取的西部某地區無人機遙感影像作為暗光圖像，用CaptureOne 手工將該數據進行光照增強作為增強后的圖像。如圖3 所示，暗光圖像與增強圖像對構成了本次實驗的訓練數據。影像勻為三通道彩色影像，分辨率為5cm/像素，尺寸為7952×5304。數據分為訓練集和測試集，訓練集包含812 對影像，測試集包含203 對影像。

圖3 訓練圖像對Fig.3 Training paired data

（2）構建深度網絡模型RS-HRNet。在暗光增強數據集上訓練模型，獲取遙感圖像暗光增強模型參數。本文采用Pytorch 深度學習框架訓練RS-HRNe 網絡模型，Pytorch 框架易于上手，模型構建效率高。

（3）模型預測，將待處理的測試影像輸入訓練好的RS-HRNet 網絡模型，得到光照增強之后的無人機遙感圖像。

2 實驗與分析

2.1 實驗數據

本文采用飛馬OP3000 傾斜航攝儀獲取的西部某地區無人機遙感影像作為實驗數據，影像勻為三通道彩色影像，分辨率為5cm/像素，尺寸為7952×5304。數據分為訓練集和測試集，訓練集包含812 對影像，測試集包含203 對影像，訓練集用于訓練網絡模型，測試集用于測試模型效果。

2.2 實驗參數

實驗采用Adam 優化器作為網絡優化方法，學習率設為2e-4，BatchSize 設置為4，最大迭代次數為30，采用的顯卡型號為NVIDIA T600，顯存大小為4GB。

2.3 實驗結果與分析

本實驗在暗光測試集圖像上進行暗光增強，由于用CaptureOne 手工將暗光圖像進行光照增強后的圖像和原暗光圖像配對作為訓練集。因此將模型在測試集上的圖像增強結果與利用CaptureOne 軟件手動光照增強之后的結果（在本文中稱作真值）進行相似度對比，通過相似度對比評估該算法的魯棒性與暗光增強效果。

本文采用PSNR 和SSIM 對暗光增強效果進行評估，PSNR 為峰值信噪比，SSIM 為結構相似性，都是衡量增強結果與真值之間相似性的指標。

為了驗證本文提出的基于RS-HRNet 暗光增強方法的有效性，本文將方法與近年提出的基于Retinex-Net[3]的暗光增強方法進行對比，該方法是基于Retinex 理論[4]的卷積神經網絡模型，開啟了基于深度學習進行暗光增強的研究熱潮。RS-HRNet 與Retinex-Net 的對比實驗評估結果如表1 所示。

表1 對比實驗結果Tab.1 Comparative experiment results

圖4 測試集圖像增強結果Fig.4 Enhancement of test images

從表1 可以看出，本文方法相比Retinex-Net 在PSNR和SSIM 上都有明顯優勢，從如圖4 所示的測試結果可以看出，基于Retinex-Net 的方法雖然能夠達到光照增強的效果，但是增強影像的色調存在明顯的失真，而本文方法在增強了光照的同時仍然保持了圖像的原始色彩信息，究其原因是因為Retinex-Net 分為兩階段：第一個階段是光照分量與反射分量分解；第二個階段是增強光照分量，第一個階段分解的誤差容易影響到第二個階段，形成誤差累計。而本文方法是端到端直接生成增強圖像，采用高分辨率網絡較好的保持了圖像的細節信息，與人工調色結果（真值）更為接近，效果更好。

3 結語

針對高分辨率無人機遙感圖像暗光增強問題，本文提出了一種基于卷積神經網絡的端到端的遙感影像暗光增強模型，通過訓練深度網絡直接預測光照增強后的影像。通過與現有基于深度學習的暗光增強方法進行對比，結果表明了本文方法的有效性，下一步工作將考慮模型的計算效率，消除分塊效應，進一步提高暗光增強的效果。