基于聯合檢測?描述的火星表面特征提取方法

何超群，胡茄乾，劉 洋，李 爽

（1.南京航空航天大學航天學院，南京 211106；2.北京控制工程研究所，北京 100190）

近年來，隨著航天技術的不斷發展，人類在深空探測方面進步卓越，火星作為離地球最近的類地行星自然成為了探測的首要目標［1］，中國“天問一號”也已經成功著陸火星開始火星地表探測任務。受火星的大氣不確定性和復雜的氣候影響，火星的進入、下降和著陸段（Entry，descent and landing，EDL）是著陸器最容易出現故障的階段。要在復雜的火星地理環境和較高的下降速度［2］下能夠實現安全著陸，火星探測器必須具備高精度的、實時的、魯棒的導航定位能力。為了提高著陸精度，視覺輔助慣性導航方法在火星著陸任務中得到越來越多的應用。由于光學圖像包含豐富的信息、衛星及降落相機所拍攝圖像分辨率的提高以及近年來相關視覺技術的發展，圖像匹配技術能夠很好地解決探測器著陸精度、實時性和魯棒性不足的問題。

建立圖像之間的像素點級別的匹配對應是計算機視覺輔助導航的基本任務之一，是三維重建、視覺定位導航、圖像檢索等工作的前提條件。經典的特征提取方法，如尺度不變特征變換（Scale?in?variant feature transform，SIFT）檢測算法［3］、Harris角點檢測算法［4］等，都是遵循了“先檢測再描述”的過程原則，即首先通過特征檢測器處理得到一系列關鍵點或興趣點，之后基于這些關鍵點和它們鄰域的圖像信息，通過特征描述符描述出獨特且明顯的特征［5］。Trawny 等［6］對SIFT 關鍵點用 歐式距離作為度量進行匹配，使用擴展卡爾曼濾波算法優化，可以不依賴隕石坑等具有特定幾何形狀的地貌，然而該方法不具有光照不變性。Delaune 等［7］則用Harris?Laplace 特征點檢測算法提取坐標，通過幾何匹配算法進行定位，該算法的實時性好于SIFT 特征匹配，但匹配精度不滿足探測器著陸需求。陶江等［8］提出使用加權處理的多維特征描述子，通過主要成分分析（Principal component analy?sis，PCA）降維提高了匹配速度，增強了復雜火星地貌下傳統算法的匹配魯棒性。

隨著計算機技術，尤其是人工智能科學的發展，人們發現卷積神經網絡（Convolutional neural network，CNN）能得到更深層次的特征圖，能在更高層次的信息領域進行特征提取與描述，卷積方法在計算機視覺領域得到廣泛應用。Zeiler 等［9］對基于ImageNet 的卷積神經網絡的各層模型工作原理進行了分析，揭示了各層網絡在圖像處理中的不同貢獻，并基于這些發現提出了對特定卷積網絡的改進方法。Yi 等［10］使用深度網絡，基于稀疏特征點描述了不同圖像間的運動對應關系，揭示了特征點與不同圖像的層次間的聯系，但是需要提前知道相機的內參函數，限制了適用范圍。Dusmanu 等［11］結合Hard 類特征提取方法和Soft 類特征提取方法，對基于卷積神經網絡的低階描述方法進行改進，提出了Describe?and?detect 方法，在具有挑戰性的亞琛日夜數據集上得到了良好的表現。Tian等［5］提出了不同框架下卷積特征描述符的性能評判標準，即絕對顯著性和相對顯著性兩個方面，為特 征 檢 測 與 描 述 任 務 建 立 了 新 的Describe?and?Detect 框架?；诰矸e網絡得到的編碼特征表征能力有限，陳俊芬等［12］通過改善網絡結構和損失函數，提高了特征聚類性能，在簡單的數據集下取得了良好的效果，但是在背景變化大，不確定性因素較多的情況下，準確率較低。Re?vaud 等［13］引入自監督學習，將特征的檢測可重復性和描述可靠性關聯訓練，提高了檢測準確率，并且通過Style Transfer 增強了網絡對抗光照變化的魯棒性。李海豐等［14］將可變形卷積與特征融合相結合，加入多尺度模塊，各模塊獨立組成DFNet，提高了背景存在干擾因素時的檢測準確率，但是花費檢測時間較長，不能滿足實時性要求。Lee［15］提出基于U?Net 的隕石坑檢測算法，能夠在普通數據集中自動檢測出約75%的隕石坑數據，實現無人工 輔 助 標 注。Yang 等［16］建 立 了MDCD 火 星 隕 石坑數據集，提出了高分辨率特征金字塔網絡，網絡主干加入特征聚合模塊，提高了小型隕石坑特征提取能力。文獻［15?16］驗證了卷積網絡在火星圖像處理上的可行性，但是仍然處于線、面特征檢測階段，無法在沒有隕石坑的場景下推廣應用。

本文采用的聯合檢測?描述方法，旨在火星表面登陸這一具有挑戰性的視覺導航任務中，得到最佳的稀疏特征集，并能夠有效地儲存和利用在匹配工作中。使用卷積神經網絡生成原始圖像的特定映射，在具有深層信息的映射上進行特征描述符的計算和特征點的提取，改進損失函數，將檢測與描述緊密聯合起來。這種檢測方法，對于具有不同局部特征描述符的像素點，也能提取更好的適用于匹配任務的特征點，提高匹配的準確率。

1 數據獲取與可訓練數據集的建立

1.1 數據獲取

本文選取青海省海西州大柴旦紅崖地區作為模擬著陸區，利用Blender 模擬了火星著陸的過程，獲取了模擬的著陸視頻。使用Blender 調用地理信息系統（Geographic information system，GIS）插件，截取部分區域的數字高程模型（Digital elevation model，DEM），細化后恢復其三維模型，再將其通過矯正的色彩信息貼在三維模型上，完成對著陸區域的建模。建模結果如圖1所示。

圖1 著陸區建模結果Fig.1 Modeling results of the landing zone

在獲取著陸區域的模型后，創建一個相機，通過設定速度和旋轉生成一條軌跡，將此場景創建為一個動畫則可獲得模擬的火星著陸視頻。視頻共250 幀，可獲得250 張圖像，如圖2 所示。部分獲取的火星著陸圖像如圖3 所示。

圖2 添加相機著陸模擬動畫結果Fig.2 Results after adding simulated landing animation of the camera

圖3 模擬成像結果(部分)Fig.3 Results of certain simulated images

1.2 訓練數據集的建立

圖像的特征提取是像素級別的處理與操作，為了生成像素層面匹配的訓練數據，通過對仿真火星下降段著陸過程中，視覺傳感器拍攝得到的視頻，進行逐幀的圖像提取，獲得了原始的圖形數據，包含250 張不同位置、不同角度、不同光照條件的圖像，同時加入挑選自Mars32k 數據集中的873 張火星地表圖像。使用COLMAP 工具對這些圖像進行處理，可以得到多視角立體成像的相機參數和深度圖。為了提取匹配的特征信息，首先只選擇稀疏SFM 點云（圖4）中重疊度超過50%的圖像對（每一對包含兩張圖像）。事實上，由于著陸器的運動連續性，以及獲取到圖像的所屬幀的連貫性，絕大多數圖像之間都滿足這一條件。對于每一組圖像對，將第2 張圖像上具有深度信息的點投影到第1張圖像中，對第1 張圖像的深度圖進行深度檢查，移除被遮擋的像素點。最后得到可以輸入到卷積神經網絡中，用來訓練和驗證的火星表面特征數據集。

圖4 火星表面（部分）稀疏SFM 點云Fig.4 Sparse SFM point cloud of part of the Martian surface

COLMAP 可以使用高精度的SFM 算法處理生成高質量的3D 模型，對于每一張輸入的需要重建的圖像，COLMAP 都能夠先生成其深度圖Di，對于不能計算深度的像素點會用空點云代替，還能輸出包括相機參數、稀疏SFM 點和相機視角等參數。COLMAP 原始產生的映射數據包含很多誤差，主要包括：（1）只出現在一張圖像中的瞬時物體被分配的錯誤深度；（2）噪聲引起的深度不連續性；（3）背景物體對前景物體的溢出影響。目前已有的類似多目立體視覺（Multiple view stereo，MVS）方法均會產生這些誤差，并會嚴重降低接下來的訓練過程的精確度。文獻［17］設計了一種基于COLMAP 的改進MVS 方法，基于優先選擇更少的訓練數據集從而減少訓練效果不好的數據的原則，算法在深度估計步驟更加保守，通過應用中值過濾器，在迭代計算的每個階段，都會試圖確保臨近的深度估計具備幾何一致性。

2 聯合檢測?描述的特征提取方法

經典的“先檢測再描述”方法需要2 個階段，即分離的檢測階段和描述階段，一定程度上增加了計算量并帶來特征弱關聯性，導致特征匹配在諸如拍攝角度變化、火星光照變化等環境下精準度下降，為視覺輔助導航帶來了挑戰。不同于兩階段的傳統方法，聯合檢測?描述的方法通過卷積神經網絡進行密集的特征提取，獲得了兼具特征檢測器和特征描述符的表示，因為檢測器和描述符共用圖像底層和高層信息，稱之為聯合檢測?描述方法。

2.1 聯合檢測?描述流程

聯合檢測?描述方法基于卷積神經網絡對原始圖像進行一系列計算，方法結構如圖5 所示。

圖5 聯合檢測-描述方法結構圖Fig.5 Illustration of joint detection-description

首先對輸入的圖像I使用卷積神經網絡C處理，卷積網絡采用不包含全連接網絡的VGG16 結構模型，得到三維張量F如下

基礎的深度卷CNN 包含卷積、激活和池化3個部分。卷積部分是CNN 的基礎部分，對于圖像的單個通道，卷積核在其x、y方向上按照特定的步長平移，將對應卷積空間中的數字信息與自身核的權重相乘，并加上一定的偏置，作為映射特征圖上新的特征信息，可以表示為

式中：p×q為卷積核的大??；ωi為卷積核的權重；vi為每一步卷積核對應的圖像像素信息；bi為每一個卷積核的偏置項。在一般卷積操作完成后，得到的特征圖尺寸是經過壓縮的。為了保證特征圖與原圖像尺寸相同，可以采用填充的方式處理。全零填充是最常用的填充手段。如圖6 所示，通過在原始圖像周圍一定范圍內使用0 填充本來不存在的像素單元，并實際參與到卷積核的運算中，就可以保證特定步長下輸出的特征圖尺寸與原圖相同。

圖6 全零填充示意圖Fig.6 Illustration of same padding

卷積模塊整體是線性運算，無法滿足特征提取的特定需求，需要通過激活模塊進行非線性化。激活函數是具有不同特點的非線性函數，常用的激活函數有Sigmoid 函數、tanh 函數、ReLU 函數等。即使是激活后的特征圖，也含有很多冗余的空間信息，通過池化操作，對特征圖進行降采樣操作，可以有效降低特征空間，減少低層特征的參數，提高深層空間特征提取的深度，這一操作可以認為是降低分辨率的過程。

傳統的檢測方法通過篩選去除非局部最大值的操作來稀疏化特征表示，而卷積得到的特征圖是多維的，即存在多個映射圖Dk(k=1，2，…，n)，這就意味著檢測點可能是多維映射圖中的不確定的某一個，對此，檢測點需要滿足的條件為

式中：Dk對應圖5 中特征圖的其中一個通道，取n=512，則共有512 層特征圖，對應一個特征點的描述符為［512，1］大小的向量。

2.2 改進損失函數

為了訓練上文描述的模型，在網絡同時執行檢測與描述任務的要求下，能夠將網絡訓練調整到良好地適應不同的任務，需要一個合理的損失函數來聯合優化檢測和描述的目標。在檢測過程中，要在火星著陸環境這種視角、光線變化頻繁的場景，也能檢測到穩定的特征，應該追求特征檢測器的絕對顯著性，特征點應該具備高信息性、高精準性和高質量。在描述過程中，為了在匹配階段提高準確率，應該追求特征描述符的相對顯著性，即描述符在其鄰域內具有高區別性，不易與其他特征混淆。綜合特征點的絕對顯著性和相對顯著性，定義影響損失函數的主要標準為

式中：SAS(x，y)為檢測點(x，y)處的絕對顯著性；SRS(x，y)為檢測點(x，y)處的相對顯著性。相對顯著性代表了特征點的獨特性，表示特征點相對其附近的點和其他特征點具有差別，以提高特征檢測階段的準確率，在本文提出的網絡中，其計算方式為

式 中：p為 點(x，y)處 的 卷 積 值；(x'，y')為 以 點(x，y)為中心的3×3 范圍內的點的集合。絕對顯著性代表了特征點的信息性，表示在不同時刻下的圖片，同一對特征點的描述相似程度。絕對顯著性越強，特征描述符越有效，匹配準確率越高，其計算方式為

3 仿真和結果分析

試驗首先將火星表面圖像數據庫進行處理，得到可供卷積神經網絡訓練的數據形式。然后對神經網絡進行訓練，將網絡結構、權重參數保存到模型文件，調用離線學習好的模型，便可以對輸入的火星圖像進行特征提取。最后將提取到的特征信息用于匹配階段，驗證聯合檢測?描述方法提取到的特征點的實用性。本試驗采用的操作平臺硬件信息為Intel i5 CPU，主頻2.8 GHz，顯卡為NVID?IA GTX 1050ti 4G，顯卡官方CUDA 算力為6.1，內存大小16 GB。軟件則采用Windows 平臺，在Python 開發環境下，使用Pytorch 工具包搭建所需的神經網絡模型，使用Pycharm 軟件進行運行與調試。訓練參數方面，將學習率設置為0.001，batch size 大小設置為1，訓練Epoch 為10 代。

3.1 特征提取與描述仿真結果

從仿真火星下降圖像中，選擇6 組圖像作為測試對象。將高度較高的2 張圖像作為圖像對1；高度較低的2 張圖像作為圖像對2；角度變化較大的2 張圖像為圖像對3；光照變化較大的2 張圖像為圖像對4，高度、角度變化均較大的2 張圖像為圖像對5，高度、光照變化均較大的2 張圖像為圖像對6。表1 是聯合檢測?描述方法提取到的特征點與使用SIFT 算法提取得到的特征點信息對比。

從表1 可以看出，圖像對1 由于處于高度較高的位置拍攝得到，原始圖像包含的地貌特征較多，紋理復雜，特征點信息數量充足，聯合檢測?描述方法在這個場景下提取到的特征數量與SIFT 提取到的結果相差較小。在圖像對2 中，由于拍攝海拔低，特征紋理少，聯合檢測?描述方法得到的特征數量高于SIFT 方法112.9%，驗證了聯合檢測?描述方法在一般場景下的有效性。圖像對3～6 則是高度、角度、光照變化較大的場景，本文提出的方法在檢測數量和匹配數量上均優于SIFT 方法，具體匹配結果分析見3.2 節。

表1 特征點提取結果數量表Table 1 Results of feature point extraction

3.2 特征匹配仿真結果

在這個試驗中，考慮一個標準的圖像匹配場景，即給定2 張圖像，分別借由聯合檢測?描述方法和SIFT 工具對其進行特征提取，然后根據統一的匹配準則進行特征匹配。匹配方法是對于每一組圖像對，都使用最鄰近搜索［18］對已有的特征點搜索匹配，且只保留一組圖像對中2 張圖像均滿足最鄰近要求的結果。對于一組匹配的重合投影誤差，當誤差小于給定的閾值時，即認為匹配成功，并將匹配正確率作為測試準確率的評價標準。

圖像對1 中的2 張圖像，拍攝時間間隔為4.2 s，圖像對2 中的2 張圖像，拍攝時間間隔為2.1 s。圖7 和圖8 分別展示了第1 組圖像對和第2組圖像對的特征匹配結果。

圖7 圖像對1 匹配結果對比Fig.7 Matching results of Pair 1

圖8 圖像對2 匹配結果對比Fig.8 Matching results of Pair 2

圖像對1 的匹配中，聯合檢測?描述方法共生成1 362 組匹配對，SIFT 共生成1 753 組匹配對，兩者準確率分別為100% 和99.8%，可以看出經典方法存在4 個明顯的錯誤匹配。圖像對2 的匹配中，聯合檢測?描述方法共生成66 組匹配對，SIFT 則只生成了31 組匹配對，相對少了55%。且聯合檢測?描述的方法準確率為99.7%，而使用SIFT 算法生成的特征點進行匹配，準確率只有87.1%，對重建和導航工作的精準度產生了不良影響。從試驗結果可以看出，聯合檢測?描述方法在火星表面圖像特征提取、特征描述方面擁有更好的表現，其結果用于特征匹配階段也能得到相較經典方法更高的準確率，體現了聯合檢測?描述算法的優越性。

圖9 中，左右圖像在平移的基礎上相機存在3°的角度變化。兩種方法的匹配結果如圖9 所示，SIFT 匹配結果較為稀疏，存在大量的特征點提取出來卻無法匹配的情況，而聯合檢測?描述方法依然可以獲得稠密的匹配結果。

圖9 角度變化下圖像對3 匹配結果Fig.9 Matching results of Pair 3 when the shooting angle varies

如圖10 所示左右圖像在圖9 的變化基礎上增加了光照的變化。當光照變化較大時，SIFT 提取到的特征描述，在匹配階段完全失效，而聯合檢測?描述方法卻依然能夠獲得260 個匹配點對。圖9 和圖10 展現了聯合?檢測描述方法對視角變化和光照變化的高魯棒性，體現了聯合檢測?描述方法在火星復雜場景下的優越性。

圖10 光照變化下圖像對4 匹配結果Fig.10 Matching results of Pair 4 when the light varies

4 結 論

深空探測由于其通信不便等特殊性，對航天器、探測器的自主性要求也更高。本文針對火星探測器著陸過程中的光學導航問題，以提高光學測算準確性、穩定性為出發點，提出了聯合檢測?描述的特征提取、描述方法，使用一個卷積神經網絡通道，同時實現了特征提取器和特征描述符的功能，解決了視角變化較大和光照條件變化較大的情況下，火星著陸器下降過程圖像特征處理困難問題。仿真證明，本文的卷積神經網絡結構能對訓練數據庫進行良好的線下學習，并能離線地對特征進行提取和描述，提取到的特征用于特征匹配階段，也能獲得更高的匹配準確率，且具有良好的魯棒性。未來，提高算法的運行速度，促進人工智能算法在深空探測的實際應用，也是需要關注和研究的重點。