基于視覺的地外天體探測器著陸測速

張 洋,趙爾迅,張科備,高晶敏

1. 北京信息科技大學, 北京 100192 2. 北京控制工程研究所, 北京 100094

0 引 言

根據我國未來深空探測任務的發展規劃,地外天體附著采樣探測是我國未來十到二十年深空探測領域的重點發展方向之一[1-2].為了順利完成著陸探測任務,需實時估計探測器的下降速度,為探測器的自主制導、導航與控制(guidance, navigation and control,GNC)系統提供重要參考依據,保證探測器能夠安全、準確地降落在天體地表.2021年5月成功著陸火星的天問一號通過慣性+測距測速模塊修正導航,解決高動態下慣性模塊精度下降或計算錯誤的問題[3],測距測速傳感器的精度及穩定性直接影響軟著陸效果.

光學相機作為著陸導航敏感器[4]的主要測量單元,負責記錄探測器著陸過程中的視頻圖像.利用光學相機拍攝的天體地形視頻幀進行實時測速,可輔助探測器執行自主導航、自主障礙識別、自主定位及對準等任務.

在基于視覺的速度測量研究中,目前代表性的方法主要分為如下兩類:

(1)基于特征點匹配的測速算法.

文獻[5]使用火星探測器搭載的光學相機拍攝降落過程中的圖像,通過特征點匹配得到不同圖像上對應點的像素位移,再根據慣性傳感器的姿態信息和高度傳感器的高度變化,推算出像素位移對應的實際位移并除以拍攝時間間隔,即得到探測器著陸速度.文獻[6]提出一種基于圖像序列特征點匹配跟蹤的無人機測速方案,同時結合慣性導航裝置、高度計和可見光或紅外攝像機的多種測量信息,計算無人機的瞬時飛行速度.文獻[7]將光流和尺度不變特征變換(scale-invariant feature transform, SIFT)數據進行卡爾曼濾波融合,實現無人機的速度測量.文獻[8]建立實際距離到像素距離的二維映射表,將特征點在時間序列中的像素位置坐標轉換成實際位置坐標,求取運動距離再除以單位時間,從而獲得速度信息.以上方法存在天體表面地形單一造成特征點難提取以及特征點隨著下降運動偏移出相機視域的問題,并且需要借助其它多傳感器測量數據協同計算.

(2)基于深度神經網絡的測速算法

在車輛測速方面,文獻[9]利用EfficientNet網絡對提取的光流特征進行速度預測,該方法只適用于近視距測速場景,而在遠視距的航天器著陸測速中,由于受成像透視效應的影響,網絡難以擬合,測量精度嚴重下降.文獻[10]提出了一種基于長短期記憶網絡(long short-term memory,LSTM)的車速測量方法,綜合道路類型、交通狀況、加速度等數據,通過當前時刻信息預測下一時刻速度.該算法需要的數據類型和數據量較多,計算復雜費時.以上方法無法解決遠距離成像時透視效應對測速精度的影響,均不能直接應用于地外天體探測器著陸測速.

為了克服上述問題,本文提出一種基于深度學習的視覺測速方法:應用遞歸全對場變換(recurrent all-pairs field transforms,RAFT)[11]光流算法提取連續視頻幀的光流場,然后通過卷積神經網絡提取光流場對應的特征向量,最后構建長短期記憶網絡對提取的光流特征與速度進行擬合.在實驗測試中,與基于EfficientNet網絡[9]的測速算法進行對比,證明提出的測速模型在引入時間序列后能夠有效克服透視效應的影響;與基于時序前向傳播網絡回歸模型[12]的測速算法進行對比,證明本文的長短期記憶網絡具有更高的著陸全程測量精度.本文方法僅利用了光學相機獲取的視頻圖像,無需依賴其它高精度傳感器的測量數據,既可以解決傳統測速算法特征點脫離視域的問題,也可以改善遠距離成像中視覺透視效應對測速精度產生的影響.

1 視覺測速算法

本文構建LSTM長短期記憶網絡訓練測速模型,實現基于光流特征提取的連續視覺測速.該方法的前提是通過天體環繞探測任務提前獲取降落地點的高精度地形、氣候、大氣密度等環境先驗信息,用以構建降落仿真數據[13-14].核心思想是訓練一個LSTM網絡模型,用以擬合連續視頻幀中的速度信息和實際速度,其中視頻幀的速度信息由光流法獲取,實際速度由降落過程的仿真建模獲取.

本文提出的視覺測速算法總體框架如圖1所示,實線表示模型訓練過程,虛線表示實際應用過程.首先通過仿真模型模擬降落過程速度變化和降落相機拍攝的視頻圖像序列,然后采用RAFT遞歸全對場變換光流算法提取圖像序列幀間變化光流場,再參考卷積神經網絡(convolutional neural networks, CNN)提取特征的思想,構建卷積層和池化層提取光流場的特征向量,最后將特征向量和速度變化數據作為訓練集輸入到LSTM網絡中進行訓練得到測速模型.

圖1 本文算法總體框架Fig.1 Framework of the proposed algorithm

1.1 視頻幀光流場計算

光流法是估計空間物體在視頻幀間運動信息的一種方法,光流反映了三維空間中的運動物體在二維像平面中移動的瞬時速度大小和方向,即速度矢量.根據原理的不同,光流法可分為稀疏光流[15]和稠密光流[16-17].其中稠密光流計算整幅圖像或某一區域中所有點的偏移量,從而形成一個稠密的光流場.

本文采用RAFT遞歸全對場變換光流算法[11]提取天體地表視頻幀的稠密光流特征.RAFT光流法計算過程如圖2所示:通過特征編碼器分別提取著陸視頻相鄰兩幀中每個像素的特征向量,通過上下文編碼器提取其中一幀的上下文信息特征;構建多尺度相關性查找表進行視覺相似性計算,用來表示兩幀中每個像素對的相關性;更新迭代模塊利用門控循環單元以及卷積操作,計算出殘差光流作為補償,并與上次迭代過程輸出的光流進行疊加;最后經過鄰域加權上采樣恢復圖像尺寸,生成光流場.該光流計算方法泛化能力強,對于單一背景運動的光流計算準確率高.

圖2 RAFT光流場計算流程Fig.2 RAFT optical flow field calculation process

由于受火星表面氣流的影響,相機的拍攝畫面會以正下方為中心隨機晃動.圖2最后所得光流圖是經過渲染后的可視化光流場,其中不同顏色代表速度矢量的方向,顏色深淺代表速度矢量的大小,從圖中可知光流方向圍繞中心向四周展開,且距離中心越遠,速度矢量越大.

1.2 光流場特征向量提取

導航敏感器上的光學相機分辨率一般都在4 000×4 000 Pixel以上,雖能獲取高分辨率的著陸視頻圖像,但過高的分辨率會導致光流法計算復雜耗時.另外光流法是通過幀間對應像素灰度變化估計像素速度矢量的,像素塊越多,計算的準確率就會越低.考慮到RAFT光流法中特征編碼器會將原始圖像縮小為1/8,所以在進行光流提取前將視頻幀尺寸縮小為8的整數倍,即256 pixel×256 pixel.

為滿足實時測速的要求,必須通過盡可能簡單的特征提取網絡結構獲取速度預測所需的有效信息.圖像是每個像素點對應一個灰度信息,分為R、G、B三通道;光流場是前后兩幀中對應像素的位移速度信息,分為x方向和y方向雙通道.因此光流場與圖像類似,實質上也是數據陣列,可參考CNN卷積神經網絡提取特征[18]的思想對視頻幀的光流場提取特征向量.

由于光流場是像素點在x、y方向的平面速度矢量,速度大小與光流方向無關.所以將光流場的兩個通道合并為表示速度絕對值的單通道當量,公式如下:

(1)

其中,Vi,j為絕對速度,Vx為x通道速度,Vy為y通道速度,(i,j)為對應像素的坐標.

相較于原始圖像,光流場包含的特征信息單一,不必使用復雜的CNN網絡結構,以免特征提取過深造成錯誤的特征理解而發生過擬合.對整體256×256的光流場,使用步長為32的32×32×1卷積核,將其分為如圖3所示的64個區塊.該計算過程可表示為

圖3 光流場分塊提取特征向量Fig.3 Eigenvectors extraction from optical flow field

(2)

其中,F為卷積后的特征值,f為卷積核,I為輸入光流場,m,n為區塊序號坐標.

因為光流場中心運動變化量低、特征少,為提高計算效率,提取出邊緣兩圈共48個區塊的數據.對48個數據塊進行平均池化操作,生成第t幀光流場的特征向量xt

(3)

1.3 基于LSTM網絡的視頻幀實時測速

(1)成像透視效應

探測器在下降著陸過程中,光學相機會產生透視效應[19],其最基本的特點就是成像目標“近大遠小”.假設探測器下降速度不變,隨著視距(地表目標與相機鏡頭之間的距離)的改變,同一地表目標在視頻幀中的變化尺度不同,故不能直接根據光流場特征向量估算探測器著陸速度.

透視效應僅與視距有關,視距越近透視關系越明顯.遠處的物體接近透視滅點,所在相機中的成像小;近處的物體接近鏡頭,在相機中的成像大.當相機鏡頭以正前方的點為目標向其靠近時,圖像中心點的位移為0,目標四周的點可以近似為從中心點出發圍繞鏡頭做圓周運動,直至消失在視野外.根據角速度公式

(4)

當線速度v(真實運動速度)相同時,視距r越大,角速度ω(圖像像素位移速度)越小,即感知速度越小.透視關系如圖4所示,在探測器距離目的地8 852.92 m時相機視域為紅線標注范圍,距離3 154.04 m時視域為藍線標注范圍.假設真實世界中a點到b點與a′點到b′點之間的實際距離相同,若運動時間也相同,則vab=va′b′,根據式(4)可知ωab<ωa′b′.即運動速度相同的點在成像時,視距遠則目標點對應的像素運動慢,反之視距近則目標點對應的像素運動快.

地外天體探測器的光學相機隨著與天體表面距離越近,成像透視關系越強,這就造成在高處下降速度快時幀間對應像素變化小,在低處下降速度慢時幀間對應像素位移大.速度曲線與光流特征曲線無法一一對應,相同的光流特征向量可能對應多個速度值,不能準確計算實際著陸速度,所以一般的非線性回歸方法無法解決視距變化范圍大時的測速問題.

(2)LSTM網絡結構與速度計算

為解決探測器著陸過程中光學成像透視效應造成的測速不精問題,構建LSTM網絡對視頻連續幀進行速度擬合.LSTM是循環神經網絡(recurrent neural networks,RNN)的其中一種改良形式[20-21],與經典循環神經網絡RNN相比,它能對輸入的信息選擇性的記錄或遺忘,實現長時序預測.

本文的LSTM網絡結構如圖5所示,其中vt-1表示利用特征向量計算的上一時刻探測器著陸速度,訓練時初始量設置為0;vt表示當前時刻探測器著陸速度;xt為當前時刻視頻幀光流場的特征向量;ct-1為上一時刻網絡隱層計算的單元狀態,包含長期信息;ct為更新后當前時刻的單元狀態.

圖5 LSTM網絡結構Fig.5 LSTM network structure

將上一時刻輸出的速度vt-1與當前時刻的光流特征向量xt通過contact的形式組合,采用遺忘門保留上一時刻單元狀態ct-1的部分信息,遺忘門公式為

ft=σ(Wf·[vt-1,xt]+bf)

(5)

其中,σ為sigmoid激活函數;W和b分別為權重矩陣和偏置值.ft作為遺忘系數清除上一時刻單元狀態中不重要的速度信息.

輸入門與遺忘門的作用機制類似,但不同的是輸入門生成輸入系數it,用來記錄保留上一時刻的速度信息和當前輸入的特征向量

it=σ(Wi·[vt-1,xt]+bi)

(6)

單元狀態計算模塊根據上一時刻的輸出速度與當前時刻輸入的特征向量,使用tanh激活函數生成新單元狀態的候選值

(7)

利用遺忘系數清除舊信息,輸入系數添加新信息后,獲得新的單元狀態

(8)

與輸入門的計算原理相同,輸出門將特征向量xt與前一時刻速度組合,通過權重矩陣和偏置值計算輸出系數ot

ot=σ(Wo·[vt-1,xt]+bo)

(9)

基于式(8)中新的單元狀態,計算當前時刻探測器著陸速度

vt=ottanh(ct)

(10)

當前時刻的光流特征向量輸入LSTM網絡后會結合之前所有時刻的測速信息計算出當前速度,這樣就避免了透視效應造成的當前時刻特征向量映射到之前時刻速度標簽的問題,可實現利用連續視頻幀準確計算探測器實時著陸速度.

2 實驗結果與分析

為驗證算法有效性,將本文方法、無時序的EfficientNet卷積神經網絡[9]測速算法和加入時間序列的前向傳播神經網絡[12]測速算法進行對比測試.實驗中以測試集結果的誤差值曲線和平均絕對百分比誤差(mean absolute percentage error,MAPE)作為模型測速效果的評價指標.MAPE是一種評價回歸預測準確性的指標,常用于時間序列的預測,表示預測結果相較真實結果的平均偏離百分比.

2.1 數據集構建

本文采用NASA’s Eyes軟件的仿真模型模擬地外天體著陸探測任務.以好奇號火星車降落任務的模型和數據構建訓練集和測試集.

NASA’s Eyes是一款NASA官方推出的宇宙模型仿真軟件,其中包含了火星模型和好奇號火星車下降全過程的仿真動畫.著陸場景包含不同地形,視線方向可調,天氣狀況較好,成像清晰.通過調節成像視角模擬探測器下降時光學相機拍攝的天體地表畫面,用于實驗測試.圖6為“好奇號”模型與降落畫面.

圖6 NASA’s Eyes“好奇號”模型與降落畫面Fig.6 “Curiosity Rover” model and landing images in NASA’s Eye

好奇號火星車的著陸全過程分為:巡航裝置分離階段、火星大氣減速階段、降落傘減速階段和反沖發動機減速階段[22].在降落傘減速階段,距離地面約8 km時隔熱罩分離,降落雷達和光學相機開始工作,此時降落速度約為310 mile/h(140 m/s).從傳感器開始工作到火星車安全著陸,時長約為140 s.

對光學相機拍攝的視頻進行每秒10幀的畫面取樣,除去掉隔熱罩剛分離時阻擋視線和降落前反沖發動機沖擊火星表面激起灰塵阻礙光流計算的時段,視頻時長為123 s,共提取出1230幀畫面,速度從308 m/h下降到1.7 m/h.本組數據作為訓練集進行訓練.重新選取不同的降落視角模擬真實的降落任務,重復上述操作作為測試集,時長為125 s左右,共提取出1250幀畫面,速度從308 m/h下降為1.7 m/h.

2.2 模型訓練

綜合考慮模型復雜程度和測試效果,搭建四層LSTM網絡.網絡的輸入、輸出均為單通道數據,隱藏層與輸出層只在最后時刻連接.訓練集共1 229個數據,抽取中間30%的連續數據作為驗證集.

參考LSTM超參數設置[21,23],對訓練集樣本進行驗證.設定最大訓練輪數為2 000,四隱層神經元個數分別為32、64、64、32,隱藏層激活函數選用雙曲正切函數,損失函數選用均方誤差.Batch尺寸設置為200,初始學習率設置為0.01,在380輪訓練后通過乘以因子0.218來降低學習率.為避免過擬合,加入正則化系數0.000 2,并在第三隱層后設置一個參數為0.2的Dropout層.最后使用Adam優化器,選用驗證集損失最低的模型進行測試.

圖7為LSTM網絡訓練過程的損失值變化,黑色曲線為當前損失值,紅色曲線為平均損失值.圖8為網絡訓練集擬合效果和訓練集擬合誤差,其平均均方誤差為0.9748.由圖7和8可知損失隨訓練次數增加而下降,訓練集擬合效果優異.

圖8 訓練集效果和誤差Fig.8 Training results and errors of training set

2.3 模型測速效果對比

EfficientNet網絡模型應用于車輛視覺測速[9],通過卷積神經網絡提取特征并與速度標簽擬合.前向傳播網絡是解決回歸問題的常用模型,文獻[12]給出了時序問題下的前向傳播網絡結構.將以上這兩種方法與本文基于LSTM網絡的測速算法進行對比測試.

分別將測試集數據輸入到EfficientNet網絡模型、前向傳播網絡模型和LSTM網絡模型中進行測試,比較3種模型在探測器著陸全程的測速效果.速度測量值曲線和測量誤差曲線如圖9所示,從對比結果可以看出EfficientNet網絡模型不具有時序特性,模型難以擬合,測速結果逐漸擬合到某一固定值并不斷震蕩,無法用于探測器長距離下降測速.相比之下,應用時序分析的前向傳播網絡和LSTM網絡都能完成著陸全程的測速要求.

圖9 不同算法測速結果對比Fig.9 Comparison of velocity measurement results between different algorithms

圖9中第901～999幀為減速階段轉換時刻,無論是前向傳播網絡還是LSTM網絡在該時刻附近都出現了測量誤差波動,最大誤差分別為13.65 mile/h(6.10 m/s)和22.76 mile/h(10.17 m/s).這是因為降落傘減速階段(1～900幀)結束后反沖發動機并非立即啟動,在減速階段轉換時,探測器速度先增后減,運動狀態變化劇烈,難以提取相鄰幀間的有效速度信息,不利于視覺測速.因此,重點考察降落傘減速階段(1～900幀)和反沖發動機減速階段(1 000～1 250幀)的測速效果.圖10為降落傘減速階段兩種模型的測速效果曲線和測速誤差曲線.圖11為反沖發動機減速階段兩種模型的測速效果曲線和測速誤差曲線.

圖10降落傘減速階段不同算法結果對比Fig.10 Comparison between different algorithms in parachute deceleration stage

圖11反沖發動機減速階段不同算法結果對比Fig.11 Comparison between different algorithms in engine deceleration stage

通過計算測量結果的平均絕對百分比誤差 MAPE,進一步對比基于前向傳播網絡和本文基于LSTM的測速算法精度.不同減速階段的MAPE指標和最大誤差如表1所示.在降落傘減速階段,前向傳播網絡的MAPE指標僅比本方法低0.34%,最大誤差只相差0.52 mile/h(0.23 m/s),兩種方法在該階段的測速精度相差甚微.然而在反沖發動機減速階段,本文方法的MAPE指標相較前向傳播網絡減小43.50%,最大誤差僅為3.83 mile/h(1.71 m/s),本文方法在該階段的測量精度明顯更優.在整個著落過程中,本文算法的MAPE值(1.55%)也遠小于前向傳播網絡(13.53%),因此提出的算法測速表現更穩定.

表1 測速評價指標對比Tab.1 Comparison of evaluation indexes on velocity measurement

在實際降落任務中,探測器越接近著陸點,測速精度要求越高,即反沖發動機減速段為著陸測速的關鍵階段.在表1中降落傘減速階段兩種方法測速效果差別較小,但在反沖發動機減速的關鍵測速階段,本文算法則明顯優于前向傳播網絡.這是由于:1)隨著時間的推移,前向傳播網絡的測量誤差累積越大,其測速效果越差;2)前向傳播網絡模型本質上是求解輸入輸出的非線性關系,學習能力與訓練樣本有很大的關系.在降落傘減速階段,著陸器運行平穩、減速均勻,訓練集的降落數據與測試集相差不大,所以測試效果較好.而在反沖發動機減速階段,著陸器狀態變化相對劇烈,訓練數據與測試數據相差較大,前向傳播網絡的測速誤差就會增加.

綜合考慮探測器下降過程中兩階段減速特點和關鍵測速階段的精度要求,本文方法在整個著陸過程均能滿足視覺測速要求,尤其在著陸關鍵階段具有更精確的測量效果.另外,對測速效率進行記錄,平均單幀計算時間為0.076 2 s,可滿足實際工程中每秒至少10幀的實時測速需求.綜上所述,本文提出的算法能夠實現地外天體探測器下降的實時視覺測速任務.

3 結 論

為解決地外天體探測器著陸視覺測速中由于透視效應產生的圖像速度特征與實際速度不匹配的問題,本文提出了一種基于LSTM長短期記憶網絡的時序特征回歸方法.利用卷積層提取光流場的特征向量,構建LSTM模型對特征向量和實際速度進行擬合,避免了視覺透視造成的影響.所得結論如下:

1)與同樣應用時序特征的前向傳播網絡回歸算法相比,本文方法在整個降落階段和關鍵的發動機反沖減速階段MAPE指標分別降低了11.98%和43.50%,測速精度更高;

2)提出的方法可以在高精度地外天體降落任務仿真模型的基礎上訓練測速網絡,以滿足實際測速要求;

3)由于僅依靠光學相機作為測速手段,該方法計算量小、硬件要求低且工作穩定,在實際應用中既可作為著陸導航敏感器的測速單元輔助執行自主導航任務,又可在其它測速傳感器出現故障時作為臨時備選方案使用.

未來的研究工作將重點解決減速階段轉換時刻測量精度下降的問題,并在不同著陸場景和探測器降落姿態變化較大的情況下進行測試,以進一步提升算法的泛化性能.