視覺及其融合慣性的SLAM 技術發展綜述

曾慶化，羅怡雪，孫克誠，李一能，劉建業

（1.南京航空航天大學導航研究中心，南京 211106；2.先進飛行器導航、控制與健康管理工業和信息化部重點實驗室，南京 211106；3.衛星通信與導航江蘇高校協同創新中心，南京 211106）

實時精確的導航與定位信息對于運動載體的高效工作和任務實現具有不可替代的重要作用。為了實現運動載體在未知環境中的高精度動態定位和導航，同時定位與建圖（Simultaneous localiza?tion and mapping，SLAM）技術獲得了飛速的發展。該技術實現了搭載傳感器的運動載體在未知環境中運動感知并建立環境地圖，同時估計自身在所建地圖中位置的功能［1］，最早由Randall C. Smith 和Peter Cheeseman 于1986 年提出［2］，后經Leonard 等擴充［3］。隨著傳感器類型的擴充以及運動恢復結構（Structure from motion，SfM）技術［4］的出現，基于不同傳感器和優化理論的SLAM 技術得到迅速發展［5?6］，并在增強現實（Augmented reality，AR）/虛擬現實（Virtual reality，VR）、機器人、無人駕駛和無人機［7］等領域得到廣泛應用。

SLAM 技術所依據的傳感器形式多樣，如激光、超聲波和視覺等多種形式，目前激光SLAM 和視 覺SLAM 是 兩 種 主 流 方 式［8?9］。激 光SLAM 主要通過激光雷達直接獲得載體相對于環境的距離和方位信息［10］，實現環境的建圖和載體自身相對位置的確定，該技術理論和工程均比較成熟，但其存在成本較高、探測范圍有限等缺陷。視覺SLAM 主要依靠視覺傳感器，其價格適中，使用方便［11］，因此日益受到重視。隨著應用場景和任務的日益復雜化，純視覺SLAM 也呈現了易受光照變化和運動速度干擾與影響等缺點。因此，多信息融合的視覺SLAM 技術逐漸獲得重視。結合多傳感器信息和多層次互補濾波，可大大提升載體的SLAM 整體性能。視覺SLAM 分類及里程碑技術發展框圖如圖1 所示。

圖1 視覺SLAM 分類及里程碑技術發展Fig.1 Visual SLAM classification and milestone technology development

本文集中針對視覺及視覺/慣性SLAM 技術發展進行綜述研究，分別從視覺及視覺/慣性SLAM 中的關鍵環節、純視覺SLAM 關鍵技術發展分析、視覺/慣性信息融合SLAM 關鍵技術發展分析等方面展開。

1 視覺及視覺/慣性SLAM 關鍵環節

視覺/慣性SLAM 系統框架結構如圖2 所示，獲取視覺及慣性傳感器的數據后，通過里程計算法估計載體運動，結合回環檢測結果，在后端優化框架中優化運動估計參數，同時確定自身軌跡并實現周圍環境地圖的構建。本文以前端里程計技術、后端優化技術、回環檢測技術和地圖構建技術為代表，對視覺/慣性SLAM 中的關鍵環節進行歸納整理。去除慣性信息后，即可得視覺SLAM 關鍵環節。

圖2 視覺/慣性SLAM 系統框架結構Fig.2 Frame structure of visual/inertial SLAM system

（1）關鍵環節1：前端里程計技術

該關鍵環節在SLAM 過程中處于前端位置，狹義的視覺里程計技術僅指代依據傳感器數據進行載體位姿估計的過程，對SLAM 的結果具有重要影響。在對視覺里程計運動估計時，可采用對極幾何、迭代最近鄰（Iterative closest point，ICP）或n 點透視（Perspective?n?point，PnP）等原理進行解算。

視覺里程計根據工作原理可分為特征點法和直接法：特征點法通過提取和跟蹤解算圖像特征獲得載體與環境之間的相對位姿，理論較為成熟，魯棒性較強，且對環境的紋理特征要求較高，計算量較大；直接法利用圖像像素信息計算并累積相機的相對運動，具有速度快、實時性好的優點，但需要滿足時間連續、灰度不變等假設模型。

特征點法和直接法均需通過圖像匹配實現信息跟蹤，存在圖像難匹配、誤匹配問題。針對特征難匹配問題，國內外學者提出結合多源傳感器信息的方法，采用慣導、全球導航衛星系統（Global nav?igation satellite system，GNSS）、激光雷達等設備信息與視覺信息耦合，提升視覺導航魯棒性［12?13］；針對特征誤匹配問題，大多數采用改進或挖掘特征匹配結構的方法豐富特征信息，如構建基于雙向光流法的特征點環形匹配［14］、提取人造環境結構邊緣線特征的運動估計［15］、結合平面與直線關聯特征估計位姿［16］、結合深度學習中的語義信息剔除動態特征點［17?18］等算法。

通常采用慣性傳感器輔助提高視覺里程計的動態適應性，視覺/慣性里程計的前端關鍵技術主要有慣性預積分和信息聯合初始化。具有短期高動態適應能力的慣性器件信息采集頻率通常高于視覺相機的圖像采集頻率，因此使用圖像采集頻率對慣性觀測數據進行預積分［19］，實現視覺/慣性信息的頻率配準和坐標系轉化效率的提升。視覺/慣性聯合初始化策略目的在于提升視覺里程計的初始信息的快速性和準確性，如采用觀測樣本情形評估函數評估狀態誤差信息矩陣，循環判斷是否滿足初始化所需精度，從而提升初始化效率［20］。

（2）關鍵環節2：后端優化技術

后端優化可分為濾波器和非線性優化兩類，多源信息松耦合架構常采用濾波器融合方式，緊耦合架構中兩種方式均有應用，且基于圖優化理論的非線性優化策略更為廣泛。

濾波器優化方法通常改進卡爾曼濾波（Kal?man filter，KF）模型以適用于非線性系統。如采用聯邦濾波將慣性測量單元（Inertial measurement unit，IMU）信息分別與里程計和視覺數據組合，避免視覺失效時組合導航系統無法定位的問題［21］；采用不變卡爾曼濾波融合多層ICP 估計的相機位姿與慣性解算位姿，提升相機追蹤與重定位效果［22］；基于容積卡爾曼濾波（Cubature Kalman fil?ter，CKF）框架，融合視覺與慣性信息，避免雅可比矩陣計算過程，提升系統位姿估計精度［23］等。

非線性優化方法通常改進非線性最小二乘問題的求解過程。經典的最小二乘問題求解算法，如高斯牛頓法和列文伯格?馬夸爾特（Levenberg?Marquardt，LM）算法運算時間較長，因而可采用改進dogleg算法減少耗時［24］。此外，部分研究針對于模型的精度優化，如增加模型到模型配準的約束實現大回環局部優化［25］；采用卡爾曼濾波器融合全局優化后的高精度視覺估計與IMU 信息，兼顧濾波器的計算效率與優化方法的精度［26］。

（3）關鍵環節3：回環檢測技術

SLAM 中的回環檢測技術通過建立當前幀與之前某一幀的位姿約束關系消除視覺里程計所產生的累積誤差，進而實現地圖優化，主要依賴基于詞袋模型的改進算法或結合深度學習的回環檢測技術［27］。

詞袋（Bag of words，BoW）模型聚類特征描述形成單詞，將圖像幀轉換為單詞集合，對比圖像幀相似性判斷回環，可以加快特征匹配速度，但存在環境適應性弱、難以應對視角變換等問題。因此，部分研究通過優化BoW 模型進行改進，如結合圖像均衡化處理實現光照變換場景下的視覺BoW 在線增刪，提升算法魯棒性［28］；計算匹配圖像的共視區域協方差矩陣距離確定回環［29］，實現大視角下的回環檢測等［30］。

BoW 模型中構建的單詞向量近似語義信息，因而可結合語義標注剔除運動物體［31］，提高BoW模型魯棒性；也可以采用神經網絡代替BoW 模型獲取圖像幀的特征向量［32?33］，提高算法召回率。

（4）關鍵環節4：地圖構建技術

由于SLAM 前端理論差異，其構建地圖主要分稀疏點云地圖、半稠密點云地圖和稠密點云地圖3 類，點云稠密程度與檢測特征點的密集程度相關。隨著語義信息的引入，部分框架構建語義地圖［34］以提供更好的視覺感知效果。

地圖構建通常依據傳感器獲取信息及數據處理算法的差異而不同。文獻［35］提出構建融合類腦感知信息的三維認知地圖，其三維位置誤差為總行程的1.56%；文獻［36］將圖像中的語義標注結果與相機估計軌跡相融合，構建增量式稠密語義地圖。

SLAM 建圖過程中通常需要包含載體的相對位姿信息以及周圍環境景物的三維位置信息，評判算法精度的指標采用絕對軌跡誤差（Absolute tra?jectory error，ATE）和相對位姿誤差（Relative pose error，RPE）。ATE 對比數據序列時間戳中每個相近時刻下算法解算的載體位姿估計值與真實位姿之間的差值，是評估算法定位精度的主要指標。RPE 計算數據序列時間戳中每個固定時間間隔內算法估計位姿變化量與真實位姿變化量的差值，是評估系統漂移的主要指標。由于并行處理技術的應用，算法的實時性評估通常較為獨立，可依據研究需要對不同環節分別評估其運行時間，也可以針對前端特征跟蹤耗時的問題，評估跟蹤線程單幀圖像的處理時間。鑒于SLAM 算法影響因素較多，包括前端理論、環境特征點數目、光照變換、硬件配置等，當前的水平為：室內定位精度可達分米級；室外定位精度多為米級；隨著動態性能的增大，其定位精度有所下降。圖3 匯集了幾種常用的視覺SLAM地圖結果形式，其中圖3（c，d，e）均屬于點云地圖。

圖3 視覺SLAM 構建地圖類型Fig.3 Types of maps constructed by visual SLAM

2 純視覺SLAM 關鍵技術發展分析

自2004 年Bergen 等提出視覺里程計（Visual odometry，VO）后［37］，基于視覺圖像序列估計相機運動的方法獲得了科研人員的重視。將建圖環節引入VO 極大促進了構建環境地圖強化數據關聯的視覺SLAM 技術的發展。視覺SLAM 通過多幀圖像估計自身的位姿變化，再通過累積位姿變化計算載體在當前環境中的位置，其與激光SLAM 技術相比具備低成本、應用方便、信息豐富、隱蔽性強等諸多優勢，發展潛力巨大。

近年發展迅速的深度學習技術在視覺SLAM中也得到了重視和應用［38］，基于此可以將純視覺SLAM 分成基于幾何變換和基于深度學習這兩大類。其中，基于幾何變換的視覺SLAM 依據前端原理不同可分為特征點法和直接法兩類，基于深度學習的視覺SLAM 依據深度學習在視覺SLAM 中的學習功能形式不同可分為模塊替代SLAM 和端到端SLAM 兩類。

2.1 基于幾何變換的視覺SLAM 關鍵技術

基于幾何變換的視覺SLAM 方法利用二維圖像和三維點之間的幾何結構映射關系求解導航參數，其主要涉及兩類前端理論：特征點法和直接法。

（1）特征點法SLAM

該方法是VO 早期的主流方法，主要地圖形式如 圖3（a，c）所 示。第 一 個 視 覺SLAM，Mono?SLAM 于2007 年提出［39］。首次通過移動端相機獲取三維運動軌跡，在個人電腦（Personal computer，PC）上可以30 Hz 的頻率實時工作，但其單線程結構與實時性要求限制了前端特征跟蹤數量。因此Klein 等［40］提出具備跟蹤和建圖雙線程結構的并行跟 蹤 與 映 射（Parallel tracking and mapping，PTAM）方法，首次通過非線性優化，即光束法平差（Bundle adjustment，BA）方式計算相機軌跡和全局一致環境地圖［41］。2013 年，Labbe 等［42］提出了基 于 實 時 外 觀 建 圖（Real?time appearance?based mapping，RTAB?MAP）的方法，基于BoW 模型將圖像表示為視覺詞匯的集合，實現回環檢測［43］。2015 年Mur?Artal 等［44?45］進 一 步 提 出 含 有 跟 蹤、局部建圖及回環檢測多線程的ORB?SLAM2 算法，視覺SLAM 的多線程框架基本完善。

近幾年基于特征點法的視覺SLAM 主要針對前端特征結構進行改進，如2021 年哈爾濱工業大學［46］提出點線特征融合的方式，結合線特征約束提升線特征估計準確性，降低了3D 線特征引入的冗余參數對運動估計的影響。南開大學［16］結合平面和直線之間的幾何關系，提出基于平面?直線，即采用直線段檢測算子（Line segment detector，LSD）特征 混 合 關 聯 的 約 束 方 法PLVO（Plane?line?based RGB?D visual odometry），解決相機位姿估計時的退化問題。同時，簡化跟蹤特征，直接依據圖像像素信息估計運動的直接法得到廣泛研究。

（2）直接法SLAM

該方法構建的地圖形式主要如圖3（c，d，e）所示。2011 年，Newcombe 等［47］提出了首個基于單像素的直接法SLAM，稠密跟蹤與建圖（Dense track?ing and mapping，DTAM）方法，結合單個RGB 相機可在商用圖像處理器（Graphics processing unit，GPU）中實時定位與跟蹤。為了在一定程度上保留關鍵點信息，隨后Forster 等［48］提出用稀疏特征點代替像素匹配的半直接法視覺里程計（Semi?direct visual odometry，SVO）方法，Engel 等提出構建大尺度全局一致性半稠密環境地圖的大范圍直接同步定位與建圖（Large?scale direct SLAM，LSD?SLAM）算法［49］，以及通過最小化光度誤差計算相機位姿與地圖點的位置，將數據關聯與位姿估計統一在非線性優化中的直接稀疏里程計（Direct sparse odometry，DSO）方法［50］。

為兼顧特征點法與直接法的優勢，部分學者針對半直接法SLAM 深入研究。南京郵電大學［51］提出了基于半直接法的單目視覺SLAM 算法，結合KLT（Kanade?Lucas?Tomasi）光流跟蹤與ORB（Ori?ented fast and rotated brief）特征匹配方法，可處理復雜環境下的低紋理、運動目標和感知混疊等問題。

研究結合幾何信息的直接法也獲得了進一步的推進，如2019 年中國科學院大學［52］提出的融合多視圖幾何和直接法的同步定位與建圖（Fusing MVG and direct SLAM，FMD?SLAM），結合多視圖幾何和直接法估計位姿信息，并利用最小化重投影誤差優化位姿結果。表1 中梳理了基于幾何變換的視覺SLAM 代表性成果。

表1 基于幾何變換的視覺SLAM 研究成果Table 1 Research results of visual SLAM based on geometric transformation

從以上基于幾何變換的視覺SLAM 方法的演化趨勢可知：特征點法主要對前端關鍵點進行改進優化，直接法的前端則由基于像素估計趨向結合特征點法的半稠密方式，后端優化部分由濾波器過渡到非線性優化為主，地圖類型也由點云地圖擴展為半稠密/稠密地圖，適用模式由單目逐步擴充為雙目和RGB?D 模式。

2.2 基于深度學習的視覺SLAM 關鍵技術

由于在光照變化、場景更替和物體運動時，基于幾何變換的視覺SLAM 方法的性能下降［53］，且具有計算量大、計算流程模式固定等問題。因此，隨著深度學習技術的蓬勃發展，基于深度學習的視覺SLAM 研究也逐漸成為視覺的一個研究熱點?；谏疃葘W習的視覺SLAM 方法，主要用深度學習代替了SLAM 的部分或者全部的模塊，其地圖形式多如圖3（c，e，f）所示。

（1）利用深度學習替代傳統SLAM 模塊的方法

該方法常用深度學習過程替代特征提取、特征匹配和深度估計等模塊［54?55］，而語義分割大多結合語義信息對前端里程計過程進行改進。2008 年Roberts 等［56］首次將機器學習應用于VO。2017 年佳能公司［57］提出的CNN?SLAM，將LSD?SLAM 中的深度估計和圖像匹配模塊都替換成基于卷積神經網絡（Convolutional neural network，CNN）的方法，提升系統場景適應性。2018 年帝國理工學院［58］提出的CodeSLAM 使用U?Net 神經網絡提取圖像特征并估計圖像深度的不確定性。2019 年博特拉大學［59］提出一種利用單張圖片進行深度預測的方法CNN?SVO，可提升半直接法視覺里程計的建圖效果。2020 年阿德萊德大學［60］提出基于CNN 實現深度預測和特征匹配的融合深度與光流的視覺里程計（Depth and flow for visual odometry，DF?VO）方法，將深度學習與對極幾何和PnP 成功結合。2021 年中國科學技術大學［61］提出結合幾何約束和語義分割去除動態環境中移動對象的DP?SLAM方法，結合移動概率傳播模型進行動態關鍵點檢測，有助于虛擬現實的應用研究。

（2）利用深度學習實現的端到端SLAM 方法

該方法利用端到端的訓練方法可直接估計圖像序列的幀間運動，在線計算速度快，具有較強的算法遷移能力［62］，其計算速度相比替代傳統SLAM 模塊的方法更快。2015 年，劍橋大學［63］基于圖像識別網絡GoogleNet［64］開發基于單張圖像信息的絕對位姿估計網絡PoseNet。2017 年埃塞克斯大學［65］提出的UnDeepVO 采用無監督深度學習訓練雙目圖像，可通過單目圖像估計相機位姿并實現絕對尺度的恢復。弗萊堡大學［66］提出的De?MoN 利用連續無約束的圖像計算深度及相機運動，還可對圖像間的光流和匹配的置信度進行估計。2019 年 倫 敦 大 學 學 院［67］提 出 的Monodepth2是一種基于CNN 的自監督方法，通過在運動圖像序列上訓練一個建立在自監督損失函數上的架構實現深度及位姿預測。2020 年北京大學［68］提出一種單目深度、位姿估計的無監督學習網絡SfM?Learner，可從無標簽視頻序列中進行深度和相機姿態估計卷積神經網絡的訓練。表2 整理了基于深度學習的視覺SLAM 代表方案。

表2 基于深度學習的視覺SLAM 研究成果Table 2 Research results of visual SLAM based on deep learning

基于深度學習的視覺SLAM 方法在2015 年之后興起，近年來研究成果越來越豐富，其訓練類型以有監督為主，并逐步改進為自監督、無監督方式。采用替代傳統視覺SLAM 模塊的形式，構建地圖類型較為多樣，適用模式豐富，但仍以單目模式為主；端到端的學習則主要集中在單目視覺模式。

綜上，基于幾何變換的方式和結合深度學習的方式都存在其優勢和不足。幾何變換方法理論成熟，特征點法適用于尺度較大的運動，魯棒性更好，但特征提取耗時；直接法速度快，適用于特征缺失場景，但灰度不變假設不易滿足，不適合快速運動?；谏疃葘W習的方法對光線復雜環境的適應性強，對動態場景識別更加有效，可結合語義信息構建地圖，但同樣存在訓練時間長、計算資源大、可解釋性差等問題。因此無論是理論成熟、具有可解釋性模型的傳統方法還是可移植性強的深度學習方法都亟待進一步深入研究。

3 視覺/慣性SLAM 關鍵技術發展分析

由于純視覺SLAM 存在受環境光照影響大、動態適應性差等問題，基于視覺的多信息融合SLAM 技術成為新的重要研究方向，如：視覺/慣性、異源視覺/慣性等［69］組合方式。作為一種常見的自主導航方式［70?71］，傳統的可見光視覺與慣性信息融合SLAM 技術，在研究成本和隱蔽性方面均具有較大優勢。針對可見光圖像在弱光照條件下適應性差的問題，可結合不同成像傳感器和圖像處理技術獲得的異源圖像進一步豐富視覺導航信息。下文將在闡述傳統視覺/慣性SLAM 的發展歷程及經典算法的基礎上，對融合異源圖像的視覺、視覺/慣性SLAM 方案進行綜合分析。

3.1 傳統視覺/慣性SLAM 關鍵技術

純視覺導航對環境特征跟蹤較為精確，但在載體快速運動以及低紋理、含有光照變化等場景中應用效果不佳；純慣性導航則不受運動場景和速度限制，但長時間運行會產生累積誤差［72］。因此，融合視覺與慣性傳感器優勢，并可規避劣勢的視覺/慣性組合SLAM 技術成為視覺SLAM 領域的主流組合方式，并依據視覺與慣性信息的耦合方式分為松耦合和緊耦合兩種組合形式［73?74］，構建地圖形式主要如圖3（b，c）所示。

（1）視覺/慣性松耦合SLAM

視覺圖像與慣性數據的松耦合模式多應用于早期理論探索階段，如2012 年，蘇黎世聯邦理工學院［75］提出的一種基于光流（Optical flow，OF）和慣性約束的慣性與單傳感器融合（Single sensor fu?sion，SSF），其具有良好的可擴展性。但由于視覺/慣性松耦合方式通常以慣性數據為主，視覺測量信息則用于修正慣性傳感器的累積誤差，因而會引入視覺量測所產生的誤差，因此在后續研究中多采用緊耦合方式。

（2）視覺/慣性緊耦合SLAM

相較于松耦合方式，緊耦合SLAM 可以更緊密地聯系視覺特征與慣性傳感器的量測數據，提升視覺/慣性組合SLAM 系統的精度，因而形成諸多以圖優化理論為主的視覺/慣性緊耦合SLAM成果。

2015 年Bloesch 等［76］提出一種單目視覺/慣性里程計魯棒視覺/慣性里程計（Robust visual iner?tial odometry，ROVIO），直接利用圖像塊像素強度誤差實現精確跟蹤，使用EKF 實現優化。Leute?negger 等［77］提出基于滑動窗口的非線性優化緊耦合雙目視覺/慣性里程計OKVIS。2018 年賓夕法尼亞大學［78］提出一種基于多狀態約束卡爾曼濾波（Multi?state constraint kalman Filter，MSCKF）的雙目視覺/慣性里程計MSCKF?VIO。弗萊堡大學［79］提出將基于ORB?SLAM2 的視覺姿態解算與慣性、GPS 測量值相結合的姿態測量算法，并在無人機救援任務中得到應用。2019 年香港科技大學［80?81］提 出 基 于 優 化 的 多 傳 感 器 狀 態 估 計 器VINS?Fusion，支持多種視覺/慣性傳感器類型，可實現自主精確定位［82］。上海交通大學［83］提出一種在人造環境中利用結構規律的視覺慣性里程計StructVIO，基于結構化線特征完成VIO 設計。慕尼黑工業大學［84］提出了一種利用非線性因子恢復法提取相關信息，進行視覺/慣性建圖的里程計Basalt。2020 年薩拉戈薩大學［85］提出適用于單目、雙目、RGB?D 相機的視覺、視覺/慣性多種模式的ORB?SLAM3，在部分測試場景中定位精度可達分米甚至厘米級，實現了傳統視覺SLAM 算法在定位精度上的突破。2021 年，武漢大學［86］提出一種適用于卷簾快門RGB?D 相機的視覺/慣性SLAM方法VINS?RSD，利用深度相機直接獲得深度，解決了初始化特定運動狀態的需求。表3 整理了視覺/慣性組合SLAM 的代表性方案。

表3 視覺/慣性SLAM 研究成果Table 3 Visual/inertial SLAM research results

目前具有代表性的傳統視覺/慣性SLAM 方案多采用緊耦合方式實現多信息融合，前端常采用特征點法和KLT 光流法，優化理論以非線性優化方式為主。構建地圖的類型較為豐富，主要為點云地圖和軌跡地圖。由于視覺/慣性組合的方式有效解決了單目視覺無法恢復尺度的問題，因此單目及雙目視覺/慣性組合模式均得到了廣泛研究。

在近幾年的多信息融合導航領域，出于全天候全時段導航任務的需求，研究人員深入挖掘了視覺圖像信息，通過融合不同模態的視覺圖像信息提升視覺解算性能，基于異源圖像的視覺導航技術得到發展。

3.2 融合異源圖像的視覺及視覺/慣性SLAM 關鍵技術

傳統可見光視覺導航方式存在光譜范圍受限、低光照環境不可用等問題，異源圖像則既保留了視覺導航自主抗干擾的優勢，又對單色圖像信息進行有效補充，在地形勘探、目標提取和精確導航方面具有實用前景，融合異源圖像的視覺導航技術也在低光照環境及復雜地形場景中得到應用。早期異源圖像多作為信息輔助測量手段應用于導航領域，用于提高視覺感知［87?88］、實現雙目測距［89］等功能。近年來則涌現了更多融合異源圖像信息的視覺導航方案，基于其融合的傳感器數據分為異源視覺SLAM 和異源視覺/慣性SLAM 方案，地圖形式主要為圖3（b）的軌跡地圖。

（1）異源視覺SLAM

2018 年新加坡國立大學［90］提出了一種多平面紅外視覺里程計，采用激光設備輔助消除尺度恢復中的測量誤差，提升了無人機在多平面復雜地形中晝夜飛行的魯棒性。2021 年大連理工大學［91］提出一種偏振光/雙目視覺仿生組合導航方法，利用仿生偏振定向傳感器輸出的角度信息修正航向角?？颂m菲爾德大學［92］提出多模態純視覺里程計GMS?VO，分別對姿態和尺度進行估計，提升了系統整體定位精度。

（2）異源視覺/慣性SLAM

2017 年克蘭菲爾德大學［93］提出了一種融合慣性和多光譜信息的導航系統，適用于載體快速運動及寒冷環境場景。2018 年新加坡國立大學［94］提出了適用于無人機晝夜飛行的紅外視覺慣性里程計算法，采用擴展卡爾曼濾波（Extended Kalman filter，EKF）框架實現視覺及慣性測量信息融合，消除尺度恢復和運動估計誤差。2019 年加州理工學院［95］提出了一種熱像慣性里程計，分別將慣性數據與夜間的熱圖像或白天的視覺圖像緊耦合以適應不同光照條件，并集成在運動規劃和控制的自主框架中實時運行。2021 年克蘭菲爾德大學［92］提出視覺/慣性里程計MS?VINS，采用誤差狀態卡爾曼濾波器融合視覺姿態與慣性數據。表4 整理了融合異源圖像的視覺SLAM 代表性方案。

表4 融合異源圖像的視覺及視覺/慣性SLAM 研究成果Table 4 Visual and visual/inertial SLAM research results fused with heterogeneous images

異源圖像逐漸由輔助導航手段轉為視覺導航的主要信息來源，視覺圖像也由紅外熱像圖轉變為可見光/紅外組合圖像，并擴展為視覺/慣性組合導航模式，利用多信息融合優勢提升SLAM 系統精度。雖然在異源傳感器數據處理、硬件配置等方面仍需進一步探索，但隨著異源圖像信息的引入，視覺SLAM 的環境適應性逐漸增強，呈現出在全天時復雜環境應用的發展傾向。

綜上，視覺及視覺/慣性SLAM 在不同領域得到了不同程度的應用。

基于幾何變換的視覺及視覺/慣性SLAM 整體研究已較為成熟，現已在多個領域得到實際應用，如iRobot、Dyson、科沃斯、小米等公司推出的具備自主導航功能的掃地機器人，應用視覺SLAM 技術實現室內定位感知及建圖任務；Skydio公司推出的自主飛行無人機，具備厘米級定位精度，可用于高壓線塔、橋墩、蓋梁等場景檢測；特斯拉公司研發的無人車輛智能駕駛，可實現L2 級別的部分自動化車輛自動駕駛；Nreal 公司推出的增強現實眼鏡，結合SLAM 技術聯通虛擬環境與現實世界，提升用戶感知體驗。

基于神經網絡或融合異源視覺的定位導航技術雖然為視覺SLAM 帶來了新的變革，但主要處于理論研究與實驗驗證階段，憑借神經網絡良好的學習能力及異源視覺的環境適應性，多應用于移動機器人巡檢、無人機礦井探測、無人駕駛目標識別及導航等自主任務。

4 結 論

本文以視覺及視覺/慣性SLAM 技術為主，歸納整理了前端里程計、后端優化、回環檢測和地圖構建關鍵環節，系統綜述了純視覺SLAM 的關鍵技術發展情況，并對視覺/慣性SLAM 導航方案進行梳理分析，結合異源圖像的研究應用情況，探討了融合異源圖像的視覺導航技術研究進展情況，為融合異源圖像的視覺及視覺/慣性SLAM 研究提供參考。結合現有研究成果，視覺及視覺/慣性SLAM 技術主要呈現以下3 點發展趨勢。

（1）理論優化改進：由于應用場景需求的多樣化，結合慣性、異源圖像等多傳感器的信息融合模式成為SLAM 主流，促進了以緊耦合為主的信息融合理論發展，而隨著大場景SLAM 應用需求及圖優化理論的推進，逐步形成了基于擴展卡爾曼濾波框架的改進濾波器優化架構，和以光束法平差為主的非線性優化架構兩種研究趨勢。

（2）新型技術引入：隨著深度學習技術在計算機視覺中的廣泛應用，視覺SLAM 呈現出由傳統幾何變換方式逐步轉向結合深度學習的智能融合趨勢。一方面視覺圖像與語義信息的緊密聯系，使得集成語義信息的視覺SLAM 得到更多探索；另一方面為減少對傳統方式依賴，利用神經網絡架構替代SLAM 的部分模塊或端到端強化學習的模式得以廣泛研究。

（3）應用領域推廣：視覺SLAM 目前在智能家居、自動駕駛、無人機等領域得到了不同層次的應用，隨著硬件性能的提升，視覺SLAM 的應用范圍逐步由室內小空間轉向動態目標豐富的復雜大空間場景，應用的廣度和深度得到較大提升。