基于增強現實的士兵系統研究進展*

龍知洲，陳珺嫻，唐榮富，鄧寶松，馬 天*

（1.軍事科學院系統工程研究院，北京 100010；2.軍事科學院國防科技創新研究院，北京 100071）

0 引言

士兵系統是指為士兵、尤其是徒步士兵研制的，包括武器、頭盔、防護服、電臺、計算機及有關軟件等在內的一體化作戰系統。增強現實（augmented reality，AR）技術作為近年來蓬勃興起的顛覆性交互技術，能夠將虛擬信息和真實世界融合在一起，為用戶提供虛實融合的場景并實時進行交互，在軍事領域具有廣闊的應用前景。該技術能夠在不影響正常觀察、機動、射擊等戰術動作的同時，在士兵眼前呈現出作戰所需的各類信息，進而成倍提升士兵的感知力、殺傷力、機動力和防護力。增強現實技術與士兵系統的有機融合，將顛覆未來士兵近距離作戰模式，極大增強未來士兵的訓練與作戰效能，使其成為各國士兵系統的重點發展方向。

1 增強現實系統概述

1.1 增強現實系統概念與組成

增強現實技術又被稱為擴增現實技術，是一種新型計算機應用和人機交互技術，它由虛擬現實技術發展而來，使用者看到的場景和人物部分真實、部分虛擬，通過把虛擬的信息帶入真實的世界中，達到能超越現實的感覺，創造出一種新的觀察世界、與世界交互的技術手段。該技術包含了多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤與注冊、場景融合等技術和手段，自誕生以來，被廣泛認為是最有可能成為繼移動手機之后的下一代計算平臺，對生產方式和社會生活產生了深遠影響，備受各國政府和企業的關注。

增強現實系統一般由視頻采集設備、頭戴式顯示器、跟蹤系統和移動計算處理單元4 部分組成，視頻采集設備如攝像頭等，負責獲取真實環境中的各種信息；頭戴式顯示器如智能眼鏡等，通過感應人們眼部活動、肢體動作或實際按鈕操作來接受指令，呈現所需圖像；跟蹤系統用來識別這些運動，并且準確呈現出用戶在任何時刻看到的真實世界與虛擬模型相融合后的圖像；移動計算處理單元則是用來進行計算、創建三維立體圖形等工作。

1.2 增強現實系統發展沿革

增強現實系統從誕生至今已歷經60 余年的發展，按照性能及設備特點可劃分為三代。第一代增強現實系統可追溯到Morton Heilig 在20 世紀五六十年代根據電影拍攝經驗所發明的Sensorama Stimulator 機器，它可以同時使用圖像、聲音、氣味和震動等讓人們感受到在街道上騎摩托車的場景。隨后美國計算機科學家Ivan sutherland 在1968 年創建了The Sword of Damocles（達摩克利斯之劍）系統，用于實時顯示計算機生成的圖形，被普遍認為是頭戴式顯示設備以及增強現實系統的雛形。隨著技術的進一步發展與硬件價格的急劇降低，第二代增強現實系統以1990 年波音公司Tom Caudell 研究員正式提出（augmented reality，AR）這個詞組開端，增強現實系統朝著小型化、實用化迎來了新一輪的研究高潮。1992 年美國空軍首次研發出了虛擬幫助系統，哥倫比亞大學在同一時間推出了機械師修理幫助系統，1996 年Steve Feiner 利用可穿透的顯示屏創建了世界上第一個戶外可移動的增強現實系統，1999 年日本的Kato Hirokazu 開發了一種適用于桌面級的增強現實跟蹤注冊工具包，即AR Toolkit 項目。第三代增強現實系統以2012 年Google Glass 的誕生為里程碑，移動式增強現實系統真正進入到人們生活中，開始向規?；瘧眠~進。

2 軍事領域增強系統的技術方法

2.1 增強現實系統的關鍵技術

增強現實系統的主要任務是進行真實世界和虛擬物體的無縫融合，需要解決真實場景和虛擬物體的合成一致性問題。為確保士兵系統增強現實技術的有效性，需解決好以下3 個關鍵技術。

2.1.1 三維跟蹤注冊技術

三維跟蹤注冊技術是實現移動過程中增強現實系統的基礎技術，可以在三維空間中將虛擬信息與真實環境進行配準注冊，實現虛擬信息和真實場景的無縫疊加。該技術包括兩方面，一是使用者的空間定位跟蹤技術，二是虛擬物體在真實空間中的定位技術。跟蹤注冊技術首先檢測需要“增強”的物體特征點以及輪廓，跟蹤物體特征點自動生成二維或三維坐標信息，利用跟蹤技術確定移動設備攝像頭與虛擬信息的位姿關系，從而保證虛擬信息能夠實時顯示在屏幕的正確位置。三維跟蹤注冊技術的實時性、穩定性和魯棒性直接決定著增強現實系統的成功與否，常用的三維跟蹤注冊方法有：基于跟蹤器的注冊、基于機器視覺跟蹤注冊、基于無線網絡的混合跟蹤注冊技術3 種。

2.1.2 虛實融合顯示技術

增強現實系統就是構建一個虛擬模型與真實場景相融合的三維立體場景，但是簡單地將虛擬模型顯示在真實物體前方不能保證二者的有效融合，實現增強現實系統的可用性。為了解決這個問題，需要對虛擬模型和真實物體的遮擋進行處理，保證陰影和光照的一致性，能夠適應環境的真實光照變化，同時要考慮真實模型和虛擬物體間的陰影、虛焦模糊等情況，使得虛擬模型產生如同真實物體一樣的光照和陰影效果。另外還必須解決虛擬融合顯示的延遲問題，保證系統應用的實時性要求。

2.1.3 自然人機交互技術

為實現用戶與真實環境中虛擬模型自然直觀的三維交互，需要設計針對增強現實系統的交互工具，并能夠跟蹤定位到交互工具的位置信息，從而正確執行用戶指令，提升用戶友好性。增強現實系統的交互方式主要有基于硬件設備和基于視頻處理兩種方式，基于硬件設備的方式是通過外接設備如鼠標鍵盤、數據手套等進行人機交互，基于視頻處理的方式如基于計算視覺的自然手勢交互方法，借助人手識別算法對人的肢體動作等進行識別，進而進行人機交互。

2.2 士兵系統中增強現實技術的優勢

士兵系統增強現實技術的核心思想是建立一種以士兵為中心的信息呈現和交互的方式，從而達到先敵發現、先敵打擊的目的。其主要優點包括：

2.2.1 作戰行動更加順暢

傳統士兵信息終端一般采用平板電腦或軍用手機。士兵在查看戰場態勢或作戰信息時，必須暫?；蛑袛嘧鲬鹦袆?，雙手脫離武器低頭操作終端，增強現實技術可將地圖、方位、敵我位置等戰術信息直接呈現在士兵眼前，從而解放士兵雙手，加速作戰行動。

2.2.2 呈現方式更加直觀

在現代戰場上，信息呈現方式通常是基于戰場坐標系或大地坐標系進行全局顯示，然而士兵的觀察、機動、打擊能力均有較大限制，因此，其作戰決策往往依賴于自身方位進行判斷，兩種視場之間的轉換帶來不直觀、不便捷等問題。增強現實技術可以融合士兵方位和戰場坐標，建立一種以士兵為中心的信息呈現和戰場理解方式，從而有效提升士兵決策效率。

2.2.3 交互手段更加豐富

增強現實技術能夠提供一種新的裝備交互控制方式，在按鍵、觸摸等傳統交互控制方式的基礎上，可進一步融合手勢、語音、眼動、腦機接口等新型交互手段，從而成倍提升人機交互效率。

2.2.4 實戰訓練更加高效

傳統的實兵訓練或模擬訓練方式均有其局限性，增強現實技術具有虛實融合的天然優勢，可將實兵訓練和模擬訓練結合形成一種新的沉浸式訓練方法，具有高效率、高保真、快部署、低成本的綜合優勢，這也正是美軍近年來推動合成訓練環境（synthetic training environment，STE）建設的動因。

3 基于增強現實的士兵系統成果應用

隨著增強現實技術軍事應用前景日趨明朗，主要國家政府和軍隊陸續將其納入士兵系統未來發展規劃，從而在未來戰場上進一步擴大與對手的技術鴻溝，取得非對稱信息優勢。

3.1 美國研發“集成視覺增強系統”

美國在20 世紀90 年代率先提出將士兵作為一個系統（soldier-as-a-system）理念，也是較早探索在士兵系統中運用增強現實技術的國家之一。2013年，美軍特種作戰司令部啟動“輕型戰術突擊作戰服”研制工作，其中盔載視覺增強系統作為7 個子系統之一，具備目標獲取、寬視場多光譜融合顯示等功能，能夠提升特戰士兵對復雜環境的感知能力。2018 年，美國陸軍士兵殺傷力跨職能小組主導開展增強型雙目夜視儀（ENVG-B）開發工作，該裝備能夠與現役“奈特勇士”士兵系統完全兼容，不僅具備微光/紅外融合夜視能力，而且能夠將自身方位、敵我位置等戰術信息顯示在目鏡內，如圖1 所示。另外一款由該小組負責研發的集成視覺增強系統（integrated visual augmentation system，IVAS），如圖2 所示，是士兵增強現實技術歷史上的里程碑成果。

圖1 美國增強型雙目夜視儀

圖2 美國IVAS 系統

3.1.1 發展概述

IVAS 系統是由美國國防部領導、美陸軍主導的一個高優先級項目，融合了先進傳感、增強現實、人工智能等先進技術，總體目標是提升士兵以及分隊的合成訓練效果和全天候作戰能力，同時與現役“奈特勇士”系統完全兼容。

美國陸軍士兵殺傷力跨職能小組主導IVAS 系統研制工作，他們打破了傳統的裝備研發流程，加強與院校、私營企業合作以快速推動前沿技術應用。2018 年11 月，軍方選擇微軟公司作為合作伙伴，基于商用HoloLens 眼鏡打造原型系統。為保證項目推進達到預期效果，美軍啟動了一項名為“士兵接觸點”（soldier touch points，STP）的計劃，包括陸軍特種部隊、游騎兵、第25 步兵師、第10 山地師和第82 空降師，以及海軍陸戰隊等部隊士兵使用原型系統進行訓練，再將意見反饋給研發團隊用于系統迭代。在整個研發過程中，美軍為IVAS 系統定義了4 個階段的能力集（capability sets）測試：

能力集1：微軟HoloLens 2 集成熱成像傳感器、戰術突擊軟件包（tactical assault kit，TAK）和地圖等，以Wi-Fi 通聯，2019 年3 月交付50 套原型系統；

能力集2：在能力集1 的基礎上，集成GPS 和戰術無線電功能。2019 年10 月交付300 套原型系統；

能力集3：在能力集2 的基礎上，進行軍用加固設計并集成微光傳感器和熱成像傳感器。2020 年6月交付600 套原型系統；

能力集4：在能力集3 的基礎上，具備量產能力，可增強分隊殺傷能力。2020 年9 月交付1 600套原型系統。

2021 年4 月，微軟公司通過軍方測試后，獲得一份采購量超過12 萬臺、總額約219 億美元、時間長達10 年的IVAS 供貨合同，標志著士兵增強現實技術即將真正走向戰場并形成新質作戰能力。

3.1.2 主要功能

IVAS 系統主要功能歸納如下：

1）地圖定位。士兵佩戴IVAS 系統時，低頭可以看到作戰場景的俯瞰圖（birds-eye view）以及敵我作戰單元在地圖上的位置及標識；

2）任務預演。對于任務規劃和預演，指揮員可以使用IVAS 上傳目標的3D 地形圖，從而在出發前向所屬部隊進行任務簡報；

3）夜間導航。系統融合非制冷紅外和被動微光夜視等傳感器，能夠支持士兵完成夜間徒步導航和環境感知等功能；

4）目標識別。IVAS 系統采用人工智能技術，能夠對典型戰場目標進行自動檢測和敵我識別，依托通信網絡，完成該目標信息的快速流轉和共享，同時支持臉部識別、典型目標識別、文字自動翻譯等功能；

5）輔助瞄準。IVAS 系統能夠同步顯示槍械瞄準具上的十字分劃線，士兵手持武器即可通過眼鏡進行瞄準和射擊；

6）實時監測。IVAS 系統能夠記錄士兵訓練過程中的各項身體數據，一方面提升訓練水平，另一方面指揮中心可以根據士兵上報信息，判斷其身體狀況并適時提供幫助；

7）系統控制。IVAS 系統在士兵前胸安裝了控制面板，外殼內置“觸覺參考點”，士兵無需低頭即可點擊按鈕進行操控；

8）協同感知。IVAS 系統可實時下載來自無人機、直升機、地面車輛和其他傳感器的圖像、視頻等數據，為士兵提供豐富的戰場態勢信息；

9）訓練復盤。IVAS 系統可將參訓士兵位置、射擊、地圖、操控等訓練數據記錄在訓練系統中，事后進行全面復盤分析進而提升訓練效果；

10）合成訓練。利用增強現實技術虛實融合特點，士兵在使用IVAS 系統進行訓練過程中，可以在真實場景中疊加虛擬對象，從而增加訓練的可重復性和提升效率。此外，采用人工智能技術還可以不斷提升虛擬智能體的對抗水平，從而增加對抗難度、提升訓練效果。

3.1.3 系統評價

IVAS 系統在設計和集成過程中，始終遵循以士兵為中心的系統工程理念，充分考慮了重量、結構、穿戴、環境等因素，開展充分測試和部隊試驗，并采取技術中立、客觀實用的評價標準，與現有設備裝備進行充分比對。經過有效組織和多輪迭代測試，成效顯著，已經獲得美軍高層的認可。在訓練方面，IVAS 系統已經初步成型，能有效融入美軍合成訓練環境；在作戰方面，由于尚未批量列裝部隊，其作戰效能仍有待進一步觀察和驗證。但無論如何，IVAS系統的實際訂單已經為士兵增強現實技術的軍事應用指出了一個重要方向，值得國內相關研究機構和人員長期跟蹤和重點關注。

3.2 英國展示“未來士兵愿景”概念

英國國防部國防科技實驗室（DSTL）在2015 年英國防務展覽會上，展示了未來士兵愿景（future soldier vision，FSV）概念。主要面向2025 年前后的徒步士兵，提升其生存能力、態勢感知能力和網絡通聯能力。與2003 年啟動的“未來集成士兵技術”（FIST）項目相比，引入了大量的內置傳感器、智能織物和信息化裝備。其頭盔子系統除了盔體、傳感器以外，還配備了與骨傳導耳機一體化集成的增強現實眼鏡，如圖3 所示，通過士兵攜帶的計算單元融合處理后，可以在眼鏡上呈現無人機偵察圖像、敵我位置、生理監測等信息。

圖3 英國“未來士兵愿景”概念

3.3 新加坡展示“陸軍單兵輕型生態裝備”概念

新加坡ST Engineering 公司在2018 年法國防務展上展示了陸軍單兵輕型生態裝備（the army individual eco-lightweight equipment，ARIELE）概念，該士兵系統集成了先進的戰術通信、偵察和防護技術，并可從C4ISR 網絡中獲取信息以提升士兵態勢感知能力。ARIELE 系統包括系列模塊化組件，其中作戰頭盔集成了高級護目鏡系統（the shielded advanced eyewear system，SHADES），如圖4 所示，運用增強現實技術將態勢、導航、指揮控制、敵我識別等戰術信息投射到單目鏡片上，并可根據算法和熱傳感器調整顯示亮度。

圖4 新加坡“陸軍單兵輕型生態裝備”士兵系統概念

3.4 以色列推出“統治者”士兵系統

以色列ELBIT SYSTEMS 公司在2012 年首次推出面向特種部隊的統治者（Dominator）士兵系統，并于2019 年發布了最新的升級版本，用以提升指揮員和士兵指揮控制能力，其重要特征是在智能眼鏡、瞄準具和夜視儀中廣泛應用了增強現實技術，如圖5 所示。智能眼鏡（SmartEye）具備目標圖像識別能力，并可顯示武器瞄準具、無人機和其他偵察部隊提供的圖像信息；智能瞄具（SmartSight）融合了激光測距、指南針等信息，有效提升射擊精度；智能夜視儀（SmartNVG）能夠疊加導航信息，從而提升士兵夜間作戰能力。

圖5 以色列“統治者”士兵系統

3.5 俄羅斯發布“戰士-3”士兵系統

俄羅斯中央精密機械制造研究所于2017 年發布最新型“戰士-3”（Ratnik-3），如圖6 所示，士兵系統樣機，計劃于2025 年開始全面替換其現役“戰士-2”系統。該系統將包含突擊步槍、外骨骼、生命監測與防護系統等59 個組件，其中，智能頭盔系統作為關鍵組件承擔系統信息中心角色，不僅內置了生理監測系統，還具有自動瞄準功能。頭盔集成的增強現實護目鏡，能夠顯示偵察、健康、生理、溫度、目標、地圖等信息，查看地圖、射擊范圍內的圖像、射擊點、無人車拍攝圖像等。

圖6 俄羅斯“戰士-3”士兵系統

3.6 我國的應用探索

國內士兵增強現實技術研究大多集中在裝備信息化等相關應用，而較少從士兵系統角度進行整體分析。黃天智等較早從系統設備、工作環境、顯示優先機制、可穿戴計算機等方面分析了軍用增強現實系統的總體需求。王爽英等設計了單兵智能頭盔的基本組成，重點分析了頭盔的態勢信息顯示、融合信息處理、信息交互等功能在武器打擊中的應用。王海龍回顧了軍用智能可穿戴設備發展，對智能綜合頭盔、人機交互技術、傳感技術進行了較為深入的分析。馬文秀等針對應急指揮和態勢掌握等需求，設計了基于手機和華為AR 引擎的單兵戰場態勢生成軟件。2021 年6 月，紅隼防務公司發布了自主研制的單兵智能戰術系統2.0 版，如下頁圖7 所示，該系統采用衍射光波導技術，已從1.0版單目顯示系統升級至雙目系統，提出了士兵增強現實技術系統級應用方案。

圖7 “單兵智能戰術系統”2.0 版

4 基于增強現實的士兵系統功能分析與前景展望

4.1 功能特征分析

4.1.1 全面精細的態勢感知

增強現實系統的頭戴式顯示設備能夠給士兵提供全方位各角度的戰場環境信息，不局限于傳統情況下士兵本人眼前所見場景，從而極大地增強士兵的態勢感知能力。

4.1.2 準確靈活的指揮控制

通過士兵系統增強現實技術，指揮員可以直接將作戰命令下發到每個士兵，有利于準確執行作戰命令，加強士兵間的協同作戰，實現單兵融入戰場體系的現實需求。

4.1.3 快捷高效的火力打擊

士兵可以在瞄具等裝備的輔助下對戰場目標進行識別與檢測，通過增強現實技術的輔助瞄準技術有效提升射擊精度，實現快捷高效的火力打擊。

4.1.4 多型模塊的集成設計

士兵系統增強現實技術可以與導航、夜視、監測等模塊集成設計于一體，拓展士兵系統功能與兵種特色，滿足新形勢下全時全域作戰的多樣化需求。

4.2 未來軍事應用前景

4.2.1 合成軍事訓練

軍事訓練作為軍隊建設的重要部分，是實現作戰潛力向作戰實力轉化的重要途徑。士兵系統增強現實技術應用于軍事訓練領域，有別于利用虛擬現實技術創建“沉浸式”訓練環境，它可以構建虛擬的人員、裝備、目標，并與真實作戰環境相融合的合成訓練場景，一方面減少對時間、地域、成本等因素的限制，另一方面由于訓練與真實場景緊密結合，實戰中使用的槍械、電臺等裝備器材均可以得到應用，參訓人員“虛擬感”更弱、代入感更強，做到訓練和作戰無縫轉換。運用人工智能技術，還可以不斷提升虛擬藍軍的對戰水平，從而大幅改善實戰化訓練效果。

4.2.2 實際戰場作戰

在實際作戰過程中，士兵們可以利用士兵系統增強現實技術來豐富戰場環境，通過頭盔或眼鏡等穿戴式設備直接獲取戰場地圖、敵我態勢、指揮命令等信息，實現整個戰場信息的共享化與可視化；在瞄準鏡、夜視儀等裝備上應用增強現實技術，可以極大地提高士兵的精確射擊與夜戰水平，滿足士兵全時作戰的需求。通過士兵系統增強現實技術可以拓展士兵的態勢感知能力，增強分隊間的協同作戰，有利于士兵快速作出戰斗反應，及時準確執行指揮員命令，完成相應作戰任務，進一步提升士兵與分隊的作戰效能，實現在未來網絡信息體系下信息優勢向作戰優勢的轉變。

4.3 軍事應用中的發展建議

士兵系統增強現實技術在軍事領域的應用前景廣闊，作為相關領域研究人員，除了密切跟進其研究進展，還應當充分汲取其系統建設經驗教訓，實現國防尖端科技的創新超越：

1）必須始終貫徹以士兵為中心的設計原則，重視研發、測試、迭代的科學規律，全程汲取作戰人員意見建議，以免開發出不符合實戰要求的裝備或產品；

2）集成新技術于士兵系統時，應避免過分追求高科技含量，充分考慮重量、結構、功耗、使用環境等因素并開展充分測試，正確、客觀評估新技術在軍事訓練與作戰的效能，切實將高新技術有效轉化為部隊裝備和戰斗力；

3）注重與現有士兵系統裝備的綜合集成，提高裝備適應性和兼容性；

4）充分發揮地方高新企業的技術力量，探索成熟貨架產品向軍事裝備的轉化應用，縮短研發流程，提高轉化效率。

5 結論

增強現實技術作為一種新興的人機交互技術，在改變人機交互模式、增加決策效率、提升士兵和分隊作戰效能方面具有重要發展潛力。以美國為代表的世界主要軍事強國，正在加快推進增強現實技術在士兵系統中的應用。隨著現代社會人工智能、大數據、融合感知等技術的進一步發展，士兵系統增強現實技術必將大幅度提升新一代士兵系統的作戰效能，在未來信息化戰爭中發揮重要作用。