融合數字孿生與混合現實技術的機電設備輔助維修方法

張旭輝，張雨萌，王 巖+，杜昱陽，王妙云，謝 楠，鞠佳杉

(1.西安科技大學 機械工程學院，陜西 西安 710054；2.陜西省礦山機電裝備智能監測重點實驗室，陜西 西安 710054)

0 引言

傳統的機電設備維修指導方法存在專業維修人員知識儲備不足、專家現場指導周期長等問題，尤其在軍事、航空航天和煤礦等特種領域更難滿足設備維修指導的需求[1-2]。目前煤礦機電裝備的維修指導多采用傳統維修技術手冊指導和專家現場指導方式，由于煤礦生產環境的特殊性，這種維修方式使維修周期增加，甚至導致工作停滯。近年來，虛擬現實(Virtual Reality, VR)、增強現實(Augment Reality, AR)和混合現實(Mixed Reality,MR)技術的發展為特種環境下設備故障維修指導提出了新的解決思路[3-4]。其中MR技術具有良好的便攜性，結合語音、手勢和視線的交互方式使其具備了虛實場景中實時交互與指導的潛力，能夠更好地指導機電設備維修過程[5-6]。

以數據為核心的數字孿生(Digital Twin, DT)技術是構建MR輔助維修解決方案的核心驅動力，是連接真實維修物理環境和虛擬維修場景的紐帶。數字孿生技術最初由美國的Grieves教授提出[7]，同時定義了由物理實體、數字實體及兩者之間的連接組成的三維模型，該技術最早被應用于航空航天領域的全生命周期管理[8]。在虛擬制造方面，西門子提出基于整合制造流程的生產系統模型的虛擬企業概念，并對Nanobox PC的生產流程進行驗證[9]；陶飛團隊提出的數字孿生五維模型[10]，在三維模型基礎上增加了服務系統和孿生數據，并結合企業實際應用對數字孿生車間制造等展開研究[11]，為數字孿生生產制造應用提供了理論基礎和技術支撐。在虛擬維護方面，AIVALIOTIS等[12]通過創建物理設備的數字孿生體，結合設備可靠性參數和實時狀態監測數據實現設備的預測性維護；劉魁等[13]構建了航空發動機運維數字孿生體，實現了對物理發動機的精準檢測和故障預測，為數字孿生技術在航空發動機的全生命周期應用提供參考。在煤礦領域，張旭輝等[14-16]提出的“虛實同步、數據驅動、遠程干預、人機協作”煤礦機電設備遠程操控策略，實現了監測數據驅動虛擬交互設備的遠程操控，并針對常見的礦用機電設備虛擬遠程操控技術展開研究。結果表明，數字孿生技術的引入有效提升了設備運行狀態數據和維修過程數據在MR輔助維修指導決策的價值，提高了設備維修指導過程的可靠性。

因此，本文借助DT技術建立煤礦機電設備維修數字孿生體，充分利用設備故障數據和維修過程數據驅動維修指導過程，研究物理維修與真實維修環境之間的數據交互方法，構建適用于煤礦機電設備的MR輔助維修指導總體模型，并以采煤機搖臂傳動系統故障維修為例，開發數字孿生驅動的MR輔助維修系統。

1 面向數字孿生的復雜機電設備故障維修MR指導系統

數字孿生機電設備故障維修MR指導系統總體模型如圖1所示。該模型由故障維修MR指導服務系統、物理維修環境和虛擬維修環境組成。借助數字孿生技術，故障維修MR指導服務系統獲得物理維修環境中的設備狀態數據，融合維修過程數據后驅動MR指導服務系統，在物理維修環境與虛擬維修環境之間建立映射聯系。

該系統借助孿生數據融合來自物理維修環境的傳感器數據，將故障類別數據、維修場景數據、三維注冊數據、交互指令數據輸入虛擬維修環境，實現服務系統對虛擬維修環境的數據驅動，使物理維修環境與虛擬維修環境進行虛實融合、雙向映射和仿真預警，為維修人員提供有價值的維修數據信息，實現人—物理—信息系統之間的數據交互。具體功能要求如下：

(1)虛實融合 在復雜的維修過程中，需要將虛擬維修解決方案疊加在現實場景中的設備關鍵零部件上，并與其保持高度的幾何一致性、光照一致性和時間一致性。系統需要實時跟蹤目標對象和用戶的觀察方位，實現高精度的虛擬空間三維注冊。

(2)雙向映射 系統實時監測設備的機械、電氣、液壓數據，將采集的故障信號發送到維修指導服務系統進行故障分類，然后匹配維修指導解決方案，調用存儲在故障維修指導流程庫中對應的解決方案。維修人員通過HoloLens上的攝像頭可對現場維修環境進行采集并反饋到服務系統，以實時修正維修指導流程。若遇到難以判斷的故障點時，可以啟用遠程專家在線指導對現場維修環境進行干預，實現故障維修數據在虛擬維修環境和物理維修環境之間的雙向映射。

(3)仿真預警 系統借助Unity3D中的虛擬仿真技術，采用三維建模技術、機械設備動作編程技術和傳感器數據傳輸與存儲技術，對其設備維修過程進行仿真預測和設備維修狀態數據監測。系統實時跟蹤維修場景，采集維修場景圖像特征，并判斷維修操作的準確性，避免錯誤維修操作對設備造成二次損傷，保證維修過程的可靠性。

本文以煤礦機電設備維修過程為對象，構建煤礦機電設備故障維修MR輔助維修系統。通過多種檢測手段獲得煤礦機電設備的運行狀態，并對其關鍵零部件位姿進行標定和故障信息提取，形成物理維修環境；通過搭建混合現實開發環境，設計虛擬維修指導系統，構建煤礦機電設備虛擬模型，設計故障ID和指導流程片段，形成虛擬維修環境；然后對不同的故障進行識別與匹配，處理維修對象的狀態數據，利用自然交互方法對虛擬環境進行注冊融合，完成虛實維修環境映射，達到指導故障維修的目的。

2 面向數字孿生的故障維修MR指導系統實施方法

2.1 系統技術框架

數字孿生機電設備故障維修MR指導系統技術框架如圖2所示，主要包括故障識別與匹配模塊、故障維修指導模塊、維修環境感知模塊、虛實環境注冊融合模塊和人機交互模塊。故障識別與匹配模塊負責采集真實設備上的傳感器故障信號，并對其故障信號進行識別和分類，建立設備關鍵部位的故障樹模型，形成故障ID識別號，然后存入故障采集庫，與故障維修指導模塊中形成的維修指導解決方案進行匹配；故障維修指導模塊根據不同型號的礦用機電設備維修技術手冊整合出科學的維修指導方法存入故障維修數據庫，然后在虛擬交互界面進行維修指導流程虛擬仿真，并采用維修歷史視頻、MR維修指導流程片段、遠程專家指導等多種方法呈現維修指導方案；維修環境感知模塊進行真實維修場景的三維數據特征點采集、維修目標跟蹤和相機的位姿解算；虛實環境注冊融合模塊還原三維場景坐標點，匹配HoloLens眼鏡中的MR空間坐標系，采用基于自然特征點的匹配方式將維修指導解決方案與真實維修場景進行注冊融合，得到虛實融合注冊的視覺體驗效果；人機交互模塊具有基于HoloLens眼鏡的視線跟蹤、手勢識別、語音交互等功能，能夠結合圖像用戶界面(Graphical User Interface, GUI)操作面板對整個系統進行交互操作。

2.2 系統開發流程

為實時監控設備維修指導過程，提出基于BIM-Unity3D-MR的復雜機電設備故障維修指導技術新理念，采用建筑信息模型(Building Information Modeling, BIM)技術搭建維修過程數字三維模型[17-18]，借助第三方虛擬現實平臺Unity3D，結合MR技術將故障維修指導數據信息呈現在便于佩戴的HoloLens眼鏡中，并通過數據庫技術實現輔助維修過程的信息管理和跨平臺數據交互。

基于BIM-Unity3D-HoloLens平臺的系統開發流程如圖3所示，模塊功能及工作原理如下：

(1)BIM開發模塊 采集傳感器數據，將故障數據分類后存入數據庫，通過數據庫將故障數據導入Revit中來設置設備參數，并在Revit中建立BIM數字模型，生成Unity3D可識別格式的文件。

(2)Unity3D開發模塊 將BIM開發模塊中生成的.FBX模型文件導入Unity3D中搭建MR開發環境，并設置相機參數，然后對設備數字模型進行動作編程，形成維修指導流程片段。通過編寫數據庫接口，將BIM中分類后的故障ID與維修指導流程片段相匹配形成真實故障指導方案，借助世界坐標系與相機坐標系之間的變換關系匹配虛實環境坐標系，為準確高效地指導維修提供支撐。

(3)HoloLens開發模塊 將匹配后的坐標關系顯示在HoloLens中，達到虛實環境的三維注冊融合視覺體驗效果，并利用MR自然交互技術實現人機虛擬交互。維修人員根據系統呈現的維修指導方案進行維修方案可行性驗證，如果存在難以判別的故障點，則啟用遠程專家在線指導。

2.3 系統關鍵技術

2.3.1 維修環境感知

HoloLens眼鏡集成了1個慣性傳感器、4個環境感知攝像頭、1個深度攝像頭(RGB-D)，虛擬應用中慣性傳感器用來感知設備方向，環境感知攝像頭進行三維場景重建，深度攝像頭用于感知物體的相對位移。通過環境感知攝像頭實時捕捉場景并進行畫面分析，深度攝像頭拍攝多張深度圖并進行處理和匹配，可以感知維修空間物體的幾何信息。

本文采用RGB-D SLAM方法獲得RGB圖像和場景深度圖[19]。因為基于面元(surf)的模型表達方法具有模型準確、幾何變換靈活、數據量小和易于可視化等優勢，所以選擇基于面表示的不規則三角網格模型對物理環境進行掃描。在進行模型融合時，先將每幀的輸入轉換為定點、顏色和法向圖，再轉換為面元，然后將模型中的面元投影到當前深度圖，建立面元之間的匹配關系。采用上述方法，可以對維修目標對象所在的三維場景進行重建。

2.3.2 數據信息交互

數字孿生機電設備故障維修指導系統的數據信息交互主要包括故障數據交互和人機交互，其中故障數據交互完成設備傳感器數據與虛擬維修環境的交互，人機交互完成虛擬維修環境和真實維修環境中維修操作的交互。通過數據交互和人機交互，在故障MR維修指導系統平臺上實現了傳感器數據在人—機—環之間的數據信息交互。

(1)故障數據交互 機械故障、液壓故障和電氣故障是礦用機電設備的主要故障類型，以采煤機搖臂傳動系統故障為例。據礦區數據顯示，搖臂傳動系統故障區可分為高速區直齒齒輪系、低速區行星齒輪系和浮動密封3大類[20]，其中高速區故障和低速區故障占總體故障比例的72%[21]。因此，本文主要研究機械故障的維修指導方法。將采煤機搖臂傳動系統高速區和低速區常見的故障類型進行編號，如表1所示。系統對故障采集庫中的故障信號進行分類，使其與故障ID對應，以便故障維修過程中關聯故障ID號，獲得MR維修指導系統中的不同維修對策。

表1 采煤機搖臂傳動系統的常見故障類型編號表

(2)人機交互 系統采用觸控用戶界面、視線跟蹤、語音交互和手勢識別等交互形式，在Unity3D中繪制相應的GUI界面，并添加碰撞觸發組件，使其具有交互功能。用Main Camera表示用戶佩戴HoloLens眼鏡的頭部位置和朝向，系統獲取頭部位置和頭部朝向狀態，觸發射線碰撞檢測實現視線跟蹤功能；定義手勢識別器獲取手勢姿態，開啟手勢捕捉功能。同時為場景添加音頻監聽器實現語音輸入功能。

2.3.3 故障維修指導

故障維修指導模塊包括建立采煤機數字模型、設計MR維修指導流程、維修歷史視頻指導和遠程專家在線指導。

(1)采煤機維修知識 構建不同電牽引采煤機維修數據庫，替代傳統紙質版維修說明書難以現場使用、維修知識固化等的不足。以MG730型電牽引采煤機的5:1實驗模型為典型維修對象，在Revit中建立采煤機BIM模型，為其添加對應的采煤機設備類型參數；將生成的采煤機數字模型導入3ds Max中進行渲染，并轉換為Unity3D支持的.FBX模型文件；在Unity3D中完成虛擬場景搭建和采煤機動作編程等，最終發布為HoloLens支持的采煤機MR數字模型。將采煤機機械結構、電液控制，以及常見故障類型與物理部位關聯，在MR環境即可查看相關的維修知識。采煤機維修數字模型建立流程如圖4所示。

(2)設計MR維修指導流程 在Unity3D中結合機械設備的動作編程和動畫編輯形成關鍵部位的MR維修指導片段，系統中存儲的部分MR虛擬零部件編號如表2所示。根據不同關鍵部位制定相應的維修指導方案，形成與關鍵部位故障點相匹配的虛擬零部件序列編號，然后與2.3.2節的故障ID識別號進行匹配，完成設備關鍵部位故障數據驅動MR維修指導流程。以采煤機搖臂傳動系統齒輪磨損(A)故障為例，該維修指導操作包括打開端蓋、拆除六角螺栓、拔出滾筒軸和更換磨損齒輪等關鍵步驟，每個階段需要觸發的MR虛擬零部件編號序列如表3所示。

表2 采煤機搖臂傳動系統MR虛擬零部件編號表

表3 采煤機搖臂傳動系統齒輪磨損(A)MR虛擬零部件編號序列表

(3)維修歷史視頻指導 錄制規范的設備關鍵部位維修操作視頻，存入維修歷史數據庫。操作人員可以通過視線跟蹤、手勢和語音輸入等功能播放和關閉維修歷史視頻。

(4)遠程專家在線指導 在物理維修場景中部署HoloLens集成設備，HoloLens上的攝像頭可采集維修場景視頻并傳輸到遠程專家PC端，遠程專家通過音視頻會話的方式獲取物理維修環境概況，然后結合虛擬標注和音視頻會話與現場物理維修環境進行交互。同時，HoloLens集成設備中的傳感器將采集到的遠程專家交互信息傳輸到人機交互服務器，人機交互服務器接收信息后生成相應的交互指令并集成到HoloLens全息投影屏上，由設備中安裝的系統APP對交互指令進行響應。MySQL數據庫可同時為遠程專家提供維修環境數據、設備參數數據、維修人員歷史維修數據、設備三維模型數據等多種數據信息，最終通過態勢同步服務器完成遠程多人協同維修作業。

2.3.4 虛實注冊融合

常用的虛實注冊融合算法有基于人工標識和基于自然特征點兩種，兩種算法均可解決虛擬世界和現實世界融合中的空間幾何一致性問題?；谌斯俗R的注冊算法精度高、魯棒性強，具有定位效果穩定的優點，但因實際維修環境惡劣而容易損毀人工標識；相比而言，基于自然特征點的注冊算法能更好地滿足維修過程的無標識注冊，但也由于維修物理環境復雜多變、關鍵幀存在累積誤差等，易導致跟蹤目標丟失。根據系統開發特點，本文研究了基于視頻序列自然特征點的注冊算法，該算法更符合維修人員的交互心理。算法流程如圖5所示。算法主要步驟包括提取場景特征點、匹配特征點、估計相機姿態、修正姿態和確認相機姿態等，系統將數據庫中的基準幀圖像與HoloLens攝像頭采集到的當前幀圖像進行對比，匹配其圖像特征點，通過對虛擬場景進行疊加，實現了虛擬維修指導方案在真實維修場景中的虛實融合顯示。

3 采煤機搖臂傳動系統齒輪故障維修指導

3.1 維修目標

以MG730型電牽引采煤機搖臂傳動系統的齒輪故障為維修對象，對采煤機搖臂傳動系統結構進行分析，搖臂傳動系統示意圖如圖6所示。采煤機搖臂采用4級減速，截割電動機的輸出扭矩通過Z1，Z2，Z3，Z4，Z5，Z6等多型號齒輪的多級減速傳到行星減速器，行星輪中的行星架帶動滾筒旋轉完成割煤動作。為監測傳動部的工作狀態并預測故障，在采煤機搖臂關鍵部位安裝振動傳感器。為便于描述MR輔助維修過程，假設通過振動信號特征獲取齒輪Z8發生異常，則對應的故障ID編號為A，服務系統觸發MR虛擬零部件的編號序列如表3所示。

3.2 系統功能驗證

本文實驗主要針對MR煤礦機電設備故障維修指導系統的維修環境感知、數據信息交互、虛實注冊融合和故障維修指導4方面進行系統功能驗證，其實驗效果如圖7所示。

(1)維修環境感知 維修人員佩戴HoloLens眼鏡，打開系統APP進入實時維修模式。系統對物理維修場景進行初始化掃描，建立與真實物理維修空間對應的三維感知模型，并掃描需維修的設備，建立基于三角面片的目標設備三維模型，可知當前的目標設備為MG730型采煤機設備。

(2)數據信息交互 系統通過振動傳感器采集當前搖臂傳動系統的運行振動數據，識別設備故障后，匹配對應的故障ID識別號為A，然后從數據庫調用該故障類別下的MR維修指導流程。維修人員可觀察系統GUI操作面板，通過視線跟蹤和點擊手勢進入故障維修指導模塊，根據需要選擇觸發相應的功能按鈕。

(3)虛實注冊融合 HoloLens攝像頭掃描目標物體后，觸發虛實融合注冊，將預設虛擬螺栓定位至物理維修場景中的端蓋螺栓孔處，證明該系統具有將虛擬維修工具準確注冊至物理空間的能力。

(4)故障維修指導 采煤機搖臂傳動系統齒輪故障MR維修指導的關鍵步驟包括打開端蓋、拆除六角螺栓、拔出滾筒軸和更換磨損齒輪等，維修人員可根據該流程更換故障齒輪，并結合語音、文字、虛擬維修工具和零部件模型提示，進行虛擬維修環境與物理維修環境之間的數據交互;其次，當系統現有的故障維修指導解決方案不能正確指導維修當前環境中的故障時，啟用維修歷史視頻或遠程專家在線指導功能，可以進行多人協同下的輔助維修指導。

3.3 實驗效果評價

本文針對MR礦用故障維修指導服務系統的實時維修效果進行驗證。實驗表明，維修人員不但能夠根據系統給出的維修指導解決方案完成維修操作，而且能夠在觀看維修歷史視頻和遠程專家在線指導下快速完成整個維修過程，其不需具備專業的維修知識和查看維修技術手冊，只需佩戴一臺HoloLens眼鏡便可獨自完成維修操作，解決了現場維修專家指導困難、維修人員知識儲備不足的技術難題。

4 結束語

針對煤礦機電設備故障維修指導知識獲取過程不直觀、專業維修不及時的問題，本文提出借助DT和MR技術將數字信息與煤礦機電設備輔助維修過程相融合，研發了基于BIM-Unity3D-HoloLens的機電設備故障維修MR指導系統，充分利用設備故障數據和維修過程數據驅動維修指導過程，實現物理維修環境與真實維修環境之間的數據交互，構建了適用于煤礦機電設備的MR輔助維修指導總體模型，搭建采煤機搖臂傳動系統故障維修指導系統實驗平臺并進行了相關測試。

最后，本文以電牽引采煤機搖臂傳動系統故障維修為例，對MR輔助維修指導系統樣機進行驗證，結果表明了維修環境感知、數據信息交互、虛實注冊融合和故障維修指導等關鍵技術的可行性和合理性，初步解決了物理維修空間與虛擬維修空間的虛實融合、雙向映射和仿真預警，所提出的BIM-Unity3D-MR技術理念為MR故障維修指導系統提供了創新性的數據交互方法，促進了人—信息—物理系統的數據交互，對該領域發展具有積極的借鑒作用。

目前系統還存在一些不足，例如無標識虛實注冊融合方法存在累積誤差，導致維修目標丟失，需要維修人員重新啟動系統來清除累計誤差。因此，下一步將對虛實注冊融合算法和誤差補償方法進行研究，完善系統在煤礦采掘工作面等特殊領域的應用。