基于增強現實的多線索遠程工業協同系統

趙青，張越,2，張崇斌，田東,2，崔文凱，單桂華,2*

1.中國科學院計算機網絡信息中心，北京 100083

2.中國科學院大學，北京 100049

3.中鐵工程設計咨詢集團有限公司，北京 100055

4.中鐵上海工程局集團第七工程有限公司，陜西西安 710016

引 言

隨著我國鐵路運行速度和運營里程大幅度提高，保障鐵路運營安全愈發重要，這對現場從業人員的巡檢方式和故障處理水平提出了更高的要求。通過巡檢能準確地掌握現場情況、發現隱患，有針對性的對缺陷及隱患進行消除。目前，鐵路施工及運營單位日常巡檢方式仍采用人工或半自動巡檢，受人員綜合素質的影響，存在工作效率低下、巡檢不到位等情況，進而造成人員傷亡和巨額財產損失?，F有減緩這些現象的手段包括無人機巡檢、巡檢機器人等，其中最有幫助的是計算機輔助巡檢，它能大大減輕鐵路現場作業人員的工作量并提高效率。計算機輔助巡檢中遠程協作是最常用且最適用的方法，它首先對本地工作環境或工作場景進行捕捉，遠程專家通過共享通信線索對本地工作人員進行指導和知識的傳遞；然而這種遠程協作方法的局限在于難以回傳準確的現場信息，且指令下達不準確，從而使得作業交互變得不通暢。

目前，增強現實（Augmented Reality，AR）技術已被大量引入工業，在遠程協作方面具有良好的效能。AR 能將3D模型、視頻、圖片文字等信息以虛擬元素的形式疊加到真實作業現場，可對標準化作業的生產步驟、特殊維護說明等任務以直觀、便捷、可交互的方式呈現在現場作業人員眼前[1]；另一方面，增強現實遠程協作指導針對復雜難以排查的問題，可通過專業技術人員的遠程診斷讓現場操作人員在指導下完成巡檢及維修任務[2]，現場工人通過這種技術跟隨疊加到真實環境中的注釋及指令引導，能快速、準確地完成工作[3]。然而現有遠程協作可視化系統大多是單向注釋且交互線索單一，多為專家單向傳遞指令給工人，無法及時捕捉兩者之間對指令理解的偏差，在復雜場景的遠程交互中對現場作業人員巡檢幫助有限，容易給作業人員帶來心理壓力。本文開發的AR 多線索遠程工業協同系統有望解決上述問題，實現工業維護任務中專家和工作人員之間雙向注釋的遠程合作，在此基礎上通過兩項工業場景下的任務探索了該系統的適用性。本文的貢獻有以下3點：

（1）設計了基于雙向線索的交互模式，在遠程專家和工作人員之間創建多樣線索和雙向注釋增強雙方協作的效率。

（2）通過多項對比實驗及問卷調研，證實此新型交互模式的高效性并具有更高用戶認可度。

（3）研究了多種形式下用戶認知的主觀反饋，實現了一個多線索遠程協同系統，通過用戶研究證明了系統在復雜工業場景下巡檢與施工任務中具有提高工作效率、減輕工作難度的效果，并提出在工業場景下引導用戶行為的建議。

1 相關工作

協作分析是可視化（VIS）、計算機支持協同工作（CSCW）與人機交互（CHI）的新興研究領域[4]。協作任務總體上按任務空間和任務角色分類[5]，任務空間可以分為本地共同工作和遠程異地工作；用戶角色對稱性是指用戶在協作過程中所扮演相同角色或執行相同的任務，如果用戶所處角色不同則屬于角色不對稱，如教授任務，關注的問題主要是角色不對稱的遠程協同工作。該問題的用戶角色主要分為工作人員和遠程專家（或助手），本地工作人員需在遠程專家的幫助與指導下進行對象的操作或知識的學習。

遠程協同工作通常分為兩個部分：（1）遠程專家對本地工作環境或工作場景的捕捉與共享；（2）遠程專家和本地工作人員共享遠程通信線索[6]。本節將從協同工作的兩部分做具體介紹。

1.1 工作場景捕捉與共享

能夠精確、迅速捕捉和共享任務環境是建立交互雙方共同認知并提供流暢溝通的基礎和保證[6]，如何快速高效的完成對工作場景的捕捉與共享是很多遠程協作問題所探討的重要問題。例如早期一些協作方法使用基于視頻的接口來實現遠程協作的場景共享[7-8]，但這些方法一般很難提供場景的深度信息，造成專家的理解困難[9]。同時，由于靜態相機的限制，遠程專家往往難以觀察到他們感興趣的目標，從而導致溝通效率降低[10]。隨著攝像機的小型化和輕量化發展，越來越多的研究將注意力放在頭戴攝像機場景共享上，遠程專家對工作環境的觀察會被緊密耦合到本地工作人員的頭部，這使遠程專家可以實時跟蹤本地工作人員的動作和注意力，減小遠程專家的認知負荷[11]；但過于頻繁的攝像機的移動會使遠程專家出現頭暈的情況[6]，這不利于遠程專家長時間指導任務。

目前，被認為能為遠程專家提供高效的工作場景的捕捉方法是三維重建技術，例如Gao等[12]等通過使用外部深度傳感器捕獲關鍵幀將其集成為三維點云數據集，最后將整個系統重構到虛擬現實（Virtual Reality，VR）世界中；Bai等[11]在場地天花板上安裝實時三維全景捕捉器，然后將三維場景實時構建在虛擬現實環境中。上述提到的方法包括其他三維重建技術通常都能提供足夠深度的信息以供遠程專家對工作人員物理環境的理解和復雜環境的探索能力。三維重建技術的劣勢也比較明顯，一方面，其重構的工作環境的大小和畫面傳輸質量很難兼容[11]；另一方面，三維重建技術在使用過程中往往會占用大量網絡寬帶，掃描環境所需設備也會限制遠程專家對本地場景的感知[13-14]。

360°全景視圖被認為是頭戴攝像機和三維場景重建之間的折中，Teo 等[14]等對比了三維重建技術和360°全景視圖，其認為360°全景視圖可以在不消耗大量網絡帶寬的前提下為用戶提供深度有限的二維場景技術，但使用360°全景視圖的遠程專家可以查看的范圍依然被大幅度限制，例如遠程專家很難去觀察或了解到某個角落的物體或被遮擋的物體。

1.2 共享遠程線索

共享遠程線索可以在協作者間創建高效的通信并降低雙方的認知負荷[11]，與當前音視頻會議相比，大部分人還是更喜歡面對面的會議交流，有一部分原因在于線上音視頻會議通常無法傳遞面對面合作中的隱性非語言線索[15]，同時還有更多研究證明了非語言線索可以顯著提高遠程協作的性能和用戶協作體驗[16]，非語言線索主要包括視覺線索和環境線索并以視覺線索為主，視覺線索包含手勢[13-14,16]、眼睛注視[10,15]、虛擬箭頭[10]、數字注釋[7,10]、虛擬畫筆[17]、虛擬用戶形象[18]等?？偟膩碚f，合理利用非語言線索對遠程協作是有好處的，但一些線索仍可能因為網絡或者其他各種原因產生負面影響，下面將對幾種常用線索進行討論。

視覺線索中的虛擬箭頭指針和注釋線索可以顯著增強處于異地交流雙方的社會存在感[6]，同時這兩個線索常?？梢耘c語音、視頻良好兼容以增強雙方（尤其是遠程專家）交流過程中語義的豐富性和消息傳達的及時性[6]。但是指針線索可傳遞的信息比較單一，而注釋線索的主要問題在于繪制速度較慢，同時本地工作人員可能需要花費一定時間去了解遠程專家繪制注釋線索的含義。

手勢和指點線索是人類交流中非常自然且有效的交流方式，人在面對面交流過程中很可能會不經意的進行手勢和指點的交流與傳遞，沒有這兩個線索交流可能會變得無效且不夠生動[19]。但是在虛擬現實（VR）和增強現實（AR）環境中使用手勢和指點交流還是不盡如人意，首先受限于目前硬件技術，手勢操作的精度較低[5]，其次對于目前大多數系統而言，其空間線索提示的支持較差，遠程交流雙方對上下文的感知能力較差，導致用戶很難相互理解手勢的含義[6,16,20]；同時在虛擬現實的虛擬環境中空中的手勢有可能會讓對方感到困惑，其很難理解手勢的動作是作為系統輸入還是協作者的指示性交流[21]。最后對于用戶而言，長時間在空中完成手勢容易感到疲憊感[22]。

除了上文提到的4個重要線索，視覺注釋線索也是重要的線索之一。傳統的音視頻會議系統通常缺乏注視信息的描述能力[23]，導致其交流協作能力有限。遠程協作雙方的視覺焦點可以通過視場視角、頭部和眼睛注視提供，通過注視在協作程序中共享，可以更加明確地揭示用戶的注意力，同時還能成為一個指示器，為遠程隊友提供目標的指引[24]。

2 系統設計

本文系統設計目的是完成一個用戶不對稱的遠程協同工作系統，該系統可以將遠程專家和本地工作人員實時聯系在一起。遠程專家可通過PC 端實時獲取處于異地的工作人員的物理環境，同時專家可實時向工作人員發送線索信息以支持其完成工作，線索信息包括：語音線索、視頻線索、圖片注釋線索等。

2.1 系統結構

該系統結構圖如圖1所示，整個系統分為遠程專家和本地工作人員兩個用戶主體，其中專家擁有實時可用的專家知識庫系統，該系統數據分為兩類：一類為通過傳感器、工業相機等手段從工程作業現場實時收集來的工業數據；另一類是專家平時在日常工作中人為獲取的數據，如CAD施工圖紙、作業文檔等?？刂乒ぞ呓M為專家提供圖像信息調整、基于線索的指針、注釋標記以及遠程專家的手勢信息等，通過控制工具在核心系統中生成虛擬線索。

圖1 遠程協同增強現實結構圖Fig.1 Structure Diagram of Remote Collaborative Augmented Reality

本地用戶通過相機實時采集工作環境信息，生成穩定的視頻流實時向核心系統中饋送，核心系統則會根據專家繪制的虛擬線索和本地工作人員實時捕獲的環境信息進行視覺線索環境建模以生成對本地工作人員的指導和對遠程專家的反饋。

2.2 多模態線索框架

遠程專家可通過控制工具實時生成虛擬線索以提供對本地工作人員的引導工作。在協作過程中能夠看到同事或其虛擬化身，對于AR遠程協作降低認知負荷，提高知識的理解有非常大的幫助[14,25]。本文系統會向待指引的工作人員實時饋送遠程專家的實時視頻，在該視頻中遠程專家可實時進行手勢動作、眼動指引以增強遠程專家的表達和降低本地工作人員的認知難度。

在傳統遠程協同工作中經常容易因缺乏交流的上下文和互動性而受到局限[18]，所以如何提供連續的上下文交流信息并增強互動性是需要關注的問題。本文在系統中利用了虛擬指針提示和標注來讓遠程協作的雙方感覺到更好的社會存在感，這兩種視覺線索（指針和注釋）都能顯著增加協作雙方的社會存在感，從而促進雙方更流暢的交流[6]。在遠程專家界面上（圖2a），專家可通過箭頭指示和標注來向遠程用戶提供穩定的線索，遠程工作人員可以在AR畫面中觀察到專家提供的注釋（圖2b），并且可以通過凍結畫面以獲得穩定的虛擬注釋線索。

圖2 遠程協同增強現實系統視圖Fig.2 System View of Remote Collaborative Augmented Reality

為保證雙向通信的實時性，讓處于物理空間的工作人員進行實時的注釋繪制（圖2c），以提供給遠程專家充足的上下文。通過雙向的注釋線索繪制，可以克服遠程協同工作中由于缺乏上下文和互動性而限制交流的問題。同時，這樣的注釋繪制能喚醒本地工作人員（或者知識接受者）的主人翁意識，通過讓本地工作人員主動繪制交流線索而增強其工作的專注度和交流的參與感。

WebRTC是基于Web瀏覽器通信技術，其通過瀏覽器提供的API 接口就可實現實時音視頻通信能力[26-27]。本系統利用WebRTC進行遠程通信線索的實時繪制與傳輸，本地工作人員端通過HoloLens2 AR HSD 的相機和Unity 游戲引擎構建的原型軟件實現對現場環境的深度感知，實時采集工作現場的音頻信息和三維空間信息，通過無線網絡（WI-FI）將信息傳送到云服務器平臺上，如圖3。同時，云服務器平臺也實時接收遠程專家主機端Unity 引擎所構建的原型軟件采集的現場音頻、視頻、圖片標注等線索信息，通過WebRTC技術建立實時音頻、視頻鏈接，使遠程專家與作業人員保持實時音視頻雙向溝通，指導作業人員進行現場施工與作業。在保持流暢的音視頻雙向溝通的過程中，通過遠程協同技術，遠程專家可將圖片、視頻等信息同步到工作人員作業端，并支持對圖片、視頻信息的遠程協同標注且不受真實場景的遮擋，輔助作業人員進行現場作業。

圖3 WebRTC線索管道結構圖Fig.3 Structure Diagram of WebRTC Clue Pipeline

2.3 線索虛實擴散算法

為保證專家和工作人員在各自場景中手繪的二維線索信息實時映射為三維線索信息，采用一種基于深度相機焦距的線索信息擴散虛實重算法。該算法實時獲取手勢繪制信息，將這樣的二維圖像信息映射為二維信息點集，該集合序列為：

線索坐標集合的坐標原點為(x0,y0)。世界坐標和深度相機坐標系的擴散關系如下：

其中，R表示3×3正交單位矩陣，t=(tx,ty,tz,1)T為單位平移向量，O=( 0,0,0,0)T。

線索坐標系的目標坐標點為(x,y)，二維線索坐標系的坐標原點為(x0,y0)。相機坐標系與二維線索坐標系的映射關系如下：

結合上式，可得三維世界坐標系坐標：

通過二維線索坐標系映射轉化，將空間坐標轉換為帶空間錨點的信息三維點序列：

無論是人與人的合作還是交流，頭部的姿態和眼睛的注視都是重要的溝通線索，但是傳統的視頻會議通常不具備獲取用戶注視信息表述的能力而使通信協作能力下降[23]。本文不僅希望遠程專家在與本地工作人員協同工作過程中能觀察到本地工作人員的注意力和觀察的目標，還希望目光注視能為遠程專家提供一個真實物理環境的指示器。為此，針對物理環境中工作人員的目光注視設計了視覺焦點注視追蹤系統，在與專家交流的過程中，工作人員的目光注視會實時呈現在專家的主機畫面中。專家可以通過該信息實時了解到工作人員關注的目標，并反饋其注意力的正確性，實現更好的交流。

3 用戶研究

前面提到本文設計了一套基于增強現實技術的遠程AR 協作系統，基于此，在真實的工業場景下進行了協同任務的探索，探索目的是希望了解遠程協助的雙方是否可通過增強現實技術提升團隊任務完成的速度和質量。為此，特意選在復雜的工業場景下進行了2組實驗，并試圖回答下面3個研究問題。

RS1：AR 遠程協同系統能夠增強雙方的溝通和協作效率，同時無專家指導情況下的工作可能是最低效的。

RS2：在用戶感受上，AR遠程協同系統可以減輕用戶的心理壓力，相較于傳統的音視頻方式，AR遠程協作雙方的社會存在感更高。

RS3：任務難度會左右用戶對不同設備的取舍，由于較高的任務完成效率和較強的社會存在感，用戶可能更容易接受AR遠程系統和音視頻會議。

為此，本文將參與實驗的人員分成了無外部指導（No Guidance）、專家電話會議指導（Au/Ai）、專家AR 指導3 組并設計了被試內部實驗，每組用戶在真實場景下需完成兩個任務，這兩個任務分別模擬真實工作環境下的遠程異地協同巡檢和專家指導機器操控任務。

3.1 實驗流程

每組被要求完成兩項任務，并被隨機分配到無外部指導、電話會議指導和AR指導。在兩項任務執行前，遠程專家都會預先得到“待檢查點的分布地圖”和“工廠操作的操作流程書”。工作人員和遠程專家在任務之間的角色保持不變。

一旦被試者接受實驗并準備參與實驗，他們首先會被要求完成一份簡單的統計問卷，主試向其介紹任務的具體情況，隨后會得到簡單的使用培訓，以便工作人員工作時能夠適應Hololens，遠程專家能夠適應PC端的會議指導。完成培訓后，“遠程專家”會被帶到遠程專家的空間中，并會向其介紹分配的具體任務；“工作人員”會被帶到真實的工作環境中。在完成第一個任務后，“遠程專家”和“工作人員”都會被要求填寫一份簡短的任務問卷。對于第二個任務，在各自條件下重復此過程。

整個實驗在參與者允許且保證不泄密的前提下使用外部攝像機進行實驗錄制和參與者行為的采集工作。

3.2 實驗任務與環境

整個實驗環境中“遠程專家”和“工作人員”在物理空間上是完全隔絕的，他們只能通過電話會議或AR 設備完成相互交流。將工作人員的本地工作空間稱為本地工作環境。在兩個任務中將使用不同的工作環境：任務1：巡檢任務，工作環境為中鐵上海工程局集團有限公司鄭濟鐵路濮陽至省界段橋墩預制場的工地現場（見圖4a），在該工作環境中每次實驗將在不同位置分布30個待檢查的區域，其中20個待檢查點正常，10個待檢查區域有異常。任務2：操控任務，工作環境為中鐵上海工程局集團有限公司工廠車間的操作臺（見圖4b），該工作環境中，工人需要完成3臺不同機器的控制工作。

為了完成每一個任務，工作人員需要遠程專家指導或通過任務手冊完成相關任務，其中組1 工人需要自己獨立完成任務，而組2 和組3的遠程專家可通過遠程電話會議和AR 設備向本地工作人員提出工作指導和建議。整個任務設計時長在10～20分鐘內完成。

（1）任務1：巡檢任務。工作人員在圖4a 場景下的工作空間內完成對預設好的30個待檢查區域的檢查工作，這30 個區域是專家在平時巡檢中會重點觀察的區域，其中20 個待檢查區域用綠色進行標記（見圖5a）表示專家比較關注；10個待檢查區域用紅色進行標記（見圖5b）表示專家非常關注。組2、組3 的專家組會被提前分配到一張標有待檢查區域的地圖以告知遠程專家哪些地方需要檢查，同時組2、組3的專家可通過遠程電話會議或遠程AR 設備對工作人員進行指引。工作人員需完成對工作區域所有待檢查點的尋找工作，并通過記錄方式向主試匯報每個工作點的工作情況。

圖5 標記示意Fig.5 Symbolic Marking

（2）任務2：操控任務。模擬工人在車間內通過工程機器完成具體的施工作業，工人需要分別依靠鋼筋彎箍機、鋼筋彎曲中心、雙柱式墩柱焊接機器人3 臺機器（圖6），完成對鋼筋的形變、彎曲以及最后的焊接工作。操作過程中請4位來自中鐵上海工程局集團第七工程有限公司的專家（E1-E4）對不熟悉3臺機器的工作人員進行指導，這些遠程專家提前已經熟悉機器作業的具體流程，他們可通過遠程會議或AR設備向工作人員提供任務指引，組1無遠程指導的工作人員則必須通過設備說明手冊完成對機器進行使用。

圖6 操作現場Fig.6 Operating Scene

這兩項任務的設計是希望模擬現實工作環境中的應用場景：任務1主要模擬大范圍內的遠程協同巡檢工作，例如工地危險的環境中，讓遠程專家坐在室內對偏遠地區進行異地協同檢查工作。任務2主要模擬的是在固定環境內，例如車間內具體的機器控制，遠程專家可以實時對工人的操作流程進行判斷、指導以及實時反饋。

3.3 任務記錄

盡可能完善地收集兩組任務下的客觀指標和主觀反饋。主要的客觀測量指標是任務完成時間和任務完成的質量，這兩項指標通過視頻記錄的方式進行測量。對于主觀反饋，用調查問卷的方式來評估用戶體驗，在每一項任務完成后使用社會存在問卷（NMM）[28]來評估用戶在協作過程中的緊密程度；使用NASA-TLX 任務負荷指數問卷[29]來測試用戶在不同任務環境下的任務載荷。同時，實驗參與者還會被要求在各種設備下選擇自己比較喜歡的設備，并在實驗問卷結束后有選擇的挑選一部分參與者進行用戶訪談，以獲取其主觀反饋。最后還會在提前告知參與者的情況下利用外部攝像機收集“工作人員”和“遠程專家”的任務執行視圖，記錄參與者之間的對話和行為以進行用戶行為研究。

4 實驗結果分析

招募的12 名參與者[其中男性9 名，女性3名，年齡分布在17～28 歲，M(平均值)=24；SD(標準差)=3.8]進行實驗，為保證實驗進行過程中，參與者完成任務時不會受到專家能力的影響，從中鐵上海工程局集團第七工程有限公司選取了4 名常年具有任務經驗的施工人員擔任此次任務的專家，這4 名專家對任務、場地以及設備都非常熟悉。

4.1 任務時間

為調查不同方式下執行任務的時間情況，本文記錄了用戶完成任務所需要的總共時間。由于結果不是正態分布的，使用了非參數檢驗（Wilcoxson 符號秩檢驗，其中α=0.05）。

首先，比較3 組用戶完成巡檢任務（任務1）的時間，如圖7a 所示。遠程專家通過AR 指導[M=13.25 min，SD(平均差)=1.13]完成任務所需時間（組3）明顯少于無專家指導（M=18.8 min，SD=0.87）和專家遠程音視頻會議指導（M=15.03 min，SD=0.51）。同時經過Wilcoxson 符號秩檢驗下可以得出結論：工作人員在AR遠程專家指導下完成巡檢任務所需時間與無專家指導情況下（Z=2.2014，p=0.0277<0.05）、遠程專家音視頻會議（Z=2.2075，p=0.0273<0.05）比較下呈現顯著差異。

圖7 兩項任務消耗時間統計Fig.7 Time Consumption Statistics for Two Tasks

統計3組用戶完成設備操作任務所需時間，如圖7b所示。為了使數據盡可能精確地反應工作人員思考和操作設備所需要時間，剔除等待設備執行時間（7 分鐘）和觀察設備反饋時間（2分鐘）。其中工人在無遠程專家指導的情況下完成設備所需的時間（M=210.03 s，SD=15.67）明顯大于專家音視頻會議指導所用時間（M=91.32 s，SD=3.01）和專家遠程AR指導所需時間（M=101.77s，SD=5.20），經過Wilcoxson 符號秩檢驗可以發現，無遠程專家指導情況下工作人員完成設備操作任務所用時間與遠程專家通過音視頻會議指導（Z=2.2014，p=0.0277<0.05）和遠程專家通過AR 指導所用時間（Z=2.2043，p=0.031<0.05）相比都具備顯著性。在設備操控任務完成過程中遠程專家通過AR 指導所用平均時間略大于遠程專家用音視頻電話會議指導所用時間，可能由于專家在繪制線索時消耗了額外的時間，但該差異不具備統計學規律（Z=1.9917，p=0.0564>0.05）。

4.2 任務準確率

本文記錄了無指導、專家音視頻會議指導以及專家AR 指導3 組條件下完成巡檢任務（任務1）和設備操控任務（任務2）的任務情況，如圖8、圖9所示。其中在無遠程專家指導的情況下，工人平均能在30 個標記中完成23.17 個標記的查找（Mred=6.67、Mgreen=16.50 ，其中Mred為工作人員檢查到專家非常關注區域（紅色）的數量，Mgreen為檢查到專家比較關注區域（綠色）的數量，Mtag=Mred+Mgreen）。而在有專家音視頻會議（Mtag=26.83 、Mred=8.67 、Mgreen=18.17）和AR設備的幫助（Mtag=26.17、Mred=8.00、Mgreen=18.33）下對巡檢任務的完成的準確性在均值上有一定提升，同時在該任務下No Guidance組與Au/Ai 組（Z=2.0319，p=0.0422＜0.05）、AR 組相比（Z=2.2173，p=0.0267＜0.05）具有顯著的統計學差異。在巡檢任務的任務準確性上，Au/Ai 組與AR 組在統計學上未發現顯著差異（Z=1.8411，p=0.0656＞0.05），并無法得出AR組一定比Au/Ai 組在巡檢任務的準確率上更好的觀點。但本文發現，在巡檢任務執行過程中，用戶在對紅色標簽（專家重點關注區域）觀察的過程中，AR 組（M=8.00，SD=1.00）好于Au/Ai組（M=9.67，SD=0.44）且兩組數據之間出現統計學差異（Z=1.8257，p=0.0479＜0.05）。因此可以初步得出結論：有遠程專家幫助下（無論是Au/Vi 指導還是AR 指導）工作人員在巡檢任務的觀察準確率都會有提高，但是通過AR系統遠程專家可以指引本地工作人員更好地完成對重點觀察地區的巡檢。

圖8 執行任務時準確率統計Fig.8 Accuracy Statistics During Task Execution

圖9 設備操控任務中錯誤個數Fig.9 Number of Errors in Equipment Manipulation Tasks

在設備操控任務執行中，AR 組的任務完成的質量出乎意料，整個實驗過程中只有一個出現了操作失誤且失誤一次（M=0.167，SD=0.278），在出錯數量上AR 組遠遠好于No Guidance 組（M=6.1667，SD=2.7778）和Au/Vi 組（M=1.3333，SD=0.7778）。且經過Wilcoxson符號秩檢驗可以發現，AR 組與其他兩組（no guidance（Z=2.0319，p=0.0422＜0.05）、Au/Vi（Z=2.0604，p=0.0394＜0.05）均具有明顯的統計學差異。這說明專家通過AR 設備進行指引能夠顯著的幫助工作人員在設備操控的任務上減少錯誤的發生。

4.3 調查問卷結果研究

本部分分析了參與者對兩種量表問卷（NMM 社會存在問卷、NASA-TLX 任務負荷指數問卷）的回答。

采用NMM 社會存在問卷[28]對不同組別下工作人員的社會存在感進行了測量(如下圖10a所示)。工作人員在Au/Vi 組（M=57.00，SD=5.33）和AR 組（M=49.67，SD=9.00）完成任務的社會存在評分明顯高于No Guidance 的評分（M=32.00，SD=6.33），Au/Vi 組（Z=2.2075，p=0.0270＜0.05） 、AR 組（Z=2.2121，p=0.02817＜0.05）與No Guidance在社會存在評分上均具備顯著的統計學差異。不過AR組和Au/Vi（Z=1.1563，p=0.2476）之間未發現具有顯著的統計學差異，可能由于Au/Vi組的雙方有著更高頻次的語言交流。

圖10 社會存在與任務載荷統計Fig.10 Social Presence and Task Workload Statistics

采用NASA TLX 問卷[29]對工作人員的工作負荷進行了測量（如下圖10b 所示）。工作人員在Au/Vi 組的任務載荷評分（M=84.33，SD=5.44）在數值上明顯高于No Guidance 組的（M=64.83，SD=6.17）和AR 組的（M=56.67，SD=9.00），且Au/Vi 與其他兩組no guidance（Z=2.2076，p=0.0276＜0.05）、AR（Z=2.2014，p=0.0275＜0.05）相比均呈現出了顯著的統計學差異。但是AR 與no guidance 相比（Z=1.1531，p=0.2489）兩者并無明顯的統計學差異，在用戶訪談中會有所討論。

4.4 主觀調查

除了上述的一些客觀指標和量表問卷，在訪談過程中要求參與者（包括12名工作人員和4名專家）評選出他們心中最喜歡的系統（如圖11所示）。12 名參與者（工作人員）中共8 位將AR設為自己最喜歡的系統；3個參與者將No Guidance 選擇為自己最喜歡的系統，Au/Vi 僅有1 名工作人員將其設置為最佳。專家組這邊，3名專家將AR 設置為自己最喜歡的系統，1 名專家將Au/Vi設置為自己最喜歡的系統。

圖11 工作人員（左）、專家（右）最喜歡系統統計Fig.11 System Statistics Most Preferred by Staff(Left)and Experts(Right)

本文希望通過面對面訪談的方法得到專家或工作人員的一些建議和反饋，專家E3指出：他更喜歡AR 系統的主要原因是AR 可以在PC 端快速地完成資料的投放，通過該方法的使用，可以比其他方式更快、更加精確地完成目標的指引，這非常有利于復雜任務的執行。另一位專家E2 指出：傳統的溝通方式例如對講機容易讓遠程指揮人員感到迷失和混亂，但是AR系統可以通過頭戴攝像機的方式在后臺對現場實施情況進行了解并給出解決方案，當然AR的缺點是專家端可能會受到一些網絡波動的影響。

本地工作人員P1指出：AR可以有效地改善專家-工人之間的關系，但是固件的限制可能會導致工作過程中同時出現疲憊的狀態；同時也有工作人員P7 指出：相比其他兩種方式，通過AR設備能出色的完成賦予的任務，這使他獲得了極大的成就感。同時也重視喜歡無指導的工作人員的意見，本地工作人員P9指出：其不擅長溝通，在無指導的情況下，會感到更自由。另一名工作人員P12則表達了不同的想法：他在平時的工作中并沒有感覺到社交困難，只是不喜歡被別人時刻盯著去完成一項任務，相比之下他更喜歡輕松狀態下的工作。

通過用戶訪談本文注意到，用戶偏愛AR系統的主要原因是高效的任務完成效率以及任務完成后的成就感，因AR系統提供的遠程專家知識庫、物理環境系統的實時反饋以及工人注意力的實時跟蹤對于遠程專家而言更加有益。但本文還注意到另一個現象是對于遠程協助而言，有相當一部分人在工作中希望較少的社交、輕松地完成工作，對于這部分人員而言，應該更多關注他們內心的想法，幫助其找到打開溝通方式的橋梁。

4.5 結果討論

有專家指導的情況下（Au/Vi 或AR）處于工作環境中的工作人員完成任務的時間、以及任務完成的準確率上一定是比無專家指導更好的（RS1）。但是Au/Vi 和AR 相比，兩者在任務完成時間上很難分辨誰更優秀，這一點是出乎意料的，本文認為出現這個現象的原因是多樣的，一方面，專家對虛擬空間的標注和箭頭的繪制可能導致消耗額外的時間；另一方面，由于AR系統下工作人員需要對專家的指引進行額外的觀察，一定程度上會分散工作人員對物理任務的注意力，但是這種注意力的分散或許不一定是壞事，工作人員通過額外的觀察在一定程度上也提升了兩項任務的準確率。在任務的完成質量上，在兩項任務中遠程專家通過AR指引的精度和錯誤率都優于其余兩種方式，尤其是任務2（設備操控任務）的執行過程中整個實驗僅有一人出現1次操作錯誤，這一點驗證了前面提出的假設。

由于Au/Vi 在引導用戶的過程中會引發雙方更頻繁的語言交流，這導致了其在社會存在感上相較于AR 會更加緊密（RS2）。另一方面，Au/Vi 比其他兩種方式會給用戶帶來更高的任務負荷，AR 和無專家指導時的任務負荷相似，但是AR組的用戶平均差更大，這代表著組內的差異相較于其他方式更加明顯，這可能由于不同人對于AR 設備以及全新交互方式的適應能力有關。

在用戶偏好上，無論是遠程專家還是工作人員都對AR 設備有更強的偏好，但意外的是，Au/Vi 的指導是本地工作人員最不愿意接受的一種情況。本文在任務后對一些用戶進行了相關問題的訪談，發現工作人員不喜歡Au/Vi主要是因為其對工作人員有過多的限制，這些工作人員在任務執行的過程中也不喜歡聽到遠程專家的“碎碎念”，這些都可能導致遠程用戶因此受到過高心理壓力（RS3），同時Au/Vi 較高的任務載荷也佐證了本文的觀點。

最后觀察到用戶在設備控制任務（任務2）一次點擊失敗后心理壓力會大幅提高，這可能是工作人員出現連續失誤和工作時間大幅度增加的主要原因，這個現象可能在現實的任務執行過程中更加明顯。而遠程專家對于解決上述情況有非常積極的作用，一方面遠程專家的協助會使任務的錯誤減少；另一方面遠程專家的幫助會很大程度上疏導本地工作人員出現錯誤后的心理壓力（RS3）。這對未來改善本地工作人員完成工作有非常積極的作用。

5 結 語

本文提出了一個基于AR 的實時多線索遠程工業協同系統，該系統允許遠程專家通過多線索指導本地操作員執行程序性任務和注釋。此外，探索使用基于AR穩定的同步協作遠程場景的注釋方法。在本文中，描述了系統架構、軟件組件和用戶互動，包括線索虛實擴散算法、眼動追蹤和注釋的穩定性。最后，在復雜的真實工業場景下進行了完善的用戶研究實驗，將AR遠程支持系統與紙質維護說明、傳統電話指導進行對比分析，實驗結果表明使用AR 遠程支持時，錯誤任務數量有明顯減少，同時任務完成速率有所提升。通過兩種量表問卷以及用戶主觀調查的分析，發現用戶對解決方案都表達了積極的看法，并強調了與遠程專家支持、注釋相關的功能以及發送照片、圖表和其他多媒體內容對他們非常有價值。同時，本項工作得到了領域內專家和作業人員的認可，他們的建議將指導本文后續開展的工作。

致謝：

感謝中鐵上海工程局集團有限公司鄭濟鐵路濮陽至省界段橋墩預制場的作業人員及專家對實驗的幫助和配合以及針對本文系統提出的意見反饋。

利益沖突聲明

所有作者聲明不存在利益沖突關系。