基于眼動追蹤的AR 輔助裝配指示符號影響機制研究

吳磊，蘇瑤，盛芹芹，王峻峰

（華中科技大學 機械科學與工程學院，武漢 430074）

隨著信息技術的飛速發展，數字制造被認為是減少產品開發時間和成本，提高產品質量和更快響應市場需求的新興技術。增強現實（AR，Augmented Reality）將計算機生成的信息疊加在真實環境中，可幫助模擬、輔助和改進制造過程，是創新有效的數字化解決方案。在增強現實系統中，將計算機生成的虛擬元素與人所在的真實場景相融合互通，是新興的交互場景。AR 技術可以與人類的認知能力相結合，通過AR 系統提供有效的工具協助制造過程，在航空業、核工業、維護和制造領域已有應用案例。AR 交互界面在真實環境中疊加了與環境相關的圖形內容和文本描述，以視覺指令的形式出現，其信息顯示和圖像疊加是上下文的互相關聯，顯示內容取決于觀察到的對象。然而，當前AR 輔助裝配的視覺符號設計尚沒有通用的標準，如何解決AR 輔助裝配中指示符號的認知和用戶體驗問題，成為研究重點。本文以AR 輔助機械裝配的指示符號為例，從人類本源的視覺認知機理出發，采用眼動追蹤方法對增強現實環境下輔助裝配符號維度與狀態進行量化分析與評估，進而提出AR 環境下輔助裝配指示符號的交互設計策略。

1 AR 輔助裝配指示符號研究現狀

在AR 輔助裝配和維護技術領域，魏巍等人[1]詳細闡述了跟蹤配準技術、實時交互技術、虛實融合技術在輔助裝配系統中的實現方法。徐遲等人[2]從數據和工作流程方面提出并分析了擴充裝配手冊的兩階段應用，并在工作站環境下開發了用于增強裝配應用的內容創作和內容可視化系統。李旺等人[3]采用六種方式對裝配工藝進行可視化表達，應用XML 開發出一種具有三層信息結構的增強裝配工藝編輯原型系統。楊振[4]發現AR 輔助可以縮短整體裝配任務和子任務的時間，并減少這些任務中的錯誤。宋春雨等人[5]通過解決移動端注冊算法的實時性等問題，開發實現了移動AR 齒輪油泵裝配環境下虛實場景融合效果。趙陽等人[6]在AR 環境下，通過Kinect 進行手勢交互，對汽車發動機進行裝配，實現了發動機裝配序列的呈現，極大地增強了用戶對真實場景的直觀感受。閆甲鵬等人[7]基于Android 移動終端建立了齒輪油泵移動AR 裝配系統，實現了裝配系統虛實場景的融合，且融合場景沉浸感較強。詹松濤等人[8]利用移動AR 技術輔助引導布線，通過研究視覺跟蹤算法的多坐標系轉換的三維注冊配準算法、無標識注冊技術和移動終端AR 輔助布線的交互方式，實現信息的有效引導及良好的交互體驗。Giulia 等人[9]提出一種將操作任務轉換為二維符號以在AR 中傳達指令的方法，能降低用戶的心理負擔，無需跟蹤即可工作。

在虛擬環境符號的研究領域，Nagel[10]通過圖像動態可視化方法提高VR 場景中的圖像與使用場景融合度，并在不同的環境和數據復雜度中適當將可視化圖形簡化提高可用性。而Granum[11]就VR 用戶與3D視覺對象之間的感知問題進行了討論，并建議將圖形對象大小保持恒定以支持VR 的深度感知，對象大小也是空間距離單位的參考感知條件，應該在近距離上增添例如表面紋理等屬性以觸發感知分組。在場景視覺認知方面，Itti 等人[12]提出Neuromorphic Vision Toolkit（NVT）模型，該模型包括底層顏色、強度、方向和閃爍特征的自下而上計算，探討了復雜環境中的神經形態模型。Lu 等人[13]提出使用AR 設備呈現的圖像可能會降低視覺搜索性能，通過兩個視覺搜索實驗調查了背景復雜度，指示符號的不透明度、大小和形狀對視覺搜索性能的影響，得出了可供AR 研發人員參考的數據。Palmarini[14]根據工業維護的關鍵績效指標來探討和量化了AR 的優缺點，提出了跟蹤和工業維護中的用戶AR 交互問題。

AR 輔助裝配指示符號的用戶體驗問題越來越受到學者的關注，Giles 等人[15]將AR 圖形與智能輔導系統相結合，開發出了用于智能AR 培訓系統的模塊化軟件框架。評估發現智能AR 系統將測試分數提高了25%，任務性能提高了30%。該研究表明與更傳統的AR 培訓相比，使用智能AR 指引可以顯著改善學習效果。Santos 等人[16]創建了一個由可理解性和可操作性量表組成的手持AR 系統可用性量表，并用四個實驗評估了問卷的有效性和可靠性。這項研究對于AR系統的可用性研究的推進具有重要意義。Deshpande等人[17]通過在HoloLens 耳機上開發AR 應用程序并進行測試實驗發現AR 程序在解決空間問題和心理表現有關的行為指標時產生積極影響。Lei 等人[18]研究了AR 培訓對于不同經驗程度和性別的影響，實驗證明AR 幫助男性學員更快學習組裝例程，并對女性組裝者而言更有效。Lei 等人[19-20]通過對50 個被試使用AR 組裝LEGO 模型進行了兩組實驗，探討了AR 輔助動畫在促進對參與復雜系統組裝的人員的學習和培訓方面的有效性。實驗結果表明，使用動畫AR 系統時，由于認知促進的積極作用，受訓者的學習曲線顯著改善，并且犯錯的次數更少。

綜上所述，當前AR 可視化研究多為技術層面的解決方案，對于AR 中設計本身的可用性和用戶體驗還很少被關注，已有的關于AR 輔助裝配產品的可用性問題的部分研究，主要集中在認知績效和沉浸式體驗方面。當前涉及增強現實環境的符號可用性研究較為欠缺，尤其是沒有針對AR 輔助機械裝配符號的交互設計展開深入的研究。

2 AR 輔助裝配指示符號影響機制研究方法

2.1 實驗變量

本研究遵守機械裝配符號設計的相關規范，選取符合用戶認知的指示符號設計方案。在此基礎上探討指示符號不同表現形式下的用戶體驗，得出符合用戶體驗的AR 輔助裝配指示符號不同表現形式的影響機制。采用雙因素（2×2）眼動實驗設計，實驗自變量為指示符號的維度（2D、3D）和狀態（靜態、動態）。實驗因變量為任務過程中被試對指示符號AOI（Areas of Interest，興趣區）的首次注視時間、總注視時間、裝配任務時間、主觀評分。在實驗中，指示符號的總注視時間反映認知負荷，首次注視時間反映視覺凸顯性；實驗過程中的裝配任務時間反映裝配效率；裝配任務完成度和裝配錯誤次數反映裝配質量；實驗后的滿意度評分和美感評分反映了被試的主觀評價。實驗要求被試者佩戴眼鏡式眼動儀完成典型裝配任務，記錄操作過程中的眼動數據，并在實驗后完成主觀問卷。

2.2 實驗假設

H1：指示符號的維度和狀態對指示符號的認知負荷有顯著影響；

H2：指示符號的維度和狀態對指示符號的視覺凸顯性有顯著影響；

H3：指示符號的維度和狀態對裝配任務的裝配效率有顯著影響；

H4：指示符號的維度和狀態對裝配任務的裝配質量有顯著影響；

H5：指示符號的維度和狀態對被試的主觀評價有顯著影響。

2.3 實驗被試

實驗選取汽車發動機作為裝配實驗載體，被試選取工程類專業的碩博士研究生共計83 人，被試矯正視力正常，無色盲色弱情況，均為右利手。通過眼動數據結果篩選，剔除采樣率較低的樣本23 份，最終得到60 份有效眼動數據，有效數據中男性被試48 人，占比80%，女性被試12 人，占比20%；被試年齡分布為18～25 歲占比88.3%，26～30 歲占比為10%，31～40歲占比為1.6%。

2.4 實驗設備

實驗采用Tobii Glasses 2 眼鏡式眼動儀。實驗地點為機械學院工業工程實驗室。實驗場地的主要設備有：實驗監視屏幕、裝配臺、AR 圖像捕捉攝像頭、裝配信息顯示屏、實體發動機、工具欄、配件欄，眼動實驗場地見圖1。

圖1 眼動實驗場地Fig.1 Eye tracking experiment platform

2.5 實驗材料

實驗材料設計分為四個組合類別，分別為2D 靜態指示符號、2D 動態指示符號、3D 靜態指示符號、3D 動態指示符號。實驗材料中，裝配輔助指示符號的顯示尺寸為140 pixels×140 pixels，裝配界面的總顯示分辨率為1366 pixels×768 pixels，眼動追蹤裝配實驗圖標素材見圖2。

圖2 眼動追蹤裝配實驗圖標素材Fig.2 Indicator symbol stimulus in eye tracking experiment

本實驗主要包含裝配操作任務和主觀問卷兩個部分，首先，實驗正式開始前，向被試介紹實驗目的和流程，被試仔細閱讀實驗指導語；緊接著進行眼動儀調試和校準，進入練習程序，被試完成裝配操作練習，確認操作符合流程后進入正式實驗。實驗正式開始，要求被試閱讀任務名稱后點擊界面“開始操作”按鈕，進入裝配界面進行裝配操作；操作完成后點擊“操作完成”完成一個實驗任務，然后切換下一個實驗任務，直至完成全部6 個眼動實驗任務；最后，操作任務完成后填寫主觀問卷，實驗完成。機械裝配實驗流程見圖3。

圖3 機械裝配實驗流程Fig.3 Mechanical assembly experiment flow

3 AR 輔助裝配指示符號眼動數據分析

實驗采用眼動追蹤對AR 輔助裝配指示符號進行科學地評估與分析，主要分析統計數據如下：眼動儀記錄AOI 內的首次注視時間（Time of first fixation）、總注視時間（Total duration of fixation），同時使用了主觀評分采集被試的反饋。

3.1 眼動熱區分析

視覺興趣區（AOI，Area of interest）主要反映被試在操作任務中對操作視野注視和關注的區域，紅色代表瀏覽和注視最集中的區域，黃色和綠色代表目光注視較少的區域。研究表明，被試的注視點主要集中在界面指示符號區域、實體發動機任務執行區域和工具欄區域。任務開始后，被試的主要視覺瀏覽順序首先是界面指示符號區域，其次是工具欄區域，最后是實體發動機任務執行區域，信息呈現方式眼動實驗視覺搜索熱區見圖4。

圖4 信息呈現方式眼動實驗視覺搜索熱區Fig.4 Hot area of visual search for information presentation in eye movement experiments

3.2 首次注視時間分析

首次注視時間表示指示符號的視覺凸顯性，表示從進入裝配任務的系統界面開始到被試的注視點出現在興趣區的時間，表示指示符號刺激引起被試視知覺的顯著性程度。首次注視時間柱狀圖見圖5。對數據進行二維組間方差分析，結果表明，指示符號的狀態主效應顯著，（F=15.670，P<0.05，偏η方=0.044），其中靜態指示符號的首次注視時間均值（2.027 s）明顯高于動態指示符號的首次注視時間均值（1.415 s）。指示符號的維度主效應不顯著（F=0.075，P=0.784>0.05，偏η方=0.000）。指示符號的狀態與維度的交互效應不顯著（F=2.297，P=0.131>0.05，偏η方=0.007）。

圖5 首次注視時間柱狀圖Fig.5 Histogram of first fixation time

結果表明，動態圖標的視覺凸顯性更強。交互式界面中圖形符號的移動通常通過動態效果來體現。當移動的物體對大腦產生持續的刺激時，大腦將根據刺激產生條件反射，從而引起大腦更多的注意力[21]。在具體的應用場景設計師應根據具體設計需求對界面信息進行視覺層次劃分。在單一符號指令場景下，使用動態圖標更易引起用戶的注意。但過多的高視覺凸顯性符號同時展現，可能會引起視覺混亂從而降低產品的用戶體驗。

3.3 總注視時間分析

在機械裝配任務中，被試對指示符號興趣區內的總注視時間越長，表明其提取信息語義越困難，認知負荷越大，符號總注視時間柱狀圖見圖6。對數據進行二維組間方差分析，結果表明，指示符號的狀態主效應顯著，（F=101.452，P<0.05，偏η方=0.253），其中靜態指示符號的總注視時間（2.565 s）明顯低于動態指示符號的總注視時間（4.933 s）。指示符號的維度主效應顯著（F=9.645，P<0.05，偏η方=0.031），2D 指示符號的總注視時間（3.384 s）明顯低于3D 指示符號的總注視時間（4.114 s）。指示符號的狀態與維度的交互效應不顯著（F=2.325，P=0.128>0.05，偏η方=0.008）。

圖6 符號總注視時間柱狀圖Fig.6 Histogram of total duration of fixation

上述結果表明，動態3D 指示符號的總注視時間大于其他指示符號，其認知負荷在各類指標的統計結果中最大。因為動態符號承載的信息量更大，用戶需要更多的時間來解釋動態符號的含義，動態符號更易出現歧義。在實際應用場景中，應同時考慮設計所需表達的信息量，在最佳信息傳達前提下進行抉擇。隨著動態3D 的設計手法更廣泛地被應用，人們對新表達形式帶來的學習成本將會越來越低，也將影響著認知負荷的變化。

3.4 裝配任務時間分析

裝配任務時間指實驗中完成每一項裝配任務所用的時間。同一裝配任務的裝配任務時間越長，表明單位時間的裝配效率越低，裝配任務時間柱狀圖見圖7。對數據進行二維組間方差分析，結果表明，指示符號的狀態主效應顯著，（F=4.731，P<0.05，偏η方=0.015），其中靜態指示符號的裝配任務時間（19.266 s）明顯高于動態指示符號的裝配任務時間（17.878 s）。指示符號的維度主效應不顯著（F=0.056，P=0.814>0.05，偏η方=0.002）。指示符號的狀態與維度的交互效應不顯著（F=0.056，P=0.814>0.05，偏η方=0.000）。

圖7 裝配任務時間柱狀圖Fig.7 Histogram of assembly task time

上述結果表明，動態指示符號的任務完成效率更高。動態效果可以提高人們的視覺注意力，增加愉悅的心理體驗，同時也可以增強人們的緊迫感，在警示信息設計上也常用動態展示手法。對比而言，靜態符號不容易讓人感受到時間流逝，動態符號會讓人產生一種催促感，從而更快完成任務。通過相關性分析證明，認知負荷與裝配效率在一定區間內呈正相關，即認知負荷越高，裝配效率越高。由此，從整體任務完成角度而言，雖然動態符號的注視時間消耗較大，但是最終使被試在更短的時間內完成任務。

3.5 裝配質量分析

實驗中，裝配質量由裝配任務完成度和裝配錯誤次數兩個部分構成，裝配任務完成度指裝配任務的最終完成程度，以主觀問卷量表的形式進行度量。裝配錯誤次數是裝配任務過程中的操作錯誤次數的總和。裝配錯誤記錄主要有：工具選擇錯誤、工具使用錯誤、裝配位置錯誤、裝配方式錯誤、遺漏配件，由專業實驗記錄員記錄，每錯誤一次計1 分。

1）裝配任務完成度評分。在實驗中，裝配任務完成度評分滿分為5 分，分數越高，用戶完成度越高。對裝配任務完成度評分進行二維組間方差分析，結果表明，指示符號的狀態主效應顯著，（F=5.921，P<0.05，偏η方=0.016），其中靜態指示符號的裝配任務完成度評分（4.546）明顯高于動態指示符號的裝配任務完成度評分（4.232）。指示符號的維度主效應不顯著（F=1.090，P=0.297>0.05，偏η方=0.003）。指示符號的狀態與維度的交互效應不顯著（F=2.365，P=0.125>0.05，偏η方=0.007）。

2）裝配錯誤次數記錄。對裝配錯誤次數進行二維組間方差分析，結果表明，指示符號的狀態主效應顯著，（F=9.614，P<0.05，偏η方=0.026），其中靜態指示符號的裝配錯誤次數（0.224 次）明顯低于動態指示符號的裝配錯誤次數（0.430 次）。指示符號的維度主效應不顯著（F=0.863，P=0.353>0.05，偏η 方=0.002）。指示符號的狀態與維度的交互效應不顯著（F=0.950，P=0.330>0.0，偏η方=0.003）。

上述結果表明，四類指示符號中裝配質量最高的是靜態2D 指示符號，裝配質量最低的是動態2D 指示符號。用戶認知負荷與裝配質量呈負相關，認知負荷越高，裝配質量越低，由此，從任務完成結果和任務過程的認知負荷角度，靜態符號均為最佳選擇。國外相關符號的研究顯示，符號的動效的動態展示方式和顯示持續時間也會影響任務完成質量。當因受其他因素影響，需要使用動態符號時，可以調整符號的動效的動態展示方式和顯示持續時間以達到高質量完成任務的目的。

3.6 主觀評價分析

通過問卷收集被試對實驗任務中指示符號的主觀滿意度，對滿意度進行5 點評分，評分從高到低依次為：靜態2D 指示符號（4.44），靜態3D 指示符號（4.33），動態2D 指示符號（4.31），動態3D 指示符號（4.00）。從狀態和維度兩個角度來看，靜態指示符號（4.39）的滿意度高于動態指示符號（4.16）；2D指示符號（4.38）的滿意度高于3D 指示符號（4.16）。

通過問卷收集被試對實驗任務中指示符號的主觀審美評分，對美感進行5 點評分，評分從高到低依次為：動態2D 指示符號（3.88），靜態3D 指示符號（3.87），動態3D 指示符號（3.75），靜態2D 指示符號（3.67），四種類型的整體評分差異較小。從狀態和維度兩個角度來看，靜態指示符號評分為3.76，動態指示符號評分為3.81，靜態指示符號的美感低于動態指示符號；2D 指示符號評分為3.76 分，3D 指示符號評分為3.81，2D 指示符號的美感度低于3D 指示符號。上述結果表明，動態效果可以提高人們的視覺注意力，增加愉悅的心理體驗，并在顯示界面的層次關系中增強界面的交互活力，這些特點都滿足了當代社會對信息傳播的需求，這使動態和3D 兩大要素將在未來的設計中被人們更廣泛和頻繁地使用，同時關于動態和3D 的設計將會有更佳的用戶體驗。

4 AR 輔助裝配指示符號設計策略

通過眼動實驗研究系統評估了2D、3D 和靜態、動態四種條件下，在AR 機械裝配場景中完成典型機械裝配任務，獲得有關不同條件下交互體驗的反饋。研究表明，指示符號的維度和狀態對指示符號的認知負荷有顯著影響，在任務認知負荷較高的條件下，應該優先采用靜態和2D 指示符號，其效果優于動態和3D 指示符號。指示符號的狀態對指示符號的視覺凸顯性、裝配效率、裝配質量和主觀評價都有顯著影響。當任務需要增強視覺凸顯性和裝配效率時，應該優先使用動態指示符號，其效果優于靜態指示符號；當任務需要提高裝配質量和主觀評價分數時，應該優先使用靜態指示符號，其效果優于動態指示符號。對于特定的交互任務或具體的設計目標，不同需求的設計策略優先級推薦見圖8。

圖8 不同需求的設計策略優先級推薦Fig.8 Priority recommendation of design strategies for different needs

根據眼動實驗結果和上述分析，總結提出AR 輔助裝配指示符號設計策略和指導原則。設計的本質是幫助用戶解決工作和生活中的問題，當設計師考慮選擇在特定應用場景中運用何種表現方式時，應該充分考慮設計需求。例如需在用戶無壓力下高質量完成任務或者需用戶緊張高效地完成操作等，不同場景的設計需求是不同的。例如，用動態符號來表達目標主體變化的過程是一種直接的信息可視化手段，3D 符號則具有更高的具體性，能使用戶快速建立符號與真實場景之間的映射。當符號設計中涉及動態、3D 等表達方式時，需要考慮信息表達的準確性，以動態符號的形式來表達力的強度、操作的方向、時間的長短等信息時，要參照語境使得符號的動態參量與真實場景之間建立正確的映射關系，避免引起歧義，誤導用戶行為。在動態的符號設計過程中，符號的顏色、透明度、尺寸、旋轉角度和幾何形態，動效的變化速率、頻率、變化次序、發生時長都影響著動態符號語義的表達。適當的變化速率能加強視覺凸顯性，但容易丟失符號的細節。這些變量在一定程度上影響了表達信息的準確性，會對符號的認知產生影響。因此，在指示符號的兩種狀態和維度中，并無絕對的優勢或者劣勢，應該在具體的使用場景下靈活進行切換和選擇，以便盡量發揮其優勢特征。

5 結語

基于上述研究，對AR 輔助裝配指示符號的設計規律進行總結，提出AR 輔助裝配指示符號設計的策略，使得AR 裝配指示符號設計能更加契合用戶的認知習慣，降低用戶認知負荷，提升機械裝配效率，為AR 輔助裝配指示符號設計提供相應的指導。本研究對AR 輔助裝配的指示符號設計提供了一定的設計參考，受實驗環境、研究范圍和技術條件等因素的影響，仍存在一些局限性。在實驗設計上，實驗中研究了AR 輔助機械裝配中的指示符號，未來的研究可能會研究更多的AR 特征變量，例如背景復雜度等；任務設計中，后續可根據真實工作場景加入時間壓力作為變量，研究不同時間壓力需求下的AR 指示符號設計策略。在研究方式上，可以增加腦電等生理測試指標分析增加結果的豐富性。