云XR 擴展現實技術在計算機教學中的研究

李思睿，劉 朋，曾琦娟

（中移（成都）產業研究院，四川 成都 610041）

0 引 言

我國積極推動虛擬現實發展。虛擬現實（AR/VR/MR）已被列入“十三五”信息化規劃、互聯網+等多項國家重大文件中，工信部、發改委、科技部、文化部、商務部出臺相關政策。此外，各省市地方政府從政策方面積極推進產業布局，已有十余地市相繼發布針對虛擬現實領域的專項政策。

AR/VR 作為新一代的人機交互平臺技術，覆蓋了從C 端消費到B 端行業應用的各種場景，被廣泛認為是5G 時代最先落地，人們最先認知、接觸和使用的技術，市場發展潛力較大。2018年行業整體市場超過600 億元，AR 整體市場超過100 億元，預計2020 年全球虛擬現實產業規模將超過2 000 億元，其中，VR 市場1 600 億元，AR 市場450 億元。預計2017—2022 年，全球虛擬現實產業規模年均復合增長率超過70%，VR為占據主體地位，AR 增速顯著，中國將成長為全球主要的虛擬現實市場。預計2021 年中國VR市場規模將達到790.2 億元，其中，內容市場整體規模為386.4 億元。XR 遵循先硬件后內容的發展節奏，內容跨平臺趨勢助推產業生態加速成形，第一代消費級虛擬現實終端的推出標志著硬件門檻降低，產業發展路徑開始由硬件導向向內容導向轉變。在解決虛擬現實“有車沒油”的產業痛點過程中，如何提升高質量虛擬現實內容數量，降低內容開發門檻，加速內容生產流程，成為推動虛擬現實由小眾市場向大眾普及的當務之急。通過云XR 平臺，對接海量優質的XR 內容和各形態終端設備，設計出多種交互式的AR/VR/MR 智慧教學產品，延展出豐富的智慧教學教育場景。讓XR 云平臺牽手5G，賦能計算機教學。

1 教育培訓對擴展現實技術的需求

1.1 教育培訓定義

狹義的教育指教師在學校按照一定的要求和目標培養人的活動，廣義的教育包括能增進人們思想、品質、體質以及技能的活動。

培訓是教育的一種方式，在主體上與狹義的教育有區別。培訓主體可以是政府、事業、企業等，培訓對象是有受訓目標的個人。培訓的內容是將技術和方法快速傳授給在崗或即將上崗的社會人員。本文所指計算機教學既包含狹義的學校教育，也包括政府、事業、企業單位的培訓活動。

1.2 擴展現實（XR）技術概念

XR 是一個概括性的術語，它包含了增強現實（AR）、虛擬現實（VR）和混合現實（MR）。AR 將虛擬和真實的物體集成在實時顯示中，而VR 讓用戶在一個模擬真實或想象的世界中控制和操縱他們的動作。這兩種技術混合在一起讓用戶形成身臨其境的體驗。無論是在看360 度完美呈現的電影，玩游戲，通過建筑物的三維模型，穿越宇宙，或任何其他身臨其境的體驗，XR 設備創造的幻覺，使人感覺好像進入一個全新的數字世界。

高通在2017 年XR 報告中定義了“XR”是用來描述增強現實（AR）、虛擬現實（VR）、混合現實（MR）以及所有相關的用例。高通是從這些“R”的底層去看，AR、VR 或者MR 的底層軟硬件技術大部分是相通的。所以，高通用“XR”這個概念來包括虛擬現實、增強現實和混合現實的整個業務內容[1]。

1.3 計算機教學對擴展現實技術的需求

雖然目前實訓教學在教育培訓中的開展已經普遍化、常態化。但是仍可以看到，在教育培訓中依然存在許多問題亟待解決。

1.3.1 虛擬實訓項目終端成本投入高

對于學校來說，實訓項目的建設需要使用復雜而昂貴的設備，職業學校的資金主要來自于自籌或政府部門專項撥款。如果建設成本超出預算，很多項目也不能落地，學生只能聽教師講解或者觀看2D 的視頻，很難有實際操作體驗的機會，這樣不利于學生實踐的訓練，也背離了實訓教學的基本目標[2]。

1.3.2 異地多人協同互動需求逐漸增多

某實訓基地，實訓人員戴上頭盔，一臺發動機出現在眼前，將手中的手柄按一下即可對發動機進行零部件拆解操作，以及旋轉360 度進行觀察等，但當需要異地的教師或者同學協助完成該科目時，會因為網絡和技術的諸多限制而不能實現該功能。某學校對火災逃生演練的虛擬現實技術提出了更高的要求——需要30 人同時參與虛擬逃生演練的實訓科目，但卻因成本太高無法達到該要求[3-4]。

1.3.3 統一運營與管理缺失

大多數教培領域中的客戶對教學內容都缺乏統一的運營與管理，學校無相應的管理措施，缺乏專門和統一的運營與管理方案，最終影響教培的質量。

實際教學使用過程中，許多學校只是把建設好的虛擬現實教學系統當做一個擺設，缺少專人維護。這主要是由于學校有關部門對虛擬現實教學系統管理維護工作不重視，沒有制定對系統設備進行管理和維護的嚴格規范。一些地方只是把建設好的虛擬現實教學系統當做一項面子工程，缺乏后續使用維護方案，對提高教育實訓教學質量作用不大。

1.3.4 教育培訓內容水平參差不齊

專業的軟件開發團隊較難準確把握課程內容的實質；而職業教育教師的虛擬現實技術水平有限，很難開發設計出具有系統穩定、結構優良的教學軟件[3-4]。

1.3.5 統一的終端接入標準及圖形API 標準缺失

終端接入標準即如何將特定類型的VR 設備統一接入，如有不同功能的VR 設備，但基本功能一致。圖形API 標準是指VR 應用程序與圖形引擎怎么呈現內容，并接收數據。標準不統一、缺少制定標準和規范的機構平臺，導致最后開發出來的系統在性能和規格上有很大差別。

2 云XR在計算機教學中的應用

2.1 云XR 概述

2.1.1 技術原理

云XR 是一個以云計算和應用流化技術為基礎，以視頻流作為云端到終端溝通的媒介，以云端運行XR 應用+XR 眼鏡的組成架構。云XR是對云計算技術的靈活運用，將云計算和XR 技術有效結合，解決了傳統XR 產品架構面臨的XR 應用承載和展現的問題。

在云XR 架構中，所有的XR 應用均運行在云端，利用云端的強大計算能力和顯卡的渲染能力實現XR 應用運行結果的呈現，云端運行的畫面和聲音經過低時延編碼技術的處理，形成實時的內容流。實時流通過網絡發送到終端，實現低時延解碼并呈現于XR 顯示設備上。同時XR 顯示設備將用戶的控制信令發送到云端用于操控應用，實現用戶與應用的互動。因此，云XR 架構中，主要利用了云端的XR 應用運行能力和XR眼鏡的視頻播放、控制信令采集能力，實現了運行能力由云端轉移到終端的過程。云XR 平臺架構如圖1 所示。

圖1 云XR 平臺架構圖

在云XR 平臺架構中，將XR 應用運行與應用展現相分離，云端完成應用處理和結果下發，XR 一體機僅需要實現最基礎的視頻解碼、XR 處理、XR 畫面呈現以及控制信令上傳，而不需要處理與實際業務相關的計算，大大簡化了XR 一體機的內部結構和處理性能需求。直觀地說，就是將我們常見的主機（計算單元）與顯示、操控外設分離，把主機放到云端，將顯示、外設等留在用戶側，因為用戶不需要獨占一臺主機或者使用很強性能的手機，且一臺主機的處理能力為多個用戶進行共享，從而實現“按需訪問”的需求。

云XR 平臺是一個開放平臺，其開放性體現在兩個層面，一方面是云端的開放，云端系統支持多種XR 應用的運行，包括基于Windows 的XR 應用以及XR影片的播放等；另一方面是終端的開放，采用云XR 平臺的設計思想，將原來依賴于或受限于本地的處理能力終端轉移到云端系統，其開放性體現在支持多種終端，包括手機+手機式XR 眼鏡、機頂盒+獨立式XR 眼鏡、弱PC+獨立式XR 眼鏡等，終端只需要使用云XR 終端SDK就可以很方便地接入基礎云XR 平臺中。

2.1.2 系統架構

Cloud XR 平臺采用分布式的系統架構（如圖2 所示）。通過分布式的系統架構減輕視音頻流給骨干網帶來的壓力， 同時降低了視音頻傳輸的網絡時延，提供給用戶更加優質的體驗。

系統主要分為中心管理系統、業務系統、渲染調度系統、云渲染系統、云編輯、視頻前端服務、視頻后端服務以及大數據分析等幾個部分。

2.1.3 網絡架構

通過在5G MEC 上部署Cloud XR 渲染能力、會控及媒體處理平臺，協同Cloud XR 業務處理系統，并配合部署在云端的中心管理平臺，實現用戶在本地或者異地的XR 教學和培訓（如圖3 所示）。學生不需要在現場實際操作，只需要觀看/互動操作便可以實現XR 沉浸式的用戶體驗，提升教學和培訓效果。

5G 網絡的大帶寬特性，MEC 邊緣云的低時延特性，將本地PC 需要的渲染、識別、編碼等計算能力轉移到MEC 進行處理，這些計算能力構成Cloud XR 業務平臺的核心能力，使XR 頭顯向輕量化。借助5G 大帶寬與低時延的能力，將XR 內容云化，可以提供更加高效便捷的內容分發能力。

圖2 云XR 系統架構圖

圖3 云XR 網絡架構圖

2.1.4 體驗標準

弱交互業務場景中，用戶關注的是VR 視頻的畫面質量、初緩時長和卡頓情況。強交互業務中，用戶更關注與交互相關聯的問題，如是否眩暈、畫面是否有黑邊、畫面是否流暢以及操作響應是否滯后等問題，具體如表1 所示。

2.2 云XR 技術在計算機教學中的應用場景

2.2.1 異地多人協同教學

異地多人協同教學系統是讓多個使用者沉浸在同一個虛擬的場景中，能夠構建多人協作的工作環境，通過語音、答題考試等系統功能實現多人異地協同的高效溝通全過程覆蓋。計算機教學的需求越來越趨近于跨部門跨區域的多人協作，平臺將使用對象劃分為培訓人員和參培人員。培訓人員可以管理參培人員的課件推送、內容啟停以及觀看每個參與者的視角。每個參培人員帶著各自的終端頭顯，在同一虛擬場景下相互協作完成真實世界的大型活動分工與協作任務[5]。

表1 用戶體驗標準表

2.2.2 遠程虛擬教學

遠程虛擬教學仿真實驗與5G 通信網絡技術結合，靈活的實驗資源配置可以提高實驗器材的使用效率。

汽車構造教學中，教師在遠程教學過程中，通過集中控制與管理，可以讓異地的多名學生在虛擬教學環境中，近距離觀察到逼真的汽車內部結構，通過親手拆卸復雜的零部件來學習汽車構造和工作原理，還在很大程度上避免了實物零部件的損耗。醫學認知教學中，所處不同區域的教師，可以讓遠方的學生通過三維人體模型近距離無死角地觀察肌肉、血管、骨骼等內容，并通過視、聽、嗅、觸全方位調動學生興趣。

2.2.3 遠程虛擬實驗

工業裝配實訓中，對機械的拆裝訓練使身處異地的學生在真實接觸之前有了初步的感性認識，避免了直接使用危險用品，保證了安全。遠程模擬手術訓練可讓學生體驗到實驗的過程并感受到結果，虛擬的臨床經驗可幫助其提高對教學內容的理解和認知。實時模擬的遠程實驗可以讓雙方協同操作實驗，并共享實驗數據[6]。

2.2.4 異地直播點播教學

云XR 依賴于5G 網絡大帶寬、低時延，以及云端服務的可擴展性，VR 直播課程由攝像機采集端對視頻進行拼接壓縮編碼，通過5G 網絡上傳至云端，云端處理后通過5G 網絡分發超高分辨率的視頻，讓學生能夠將整個現場環境盡收眼底，讓異地學生猶如身臨其境，使用第一視角去感受現場氛圍。教師在上課過程中可以對實時課程進行錄制，并發布到云平臺，供需求用戶隨時隨地訪問。

2.2.5 VR/AR 云端編輯

VR/AR 內容制作需要花大量的時間和人力成本，云編輯工具不需要編程通過拖拽的方式完成AR 和VR 的場景搭建，無須編程即可完成內容制作。

過去，制作150 平的室內家裝場景，從3D模型到交互場景，根據難易程度和內容的不同，可能需要兩人10 天的工作量，售價5 萬左右。制作一張CAD 底圖，需要通過工具做出3D 模型，再將3D 模型導入渲染引擎完成貼材質、光線布置、交互邏輯設計，以及烘培渲染光照等步驟。而云XR 平臺中，用戶只需通過云端編輯器自由拖放，用超出PPT 編輯的簡單方式對VR/AR 內容進行創作，無須填寫代碼。用戶挑選合適的素材，編輯素材并調整屬性參數，同時對交互邏輯進行設定，生成內容后點擊發布即可完成AR/VR 內容的創作。

2.2.6 云端內容庫

云XR 平臺內容庫提供覆蓋義務教育、高等教育和職業培訓的教學課件，用戶可按需查找相應課件并下載使用，也可通過云端編輯器使用內容庫中的3D 模型、3D 場景以及現成的全景圖片和全景視頻制作VR/AR 內容。

3 云XR平臺發展趨勢

3.1 統一開放的接入標準

云XR 平臺基于SOA 設計思想，采用分層提供服務支持的設計思想，堅持數據、服務、應用相分離的架構原則，在保持靈活性和擴展性的前提下，實現數據統一管理，其總體功能規劃如圖4 所示。

圖4 云XR 功能藍圖

系統對每一層定義明確的功能接口，同時在層次內實現組件化的接口實現。層次化、模塊組件化的實現，使系統具備了最大程度的靈活度，從而能對業務需求的變化做出快速的反應，使系統具有很好的擴展性。

云XR 平臺核心能力包括視頻能力、渲染能力，AR 引擎能力平臺以3 種能力為基礎對外提供服務。平臺允許用戶以多種類型的終端接入系統，包括手機、平板、PC 和XR 終端等，基于某個終端可以擴展多種業務，如基于一體機的頭盔可以體驗可交互的云應用或視頻?；诓煌臉I務場景可擴展多種應用，如基于云教室的在線直播App、基于培訓類可交互的行業培訓App 等。

3.2 大空間多人互動

對于用戶來說，大空間多人互動技術經歷了兩個階段，一是位置固定的PC 連線頭顯設備，用戶會受到設備的限制，二是背包電腦加蓄電池的本地方案，用戶可在空間內自由行走。

目前，云XR 平臺將大空間定位技術與虛擬空間協同技術用于實訓教培領域。未來，用戶僅需穿戴輕量頭顯設備和手柄即可實現體驗區域的無線拓展，異地多人在虛擬空間中行走交互無遮擋，在真實空間的位移與虛擬空間位移達到同步，云XR 平臺的商用將會降低終端設備的成本以及人力運營成本，設備耐用性將提升。

4 結 語

云XR 平臺基本解決了計算機教學對擴展現實技術的應用需求，本文對云XR 實現的技術原理進行了闡述，給出云XR 系統和網絡的架構設計思路。放眼未來，在5G、6G 時代下，云XR的到來將顛覆計算機教學的教學方式，減輕和降低用戶終端成本，統一教學資源內容，超高速的網絡體驗將為計算機教學帶來質和量的飛躍。