面向擴展現實的通信感知計算一體化視頻傳輸及QoE評價*

王文博，侯躍峰，田峰，楊震

（南京郵電大學寬帶無線通信與傳感網技術教育部重點實驗室，江蘇 南京 210003）

0 引言

未來信息網絡的新應用和新場景帶來的新需求以及當前5G 網絡面臨的問題和挑戰，驅動著6G 網絡的發展。6G 網絡的技術要素加速創新融合，信息技術、通信技術和大數據技術之間的深度耦合和關聯，以及數字化、網絡化、智能化不斷催生新的技術方向和發展空間，帶來感知、存儲、計算、傳輸等環節的多維功能擴展和群體性突破。同時，6G 網絡的業務要素從人向智能體、物理空間和虛擬空間要素擴展，信息處理功能需求從信息傳遞向信息采集、信息計算擴展，深入融合業務不斷增強，沉浸式擴展現實等新業務不斷涌現，正廣泛滲透到個人應用以及智能制造、智能交通、智慧能源、智慧醫療等垂直應用領域。沉浸式業務考慮XR（Extended Reality，擴展現實）技術及全息通信技術等實現通信感知計算新體驗與遠程智能控制，其信息處理需求重點是感知、傳輸、渲染、計算與顯示。因此，沉浸式擴展現實業務對6G 網絡提出了端到端信息處理能力的更高訴求，使得通信感知計算（通感算）一體化成為6G 技術與業務的主導趨勢之一。

1 通感算一體化和擴展現實技術及其融合應用

1.1 通感算一體化技術

ICSC（Integrated Communication,Sensing and Computation，通信感知計算一體化）是指通過無線空口協議等聯合設計、空時頻資源復用、軟硬件共享等方法，實現通信、感知和計算功能的一體化融合設計，使無線網絡實現高精度、精細化感知和大帶寬、低時延、高質量通信交互的同時，實現智能化云邊端協同計算，從而實現網絡整體性、業務能力和QoE（Quality of Experience，用戶體驗質量)的提升[1-3]。感知是端到端信息處理的必要前提，通常是指通過分析無線電波的直射、反射、散射信號，獲得對目標對象或環境信息（如屬性和狀態等）的無線信號感知，完成定位、測距、測速、成像、檢測、識別和環境重構等功能，實現對物理世界的感知探索；通信是端到端信息傳輸的基本功能，通常是指通過一定的方式和媒介傳遞信息的行為；計算是端到端信息處理的關鍵技術，通常是指通過特定或通用的軟硬件對特定任務的計算行為。

通感算一體化的核心設計理念是使得無線通信、泛在感知和智能計算三個獨立的功能在同一系統中實現且互惠互利。如圖1 所示[3]，通感算一體化網絡是指同時具備物理-數字空間感知、泛在智能通信與計算能力的網絡。該網絡內的各網元設備通過通信感知計算軟硬件資源的協同與共享，實現多維感知、協作通信、智能計算功能的深度融合和互惠增強，從而使網絡具備新型閉環信息流智能交互與處理及廣域智能協作的能力，不僅可以實現高精度定位、高分辨率成像、虛擬環境重構和輔助通信調度，而且能夠為6G 的智慧城市、智慧交通、智能家居等典型應用場景提供支持，極大地提升網絡服務質量和用戶體驗質量[1-3]。

圖1 通感算一體化網絡架構圖

1.2 擴展現實技術

擴展現實是指通過智能人機界面（計算機技術和可穿戴設備構成的可感知部分）提供真實與虛擬相結合、人類與機器相交互的空間和環境，是一系列沉浸式和交互式技術的統稱[4]。如圖2 所示，擴展現實XR 包括VR（Virtual Reality，虛擬現實）、AR（Augmented Reality，增強現實）和MR（Mixed Reality，混合現實）等可能的新型沉浸式技術。VR 具體是指通過計算機模擬三維空間，實現感官模擬立體空間的沉浸感和臨場感，將人置身于虛擬的仿真世界。AR 具體是指在真實空間中植入虛擬的內容和信息，如物體、圖片、視頻、聲音等，把虛擬對象映射到人的現實三維立體空間世界中。MR 可以看作是VR/AR 的結合體，具體是指合并現實和虛擬世界后產生的新可視化環境。

圖2 XR、VR、AR和MR關系示意圖

如圖3 所示，擴展現實技術框架主要由終端、網絡、平臺、應用四個部分組成，當前主要以終端運行為主。擴展現實關鍵技術的實現，主要通過三維高清顯示技術實現沉浸式的視覺體驗，通過精準追蹤定位技術實現擬人式的操作體驗，通過精準識別技術搭建現實與虛擬之間無縫銜接的橋梁[4]。XR 可廣泛應用于工業制造和智能電網、廣告及零售、電影和電視、教育和醫療等社會生產、文體娛樂和健康教育眾多領域，使人們不受物理時空限制，打通虛擬場景與真實場景的界限，為用戶帶來沉浸式的極致業務體驗。

圖3 基于6G的擴展現實示意圖

1.3 通感算一體化技術支撐擴展現實業務實現

因此，通感算一體化技術的高精度精細化感知、大帶寬低時延高質量通信和智能化云邊端協同計算等功能，完全可以支撐沉浸式擴展現實及全息通信實現所需的三維高清顯示、精準追蹤定位和精準識別技術，有能力提供擴展現實和全息通信等深度沉浸式交互場景，從而搭建人機物智慧互聯、智能體高效互通的橋梁，實現虛擬與現實之間的無縫銜接，助力人類社會走向虛擬與現實深度融合的全新時代。由于本文側重于考慮擴展現實中最重要的可視部分及其海量數據、高碼率、低時延的信息處理需求，因此下一節重點探討基于通感算一體化的擴展現實視頻傳輸的關鍵技術及實現方案。

2 基于通感算一體化的擴展現實視頻傳輸關鍵技術

2.1 通感算一體化波形設計

一體化波形設計是實現通感算一體化技術的基礎和核心。新型通感算一體化波形目前還處在研究初期，為同時保證通信傳輸和感知探測的有效性和可靠性，當前研究主要從通信和感知的互信息最大化進行設計，其中使用通信和感知信號的互信息加權的波形生成方法是目前較為前沿的技術[5]。如下分別考慮基于OFDM（Orthogonal Frequency Division Multiplexing，正交頻分復用）的波形設計、基于MIMO（Multiple-Input Multiple-Output，多輸入多輸出）的波形設計和基于MIMO-OFDM 的波形設計方案。

（1）基于OFDM 的一體化波形設計：主要考慮利用模糊函數將待發送的通信信號與感知探測信號進行組合，使得發射波形具有恒包絡特性，在目的接收機進行解調解碼獲取通信信息的同時，源發射機將待測目標反射的回波信號接收進行處理實現目標探測感知。

（2）基于MIMO 的一體化波形設計：主要考慮利用MIMO 陣列波形分集和波束形成，實現正交發射和相關發射等方式。對于在正交波形設計的基礎上調制插入通信信息符號的一體化實現方式，既可以采用常用的雷達探測鋼制信號，譬如線性調頻信號和相位編碼信號作為一體化共享信號，也可以采用常用的通信信號作為一體化共享信號，在正交波形設計的基礎上進一步在時域或者頻域上插入通信信息。進一步地，為克服毫米波信號較高的路徑損耗，可利用具有高自由度的mMIMO（Massive MIMO，大規模多天線）來進行波束成形實現毫米波頻段的通感算一體化波形設計。

（3）基于MIMO-OFDM 的一體化波形設計：結合了MIMO 和OFDM 二者的優點，MIMO 陣列發送不同編碼的OFDM 波形以獲取更優的自相關函數性能，可實現具有大時寬帶寬積、低互相關旁瓣與低峰均比的一體化信號。其中，一體化系統參數的選取影響著系統整體的性能，因此，基于MIMOOFDM 一體化波形的參數要同時滿足通信和感知性能要求。

2.2 聯合信源信道編碼設計

傳統信源與信道分離設計、獨立編碼的方式，難以解決沉浸式和交互式的擴展現實超高清視頻的海量數據傳輸所帶來的高時延等問題，而信源信道聯合編碼技術是解決上述問題的有效途徑[6]。信源編碼可考慮優化靈活的視頻編碼如SVC（Scalable Video Coding，可伸縮視頻編碼），可根據網絡感知的信道狀態信息等，動態優化地調整可伸縮視頻比特流中增強層的層數而保持基本層不變；信道編碼可考慮編碼效率高的信道編碼如LDPC（Low Density Parity-check Code，低密度奇偶校驗碼），其作為公認性能最優異的碼字可逼近香農容量極限；而二者的聯合信源信道編碼，實現可用的比特數在信源視頻數據和信道保護數據之間進行合理的分配，找到最適合的高碼率最小化系統失真，優化擴展現實視頻傳輸的質量，提高視頻傳輸的性能。

2.3 干擾管理和智能調度

無線通信由于傳輸信號非正交，往往導致了不可避免的用戶間干擾。同時盡管傳統的頻分多址、時分多址、空分多址、碼分多址等接入方式可實現用戶從頻率、時間、空間、碼字上正交，但由于正交化設計存在固有的非理想特性，傳輸干擾始終存在而不可避免。干擾管理的目的是消除干擾并完成接收信號解碼。干擾管理旨在抑制或消除干擾，傳統的干擾管理技術主要有：干擾噪聲化、干擾解碼和干擾正交化。這三種傳統干擾管理技術難以擴展至多用戶干擾網絡，或在多用戶干擾網絡中難以達到最優系統容量[7]。因此，需要考慮研究如MIMO 及mMIMO、IA（Interference Alignment，干擾對齊）、IN（Interference Neutralization，干擾中和）和SIC（Successive Interference Cancellation，串行干擾取消）等先進的干擾管理手段，與視頻流空時頻智能調度相結合，在減少用戶間干擾的同時，實現無線資源的合理分配，擴展通感算一體化可達速率區域的新邊界，提升擴展現實視頻傳輸性能。

2.4 邊緣計算賦能的多徑路由選擇

針對擴展現實視頻流傳輸，用戶需要更高的網絡帶寬以及更低的端到端傳輸時延。MEC（Mobile Edge Computing，移動邊緣計算）的核心是將計算和存儲能力置于網絡的邊緣，不僅考慮接近用戶提供實時服務從而滿足嚴格的低延遲需求，同時考慮業務負載均衡和服務時間及質量的任務卸載技術。而MPT（Multipath Transmission，多路徑傳輸技術）旨在同時利用終端上多種接入能力進行數據的并發傳輸，從而提高總的傳輸帶寬和數據傳輸對信道和網絡動態變化的適應能力[8]?？紤]利用通感算一體化中的網絡感知和邊緣計算賦能任務卸載和多徑路由選擇，在實現負載均衡的同時提升傳輸傳輸容量和可靠性，優化用戶終端的視頻傳輸質量，且保證網絡資源利用率和公平性。

3 基于通感算一體化的擴展現實QoE評價

3.1 擴展現實QoE評價方法

根據國際電信聯盟的建議，QoE 定義為終端視頻用戶在主觀上對當前視頻應用或服務的總體可接受程度[9]，同時它也是視頻用戶對在線實時視頻服務的主觀感知評價的測度方式。隨著網絡信息技術和視頻終端設備的發展，QoE 的評價預測不僅成為學術界研究的熱點，而且也成為視頻提供商的重要參考指標之一。因此，如何從擴展現實終端用戶的角度出發，建立一個合理完善的QoE評價模型，成為了一項具有挑戰性的任務。

QoE 作為衡量視頻通信服務能力的根本，其客觀度量手段在于視頻感知質量的評價。因此，研究視頻感知質量評價方法是需要解決的核心問題。當前評價QoE 主要有兩種方式：客觀評價和主觀評價。影響視頻感知質量的客觀因素種類各異且數量繁多，例如視頻質量和碼率、啟動延遲、卡頓次數和時間、碼率波動、緩沖時延、緩沖次數和視頻內容等可測參數，這些因素反映了視頻的清晰度、流暢度和關注度。同時，QoE 評價最好是用戶直接反饋體驗，即QoE 的主觀評價方法，但這種主觀體驗會因人而異且實用性一般。為了評價視頻傳輸體驗的主觀QoE，一方面可以選擇用戶觀看視頻并進行打分，得到主觀的QoE 分數；另一方面，也可以考慮通過機器學習或經驗法建立模型來估計評價主觀QoE?；趯W習法的QoE 主觀評價方法是根據客觀QoE 指標和主觀MOS（Mean Opinion Score，平均主觀意見分）數據，通過機器學習或深度學習建立映射模型，如圖4 所示?；诮涷灧ǖ腝oE 主觀評價方法是根據經驗確定不同QoE 客觀指標的影響權重，設計主觀QoE 模型。

圖4 基于深度學習的視頻傳輸QoE評價

3.2 基于通感算一體化的擴展現實QoE設計

傳統視頻QoE 模型大多是側重于利用不同的QoS 參數完成對QoE 的映射。而在擴展現實業務中，用戶在觀看360°全息視頻時，對于不同類型的視頻，通常會有不同的觀看體驗行為，如觀看自然風景紀錄片時，用戶常轉移自己的視角從而獲得更好的沉浸感；而在觀看人物對話為主的視頻時，用戶視角通常聚焦于對話場景。因此本文考慮上述觀看行為作為經驗依據，確定不同QoE 客觀指標的影響權重，設計一種面向擴展現實的QoE 模型。

首先，由于視頻分辨率對QoE 的影響遵循對數規律[10]，考慮基于視頻分辨率的QoE 模型如下：

其中，ri,j表示當前視頻塊的分辨率，ωi,j∈{0,1}表示視頻塊是否落在當前用戶的視角中，如果第ith個視頻塊中的ith被用戶的視角覆蓋，wi,j=1，否則wi,j=0。

其次，用戶QoE 的另一個度量指標是質量變化率，可通過當前分辨率和前一時刻分辨率的差值得到。通過質量變化率取絕對值保持其值恒為正值[11]，因此考慮基于平均質量變化率的QoE 模型如下。

其中，ω i,jωi?1,j表示只有當圖像塊落在視場中時，用戶才會感知到圖像塊的質量變化。

再次，為了近似地估計用戶對失速的影響，可參考文獻[12]中的失速率參數，因此可得失速杠桿的簡化QoE 模型如下：

其中，SR為失速率。

最后，根據整體畫面質量、視角內畫面質量和失速率三個指標進行綜合考慮，通過不同的影響權重進行加權組合，設計得到基于視頻類型區分的QoE 評價模型如下：

其中，α，β，γ是分別代表這三個不同度量的重要性的權重因子。

針對不同類型的視頻設定不同的閾值參數θ，同時將每一幀畫面中需要接收的數據包的重要性參數值相加[13]，二者進行比較。當接收數據包的重要性之和大于等于閾值θ時，判斷使用者的視角可能移動，因此適當降低失速率的權重，優先保持整體畫面的質量。假如用戶觀看自然風景紀錄片時，極有可能“環顧四周”，此時適當降低失速率的權值，提高畫面質量的權值，雖然會有延遲中斷的影響，但是整體畫面的提升能給用戶帶來更好的沉浸式體驗。當接收數據包的重要性之和小于閾值θ時，判斷使用者的視角可能不會移動，適當降低畫面質量的權重，保證視頻能夠持續播放。假如用戶在觀看話劇表演時，可以給予失速率較大的權值，降低整體畫面質量的權值，在滿足視角內畫面質量的情況下，優先保證視頻不會中斷播放，保證用戶的使用體驗。綜上所述，可根據視頻的不同類型，動態調整各項指標參數的權重，最終達到優化QoE 模型的目的。

4 結束語

本文首先介紹了通信感知計算一體化技術和擴展現實技術以及通信感知計算一體化支撐的擴展現實技術業務，隨后探討了基于通信感知計算一體化的擴展現實視頻傳輸實現的關鍵技術，最后分析并提出了一種新的擴展現實用戶體驗質量模型。