基于多時隙業務聯合整形的低能耗資源調度方法

李建東/LI Jiandong，牛淳隆/NIU Chunlong，趙晨曦/ZHAO Chenxi，劉俊宇/LIU Junyu

（西安電子科技大學，中國 西安 710071）

隨著5G移動通信的全面商用，未來的6G移動通信系統的網絡性能[1]將在原有的業務場景下進一步提升。6G移動通信將組成一個巨大的分布式神經網絡，實現通信、感知、計算、存儲一體化[2]，深度融合物理世界、生物世界和數字世界，真正實現“萬物互聯”。同時，隨著人工智能（AI）技術的進一步發展，6G通信網絡將會更加智能化[3]?；跀祿寗拥乃惴ㄙx能網絡動態的自我學習能力和調節能力，充分挖掘用戶的潛在需求并制定個性化的服務。此外，超密集異構網絡（UDN）[4]在未來6G移動通信系統的發展中依然占據主導地位，6G基站的密度進一步提高，用戶的業務數據請求維度進一步增大，數據服務的個性化要求進一步提升。上述的發展需求對未來的移動通信網絡提出了更高的要求，如更加密集的基站數目、更多的天線陣列和更多維度的資源管控問題[5]。

截至2022年底，全國移動通信基站總數達1 083萬個?；驹蕉?，對應的頻譜資源管控問題越復雜，同時如果資源管控方案不合理，則會產生巨大的能量損耗。根據估算，三大運營商一年需要支付的電費已超500億元。針對未來超密集基站和超高用戶數據等現象導致的能耗過高問題，未來6G無線移動通信的宏觀驅動力之一便是實現環境可持續發展。2020年9月，中國宣布力爭二氧化碳排放于2030年前達到峰值，2060年努力實現碳中和[6]?！半p碳”戰略對6G移動通信系統的網絡性能提出了更高的要求。為保障用戶服務質量，實現能量的極致利用，平衡能源的供需關系，降低異質網絡架構的系統碳排放，我們需要研究智能化的組網傳輸方法。

1 基站能耗分析

基站是移動通信系統最重要的組成部分之一，它實現了大規模的無線覆蓋，保障了移動用戶的業務需求被及時滿足。一個完整的基站包含的設備數量較多，根據耗電量調查，傳輸設備、基站主設備、動力配套設備、環境溫度控制設備、監控設備、照明設備等的耗電量都相對較高，其中基站主設備、環境溫度控制設備的電能消耗量大。功率放大器是射頻通信系統中極為重要的器件，射頻放大器將輸入到輸入端的信號進行放大并輸出。作為通信電路中的主要設備，基站的功率放大器所消耗的功率無疑是低能耗組網的重點研究內容[7]。當前5G基站的主要組成部分有：集中單元（CU）、分布單元（DU）和有源天線單元（AAU），其中各個組成部分和對應的功耗來源占比分析如圖1所示。

圖1 基站能耗占比

基站的AAU是主要的功耗占比模塊，而功率放大器是AAU的主要能量消耗模塊。此外，當基站工作在中高負載區域時，功率放大器的能量損耗是占比最大的，接近60%。因此，著重研究功率放大器在中高負載區域工作時的性能特點并設計相應的算法，對降低基站功耗有著重要的意義。

1.1 傳輸能耗的非線性特征

建模通信網絡場景時，計算每個用戶和基站之間的信道容量可以采用香農公式[8]：

由S=G·Pout可得C(Pout)=W·log2(1+G·Pout/(I+N))，易證明香農公式是凹函數。根據凹函數性質可得：n·C(Pout)≥C(n·Pout)，其中當Pout=0或者n=1時，等號成立。所以在實際傳輸時，我們假設信道特征不變，在用戶的時延要求內，將當前給定的總功率拆分為多個小功率進行多時隙發送，那么系統總容量將會增大。也就是說，傳輸相同的數據量，相比于單時隙大功率傳輸，多時隙小功率傳輸將給系統帶來更低的能耗。不僅如此，每個時隙分配的功率資源越少（總能耗不變的情況下），系統傳輸的容量越大，可節約的能量越多。

我們用軟件仿真兩個時隙的傳輸過程，具體如圖2所示。橫軸表示基站的發射功率，縱軸表示單位傳輸數據量，假設t1、t2、t3時隙長度均為1 s，若在t1、t2時隙分別消耗了1 J能量，總共消耗2 J能量，那么傳輸數據量為2個單位；若僅在t3時刻單次消耗2 J能量，此時傳輸的數據量減少到1.585個單位。所以在同等能量消耗的條件下，兩個時隙的小功率傳輸方案可以使得可服務數據量提升26%，故可以通過感知和預測多個時隙的信道信息和業務到達情況進行業務整形，進而實現資源整形，將一定的功率分成多份后分配在各個時隙上進行數據傳輸，從而大大增加系統容量，提高網絡能量效率。

圖2 軟件仿真時隙傳輸過程中對數函數的性質

1.2 功放能耗的非線性特征

在通信資源分配問題中，基站給每個用戶分配不同的資源塊，根據用戶的需求，將攜帶用戶數據的小信號通過基站的功率放大器進行一定比例的放大處理，并最終通過天線端發送給用戶。目前，移動通信系統資源調度的大量研究工作主要考慮的是基站的輸出功率如何分配，并沒有發現實際傳輸時一段時間內功放能耗的非線性特征。理想的功率放大器的輸入功率與輸出功率是一種考慮截斷效應的映射關系，在飽和輸出功率內，輸出功率與輸入功率是線性的關系。而實際的功率放大器的總輸入功率與輸出功率的映射是非線性的關系，功放在較大負載時會出現非線性的特點。

根據調研所繪制的測試數據如圖3所示，基站工作在低負載區域時，功率放大器的輸入功率和輸出功率呈現近似線性的關系。在數據密度較大的業務場景中，因為基站工作在中高負載區域時，非線性特點非常突出，輸出功率的增加趨勢變緩，所以在單位時間內功放的輸出能耗不會隨輸入能耗一直線性增長，在高數據密度業務場景下功放的輸出能耗增長緩慢并最終趨于飽和。傳統的資源調度方法只考慮優化輸出功率，因此，結合系統傳輸能耗的非線性特征，我們提出了多時隙業務聯合整形的思想，通過對業務請求的聯合整形，讓基站工作在低負載區域，從而降低系統能耗。

圖3 功放輸入輸出功率關系

1.3 業務抖動與功放能耗的關系

根據調研及實測數據，我們了繪制如圖4所示的曲線。我們發現，如果基站的輸出功率在一段時間內波動較大，則會產生額外的能量損耗，尤其當基站工作在中高業務負載區域時，由于業務抖動所引起的額外能耗會超過100%。額外能耗的產生是由于用戶的業務請求在一段時間內突然增大導致，這使得基站工作在中高負載的非線性區域。因此，后續我們設計的重點是如何降低用戶的業務請求的突發性，從而獲得平穩的業務處理流，最終實現基站遠離非線性工作區域、減少無線網絡的額外能耗的目標。

圖4 業務抖動對功放能耗的影響

2 通信網絡建模

2.1 低能耗資源調度模型

通信網絡簡化示意如圖5所示。我們將通信網絡建模為圖模型[9]G(V,E)，每個基站、用戶對應節點V，基站和用戶之間的連接關系為邊E。引入時隙的概念，對于每一個時隙t，時隙長度設為Td，單位為s，觀察時間窗口長度為T，單位為s?；镜墓濣c特征變量包括：發送功率Pon(t)、輸入功率Pin(t)、輸出功率方差Pvn(t)；用戶的節點特征變量包括：傳輸速率Cm(t)、當前時隙用戶剩余需要傳輸的數據Drm(t)、當前時隙用戶的總數據業務完成比例CRn(t)；基站與用戶之間的信道增益和接入矩陣分別為GNM(t)和XNM(t)。N表示基站集合，N=(1,2,…,N)，N表示基站的總數；M代表用戶集合，M=(1,2,…,M)，M表示基站的總數。

圖5 通信網絡示意圖

基站與用戶進行通信時，會進行相應的匹配，并發射無線電信號。這些信號經過一定的路徑損耗到達用戶[10]。由香農公式，我們可以得到每個用戶m在時隙t的服務速率，具體如公式（2）：

信噪比（SINR）是指信號干擾噪聲比，即有用信號比其他信號的干擾加噪聲。那么，SINR在正交多址接入（OMA）系統下的計算公式為：

根據上述基礎公式，我們建立了低能耗資源調度優化模型：

為實現優化目標，我們將業務完成率CRm(t)進行最大化，基站輸入能量Pin(t)和輸出功率波動Pvn(t)進行最小化。約束條件為：每一時隙每個用戶最多連接一個基站；每個基站最多可接入用戶數不超過其最大子載波數；每個基站分配給所有其接入用戶的功率不超過該基站的最大功率閾值；每個用戶的服務質量范圍規定在0～1之間。

2.2 模型求解算法設計

隨著人工智能（AI）技術的發展，深度學習[11]和強化學習[12]被逐漸應用于資源調度領域。根據上述建立的系統模型，我們設計了多時隙業務聯合整形的深度強化學習（MSRS-HDDPG）算法，并在核心架構中采用了深度確定性策略梯度（DDPG）算法[13]。

具體的強化學習三元組設計如下：

1）狀態空間st：具體包括用戶業務量Dm(t)、用戶未完成傳輸的數據量Drm(t)、每個用戶的數據完成率Crm(t)、信道信息Gnm(t)、基站輸入功率Pin(t)、基站輸出功率方差Pvn(t)。

2）動作空間at：具體包括用戶和基站的連接關系Xnm(t)、基站的發射功率Pon(t)。

3）獎勵函數rt：

具體的網絡架構設計如下：

1）動作網絡輸入狀態信息st，輸出需要優化的動作at。

2）評價網絡輸入(st,at)，輸出當前狀態下選擇該動作的價值Qt。

3）目標動作網絡輸入st+1，輸出at+1，即下一時刻的動作估計；目標評價網絡輸入(st+1,at+1)，輸出下一時刻的動作價值Qt+1。

多時隙業務聯合整形的模塊具體設計如下：

1）假設時隙為t，用戶m的數據業務請求量為Dm(t)；

2）根據歷史數據估計每個基站n的負載情況；

3）若基站工作在非線性區域，那么將功率的最大值約束設為線性區域的最大發射功率，并計算用戶在時隙t的未完成業務量Drm(t)，D′m(t+1)=Drm(t)+Dm(t+1)；

4）若基站工作在線性區域，則根據強化學習算法直接完成當前時隙的全部業務請求；

5）重復上述步驟3）、4）至時隙T。

算法的具體執行流程如算法1。

算法1 多時隙業務聯合整形的深度強化學習算法初始化評價網絡、動作網絡和對應目標網絡的參數初始化緩存空間，存放探索的狀態轉移向量作為神經網絡訓練樣本for episode=1，2，…，EPISODES do初始化探索狀態s0感知和預測一段時間內信道信息for t=1，2，…，T do根據多時隙的請求和信道估計進行業務聯合整形隨機輸出探索動作at并將輸出功率映射到輸入功率根據整形后的業務需求設計當前時隙的獎勵函數rt執行后觀測當前時隙的獎勵和下一時刻的狀態st+1將狀態轉移（st，at，rt，st+1）存入緩存空間

3 仿真結果與分析

本文中，我們設計在面積為1 km2的區域內隨機生成250個用戶的坐標，同時固定生成了25個基站，用戶和基站的分布如圖6。

圖6 基站與用戶的隨機分布圖

具體仿真參數如表1所示。

▼表1 仿真參數

此外，在仿真時，針對基站功放輸入功率和輸出功率的映射關系，本文中我們選取了具有凹函數性質的映射函數?？梢宰C明，系統總的優化目標是輸入功率的凹函數，一段時間內的功放能耗存在非線性特性。

用戶服務質量和基站能量效率隨用戶帶寬的變化趨勢如圖7所示，通過仿真不同帶寬下的各種算法性能可知，我們提出的算法的實際能量效率遠高于另外兩種算法（分別高出25.6%和40%）。實際能量效率的定義為：基站的服務完成率和基站消耗的總輸入能量的比值，這充分反映了用戶的服務質量和基站能耗的平衡關系。

圖7 用戶服務質量和基站能量效率隨用戶帶寬的變化趨勢

用戶服務質量和基站能量效率隨業務量的變化趨勢如圖8所示，通過仿真不同數據訪問量下各種算法的性能可得：在較大數據量的訪問情況下，本文所設計的算法的業務完成率僅損失約1%，但時實際能量效率分別高出32.9%和45.7%。

圖8 用戶服務質量和基站能量效率隨業務量的變化趨勢

4 結束語

有限的通信資源和日益增長的個性化用戶數據業務導致未來6G移動系統的通信資源管控問題越來越突出。針對這種供需匹配問題，同時為了響應國家提出的“雙碳”戰略，本文中我們提出了多時隙業務聯合整形的深度強化學習算法。該算法充分考慮了系統的傳輸能耗和功放能耗的非線性特征，從時間尺度上進行了長期優化策略的訓練，從而對優化目標做出了更加準確的調整。該算法旨在基本相同的服務質量條件下，降低系統的總能耗。對比最大化用戶服務質量MAX_CR和最大化傳輸速率MAX_C兩種算法的性能，我們提出的算法在服務質量上約損失6%，但節約了近33%的基站總輸入能量。本文定義的實際能量效率指標分別比對比算法高出28.57%和38.46%；增大帶寬和用戶的數據量時，本文所提算法的實際能量效率ηAEE均有所提高，實現了低能耗資源管控的目標。

未來，在應對6G超大數據密度業務場景，如虛擬現實（VR）等多維數據業務場景時，本文所設計的算法的優勢會更加明顯：可以在保障一定服務質量下充分節約基站的功放能耗，從而極大地改善整個網絡的性能。當網絡規模逐漸擴大時，算法的收斂速度問題亟待解決。因為時間成本過高會導致資源調度效果較差，而且不同的場景規模重新訓練的成本較高，所以未來需要集中研究超大動態規模網絡的算法設計問題，實現不同場景規模下的算法快速移植和快速收斂，最終實現網絡對當前場景特征的快速挖掘和學習。