基于分布式聯邦學習的毫米波通信系統波束配置方法

薛 青 來 東 徐勇軍 閆 莉

①(重慶郵電大學通信與信息工程學院 重慶 400065)

②(澳門大學智慧城市物聯網國家重點實驗室 澳門 999078)

③(西南交通大學信息科學與技術學院 成都 610031)

1 引言

近年來毫米波通信作為提升5G網絡性能的關鍵技術之一被廣泛關注，同時也面臨著諸多挑戰。挑戰1，毫米波傳輸容易受到外界環境的干擾，存在較高的路徑損耗，導致其網絡覆蓋范圍有限。解決此問題的一種可行的方案是超密集組網技術。通過密集部署大量的毫米波基站(millimeter wave Base Station, mBS)提升網絡覆蓋范圍，并利用波束成型技術產生定向波束解決毫米波傳播距離有限的問題。挑戰2，毫米波通信鏈路在通過固體障礙物時會遭受嚴重的穿透衰減或信道阻塞，極大地影響了毫米波通信的魯棒性。目前的研究中，解決此類問題的主要方法有多連接技術、智能反射面輔助[1]的毫米波通信等。本文利用多連接技術維護來自不同mBS的多個可能的信號路徑，以免造成因某條通信鏈路中斷而導致的用戶服務質量大幅受損。超密集組網和多連接技術的同時使用會使得波束管理問題[2-4]相較傳統網絡更加復雜。

傳統的波束管理方法存在很多問題，包括復雜度高、訓練開銷大、訪問延遲等，很難滿足智能化時代的發展。已有研究表明，機器學習技術(Machine Learning, ML)是毫米波通信系統中實現波束管理智能化的有效工具[5]，特別是在動態環境中。針對超密集組網的毫米波通信系統，文獻[6]提出了一種基于深度Q網絡(Deep Q-Network, DQN)的用戶關聯方案，為移動用戶提供可靠的連接和高可實現的數據速率?，F有的ML算法雖然可以解決部分波束管理存在的問題[7]，但也暴露了一些潛在的風險，特別是在用戶數據的隱私保護方面。傳統集中式ML通常需要由一個中心控制節點進行數據的收集和處理，數據流動性較大，用戶安全隱私得不到保障。全分布式ML雖然能夠保證用戶的隱私安全，但其節點之間沒有信息共享，存在數據孤島問題。作為一種新的機器學習范式，聯邦學習[8](Federated Learning, FL)可以很好地解決這些問題。文獻[9]提出了一種基于FL架構的大規模波束管理模型，在一定程度上克服了集中式與全分布式ML的不足。但是，傳統FL的中心控制節點是單一的，存在單點故障的隱患，而且各個節點可能無法同時信任一個中心控制節點。為此，文獻[10,11]提出一種分布式聯邦學習 (Distributed FL, DFL)下的波束管理模型，將雙DQN算法(Double DQN,DDQN)應用于超密集組網[12]下的波束配置，以實現基站側波束的自適應管理。

本文的主要貢獻如下：(1)與傳統的基于波束訓練和波束跟蹤的波束管理方法不同，本文提出一種基于周期性感知用戶分布完成mBS側波束動態配置方法，旨在利用有限的波束實現最大化用戶覆蓋率，提升波束利用效率。(2)在前期工作基礎上，提出了一種基于DFL的波束配置方法(Beam management Method based on DFL, BMDFL)，目的是實現用戶隱私安全保護，同時關注全局性能提升。相較于傳統的聯邦學習架構，BMDFL可降低固定中心控制節點的開銷，并提升網絡部署的靈活性。(3)將系統吞吐量的長期優化問題建模為馬爾可夫決策過程(Markov Decision Processes,MDP)，并利用DDQN進行本地模型訓練，實現智能化的波束配置。(4)仿真結果表明，本算法在網絡吞吐量和用戶覆蓋率方面有較好的性能。同時，與全分布式ML和集中式ML算法對比，驗證了本文算法的有效性。

2 系統模型

如圖1所示，本文系統模型主要由3部分組成，分別是臨時中心控制節點、mBS和用戶，此處的臨時中心控制節點是指承擔全局模型聚合任務的mBS。假設M個mBS密集部署在某一集群(小區)覆蓋范圍內，用集合M={1,2,...,M}表示，而用戶隨機分布在這M個mBS周圍，并用U={1,2,...,U}表示用戶集合。在此網絡框架中，利用地理位置的不同將mBS分為若干個集群，集群內部的mBS之間通過X2接口相連接。同一集群內的多個mBS通過DFL的方式進行模型共享，而多個集群之間也可通過類似的方法實現模型的共享。

圖1 系統模型

假設mBS的發射波束是通過波束成形技術形成的多個空間正交的窄波束，且每個波束的覆蓋范圍有限，要想實現基站區域全覆蓋，就必須有足夠多的發射波束支持。然而，實際的無線通信系統中，mBS能同時支持的并行波束數量有限，可能無法達到預期的效果。因此，如何利用有限的波束資源實現基站覆蓋范圍最大化是本文關注的重點。假設mBS m(m ∈M)的覆蓋區域可以劃分成sm個可用的扇區，不同的扇區表示不同的波束發射方向，而且每個mBS最多支持bm個波束并行傳輸，其中0≤bm ≤sm。為了防止因某一條鏈路發生中斷而導致的用戶服務質量受損，引入多連接技術來確保用戶可以同時關聯多個mBS，增強通信的魯棒性。本文用一個二進制的關聯參數={0,1}表示用戶u(u ∈U)和mBS m(m ∈M)之間的關聯關系，其中=1表示在t時刻用戶u與mBS m相關聯，=0表示未關聯。當用戶與多個mBS相關聯時，用Mc(Mc ?M)表示t時刻該用戶關聯的mBS集合，用戶u 關聯基站數目為≤M。與傳統的波束管理不同，本文旨在通過基站側的波束配置來最大化系統級性能，而非單個鏈路的質量。假設每個波束管配置周期內的波束是靜態的，其周期長度一般與用戶移動性和波束扇區的范圍有關。

其中，du,m為用戶u到mBS m的距離，單位為m，α和β分別表示測量距離上的浮動截距和斜率的最小二乘擬合，σ2為對數正態陰影方差。

用戶與mBS m相關聯時的信干噪比(Signal to Interference plus Noise Ratio, SINR)可以表示為

其中，Pu,m表示mBS m分配給用戶u的發射功率，和分別表示發射天線增益和接收天線增益，Pnoise為噪聲功率?；诙噙B接技術，用戶u可以同時關聯多個mBS，則用戶u在t時刻的接收和速率為其中Wu,m表示mBS m分配給用戶u的帶寬。因此，t時刻系統的網絡吞吐量可表示

3 問題描述與算法設計

3.1 優化問題描述

為了實現波束資源的充分利用，本文提出一種基于周期性獲取瞬時用戶分布的波束配置策略。將t時刻波束配置策略表示為t時刻所有mBS覆蓋的扇區集合，即系統的波束管理策略C(t) ={C1(t),C2(t),...,CM(t)}，其中Cm(t)表示t時刻mBS m覆蓋的扇區集合，1≤m ≤M。本文通過執行C(t)完成基站測的波束配置，進而提升基站的用戶覆蓋率，實現長期優化系統的網絡吞吐量，即

其中，T表示整個通信的過程，即mBS完成所有波束配置的時間，τ表示mBS進行1次波束配置的周期，ω表示用戶可以正常接收和解碼信息的SINR閾值。在優化問題P1中，C1用于約束mBS的發射波束數量，C2用于保證通信鏈路質量，C3和C4用于約束用戶可關聯mBS的上限。由于C(t)為一個離散的時間變量集合，P1在本質上屬于一個非凸的動態規劃問題，難以使用傳統的方法進行求解，引入DDQN是現階段處理此類問題的有效方法之一。同時，考慮到用戶隱私保護問題，本文基于DFL框架進行波束配置模型訓練。

3.2 馬爾可夫決策過程

P1可以轉化為一個離散時間隨機系統在不確定的情況下進行的順序決策問題進行求解，即馬爾可夫決策過程 MDP={S,A,P,R,γ}，其中，S和A分別表示狀態空間和動作空間，P表示從當前狀態St轉變到下一狀態St+1的狀態轉移概率，R表示獎勵函數，γ表示折合因子，γ ∈[0,1]。各部分具體定義如下：⑴狀態：mBS m在t時刻的系統狀態表示為St={Um(t),Cm(t),Dk(t)}，其中Um(t)為該mBS在t時刻服務的用戶集合，Dk(t)={Ck(t)}k=1,2,...,M,k?=m為t 時刻除了m B S m 覆蓋的扇區Cm(t)外所有mBS的覆蓋扇區集合。⑵動作：At表示時間t內該mBS m的動作，At={Cm(t)}，表示t時刻mBS m服務于用戶集合Um(t)的波束扇區集合Cm(t)，即t時刻最佳的波束配置策略。⑶轉移概率：將mBS m的網絡狀態從St轉到St+1的概率定義為本問題的轉移概率，Pm=Pr(St+1|St)。⑷獎勵函數：為了最大化系統的吞吐量，將P1中的優化目標作為此次的獎勵，即Rt=R(t)。

正如Zelt等（2003）提倡的，合理地進行初至波層析成像可以提供最小結構的速度模型。因此，初至波層析成像的結果對檢驗更復雜方法的結果是至關重要的。初至波層析成像中呈現的結構，也應該在用其他方法得出的模型中呈現，包括利用續至波的方法。

3.3 基于分布式聯邦的毫米波通信系統波束配置方法

傳統的強化學習算法解決上述MDP問題時，會產生大量的狀態空間和動作空間，導致算法的時間開銷過大，而且特定mBS產生的狀態變化還會影響其他mBS的狀態和動作，導致無法直接獲得狀態轉移概率。為此，引入DDQN算法，利用神經網絡來估計價值函數，以學習器的部分收斂速率作為代價，提高學習的精度。同時，利用DFL框架，分布式地訓練mBS的本地模型，充分利用每個mBS的計算資源，以此提升學習效率。

本文所提BMDFL是一種基于DFL框架開發的毫米波通信系統波束配置算法。在BMDFL中，每個mBS內都包含一套完整的訓練程序，即可實現局部(本地)模型訓練和全局模型聚合兩種功能?；炯簝炔康膍BS可以通過共享模型參數來參與全局模型的訓練，集群之間也可以通過相同的方式進行模型共享。DFL框架的使用能夠消除單點故障的隱患，最大化利用mBS的計算資源。如圖2所示，BMDFL算法的執行過程大致分為3步：模型初始化，局部模型訓練和全局模型聚合。

圖2 基于DDQN的BMDFL框架

(1) 模型初始化：通信開始時，每個mBS從臨時中心控制節點處下載全局模型，以進行模型初始化。此處的臨時中心控制節點是指承擔全局模型聚合任務的mBS。假設每個mBS的通信都由τ個時隙組成，在此基礎上建立Q-learning模型，?t,m表示t時刻第m個基站需要更新的局部模型，G表示上輪通信完成后系統輸出的全局模型。對于?t,m的更新可表示為

其中，ρ為學習率，L(?t,m)表示第m個mBS的損失函數，?表示梯度運算，nm表示第m個mBS的訓練量，初始化模型是全局模型和局部模型進行聯邦平均之后的結果。每個mBS根據初始化的參數進行基站側的波束配置，以完成與用戶的通信。在此過程中，mBS會收集用戶的信息，以完成局部模型訓練。

(2) 局部模型訓練：模型訓練開始之前，mBS通常會對收集到的用戶信息進行一次篩選，選擇更為合適的用戶參加訓練。為了保證通信的質量，可選擇處于該mBS覆蓋半徑Φm以內的用戶作為本次交互的對象，即du,m ≤Φm。同時統計各用戶參與模型訓練的頻率ku,m/kU,m，其中ku,m表示用戶u參與訓練的次數，kU,m表示mBS m的總訓練次數。下次訓練時優先選擇那些參與訓練頻率低于κ的用戶，以保證訓練樣本的多樣性。

mBS篩選完用戶樣本之后，開始根據其覆蓋范圍內的用戶位置信息進行波束配置模型的訓練。本文使用DDQN算法來訓練每個mBS的局部模型，它與DQN算法的框架基本一致，不同的是目標函數的選擇

其中，Rt+1為t+1時刻的獎勵函數，Q是該時刻得到的狀態-動作值如式(6)所示，?t,m為訓練Q網絡的權重參數，為目標Q網絡的權重參數

模型訓練結束后，根據DDQN算法的特性，將訓練的模型利用類似于梯度下降的方法進行整合，從而得到訓練之后的模型

其中，λ為步長。定義算法的損失為兩個Q網絡之間的誤差函數

完成局部模型訓練的mBS會將自己所訓練的模型參數上傳至臨時中心控制節點進行模型的聚合。關于臨時中心控制節點的選擇，本文考慮如下方法：通過基站的執行時間來進行臨時中心控制節點的選擇，即Tm= min(T1,T2,...,TM)，其中Tm指mBS m完成本地訓練任務所需要的時間(執行時間)，選擇mBS集群中執行時間最少的mBS m作為承擔全局模型聚合任務的臨時中心控制節點。臨時中心控制節點選擇完成后，集群內的其他基站發送本地模型參數到mBS m，以參與全局模型的更新。這種方法可以最大化mBS的計算資源分配，減少不必要的浪費。

(3) 全局模型聚合：承擔臨時中心控制節點任務的mBS將所接收到的M個模型進行聯邦平均，重新訓練出一個更符合此小區的基站側波束配置模型，并將此模型作為下一輪通信的初始化模型分發給參與協作的mBS，以此來最大化系統吞吐量。模型聚合將通過式(9)的方式進行

其中，?t,m表示第m個mBS上傳的模型參數，n表示集群內所有參與訓練的mBS的總訓練量。本文使用聯邦平均算法進行全局模型的聚合，所傳輸的參數也只是更新特定模型所需要的最少信息量，并沒有原始數據的參與，在一定程度上可以更好地保護用戶的隱私。

本文所提BMDFL實現過程如算法1所示。本地mBS完成初始化操作后，開始根據有效的用戶樣本對深度神經網絡進行訓練，訓練得到的Q值用于指導DDQN框架中的行動決策(即判定波束覆蓋哪些扇區)。每輪局部訓練結束后，mBS將訓練好的神經網絡權重參數發送給臨時中心控制節點以參與全局模型的更新，并將更新之后的全局模型作為新的初始化模型分發給參與協作的mBS。記J為通信輪次，本算法的時間復雜度為OBMDFL=O((|U|·|M| +τ)·J)。BMDFL的局部訓練過程可以近似為全分布式的ML過程，每個mBS通過本地數據訓練波束模型，避免了用戶數據的流通，從根本上解決了用戶隱私安全問題。相較于傳統FL, BMDFL采用DFL框架，利用臨時中心控制節點進行全局模型聚合，節省了中心控制基站的開銷，提升毫米波組網的靈活性。

算法1 基于分布式聯邦的毫米波通信系統波束配置算法

4 仿真實驗

4.1 實驗環境及參數設置

假設M個mBS均勻分布于100 m×100 m的正方形區域中，并用一組隨機生成的坐標值來模擬用戶位置的變化，M的具體設置詳見后續的性能仿真實驗。在仿真實驗中，假設mBS的帶寬和發射功率平均分配給所服務的用戶，其具體的參數設置如下：工作頻率為28 GHz，可用帶寬為2 GHz，發射功率為37 dBm, mBS的發射天線增益和用戶的接收天線增益分別為12 dB和10 dB，路損模型PL(du,m)的參數分別設置為α=61.3,β=2.1和ξ～N(0,4)?？紤]到本文提出的波束管理策略與波束扇區的關系，將每個mBS的覆蓋范圍統一劃分為8個扇區，即每個扇區負責45°的覆蓋區域。假設每個mBS最多支持3個波束并行傳輸，且每個用戶最多可關聯3個mBS。此外，本文利用Pytorch中的Sequential模塊搭建了一個4層全連接的神經網絡作為mBS的學習器參與本地訓練，其具體設置見表1。

表1 神經網絡結構設置

4.2 仿真結果及分析

4.2.1 算法收斂性

為了驗證本文算法的有效性，進行了BMDFL的收斂性測試。如圖3所示，將訓練過程中DDQN算法的平均損失作為測量BMDFL性能的指標，以探究算法的收斂性能。其中Lavg(?)表示系統的平均損失，LDDQN(?)表示1次迭代中DDQN算法的損失，iters表示迭代次數。從圖3可以看出算法的平均損失函數值在開始階段呈急劇下降的趨勢，而在達到一定迭代次數之后趨于平穩。其主要原因是BMDFL采用隨機梯度下降的方式進行局部模型更新，而DDQN算法的平均損失主要與兩個Q網絡之間的預測差值有關。由于隨機梯度下降的特性，開始的曲線下降趨勢較為劇烈，隨著迭代次數的增加，兩個Q網絡之間的預測差值逐步減小，曲線逐步趨于平穩。本仿真其余的參數設置如下：目標網絡更新步長為4，經驗回訪池容量為400，批處理大小為36，折扣因子為0.8。后續性能仿真中，神經網絡參數設置與本仿真相同，且選擇學習率為0.05的神經網絡作為最終的學習器參與訓練。本文設置的超參數可能不是最優的，但它們可以使BMDFL算法獲得較好的收斂性能。

圖3 BMDFL算法收斂性

4.2.2 算法性能

以下實驗圍繞毫米波系統的網絡吞吐量和用戶覆蓋率進行所提算法的性能評估。

網絡吞吐量：圖4(a)所示為用戶密度對系統吞吐量的影響，并以其為例進行臨時中心控制節點選擇的說明。實際的仿真實驗中，將集群內的基站進行編號，即M={1,2,3,4,5,6}，并利用代碼的運行時間來模擬3.3節中基站的執行時間，以進行臨時中心控制節點的選擇。圖4(a)中隨著用戶密度的增加，其承擔臨時中心控制節點任務的mBS編號分別是2,2,1,2,2,6,5,6,6,2(即代碼運行時間最短的基站)。定義用戶密度Du為用戶個數U與實驗區域面積area之間的比值，即Du=U/area。仿真結果表明，系統的網絡吞吐量隨著用戶密度的增加而增加，但是當用戶密度增加到一定程度時，曲線開始趨于平穩。如圖4(b)所示，考慮了SINR閾值對系統的網絡吞吐量的影響。結果表明，SINR閾值過大或者過小都有可能影響系統的網絡吞吐量。

圖4 BMDFL性能隨用戶密度和SINR閾值的變化

圖5所示為BMDFL在不同mBS密度下系統的網絡吞吐量性能，此處數據為多次運行仿真之后的平均結果。m B S 密度的定義同用戶密度，即Dm=M/area，其中M表示基站的個數。如正常預期的那樣，不同基站密度下系統的網絡吞吐量均隨著用戶密度的增加而增加，但是當用戶密度增加到一定程度上時，系統的網絡吞吐量開始趨于平穩。這可能是因為超密集組網下mBS所設置的最大連接數、可用帶寬、發射功率等資源有限，從而導致用戶密度過大時，系統的網絡吞吐量存在瓶頸。用戶密度固定時，隨著基站密度的增加，可用的波束資源越來越充足，系統的網絡吞吐量也就越大。

圖5 BMDFL在不同基站密度下的網絡吞吐量性能

為了進一步證明BMDFL算法的性能，將其與以下兩種波束管理方案進行比較：⑴基于全分布式ML的波束配置方法(Fully Distributed Beam management Method, FDBM)：mBS執行DDQN算法訓練本地模型，并獨立地進行波束配置。⑵基于集中式ML的波束配置方法(Centralized Beam management Method, CBM)：中心控制節點執行DDQN算法進行全局模型訓練，mBS只參與用戶數據的收集與上傳。

圖6和圖7評估了BMDFL與兩種對比算法的網絡吞吐量性能和用戶覆蓋性能與用戶密度的關系。mBS個數M=6，信干噪比閾值ω=-20 dB，其余參數與算法收斂性驗證中設置相同。圖6所示結果表明，對于相對較低的用戶密度，3種方案的網絡吞吐量基本一致。但對于用戶密度較高的情況，FDBM展現的性能最優，BMDFL次之，CBM的性能最差。如圖7所示，用戶覆蓋率的性能與網絡吞吐量類似。隨著用戶密度的增加，CBM的用戶覆蓋最少，而BMDFL與FDBM的性能接近。本算法對比FDBM的優勢是通過多智能體的協作來提高模型訓練的準確性和學習的收斂速度，由于仿真使用的用戶數據集較小，本算法的優勢還不明顯。對于CBM的結果，可能的原因是算法收斂到次優解，導致結果普遍偏低。ML算法的特點就決定了它無法保證每次的結果都是最優解，這是一個迭代的過程。

圖6 BMDFL,FDBM和CBM網絡吞吐量性能對比

圖7 BMDFL,FDBM和CBM用戶覆蓋率性能對比

5 結論

針對超密集組網中毫米波基站側的波束配置問題，本文提出一種基于DFL的自適應波束配置方法BMDFL，旨在利用有限的波束資源實現最大化波束覆蓋率，提升波束利用效率。相較傳統集中式和全分布式機器學習架構，所提BMDFL算法在提升網絡吞吐量和用戶覆蓋率方面有著較大的優勢，并在同等條件下確定了最優的基站波束配置。