面向星地協同網絡的聯邦邊緣學習方法研究*

張雅童，張保慶，孟維曉，陳舒怡

（1.哈爾濱工業大學電子與信息工程學院，黑龍江 哈爾濱 150001；2.北京電子工程總體研究所，北京 100854）

0 引言

傳統的地面蜂窩網絡雖然近年來發展迅速，但仍進入瓶頸期。地球上的陸地面積大約占全球總面積的29%，海洋的面積則占71%。但地面蜂窩網絡也無法將陸地面積全部覆蓋，僅覆蓋全球陸地面積大約20%的范圍。對于海洋的覆蓋率則更低，僅約5%。沒有地面網絡覆蓋的區域主要是冰川、沙漠、森林等人員稀少的地區?？紤]到這些未覆蓋網絡的地區面積占比很大且這些區域大多人員稀少，在這些區域建設基站性價比較低。此外，建設在地面的基站當面對突然發生的自然災害時易遭受損壞，從而無法很好提供應急服務。

衛星網絡具有時延低、覆蓋范圍廣等優點。并且，低軌衛星（LEO,Low Earth Orbit）具有覆蓋范圍廣、拓撲密集、組網靈活等優點。各個國家也正在積極促進低軌衛星的研究，比如我國的“天啟”、“行云”等。衛星網絡和地面網絡可以互補協同形成星地協同網絡。衛星網絡尤其是低軌衛星網絡和地面網絡互補協同起來形成的星地協同網絡具有很大的研究價值和發展前景。

海量設備接入到星地協同網絡時會產生大量數據。這些數據極大概率分散在各個用戶中，形成一個個數據孤島。傳統的機器學習需要用戶將私人數據上傳到中心平臺，這些數據中極可能包含隱私信息，在機器學習數據上傳和下發的過程中，這些隱私存在泄露的可能。聯邦學習（FL,Federated Learning）作為分布式學習，在2016 年由谷歌團隊首次提出[1]，可以讓參與訓練的各個用戶在不共享數據的情況下實現協作訓練，從而可以解決在星地協同網絡下分析大量數據時出現的數據孤島和數據隱私問題。聯邦學習的應用場景很廣泛，比如McMahan 等人[2]提出了一種聯邦均衡（FedAvg,Federated Averaging）算法，用于優化Google 的Gboard[3]手機輸入法的一個模型預測的準確性。Brisimi 等人[4]通過點對點協作提出了一種新的預測模型聯邦學習框架，這種模型可以準確預測與心臟相關的住院情況。但傳統的聯邦學習通常為多個用戶進行本地訓練，一個聚合設備負責全局的聚合，面對網絡中大量的用戶時會出現通信效率較低的問題。在邊緣計算（EC,Edge Computing）基礎上提出聯邦邊緣學習（FEL,Federated Edge Learning）。聯邦邊緣學習進行邊緣聚合后，將模型再傳到遠端云服務器進行全局聚合。例如，文獻[5]提出了一種分層的聯邦邊緣學習算法，多個用戶在本地進行本地訓練后，將其生成的模型上傳到多個邊緣設備中進行邊緣聚合，再將邊緣模型上傳給云端獲得全局模型。邊緣計算靠近數據源，可以為本地設備的大量數據提供處理、存儲資源和計算[6]等幫助。當多個設備聯合進行機器學習等協同訓練時，通過將模型靠近本地設備來減小傳輸時延[7]。邊緣計算目前在智能家居、智能城市和智能醫療等一些和人們生活相近的領域有著極大地應用場景[8]。邊緣聚合可以減小傳統聯邦學習的通信成本。面對星地協同網絡，可以將軌道上的多顆衛星作為邊緣聚合設備進行聯邦邊緣學習。一般的聯邦邊緣學習中全局聚合設備為云服務器?？紤]到低軌衛星軌道高度較低、且會圍繞地球進行快速運動，將低軌衛星作為邊緣聚合設備時，易出現衛星和云服務器不可見的情況。同時，在星地協同網絡下進行聯邦邊緣學習，除模型精度外，還需要確保在協同網絡中實現聯邦邊緣學習時的全過程時延不能過高，因此需要對傳統聯邦邊緣學習進行改進。星地協同網絡下的聯邦邊緣學習的研究目前還比較少。目前主要是對星地協同網絡下的邊緣計算進行研究，例如，文獻[10]提出衛星作為邊緣設備實現邊緣計算的概念，通過引入動態網絡虛擬化技術來實現網絡資源的整合。同時，在系統中設計了協同計算的卸載方案，最終實現并行計算且減小時延。文獻[11]對衛星實現邊緣計算進行了建模分析。對不同軌道、不同衛星卸載速率下的傳輸延遲以及上下行鏈路的傳輸延遲進行了分析和研究。也有一些學者對星地協同網絡下的聯邦學習進行了研究。文獻[12]以多顆衛星和一個地面站為背景設計異步聯邦學習，通過判斷衛星所處的集合來判斷對其的操作進而減小訓練的時延。文獻[13]在文獻[12]的基礎上提出一種判斷程序，通過比較模型的訓練時延和衛星和地面站之間的可見時延，進一步減小時延。文獻[14]在多顆衛星和一個地面站之間提出一個高效的聯邦學習框架，對衛星的空閑時延和局部模型陳舊兩方面進行聯合優化。文獻[15]主要研究星地協同網絡下的數據攻擊問題，以多個衛星以及多個用戶設備為背景，使用多個衛星負責模型的聚合，研究不同的數據攻擊對其所提出的聯邦邊緣學習算法的影響。但是這些研究主要是將衛星作為本地訓練設備且采用一個地面站作為聚合設備，和本文的場景并不匹配。

因此，本文面向星地協同網絡，提出一種適合于星地協同網絡的聯邦邊緣學習算法。算法可以對在星地協同網絡中海量設備產生的大量數據進行分析處理時出現的隱私信息泄露和數據孤島問題進行解決，并且可以使協同網絡中進行聯邦邊緣學習算法的全過程時延較低，模型測試精度較高。

1 分層聚合模型

考慮在星地協同網絡場景下，利用底層地面設備進行本地訓練，上層低軌衛星進行邊緣聚合，并利用軌道衛星的環狀結構實現全局聚合。具體星地協同網絡下分層聚合訓練場景如圖1 所示：

圖1 星地協同網絡下實現聯邦邊緣學習的分層聚合場景

考慮到低軌衛星和地面設備之間的可見時間段較短，采取衛星和地面設備可見時去交換聯邦邊緣學習的參數的方法會導致聯邦邊緣學習算法的全過程時延很高?？紤]到衛星運動具有周期性和可被預測性的特點，可以利用覆蓋域模型[16]將衛星和本地設備之間的動態星地鏈路轉化為靜態星地鏈路。目前，衛星天線的工作模式主要有衛星固定足印模式以及地球固定足印模型[17]，本文假設衛星的天線工作在地球足印模式。覆蓋域模型可以將地球表面區域按照衛星數劃分為若干規則的區域，并給每個劃分好的區域分配一個邏輯地址。邏輯地址包含著地理信息，每個區域稱為一個邏輯衛星位置。

需要說明的是，在星地協同網絡中進行聯邦邊緣學習，實際上本地設備是上傳給本地訓練結束時刻其對應的邏輯衛星位置在當前時刻的衛星，并從該衛星接收衛星的加權平均參數再次進行本地訓練。之后，由其所對應的邏輯衛星位置在當前時刻的衛星來下發全局模型。

假設在協同網絡中有位于同一軌道的Ns顆低軌衛星，有N個本地設備。每顆衛星負責Ng個地面設備的邊緣聚合。Nk表示衛星k所負責的本地設備的集合，即。

算法中所有的地面設備可以表示為：

集合Nk中的第i個本地設備的數據集為Dk,i，則第Nk組的數據集為：

分層聚合主要是分為將衛星作為邊緣設備進行邊緣聚合以及利用衛星軌道環狀結構實現全局聚合兩部分，分別介紹如下。

衛星作為邊緣設備進行邊緣聚合指的是衛星作為邊緣設備對其負責的地面設備上的參數進行加權平均。每個本地設備首先進行多輪本地訓練。在第t輪本地訓練時，衛星k負責的地面設備在本地訓練階段的參數是。本地訓練采取隨機梯度下降的方式來更新參數，即式(4)，其中η表示學習率。

當進行τ1輪本地訓練，即時，每顆衛星進行邊緣聚合。具體是從該衛星在當前時刻所對應的邏輯衛星位置相關聯的本地設備上收集相應的參數，進行參數的加權平均得到，即式(5)：

當進行τ2輪衛星邊緣聚合后，即tmodτ1τ2=0 時，進行一次全局聚合。面對星地協同網絡，考慮到負責參數加權平均的衛星位于同一環狀軌道?？梢岳眠@種環狀結構實現全局聚合。

當同一環狀軌道上的衛星進行全局聚合時，一般是將一顆衛星作為主衛星來實現參數的全局聚合。但這種情況會導致冗余的衛星多跳而增加算法的時延?？紤]到同一軌道的環狀結構，衛星全局聚合利用Ring-Allreduce 算法[18]。算法僅需衛星進行單向環形傳輸來實現聯邦邊緣學習參數的傳遞進而實現全局聚合，具體主要分為兩步：

（1）Scatter-reduce：假設共有n顆衛星。首先給每個衛星進行編號并指定其左鄰居和右鄰居。然后將每個衛星得到的模型參數根據數據集進行加權，即得到加權模型參數。然后，將每顆衛星的加權模型參數都均等劃分成n個數據塊。在每次迭代中，每顆衛星都會將自己的其中一個數據塊發送給右鄰居，并從左鄰居接收其發送的一個數據塊。每顆衛星需要將接受來的數據塊和自己對應編號的數據塊進行求和。在每次迭代中，發送和接收的數據塊不同。經過n-1 次迭代后，每顆衛星都將包含一個具有所有衛星的對應編號的數據塊之和的數據塊。以n=5 為例考慮五顆衛星的場景，首先將每顆衛星的加權模型參數都按照衛星的個數均等劃分為五個數據塊，即衛星Si的加權平均參數，將加權平均參數劃分為五個數據塊。經過4 次Scatter-reduce 算法迭代后，每顆衛星所包含的數據塊具體如圖2 所示。

圖2 Scatter-reduce步驟進行4次迭代后包含數據塊圖

（2）Allgather：當完成Scatter-reduce 后，進行Allgather。在Allgater 的第一次迭代中，第n顆衛星首先發送其第n+1個數據塊并接收左鄰居發來的其第n個數據塊。和scatterreduce 不同的地方在于scatter-reduce 部分，當衛星接收到左鄰居發出的數據塊后需要進行和其對應編號的數據塊加和操作，然后將加和結果替代當前編號的數據塊。而Allgather 則是直接將接收到的數據塊替代原來對應編號的數據塊，而不進行加和操作。在未來的迭代中第n顆衛星總是發送它剛收到的數據塊。在進行了n-1 次迭代后，每顆衛星都具有所有衛星的加權模型參數。以五顆衛星為例，第四次迭代后，衛星所包含的數據塊如圖3 所示。其中，任何一個衛星的數據塊總和等于。

圖3 Allgather步驟進行4次迭代后數據塊圖

綜上，對于軌道面Ns顆衛星，每顆衛星需要執行Ns-1次Scatter-reduce 迭代，再執行Ns-1 次Allgather 迭代。第一顆衛星的數據塊之和即為全局參數，由此就可以實現全局聚合。之后，每顆衛星將得到新的全局參數發送給其關聯的地面設備作為新的本地參數來進行新一輪的本地訓練。

綜上所述，算法的主要過程可以總結為式(7)：

2 用戶關聯策略

除模型精度外，在星地協同網絡中進行聯邦邊緣學習時還需要保證全過程的時延不能過高。全過程時延主要由通信時延、計算時延以及星間全局聚合所需的時延三部分組成，即。進行一輪聯邦邊緣學習所需通信時延為：

其中，式(10) 中M是模型參數的大小。M/N表示鏈路的接收端信噪比。BXY為鏈路帶寬。式(11) 中LXY為端到端的實際距離。VXY為傳輸介質中的傳輸速率。

計算時延包括本地設備的本地訓練時延以及衛星進行邊緣聚合的時延，即式(12)。Ttrain為本地訓練時延，如式(13)，其中FLOPs為模型的浮點運算次數，用來衡量模型的復雜度。FLOPs是地面設備每秒的浮點運算次數，用來衡量硬件的性能，是每輪本地訓練的樣本數目。是衛星聚合時延，即式(14)，其中表示接收到的模型數目，FLOPs是衛星每秒的浮點運算次數，M是模型參數的大小。

星間全局聚合利用Ring-Allreduce 算法。假設衛星的數量是Ns顆。每顆衛星需要執行共計次迭代，如式(15)：

模型精度方面，在τ1和τ2固定的情況下，當為每個聚合設備盡可能分配具有不同類別樣本的本地設備時，模型測試精度較高。對星地協同網絡，同一衛星負責進行邊緣聚合的本地設備之間的數據集相異度越大，模型測試精度越高。

通過對全過程時延和模型精度的分析，提出一種基于地理位置和數據集相異度的用戶關聯策略?；诖瞬呗缘穆摪钸吘墝W習算法可以實現協同網絡中全過程時延和模型精度兩個參數之間的聯合優化。在提出本文所使用的用戶關聯策略之前，首先考慮兩種極端的用戶關聯策略，分別定義為完全基于地理位置的用戶關聯策略和完全基于數據集相異度的用戶關聯策略。完全基于地理位置的用戶關聯策略指的是將每個邏輯衛星位置上的地面設備都對應到本地訓練結束時其所在的邏輯衛星位置在該時刻對應的衛星。完全基于數據集相異度的用戶關聯策略是給每個衛星都分配具有盡可能不同的數據集分布的本地設備。但上述兩種極端情況僅可以減小時延或提高測試精度。因此，基于上述兩種極端策略提出基于地理位置和數據集相異度的用戶關聯策略。

基于地理位置和數據集相異度的用戶關聯策略首先設計在地理位置上的劃分。將所有的邏輯衛星位置均分成一些不重疊的分區，每個分區包含連續的Nleo個邏輯衛星位置。根據Nleo個邏輯衛星位置的分區，本地設備可以劃分成Ns/Nleo個區域。在對邏輯衛星位置和本地設備進行分區后，使用K-means 算法[19]對每個分區內的本地設備根據它們之間的數據集的相異度進行本地設備的劃分，將由此得到的每個本地設備的集合稱為類似簇。根據K-means 算法可以使每個類似簇中的本地設備之間的數據集的相異度很小。然后，設置Nleo個空對應簇，從每個類似簇中隨機選取一個本地設備加入對應簇中。最終，每個分區都可以得到Nleo個對應簇，并且每個簇中本地設備的數據集之間相異度有較大差異。然后采用LAPJV 算法[20]將Nleo個對應簇映射到Nleo個邏輯衛星位置，使Nss最小，從而可以進一步減小算法全過程時延。

LAPJV 算法具體為先求解出每個對應簇中的地面設備對應到分區內的某個邏輯衛星位置時所需衛星總跳數。以同一軌道面上的衛星數為20 顆，地面設備設置為200個為例進行LAPJV 算法的應用說明。首先假設設備的編號為XZ，，所對應的邏輯衛星位置為?？紤]到同一軌道的衛星的環狀結構，需要比較衛星左跳傳輸和右跳傳輸轉發之間的跳數的大小，并取較小值，則該設備的衛星多跳M可以表示為：

當計算出每個對應簇的總衛星跳數，即在簇內每個本地設備對應到某邏輯衛星位置區域的所需的跳數之和后，進行LAPJV 算法來求出映射關系使得全部簇內所有本地設備所需的總衛星跳數最小。LAPJV 算法通過輸入一個方陣，最終來獲得一列最佳的分配數值，對應到星地協同網絡下的用戶關聯策略中，以第一個分區為例，假設一個分區內的對應簇為，邏輯衛星位置為，則每個簇對應每個邏輯衛星位置的總跳數可以表示為，則方陣可以表示如下：

當使用LAPJV 算法時，可以得到一條從第一行不后退走到最后一行的路徑，并且路徑上的矩陣數值之和最小。因此，通過LAPJV 算法可以得到使總跳數最小的邏輯衛星位置和對應簇之間的映射關系。綜上所述，基于地理位置和數據集相異度的用戶關聯策略可以實現精度和時延的聯合優化，下圖為以Nleo=2、Ns=4 為例的邏輯衛星位置和本地設備之間的用戶關聯策略。最終，包含用戶關聯策略的聯邦邊緣學習算法可以實現時延和模型精度的聯合優化。需要說明的是，目前這種關聯策略需要用戶均勻的分布在每個邏輯衛星位置里面，且衛星天線為地球固定足印模式的理想場景，后續會繼續對策略進行深入研究和修改以適配更為實際的場景。

圖4 為用戶關聯策略案例。

圖4 用戶關聯策略案例

3 仿真分析

在星地協同網絡中進行聯邦邊緣學習算法的仿真參數具體設置如表1 所示。仿真過程中使用CNN 卷積神經網絡，使用MNIST 數據集進行星地協同網絡下的聯邦邊緣學習算法的仿真。本地設備的非獨立同分布設計采用狄利克雷分布。對于星地協同網絡的上行鏈路，地面設備的發射功率設置為2.5 W，帶寬為1 MHz。用戶天線增益為0 dB，衛星天線的增益為53 dB，額外損耗為5 dB，自由空間損耗為186.6 dB。下行鏈路的設計中，衛星發射功率設置為10 W，自由空間損耗為183.0 dB。由于星間鏈路設置為激光鏈路，帶寬無限大，衛星激光通信的波長選擇多使用1 550 nm，比如美國的LCRD[21]。衛星軌道高度設為1 690 km。

表1 仿真參數表

將完全基于地理位置和完全基于數據集相異度的用戶關聯策略作為對照組，進行包含基于地理位置和數據集相異度的用戶關聯策略的聯邦邊緣學習算法仿真。

圖5為三種用戶關聯策略方式下聯邦邊緣學習模型精度。通過仿真可以發現完全基于數據集之間相異度的方式下的聯邦邊緣學習的精度最高，用戶關聯策略次之，完全基于地理位置下的精度最低。這是因為在完全基于數據集之間相異度的方式中，每顆衛星負責聚合的本地設備之間的數據集相異度都是盡可能不同的，從而設備之間更加趨于非獨立同分布，模型的泛化能力更強，訓練后的精度更高。而完全基于地理位置的劃分主要保證時延。但是地面設備的數據集分布類似，導致模型的精度最低。用戶關聯策略則是在劃分區域的基礎上再根據數據集之間相異度來選擇地面設備，精度處于兩種極端情況之間。同時還可以發現完全基于數據集之間相異度的情況下的精度曲線在300 輪訓練中的趨勢是先上升后下降。這是因為模型學習到一定程度后，接著訓練會使其趨于訓練細枝末節的部分。這會使得在測試集上的表現變差。

圖5 三種用戶關聯策略方式下聯邦邊緣學習模型精度

在時延方面，分別計算當τ1=60、τ2=1；τ1=15、τ2=4；τ1=6、τ2=10 時三種用戶關聯策略方式下聯邦邊緣學習算法的一輪訓練時延。

圖6 為不同用戶關聯策略方式下的改變聯邦邊緣學習參數下的時延。

圖6 不同用戶關聯策略方式下的改變聯邦邊緣學習參數下的時延

當參數τ1和τ2固定時，時延結果從大到小為完全基于地理位置的用戶關聯策略方式下的聯邦邊緣學習算法、所提出的包含用戶關聯策略的聯邦邊緣學習算法、完全基于數據集之間相異度的用戶關聯策略方式下的聯邦邊緣學習算法。這主要是因為完全基于地理位置的用戶關聯策略方式是直接將設備分配給其所在區域的邏輯衛星位置所對應的衛星，并不需要中繼衛星進行轉發。而完全基于數據集之間相異度的用戶關聯策略方式是盡量給每個位置分配數據集相異度很大的地面設備，脫離了地理位置的限制，使得中繼衛星進行轉發的次數極大。用戶關聯策略則是在地理位置限制的基礎上根據數據集相異度進行劃分，時延在兩種極端方式之間。

通過時延和精度的分析可以發現包含用戶關聯策略的聯邦邊緣學習算法可以實現時延和精度之間的聯合優化。以τ1=6、τ2=10 為例，本文提出的包含用戶關聯策略的聯邦邊緣學習算法相比完全基于地理位置的用戶關聯策略方式下的算法的模型精度提高6.4%，時延增加185%。本文提出的包含用戶關聯策略的聯邦邊緣學習算法相比完全基于數據集之間相異度的用戶關聯策略方式，模型精度下降3.5%，時延減少134%。

4 結束語

本文提出一種適用于星地協同網絡且可以實現時延和模型精度聯合優化的聯邦邊緣學習算法。算法主要包括利用衛星進行邊緣聚合、基于衛星軌道的環狀結構進行全局聚合的分層聚合方式和基于地理位置和數據集相異度的用戶關聯策略。MNIST 數據集仿真結果表明，這種聯邦邊緣學習算法不僅可以有較高的模型精度，且能計算出全過程所耗費的時延，并實現時延和模型精度之間的聯合優化。