基于隨機學習的異構蜂窩網絡離散功率控制機制①

王園園 周一青 李永會 石晶林 田 霖 錢蔓藜

(*中國科學院計算技術研究所 北京 100190) (**中國科學院大學 北京 100049) (***移動計算與新型終端北京市重點實驗室 北京 100080) (****悉尼大學電子與信息工程學院 悉尼 NSW2006)

?

基于隨機學習的異構蜂窩網絡離散功率控制機制①

王園園②**********周一青③******李永會****石晶林******田 霖****錢蔓藜****

(*中國科學院計算技術研究所 北京 100190) (**中國科學院大學 北京 100049) (***移動計算與新型終端北京市重點實驗室 北京 100080) (****悉尼大學電子與信息工程學院 悉尼 NSW2006)

針對宏基站和低功率小基站重疊覆蓋共享頻譜的異構網絡中干擾抑制問題，提出了一種基于隨機學習理論的基站下行離散功率控制機制，以便在保證宏基站傳輸的最低傳輸質量要求下，最大化網絡滿足傳輸質量要求的小基站傳輸個數。該方法將每個小基站作為隨機學習自動機，維持一個概率向量用于傳輸功率選擇。算法迭代過程中，小基站獨立地基于自身選擇的傳輸功率以及網絡反饋的信息，即滿足傳輸質量要求的小基站傳輸的個數，來更新概率向量，調整傳輸功率，直到系統達到均衡狀態。仿真結果表明，基于隨機學習的離散功率控制方法具有很好的收斂性和尋優性能，能有效提高系統可支持的滿足傳輸質量要求的小基站傳輸數量，適用實際系統。

異構網絡， 干擾抑制， 隨機學習， 離散功率控制

0 引 言

在移動互聯應用、智能終端的日益普及下，蜂窩網絡整體容量亟需大的提升，熱點和盲點亟需靈活的部署方案來完善覆蓋。宏基站和低功率小基站重疊覆蓋的異構網絡成為一種提升蜂窩網絡容量和覆蓋的最為有效的解決方案[1，2]。為了有效利用頻譜和提升頻譜效率，小基站通常與宏基站使用相同的授權頻譜[3]，這種部署方式使得異構蜂窩網絡的干擾場景更加復雜。系統干擾包括同層干擾如小基站間干擾，以及跨層干擾如小基站同宏基站間干擾等，如果不能有效控制，干擾將極大地降低異構蜂窩網絡的性能[3，4]。因此干擾抑制是部署異構蜂窩網絡亟需解決的問題。

功率控制是頻譜共享的異構蜂窩網絡中抑制干擾的一個重要機制，現有文獻表明該機制已得到廣泛研究[5-9]。文獻[5]提出了小基站自適應功率控制機制，小基站通過調節自己的傳輸功率抑制對宏基站用戶的干擾，以滿足宏基站用戶的最低信號與干擾加噪聲比(signal-to-interference-noise ratio, SINR)要求(本文中將以“SINR要求”表示一個用戶的最低傳輸質量要求)。但上述研究并沒有考慮小基站傳輸之間的干擾。在小基站密集部署的情況下，該機制無法保證小基站傳輸的SINR要求[3]。文獻[6-9]綜合考慮了小基站之間及小基站與宏基站之間的傳輸干擾，提出了基于非合作博弈的小基站功率調節機制。小基站調節傳輸功率以最大化個人效用，個人效用定義為小基站獲得的傳輸容量減去傳輸對其他基站的干擾，進一步給出了不同的算法找到系統的納什均衡點。文獻[6，7]提出的機制最終不能完全保證宏基站用戶的質量要求，文獻[8，9]提出的機制需要小基站與宏基站共享大量信息，增加了系統傳輸負擔。進一步分析發現，文獻[5-9]中提出的功率控制機制均會導致小基站的低效傳輸，這是因為使用文獻[5-9]中提出的功率控制機制，無論小基站用戶接收到的SINR是否滿足其要求，小基站會持續以選定的功率進行傳輸。當小基站用戶接收到的SINR顯著低于最低傳輸質量要求時，這些傳輸對小基站用戶的數據傳輸無益，反而對其他數據傳輸造成了額外干擾[3，10]。此外，文獻[5-9]中均假設傳輸功率為連續值，而實際系統中傳輸功率為離散值[11]。因此本文綜合考慮了宏基站與小基站的離散傳輸功率限制、用戶傳輸質量要求以及整個網絡的干擾狀態，首先給出了網絡中滿足用戶傳輸質量要求的可行傳輸功率解的必要條件，在此分析基礎上定義了系統的優化目標為在保證宏基站用戶的SINR要求下，最大化網絡中滿足SINR要求的同時傳輸的小基站傳輸的個數，并提出了基于隨機學習機制的離散功率控制(stochastic learning based discrete power control, SLPC)機制[12，13]。該機制將小基站作為學習機，通過對選擇的傳輸功率和網絡反饋信息的學習不斷調整傳輸功率，以實現系統目標最大化。仿真結果表明，在網絡密集部署情況下，使用SLPC算法的網絡支持的滿足傳輸質量要求的小基站傳輸數目達到了使用現有功率控制算法支持數目的兩倍。

1 系統模型及優化問題定義

1.1 系統模型描述

考慮一個由宏基站及小基站構成的異構蜂窩網絡區域。宏基站B0處于宏小區中心，為宏小區內用戶提供接入服務。宏小區內有一個熱點地區，N個小基站Bi(1≤i≤N)部署在熱點地區內為地區內用戶提供接入服務。小基站與宏基站可以通過光纖回程鏈路通信[1]。小基站與宏基站使用相同的頻譜。宏基站用戶及小基站用戶均勻分布在對應區域內。網絡模型如圖1所示。本系統中，假設在一個傳輸單元上(一個傳輸單元為一塊時頻資源)，每個基站最多只向一個用戶進行數據傳輸。

圖1 異構蜂窩網絡系統模型

(1)

其中，σ2表示系統熱噪聲功率；gi, j(0≤i, j≤N)表示用戶Ui與基站Bj間信道增益。此處我們假設信道增益僅考慮信道的慢衰落特性[14]，包括路徑損耗和陰影衰落。

以Γi(0≤i≤N)表示用戶Ui的SINR要求，為保證傳輸質量，用戶Ui接收到的SINRγi需要滿足

γi≥Γi

(2)

1.2 可行傳輸功率解分析

考慮用戶接收信號SINR要求，我們需要分析系統是否存在可行的傳輸功率解，即所有基站在規定的范圍內選擇傳輸功率是否存在傳輸功率組合，使得?Ui(0≤i≤N)均滿足式(2)。為方便分析，做如下定義：

? 矩陣G為歸一化的信道增益矩陣，G中共有(N+1)×(N+1)個元素，元素Gi, j定義為

(3)

? 向量η=(η0,η1,…,ηN)為歸一化的噪聲向量，其元素定義為ηi=Γi·σ2/gi,i；

? 對角矩陣Γ=diag(Γ0,Γ1,…,ΓN)表示系統基站的SINR要求矩陣。

基于以上的定義，式(2)可以表示為如下矩陣-向量形式：

qT≥ΓGqT+ηT

(4)

定義1 當傳輸功率向量q∈Q且使得式(4)成立，則該傳輸功率向量q為系統的可行傳輸功率解。

定理1 以下條件是該系統存在可行的傳輸功率解的必要條件：

(1) ρ(ΓG)<1;

證明： 根據無線系統基站與用戶間的信道增益關系，可以合理認定ΓG為非負不可約矩陣[8,15]，進一步，根據Perron-Frobenius定理[16]，文獻[15]給出了當系統中基站傳輸功率可取大于0的任意連續值的情況下，系統中存在滿足式(4)的非負的傳輸功率解的充分必要條件為ρ(ΓG)<1(文獻[15]引理1.1與定理2.1)。本文系統中，基站傳輸功率為離散值，因此，ρ(ΓG)<1是本系統存在可行傳輸功率解的必要條件。

基于以上的分析，本定理得證。

1.3 優化問題定義

考慮用戶接收信號的SINR要求，定理1給出了系統存在可行傳輸功率解的必要條件。當定理1中的兩個條件不能被同時滿足時，系統僅可以支持部分傳輸滿足用戶的最小SINR要求?；谝陨戏治?，我們定義系統的最優化問題為在滿足宏基站用戶的傳輸質量要求的前提下，通過優化小基站的傳輸功率，最大化系統能夠支持的滿足傳輸質量要求的小基站傳輸的個數。最優化函數定義如下：

(4a)

s.t. qi∈Qs, ?1≤i≤N

(4b)

其中Ii指示用戶Ui接收信號是否可以滿足其SINR要求Γi，?i (0≤i≤N)，Ii定義如下：

(5)

條件(式(4b))表示小基站的傳輸功率需要在離散功率值集合Qs中選擇。從優化目標(式(4a))可以看到，僅有當宏用戶U0接收SINR滿足質量要求，即I0=1且至少一個小基站用戶接收SINR滿足質量要求時，(式(4a))才為正值。

系統最優化函數(式(4))的最優解可以通過窮盡搜索方法獲得。嘗試小基站傳輸功率的所有組合，可以獲得使系統目標最優的傳輸功率組合。

2 基于隨機學習的離散功率控制

盡管窮盡搜索可以找到系統最優化問題的最優解，但窮盡搜索需要集中式控制，具有(Ls)N的計算復雜度且要求基站之間交互大量控制信息，因此不適用于實際系統?？紤]到大量小基站部署的隨機性，受文獻[12，13]中隨機學習機制的啟發，本文中我們提出一個基于隨機學習機制的小基站功率控制算法。

2.1 算法描述

隨機學習體是自適應的決策制定實體，能夠通過對個體動作與環境交互結果的學習找到對個體最優的動作[17]。將隨機學習應用于本系統中，每一個小基站Bi(1≤i≤N)作為一個獨立學習體，定義其動作集合，動作選擇概率向量，獎勵函數及概率更新機制如下：

(1) 動作集合：本系統中定義小基站Bi的動作為選擇一個傳輸功率，因此小基站有Ls個可選的動作，動作集合為Qs。

(3) 獎勵：基于系統的最優化目標(式(4))，我們定義在時刻k，小基站Bi獲得的動作獎勵如下：

(6)

其中，Ij(k)的定義如式(5)所示。在時刻k，當U0接收到的γ0不能滿足其SINR要求Γ0，即γ0(k)<Γ0時，I0(k)=0，則小基站得到的獎勵為0；當U0接收SINR要求得到滿足，即γ0(k)≥Γ0時，I0(k)=1，則小基站得到的獎勵同系統中滿足傳輸SINR要求的小基站的個數成正比。

小基站通過調節下行發射功率以獲得最大的獎勵，從而使得：(i)宏用戶的SINR要求得到滿足；(ii)在(i)得到滿足的情況下，系統中滿足傳輸的SINR要求的小基站傳輸的個數最大化。式(6)的定義同系統最優化目標(式(4))是一致的。式(6)中的歸一化操作是由隨機學習機制決定的，學習體獎勵取值需在0到1之間[17,18]。

(4) 概率更新機制：本系統中，小基站Bi傳輸功率概率更新機制定義如下：

pi(k+1)=pi(k)+λri(k)(eli-pi(k))

(7)

其中，0<λ<1為學習速率，ri(k)為小基站獲得的獎勵，eli為具有Ls個元素且第li個元素為1的單位向量，其中li表示小基站Bi在時刻k選擇的功率為傳輸功率集合Qs中的第li個傳輸功率。概率更新機制(式(7))是線性動作獎勵機制(LR-I)[17，18]，該機制的特點為：對小基站而言，當選擇的傳輸功率獲得正獎勵時，即ri(k)>0，則在下一時刻選擇該傳輸功率的概率將增加，相應地，選擇其他傳輸功率的概率將減??；而當選擇的傳輸功率獲得獎勵為零時，即ri(k)=0，則在下一時刻選擇傳輸功率的概率保持不變。LR-I是ε-最優的并且具有好的收斂特性[17，18]。

具體地，在一個傳輸單元上，本文提出的離散功率控制(SLPC)算法步驟如下：

(1) 初始化：時刻k為0，小基站Bi的傳輸功率概率分布為均勻分布，即pi,l(0)=1/Ls，?1≤i≤N, 1≤l≤Ls；

(2) 在時刻k(k>0)，每個小基站Bi根據其當前時刻的傳輸功率選擇概率向量pi(k)選擇傳輸功率qi(k)，并使用該功率進行數據傳輸；

(3) 所有調度用戶Ui(0≤i≤N)，基于接收到的SINR及自身SINR要求根據式(5)計算其Ii，完成計算后小基站用戶將其Ii反饋給小基站并轉發給宏基站B0。B0根據式(6)計算系統獎勵并廣播給所有小基站；

(4) 每個小基站根據式(7)中的概率更新機制更新其傳輸功率選擇概率向量pi(k)；

(5) 對小基站Bi(1≤i≤N)，其傳輸功率選擇概率向量pi(k)中有一個元素pi,l(1≤l≤Ls)趨近于1，如大于0.99[12,18]，則該算法停止；否則，重復步驟(2)-(5);

(6) 當前述學習過程停止后，?Bi(1≤i≤N)，如果Bi傳輸功率不為0但Ii=0，則該小基站本次選擇不進行傳輸，此步驟可以進一步降低不必要的傳輸，提高其他滿足傳輸要求用戶的速率。

2.2 算法收斂性分析

本節將分析文中提出的SLPC算法的收斂性。文獻[18]中作者對基于線性動作獎勵機制(LR-I)的隨機學習算法的收斂性進行了分析，指出如果隨機學習系統中的學習體獲得的獎勵值相同，且用戶采取的動作選擇概率更新機制為線性動作獎勵機制(LR-I)，則隨機學習系統最終會收斂到系統的納什均衡點(定理3.2及定理4.1)。

在本系統中，由式(6)定義可知，在時刻k，每個小基站用戶將獲得相同的獎勵值，即ri(k)=rj(k), ?1≤i, j≤N，該獎勵值由系統中宏基站用戶及所有小基站用戶的信號接收質量情況共同決定。同時SLPC算法中小基站使用的概率更新機制為線性動作獎勵機制LR-I(式(7))?；谇懊娴姆治隹傻?，提出的SLPC算法總是可以收斂到系統的一個納什均衡點。

3 實驗結果及性能分析

本節通過仿真實驗評價提出的SLPC算法的收斂性以及算法的尋優性能，以及算法的收斂速度。算法性能將與文獻[8]中提出的保護宏基站傳輸的分布式功率控制(cellular protected distributed power control, CDPC)機制以及窮盡搜索機制進行比對。其中窮盡搜索機制為系統性能的最高限。

3.1 仿真場景

圖2 仿真系統模型

系統仿真參數如表1所示。假設小基站用戶的最小SINR要求可以取[5, 20]dB中的任意值。

3.2 SLPC算法收斂性

我們首先考慮一個簡單的場景，假設熱點區域內只有4個小基站傳輸數據，且僅有4個可選的傳輸功率，功率集合為{0, 333.33mW, 666.66mW, 1000mW}，設小基站順次編號為1，2，3，4。使用窮盡搜索方法可得最優化問題(式(4))的最優傳輸功率解為q={666.66mW, 0, 333.33mW, 0}，即在滿足宏基站用戶SINR要求下，系統中還可以支持2個小基站同時傳輸，且滿足小基站用戶的SINR要求。圖3給出了算法執行過程中任意一個小基站傳輸功率選擇概率的變化曲線?？梢钥吹皆摶镜膫鬏敼β蔬x擇概率向量經過約180次迭代從{1/4,1/4,1/4,1/4}演變為{0,0,1,0}，也就是該基站最終將以666.66mW傳輸。仿真中，其他小基站也有類似的概率向量演進結果。同時，基于小基站的編號順序，小基站的功率傳輸向量最終收斂到最優解q={666.66mW, 0, 333.33mW, 0}。

表1 仿真參數配置

圖3 算法執行過程中任一用戶傳輸功率選擇 概率變化曲線(N=4, L=4)

圖4給出了算法執行過程中小基站接收到的獎勵值的變化曲線。獎勵值最終收斂到1/2。由式(6)中獎勵值的定義可知，小基站傳輸功率滿足了宏基站用戶及2個小基站用戶傳輸的SINR要求，同最優解一致。

圖4 算法執行過程中小基站收到的獎勵值 變化曲線(N=4, L=4)

3.3 SLPC算法性能

圖5給出了隨著小基站部署密度增大，不同算法下系統中支持的滿足最低服務質量要求的小基站傳輸的平均個數。平均值是通過更改小基站用戶在小基站覆蓋范圍內的位置來計算的。

圖5顯示，提出的SLPC算法性能優于CDPC算法，并且隨著部署小基站數目增加性能增益更大。這是因為使用CDPC算法，當算法收斂時，不管小基站的傳輸功率是否滿足用戶質量需求，小基站都將以收斂到的功率持續傳輸。當小基站用戶的最低傳輸質量要求無法滿足時，傳輸對小基站用戶無益，且會造成對系統其他用戶的額外干擾，從而造成更多的傳輸不能滿足最低質量傳輸要求。小基站部署越密集，基站間干擾越嚴重，CDPC算法性能越低。

圖5 不同算法下，滿足最低傳輸質量要求的小基站 傳輸平均個數對比(L=8)

圖5同樣顯示，當小基站個數較少時，SLPC算法性能接近窮盡搜索算法性能，隨著小基站個數增多，性能差距增大。這種性能表現同2.3節中的算法收斂性分析是相對應的，SLPC算法在執行過程中會收斂到系統的本地最優，不一定能找到系統全局最優解。

圖6比較了在不同小基站數目，以及不同傳輸功率數目下，SLPC算法收斂時所需迭代次數。從圖中我們可以看出，對給定的基站數目，可選的傳輸功率數目越多，算法收斂所需的迭代次數對應增加。因為功率傳輸數目越多，基站傳輸功率組合越多，算法執行過程中基站學習的樣本空間越大，因此算法收斂所需的迭代次數也增大。同樣，給定傳輸功率數目，隨著區域內部署小基站數目增加，算法收斂所需的迭代次數也增大。

圖6 不同小基站數目，不同傳輸功率數目下， SLPC算法收斂所需迭代次數比較

4 結 論

本文提出了一種新型頻譜共享的異構蜂窩網絡的下行功率控制機制。本文首先基于網絡中宏蜂窩及小蜂窩用戶的傳輸功率限制和傳輸SINR要求，分析了給出異構蜂窩網絡中存在可行傳輸功率解的必要條件。進而定義了系統的最優化目標為在滿足宏基站傳輸的SINR要求的前提下，最大化網絡中滿足傳輸SINR要求的可同時傳輸的小基站個數。文中提出一種基于隨機學習技術的離散功率控制機制。每個小基站基于自己選擇的傳輸功率，以及網絡給予的指示宏基站及小基站用戶傳輸質量要求的滿意度的反饋信息，調整傳輸功率直到系統達到均衡狀態。仿真結果驗證了提出算法的收斂性與尋優性。當小基站部署密度大時，SLPC算法可以支持的滿足最低傳輸質量要求的小基站傳輸個數是其他算法支持的2倍。

隨機學習機制可以應對變化的環境，在不斷的動作-反饋過程中學習，調整自己的行為以最大化自己的獎勵。同時帶來的缺點是收斂速度較慢。下一步研究考慮，修正概率更新函數，并且概率更新考慮歷史獎勵信息，以提高算法收斂性能。同時針對本場景，可以進一步分析系統離散功率個數對系統性能的影響，從而指導實際系統規劃。

[1] Hoydis J, Kobayashi M, Debbah M. Green small-cell networks.IEEEVehicularTechnologyMagazine, 2011, 6(1): 37-43

[2] Zhou Y, Liu H, Pan Z, et al. Two-stage cooperative multicast transmission with optimized power consumption and guaranteed coverage.IEEEJSAConSEED, 2014,32(2):274-284

[3] Zhou Y, Liu L, Du H, et al. An overview on intercell interference management in mobile cellular networks: from 2G to 5G. In: Proceedings of the 14th IEEE International Conference on Communication System, Macau, China, 2014. 217-221

[4] Zhou Y, Liu H, Pan Z, et al. Spectral and energy efficient two-stage cooperative multicast for LTE-A and beyond.IEEEWirelessMagazine, 2014, 4(4): 34-41

[5] Morita M, Matsunaga Y, Hamabe K. Adaptive power level setting of femtocell base stations for mitigating interference with macrocells. In: Proceedings of the IEEE Vehicular Technology Conference, Ottawa, Canada, 2010. 1-5

[6] Zhang J, Hong P, Xue K. A novel power control scheme for femtocell in heterogeneous networks. In: Proceedings of the IEEE Consumer Communications and Networking Conference, Las Vegas, USA, 2012. 802-806

[7] Tai M H, Tran N H, Do C T, et al. Power control for interference management and QoS guarantee in heterogeneous networks.IEEECommunicationsLetters, 2015, 19(8):1402-1405

[8] Chandrasekhar V, Andrews J G, Muharemovic T, et al. Power control in two-tier femtocell networks.IEEETransactiononWirelessCommunication. 2009, 8(8): 4316-4328

[9] Wang H, Wang J, Ding Z. Distributed power control in a two-tier heterogeneous network.IEEETransactiononWirelessCommunication, 2015, 14(12): 6509-6523

[10] Garcia V, Zhou Y, Shi J L. Coordinated multipoint transmission in dense cellular networks with user-centric adaptive clustering.IEEETransactiononWirelessCommunication, 2014, 13(8): 4297-4308

[11] The 3rd Generation Partnership Project (3GPP). Technical Report 36.814 V 9.0.0. Further advancements for E-UTRA physical layer aspects. 2010

[12] Tseng L, Chien F, Zhang D, et al. Network selection in cognitive heterogeneous networks using stochastic learning.IEEECommunicationsLetters, 2013, 17(17):2304-2307

[13] Xu Y, Wang J, Wu Q, et.al. Opportunistic spectrum access in unknown dynamic environment: a game-theoretic stochastic learning solution.IEEETransactiononWirelessCommunication, 2012, 11(4):1380-1391

[14] Han Z, Niyato D, Saad W, et al. Game Theory in Wireless and Communication Networks: Theory, Models and Applications. UK: Cambridge University Press, 2011. 202-245

[15] Chiang M, Han P, Lan T, et al. Power control in wireless cellular networks.FoundationandTrendsinNetworking, 2007, 2(4): 381-533

[16] Horn R, Johnson C. Matrix Analysis. UK: Cambridge University Press. 1985. 517-547

[17] Narendra K S, Thathachar M A L. Learning automata - a survey.IEEETranactionsonSystemsManandCybernetics, 1974, 4(4):323-334

[18] Sastry P S, Phansalkar V. Decentralized learning of Nash equilibria in multi-person stochastic games with incomplete information.IEEETransSystManandCybern, 1994, 24(5): 769-777

[19] International Telecommunications Union-Radio (ITU-R). M.2135. Guidelines for evaluation of radio interface technologies for IMT Advanced. 2008

A stochastic learning based discrete power control scheme for heterogeneous cellular networks

Wang Yuanyuan**********, Zhou Yiqing******, Li Yonghui****, Shi Jinglin******, Tian Lin****, Qian Manli****

(*Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) (**University of Chinese Academy of Sciences, Beijing 100049) (***Beijing Key Laboratory of Mobile Computing and Pervasive Device, Beijing 100080) (****School of Electrical and Information Engineering, University of Sydney, Sydney NSW2006)

To mitigate the interference in the heterogeneous cellular networks (HetNets) with a large number of low power small cells sharing the same frequency spectrum with the macrocells, a stochastic learning technique based downlink discrete power control (SLPC) scheme was proposed to maximize the number of simultaneous small cell transmissions satisfying the transmission quality requirements under the circumstance of guaranteeing the transmission quality requirements of macrocell users. The SLPC scheme regards each small cell base station as a stochastic learning automaton and maintains a probability vector to select the transmitting power. During the learning process, each small cell base station independently updates its probability vector and transmitting power to adjust its transmit power towards a Nash equilibrium point according to its selected transmit power and the feedback from the network, which indicates the number of simultaneous small cell transmissions satisfying the transmission quality requirements. The simulation results show that the proposed scheme has the excellent performance in convergence and optimization and can greatly increase the number of simultaneous small cell transmissions that can be supported in the networks. It is suitable for practical systems.

heterogeneous networks, interference mitigation, stochastic learning, discrete power control

10.3772/j.issn.1002-0470.2016.05.002

①863計劃(2015AA01A705)和國家自然科學基金(61571425)資助項目。

2016-01-29)

②女，1986年生，博士生；研究方向：無線資源管理，異構網絡等；E-mail: wangyuanyuan@ict.ac.cn

③通訊作者，E-mail: zhouyiqing@ict.ac.cn