?

視頻服務節點共享資源池的分布式最優控制

2015-02-20 08:15奚宏生
計算機工程 2015年3期
關鍵詞:資源分配分布式資源管理

宋 辰,奚宏生

(中國科學技術大學自動化系,合肥230027)

視頻服務節點共享資源池的分布式最優控制

宋 辰,奚宏生

(中國科學技術大學自動化系,合肥230027)

針對三網融合背景下的視頻服務網,研究實時服務提供設備(RSPE)的節點共享資源池的資源配置,提出一種完全分布式的最優控制解決方案。分別將物理計算資源和RSPE節點視為計算資源的共享池和資源消費者,給出RSPE節點之間的信息傳播策略和分布式優化算法,從而實現資源池的分布式最優控制。仿真結果表明,在RSPE節點變化較小的情況下,該方案可保證節點間信息傳播過程的收斂性和共享資源的最優資源配置。

三網融合;視頻服務網;共享資源池;資源分配;分布式最優控制;受限梯度上升

1 概述

三網融合是以下一代廣播電視網(NGB)為主的新一代國家信息基礎設施的基本特征[1]。三網融合環境中存在著接入網絡、終端設備和用戶行為等方面的異構和異質特性,并伴隨著海量業務需求。為了向用戶提供更高帶寬、更快響應的高品質服務,業務一般部署到最接近用戶的網絡邊緣,由邊緣服務器面向用戶提供服務。中國互聯網絡信息中心(CNNIC)第29次中國互聯網發展報告顯示, 2011年網絡視頻的用戶規模較上一年增加14.6%,達到3.25億人,使用率提升至63.4%[2]。根據美國資訊公司Cisco Systems的預測,2013年全球視頻業務將占到通信業務總量的91%,每分鐘將有20小時的節目被上傳[3]。因此,滿足大規模并發視頻業務需求并為用戶提供高品質的服務是未來三網融合業務面臨的新戰。

為在保證服務質量(Quality of Service,QoS)的條件下,盡可能提高資源利用率和滿足用戶需求,本文利用虛擬化技術,通過在一臺物理機器上虛擬出多臺虛擬機器,或把多臺物理機器虛擬化成一臺虛擬機器的方式達到提高資源利用率和資源共享率的目的[4-5]。屏蔽網絡層復雜的物理特性,將物理資源虛擬化成邏輯資源,在虛擬層上采用控制理論與方法生成一個簡化和透明的管控機制,并通過執行系統再部署到物理層。創建虛擬服務節點實時服務提供設備(Real-time Service Provide Equipment,RSPE)為基本服務單位。RSPE節點作為虛擬節點部署在

底層邊緣服務器集群之上,為特定用戶群提供服務。邊緣服務器集群將特定用戶群對資源的需求信息和資源的部署信息到RSPE節點上。RSPE節點通過互通互聯構成一個多智能體網絡層,在該虛擬網絡層上采用分布式優化協同控制以實現對資源池的資源調度與部署,在滿足QoS的前提下提高資源的利用率。RSPE節點的服務能力是動態可變的,盡可能滿足其服務用戶的資源需求,但同時根據資源需求大小調整自身服務能力,協同其他RSPE節點共享資源來提高資源利用率。

本文在文獻[6]的基礎上提出完全分布式系統,以提高系統魯棒性和容錯能力。將邊緣服務器集群提供的整體計算資源(存儲、CPU、內存、帶寬等)視為資源池,邊緣服務器集群虛擬化成RSPE節點,把視頻服務網內的虛擬RSPE節點視為資源消費者的需求以資源共享的方式參與資源的分配過程[7],資源分配的關鍵在于照顧資源消費者的整體資源需求的情況下,盡可能提高資源利用率和共享率,并保證服務質量,在此基礎上,提出一種完全分布式的資源最優分配系統——RSPE-DOC。該系統把物理計算資源視為計算資源的共享池,把RSPE節點視為需求,包括RSPE節點之間的信息傳播策略和分布式優化算法,從而實現資源池的分布式最優控制。同時本文給出數學和算法模型,并能保證分配結果的最優性和收斂性。

2 背景介紹

資源池的建立為計算資源的協作共享和用戶并發訪問提供了可能[8]。資源池協作共享的通常做法是把計算資源池化,劃分成一系列共享資源份額,分配給資源消費者使用。具體的講,資源池中的每一個資源份額被關聯到一個實際的資源消費者。共享資源池管理調度的目標是,滿足整體資源受限的約束條件下,動態決定最優的資源分配方案,并盡量保證資源消費者的服務質量。資源池最優分配問題一般可以被建模成自優化問題.共享資源池模型可以被映射成很多實際問題。比如計算中心的最優調度問題。在這個問題里,服務器的集合被劃分成資源份額的集合以供計算用戶使用。相似的做法在最優帶寬控制問題中也適用[9]。帶寬作為共享使用的資源被劃分成不同的份額供流量消費者使用。這樣流量消費者可以共享使用帶寬,在滿足資源容量受限的約束條件下,獲得最優的資源分配方案。

資源分配通常被建模成一個自優化的自主計算系統,即該系統可以自動地,以最好的可能方式來分配資源[10]。在這里,“最好”意味著資源分配可以保證最優的資源使用情況,并盡量滿足資源消費者的資源需求。易知,把尋找這一最優分配的過程建模成優化問題并求解最終就可以找到最優的分配方案。形式上,用x來表示資源分配向量(資源分配向量x給出每個資源消費者獲得的資源份額),用函數f(x)表示對分配向量x所能獲得的資源使用情況和消費者個體需求的綜合評估,那么優化問題的優化目標即為f(x),優化的約束條件為資源的整體可用性。優化問題的解x就是可以最大化f(x)的最優資源分配方案。

傳統的優化算法所面臨的最大問題是:消費者的資源需求不是一成不變的,而是會隨著時間動態變化[11-12]。靜態的資源分配無法保證資源使用的動態最優[13]。資源分配也應該是隨著時間動態變化的,本文把這一過程稱為資源管理過程。近年來,共享資源池中的資源管理問題研究越來越被重視。集中式資源管理策略是其中一類代表性方法。集中式策略通過使用中心控制節點收集所有其他節點的狀態信息來做出資源分配的決策,可以很好地解決資源最優分配問題。然而,集中式策略最大的問題是容錯性能不佳:中心節點一旦出現故障,整個系統往往都面臨崩潰的可能。一些研究者提出了分層分布式解決方案,系統中配置多個控制節點,每個控制節點管理一定數額的服務節點,控制節點之間互聯互通協作工作。分層分布式解決方案一定程度上避免了單個控制節點故障對全局的破壞性影響,但仍然面臨相似的容錯性能較差的問題。在完全分布式方案中,所有節點都是平等的,節點互相合作以完成全局優化任務,沒有任何一個節點優于其他節點,完全分布式系統具有非常好的容錯能力:單節點故障甚至少量節點的故障不會影響全局的最優分配過程。

3 系統建模

本文給出RSPE-DOC解決方案的基本概念。特別地,給出了資源管理過程問題的形式化說明。

3.1 多智能體系統模型

本文把物理服務器集群上部署的RSPE節點看成一個多智能體系統(Multi-Agent System),RSPE節點作為智能體,同時是底層計算資源的資源消費者,見圖1。

圖1 RSPE虛擬服務節點部署示意圖

本文假定智能體以任意拓撲結構連接,每個智能體都可以直接或間接的跟所有其他智能體通信。本文用圖S(t)表示這樣一個多智能體系統,定義如下:

定義令S(t)={V(t),E(t)}為一個圖,其中,頂點集合V(t)表示時刻t時的智能體集合,邊集合E(t)表示時刻t時的智能體拓撲連接。假定S(t)是連通圖,且對任意的邊{u,v}∈E(t)有u≠v。

定義αi系統中的第i個智能體,Ni(t)表示智能體αi在時刻t的鄰居集合,n(t)表示時刻t系統包含智能體的數目(也就是n(t)=)。注意到V(t)和E(t)是時間相關的,因此,系統智能體的數目和拓撲結構是可以隨著時間而改變的。

3.2 自優化問題

為進行資源池的分布式最優控制,有必要引入一種機制可以比較不同資源分配方案的優劣。為此,本文在RSPE-DOC系統中使用效用函數[14]。本文假設每個智能體αi有一個個體效用函數ui(t),給出份額x對智能體αi的個體需求的滿足情況。定義整體效用函數U(X)如下:

其中,X={X1,X2,…}是系統的資源分配向量,Xi為分配給智能體ai的資源份額。效用函數把每一種資源分配方案映射到一個實數值,從而允許對資源分配方案進行比較。

3.3 問題形式化

在整體資源受限的情況下,資源管理問題就可以被形式化成:

其中,R(t)是系統在時刻t所能提供的資源總和。在實際問題中,R(t)的值可以被系統管理員設定并傳播給系統中每個智能體表示一種單一資源,比如存儲、CPU、內存、帶寬等,本文假設一個資源管理系統處理一種資源的分配過程。當然,不同類型的資源可以合成一種復合資源——虛擬服務器,在這種情況下,服務器就是需要被分配的資源。

4 RSPE-DOC系統

本節首先給出了如何分布式求解式(2)的數學模型,然后給出了這個數學模型的算法實現,即一個多智能體模型。

4.1 數學模型

RSPE-DOC的數學模型由4個子模型組成:優化模型定義了如何把全局優化問題轉化成分布式優化問題,從而可以被每個智能體單獨求解;傳播模型給出了智能體通信和交換信息的方式;終止模型使智能體可以判斷何時可以停止通信;需求模型則最終給出如何把智能體的實際需求轉化成優化模型需要的需求參數。

4.1.1 優化模型

為了分解式(2)的優化問題,首先需要給出效用函數的定義。令ui(x)為智能體αi的個體效用函數,ui(x)定義為:

其中,x是分配給智能體αi的資源份額;αi(t)是反映智能體αi在時刻t的資源需求的需求參數。αi(t)越小,智能體αi對資源的需求就越大。采用這個效用函數定義的動機有3個方面:首先,這個定義可以很好地描述需求模型。當份額較小時,效用函數增長很快,表明獲得更多的資源份額已不是很重要;其次,定義的效用函數隨著資源份額的增大,收斂于1,可以方便地給出智能體資源需求得到滿足時的效用閾值;最后,這個效用函數的定義使得把全局優化問題分解成局部的分布式優化問題成為可能。

已知αi(t)一般是可以隨著時間改變的[6],本文做出如下假設。

假設令t′和t″分別為一個資源管理器過程開始和結束的時刻,則對任意智能體ai,任意時刻t′≤t≤t″,有ai(t)=ai(t′)。

這個假設保證在一個資源管理過程中,αi(t)值保持為常數。當然,在資源管理過程中,任何一個智能體都可能會發覺自身的資源需求突然增大或減小。在這種情況下,這個智能體可以通知系統中的其他智能體,一起進入一個新的資源管理過程。本文認為,前一個資源過來過程隨即終止,新的資源管理過程隨即開始。很多不同的方法可以用來觸發新的資源管理過程;在實驗中,本文使用了基于時間的事件方法。但這不屬于本文的研究范圍,本文關注于如何進行分布式的最優資源控制。

給出了效用函數的定義后,本文使用受限梯度上升方法求解得到U(X)的最大值。根據定義:

因此,X處的梯度向量的i分量為:

n=[1,1,…,1]是超平面P的法向向量。最終,本文使用的梯度更新規則是:

為了分布式求解這一全局最優問題,每個智能體都有必要知道其他智能體的需求參數αi。下一節將引入傳播模型。

4.1.2 傳播模型

傳播模型形式化α值的傳播過程,以計算lnλ值。RSPE-DOC系統中,本文使用基于PUSH和PULL的同步策略來實現這一過程[3]。每個智能體通過把自己的信息副本推送(push)給鄰居節點,并從鄰居節點那里拉取(pull)信息副本來同步自己和鄰居節點的信息,從而實現所有智能體都獲得一致的完整信息。

本文定義智能體傳播的消息格式為[ρi,αi(t)],其中,ρi∈Ν是智能體ai(t)的標識符,ai(t)是其需求參數。本文定義Οi(t)為智能體ai自身和其他所有跟ai通信過的智能體的標識符的集合;Mi(t)為對應的通信過的α值的多值集合。為提高通信過程中的比較效率,本文定義ki(t)為智能體ai所存儲的所有局部信息的校驗函數[15]:

通過比較2個智能體的校驗函數是否相同,即可方便地知道這2個智能體各自存儲的局部信息是否已經獲得同步。具體地,本文定義差異函數:

其中,&為按位與運算符。易知,對智能體ai而言,所存儲的任意信息[ρ,α],如果2ρ&gij(t)=2ρ成立,那么消息[ρ,α]應該從智能體ai推送到智能體aj;類似的,如果2ρ&gji(t)=2ρ成立,那么消息[ρ,α]應該從智能體aj拉取到智能體ai。這樣每一對[ρ,α]值都會被互為鄰居的智能體節點同步,最終同步給所有智能體。

4.1.3 終止模型

終止模型使智能體可以通過局部的信息交互來判斷何時可以停止傳播,這是RSPE-DOC系統重要的組成部分之一,終止模型告訴智能體何時準備好計算lnλ值,進而計算每個智能體自己的最優資源份額Xi。這個過程必須是分布式的,以保證一定的系統容錯性。為此,智能體需要維護,并與其鄰居節點交換一些額外的信息。本文為智能體ai定義一個指示函數xi(t):

指示函數xi(t)的值反映了系統中有多少信息已經被傳播了,較大的xi(t)的值意味著較多的值已經被傳播。注意到xi(t)的值只依賴鄰居節點指示函數的值,所以xi(t)的計算是完全分布式的。理論上可以證明,任意智能體xi(t)的值最終會收斂于一個相同的常數值。事實上,當t→∞時,xi(t)→∑ai∈V(t)2ρi。這個性質使得xi(t)成為一個可以用來判斷系統是否已經穩定的判據。系統穩定的時候就可以停止傳播過程了。然而在實際系統中,并不能簡單使用xi(t)的值來判斷系統是否穩定,因為網絡延遲有可能導致xi(t)的值暫時停在某個常數,而讓智能體作出誤判。為此,本文定義聯合差分函數di(t):

即使網絡延遲使得di(t)的值暫時停留在某一個值,也不會停留在0。這樣一旦di(t)的值趨于0,智能體ai就知道系統已經穩定了。

分布式系統一般都會隨著時間改變,即有智能體加入或者離開,所以本文有必要專門討論這些情況。本文分兩類來討論系統的變化:(1)智能體在資源管理過程之間加入或離開;(2)智能體在資源管理過程之中加入或離開。

在第(1)種情況下,系統的收斂性不會受到影響。因為傳播模型不依賴于任何智能體數目相關的全局信息,所以資源管理過程開始之前,系統的任何變化都可以自動被傳播模型處理,無需更進一步的設置或者更新。由此,有計劃的系統改變不會影響傳播過程的收斂,系統也不需要為此重啟任何一個部分。

在第(2)種情況下,會導致一些問題。比如,有智能體在某些di(t)為0后加入系統,那么系統將不能進入新的穩定狀態;或者,有智能體在資源管理過程中離開系統,那么其α值還將會被繼續在系統中傳播,最終導致系統不能調整到新的穩定狀態。在資源管理過程中,智能體的加入或離開屬于非計劃的系統改變。本文認為非計劃的系統改變在實踐中可以盡量控制到最少。所以不失靈活性,本文假設非計劃的改變僅發生在兩個資源管理過程之間。

最終,本文需要考慮智能體間拓撲結構的改變(這種情況下,智能體數目不變)。因為智能體間的通信僅發生在互為鄰居節點之間,所以僅拓撲結構的改變不會影響系統的穩定性,即使這種改變是發生在資源管理過程之中的。

4.1.4 需求模型

正如優化模型中所定義的,αi(t)是反映智能體資

源需求的參數。這個參數的值應由智能體的工作量和實際資源需求共同決定。所以,本文有必要定義需求模型。在視頻服務網中,工作量即是當前需要完成傳輸的視頻流中大小和CPU計算時間;實際資源需求主要是指傳輸當前視頻流所需要的帶寬總和。具體怎么給出需求模型有多種方法,但這不是本文的研究重點。本文主要關注于分布式的資源最優控制策略。所以,本文認為需求模型是已知的。在實驗部分,本文會給出一種簡單的表示方法以作示例。

4.2 多智能體模型

本節給出數學模型的算法實現,RSPE-DOC系統中RSPE智能體結構如圖2所示。智能體把實際工作量和資源需求傳給需求模型,需求模型計算出相應的α值,并傳給終止模型,終止模型調用傳播模型傳播α值,并決定何時停止傳播。這時,α值集合Mi(t)傳給優化模型。優化模型計算出智能體應得的最優資源份額,傳給底層物理系統,并從那里得到分配的計算資源。

圖2 RSPE-DOC系統中的RSPE智能體結構

5 實驗驗證

在實驗中,資源池能提供的最大帶寬。本文定義αi(t)的計算公式為:其中,H=0.99。這樣,當智能體ai實際分配的份額x=bi(t)時,ui(x)=H;當x>bi(t)時,ui(x)>H。在這個定義下,當智能體的需求得到滿足時,其個體效用函數的值非常接近于1;另外,繼續追加份額,也不妨礙效用函數的值繼續增大。

5.1 資源分配實驗

為驗證資源分配的最優性,本文假設底層物理資源池之上部署6個虛擬RSPE節點,每個節點在資源管理過程開始之前隨機確定其帶寬需求。這里是為了驗證算法的最優性,所以少量的智能體數目已經可以達到目的。本文共進行了2組實驗:在第1組實驗里,智能體提出的平均整體需求基本上與系統最大服務能力持平,系統處于正常負載狀態;在第2組實驗里,智能體提出的評價整體需求遠大于系統最大服務能力,系統處于過載工作狀態。2組實驗中6個智能體對應的泊松分布λ值如表1所示。在第1組實驗中,66個智能體平均帶寬需求之和為1 000 MB/s;在第2組實驗中,6個智能體平均帶寬需求之和為2 000 MB/s。

表1 智能體帶寬需求滿足的泊松分布參數

本文共進行了100次獨立重復實驗。觀察到平均的整體效用函數U(x)分別約為5.95±0.000 79和5.48±0.003 10。注意到,U(x)可能取得的最大值為6,U(x)越接近于6,智能體資源需求獲得滿足的情況越好,整體服務質量也就越高。實驗結果顯示,在系統正常負載狀態下,優化模型找到的解對應的整體效用函數的值非常接近于1;在系統過載狀態下,智能體的資源需求不可能全部得到滿足,優化模型找到的解對應的整體效用函數的值達不到最大值6(但事實上通過測試可以判定該解仍然是此過載狀態下的最優解)。

5.2 傳播實驗

為驗證傳播模塊,本文定義一個周期(cycle)為智能體跟鄰居節點的一次同步過程,并假設所有智能體按相同時間信號運行。對1~100范圍內不同的智能體數目,分別重復測試6次,記錄每次實驗中傳播模塊終止所需要的周期數和單個智能體為完成同步所需要的CPU計算時間。實驗中系統結構圖

中節點的度大小設定為5。實驗結果見圖3??梢钥闯?傳播過程需要的周期數與智能體數目成對數關系,證明RSPE-DOC系統具有很好的可擴展性;單個智能體傳播過程所需要的計算時間跟智能體數目成指數關系,但所需CPU計算時間非常少??梢钥闯?RSPE-DOC系統的反應時間非???能滿足實時性要求。

圖3 傳播模型實驗結果

5.3 收斂性實驗

本文使用xi(t)值和di(t)值隨周期數的變化情況來驗證系統的收斂性。實驗時,智能體數目設定為100,系統結構拓撲圖中節點的度設定為5。本文記錄了每個智能體的xi(t)值和di(t)值,實驗結果見圖4??梢钥闯?xi(t)值和di(t)值分別都可以正確地收斂到一個常數值和0。

圖4 收斂性實驗結果

6 結束語

本文介紹了RSPE-DOC系統——一個完全分布式的視頻服務網資源池自適應最優控制方案。RSPE-DOC系統把每個RSPE節點視為資源消費者,使用智能體代理資源消費者向底層物理資源池提出資源請求,智能體之間以任意拓撲結構聯系,智能體通過同步需求信息把全局優化問題分解成分布式優化問題,從而最終確定每個智能體的最優資源份額,以保證服務質量,并提高資源利用率。實驗結果表明,RSPE-DOC系統可以保證系統在不同負載狀態下的資源最優分配,傳播過程可以很快終止,傳播所需CPU計算時間較少,并且系統可以正確收斂。RSPE-DOC系統假設RSPE節點的增加或刪除只發生在資源管理過程間,下一步工作將考慮放寬該限制,以提高RSPE-DOC系統的實時性,進一步擴大適用范圍。

[1]張 彬,李俊杰.我國三網融合業務發展研究[J].信息系統工程,2010,(12):101-106.

[2]中國互聯網絡信息中心.第29次中國互聯網絡發展狀況統計報告[Z].2012.

[3]Cisco Systems Inc..2010 Annual Report[Z].2010.

[4]Michael A,Fox A,GRIFFITH R.A View of Cloud Computing[J].Communications of the ACM,2010, 53(4):50-58.

[5]Gmach D,Rolia J,Cherkasova L,et al.Resource Pool Management:Reactive Versus Proactive or Let’s Be Friends[J].ComputerNetworks,2009,53(17), 2905-2922.

[6]Loureiro E,NixonP,DobsonS.Decentralizedand Optimal Control of Shared Resource Pools[J].ACM Transactions on Autonomous and Adaptive Systems, 2012,7(1).

[7]Kephart J O,Das R.Achieving Self-management via Utility Functions[J].IEEE Internet Computing,2007, 11(1):40-48.

[8]Rolia J,CherkasovaL,ArlittM,etal.Supporting Application Quality of Service in Shared Resource Pools[J].Communications of the ACM,2006,49(3): 55-60.

[9]Raghavan B,Vishwanath K,Ramabhadran S,et al.Cloud Control with Distributed Rate Limiting[J].ACM SIGCOMM Computer Communication Review,2007, 37(4):337-348.

[10]Kephart J O,Chess D M.The Vision of Autonomic Computing[J].Computer,2003,36(1):41-50.

[11]Guitart J,Carrera D,Beltran V,et al.Dynamic CPU Provisioning for Self-managed Secure Web Applications in SMP Hosting Platforms[J].Computer Networks, 2008,52(7):1390-1409.

[12]Gmach D,Rolia J,Cherkasova L,et al.An Integrated ApproachToresourcePoolManagement:Policies, Efficiency andQualitymetrics[C]//Proceedingsof IEEE International Conference on Dependable Systems and Networks.[S.l.]:IEEE Press,2008:326-335.

[13]Padala P,Shin K G,Zhu X,et al.Adaptive Control of VirtualizedresourcesinUtilityComputingEnvironments[J].ACM SIGOPS Operating Systems Review, 2007,41(3):289-302.

[14]Johansson B,Adam C,Johansson M,et al.Distributed Resource Allocation Strategies for Achieving Quality of Service in Server Clusters[C]//Proceedings of the 45th IEEE Conference on Decision and Control.[S.l.]: IEEE Press,2006:1990-1995.

[15]Demers A,GreeneD,HauserC,etal.Epidemic Algorithms for Replicated Database Maintenance[C]// Proceedings of the 6th Annual ACM Symposium on Principles of Distributed Computing.[S.l.]:ACM Press,1987:1-12.

編輯 金胡考

Distributed Optimal Control in Shared Resource Pools of Video Service Nodes

SONG Chen,XI Hongsheng
(Department of Automation,University of Science and Technology of China,Hefei 230037,China)

Aiming at the domain of video service network in tri-network convergence,this paper focuses on the problem of optimal resource allocation of Real-time Service Provide Equipment(RSPE)nodes in shared resource pools.This paper proposes a fully distributed optimal control solution,named RSPE-DOC.RSPE-DOC treats underlying physical servers as a shared resource pool,and RSPE nodes as resource consumers.RSPE-DOC implements the information exchanging strategy and distributed optimization method among RSPE nodes,leading to a distributed optimal control framework.Experimental results indicate that RSPE-DOC is able to ensure the convergence of dissemination process and find the optimal resource allocation,when the RSPE nodes are not changed substantially in resource management process.

tri-network convergence;video service network;shared resource pools;resource assignment;distributed optimal control;constrained gradient ascent

宋 辰,奚宏生.視頻服務節點共享資源池的分布式最優控制[J].計算機工程,2015,41(3):71-76.

英文引用格式:Song Chen,Xi Hongsheng.Distributed Optimal Control in Shared Resource Pools of Video Service Nodes[J].Computer Engineering,2015,41(3):71-76.

1000-3428(2015)03-0071-06

:A

:TP393

10.3969/j.issn.1000-3428.2015.03.013

國家自然科學基金資助重點項目(61233003)。

宋 辰(1987-),女,碩士研究生,主研方向:網絡傳播系統與控制;奚宏生,教授、博士生導師。

:2014-03-11修回日期:2014-04-28E-mail:sclucky@mail.ustc.edu.cn

猜你喜歡
資源分配分布式資源管理
人事檔案管理在人力資源管理中的作用
人力資源管理促進企業績效提升
企業人力資源管理
新研究揭示新冠疫情對資源分配的影響 精讀
一種基于價格競爭的D2D通信資源分配算法
GIS在森林資源管理中的應用
分布式光伏熱錢洶涌
分布式光伏:爆發還是徘徊
云環境下公平性優化的資源分配方法
基于DDS的分布式三維協同仿真研究
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合