低資源成本的云計算自適應實時資源監控研究

鄭建秋，鄭子偉

(廈門城市職業學院，福建 廈門361008)

低資源成本的云計算自適應實時資源監控研究

鄭建秋，鄭子偉

(廈門城市職業學院，福建 廈門361008)

分布式云計算的云端數據量巨大，而云端資源監控則需對大數據采樣，因而產生大量的計算開銷與資源消耗，對此，提出了一種兩階段的自適應監控方案。首先，在訓練階段，采集適量的資源樣本，計算其資源變化相關的閾值參數，并計算資源變化的質量值；然后，在自適應監控階段，使用訓練階段的算法，根據不同的資源變化劇烈程度更新采樣周期，從而實現動態的采樣周期調節。試驗結果證明，與靜態監控算法相比，該算法具有較好的監控性能，同時具有較低的資源開銷。

資源成本；實時監控；云計算；大數據

0 引言

隨著云計算的廣泛應用，云端的存儲、網絡帶寬、GPU、處理器等資源日益緊缺[1]。部分應用程序非法或過多地占用某些云端資源，導致其他應用程序或服務運行效率下降，甚至導致服務器端崩潰等嚴重后果，為防止此類情況發生，需對云端資源進行有效監控[2]。

云端的大數據與分布式平臺為資源監控帶來了極大的困難，若對云端大數據采集樣本并分析，此過程的計算成本極高，另一方面，若為了降低計算成本而增加采樣周期，則會導致監控過程不夠完整，導致部分重要的棘波丟失[3-5]。

針對以上問題，本文提出一種自適應云端資源監控算法，包括訓練和監控兩個階段。訓練階段，采集適量的數據樣本訓練，估算出最佳的監控參數組合；監控階段根據受監控資源的變化劇烈程度自適應地調節采用周期，以此保證監控算法的計算效率與監控質量達到較好的平衡。

1 問題定義

對于云端大數據下的資源監控，最為有效的方案是，在不損失其統計性能的前提下，盡可能地降低監控的目標數據的量，顯然，需為此尋找一個合適的閾值。首先定義兩個與資源監控質量相關的重要參數G和Q。

第一個參數G如下定義：

式中，N(t)表示監控算法采集的樣本數量，N(t0)表示理論采樣頻率采樣的樣本數量，t0表示最高的理論周期(即1 s)。G值的范圍為[0，1]，G值越高表示采樣周期越短，而計算與帶寬開銷越高。

第二個參數Q(質量)代表了監控算法是否能準確反映系統資源的變化情況。Q的質量必須綜合考慮兩個困素：(1)采樣周期過大導致的監控不完整，(2)對資源變化的棘波監控能力。困此將Q定義為兩個重要統計參數的組合：NRMSE為歸一化均方根誤差，Fmeasure為棘波檢測的精度與召回率的帶權均值。

式中，Fmeasure與NRMSE的取值范圍均為[0，1]，Q的取值范圍為[0，1]。綜合Fmeasure與NRMSE對資源評價的原困在于：云端資源變化極為劇烈，無法僅通過 NRMES對其變化作出準確的反應，而 Fmeasure可對棘波資源的檢測效果較好，困此綜合兩個參數來提高資源評價的準確性。Fmeasure計算方式如下：

式中，precision表示精度，recall表示召回率，Fmeasure值越接近1代表檢測的質量越高。

將監控算法的閾值表示為G與Q的加權之和：

式中ω∈(0，1)是一個調諧常量，由服務器端管理員設定。ω＞0.5，則G的重要性高于Q；反之，G的重要性低于Q；ω=0.5，兩者重要性相等。

已有的監控算法以固定的采樣周期采集樣本，僅當新數據與歷史數據有所差異時，才將新數據保存并轉發至分析模塊。盡管該方案可獲得較高的G值，但其導致了較高的檢測錯誤以及較低的Q值(丟失了較多的棘波)。圖1所示為兩個場景舉例，圖 1(a)的采樣周期為 1 s(低G與高 Q)，圖1(b)的采樣周期較長，采樣數據數量較少，同時也丟失了大量的棘波數據。

圖1 不同固定采樣周期的采樣結果

2 自適應云端資源監控

自適應云端監控由訓練階段與自適應監控階段組成，訓練階段估算最優參數組合，自適應監控階段是監控系統的核心部分。

2.1 參數定義

監控算法分析采樣的數據，當資源相對穩定時，降低監控數據的數量，在資源變化劇烈時，增加監控數據的采樣數量。以此，降低計算與帶寬開銷，同時保證不錯過重要的系統棘波變化。本算法動態地設置兩個關鍵變量：采樣周期t與變化性Δ。采樣周期t越短，收集的數據量越大，設 tm表示采樣周期的最小值，tM表示采樣周期最高值，顯然 tM≥tm。Δ代表了連續采樣樣本的偏差，若Δ較低，認為監控資源比較穩定。本文考慮兩個Δ相關的參數：

(1)峰值變化性 Δp：表示連續樣本間偏差的閾值，當Δ＞Δp時，表示棘波。

(2)容錯變化性 Δq：表示連續樣本間偏差，Δq≥Δp表示高變化性。當監控數據的變化性過高時，需將采樣周期設為tm，從而抓取資源變化的細節特點。將t與Δ相關閾值的最優值設為。

2.2 訓練階段

算法1所示為訓練的偽代碼，初始化階段將E的最優值E*設為0，最小采樣周期設為t0，Xtmp設為周期 t0采樣的監控數據序列。循環迭體中，對監控周期t與變化性Δ進行迭代處理。AdaptiveMonitor為數據監控算法，結果數據存儲于X變量中，然后，計算質量參數Q、參數G與閾值 E。最終，更新最優閾值參數，將結果閾值賦予監控算法的核心階段。

算法1：訓練階段1

算法2計算Q參數的值，在初始化階段，采樣數據起始點為確定值，將NRMSE設為0，計算原時間序列Xtmp的變化范圍。之后的循環體中，輪流使用各時間點數據來計算參數Q的質量。6～10行提取時間序列x0與時間 i，11行更新采樣序列的平方差之和，然后，分別計算NRMSE、精度、召回率，最終計算Fmeasure與Q參數。

算法2訓練階段2

2.3 自適應的監控階段

算法3所示為自適應監控階段的偽代碼。初始化階段，將采樣周期設為最小值，Δ設為 0，∈inc設為 10，該變量用于觸發最低采樣周期 (t0)，在∈·λ個采樣之后，獲得了X值。變量k是對采樣序列X的計數，若k＞λ，則結束X的采樣。

監控算法的主體是一個死循環，首先使用實時采樣更新偏差Δ值，若Δ值未變化，則增加采樣周期長度，若Δ值變化較大，則減小當前的采樣周期。監控過程中，通過計算Q參數與訓練階段的最優參數，實現實時自適應的動態調整，從而實現高準確率的采樣與低成本的平衡。

算法3實時監控階段

3 實驗測試床與數據集訓練

3.1 測試床

本文試驗使用Amazon EC2[6]監控平臺。其中監控節點的PC配置為：AMD處理器2 218 HE，主頻2 600 MHz，緩存 1 024 kB，每個節點的網絡帶寬為 10 Mb/s，受監控的節點運行一些服務與應用程序，如Apache2、MySQL、Java程序等，數據庫使用MySQL數據庫。試驗對 100個節點(包括軟件虛擬出的節點)進行監控，監控過程達10個小時。

3.2 訓練集大小設置

訓練集大小λ對算法的計算開銷影響較大，困此，在保證算法高質量監控的同時，限制其成本極為重要。試驗對資源使用自適應監控算法，將 λ分別設為 5～200進行統計，圖2所示為λ對三個重要參數的影響。圖中可看出ω=0.25時，Q值最優，ω=0.75時，G值最高。分析其原困：訓練集較小時，少量數據之間的差異較大，將被分辨為棘波。而采樣周期較小時，可獲得較高的Q和較低的G。

圖2(c)中顯示，不同訓練集大小對E參數的影響。E參數范圍為80%～88%?？煽闯霎敠剌^小時，應使用較小的λ值，ω較大時，使用較高的λ值。綜上，若管理員需要平衡的G與Q，則將樣本數量選為50～150較為合適。

圖2 不同權重值的自適應算法計算

4 試驗結果與分析

4.1 本文自適應算法與靜態delta算法的檢測性能比較

表 1所示為靜態采樣周期(t)與靜態delta(Δ)下獲得的試驗結果，表2所示為自適應算法獲得的結果。結果顯示：當λ=5時，E值為76.54%，當λ=100時，E為79.37%。比較表1與表2可看出，自適應算法的平均性能高于靜態算法，此外自適應算法的Fmeasure始終高于65%，可見本算法提高了棘波捕獲的能力。

表1 靜態采樣周期與靜態delta的質量評價結果

表2 自適應算法的質量評價結果

4.2 資源消耗比較

圖3所示為本自適應算法與靜態算法的資源消耗比較，圖3(a)所示為靜態采樣周期算法與靜態閾值算法的 CPU使用率隨時間的變化情況，圖 3(b)為本文自適應算法的CPU使用率的變化情況，可看出在整個監控時間之內，本算法的平均CPU占用率明顯低于兩種靜態算法。圖3(b)可看出本算法的3個階段：(1)收集λ個訓練數據集，該階段 CPU使用率呈上升趨勢；(2)自適應算法計算最佳參數，此時引起了較高的CPU使用率的棘波；(3)自適應監控階段，可看出本算法通過自適應的調節，使得整個CPU資源使用率處于平穩狀態。

圖3 CPU使用率隨時間的變化情況

5 結束語

本文針對分布式云計算的云端資源監控提出了自適應的監控算法，獲得了云端監控準確率與計算成本較好的平衡，試驗結果也佐證了本算法的有效性。未來將研究多個統計參數的不同效果，進一步提高本算法對資源變化劇烈程度估算的準確性。

[1]陳康，鄭緯民.云計算:系統實例與研究現狀[J].Journal of Software，2009，1(20).

[2]羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構與關鍵技術[J].通信學報，2011，32(7)：3-21.

[3]華夏渝，鄭駿，胡文心.基于云計算環境的蟻群優化計算資源分配算法[J].華東師范大學學報：自然科學版，2010(1)：127.

[4]馮登國，張敏，張妍，等.云計算安全研究[J].軟件學報，2011，22(1).

[5]劉正偉，文中領，張海濤.云計算和云數據管理技術[J].計算機研究與發展，2012，49(1)：26-31.

[6]ANDREOLINI M，COLAJANNI M，PIETRI M.A scalable architecture for real-time monitoring of large information systems[C].Network Cloud Computing and Applications(NCCA)，2012 Second Symposium on.IEEE，2012：143-150.

Cloud distributed adaptive real time resource monitoring with low resource cost

Zheng Jianqiu，Zheng Ziwei
(Xiamen City University，Xiamen 361008，China)

The server end of distributed cloud computing has a huge amount of data，thus a huge sample need to be sampled by monitoring algorithm，lead to a large amount of compute cost and resource cost，aimed at that，a new adaptive monitoring two phase approach is proposed.Firstly，in training phase，moderate amount of resource samples are sampled，and the resource variety relative threshold is computed，and the quality value of the resource variety is computed;then，in the adaptive monitoring phase，the sample interval is updated with consideration of resource variety situation with the algorithm of training phase，so that the adaptive sampling interval is realized.Experiments result show that the proposed algorithm has better monitoring quality than static monitoring algorithm，at the same time，the proposed algorithm has lower cost overhead.

resource cost；real time monitoring；cloud computing；big data

TP393.08

A

10.16157/j.issn.0258-7998.2015.07.030

鄭建秋，鄭子偉.低資源成本的云計算自適應實時資源監控研究 [J].電子技術應用，2015，41 (7)：107-110.

英文引用格式：Zheng Jianqiu，Zheng Ziwei.Cloud distributed adaptive real time resource monitoring with low resource cost[J].Application of Electronic Technique，2015，41(7)：107-110.

2015-04-09)

鄭建秋（1980-），女，碩士，講師，主要研究方向：計算機網絡、云計算、網絡安全。

鄭子偉（1969-），男，碩士，副教授，主要研究方向：計算機網絡、網絡安全、Web應用。