大規模云計算環境下資源調度關鍵技術研究

王輝華 李舒婷 梁浩 周娟 潘文靜

(福建福清核電有限公司 福建福清 350300)

進入21 世紀，信息技術在飛速地發展，高新技術層出不窮，云計算也在其中。在企業的信息系統中，云計算提供按需供應、彈性擴展等能力支持，另外還承擔快速發布、協同管理、運維繼承和故障自愈等方面內容。在面對海量數據時，云計算的優勢盡顯，因為其強大的計算能力和資源分配特性，使得面對海量數據都能夠輕松搞定，都能夠對資源數據進行分類和匯總集成，并對本身資源進行合理分配和調度。

1 云計算

云計算是一種分布式計算方式，是傳統計算方式加上云形成的一種新型的現代資源共享技術。同時，云計算也是一種定價方式，是依據用戶使用量的多少定量付費，在短時間內根據需要提供相應的服務，實現高效的應用和資源共享。

1.1 云計算特征

1.1.1 硬件成本低

云計算主要使用大量廉價服務器作為硬件設備，在很大程度上有效降低了硬件成本，在云計算環境下，高效應用與壓縮成本不再是矛盾。

1.1.2 高可用性

所謂的高可用性，是在云服務器中使用虛擬化技術把實體物理機資源虛擬化或者使用遷移技術把單一固化服務內容發展為計算服務和重復利用狀態，實現數據移植的高可用性，為數據的應用提供了更為廣闊的發展空間。

1.1.3 高可擴展性

為了適應負載變化，服務規模將在時間上快速靈活地擴展。同時滿足不同用戶的不同需求，避免資源浪費和服務質量下降[1]。

1.1.4 可測量性

根據不同的服務類型，服務收費標準也不同。云計算將監控服務資源，并隨時向用戶和服務提供商發送監控報告，使其更加透明。

1.1.5 高可靠性

使用冗余確保數據的可靠性。當云計算檢測到故障節點時，會充分利用冗余數據保證正常運行，從而提高服務質量，防止出現傳統計算機因為故障導致數據丟失的情況。

1.1.6 面向服務云計算面向用戶提供透明服務內容機制。在基于SOA架構中，松耦合性和統一接口組件的方式。

1.1.7 按需服務

云計算提供的服務以用戶需求為唯一依據，可以及時釋放未使用的資源，高效率服務于用戶的需要，為用戶提供內容服務機制。

1.1.8 規模經濟

云計算通?；诖笠幠ＹY源，并利用大規模集成的效果來降低用戶的使用成本，使得用戶用更為低廉的成本享受更加優質的服務。

1.2 云計算的服務特性

1.2.1 基礎設施即服務

作為最接近物理硬件資源的底層服務，云計算架構側重于使用虛擬化技術消除底層硬件異構性，并將物理資源虛擬化為用戶可用的公共資源。這些資源包括存儲、計算、網絡、OS（操作系統）等資源內容。同時，基礎設施即服務還增加了按使用量計費的功能。另外還能實現客制化細則即客戶根據自己的真實需求獲得相對應的系統資源。然而，用戶無法控制基礎設施即服務云平臺的底層設備。對于龐大的底層集群資源，如何高效地調度、分配和使用以及如何做好負載均衡是主要的研究目標。目前，各大IT公司和云計算研究機構正在討論適當的資源調度和分配的研究課題，以期讓云計算為企業發展帶來騰飛的機會。

1.2.2 平臺即服務

平臺即服務是對資源的更深層次的抽象。該服務模型隱藏了基礎設施作為云用戶服務的實現細節。整合底層硬件資源后，以平臺即服務的形式提供給云用戶，包括服務器、程序運行環境和數據庫服務器。云用戶只需要按照相關規則部署和開發應用程序。在當前時期，國內和國外最流行的經典平臺有很多，包括基于PAAS（平臺即服務）的谷歌應用引擎平臺（GAE）、微軟的Windows Azure 平臺和阿里巴巴的阿里云引擎ACE（阿里云引擎）。

1.2.3 軟件即服務

軟件即服務是采用封裝工具，完成對定制服務封裝。其主要的目標依托現有云計算中的特定功能應用軟件完成封裝工作，并通過具有高度針對性的客戶端界面提供給云用戶。云用戶不需要購買、安裝，也不需要對購買產品進行后期維護。目前，該軟件即服務云平臺擁有著名的Salesforce Com 公司的在線客戶關系管理CRM 系統；國內阿里云的在線軟件服務，如營銷推廣和數據分析[2]。經過長時間的發展，云計算發展成為新一代計算模式，成為數據和服務的共享結合體。

2 云數據中心

云數據中心全稱為云計算數據中心，是一種基于云計算的體系架構，其在網絡、存儲和計算層面具有很強的松耦合性，模塊化集成度很高，也具有很高的虛擬化成分，而且在云數據中心中自動化程度很高。在云計算環境中，數據中心是由存儲資源、互聯網資源和計算資源組成的虛擬技術的非靜態資源庫。云計算的數據中心不僅僅是傳統意義上的存儲中心，是依托于傳統存儲中心對存儲數據進行數據處理?；谒囊幠４?、資源多和分配繁雜的現實情況，實現高分配、高速率和高安全的數據中心管理體系。那究竟怎么分配資源、如何提高資源利用效率并且大大降低能源損耗，已成為我國當前面臨的重要問題。每個數據中心都非常廣泛，可以根據業務活動進行有效的調整，進一步促進了業務活動高效靈活地運行。

云數據中心的特點之一就是高度虛擬化，不僅僅是系統虛擬化，還涵蓋服務器虛擬化、網絡虛擬化、應用虛擬化以及存儲虛擬化，從而滿足和適應所有客戶的個性化需求。另外一個特征就是自動化管理，同樣也包括系統自動化管理、服務器自動化管理、存儲自動化管理、網絡自動化管理、應用自動化管理以及相關業務的自動化管理。最后一個特點就是綠色環保和節能，根據有關資料顯示，云計算數據中心的指標是要達到綠色節能標準的，并且其PUR值不能高于1.5。

云計算數據中心與傳統的IDC的不同之處主要包括以下幾個方面：一是資源集約化程度和規模上的區別；二是平臺運行效率上的不同；三是服務類型上的不同；四是資源分配上的區別；五是在收費模式上的不同；六是對光學器件上的要求。資源集約化程度和規模上的區別主要表現在云計算的資源節約化程度是采用資源動態分配方式來實現，而傳統的IDC 服務是簡單集約，兩者在集約速率和規模上都存在很大差別。另外，云計算數據中心能夠實現對資源的短期快速再分配。云計算數據平臺具有更加靈活的資源應用技術，更加注重內部服務上的創新[3]。云計算數據平臺和傳統IDC 在資源分配上的區別是更新技術上的差別，云計算平臺是通過快速的技術更新實現資源應用的分配，從而降低資源閑置的狀況。傳統數據中心在收費模式上采用月度收費或者年度收費方式，對數據進行粗放型管控，從而造成很多資源的浪費。云計算數據中心的收費方式更加精細化。與傳統數據中心相比，云計算數據中心的器件密度需求更高，對元器件的集成度也要求越來越高。從這一方面來說，云計算的發展給器件帶來了全新的挑戰，對高密度的制造企業而言，這也意味著新的發展機遇。

3 云計算關鍵技術

3.1 虛擬技術

虛擬化技術可以把實體物理資源虛擬化為可調配的虛擬資源，并完成對虛擬資源進行合理分配，可以將多個虛擬資源進行有效的劃分。云計算的關鍵步驟是從硬件系統基礎上虛擬出若干個軟件程序，并且在系統中通過軟件調度器進行管理和調配，從而實現調度器通過對軟件程序的控制顯示硬件配置的管理，這是云計算的最重要的第一步，也是最基礎的一步?？傮w而言，虛擬機的運行機制都是獨立存在的。但是在實際運行過程中，這些虛擬機都是依托于物理機中實體內存資源。物理機被稱為宿主機，虛擬機被稱為客戶機。實現虛擬化的整個過程需要應用Hypervisor。Hypervisor 的中文內容為“超級監督者”，也被稱為VMM，英文全稱是Virtual Machine Monitor，中文含義是虛擬機監視器。Hypervisor 分為兩類內容，Hypervisor第一個運作方式是直接在物理機中運行，虛擬機是運行在虛擬機監視器上運行；第二個就是操作系統像Windows 和Linux 等運行在實體物理機中，之后Hypervisor直接運行在操作系統當中，在此基礎上直接生成虛擬機，并對虛擬機進行管控。

KVM（Kernel-based Virtual Machine）是目前最流行的虛擬化內容，KVM 的內涵是基于Linux 內核的虛擬機[4]。KVM屬于Hypervisor軟件，所提供的虛擬化更加深入和底層，但是存在一個缺點，就是非專業人士不太習慣使用這個虛擬化工具，對用戶交互界面不友好，不方便使用。

另外，為便于管理和維護，虛擬機上層設計了虛擬機管理層，虛擬化機制中又有一個重要的內容引入，就是OpenStack 云計算平臺，類似于一個商店，主要負責對各種系統資源進行調配，系統資源包括存儲資源、網絡資源等，但云計算平臺的虛擬化能力不是自身所具備的，其虛擬化能力出自KVM，除了KVM 還包括Xen等Hypervisor。

3.2 分布儲存技術

分布式存儲技術可以維護數據信息的完整性，并且還能維護數據信息的可靠性。這種存儲方式的應用可以有效地提高系統的質量和效果，避免服務器過載。主要涵蓋兩個方面的內容：第一，云計算環境下的數據容錯技術；第二，云計算環境下的節能技術。

（1）對于云計算環境下的數據容錯技術的解讀分為兩類，技術一是復制型容錯技術，技術二是刪除碼型容錯技術。復制型容錯技術相比較而言具有簡單方便性，但是需要建立一定的副本用于維持現有容錯性能。從另一方面而言復制型容錯技術有占據大容量資源的缺點[5]。復制型容錯技術能夠實行模塊化管理，即將個體數據分割存儲并在不同節點中存儲多個模塊，在缺少模塊的情況下也能夠對其余節點數據進行有效的利用，所以該技術能夠為用戶提供最大強度的需求內容，同時防止數據丟失和失效，能夠帶來很大的技術優勢。刪除碼型容錯技術的特點是不需要占有大容量資源，但是需要花費很大的時間去進行重復編解碼用于數據傳輸和存儲，所以對設備的性能有很大的需求。刪除碼容錯技術在存儲數據中對數據進行重新編碼，并對新生成的編碼重新排列和標識，這樣就會在存儲占用量上大大縮減其資源。另外，刪除碼容錯技術還可以用在數據復制和數據存儲的情況下，完成對數據量的最小化存儲，從而大大地提升數據運轉性能。

（2）云計算環境下的節能技術[6]。根據現有資料查閱，云計算環境中的數據存儲系統占據的能源消耗占比非常大，具體能超過全部能效的50%。節能技術在當今時代非常重要的研究方向，這樣不僅能有效地降低成本，從而實現利益的最大化，對數據需求量大的單位而言，會大大地壓縮生產成本，讓企業發展得更為順利。

3.3 數據管理技術

云計算通過處理數據集，并對處理過后的數據集進行詳細分析，從而篩選出具有價值的數據信息，挖掘所必需的數據信息。此部分是云計算的主要內容，也就是數據管理技術的核心內容，保證數據信息安全和可讀性。數據庫內容是存放數據信息的主要存儲地點。云數據管理技術是采用分布式技術，對大數據量進行分布式管理，從而能夠大大提升容錯能力，并且效率更加高效和便捷，為高效率的數據分析提供了應用渠道。

MVC模式是一種軟件的設計能力，也是一種處理數據的模式。隨著對客戶對資源的需求進行動態回應，發送不同的視圖到客戶端。應用程序被分離為三層，當系統需要做出改變時可能只需要修改其中一層就能實現，大大簡化了維護工作?？刂茖舆€可以實現對用戶請求的控制，一定程度上保證系統的安全性，簡化編程工作[7]。由于不同的層分別完成不同的工作，同一層的不同類具有某些相同的功能，有利于工程化地管理這些代碼，從而提高工作效率，防止因代碼管理造成工程的延誤。

4 云計算環境下資源調度關鍵技術研究

4.1 云計算環境下的資源調度概念

資源調度的概念是在具體的資源配置中，依據特定的資源配置規則和方法，在資源需求者之間進行資源調整的過程。在資源需求者中提交多個虛擬解決方案，每個任務都在系統中對應著相應的進程。

4.2 資源調度分類

首先，資源分配分為動態資源分配和靜態資源分配，所謂的靜態分配是指所有進程和程序在啟動之前就已經獲取了應該配給的資源。另外一種分配方式是動態分配，所謂動態分配就是當進行和程序啟動時候，系統依據進程和程序的資源申請資源的具體需求量分配資源。

其次，根據任務處理形式，可分為在線處理和批處理。在線調度是指系統在收到任務請求時，將資源信息分配作為一項重要任務。批量調度是在事件觸發時集中處理以前獲得的任務。

云資源提供商利用虛擬化技術將數據中心的物理資源虛擬化為虛擬單元，為云資源用戶提供服務，保證資源的安全。當多個云資源請求用戶同時申請服務請求時，形成資源競爭狀態。在資源調度過程中，不同類型的用戶對云中的各類資源有不同的需求，云存儲中各類虛擬單元的資源空間也不同[8]。為了實現每個資源請求者都能在自己的約束下獲得所需的資源，同時，為了最合理有效地利用云資源，設計更好的資源調度機制至關重要。

隨著博弈論的提出和對資源調度的有效探索，博弈論在經濟學和計算機科學領域得到了廣泛的應用。博弈論是為相互制約的多個競爭對手提供優化策略，最終達到局部優化和全局優化的效果。它完全適用于云計算中的資源調用問題，博弈論的使用不僅能夠實現全局優化的效果，而且會使個體發揮更大的效用。

5 結語

隨著計算機技術與網絡技術的不斷發展與互聯網用戶人數的不斷增加，整個網絡中流通的數據總量正在飛速地增長，在龐大的數據總量的背景之下，為信息消費者和生產者都帶來了新的挑戰，信息消費者從互聯網海量的信息中心挑選出自己感興趣的信息將變得更加困難；信息生產者將自身的所生產的產品通過互聯網準確地推送到目標用戶面前的過程也不再如之前一般，這個過程將變得十分困難。而云計算則是解決該問題的有效的手段之一。同時，云計算已經在工業界進行大規模應用，例如音樂推薦、商品推薦，因此在大數據云計算大環境下，我們需要強化對資源調度關鍵技術方面的研究，確保數據信息的安全性、在數據處理過程中的穩定性等內容，從而強化資源調度的集成化和平臺化。依據現有業務調整和需求內涵，在服務器端滿足在網絡、硬盤和CPU等方面的資源配置，支撐多種資源的狀態轉變，按需調配各個業務調配。