服務器虛擬化技術在NSTL的應用實踐

□ 張婧 關越 / 中國科學技術信息研究所 北京 100038

胡鐵軍 / 國家科技圖書文獻中心 北京 100038

服務器虛擬化技術在NSTL的應用實踐

□ 張婧 關越 / 中國科學技術信息研究所 北京 100038

胡鐵軍 / 國家科技圖書文獻中心 北京 100038

隨著網絡化、數字化文獻信息量的不斷增長，文獻信息服務機構的數據中心一般都會擁有一定數量的服務器和至少TB級的存儲容量。如何利用更有效的技術手段以支撐數據中心未來業務的快速發展與高效管理，構筑能夠更好地適應業務信息系統的平臺，使IT系統真正成為提升業務能力的競爭武器，是目前對IT系統進行虛擬化規劃改造的主要目標。本文介紹了NSTL利用服務器虛擬化技術開展的具體應用實踐。

虛擬化，數據中心，云計算，網絡

1 引言

服務器虛擬化技術旨在通過運用虛擬化技術充分發揮服務器的硬件性能，為信息化業務的快速部署提供標準平臺，降低IT固定資產的運營成本，對服務器資源、計算資源、存儲資源進行動態分配，從而提高資源的利用率。如今虛擬化已成為數據中心變革的助推器，越來越受到人們的廣泛關注。

NSTL數據中心擁有近百臺應用服務器，承載著文獻服務系統、數據加工、聯合聯機編目、文獻綜合等業務系統，數據量在逐年增長。2012年，NSTL在業務體系中部署了虛擬化，利用虛擬化技術將資源池化，增加了業務部署的靈活性和便捷性，縮短了應用部署周期，有效控制了設備采購成本，解決了原有系統中資源分布與應用需求不匹配及部署僵化的問題，并逐步實現了業務系統整合和數據的集中統一備份，為下一步向云計算邁進積累了寶貴經驗。

2 服務器虛擬化技術的優勢

傳統服務器與應用一對一的部署方式相對服務器虛擬化部署應用在資源的有效利用及系統的管理維護上，前者存在很多難以解決的問題，包括擴展性、可用性、靈活性、應用兼容性等問題。而這些問題在基于服務器虛擬化的基礎平臺系統部署規劃中能夠很方便地解決，并且效果十分明顯。在一個構建了彈性資源池的服務器虛擬架構中，用戶可以把資源看成是專屬于自己的，管理員則可在企業范圍內管理和優化整個資源。

虛擬化架構的優勢可以讓IT部門達成以下目標：

（1）實現TCO（Total cost of ownership）的節省

通過整合多個物理服務器到一個物理服務器，降低約40%的軟硬件成本；每個服務器的平均利用率從5%-15%提高到60%-80%。

（2）提高運維效率

將所有服務器的資源整合統一進行管理，并按需自動進行動態資源調配，無中斷的按需擴容，不再擔心舊系統的兼容性、維護和升級等一系列問題，業務連續性也會得到極大的保證。

（3）減少硬件支出

虛擬化技術可以將剩余的計算資源整合到一起再加以利用，硬件支出可以相對減少。

（4）滿足不同應用對系統資源的不同要求

采用虛擬架構后，由于每個虛擬機所需使用的系統資源都是由虛擬架構軟件統一進行調配，這種調配可以在虛擬機運行過程中在線實時地發揮作用，使得任何一個應用都可以有充分保證的資源來穩定運行。同時，某些應用在此時用不到的資源又可以被其他更需要資源的應用臨時借用過去，最大限度地提高系統資源的利用率。

圖1 虛擬化環境結構示意圖

圖2 虛擬節點集群單月CPU、內存、存儲性能圖表

3 NSTL虛擬化應用的特點

NSTL虛擬化環境由應用生產服務器（ESXi Server物理機）、虛擬數據中心管理服務器（vCenter物理機）、SAN存儲陣列、運維網關堡壘機和若干物理交換機構成。每臺物理服務器安裝有VMware vSphereESXi裸機虛擬化管理程序，配置了8個千兆網口，分別用于虛擬機的業務應用網絡、ESXi服務器的管理網絡、vMotion心跳網絡及容錯日志記錄網絡。每臺服務器通過HBA卡與存儲形成了冗余FC SAN環境。同時，還基于iSCSI協議，通過專用IP網絡形成了IPSAN環境，以增加虛擬化環境的靈活性和擴展性。另外，考慮到虛擬化環境中每個虛擬機的操作安全，在虛擬化環境網絡中還部署了一臺“運維網關”，實現對虛擬化環境虛擬服務器的訪問審計和運維安全管理。虛擬化環境結構示意圖參見圖1。

3.1 虛擬數據中心管理

VMware vCenter提供了功能較完善的圖形化的管理界面，可同時支持物理主機和虛擬機的管理。僅部署一臺vCenter Server就能夠實現所有虛擬機的日常管理工作，包括各虛擬機控制管理、CPU內存管理、用戶管理、存儲管理、網絡管理、日志收集、性能分析、故障診斷、權限管理、在線維護等。NSTL虛擬機CPU、內存、存儲容量使用分析參見圖2。

VMware vCenter還提供了富有彈性的資源池管理特性，每個資源池內的虛擬服務器可專屬使用該資源池內的資源而不被資源池以外的虛擬服務器所影響。利用這一特性并結合NSTL自身業務系統的需求，我們創建了面向業務屬性具有層次結構的共享資源池，使共享資源池內的虛擬服務器能夠按照不同的策略和業務負載情況動態地獲得計算資源。通過制定相關的資源分配策略，也使得在資源池內的虛擬服務器增加或減少CPU和Memory資源變得更加靈活。實踐表明，部署虛擬化架構一定要合理地利用資源池特性，才能有效地提高計算資源的效率和使用率。NSTL資源池劃分參加圖3。

3.2 虛擬化的計算資源

虛擬化環境主體初期采用了2臺vSphereESXi的物理服務器作為動態的虛擬化架構基礎。VMware vSphereESXi是一個強健的經過生產驗證的裸機虛擬化管理程序，它直接安裝在物理服務器上，統一管理物理服務器上可用的CPU、內存、網卡、存儲等資源。每臺物理機最大可支持64個虛擬機（理論值），這些虛擬機可共享物理機的處理器、內存、存儲和網絡資源，靈活地將資源調配給虛擬機，提高了硬件利用率。按照NSTL實際業務負載情況和應用部署需要，單臺ESXi物理服務器的虛擬機服務器部署能力可達到16：1，可最大化地利用計算資源。

圖3 NSTL資源池劃分

3.3 虛擬化的存儲資源

存儲是服務器不可或缺的重要組成部分，為了充分利用虛擬化軟件的各項增強功能，NSTL在虛擬化環境中采用的是FC/IPSAN的集中存儲融合方式：即需要高性能IO和穩定吞吐的業務優先通過FC SAN使用存儲資源，而IO需求較少、存儲量較大的業務使用IPSAN獲得較多存儲資源分配。為了滿足在線業務系統的需要，充分利用VMware虛擬架構中虛擬機可動態在線遷移的特性，配置冗余的交換機組成共享的SAN存儲架構，可以最大化地發揮虛擬架構的優勢，實現動態的資源管理（VMware DRS），為以后的容災提供擴展性打下基礎。

初期建設可用存儲空間共30TB，每個虛擬服務器的存儲資源標配為500G，標準空間部署模式為Thin Provisioning精簡置備。利用vCenter提供的可用存儲空間統計功能，當虛擬機需要更多數據存儲空間時，可以隨時進行擴容，而當前的操作系統基本都支持在線存儲容量擴容無須重啟。

在虛擬化環境存儲架構中，我們還基于NSTL業務應用的情況，充分考慮了以下因素：

（1）存儲架構的訪問路徑冗余、IOPS與吞吐量的需求；

（2）每個ESXi服務器內虛擬機并發IO隊列長度與HBA適配卡設置保持一致；

（3）根據應用需要設置LUN的RAID結構，對于隨機讀寫的數據庫如Oracle、SQL數據庫，則在LUN級別采用RAID10結構；對于數據庫日志通常為連續寫或恢復時連續讀，則在LUN級別采用RAID5結構。

（4）對于IO密集型的應用盡量采用單獨的VMFS存儲，避免在存儲端與其他應用產生IO爭用。

（5）多個虛擬機共用一個數據存儲或者多個主機共享一個數據存儲時，可以啟用存儲隊列QoS，確保核心應用的延時在可控范圍和對數據存儲讀寫的優先級。

（6）對于ALUA磁盤陣列（非雙活磁盤陣列），為了防止多路徑讀寫沖突，在多路徑策略選擇時設置為MRU（最近使用策略），該策略可以保證只有在某個路徑故障時才啟用另一個存儲處理器連接LUN。

通過“服務器群－SAN網絡－存儲池”的存儲架構為虛擬化應用平臺提供存儲資源，有效提高了存儲利用率，簡化了管理和維護的工作量，提升了虛擬化環境的擴展性和可靠性。

3.4 擬化的網絡架構

虛擬化平臺網絡構建在NSTL千兆城域網內，基于已有業務考慮，將它劃分成了管理網絡、VMotion實時遷移網絡、容錯日志記錄網絡和業務應用四個獨立網絡，業務應用網絡又包含了前臺業務和后臺業務。其網絡架構具有以下特點：

（1）管理網絡、前臺業務應用網絡和后臺業務應用網絡各自獨立。

（2）前臺與后臺業務應用網絡安全控制策略差異化。

（3）每個虛擬交換機配置兩個上行鏈路物理網絡端口，冗余策略遵循在不同PCI插槽的物理網卡之間配置。

（4）物理交換網絡進行冗余設置，避免單點故障。

（5）對多個端口捆綁做負載均衡，滿足大吞吐量和高并發網絡帶寬使用要求。

（6）虛擬交換機端口啟用802.1q的VLAN標記，按業務需求創建專有VLAN。

通過上述網絡架構設計方式，虛擬化環境能夠靈活地為NSTL城域網用戶提供虛擬化資源服務，既能滿足NSTL前臺業務，也能滿足后臺業務的應用部署需求，且在NSTL網絡安全策略的保護范圍之內。ESXi服務器網絡示意圖參見圖4。

圖4 ESXi服務器網絡示意圖

圖5 安全審計系統

4 虛擬化環境中的運維安全

虛擬化環境中的運維管理比單臺服務器的維護管理復雜度要大得多，涉及了系統、網絡、應用、數據庫、中間件等多種應用，涉及的運維人員也分散在不同的部門，其維護的操作也是多樣化的，可以是Telnet、SSH、http、https、FTP、遠程桌面、KVM終端維護等。對于X86系統每臺虛擬服務器還需要考慮防病毒和系統補丁等問題。因而，做到對虛擬化服務器中各類設施的安全監控和對操作行為的審計，避免出現問題卻無法追溯的情況發生，是實施虛擬化建設值得關注的問題。

4.1 運維審計

為了降低運維風險， NSTL在實際應用中采用了運維堡壘機對虛擬化中的各類主機、應用系統實行訪問控制和運維操作審計。起著操作網關作用的運維堡壘機能實現對人員、設備、操作行為等諸多要素的統籌管理和策略定義。因此，建立一個具有完備控制和審計功能的管理系統可為虛擬化業務提供安全保障。安全審計系統示意圖見圖5。

運維堡壘機采用“操作網關”的模式實現集中管理。這種部署模式的優點是在部署過程中無需在被管理設備上安裝任何代理程序或插件，也不需要調整設備之間原有的網絡架構，對用戶當前的運維環境幾乎不會造成任何影響。用戶使用唯一的帳號登錄到運維操作管理系統中，系統會根據預先設置好的訪問控制規則，提示用戶選擇可以訪問的目標設備和相應系統帳號，用戶選擇后自動登錄到目標設備。運維堡壘機同時記錄了用戶的全部操作過程，可對操作過程進行回放。通過部署運維節點機達到了以下目的：

（1）實現單點登錄

全部運維人員集中通過運維管理系統來管理后臺的服務器、網絡設備等資源，同時對運維人員進行統一的身份認證。

（2）實現統一授權

統一部署訪問控制和權限控制等策略，保證操作者對后臺資源的合法使用，同時實現對高危操作過程的事中監控和實時告警。

（3）快速定位問題

對操作人員原始的操作過程進行完整的記錄，并提供靈活的查詢搜索機制，從而在操作故障發生時，快速地定位故障的原因，還原操作的現場。

（4）簡化密碼管理

實現賬號密碼的集中管理，在簡化密碼管理的同時提高賬號密碼的安全性，滿足等級保護安全要求。

4.2 病毒防護措施

計算機病毒對應用系統的危害極大，常見的傳播途徑一種是通過存儲介質進行傳播，另一種是通過網絡惡意傳播。對此，NSTL在部署虛擬化環境時也從多個維度采取了安全防護措施。

（1）首先基于業務配置了兩個網絡既前臺網絡與后臺網絡，將這兩個網絡的設備分別連接到不同的物理接入交換機上，依托NSTL城域網對于前后臺網絡的安全策略，實現基本的網絡安全保障。再將前后臺網絡分別劃分各自的VLAN，而對于運行在虛擬化環境中的虛擬機還可再進行邏輯上的劃分，通過VLAN間的訪問策略進行本地的安全控制。

（2）VMware Tools是一個驅動程序和實用程序的集合，每臺虛擬服務器上都安裝了Vmtools工具，利用Vmtools禁止兩臺虛擬機之間的文件共享，以及相互間的復制和粘貼等操作，在一定程度上可降低病毒傳播的風險。

（3）預先配置好操作系統模板，安裝專業殺毒軟件并定期更新這些模板的補丁和病毒庫，以降低系統風險，實現應用的快速部署。

（4）利用Esxi服務器的內置防火墻策略對虛擬化環境中的關鍵服務通信進行監控，控制入站和出站連接。

（5）利用運維網關的代理審計功能對虛擬機文件傳輸實現安全控制。

隨著網絡安全問題的日趨嚴重及新型安全風險的出現，需要持續關注虛擬化環境的網絡安全問題，在規避傳統網絡安全問題的同時，還應對未來網絡安全可能出現的風險未雨綢繆，以增強虛擬化環境的安全防護能力，保障虛擬化平臺的穩定運行和應用安全。

5 服務器虛擬化技術在NSTL應用的思考

服務器虛擬化技術有各種優點，但是在實際應用中也存在著運維難度高、應用對虛擬化服務器的適應性、虛擬層升級帶來的應用維護的復雜度等諸多問題。比如：

(1) 虛擬機的模板在制作過程中如果激活了操作系統，當從模板部署虛擬機后，新產生的系統仍然為激活狀態，從而導致存在不符合軟件正版化的風險。

(2) 隨著時間的推移，需要不斷更新虛擬硬件驅動、操作系統補丁和病毒庫，從而導致所有虛擬機和模板需要運維人員和應用人員共同參與處理，增加復雜性。

(3) 某些商業化應用軟件需要廠商根據硬件環境生成運行許可，由此會導致虛擬化的功能特性無法實現。

(4) 管理手段相對滯后，傳統數據安全技術尚不能完全適應虛擬化環境，導致數據安全保護手段與虛擬機環境不匹配，可能影響到數據安全。

以上羅列了一些在實踐中碰到的實際情況，有些是傳統管理方面對虛擬化新技術帶來變革的不適應，有些也確實是虛擬化技術產生的需要應對的新局面。因此，還需要在實踐中不斷地總結和完善。

6 結語

目前，NSTL 雖已實現基于虛擬化環境的在線業務系統的各種應用服務，但仍有許多工作尚待完善。虛擬化環境有別于傳統的物理服務器環境，維護人員對虛擬化環境中的虛擬設備和運維管理中的角色等存在認知差別，只有準確把握各個角色職責，逐步規范管理流程和制度，才能使虛擬化應用在使用和管理上更加高效便捷。同時，虛擬化平臺的投入使用，也給以往的IT運維習慣帶來了很大的挑戰。NSTL必須積極應對這種挑戰，通過技術手段、管理制度、人員培訓等保障虛擬化平臺持久、穩定運行，從而實現部署虛擬化平臺的階段性目標。

[1]魯松.計算機虛擬化技術及應用[M].北京:機械工業出版社,2008:32-48.

[2] NSTL數字業務服務平臺備份體系系統設計方案，2011

[3]虛擬化是實現數據中心云計算的基礎[EB/OL].[2013-03-02].http://www.jifang360.com/news/2010816/n73639209.html.

The Application of Server Virtualization Technology in NSTL

Zhang Jing, Guan Yue / Institute of Scientiflc and Technical Information of China, Beijing, 100038
Hu Tiejun / National Science and Technology Library, Beijing, 100038

With the rapid growth of networking and digital information.,In general, its data center has numerous servers and at least terabytes of storage. Accordingly, it will be the main objective of virtualization planning of IT systems, which is about how to use more effective techniques to support rapid development and efflcient management of data center in the future. That is for establishing a platform that well adapts business information systems, and makes IT systems become real competitive tools for enhancing business level. This article describes the concrete practice of NSTL in using server virtualization technology.

Virtualization, Data center, Cloud computing, Network

10.3772/j.issn.1673—2286.2013.11.011

張婧，高級工程師。研究方向：計算機網絡安全等。E-mail:zhangj@istic.ac.cn

關越，系統管理員。研究方向：網絡安全、虛擬化技術。E-mail:guany@istic.ac.cn

胡鐵軍，研究員。研究方向：計算機網絡建設與管理、文獻信息基礎理論研究與建設。E-mail：hutj@nstl.gov.cn

2013-05-30）