蘇州工業園區TierIV標準數據中心供配電系統設計

傅衛東 / 張 淵（蘇州工業園區設計研究院, 江蘇 蘇州 215021）

1 項目及建設標準簡介

近日位于蘇州工業園區獨墅湖畔的蘇州工業園區綜合數據中心正式投入運營，成為工業園區重要的公共技術服務平臺，填補了工業園區數據中心增值業務的空白。該數據中心建筑面積約4.2萬m2，分兩期進行建設。第一期建筑面積1.8萬m2，其中機房區域1.08萬m2，設施配套區域7200 m2，最大可配置標準機柜1694個。

難能可貴的是該綜合數據中心投運之前已經順利通過由國際正常運行時間協會(The uptime institute,UI)組織的關于數據中心的設計等級認證，據報道該中心是亞洲首個獲得TierIV級別設計等級認證證書的數據中心。

Tier標準指的是《ANSI/TIA-942-2005數據中心用遠程通信基礎設施標準》，該標準是世界上第一部較為全面地以數據中心為對象的技術標準。標準中以數據中心基礎設施的“可用性(Availability)”和“安全性(Security)”為主要指標，將數據中心由高到低分為以下4 個等級，分別為TierIV，III，II，I。其中的TierIV標準相當于國內的GB50174-2008 《電子信息系統機房設計規范》內的最高標準的A級機房標準，而且在某些方面要求更加嚴格。

數據中心等級認證級別越高，標志著數據中心成熟度越高，能夠提供的服務也就越安全穩定，當然單位面積的造價也就越昂貴。正是由于TierIV級別在基礎設施建造上的高要求和高成本投入，全世界能夠成功通過該級別標準的企業不足10家。在這一點上蘇州工業園區綜合數據中心實現了我國數據中心的一個新突破。作為建設方聘請的顧問公司和機房區的承包方，某國際知名IT企業的全球服務部全程參與了該項目，而作為項目的設計方筆者所在的蘇州工業園區設計院完成了除機房以外的所有區域包括變電所、發電機房的設計。在此僅將設計中的一些體會寫下來供大家參考。

2 TierIV 標準的電氣供電一般要求

TierⅣ認證的數據中心要求具有容錯結構，系統設計需要避免出現單點故障，所有電力系統，包括備用電源都是全冗余的。允許對重要負荷進行有計劃（不會中斷系統）的操作。容錯功能需要至少能經受住一次最重要的意外事故（操作失誤、設備故障、外電源中斷、維護和檢修等）而不會中斷電子信息系統的運行，能提供99.995%的可用性。具體來說對于電氣系統的要求一般有以下幾項：

1） 市電接入兩路主供

2）變壓器容量配置 2N，即全冗余

3）備用柴油發電機配置不低于N +1

4）發電機燃料儲量 不小于 96h

5）電氣系統允許并行檢修

6）單位面積供電密度不小于 1.5kW/m2

7）UPS系統容量配置 2N，即全冗余

8）獨立雙電源路徑至PDU

9）空調設備供電2N，即全冗余

10）冷水主機配置不低于N +1

11）精密空調末端配電不低于 N+1

12）自動化配電集中監視系統

以上要求的后6項屬于機房區域的工作范圍，一般由專業公司來完成，這里僅重點介紹一般需要由設計院完成的前6項。

3 數據中心供電設計方案

3.1 負荷分析及UPS配置情況

按照機房區設計方IT公司提出的要求，一期工程中安裝的網絡機柜及服務器機柜總用電量為6314kW，考慮到80%的負載率及0.8的功率因數，IT公司選擇的為機柜服務的UPS的實際需要容量為10000kVA，UPS按照2N的原則配置，即總配置容量為20000kVA。為機房區服務的冷凍機、冷凍水循環泵、冷卻塔、冷卻水循環泵、機房空調箱、機房精密空調等設備的總負荷為2385kW，其中冷凍水循環泵、機房空調箱、機房精密空調設備由于與機房溫度密切相關，一旦停止工作將因機房內1500多臺服務器機柜的巨大散熱導致機房溫度迅速上升，并很快即會超過服務器的臨界工作溫度從而間接導致系統中斷運行。所以IT公司也要求配置UPS供電，其負荷為643kW。為了降低啟動電流，這部分負荷里所有風機及水泵均采用變頻或軟啟動，同樣考慮到80%的負載率及0.8的功率因數，按照2N原則需要為該部分負荷配置2×1000kVA UPS。UPS電池供電時間均按照15min考慮。其他負荷包括機房區域照明及機房以外的辦公區空調、照明、風機、防排煙設備及消防水泵等設備，該部分負荷容量約為1600kW。

3.2 變壓器配置

考慮到UPS的性價比，IT公司最終選擇了500kVA/臺的UPS來搭建整個UPS供電系統，為機柜區服務的20000kVA UPS按照2000kVA一組分成了10組，10組里又按照100%冗余原則分為A、B兩路，每路五組共10000kVA。因為在選擇UPS時已經考慮了負載率，因此在選擇變壓器時容量不再放大，每組UPS由1臺2000kVA的變壓器供電，為機柜區服務的變壓器總共為10×2000kVA。 接下來是為數據中心服務的輔助設備供電，經過計算2N或2（N+1）配置的冷凍機、冷卻塔、冷卻水泵每組運行負荷為1780kW，每組由1臺2000kVA變壓器供電。2N或2（N+1）配置的冷凍水循環泵、機房空調箱、機房精密空調設備再加上其他負荷每組由1臺2500kVA的變壓器供電。這樣我們得到了總的變壓器安裝功率為10×2000kVA+2×2000k VA+2×2500kVA=29000kVA，14臺變壓器和UPS機組一樣分成100%冗余的A、B兩路，每路7臺，安裝容量為14500kVA。

3.3 發電機選擇及配置

按照本文第二節里提到的TierIV標準里對發電機配置的要求是不低于N+1，事實上經數據中心建設方的要求，最后是按照2N的標準來進行設計和土建預留的。發電機和變壓器一一對應，一樣分成了100%

冗余的A、B兩路，每路7臺。由于發電機需要100%地承擔相對應的變壓器的荷載，因此每臺按照常用功率

2000kVA(備用功率2000kW)來選擇。只不過項目初期考慮到造價的因素，只配了A路的7臺發電機，B路的7臺發電機電源配出屏本期才安裝到位，通過聯絡母線與A路相應發電機組聯絡，并從本路的發電機電源配出屏向B路負荷供電。將來需要時可以在最短的時間內迅速安裝B路的7臺發電機組。因為建筑空間的限制，發電機房只能布置在地下一層，考慮到發電機組散熱時需要的巨大風量不可能通過自然進風來解決，故采用發電機散熱器遠置的方案。散熱器均安裝在四層屋面上，通過閉路的冷卻水管路來進行循環散熱，而地下室發電機房內進風量僅需要考慮發電機燃燒時的新風量及少量的機組輻射熱即可。

3.4 發電機儲油量計算及室外油罐配置

查閱各大柴油機廠家提供的資料，2000kW備用功率的柴油發電機每小時的耗油量約為500L，A路7臺備用發電機48h的耗油量總和約16.8萬L，因此需要在室外為A路發電機建造180m3的地下儲油罐。B路7臺備用發電機同樣需要180m3的地下儲油罐，并且與A路發電機的油罐埋地距離保持15m以上的安全距離。因為每路發電機的室外油罐均能滿足100%的負荷運行48h的要求，故兩個室外油罐的總儲量可以滿足TierIV 標準里的發電機96h運行的要求。

3.5 20kV市電接入設計

按照TierIV 標準要求應從兩個獨立的電網變電所的專用輸出回路上分別引入一路市電電源，以專線方式沿不同的敷設路由引接至數據中心。每一路市電電源的供電容量應能滿足全部負荷的需求，即應為全冗余，并且兩路市電應同時供電運行。 本項目一期安裝了14臺變壓器，兩路市電每路需要連接7臺變壓器，安裝容量14500kVA。當然由于在變壓器的配置上已經采用了2N的形式，故高壓側不再需要聯絡。

14500kVA的變壓器裝機容量已經超過了常規10kV 系統單路供電的上限，對于這樣的供電容量在國內絕大多數地區是需要以35kV及以上電壓供電的，大多數情況下均需要建造一所35kV或110kV降壓站。然而幸運的是本項目建設地點正好位于蘇州工業園區的核心區內，而該園區自1994年開始開發建設以來一直采用20kV中壓系統進行供電。對于20kV系統而言，單路專線供電的上限為16000kVA，14500kVA正好處于單路供電的上限以下，因此兩路20kV專線即輕松地解決了供電的問題。不過為了滿足從兩個獨立的電網變電所引來專用輸出回路的要求，雖然數百米之外的一座供電局110kV降壓站內兩段不同20kV母線上可以分別提供一路20kV專線，但是經過權衡最終還是只從該降壓站引來了一路20kV專線，另一路20kV專線則是多花了數百萬投資由數公里之外的另一座220kV降壓站里引來的。至于數據中心的二期供電問題，存在兩種可能，一是極有可能在工業園區政府的大力支持下，二期再由供電局的兩個不同的降壓站引來兩路 20kV專線，但前提是每路容量不超過16000kVA。二是一旦二期的專線容量超過單路供電上限，在二期再建設數據中心專用的110kV/20kV降壓站，由降壓站的20kV 母線上分別向一期二期的變電所供電。即使是按照最壞的打算最后仍然避免不了110kV 降壓站的建設，但是畢竟是為數據中心的建設方贏得了寶貴的經營時間和極大地節約了初期的建設投資,這也從一個側面體現了蘇州工業園區20kV中壓配電系統的優越性。

4 供電設計具體分析

數據中心整體供電的系統框架圖如圖1所示。

從圖1中可以看到，所有電氣設備按照100%冗余的原則分為互相對稱的A、B兩路，其中T1～T10是為服務器機柜UPS 服務的變壓器，每臺變壓器容量2000kVA，各帶2000kVA 的UPS。T11、T12 是為數據中心服務的冷凍水循環泵、機房空調箱、機房精密空調設備及其他輔助用房及建筑物消防負荷服務的變壓器，每臺容量2500kVA 。T13、T14是為數據中心服務的冷凍機、冷卻塔、冷卻水泵供電的變壓器，每臺容量2000kVA。發電機組目前是先裝備了A路的7臺，其中1#、3#、5#、7#、9# 發電機為服務器機柜UPS 服務，11#、13#發電機為數據中心配套及消防負荷服務，并且需要并列運行。

下面以T1、T2變壓器為例，對系統的設計進行具體分析。

從圖2我們可以看到T1、T2變壓器分屬不同的設備組別A、B，互為備用，各帶一組4×500kVA 的UPS，UPS同時也互為備用。T1、T2一一對應發電機組1#、2#，（2#發電機暫不安裝）。變壓器間設低壓聯絡，發電機間也設低壓聯絡，發電機和對應的變壓器間通過自動切換開關連接。為了消除單點電氣故障，滿足Tier IV標準中電氣系統允許并行檢修的要求，采取了以下的措施： 1）為了在兩臺變壓器同時帶電的情況下檢修和測試聯絡母線，在變壓器聯絡母線的兩端均需要安裝斷路器，而不像常規設計那樣僅在聯絡母線的一端設斷路器，而發電機的聯絡母線因為發電機平時不帶電故僅在一端設斷路器即可。 2）發電機和變壓器之間的ATS需要采用帶旁路維修功能的自動切換開關，該類切換開關除了滿足當市電斷電時自動切換至柴油發電機供電的功能外，還可以做到在自動切換開關處于抽出狀態維修及維護時,仍然可以通過內置的旁路隔離開關的手動選擇來實現正常供電及發電機供電的功能，從而使ATS維護時不間斷供電成為可能。3）UPS需要設計維修旁路，并且主回路、旁路應由不同母線專用供電。因此設計中選用了兩條母線同時供電至UPS并聯機組前后的兩段母線上，以滿足旁路開關合上后可以不停電進行檢修及維護UPS機組的要求。

最后結合變電所的平面布置，簡述對土建設計上的要求。

從圖3可以看到A、B兩路高低壓設備需要嚴格分開，中間必須設防火墻及防火門隔開，變電所設在地面1層，以成品架空地板向上抬高了1m。發電機設在地下1層，由發電機引至ATS的母線及A、B兩路變壓器間的聯絡母線均在1m的架空地板下敷設，而引至UPS機組的母線及旁路母線均從柜頂出線，從而有效地減少了管線的交叉。由于使用了大量的UPS，盡管各大UPS廠家均聲稱可以將波形畸變率THD%控制在5%以內，考慮到將來一旦諧波超標會帶來嚴重影響，故仍在變電所里預留了有源動態濾波裝置的安裝位置，一旦實測波形畸變率不能滿足系統正常運行的要求，可以有補救的余地。 在整個建筑物里設備機房及管井的設置上，也依然按照A、B兩路完全分開的原則設置各自獨立的UPS間、電池間、UPS 配電豎井、強電井、電信接入室、網絡管井，甚至是各自獨立的水管井、氣體消防管井、樓層新風管井…

5 供電母線及電纜的選擇

鑒于本工程里為數據機房服務的UPS電池間及制冷機房等均位于地下室，且與位于1層的變電所并不貼鄰布置，故由變電所引至上述機房的大電流母線在地下室敷設時有相當長的一段距離是安裝在機房以外沒有防火防護的空間里的，而3150A的電流是幾乎沒有可能用防火電纜來進行傳輸的。在以往的設計中往往也只能選用普通的母線來配電，因為市場上沒有這樣大容量的防火母線。為此這里也往往成為整個配電系統設計里最為薄弱的環節，一旦地下室發生火災，就有可能因為母線故障造成整個供電系統的完全崩潰，從而使之前在電力系統里設計的多重冗余統統失效。 那么這個問題究竟有沒有更好地解決方案呢？筆者在設計階段通過多方尋找及實地考察后了解到某知名國際母線公司剛剛由國外引進了一條LR環氧澆注式母線生產線，該母線采用環氧樹脂和定量特選的礦石混合材料相混合，制成高效絕緣材料將銅導體直接澆注密封，根據GA537-2005 “ 母線干線系統（母線槽）阻燃防火耐火性能的試驗方法”測試，在溫度達到1000℃時，可繼續供電約60min，同時因為絕緣材料里不含鹵素，即使燃燒也不會發出有毒、有害的氣體。因此本工程的2500m母線全部采用了該型母線。除了解決了防火的問題，在母線安裝完畢以后時值蘇州六月份的黃梅天。還發現了一個意想不到的好處，因為該型母線是完全密閉的澆注母線，防護等級達到了IP68，因此可以絲毫不擔心黃梅天地下室里正常通風系統尚未運行時的潮氣，哪怕是母線表面上已經有密密麻麻的一層結露，也絕不用擔心母線的絕緣性能受到影響。

數據中心里其他重要設備的配電干線電纜大部分采用了礦物絕緣電纜，總的安裝長度超過了3萬m。礦物絕緣電纜的防火能力是目前電纜里最高級別的，大量地在干線系統上的使用給予了整個電力傳輸系統以極高的可靠性。不過這里需要指出的是上述兩種母線和電纜的敷設難度要較常規的母線和電纜大得多，施工前需要有足夠的思想準備。

6 小結

該數據中心項目于2008年6月完成設計，2010年8月正式投入運營。一期工程僅1.8萬m2的建筑面積造價即達到了4.5億，這還是在一半發電機組和部分樓層UPS機組及服務器機柜尚未安裝到位的情況下的造價。盡管如此，單位面積的造價也達到了2.5萬元/m2, 單位面積的供電密度是1.61kVA/m2。這確實是一個高投入的產業，需要有絕對實力的公司來建設。不過考慮到它將產生的巨大社會效應以及在數據應用、數據備份及災難恢復等多方面產生的作用，這些投入又是值得的。近年來越來越多的地方在興建各種不同規模和等級的數據中心，也印證了數據中心需求的旺盛。本文對TierIV數據中心的供配電設計的簡單介紹，也是希望能對今后類似的設計有所幫助。

[1] ANSI. ANSI/TIA-942-2005數據中心用遠程通信基礎設施標準[S].

[2] 中華人民共和國工業和信息化部. GB50174-2008電子信息系統機房設計規范[S].北京: 人民出版社, 2009.