間接蒸發冷卻空調箱機組制冷的數據中心氣流組織探討

肖新文 魏 贈 曾春利

間接蒸發冷卻空調箱機組制冷的數據中心氣流組織探討

肖新文 魏 贈 曾春利

（世圖茲空調技術服務（上海）有限公司 上海 201108）

以6SigmaRoom仿真軟件對間接蒸發冷卻空調箱機組運用于數據中心的三種常用的送回風方式按照機組全部開啟及備用機組故障不開啟兩種不同運行模式進行了CFD氣流組織模擬。通過分析氣流模擬得出的溫度場及流場發現，機組全部開啟時，三種送風方式都具有良好的溫度場及流場；而備用機組故障不開啟時，高架地板下送頂回、側送側回兩種方式仍滿足冷通道溫度要求，頂送頂回方式局部冷通道區域不滿足國標溫度要求；綜合考慮不同運行模式下溫度場及流場的模擬結果，高架地板下送頂回的氣流組織最佳。

數據中心；間接蒸發冷卻；空調箱機組；CFD模擬；氣流組織；節能

0 引言

空調箱，也叫做組合式空調機組，由許多功能段（混合段、過濾段、冷水盤管、熱水盤管、風機段、加濕段、出風段等等）自由組合而成，可對空氣進行加熱、冷卻、除濕、空氣凈化、消聲等多種處理[1]?？照{箱機組按照用途特征分成通用機組、新風機組、凈化機組及專用機組[2]，運用于數據中心的空調箱機組就是一種專用機組。數據中心行業國際上主流標準ASHARE TC 9.9 2004更新成ASHARE TC 9.9 2008版本，國內GB 50174-2017《數據中心設計規范》正式落地，國內外標準變化的核心在于放寬了溫濕度的要求，最新國標要求服務器機柜進風溫度在18～27 ℃之間，濕度可以在相對濕度不大于60%，同時滿足露點溫度在5.5～15 ℃之間[3]。寬泛的溫濕度要求為使用帶自然冷卻的節能型空調箱（如間接蒸發冷卻機組）創造了先決條件；空調箱通常放置室外設備平臺、屋頂或者專門的空調機房，安裝及維護空調箱機組對于數據中心本身基本無干擾，而且空調箱的制冷量比較大，模塊化機組，機組數量少，維護量??；大型互聯網IDC數據中心對于空調箱節能新技術的使用趨之若鶩，也推動了數據中心行業使用空調箱的發展潮流?；谝陨显蛟絹碓蕉嗟臄祿行牟捎每照{箱機組進行制冷[4-6]。依據嚴瀚工程經驗分析：空調系統理論PUE因子與實際PUE因子之間的巨大差異就是在于無形的氣流組織部分[7]。故選擇合適的氣流組織減少機房氣流渦流避免空調箱機組風機做無用功有利于機房節能，降低機房實際運行PUE值?？照{箱機組通常應用于中大型數據中心，其采用的氣流組織有別于行間空調的水平送風，也與傳統機房空調不盡相同。究竟怎樣的氣流組織最合適空調箱機組采用，本文將對此進行分析及討論。

1 應用背景

1.1 數據中心氣流組織

數據中心傳統機房空調通常有多種型式的氣流組織，葉明哲[8]綜合對比了上下送風分別4種形式的氣流方式，對部分下送風氣流組織進行了推薦，易伶俐[9]認為：上送風方式適用于對送風量需求小或者機房調整少的小型數據中心；地板下送風方式適合中小型數據中心；列間空調送風方式適合大型的或者有擴容需求的數據中心?？照{箱在數據中心的運用伴隨節能而來，其在數據中心的氣流組織受到業界廣泛的關注[10-12]。間接式蒸發冷卻具有良好的節能效果，成為三部委聯合發布的《關于加強綠色數據中心建設的指導意見》中重點推薦的綠色數據中心先進適用技術[13]，相關研究表明全國各地均可使用間接蒸發自然冷卻空調箱機組[14]。間接蒸發冷卻空調箱機組屬于蒸發冷卻機械制冷聯合空調機組，機組核心部件是空氣-空氣換熱器，機組在空氣—空氣換熱器的中間配置霧化噴嘴，空氣隔著鋁翅板壁進行換熱，兩側的空氣完全隔離，獨立循環，室內外空氣品質不相互干擾。機組以間接蒸發冷卻為主輔助機械制冷，依據蒸發冷卻及機械制冷的開啟情況分為干模式、濕模式及混合制冷三種運行模式。根據不同的應用場景間接蒸發冷卻空調箱機組室內側的送回風口有下送下回、下送側回、側送側回及側送頂回等不同布置方式。封閉熱通道直接將冷風與設備散熱面進行對流降溫，其制冷效果比較明顯，且數據機房設備散熱量不影響室內其他區域[15]。封閉熱通道后機組回風溫度高，不僅有利于提高制冷系統效率，而且可延長自然冷卻運行時間，是空調箱回風的優選方案。目前間接蒸發自然冷卻空調箱機組制冷的數據中心的氣流組織主要有高架地板下送頂回、側墻送頂回及頂送頂回三種方式，本文將對這三種氣流組織方式進行CFD模擬及探討。

1.2 數據中心氣流組織分析工具

計算流體力學的通用軟件種類很多，如化工領域常用的Phoenics、Fluent及CFX，如側重于固體傳熱和應力應變分析的ansys及主要用于氣流組織模擬的airpak[16]。國內清華大學建筑技術科學系開發了的通用三維流體流動與傳熱數值計算軟件STACH-3專門針對暖通空調領域的通風、空調房間內以及室外微環境的模擬仿真問題。針對數據中心通信機房氣流組織和溫度及流場分布的研究，目前主要的CFD軟件有 Fluent、Flotherm、Flovent和6SigmaDC，6SigmaRoom仿真軟件更加適合數據中心房間內的氣流組織分析研究[17]，本文亦采用6SigmaRoom仿真軟件進行氣流組織分析。

2 氣流組織CFD模擬及性能分析

2.1 CFD模擬邊界條件簡述

2.1.1 樣本數據中心物理模型

樣本數據中心機房長為26.5 m，寬為18 m，面積為477 m2，房間凈高（高架地板至天花板）為3.5 m，吊頂高為1.5 m，高架地板高為1 m。單個機柜尺寸為600 mm（寬）×1 200 mm（深）×2 500 mm（高），熱負載為3.5 kW，合計共200個，不考慮圍護負荷，合計熱負載為700 kW。服務器負載放置在0.8 m高度以下，冷熱通道均為1.2 m，每列布置10個機柜，南北方向（數據中心寬度）上布置兩列機柜，兩列之間預留1.8 m，機柜與側墻之間距離2 m左右。依據GB 50174-2017《數據中心設計規范》A級機房要求，設計送風溫度23 ℃，回風溫度為35 ℃。不考慮梁、柱對于機柜及空調箱機組布置的影響，數據中心機柜平面布局如圖1所示。

圖1 樣本數據中心機柜平面布局圖

2.1.2 三種氣流組織邊界條件

高架地板下送頂回方式將8臺空調箱機組放置在數據中心機房的兩側，按照7+1配置；每臺機組額定制冷量為100 kW，額定風量為25 000 m3/h?？照{機組的出風通過風管接至高架地板下，每個機組接在高架地板下的出風口尺寸為3 320 mm（寬）×1 000 mm（高），氣流方向與機柜擺放方向平行，每列機柜正前面布置1塊通風地板，地板的開孔率為50%，熱通道封閉至吊頂，整個吊頂為回風靜壓箱，氣流自吊頂通過回風管返回至空調箱機組室內側的回風口。高架地板下送頂回方式空調箱機組及出回風口布置示意圖如圖2（a）所示。

側墻送頂回方式將8臺空調箱機組放置在數據中心的兩側，按照7+1配置；每臺機組額定制冷量及風量與高架地板下送頂回方式一致。每臺空調機組的送風通過風管接至側墻出風，每臺機組在側墻的出風口尺寸為3 320 mm（寬）×1 500 mm（高），開口率為64%。熱通道封閉至吊頂，整個吊頂為回風靜壓箱，氣流自吊頂通過回風管返回至空調箱室內側的回風口。側墻送頂回方式空調箱機組及出回風口布置示意圖如圖2（b）所示。

頂送頂回方式將4臺空調箱機組放置在數據中心機房的屋頂，按照3+1配置；每臺機組額定制冷量為234 kW，額定風量為58 350 m3/h，全部主用機組的總額定冷量及總風量與前兩種方式完全一致。每臺空調箱機組的送風接入靜壓主風管后由分支風管接至吊頂下部出風，主風管尺寸為2 500 mm（寬）×800 mm（高），長度為26m，方向為東西走向；長度支管尺寸為1600mm（寬）×800mm（高），長度為7m，方向南北走向；風管中心距樓板700mm，距天花板800mm。出風口尺寸為500mm（長）×500mm（寬），每列服務器的前面平均布置5個，按照全開計算。熱通道封閉至吊頂，整個吊頂為回風靜壓箱，氣流自吊頂通過屋面風管返回至屋頂空調箱室內側的回風口。頂送頂回方式空調箱機組、風管及出風口布置示意圖如圖2（c）所示。

圖2 三種不同氣流組織空調箱機組、風管及出回風口布置示意圖

2.2 CFD氣流模擬

2.2.1 氣流組織求解及評價參數

求解計算采用標準的-湍流模型，采用已標定的殘差來控制求解方程的收斂精度，模擬時各計算殘差曲線都收斂于1，則各參數值趨于穩定。流動的控制方程如下[18]：

通過分析CFD模擬得出的數據中心溫度場可以確定服務器的吸風溫度，服務器吸風溫度是數據中心環境控制的重要技術參數，其決定服務器是否可以正常運行，正常的吸風溫度是氣流組織優良的先決條件。而流線是指某一時刻在流場中畫出的一條空間曲線，流線簇的疏密程度反映了該時刻流場中流速的不同[19]，通過分析流場分布可以了解氣流是否存在冷熱摻混，是否存在紊亂區域，也是判斷氣流組織正常的重要參數。

2.2.2 機組全開的氣流組織分析

間接蒸發冷卻空調箱機組主要利用自然冷源及蒸發冷卻制冷，所以機組年運行的主要功耗為風機功耗，而風機的功率與風機的轉速的立方成正比[20]，風機轉速降低則風機功耗成立方下降。所以通常數據中心運行時開啟所有機組（含備用機組），保持數據中心循環總風量不變，這樣風機轉速將在低于額定轉速下運行，運行功耗下降。為了確保氣流模擬貼近實際運行狀況，三種不同氣流組織均按照所有機組全部運行保持175 000 m3/h的總循環風量不變進行模擬。

為了準確了解機柜不同高度的進風溫度分布情況，每0.5 m的高度上截取平面溫度場，機組全開情況下三種送風方式的機房不同高度平面溫度場及機房整體流場分別如表1及表2所示。

表1 三種送風方式的數據中心不同高度平面的溫度場

續表1 三種送風方式的數據中心不同高度平面的溫度場

表2 三種送風方式的機房整體流場

從表1中圖面上可以看出，由于無服務器吸風主動引流，1 m以上的機柜三種送風方式均有局部地區溫度稍高，但均不超過GB 50174-2017《數據中心設計規范》中服務器吸風冷通道27 ℃的溫度限值；而1 m（含）以下機柜的吸風溫度均在23 ℃左右，無任何熱點。同時，表2中圖面也顯示，三種送風方式的流場分布均勻，無明顯紊流及渦流區域。

上述模擬基于服務器放置在高度為0.8 m以下的機柜下部進行的，為驗證將服務器放置在機柜上部，機柜1 m以上的區域是否仍然存在局部熱點而影響服務器的吸風溫度，將服務器布置在機柜1.5 m以上，重新進行模擬，并且截取2.0 m處的溫度場與服務器放置機柜下部中0.5 m高的平面溫度場進行對比，溫度場對比如表3所示。

從表3中圖面上可以看出，兩種不同服務器放置方式的典型高度平面上吸風區域的溫度場均分布均勻，無局部熱點發生，所以服務器在機柜中的放置位置對氣流組織的溫度場分布沒有明顯影響，只要確保沒有安裝服務器的區域加裝盲板確保冷熱通道完全隔離即可。

表3 不同服務器放置位置三種送風方式典型高度平面的溫度場

2.2.3 備用機組不開啟的氣流組織分析

三種送回風方式靜壓途徑分別是高架地板、房間冷池直接靜壓及風管搭配房間冷池。為了評估三種不同靜壓的氣流組織對于空調機組發生故障的敏感度，了解其運行狀況，按照備用空調機組不開啟，但保持數據中心總循環風量及制冷量不變對三種不同氣流組織重新進行氣流模擬。而且為研究故障機組位置對氣流的影響，氣流模擬按照側邊、中間空調故障分別進行。在備用機組故障，主用機組在額定制冷量及風量工況下運行時機房內0.5 m高的典型平面（服務器位置）溫度場及機房整體流場分別如表4及表5所示。

表4 不同位置備用空調箱機組故障時三種送風方式典型高度平面的溫度場

表5 不同位置備用空調箱機組故障時三種送風方式的機房整體流場

由表4可以看出，高架地板下送頂回方式，盡管在中間過道部分區域溫度稍微升高，但服務器的吸風溫度基本沒有變化；側送側回方式，冷通道部分區域溫度升高，但服務器的吸風溫度均保持在26 ℃以下，滿足GB 50174-2017《數據中心設計規范》中的冷通道18～27 ℃的溫度要求。而頂送頂回方式因故障機組的位置差異引起數據中心內部溫度場發生明顯變化：中間機組故障時，部分過道溫度偏高，但是其服務器的吸風溫度尚均滿足國標要求的冷通道溫度要求；而側邊機組故障時，由于故障機組位置以及其與風口布置的相對位置的疊加因素，數據中心局部熱點溫度達29 ℃，不滿足服務器吸風要求。再結合表5中流線圖細部分析可以進一步發現：由于故障機組的氣流只能單側補充，側面機組故障相比于中間機組故障對高架地板下送頂回及頂送頂回的送風方式的流線影響稍大；而因擴散氣流路徑及服務器排布的綜合影響，側送側回方式的流場對中間機組故障反而比對側面機組故障更為敏感，中間機組故障時有兩個冷通道的流場受影響且局部溫度提高。

3 結論

（1）維持數據中心的總冷量及風量不變，所有間接蒸發冷卻空調箱機組全部開啟時，三種送風方式均具有良好的溫度場及流場。

（2）備用機組故障，主用機組在額定冷量及風量的工況下運行時，高架地板下送頂回、側送側回兩種方式仍滿足冷通道要求，頂送頂回方式局部區域的冷通道不滿足國標溫度要求。側面機組故障相比于中間機組故障對高架地板下送頂回及頂送頂回的送風方式的流線影響稍大，而側送側回方式的流場對中間機組故障反而比對側面機組故障更為敏感。

（3）綜合不同運行模式下溫度場及流場的模擬結果，高架地板下送頂回的氣流組織最佳。

[1] 莊叔平.空調箱數字化設計系統的模型分析[D].上海:上海交通大學,2015:1.

[2] GB 14294-2008,組合式空調機組[S].北京:北京標準出版社,2009.

[3] GB 50174-2017,數據中心設計規范[S].北京:中國計劃出版社,2017.

[4] 耿志超,黃翔,折建利,等.間接蒸發冷卻空調系統在國內外數據中心的應用[J].制冷與空調,2017,31(5):527- 532.

[5] 黃翔,韓正林,宋姣姣,等.蒸發冷卻通風空調技術在國內外數據中心的應用[J].制冷技術,2015,35(2):47-53.

[6] 劉凱磊,黃翔,薛運,等.蒸發冷卻與機械制冷聯合的系統在數據中心的應用初探[J].制冷與空調,2016,16(11): 77-81.

[7] 嚴翰.氣流組織對數據中心空調系統能耗影響的研究[D].上海:上海交通大學,2015.

[8] 葉明哲.數據中心氣流選擇[C].2012年中國通信能源會議論文集,2012:176-189.

[9] 易伶俐.不同空調送風方式在數據中心的應用[J].制冷與空調,2016,16(3):8-9,7.

[10] 穆正浩,王穎.寧夏中衛云計算數據中心空調設計[J].暖通空調,2016,46(10):23-26.

[11] 耿海波,李建堯,鄒成.溫和地區數據中心新風自然冷卻節能技術探討[J].暖通空調,2017,47(10):19-25.

[12] 宋姣姣,黃翔,范坤,等.交叉式露點間接蒸發冷卻空調機組應用于模擬機房的試驗研究[J].流體機械,2014, 42(4):67-71,22.

[13] 工業和信息化部,國家機關事務管理局,國家能源局.關于加強綠色數據中心建設的指導意見[EB/OL].http://www.miit.gov.cn/n1146285/n1146352/n3054355/n3057542/n3057546/c6638560/content.html, 2019-02-12/ 2019-04-02.

[14] 肖新文.間接蒸發冷卻機組應用于數據中心的節能分析[J].暖通空調,2019,49(3):67-71.

[15] 李洪珠,段林潔.數據中心封閉冷熱通道數值模擬對比分析[J].制冷,2014,33(3):60-64.

[16] 頓喆,秦赟,關欣.基于Fluentairpak的數據中心機房的氣流組織模擬優化[J].建筑節能,2015,43(3):27-33.

[17] 周煜康.風墻數據中心氣流組織研究及能耗分析[D].西安:西安電子科技大學,2015.

[18] 沈向陽,陳嘉澍,卓獻榮,等.數據機房冷區內氣流組織的優化[J].流體機械,2014,42(3):71-75,31.

[19] 張雪嬌,周軍莉,鄧勤犁,等.數據中心三種送風方式的對比研究[J].建筑科學,2019,35(2):102-107,115.

[20] 肖新文.液冷與動態自然冷卻的綜合運用技術探討[J].制冷與空調,2018,32(6):636-642.

On Airflow Distributions of Data Centers Cooled by Evaporative Cooling Air Handling Units

Xiao Xinwen Wei Zeng Zeng Chunli

( Stulz Air Technology and Service Shanghai Co., Ltd., Shanghai, 201108)

Using 6SigmaRoom simulation software, CFD air distribution simulations of three common air supply and return types in data centers cooled by indirect evaporative cooling air handling units are carried out according to two different operating modes that all the units are running or the standby unit is switched off because of failure. By analyzing the temperature fields and flow fields obtained by the airflow simulations, it is found that all the three types of air distributions have good temperature fields and flow fields when all the units are running, while when the standby unit fails to run, the air distributions of air supply through raised floor tiles and through grilles on the side walls can still meet the temperature requirement of cold aisles, but some areas in cold aisles of air distribution of air supply through duct in the ceiling cannot meet the temperature required by the national code. Taking the temperature fields and flow fields of the three types of air distributions under different operating modes into consideration, the air distribution of air supply through raised floor tiles is the best.

data center; indirect evaporative cooling; air handling unit; CFD simulation; airflow distribution; energy saving

TU831

A

1671-6612（2020）01-062-08

肖新文（1980.8-），男，碩士研究生，工程師，E-mail：xiaoxinwen11@126.com

2019-04-30