四川省某數據中心冷卻系統運行性能優化

倪 吉 劉守亞 袁中原 張雯琦 高 波

（1.四川省建筑科學研究院有限公司 成都 610081；2.西南交通大學機械工程學院 成都 610031）

0 引言

隨著互聯網用戶的規模不斷增大，數據流量的快速增長對保障高性能計算和數據傳輸的數據中心基礎設施提出了更高的要求，從而導致了能源消耗和碳排放量的快速增加[1]?！疤歼_峰碳中和”背景下，鑒于我國數據中心存在一定的供需失衡、失序發展問題，我國數據中心布局正在轉變，各地區紛紛出臺相應政策引導數據中心的綠色可持續發展，綠色數據中心試點工作有序進行[2]。數據中心的最大耗能項為IT 設備，其所消耗的電量會全額轉化為熱量。數據機房運行過程中產生的熱量將引起室內空氣溫度的升高，導致機房IT 設備運行效率下降甚至損壞。因此，高效的數據中心冷卻系統是保障數據中心合理且高效運行的關鍵。

近年來，政策主導新建數據中心強制執行節能設計的相關標準，大多數近期新建數據中心在設計階段均考慮一定的節能措施和高效運行的能力。目前，數據中心冷卻設備主要通過動態監控系統和人工巡檢的方式來進行運維管理，但實際工程中存在運維人員對冷卻系統相關專業知識掌握程度較淺的問題，因此，常導致數據中心冷卻系統的故障或者不合理運行。據統計[3]，70%的數據中心故障是由于運維人員誤操作導致的。隨著數據中心動態監控系統的發展與完善，與運行性能相關的大量歷史運行數據作為運行階段性能提升的參考資料得以保存。這對于數據中心實際運行階段的分析、研究等優化工作帶來了極大的便利。本文以四川省某數據中心項目實際運行性能優化為出發點，通過定性分析和調適的方式探討該數據中心冷卻系統運行階段的優化潛力及其路徑。

1 項目概況

該數據中心位于四川省雅安市，地處夏熱冬冷地區，為GB 50174-2017《數據中心設計規范》所定義的A 級數據中心，節能設計依據GB 51245-2017《工業建筑節能設計統一標準》。根據規劃，樓內空調系統以集中式系統為主。機房集中式冷凍水系統空調設計冷負荷8628.6kW，其中包括機房終期通信設備滿載冷負荷6452.8kW，UPS等電力設備冷負荷797.8kW，以及其他包括建筑、新風、水泵附加、管道附加負荷在內的冷負荷1378kW。集中式系統為一級泵變流量系統，配置3 臺（兩用一備）4570kW 的水冷離心式冷水機組，冷凍水供回水設計溫度為15/21℃，空調末端采用冷凍水型房間級專用空調機組。每臺水冷離心式冷水機組并聯一臺板式換熱器，利用過渡季節或冬季較低的室外氣溫，由冷卻塔及板式換熱器提供冷源，減少冷凍機組開啟時間，保證系統節能運行。數據機房設置機房空調末端，氣流組織形式為地板送風下送上回。

2 冷卻系統優化潛力分析

2.1 空調末端運行狀況

為了控制室內空氣溫濕度以保障數據中心的穩定高效運行，通常數據機房會配置專用的機房末端空調用以營造適合服務器運行的穩定室內空氣環境，冷熱通道氣流組織示意及實景如圖1、2 所示。調查發現，該數據中心的機房專用空調末端啟停由運維人員根據數據機房服務器分布及運行情況進行控制。該數據中心的智能實時監控平臺（DCIM，Data Center Infrastructure Management）為保障各數據機房穩定工作、避免機房環境溫度過高導致服務器設備運行效率下降、損壞等情況需要設定報警溫度以提示運維人員需要進行相應操作。該數據機房室內熱通道設計溫度為31-35℃，運維人員為了保障充分的容錯空間將報警溫度設置在31℃。同時，由于機房室內開間與進深相對較大、冷熱通道共處于同一大空間內等因素導致室內氣流組織分布普遍存在不均勻的現象。由圖3 可以看出，該數據機房七臺機房專用末端空調回風溫度存在顯著差異，同一時刻不同末端之間的最大回風溫差為4.7℃，由此推斷室內氣流組織存在不合理的局部過熱或過冷現象。故在此基礎上的溫度報警現象可能僅是某區域周圍室內溫度傳感器達到設定值，此時運維人員采取一系列增加制冷量的措施則會導致其他溫度較低的區域出現過冷現象，引起冷量不必要的浪費。上述分析表明，機房專用空調末端運行存在的問題是氣流組織不均勻導致了末端出力過大。

圖1 冷熱通道氣流組織示意圖Fig.1 Schematic diagram of the airflow distribution of hot and cold channels

圖2 冷通道地板送風實景圖Fig.2 Situation of hot and cold channel

圖3 各末端回風溫度變化情況Fig.3 Temperature changes in terminal return air

針對這一現象，在室內熱通道設計溫度合理的區間范圍內可以適當調高報警溫度。逐步調高報警溫度的同時調整末端空調供冷參數，釋放一定的制冷壓力，同時關注機房內機柜能耗情況和能效情況，可以通過簡單的控制變量法實驗得到保障服務器高效運行的最佳報警溫度設定值。

此外，工程經驗中的“大風量小溫差/焓差”末端調節原則存在一定合理性，較大的風量進入機房底部由風道構成的靜壓箱后可以得到更大的地面孔板出風速度。機房送風速度越大，越有利于排出機柜服務器產生的熱量，得到相對更為合理的氣流組織。但結合該項目施工的實際情況，風量并非越大越好，合理的送風參數同樣可以通過簡單的控制變量法實驗得出。

2.2 冷源運行狀況

在設計階段，該數據中心冷卻系統運行模式的切換以冷卻水出水溫度為依據，主要為以下三種模式。（1）自然冷卻模式：當冷卻水出水溫度小于13.5℃時，采用冷卻塔和板式換熱器組成的自然冷源冷卻系統制冷方式；（2）聯合制冷模式：當冷卻水出水溫度介于13.5 到19.5℃之間時，采用自然冷源冷卻系統和冷水機組聯合制冷的方式；（3）完全制冷模式：當冷卻水出水溫度高于19.5℃，完全采用冷水機組制冷的方式。

調研結果表明，盡管冷卻系統具備冷卻塔和冷機同時制冷的能力，但在實際運行中并未合理利用這種聯合制冷的方式。根據以往運行數據可以看出該數據中心冷卻系統全年運行策略以冬季采用冷卻塔制冷的自然冷卻模式，其余時間段采用冷機制冷的完全制冷模式，而未實現過渡季節宜采用的聯合制冷模式，即過渡季節室外空氣中的“免費”冷量未得到充分利用，可以預見在冷卻系統運行狀況的切換策略上有一定的節能潛力。

對這一方面具體節能潛力的進一步探究，為切換策略的制定打下一定基礎，可以考慮以近年歷史氣象參數對當下運行狀況進行粗略預測。以2021年該地氣象數據為例，2021 年當地逐時濕球溫度分布情況如表1 所示（其中，濕球溫度最大值25.11，最小值-5.31）。

表1 2021 年當地濕球溫度分布情況Table 1 Wet-bulb temperature distribution in Ya'an in 2021

由于冷卻塔冷卻水的極限溫度為當地當時的濕球溫度，此處考慮工程上可以接受的換熱溫差，取3℃的逼近溫度。結合設計階段冷卻系統的調節依據，得各模式理論運行小時數。結合對2022 年冷源運行情況的調研結果，將其作為各模式實際運行小時數與理論值進行對比，如表2 所示。

表2 各制冷模式運行小時數對比Table 2 Comparison of operating hours in different cooling mode

由于日逐時氣象參數波動，系統可能在某些時段需要頻繁切換運行模式，故基于濕球溫度估計的理論運行小時數在實際工程中不可能完全實現。盡管如此，由過往歷史氣象參數預測的聯合制冷模式下的小時數仍可以達到103這一數量級。因此，對于單位時間能耗極高的數據中心而言，在冷源運行策略上存在較大的節能空間。

2.3 冷水機組運行策略

實地調研發現，該數據中心冷卻系統通常啟動一臺冷機制取冷量，當一臺冷機無法將冷凍水出水溫度降到設定值時再開啟第二臺；運行維護人員不定期檢查機組運行情況需要更換正在運行的機組，即冷卻系統機組運行臺數恒定一臺，三臺機組根據運維人員啟停要求接力制取冷量。圖4 中3 月14日、3 月15 日、3 月18 日、3 月24 日、3 月29 日、4 月14 日均為機組運行切換時間點，可以明確看到兩個機組運行切換時間點之間的區間冷負荷值在一定范圍內穩定波動，但區間與區間之間存在較為明顯的負荷波動均值和波動幅度變化，說明每臺冷水機組的實際接力運行過程中的性能表現存在差異。該數據中心基本恒定出水溫度運行，未充分考慮離心式冷水機組部分負荷運行特性，造成冷水機組無法運行在高效區間。因此進一步保持每一臺冷水機組的運行參數在高效運行區間十分必要。冷水機組冷凍水溫度與負荷存在如圖4 所示明顯的負相關特性，即冷凍水出水溫度的升高可以減少一定機組的制冷量，在同樣滿足數據中心機房冷卻要求的情況下，達到一定的節能效果。

圖4 負荷與水溫變化情況Fig.4 Hourly load and chilled water outlet temperature variation

2.4 輸配系統控制策略

輸配系統可分為冷凍水側輸配系統和冷卻水側輸配系統。由于室內冷負荷需求相對穩定，冷凍水側輸配系統全年能耗波動范圍不大；由于室外氣象參數全年波動較大，冷卻水側輸配系統全年能耗存在較大波動。全年冷卻塔耗電量占比僅為7.09%，一定程度上說明在包含冷卻塔提取室外自然冷量措施的冷卻系統運行策略上仍存在較大的節能空間。冷卻塔月用電量在冬季顯著上升，冬季完全使用冷卻塔提取自然冷量制冷的月份對應耗電量明顯相對較大，但幾乎全年冷卻泵的耗電量都穩定，一定程度上說明冷卻泵的變頻運行沒有達到理想的效果。該數據中心冷卻泵的控制方式不明確。以冷卻塔、冷卻泵、主機的綜合能耗為模型的控制策略并未在運行數據中得以體現。冷卻塔、水泵的變頻控制多由該數據中心運維人員手動控制，輸配系統缺乏合理的變頻控制策略。

3 冷卻系統的調適

由于項目調適周期短，客觀條件等因素限制，此次調適工作更偏向于短期內的靜態調適，長遠的節能效益遠不如長期對系統運行進行的動態調適，但仍具有一定參考價值?？紤]到短期的靜態調適的特性，針對2.1、2.3 的部分問題以及調適依據執行了如下工作。

3.1 末端空調風水閥調節

機房專用末端空調可以通過設定回風溫度和風機頻率區間自動改變送風溫度實現調節冷、熱通道環境的目的?；仫L溫度傳感器與風機轉速和水閥開度聯動，不同的回風溫度設定值將導致風機轉速以及水閥開度發生變化，導致能耗波動。對于機房專用末端空調的調適內容為風、水閥開啟情況。調適對象為編號201、202 以及206 的數據機房，每個機房設有7 個末端設備，其中201 機房按需開啟5 臺，202 和206 機房按需開啟4 臺。

進行調適前后設備開啟臺數以及冷水機組供水溫度保持不變，各機房風機轉速比以及水閥開度情況對比如表3 所示。201 機房將風機轉速比與水閥開度升高至100%，其余兩個房間則做出不同程度的降低。此時空調制冷機組供回水溫度為13.5/18.7℃，冷卻水進出水溫度為25.9/30.7℃，負載率為79.8%。

表3 設備調適前后參數對比Table 3 Parameters before and after commissioning

調適前后各機房冷熱通道溫濕度對比如圖5、6 所示；機房專用末端空調能耗變化趨勢如圖7 所示；末端空調能耗變化值如表4 所示。其中，201機房內平均風機轉速比升高了10.9%，機房內空調末端能耗呈現升高的趨勢，從37.2kWh 增加至42.1kWh，增幅達13.2%。202 機房內平均風機轉速比降低了7%，能耗從39.52kWh 降低至37.07kWh，降幅為6.2%。206 機房內平均風機轉速比降低了40.9%，能耗從13.36kWh 降低至6.12kWh，降幅為54.2%。上述調適前后均滿足室內環境參數的運行要求。

表4 空調末端能耗對比Table 4 Energy consumption of air conditioning in DC rooms before and after commissioning

圖5 調適前后各機房冷通道溫濕度對比Fig.5 Temperature and humidity of the DC room before and after commissioning in cold channel

圖6 調適前后各機房熱通道溫濕度對比Fig.6 Temperature and humidity of the DC room before and after commissioning in hot channel

圖7 調適前后各機房能耗對比Fig.7 Energy consumption of the DC room before and after commissioning

3.2 冷凍水出水溫度調節

冷水機組與機房專用末端空調在冷卻系統中的出力存在一定權衡。在機房專用末端空調能耗較大時間段，可考慮適當降低冷凍水出水溫度達到降低冷卻系統總能耗的目的；而在機組能耗較大時間段，可考慮提高冷凍水出水溫度達到降低冷卻系統總能耗的目的。調適內容為冷凍水出水溫度，調適對象選擇編號為203、204、205 的數據機房。

進行調適前冷水機組供回水溫度分別為13.5℃和18.9℃，冷卻水進出水溫度分別為26.8℃和31.9℃，此時冷水機組負載率為81.4%，進行調適時保持空調末端設置等其余參數不變，僅將冷水機組出水溫度調整至14℃。待系統穩定后冷水機組負荷率從81.4%降至78.7%，調適前后上述機房內冷熱通道熱濕環境變化如圖8，9 所示?？梢钥闯鰧⒗鋬鏊鏊疁囟忍岣?.5℃，各機房內冷熱通道溫度均有升高趨勢，增幅均在5%以內，對室內服務器正常運行基本不存在影響；同樣相對濕度也沒有較大的波動，且兩種參數均在設計參數范圍要求內變化。

圖8 調適前后各機房冷通道溫濕度對比Fig.8 Temperature and humidity of the DC room before and after commissioning in cold channel

圖9 調適前后機房熱通道溫濕度對比Fig.9 Temperature and humidity of the DC room before and after commissioning in hot channel

改變冷凍水出水溫度后，冷水機組內壓縮機出力情況也會相應改變，水溫調適時間在2022 年6月29 日21:00 時左右，而系統在2022 年6 月29日24:00 左右達到穩定狀態，能耗變化如圖10 所示。選用2022 年6 月29 日0:00 至5:00 時以及2022年6 月30 日0:00 至5:00 時的能耗數據進行對比。在供水溫度為13.5℃時，冷水機組的小時平均能耗為477kWh，將供水溫度升高至14℃時，待穩定后冷水機組平均小時能耗為471.6kWh，降低了5.4kWh 的節能量，實現了1.13%的節能率。適當升高冷凍水出水溫度可以降低空調系統能耗，同時又能保證服務器機房內冷熱通道環境維持在設計范圍內。一定程度上，上述調適結果說明了調適前該數據中心冷卻系統的運行能效低下，系統的收益出力比相對較低，存在一定優化空間。

圖10 調適前后各機房能耗對比Fig.10 Energy consumption of the chiller before and after commissioning

4 總結

本文從四川省某數據中心實際工程項目出發，通過對冷卻系統各組成部分節能潛力的定性分析以及實地調研發現該數據中心冷卻系統存在一定節能潛力。根據項目實際情況對冷卻系統進行合理調適：通過調節機房末端空調風閥、水閥的開度百分比，在保證機房服務器安全高效運行的前提下實現4.79kWh 的節能量和5.32%的節能率；將冷凍水出水溫度提高0.5℃，同樣前提下實現了5.4kWh的節能量和1.13%的節能率。綜上，該數據中心設計階段所考慮的節能運行能力在實際運行過程中并未充分展現，原因在于冷卻系統的運行調節智能化程度不夠，大多取決于運維人員的決策。隨著技術發展，單個設備的節能性和智能化程度大幅提高，而由這些智能、高效設備簡單串并聯構成的冷卻系統的運行性能卻往往堪憂。因此對系統的調適需要專業人員因地制宜，在系統中最優化單個設備的運行性能表現?？梢灶A見，該數據中心在不花費大量成本的情況下對本文提及的方面進行合理且專業的調適，可以帶來較大的社會效益和經濟效益。