數據中心ToR架構下布線系統的應用

文｜莫氏商貿（上海）有限公司 周 煒

數據中心ToR架構是近年來新出現的網絡架構。在云計算、虛擬化等技術的大規模應用下，ToR架構的高密度、易管理等特性充分的發揮出來，已經被越來越多的數據中心所采用。過去傳統架構下，服務器通過水平線纜連接到列頭柜，通過列頭柜配線接入到接入層交換機。ToR架構則是在每個機柜或每幾個機柜內部署接入層交換機，服務器就近采用跳線連接接入層交換機。隨著網絡架構的變化導致布線的類型和密度都發生了很大的變化，因此采用ToR架構以后，布線系統也需要采用不同的解決方案。如圖1所示。

圖1

過去傳統的數據中心因為受到單機柜配電、散熱等因素的影響，所以在單個機柜內安裝的服務器數量受到限制，如果采用ToR架構，則會浪費大量交換機端口?，F在一些加強風冷散熱的解決方案，甚至是水冷都已經被應用在數據中心中。目前在國內有一些新建的金融行業數據中心就采用了水冷機柜的解決方案。采用水冷可以將機柜的容量提高到30kW甚至更高，所以在單機柜內容納更多的服務器。如果在單機柜內存在30個以上的服務器節點，可以想象若采用傳統的EDA-HDA連接方式，單個EDA至少會有90～120根線纜需要連接到HDA列頭柜，如果1個列頭柜管理8臺EDA，列頭柜會有800～1000根左右的線纜連接，這種方式超過了單個機柜的配線容納能力，但非常的不經濟。所以在高密度服務器節點的應用下，采用ToR架構就比較經濟，管理起來也方便。ToR架構下相比EDA-HDA方式，布線系統的應用也發生了相應的變化，主要體現在服務器節點到接入交換機的連接采用跳線直連。當然視應用情況，接入交換機到核心網絡間也可能采用不同的解決方案。如圖2所示。

圖2

同樣的ToR架構，布線系統也有不同的解決方案。我們舉例來說，在ToR架構下，從服務器節點到接入交換機之間都是采用跳線來解決，所以不管哪種解決方案，這里總是采用跳線連接；不同的解決方案，主要變化在于接入交換機上行到核心的鏈路。

方案一，光纖跳線直連

在一些對于成本控制要求比較高，但是單個機柜節點數又比較多的數據中心中，可以采用這樣的方案。從接入交換機到核心交換機之間，采用光跳線直接連接，該方案的優點是：成本最低。但是缺點也很明顯：管理麻煩，因為所有的連接都是光跳線，所以管理起來會比較零亂；另外這種方案一般只適用于核心與接入交換機在同一個機房內的情況，因為光跳線對于光纖的保護比較弱，所以如果需要跨機房連接，甚至是跨樓層連接，那這樣的方式可靠性不高，反而影響數據中心網絡連接的安全性。數據中心的布線系統需要使用10年甚至更長的時間，或者存在多個機房的連接，一般不推薦采用這種解決方案。

方案二，光纖跳線+匯聚干線光纜

有些數據中心存在多個機房，甚至機房分布在多個樓層里。在這樣的情況下，可以采用光纖跳線+匯聚干線光纜的解決方案。在每列機柜或每幾列機柜設置匯聚節點，部署高密度光纖配線架，接入層交換機采用跳線連接到配線架，通過配線架配接到大芯數的干線光纜上，通過大芯數光纜連接到MDA的高密度光纖配線架，再跳接到核心交換機上。采用這種方式的連接，成本比跳線直連的方式要高一些，安全性提高了很多，跳線僅用于列內或不是很長的跨列連接。相比第一種方案，風險要低了很多，同時配線管理也方便，可以在匯聚節點或MDA上進行管理。但是匯聚節點——接入交換機之間仍然采用光纖跳線，所以仍有一定的風險。所以這樣的方案一般推薦應用于對網絡連接可靠性要求不是特別高的應用。

方案三，小芯數光纜連接

對于網絡連接可靠性要求比較高的場合?？梢圆捎脧慕尤虢粨Q機到核心交換機均采用光纜連接的解決方案。在每組接入交換機上方安裝光纖配線架，接入交換機通過光纖跳線在柜內連接光纖配線架，通過光纖配線架，轉接到小芯數（一般12芯居多）光纜上；通過光纜連接到MDA的高密度光纖配線架，再通過光纖跳線連接到核心交換機。采用這種解決方案比方案二更可靠、安全，但是成本也要高一些，此方案一般適用于機柜數量不是很多的數據中心。如果機柜數量較多，會有大量的光纜需要鋪設，占用橋架和管線的空間都比較多，所以這種方案一般推薦在機柜數量不多，但是安全性要求又比較高的數據中心中應用。

方案四，小芯數光纜+匯聚大芯數干線光纜

如果對于安全性要求較高，但是機柜數量又很多，如果全部采用小芯數光纜連接對于橋架空間要求太大，可以采用小芯數光纜+匯聚大芯數干線光纜的解決方案。在每組接入交換機上方安裝光纖配線架，接入交換機通過光纖跳線在柜內連接光纖配線架，通過光纖配線架轉接到小芯數（一般12芯居多）光纜上；在每列或者每幾列設置匯聚點，匯聚點部署高密度光纖配線架，小芯數的光纜在匯聚點通過配線架轉接到大芯數的干線光纜。干線光纜連接到MDA高密度光纖配線架，再通過光纖跳線連接到核心交換機。采用這種方式，干線光纜的直徑很小，一根144芯的光纜直徑也只有15mm，所以對于橋架和跨樓層走線的壓力就小了很多。所以在比較大型的數據中心中，機柜數量多、服務器密度大的場合，可以推薦采用這種方式，但是這種方案的缺點是成本比較高。如圖3所示。

圖3

當然，具體采用哪種解決方案需要根據實際情況來選擇，并且綜合多種因素來考慮。雖然在ToR方式下，接入交換機到核心交換機的連接都是通過跳線完成的，但是可以采用不同的解決方案。在千兆網絡下，目前比較普遍的連接都是采用RJ45-RJ45的雙絞線跳線來實現。目前1000Base-T 的端口成本和功耗都已經控制的比較好，成本低，功耗也不高，所以應用非常廣泛。但是對于10GBase-T的網絡，目前端口類型的選擇就比較多。在ToR架構下，常用 的 有 10GBase-CX4、10GBase-SR、10GBase-T等多種類型的標準，也有RJ45、SFP+ 等不同類型的接口。目前根據Intel的統計，采用10GBase-CX4標準的DAC（Direct Attach Cables）方式比較多。DAC采用SFP+至SFP+ 銅纜連接組件的方式，具有成本低、功耗低、安全可靠的優點。從成本上看，相比10GBase-SR光纖連接，DAC不需要光電轉換，相比10GBase-T不需要高性能的DSP芯片（用于NEXT、FEXT、RL、ILI等干擾的抑制處理），所以成本只有10GBase-SR的一半甚至更低，比10GBase-T便宜約20%～30%。從功耗上看DAC與10GBase-SR基本持平，只有10GBase-T的一半左右，因為10GBase-T的DSP芯片的功耗是比較高的。DAC的缺點是標準只支持7m以下的連接，但是在ToR的架構下，7m的長度已經足夠，所以DAC的連接方式會有比較廣泛的應用。當然，隨著10GBase-T 芯片成本和功耗的逐步降低，10GBase-T的方式也將會成為主流的應用方式。根據Intel的預測，2013年以后10GBase-T與DAC的應用數量將基本持平。

綜合來看，ToR架構于傳統的EDA-HDAMDA發生了不小的變化，也使得綜合布線的產品、應用及解決方案都發生了一定的變化。但是具體使用哪種方案，需要結合實際情況、預算、使用的習慣等綜合因素來決定。