數據中心互聯開放光傳輸系統設計

周 谞，王 娟，魯婉婕，金 宇，李升男（百度在線網絡技術有限公司，北京 100089）

0 引言

新型的云計算將多個物理分離的數據中心看成一個整體的云數據中心，所有計算節點虛擬成一個大型的計算資源池，云計算不僅可以跨服務器運行，也可以跨數據中心運行，而光傳輸網絡是實現數據中心高質量互聯的重要技術。

數據中心光互聯網絡從2010年左右逐步興起，從最初的10G DWDM 80 波（50 GHz/grid）系統發展到當前的800G DWDM 40波系統（150 GHz/grid），單波速率經歷10G 到800G 的升級，系統容量從800G 快速提升到32T，增長到原來的40 倍。伴隨著速率和容量的快速增長，針對數據中心的應用場景，數據中心互聯光傳輸系統在網絡架構、系統設計［1-3］、設備硬件形態、軟件接口定義［4-6］、系統保護、網絡管理和自動化運維方面都有著持續的發展和創新。

1 數據中心光互聯網絡結構

1.1 云網絡結構

云計算是由一個區域（Region）內多個不同的可用區（availability zone，AZ）共同提供服務，每個AZ 的物理位置不同。為了容災備份的需求，不同的AZ之間的距離需要足夠遠，從而降低多個AZ同時受到地區停電或極端天氣（如洪水等）影響的可能性。每個AZ 都具有獨立的電源、制冷設備和網絡基礎架構，從而保證在一個AZ 數據中心出現故障時，其余的AZ 仍然可以支持該區域的云計算服務正常的工作，提供區域云服務的高可用性。

對于同一個區域，云計算需要支撐計算、存儲和數據資源的高性能互訪，因此同一個區域內的不同AZ需要通過高性能網絡連接，往返延遲需要小于2 ms，對應光纖傳輸距離約為200 km。預留20%的時延冗余用于交換機轉發和業務處理時延，一般最長傳輸距離控制在160 km 以內。綜合考慮災備需求和網絡延遲的互訪體驗，典型的光纖傳輸距離為80 km，對應單跨段的光傳輸系統。

云網絡在一個區域內，一般由3～4 個AZ 組成，每個AZ 之間采用點到點直連，相互之間形成Mesh 全連接結構，這樣可以保證在不同AZ 之間的訪問延遲最低。如果區域內的AZ 數量比較多，在傳輸時延不超過2 ms 的前提下，2個AZ的互聯也可以通過第3個AZ進行中轉。

1.2 數據中心光傳輸系統的演進

在傳統的電信傳輸網絡中，光傳輸網絡需要覆蓋從骨干網、城域網到接入網的全場景，網絡結構包括骨干的點到點結構、城域的環形結構和接入網的星形結構。針對電信網絡，光傳輸系統的光層和電層需要進行聯合系統設計，追求端到端的最佳系統性能，因此更加注重光層性能的聯合調優，包括光放大器、合分波、波長選擇開關等，這導致光傳輸系統一般采用封閉系統設計。如圖1（a）所示，即光層和電層采用同一廠商，這同時也利于實際工程的快速建設和業務部署。此外，在電信網絡中OTN 設備需要支持多種上層業務或協議，如SDH、ATM、以太網等，業務粒度從1 Mbit/s 到100 Gbit/s，同時需要支撐從小粒度的多元化業務到大粒度的光通道傳輸單元（optical channel transport unit，OTU）的映射，這導致傳輸電層板卡的類型和結構更加復雜。

圖1 開放光傳輸系統結構示意

如1.1 節中所述，數據中心互聯的光網絡一般以點到點的光傳輸系統為主，傳輸場景限定在160 km 以內，對于大容量相干光通信系統來說，系統有充足的光信噪比余量。由于數據中心光互聯網絡結構簡單，可以獨立地設計高性能的開放光層設備，即可保證不同的電層設備能夠平滑地接入到系統中，不同廠商的電層信號可以在同一套系統的不同波道進行并行和高質量傳輸，如圖1（b）所示。在業務承載方面，數據中心光互聯主要承載的業務類型為單一的以太網業務，因此，電層傳輸設備的結構也更簡單，在2.1 節設備硬件設計中會重點介紹。

1.3 光傳輸系統路線選擇

如圖2 所示，由于數據中心互聯光傳輸系統的結構和業務簡單，除了傳統的OTN 傳輸設備，還可以采用IP over WDM 的方案承載業務。傳統的OTN 傳輸設備互聯具有業務接入速率靈活的特點，可以很好地解決傳輸系統單波長速率和IP 設備（交換機、路由器等）接口速率不匹配的問題。例如，當前數據中心互聯光傳輸系統典型的單波速率為400 Gbit/s，下一代單波長速率800 Gbit/s的設備即將大規模商用，而數據中心互聯的存量IP 網絡設備接口大部分還在100GE，400GE 接口的占比較小，因此，采用OTN 電層板卡可以很好地完成從低速率的以太網業務到高速率的OTN 業務的匯聚和轉換。同時，由于OTN 設備形態對電層板卡功耗、體積、散熱等方面要求較為寬松，OTN 傳輸設備的系統性能一般可以覆蓋DCI 全場景的應用。

圖2 IP over WDM 互聯方案示意

針對數據中心互聯80 km 的場景，光互聯網絡論壇（optical Internetworking forum，OIF）還推出了基于100G ZR/400G ZR 標準的IP over WDM 方案［7］，該方案利用硅光等光子集成技術的發展，可以實現低功耗、小體積的相干彩光光模塊封裝接口QSFP-DD 或OSFP，該封裝功耗和體積都可以直接兼容交換機接口，典型功耗低于20 W。100G ZR/400G ZR 光模塊可以直接插入交換機端口，接入開放光層設備，從而實現IP over WDM 的業務承載。但是對功耗的嚴格要求，限制了光模塊的傳輸性能，因此該方案一般適用于單跨段、低損耗的點到點傳輸系統。例如，微軟在2023 年OFC 上報道其400G ZR 的主要應用場景在40 km以內，跨段光纖衰減<12 dB［8］。

2 開放光傳輸系統的設備設計

2.1 硬件設計

數據中心開放光傳輸系統的創新包括硬件創新、標準的軟件接口和統一的網絡控制器等，其中硬件創新分為光層設計和電層設計2個方面。

光層設備的定義是指負責在光域內進行信號處理的設備，例如完成光信號合分波、光功率放大、光保護、光監控等功能。傳統的框式電信設備，由于追求場景覆蓋的多樣性，一般以器件類型和參數為中心進行設計和開發光層板卡。典型的光層板卡如光放大板卡，根據光放大器的類型開發設計摻鉺光纖放大器（EDFA）和拉曼放大器的光放板卡，又根據光放增益的范圍設計不同型號的EDFA 放大板卡。根據不同應用場景的實際特點，使用不同的板卡組合從而達到最優的效果，導致板卡的種類和型號較多。

開放光傳輸系統多采用高集成的方案，如圖3 所示，一套點到點的開放光傳輸系統，只有光保護板卡、合分波板卡和光放大板卡3種類型器件組成。光放板卡集成了可變增益（switched gain）的EDFA 模塊（覆蓋不同的增益范圍）、光監控通道（OSC）模塊和光頻譜監控模塊等。高集成化的設計，最大程度地減少光層板卡的類型，減少了系統內部連纖工作，從而提高工程人員施工便利性，同時也降低運維人員的學習門檻。

圖3 開放光傳輸設備硬件設計

電層設備主要負責在電域內進行信號處理，主要將各種客戶側的業務信號轉換成線路側的標準OTN幀格式信號，從而在光纖中進行傳輸。同時，在接收端完成OTN 信號的接收，轉換為各種業務信號。傳統框式設備需要承載多類型、多速率的業務，在傳輸線路側和業務客戶側往往需要一個電交叉板卡，完成業務的匯聚和交換等操作。

在數據中心互聯中，盒式電層設備只需要完成簡單的高速率線路側到低速率客戶側的映射，承載業務為單一的以太網業務，業務映射簡單，這導致盒式設備的電層板卡可以去除電交叉單元。如圖3 所示，只需要將OTN 的高速率信號映射為多個低速以太網信號即可，由于結構簡單，線路側和支路側常?？梢栽谝粔K板卡上實現，被稱為支線合一板卡。由于板卡結構和業務承載簡單，盒式電層板卡的成本更具有優勢，從而被廣泛使用。

2.2 軟件設計

在傳統的電信傳輸網絡中，設備軟件對用戶來說是一個黑盒，用戶只能通過網管界面和有限功能的網管北向接口和設備進行交互，以實現對光傳輸系統的配置、管理和維護。不同廠商設備接口協議的私有屬性和多樣化，增加了光傳輸系統的運維復雜度和成本，也使得網絡運維自動化的開發受限于廠商的研發投入和時間進度，不利于光傳輸系統的智能化發展。

針對上述傳統設備軟件存在的問題，由互聯網及云服務提供商為主推動的開源項目OpenConfig定義實現了一套通用的、供應商中立的設備軟件接口模型。該方案使用數據建模語言YANG為設備的配置數據和狀態數據提供了一致的結構語義，結合以數據模型為驅動的網絡設備管控協議如NETCONF、RESTCONF、gNMI 等，屏蔽不同廠商硬件的差異，給網絡設備的管控提供標準化和一致的接口。除了同時涵蓋了IP 網絡設備與光網絡設備的OpenConifg 項目，同樣基于YANG 語言實現的、由北美運營商為主推動并開源的項目OpenROADM 定義的另一套標準化接口與數據模型則主要致力于推動網絡設備、支持可重構光分插復用器（ROADM）設備的開放和互聯標準。

OpenConfig 與OpenROADM 項目對設備數據模型和軟件接口做出了標準化的定義與規范，降低了多供應商網絡中設備管控的復雜度。但這種“灰盒”解決方案沒有對設備的操作系統提出標準化的要求，設備軟件功能的具體實現仍依賴于各個廠商各自封閉的操作系統與底層驅動。為進一步增強光傳輸系統軟硬件解耦程度、提升光傳輸系統開放性，SONiC-OTN項目被提出。該項目定義了光傳輸抽象接口（OTAI）來對光傳輸網絡特有的硬件操作進行抽象，使能了開源網絡操作系統SONiC在光傳輸系統中的應用。

綜上，從OpenConfig 和OpenROADM 定義的設備數據模型與軟件接口形成的灰盒方案，到開源光傳輸操作系統SONiC-OTN 形成的白盒方案，隨著開放光傳輸網絡設備軟件設計的不斷深入，開放程度不斷提升。

3 開放光傳輸系統的系統設計

3.1 統一網管

為了實現對開放光傳輸系統的管理和監控，傳輸網管仍然是運維人員與設備交互的主要界面。但是與傳統網管不同的是，應用于開放光傳輸系統的網管必須實現多廠商設備的無差別納管，即統一網管。

雖然開放光傳輸設備在硬件上白盒化和軟件上標準化，屏蔽了各傳輸廠商帶來的差異性，為統一網管采用標準的接口和協議管理各廠商設備奠定基礎，但是統一網管對各廠商設備的軟件適配和測試工作是必不可少的。

統一網管對設備的適配工作并不僅停留在設備軟件模型的驗收上，還需從運維人員的角度，對日常建設和運維過程中的全部應用場景進行模擬操作和測試。適配測試工作可以重點分為子網/網元維護、網元/板卡操作、告警/事件上報、系統功能優化4個方面。

子網/網元維護能夠展示傳輸拓撲，協助管理者梳理并掌控傳輸設備的部署以及其系統級別的性能指標，并聯動告警，比如光纜染色等，實現快速定位設備和光纜故障等；網元/板卡操作是統一網管通過標準軟件接口對設備狀態的配置和查詢，比如光層光放、倒換保護板卡、電層OTU 板卡以及風扇、電源、主控等公共單元板卡；告警/事件上報是設備以訂閱的方式將設備的重要行為事件（比如上/下電、重啟等）和故障狀態提交，除了日常運維關注的故障部件、發生時間、恢復時間以外，統一網管多采用當前告警、歷史告警等形式來區分長期積累的大量告警，以保證管理者不遺漏現網故障。

統一網管的系統功能優化包含工程建設和運維2個方面，比如工程建設涉及到的設備上線、網管設備接入、軟件升級、傳輸業務路徑建立等。日常運維涉及到板卡/模塊故障替換、故障環回定位、光纜故障業務倒換、當前/歷史性能監控、設備下線/利舊等，針對這些工程運維操作，實現相應的自動化功能，設計友好的交互界面，是提升統一網管易用性的主要工作。

3.2 高速保護系統設計

數據中心互聯傳輸系統的光纖敷設在戶外開放環境中，戶外的施工會導致光纖中斷或裂化等故障，因此開放光傳輸系統通常采用光層保護技術，保證承載業務的不中斷。在開放光傳輸系統中典型的系統保護方式包括光通道保護（OCH-P）和光復用段保護（OMS-P）2 種，OCH-P 的保護板卡位于電層板卡線路側輸出端，主要保護單個光波長通道的業務。OMS-P的保護板卡位于波分復用器后，用于保護所有波分復用信號。

相比傳統的電信業務，云計算服務在同一個區域內的不同AZ 機房內進行分布式的計算和存儲等操作，因此，區域內不同AZ 之間的互聯傳輸系統對穩定性提出了更高的要求。幾十年來，電信行業一直遵守著50 ms的ITU 標準保護倒換恢復時間［9］，但近年來在DCI 互聯高速光保護系統上出現了更多的創新［10-11］。依靠新型的高速光開關和更高效的相干數字信號處理（DSP）業務恢復算法，可以實現5 ms 的光層高速保護倒換和業務恢復，讓業務層丟包數量減少90%。傳統的光層保護板卡一般采用機械式或MEMS 光開關，光開關切換時間在1～10 ms，高速保護倒換系統一般需要光開關的切換時間在微秒級別，例如磁光開關的典型時間為30 μs。應用于長途光傳輸的DSP 模塊在處理光層保護倒換時，一般需要考慮到幾百或上千千米的主備路由傳輸長度差，這導致DSP 模塊內部色散處理單元需要進行大范圍的掃描和鎖定，但是對于點到點單跨段為主的DCI 互聯，DSP 可以針對性地進行色散優化處理，從而實現3～4 ms的業務恢復時間。

此外，為了防止傳輸保護倒換的中斷引起IP 設備的端口震蕩和協議收斂，傳輸電層設備一般采用電層告警延遲發送技術。在常規模式下，因為傳輸設備線路側中斷時，傳輸電層設備在客戶側會向IP 設備發送LF（local fault）信號，防止網絡設備端口單向通信，造成數據黑洞現象。但是一般傳輸保護倒換時間極短（ms級別），遠小于協議收斂的秒級別，因此，傳輸設備會采用LF告警延遲發送技術，在保護倒換的業務中斷期間，持續向交換機發送凈荷為空的以太網包，超出一定的設置時間，才認為業務是真正中斷，再向IP 設備發送LF告警，防止IP層的協議收斂丟包。

3.3 故障定位和止損系統

光傳輸網絡的可靠運行需要依賴故障發現、故障定位和及時的故障止損。由于開放光傳輸系統在底層設備軟件層面實現了標準化，因此在自動化故障定位和自動止損上具有天然優勢。

故障定位需要通過檢測和分析設備的告警信號、采集設備的性能指標、檢查設備的配置變化等方式來確定故障的具體位置和原因。光傳輸系統中最常見的故障類型包括光纖故障、設備故障、電力故障等。其中，設備故障和電力故障通常會在設備側有明確的告警信號，因此定位相對容易；光纖故障伴隨著線路側收光丟失、倒換保護等告警信號以及收光功率抖動等性能指標的變化，因此在復雜的組網中需要結合時空信息關聯進行故障定位。

自動止損作為一種高階的運維功能在開放光傳輸系統中也得到了應用。在一個具備雙路由保護的系統中，如果單個路由出現異常，可以通過光功率監測、電信號質量監測的方式觸發倒換保護，從而實現故障止損；如果已有監測指標設置不合理導致倒換保護失效，則可以通過在軟件層面監測特定告警的產生觸發光路切換，避免信號完全中斷；如果多個路由同時故障導致信號質量劣化，可以與IP 設備聯動直接關閉對應網絡端口，或者選擇直接關閉光傳輸鏈路避免丟包率持續走高。自動止損的第2 個思路是配置調整：如果故障的產生是由于光鏈路衰耗異常增大或系統配置異常，則可以通過上層控制器進行全局配置優化，保證信號質量。

除了在故障發生后才做相應處理外，通過日常巡檢來及時發現和解決潛在問題，降低故障發生的概率，也是保證系統穩定運行的一個重要方面。最常見的方法是做信號質量檢測，主要包括光纖鏈路的輸入輸出光功率變化（評估鏈路衰耗變化）、pre-FEC 和post-FEC 誤碼率（評估系統的信號傳輸質量）、光譜信號分析（保證所有波道都處于可用狀態）。

除此之外，常見的設備狀態檢查（溫度變化、電力情況、風扇與冷卻）在故障預防中也起到了關鍵作用。盡管日常巡檢可以手動運行，但通常會選擇自動化工具實現定期巡檢，提高效率和準確性。

3.4 性能估計和風險預測

開放光傳輸系統實現光層與電層設備的解耦，可以充分考慮系統保有成本、技術路徑選擇，靈活地進行系統建設和擴容，波分系統也具有波長間異廠商、多速率混傳的特點。在系統靈活度增加的同時，由于不同波長來自不同的供應商以及不同的線路側速率對系統性能要求不同，為保證各波長的性能在開放光傳輸系統的全生命周期中處于最優水平，因此要求網絡規劃者具備精準傳輸性能估計（QoT-E）［12］的能力，用以指導系統中的波長新增與刪減。

在光傳輸系統運行過程中，難以避免地會出現光纖中斷、設備硬件失效等故障，為保證網絡的整體高可用性，在做好系統冗余保護、故障快速止損的同時，更加需要對潛在的風險進行有效預警與解除，從而減少故障的發生。

精準性能估計與風險預測的統一手段是為光傳輸系統建立數字孿生體［13-14］，在系統規劃、建設、運行的全生命周期內對傳輸性能、健康度進行表征。光傳輸系統的數字孿生體一般由物理理論模型以及數據驅動的神經網絡模型共同組成，在系統規劃階段，物理理論模型占主導作用，配合廠商測試的電層、光層特性數據以及預訓練的光組件、端到端等通用神經網絡模型形成孿生體的雛形；系統建設上線后，根據telemetry 實時采集的電層、光層數據，如各波長收發光功率、糾前誤碼率、色散、光鏈路中各節點光功率等，進行光鏈路的物理參數校準以及各類任務的神經網絡模型的訓練及微調。光傳輸系統的完整數字孿生體建立后，數字空間則存在與物理實體高度一致的鏡像模型，可以方便地進行各類操作預演并評估操作結果，還可以對系統各部分的未來狀態進行預測。下面舉例說明數字孿生體在性能估計和風險預測方面的作用。

波道擴容過程中的入纖功率優化。相鄰2次系統擴容建設間，隨著技術的發展會涉及更高線路速率、多波段（例如L波段）的擴容。為保證擴容后各波長的接收仍處于最佳性能狀態，需考慮SRS效應、克爾非線性效應后對各波長的入纖功率進行調優，此時可通過數字孿生模型并結合尋優算法為波長確定最佳的入纖功率。

OTU 故障預測。光傳輸系統中的設備故障率最高的部分為電層OTU，且電層部分故障后光層的所有冗余保護將失效。通過長周期監測OTU 各關鍵參數來訓練故障預測神經網絡，可主動發現電層故障，有效提高業務穩定性。

總的來看，開放光傳輸系統相較于傳統封閉的光傳輸系統，更需要建立數字孿生體，以進行全生命周期的精準性能估計、風險預測及隱患處理。

4 結束語

數據中心互聯開放光傳輸系統作為近年來的研究熱點，從硬件、軟件和系統層面均有了較大的技術創新，這些技術在國內外的云計算網絡中得到了廣泛的應用。隨著以通用大模型為代表的人工智能技術的突破進展，當前開放光傳輸系統正在向高速率、高容量、自動化和智能化發展，更多的創新技術將被研究和應用。