運營商IP 網絡時延優化技術探討與實踐

［陳迅 陳智 鄧麗潔］

1 引言

網絡時延決定了應用的使用體驗，是評估網絡性能的關鍵指標之一。隨著業務全IP 化承載的推進，IP 網絡時延是所以業務時延關鍵的一環。AR/VR、高清視頻、云游戲、物聯網等業務的發展使用戶獲得了便捷快速的服務，同時也對時延提出了更高的要求。而SDN、SRv6 等新技術亦為IP 網絡時延優化帶來新的手段。本文分析了IP 網絡現網時延影響因素，擬就運營商IP 網絡架構，IP-傳輸協同組網，SRv6 技術部署三方面對IP 網絡時延優化技術進行探討并進行相應的試驗。

2 互聯網業務發展趨勢

5G、云計算、大數據等新技術的發展，進一步加速企業上云以及數字化轉型。云作為數字化經濟的主要載體，對網絡敏捷程度提出了更高要求。分布式數據中心廣泛部署，低時延成為各個數據中心之間協同工作的重要基礎。低時延驅動的網絡轉型將推動運營商網絡進一步轉型。

5G 帶來的新型業務包括增強型MBB、IoT 等業務對時延性能提出了新的挑戰：①車聯網需要提供超級時延保障業務可靠性。譬如對突發情況的提前預知和響應等。②云游戲需要一部簡單配置終端就可以玩對性能要求較高的大型游戲，對網絡時延提出了嚴苛的要求。若畫面延遲，影響游戲結果和體驗。③AR/VR 沉浸式體驗，延遲不滿足將導致體驗缺失。如表1 所示。

表1 5G 業務時延性能要求

邊緣計算覆蓋了政府、工業、家庭、個人等多場景，新型城域網作為連通邊緣和用戶的新通道，協同邊緣計算在城域不同位置的部署，可以提供低時延和極低時延等高品質的鏈接服務，將傳統的南北向流量轉換為東西向流量，極大滿足了計算能力下沉的需求。

3 運營商IP 網絡時延分析

影響IP 骨干網絡時延的主要因素多樣，IP 層架構，傳輸層路由以及光纜網格密度都對時延有重要影響。對某電信運營商IP 骨干網447 個方向對進行分析，其中，傳輸路由非最優共影響474 個方向對，是最主要的影響因素；IP 路由非直達共影響84 個方向對，主要影響北方和西部；IP 路由策略非最優共影響20 個方向對，主要影響寧夏、海南等大城域網省，以及蒙貴園區等；光纜/傳輸網格密度不足共影響15 個方向對。如圖1 所示。

圖1 IP 骨干網絡時延影響因素分析

不同省對間時延影響因素差異大，需差異化制定優化方案。例如，新疆-河北主要受IP 非直達影響，IP 路由需從西安繞轉，繞轉程度超10%；貴州-云南主要受傳輸路由非最優影響，一二路由差超200%；部分省同時受多個因素影響。

影響IP城域網時延的因素主要是資源到用戶的距離，隨著邊緣計算的發展，資源下沉會提升用戶的訪問感知，但也帶來了東西向流量的增加，架構是否適應這種變化。其次，城域網內由于通過帶寬冗余的方式滿足可靠性要求，業務流量承載在不同的光纜路由上，城域內的光纜路由繞轉也會帶來時延的增加。

4 IP 網絡時延優化思路

4.1 IP 網絡架構優化

4.1.1 IP 骨干網架構優化

結合業務規模和地理位置，統籌規劃節點和局向總體布局，兼并投資效益及時延體驗。

（l）IDC 跨省上聯

結合區域一體化設計理念，打破行蹤區劃，推動重點IDC 跨省上聯區域內重點省，提升區域內用戶體驗。如圖2所示，全國設置四大重點區域，各省上聯區域內核心節點，以及周邊重點局向。原則上每省均設置到四大區域的直達局向。盡量減少長距離局向。區域內實施多核心架構，提升節點間協同組網，重點IDC 跨省上聯多區域核心，區域內鄰近省加密直達。相比舊平面，區域內重點IDC 時延下降30%，有力支撐了IDC 等重點業務的可持續發展。

圖2 區域一體化架構

針對跨省上聯的重點園區及大城域網，按目的省所在區域針對性設置BGP 策略，減少路由繞轉。

（2）優化節點設置

針對西北省份（新疆、青海、寧夏）出省局向少、路由長、可靠性不足的問題，將蘭州提升為西北輔助核心。如圖3 所示，增加西北省到蘭州直達局向，可增加西北小省IP 網絡的安全性。同時，甘肅作為西北重要的內容來源，增加直達局向有利于提升流量承載效率。

圖3 西北區域架構

（3）根據地理形態進行架構優化

以內蒙古為例，內蒙古地形狹長，呼和浩特、通遼負載分擔的模式導致時延性能不佳。從流量特征上看，內蒙古出省流量分布較均勻；省內東西部發展不平衡，西大東小，通遼節點考級東北，從流量疏導效率上看無突出地理優勢。

呼和浩特和通遼拆分成為兩個獨立邏輯節點，通遼節點在機房及省際傳輸條件成熟前只承擔部分省內互訪流量。省際流量全部由呼和浩特節點轉發，圍繞呼和浩特節點配置帶寬；所有城域網至通遼節點的局向不再擴容，全部上聯呼和浩特節點。經測算，內蒙古省際（內蒙古只全國其他省份）流量加權距離可降低10%，從2 900 km 下降至2 600 km；蒙西城域網省內加權距離可降低50%，可減少超過500 km；蒙東城市基本不變。

4.1.2 城域網架構優化

新型城域網架構是為應對5G、邊緣計算等帶來的固移融合、云基礎設施下沉挑戰，借鑒DC Spine/Leaf 架構而實現的網絡架構，如圖4 所示。適應城域網流量流向變化，實現以“云為中心”組網，滿足用戶就近訪問需求。

圖4 城域Spine-Leaf 組網架構

（1）POD 內部基于Spine/Leaf 架構（3-stage CLOS）構建固移云融合承載的網絡架構

①每個POD 設置一對Spine 設備（通常部署于邊緣云所在匯聚機樓/一般機樓）；

② A-Leaf（Access Leaf）設備通常部署于一般機樓，負責OLT/STN-A 設備接入；

③S-Leaf（Service Leaf）設備負責邊緣云/極度邊緣的接入；

④ B-Leaf（Border Leaf）通常部署于核心機樓，負責與CN2 PE 對接。

A/B/S-Leaf 成對部署，原則上所有Leaf 設備之間均不互聯。但是，為避免用戶訪問邊緣云時的流量繞轉，在部分邊緣云接入場景，需要OLT、A-Leaf、S-Leaf 設備直連（即partial-mesh 連接）。

（2）POD 之間基于Super Spine 互聯實現橫向擴展

以40～80 萬光寬用戶為單元設置城域POD，每個POD 均覆蓋其轄內所有光寬、移動、政企用戶。成對部署Super Spine（通常位于核心機樓），以實現POD 之間互聯。此外，Super Spine 需連接5GC CE、城域CR 設備（即Super Spine、5GC CE以及CR之間存在partial-mesh連接）。Super Spine 與CR 分設的目的在于減少對CR 容量與端口的需求，進一步降低IP 設備投資。此時，城域CR 設備連接ChinaNet/CN2-DCI 網絡，接收全球路由表，用于承載政企業務與國際互聯網業務流量。

4.2 IP-傳輸協同組網

傳輸網絡組網結構是IP 網絡組網的基礎，兩者協同可顯著提升IP 網絡的基礎能力，否則多少選路策略都是空中樓閣。IP-傳輸協同組網主要從3 個層面推動。

4.2.1 IP 網絡metric 設計與傳輸協同

打破層級化Metric 設計傳統，強化就近轉發和多路徑轉發的能力。將傳輸/光纜距離納入metric 設計中，以接近最有轉發路徑。

以中國電信精品網新平面metric 設計為例，根據傳輸距離，以一定的步長設置metric 值，在全網fulllmesh 需要465 個局向的情況下，只需132 個局向即可接近fullmesh的時延性能。以500 km 為步長設置metric 值，需設計10個等級的metric 值，以1 000 km 為步長設計metric 值，需設計5 個等級的metric 值。經仿真，5 個等級的metric值與10 個等級metric 值結果相近。Fullmesh、5 個等級設置metric 值和10 個等級設置metric 值的仿真結果如表2所示。

表2 IP 網絡metric 設計

4.2.2 單傳輸路由組網

結合ROADM 快速重路由技術，選取重點局向，采用單傳輸路由架構組網，降低重點業務端到端訪問時延，如圖5 所示。

圖5 單傳輸路由組網示意

采用單傳輸路由組網，可使業務在短路徑上承載，但也帶來了一定的業務性能影響，當傳輸路由故障導致中斷后，將會有秒級的業務IP 鏈路中斷。

4.2.3 傳輸路由優化

從現網取樣的已開長途局向194 個，其中長短路由差距大的局向137 個（長短路由最大相對比120%以上，或最大絕對差1 000 km 以上；一路由與光纜最短距離差距大8 個（一路由是光纜最短的1.5 倍以上）；光纜與球面距離差距大16 個（光纜最短是球面距離的2 倍以上），如圖6 所示。

圖6 傳輸路由優化分析

隨新光纜和系統投產，開展存量電路優化，效果顯著，預計全國平均時延將縮短1～2 ms。定期篩查現網電路傳輸路由部署情況，結合新光纜投產制定響應優化計劃，可有效提升IP 網絡的時延性能。

4.3 SRv6 技術部署

隨著5G、云計算、物聯網等新業務的開展，對網絡的差異化能力提出了更高的要求。SRv6 作為構建新一代智能IP 網絡的核心協議，統一并簡化了傳統復雜的網絡協議，實現網絡運營的簡化和應用級的SLA 保障。

SRv6（IPv6 Segment Routing）是基于源路由理念而設計的在網絡上轉發IPv6 數據包的一種協議?；贗Pv6轉發面的SRv6，通過在IPv6 報文中插入一個路由拓展頭SRH，在SRH 中壓入一個顯式的IPV6 地址棧，通告中間節點不斷的更新目的地址和偏移地址棧來完成逐跳轉發，如圖7 所示。SRv6 將一些IPv6 地址定義成實例化的SID（Segment ID），每個SID 都有自己顯式的作用的功能，通過不同的SID 操作，實現簡化的VPN 以及靈活的路徑規劃。

圖7 SRv6 路由擴展

SRH（Segment Routing Header）是為了基于IPv6 轉發平面實現SRv6，新增加的一種IPv6 拓展頭。SID 是一種網絡指令（Instruction），它由Locator 和Function 兩部分組成，Locator 主要承擔路由功能，所以要在SR 域內唯一，Function可以標示設備的任何功能，比如某個轉發行為，或者某種業務等。

在石家莊和北京之間進行了基于SRv6 Policy 進行遺留的低時延路徑調度試驗，如圖8 所示?？刂破髟诒本〤、石家莊C 間創建低時延SRv6 Policy 隧道，下發L3VPN至北京C、石家莊C，綁定SRv6 隧道，北京城域網CR/石家莊城域網CR 分別指定靜態路由到北京C、石家莊C?？刂破飨掳l染色策略到尾節點PE，通過RR 廣播到網內，將目標地址公網路由引入VPN，北京C5、石家莊C1 設置復雜流重定向，引流入VPN。

圖8 SRv6 Policy 部署試驗

時延優化效果顯著，調優前北京-石家莊探針雙向時延為11.6 ms，疊加靜態路由+SRv6 后，時延降到10 ms左右，時延優化13.8%，如圖9 所示。

圖9 SRv6 Policy 低時延試驗結果

5 結束語

IP 網絡時延優化是個系統性工程，需從IP 網絡架構、跨專業協同、新技術引入等方面綜合考慮。本文從時延性能分析入手，推動IP 骨干網、城域網架構的統籌優化，從多個維度研究IP 與傳輸的跨專業協同組網，并通過部署SDN+SRv6 技術實現低時延路徑引流，實現了從物理層路由資源優化到邏輯層的路由定制，多項技術已在中國電信IP 骨干網中得到應用，取得良好的成效。