基于SD-WAN 混合鏈路實現規模無關快速路由切換的設計*

吳 捷，賈永興，許 茳，王 雄

（1.中國電子科技集團公司第三十研究所，四川 成都 610041；2.電子科技大學 信息與通信工程學院，四川 成都 611731）

0 引言

軟件定義廣域網[1]（Software Defined Wide Area Network，SD-WAN）將企業的分支、總部和多云之間互聯起來，各類應用可在不同混合鏈路，如多協議標簽交換（Multiprotocol Label Switching，MPLS）、Internet、5G、長期演進（Long Term Evolution，LTE）等[2]之間通過網絡自動選擇最優轉發路徑進行業務傳輸，提供優質的上云體驗。企業通過部署SDWAN 可以提高分支網絡的可靠性、靈活性和運維效率，確保分支網絡實時在線，保證業務的連續性和穩定性。SD-WAN 常用于地理位置廣域分布且需多點間遠程互連的企業網絡，包括企業的分支機構及數據中心。SD-WAN 架構與需做大量預配置的MPLS 鏈路、傳統二層或三層虛擬專用網絡（Virtual Private Network，VPN）技術相比，解決了多分支架構企業網絡在支持差異化服務等級應用能力、網絡靈活度、線路成本、安全傳輸等方面持續增長的壓力[3]。

Gartner 明確定義的SD-WAN 基本特性中[1]，混合鏈路的使用是重點之一，包括對MPLS、Internet、LTE 等有/無線鏈路的綜合接入?；旌湘溌芳夹g的引入為站點間的互聯互通提供了多樣化選擇，SD-WAN 支持基于不同特性鏈路的動態質量探測，可在用戶無感的前提下自動調整業務與路徑的綁定關系，以提供最優的業務傳輸效果，實現跨廣域網連接時利用多鏈路靈活、智能地完成負載分擔的目的?；旌湘溌返氖褂脼槠髽I用戶業務傳輸在降本增效方面實現了較大的能力提升。

SD-WAN 的網絡模型主要涉及兩層網絡，一個是Underlay 網絡，一個是Overlay 網絡[4]。Underlay網絡即通常說的WAN，由不同的運營商基于不同的WAN 專線或者公用網絡構建，基于傳統OSPF、ISIS 等路由協議實現底層網絡互聯互通；Overlay 網絡連接不同站點，由Underlay 網絡完成站點間底層網絡通聯，與具體的WAN 互聯、路由協議等技術解耦。SD-WAN 組網主要指在不同站點之間搭建Overlay 網絡，基于混合鏈路上建立的遠程隧道，開展站點間自動互連組網和自動路由優選，具體的組網技術包括基于以太的虛擬私有網絡（Ethernet Virtual Private Network，EVPN）、虛擬擴展局域網（Ethernet Virtual Private Network，VXLAN）、SRv6 等[5]。

當混合鏈路中的某條鏈路出現異常時，該鏈路上正在傳輸的業務會立即中斷，直至路由協議完成路由收斂并將轉發路徑更新到其他正常連接的鏈路[6]。目前業界常使用快速重路由等技術實現物理層/鏈路層檢測，檢測到故障后將立即啟用一條備份鏈路，以快速接續轉發報文，但快速重路由技術本身無法確保在規?；酚汕闆r下路由的快速切換。因此，在網絡路由規模較大的場景下發生鏈路中斷后，即使采用快速重路由技術，依然難以保證最后一條備份路由啟用的生效時間[7]。

本文提出一種基于“分級轉發+多鏈路管控”的新型融合設計[8]，通過改變傳統路由的扁平化處理機制，基于“IP+邏輯鏈路”的兩級查表轉發架構，實現鏈路中斷后備份路由啟用與網絡規模的完全解耦，以提供網絡損毀后業務通聯恢復時間確定性上界保證。

1 基于分級轉發的快速路由切換

1.1 分級轉發總體架構

傳統路由轉發技術僅基于IP 前綴進行路由查表，從查表后的設備出口進行報文轉發，當出口（物理/邏輯鏈路）中斷后，即使采用快速重路由（Fast Reroute，FRR）等技術預先計算備份路由，由于備份路由的啟用過程需要逐條進行協議封裝及消息下發，因此僅能確保小規模網絡場景下的業務恢復時間上界保證。

針對上述問題，總體架構設計采用基于分級轉發的快速路由切換技術，充分利用SD-WAN 組網模式下混合鏈路的多出口特點，在傳統路由表的基礎上進行轉發表項擴展設計，以便同時容納多個路由出口信息。這種設計的前提約束是考慮到SDWAN 架構下混合鏈路上建立的節點間通信渠道均為Overlay 隧道，其路由計算采用IBGP 完成，IBGP 協議特性可確?；旌湘溌范喑隹谶x擇不存在路由環路。

在分級轉發架構的路由表設計中，將每條Overlay 隧道鏈路用從1 開始編址的鏈路ID 表示，對路由表結構進行擴展設計，表項結構如表1 所示。

表1 分級轉發架構下IP 路由表

表1 中的鏈路ID-1、鏈路ID-2 為BGP 路由計算的Overlay 隧道出口標識，可唯一索引某條鏈路。

同時新增Overlay 隧道鏈路出口表項（簡稱OL隧道鏈路表）定義，用于表征不同鏈路的質量特性、權重和狀態等多維參數，表項結構如表2 所示。

表2 分級轉發架構下Overlay 隧道鏈路表

基于兩級表項的設計架構，當IP 報文完成路由查表后，將提取路由表中存儲的所有鏈路ID信息，將其作為元數據MetaData 去查找OL 隧道鏈路表，根據OL 隧道鏈路表的權重、特性及狀態決定報文的輸出接口。

報文主體轉發流程修改為“IP 路由查表->提取所有OL 隧道鏈路號->索引查找OL 隧道鏈路表->根據狀態選擇可用鏈路->根據權重路由優選|根據報文應用特征及轉發策略執行應用感知路由及等價路由轉發等”。

1.2 主體功能模塊設計

基于分級轉發的快速路由切換功能設計主要涉及路由協議、路由表管理、OL 隧道鏈路管理、分級轉發邏輯及網絡損傷快速切換5 個部分，涵蓋了控制面軟件協議、轉發面可編程邏輯處理等操作，具體工作流程如下文所述。

1.2.1 路由協議分級轉發適配修改

SD-WAN 組網技術中，在混合鏈路上采用Overlay隧道實現遠程站點間的互聯互通，其中路由協議采用基于邊界網關協議（Border Gateway Protocol，BGP）擴展的EVPN 協議來完成站點間的遠程組網。

SD-WAN 的典型網絡架構如圖1 所示。

圖1 SD-WAN 典型網絡架構

圖1 中RR（SD-WAN 路由反射器）是控制層的核心組件，主要負責：SD-WAN 租戶VPN 路由的分發和過濾、VPN 拓撲的創建和修改、站點間Overlay 隧道的創建和維護等。CPE 站點是SDWAN 隧道的發起和終結點，CPE 與RR 間通過建立SD-WAN 隧道并運行IBGP 協議以完成路由信息的交互，最終通過RR 的路由反射功能完成CPE 間隧道的自動建立、路由計算尋址等組網功能。

標準BGP 協議在路由計算時，只有符合ECMP要求的路由才能生成等價多路由，但在SD-WAN組網架構中，混合鏈路包含不同特性的鏈路（5G、LTE、專線……），在鏈路帶寬、丟包率、時延及誤碼率等各方面存在較大差異，實際組網時不能實現原生等價路由處理[9]，故難以在相同CPE 站點對間計算生成跨混合鏈路的多路由出口表項。因此，需要對BGP 的標準路由優選處理流程進行專用改造。

通過專用改造，BGP 路由協議基于NLRI 協議消息觸發進行路由更新計算時，路由優選處理流程中對各類優選參數（路由類型、路由源、PREF、WEIGHT、MED……）做全等價處理，無須根據路由消息中攜帶的優先級做差異化優選，但優先級參數依然存儲在路由信息結構中，并下發到FIB 庫，以此將路由優選的功能卸載到可編程的轉發面。通過OL 隧道鏈路表和專用轉發邏輯的結合，轉發面功能組件可根據多OL 鏈路隧道的連通狀態、優先級等進行業務報文的策略化靈活轉發處理。

BGP 協議路由優選改造流程如圖2 所示。

圖2 BGP 路由優選改造流程

改造后的BGP 可基于混合多鏈路建立的OL 隧道計算生成多條不同出口路由，根據設備平臺的最大條數限制下發給路由表管理模塊，路由信息中攜帶該路由的原生優先級。

1.2.2 路由表管理多OL 出口擴展

路由表管理模塊主要用于接收不同路由協議下發的轉發表，根據協議和路由的優先級等多維參數完成FIB 的構造。當SD-WAN 站點上的BGP 基于跨混合鏈路建立的多條OL隧道生成多出口路由時，路由管控模塊的信息處理機制需做相應修改，其目的是能接收到相同目的IP 前綴的多個不同出口。路由表出口不直接關聯實際物理端口，而是用OL隧道鏈路標識來表示，其目的是實現分級轉發與網絡路由規模解耦[10]。

1.2.3 OL 隧道鏈路管理

OL 隧道鏈路管理模塊的功能主要是與EVPN建立的Overlay 隧道進行接口，將通過不同混合鏈路建立的SD-WAN 站點間遠程隧道進行唯一標識，其字段取值從1 開始順序遞增。采用這種一維順序編址方式，對典型SD-WAN 站點和網絡規模進行設計時，字段的取值范圍可以輕松支持中大型網絡，且與工程實施結合緊密。如針對FPGA 內部的尋址體系，可以直接將鏈路ID 作為存儲空間的下標進行映射轉換使用，具有節約存儲空間、高性能尋址及工程實現簡潔等優勢。

1.2.4 分級轉發邏輯

分級轉發邏輯工作在數據轉發面，是本文規模無關快速路由切換設計的關鍵模塊。前文已經描述了分級轉發模式下存在的兩張轉發信息表，分別是IP 路由表和OL 隧道鏈路表。當業務報文進入站點邊緣的通信設備（如CPE）進行轉發查表時，首先提取報文的目的IP 地址進行路由表的查詢，查詢后若匹配到路由表項，則將查詢獲取的OL 隧道鏈路標識作為元數據繼續查詢OL 隧道鏈路表，并根據OL 隧道鏈路表匹配結果進行相應處理，主要處理邏輯分類如下。

（1）需ECMP 處理，則提取具有相同路由權重的OL 隧道鏈路進行ECMP 等價轉發。

（2）需UCMP（非等價負載分擔）處理，根據不同OL隧道鏈路的權重進行數據加權分流轉發。

（3）應用感知路由轉發：根據IP 報文攜帶的SLA 數據，選取相應質量特性的OL 隧道鏈路進行業務轉發。

（4）傳統路由轉發：根據路由權重選擇“狀態”為有效、“權重”最優的一條OL 隧道鏈路進行報文轉發。

基于如圖3 所示的分級轉發流程對轉發面的關鍵流程改造進行總結。

圖3 分級轉發基本邏輯處理

1.2.5 網絡損傷規模無感快速切換

當SD-WAN 間的OL 隧道鏈路通過BFD 等探測機制發現鏈路中斷（中間轉發節點故障、中間轉發局部物理鏈路故障……）時，傳統路由協議會根據BFD 聯動的檢測結果進行路由收斂計算，同時結合分級轉發的設計會實時更新相應OL 隧道鏈路的狀態，對某條OL 隧道鏈路或物理鏈路中斷影響的批量OL 隧道鏈路進行“狀態”更新。

在分級轉發數據面中，基于混合鏈路下多OL出口備份路由的設計，當路由協議收斂尚未完成時，途經受損OL 隧道鏈路的路由表中依然會存在已經中斷的OL 隧道鏈路標識?；诙伪眄椘ヅ涞脑O計，當基于路由表提取的多OL 隧道鏈路標識與OL隧道鏈路表匹配后，即使中斷的OL 隧道鏈路是具備最高路由權重的出口，但由于該OL 隧道鏈路已通過BFD 等檢測技術完成可用狀態即時更新，數據面轉發模塊會識別出該OL 隧道鏈路對應的“狀態”為“中斷”，從而為業務報文自動選取次優的狀態有效OL 隧道鏈路進行轉發。

典型的網絡快速切換流程如圖4 所示。從圖4的工作流程可以看出，不管是混合鏈路中某條物理鏈路的中斷還是骨干網絡中某個設備或物理鏈路導致的多OL 隧道鏈路中斷，對OL 隧道鏈路狀態的更新都是輕量級的單包或幾包下發，與使用該OL隧道鏈路為出口的路由表容量完全解耦（如1 萬條路由途經1 條OL 鏈路出口，僅需更新1 條OL 鏈路狀態即可實現1 萬條路由的轉發出口更新）。確保在路由收斂或備份路由啟用還未完成前，以最快速度完成網絡業務的中斷接續，基于當前FPGA、NP 和高性能處理器DPDK 等平臺的性能評估，能提供小于傳統電信級網絡50 ms 的網絡倒換業務恢復時間。

圖4 網絡損傷規模無感快速切換

基于分級轉發的架構設計，在多種網絡損毀場景下可為企業分支網絡提供路由規模無關的業務恢復效能。結合IFIT 等隨路檢測技術，可在OL 隧道鏈路質量特性發生變化時以最小開銷、最短時間完成OL 隧道鏈路表的質量參數更新，在路由規模解耦前提下，對業務傳輸提供最優性能的應用感知路由轉發適配。

2 測試結果及分析

不同的設備平臺存在主控處理器、線卡處理器、TCAM、FPGA 性能以及設備整體架構的差別，將導致規模路由組網條件下網絡損毀后的路由切換時間各不相同，對比分析某路由器研制項目中的實際測試結果可得出：傳統路由器架構和混合鏈路分級轉發架構在網絡損毀路由快速切換方面的性能差異。

該項目中路由器內部的基本架構如圖5 所示。

圖5 測試平臺基礎架構

在主控制板的核心處理器中主要運行各種整機控制協議、組網協議（路由協議、標簽分發協議……）等，在轉發線卡的板級處理器上主要運行轉發面表管理軟件及TCAM 的SDK 軟件，控制面下表流程為：核心處理器->板級處理器->FPGA->TCAM 芯片，受制于處理器及SDK 軟件性能，該平臺下1 條路由表的平均下發時間在10 ms 左右。項目組經過軟件架構優化，將板級處理器上轉發面下表功能移植到了核心處理器后，1 條路由表平均下發時間能提升到3 ms 左右，由此可知：對于1 千條路由規模下的網絡損毀路由切換時間在3～10 s，對于1 萬條路由規模下的網絡損毀路由切換時間在30～100 s。

采用基于混合鏈路的分級轉發架構后，基于冗余混合鏈路的備份路由可預先下發到轉發面，鏈路損毀后僅需更新下發1 條OL 隧道鏈路表，即可完成對損毀鏈路的規避和轉發路徑切換，實現與網絡規模的完全解耦，無論路由條數多少，該平臺下僅需3～10 ms 即可完成路徑切換和網絡業務的通聯恢復，為關鍵重要業務提供網絡規模無感前提下小于50 ms 的路徑切換時間，在網絡損毀后提供更高的業務通聯恢復性能。

3 結語

基于對傳統路由轉發架構的深入理解，站在分級轉發、多表項獨立控制的角度設計了一套新型的通信轉發流程，利用SD-WAN 網絡中混合鏈路、Overlay 隧道的組網特性，將路由信息表與邏輯鏈路出口完全分離，實現了路由切換效能與網絡路由規模的完全解耦，對應用感知路由能力適配等提供更好的通聯性能，并系統性地對整體流程和模塊設計進行了詳細說明。本文所述新型路由轉發設計給出了整體技術架構、關鍵數據結構及詳細工作流程說明，采用可移植性較強的組件化設計方法，對相關工程實施有較好的指導作用。