基于ATCA架構的可重構通信處理機設計*

何贊園，王 凱，吉立新，李海濤

(國家數字交換系統工程技術研究中心，鄭州450002)

隨著數據通信業務的應用越來越廣泛，為了縮短產品的開發周期，提高產品的性能，通信設備供應商越來越多地選擇基于標準通信平臺進行業務的開發和設計。全球PCI工業計算機制造組織(PCI Industrial Computer Manufacturers Group，PICMG)制定了一系列的協議[1－2]來逐步完善和規劃相應的設備平臺應用設計標準。近年來，基于先進電信計算機架構(Advanced Telecom Computing Architecture，ATCA)平臺的應用越來越廣泛，該架構正在逐漸成長為新一代主流電信級模塊化通信平臺。

MPC8548E是Freescale公司基于PowerPC架構的PowerQUICC III芯片，該芯片廣泛應用于數據網絡、電信通信以及無線網絡中。借助ATCA平臺豐富的數據接口和強大的數據交換能力，選擇MPC8548E作為處理機，通過以太網交換機以及PCI－E(PCI Express)橋的設計應用，實現基于ATCA架構的 MPC8548E可重構系統，可充分發揮MPC8548E的效率，給用戶提供一個擴展靈活、功能多樣化、可重構的網絡通信處理機平臺。

1 ATCA系統的特點

ATCA系統采用點對點交換互連結構以實現高速數據傳輸。系統內部的各個節點板(Node)的接口信道均使用低壓差分信號(Low Voltage Differential Signaling，LVDS)差分對，具有相同的電氣特性，該信號可達到3.125 GHz，數據編碼使用8b/10b編碼機制[1－2]。各節點板可根據需要安裝在任意指定槽位，ATCA平臺各節點板的交換互連拓撲結構分為雙星型、雙雙星型、和全網狀[1－2]3 種。ATCA 系統支持熱插拔和冗余備份，此外還支持不同通信協議之間的互連，物理接口包括以太網和光纖傳輸、InfiniBand、RapidIO、PCI－E 等多種基于 LVDS 傳輸的高速信號。

ATCA架構的不足之處在于基礎成本較高，占用空間較大，設備管理和冷卻供電都比較復雜，ATCA系統更適用于大規模、集中式的電信應用。因此，基于ATCA架構構造一種接口可靈活擴展、功能可重構的通信系統處理機就顯得很有必要，不但能夠極大發揮ATCA平臺效能，而且有效降低產品的投入成本，大大縮短開發周期。

2 系統通信模型的提出

電信級的通信平臺通常采用主備的方式來提高設備的可靠性?；贏TCA架構的通信系統大多選擇具有雙星型網絡拓撲的交換背板，在該網絡拓撲的通信系統中，采用主、備用兩塊網絡通信處理機，各自提供兩個雙星型的通信網絡，一個是基于Base平面通信，一個是基于Fabric平面通信，通過主備用的網絡拓撲應用提高設備的可靠性。系統中的節點板通過自身的Base和Fabric通道來完成與主備用網絡通信處理機的信息交互。圖1是一個典型的基于ATCA架構的雙星型網絡通信模型，包括主備用兩個網絡通信處理機，可以和所有節點板互連。網絡通信處理機的Base通道采用10/100/1000M Base－T的以太網通信形式，Fabric通道采用高速并串行和串并行轉換器(SERializer/DESerializer，SerDes)接口(如采用1000M Base－X形態)完成數據通信，該接口信號符合LVDS的電氣特性。

圖1 ATCA系統雙星型網絡通信模型Fig.1 Double－star network communication model for ATCA system

在節點板內部，通常采用符合 AMC(ATCA Mezzanine Card)[1－2]規范的板卡實現節點板的業務擴展與重構，ATCA和AMC規范定義了系統內部互連的標準也是基于LVDS傳輸的高速串行信號，如InfiniBand、RapidIO、PCI－E 和以太網交換等。

基于ATCA架構的MPC8548E可重構通信處理機設計，采用以太網交換機實現了節點板和系統主備用網絡通信的信息交互，通過虛擬局域網(Virtual Local Area Network，VLAN)的設置應用，提高了節點板的性能，擴大了處理機的應用范圍，主處理器和AMC板卡協處理器的業務數據通過以太網交換機來實現，采用PCI－E橋實現了管理和業務數據的分離，有利于提高處理機的穩定性。根據以上內容，本文提出了如圖2所示的通信系統模型。

圖2 ATCA系統AMC板卡的通信模型Fig.2 The communication model of AMC board on ATCA system

3 基于ATCA架構的MPC8548E可重構通信處理機設計

3.1 MPC8548E的最小系統設計

MPC8548E是Freescale公司基于PowerPC架構的PowerQUICCIII芯片，內部集成有第2代的e500內核，該芯片提供一個雙精度浮點運算的加速處理器(Accelerated Processing Unit，APU)，512K 的兩層緩沖，可提供4個10/100/1000M自適應的以太網口，集成一個雙倍數據率同步動態隨機存取存儲器(Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM)/第 2代雙倍數據率同步動態隨機存取存儲器(Double Data Rate Two Synchronous Dynamic Random Access Memory，DDR2 SDRAM)控制器，最多可支持64 b的外設部件互連標準(Peripheral Component Interconnect，PCI)總線，最大可提供×8的PCI－E以及×1或×4的RapidIO高速串行接口，另外還提供了豐富的輸入/輸出(Input/Output，I/O)接口以及兩線式串行總線(Interintegrated Circuit，I2C)接口。

結合MPC8548E的網絡通信處理能力，選擇以太網交換機和PCI－E橋來實現該處理機和ATCA系統的主備用網絡通信處理機的信息交互以及板載主處理機和AMC板卡的協處理機之間的數據交互，提出了如圖3所示的通信模型。

圖3 MPC8548E通信系統模型Fig.3 The communication system model of MPC8548E

圖3 系統中，MPC8548E的外圍包括基于DDR2 SDRAM總線1 024 MB的DDR2 SDRAM，以及Local Bus總線的64 MB SDRAM，都可作為單板CPU的運行程序空間，基于Local Bus總線設計的用于存儲程序和數據的16 MB的Flash，以及512 KB的 Boot Flash，同時系統中還需要實現MPC8548E網絡通信功能的4個增強型的三速以太網控制器(enhanced Three－Speed Ethernet Controllers，eTSEC)通道的以太網接口，通過以太網交換機交換實現與協處理器以及系統主備用網絡通信處理機的數據交互，通過PCI－E橋實現與AMC板卡協處理器的數據通信。該處理機內部其他部分還包括配置電路、時鐘處理電路以及供電系統，處理機的可重構性通過標準AMC板卡的擴展使用來實現。

該系統采用從Local Bus總線的Boot Flash的啟動方式，啟動方式需要在MPC8548E的配置字方面進行相應設置。此Boot Rom的程序完成了對MPC8548E最精簡系統的初始化，實現 DDR2 SDRAM的初始化、對各個片選的訪問方式的配置初始化，以及以太網口基本功能初始化。CPU完成引導后，MPC8548E最小系統就可以運轉，通過串口可以對各個外設進行相應的訪問與設置，根據需要完成相應功能的基本測試。實際運行過程中，需通過以太網口將相應的運行程序以及數據加載到DDR2 SDRAM中去，完成整個系統程序和數據的更新以及固化操作。

3.2 處理機系統設計實現

典型的節點板在ATCA系統中應用時，除了通過Base通道和系統主備用網絡通信處理機通信交互管理消息外，還有用于數據交互的兩個Fabric通道(雙星型ATCA系統)或4個Fabric通道(雙雙星型ATCA系統)。通常情況下，業務功能板上可提供1～4個AMC板卡的擴展。本文設計的基于ATCA架構的MPC8548E通信系統處理機可作為ATCA系統中靈活應用的多種功能節點板使用，提供的資源包括:

(1)提供兩個標準AMC板卡位置，每個AMC板卡支持1個×1的PCI－E通道;

(2)提供6個以太網形態的通信信道，作為通用的業務處理板，完成系統中兩個主備用網絡通信處理機的管理平面(Base)和業務平面(Fabric)連接，也可以應用于雙雙星型的系統中實現4個業務平面的數據交互;

(3)單板設計應用了Vitesse公司的VSC7390作為整個處理機單板的核心交換，該芯片共提供24個以太網口，連接單板各種端口，可以根據應用靈活配置，其中8個內置物理層(Physical，PHY)接口可直接支持Base格式的通信，其余16個口可直接和支持串行吉比特介質獨立接口(Serial Gigabit Media Independent Interface，SGMII)通信接口的芯片直接通信。綜合上述系統的網絡資源，VSC7390的以太網口分配如圖4所示。

圖4 單板以太網交換網絡分配Fig.4 Board ethernet switching network assignment

基于VSC7390的以太網交換網絡，可提供以太網兩層交換，具備VLAN的功能設置，利用VLAN功能，一方面可以降低網絡的負荷，提高網絡的效率，提高數據傳輸的安全性與靈活性;另一方面，可以降低主控制器的處理時間，提高整個通信網絡的通信能力。VLAN功能的應用是本文基于ATCA系統的MPC8548E的處理的一個顯著特點。來自ATCA系統主備用網絡通信處理機的數據可根據要求直接送達AMC板卡的協處理機，不需要經過MPC8548E預處理，這樣可以大大提高單板處理機的處理效率，極大提高了單板處理數據的能力。

圖4中，連接系統主備用網絡的兩個Base接口和兩個擴展功能的以太網口直接采用VSC7390的自身集成PHY來完成，其他連接MPC8548E的4個網口、連接兩個AMC擴展板卡的8個網口，以及連接ATCA系統背板的雙雙星型網絡的4個Fabric接口都采用SGMII的協議進行信息交互。

MPC8548E的4個以太網口，其中兩個為吉比特介質獨立接口(Gigabit Media Independent Interface，GMII)，通過配置可設置為精簡吉比特介質獨立接口(Reduced Gigabit Media Independent Interface，RMII);另外兩個為RGMII接口，4個網口均為內置MAC層，接口的協議遵循RGMII格式，無法直接和VSC7390的SGMII格式對接。在設計中使用Vitesse公司的VSC8224(該芯片提供4個RGMII接口到1000M Base－X或者1000M Base－T通信格式的轉換)將MPC8548E的RGMII接口轉換為1000M Base－X的格式;選擇Vitesse公司的VSC8558可以實現8 PORT的SGMII到1000M Base－X的轉換，其中的4個PORT通過VSC8224實現和MPC8548E的通信;選擇VSC8558的另外4 PORT來完成和系統背板的雙雙星型網絡的Fabric接口通信。

為了提高單板硬件資源的可重構性，ATCA單板提供了和AMC板卡通信的以太網口，該網口的通信格式遵循SGMII格式，每個AMC板卡都提供4個SGMII接口。

3.3 以太網通信網絡中VLAN功能的應用

在基于MPC8548E的ATCA單板系統中，通常的做法是使用CPU自身的4個以太網口，設計成雙星型的交換架構，完成單板和ATCA系統背板的通信，采用CPU的SRIO或者PCI－E等高速串行通道完成對數據的轉發處理。這種應用方式的數據處理瓶頸是受限于CPU的處理能力，會增加CPU的消息處理負荷。在本文設計的系統中，數據在進入單板處理時，可根據相應的規則要求，通過VLAN功能的設置，完成數據包的指定轉發，這樣不但會減輕CPU的數據處理負荷，還會進一步提高單板的業務處理能力。通過VLAN的功能應用，可以將來自ATCA系統交換單板的業務數據流，根據規則要求靈活指定到AMC1或者AMC2的協處理機。通常情況下，AMC可以很容易地實現系統功能擴展以及模塊化設計應用，通過AMC模塊的應用可以很方便地實現各種類似CPU、DSP模塊、網絡處理器(NPU)、存儲模塊，以及各種各樣的I/O模塊。通過ATCA單板VLAN的設置，可以直接將業務數據消息輸送給AMC模塊進行相應的處理，可進一步提高本文設計系統的多功能應用能力。

3.4 采用PCI－E通信格式實現控制

該處理機為了提高MPC8548E通信處理機擴展性能，提供較高的數據傳輸能力，設計應用了PCI－E的高速串行接口，數據連接的優先級和數據傳輸率可以預先確定。

系統中選擇IDT公司的89HPES8T5A芯片，可提供8 lane、5個 PORT的應用接口，可以完成5 PORT的基于PCI－E數據格式的交換，其中上聯口為×4，下聯口為×1。系統基于PCI－E格式通信的模型如圖5所示。

圖5 系統基于PCI－E通信模型Fig.5 Communication system model based on PCI－E

在實際應用過程中，ATCA單板上MPC8548E作為該處理機的主處理器，可對AMC子卡進行管理，完成協處理器的程序更新、設備管理、日常維護等。PCI－E通道除了可以完成控制消息的傳送外，也可進行業務數據的交互，通過PCI－E通道的設計，進一步擴展了該系統的應用范圍。

3.5 MPC8548E驅動的設計

MPC8548E的通信系統處理機的驅動設計，除了完成主CPU的正常運行以外，還涉及到對VSC7390、VSC8224、VSC8558、89HPES8T5A 等外設的管理，以及和ATCA系統處理機進行信息交互。

系統中所有外設芯片口都可以通過MPC8548E的管理來完成，進一步提高了單板作為多功能用途時的靈活性。VSC8224作為MPC8548E自身的PHY設備，可通過RGMII接口的管理口來完成。通過MPC8548E的總線外設擴展，完成對VSC7390的控制，從而達到初始化設置以及VLAN功能的配置應用。VSC8558作為VSC7390的PHY設備，可以通過管理口來完成相應配置;MPC8548E通過slave接口的SMBus(System Management BUS)總線來完成對PCI－E橋設備芯片89HPES8T5A的初始化配置。

MPC8548E初始化VSC8224時，需要完成下面的關鍵設置:

按照上述的操作，需要再完成另外3個PHY端口的初始化。

VSC7390的初始化按照MPC8548E的LOCAL BUS的工作方式完成控制操作，CPU通過VSC7390的管理通道(MDC和MDIO)完成VSC8558的初始化，將與VSC8224對接的4個端口的初始化，需要設置為1000M－BASEX的工作模式。

MPC8548E的系統設計中，使用基于PowerPC處理器的Linux系統[3]。該操作系統的顯著特點是能夠對所有基于PowerPC處理器系統進行支持，其中斷處理子系統可支持信息處理中斷計數(Message Processing Interrupt Count，MPIC)架構，使用的 Open Firmware結構對PowerPC進行引導，使用本地存儲器總線(Local Memory Bus，LMB)結構對PowerPC的內存進行管理，在其原有源代碼結構上，添加了許多有利于PowerPC層次化的數據結構，可以讓用戶增加新的處理器平臺。目前，Linux PowerPC已經成為一個穩定的、久經考驗的系統解決方案，因此選擇Linux PowerPC作為MPC8548E的操作系統。

4 系統完整性測試

基于ATCA架構的MPC8548E處理器的通信處理系統的設計實現，不但滿足了ATCA平臺的基本應用，還通過PCI－E橋以及可以設置VLAN功能的以太網交換機的應用，進一步拓展了該通信處理系統的應用范圍。

設計實現中，通信處理系統的信號完整性尤為關鍵[4－5]。使用 Tektronix公司的 DPO5104 示波器對1000M以太網傳輸信號的電平特性進行測試，結果如圖6所示。

圖6 單板和系統背板的接口電平信號圖Fig.6 The level signal diagram for the interface of board and system backplane

從圖6中可以看出，所測量的信號符合5電平4D－PAM編碼要求，對4個1000M以太網口的電平都進行了相應測試，結果表明都能夠滿足要求，從而證明系統設計保證了該單板的設計接口，符合ATCA系統背板的電氣特性連接要求。

使用SPIRET公司的Adtech AX/4000 Broadband Test System對以太網的傳輸質量進行了測試，測試流程為測試儀通過連接系統的BASE平面的1000M以太網口滿負荷發送數據包，數據包的格式為變長包，最小包為78 B，最大包為1 518 B，通過處理機上以太網交換機的VLAN設置對MPC8548E的處理能力以及AMC板卡協處理機的網絡處理能力都進行相應的測試，在CPU內部和協處理機內部都將數據包直接環回，測試儀再接收數據包的個數和正確性，以此來判斷是否符合相應的指標要求。測試結果如圖7所示。

圖7 1000M以太網性能測試結果截圖Fig.7 The performance test result of 1000M ethernet

圖7 中，針對其中一個1000M以太網接口，測試時間為 14 h，測試儀發送的數據包個數為7 742 081 934，字節總數為6 178 247 776 240。測試儀的接收端口到包的個數與字節數據的個數和測試儀發送的個數是相同的，這驗證了相應的網絡接口設計符合入網的標準，保證了使用的可靠性。

通過編寫測試程序對MPC8548E的PCI－E進行環回測試，數據包的誤碼率、丟包率、時延等參數都能夠滿足系統通信的要求，系統接口進行72 h測試，無誤碼。

5 結束語

本文使用MPC8548E作為基于ATCA架構的通信系統處理機，選擇具有VLAN功能的以太網交換機，給業務數據的處理提供了更多選擇，通過PCI－E橋的設計應用，豐富了AMC板卡和ATCA單板的數據交互。通過這些功能的設計實現，使用MPC8548E不僅可作為通用處理機的通信系統應用，還可支持更為豐富靈活的應用，通過該網絡通信處理機的設計實現，構建了一種可以實現多種業務應用的基礎通信平臺。在該單板上可以借用AMC標準板卡的接口實現DSP陣列的擴展應用，也可基于AMC標準板卡來擴展多種功能的數據協處理應用模式。目前，本文設計的基于 ATCA架構的MPC8548E通信系統處理機已經在軟交換通信處理平臺中實現了主控處理機、信令處理機、媒體(包括語音、傳真、視頻等)處理機的廣泛應用，并在增值業務服務器等方面也取得了成功應用。

隨著大數據的業務需求出現，海量數據的處理對CPU的性能要求也越來越高，能否提供一個通用的處理機平臺，通過簡單的CPU部件的改進，直接完成平臺性能的提升，對于后續平臺的設計實現會十分有益。

[1]PICMGR3.0，Advanced TCATMBase Specification(Revision 1.0)[S].

[2]PICMG 3.0，Short Form Specification[S].

[3]王奇.Linux PowerPC詳解－核心篇[M].北京:機械工業出版社，2008.WANG Qi.Linux PowerPC Explain－Core[M].Beijing:China Machine Press，2008.(in Chinese)

[4]陳志列.基于ATCA的網絡拓撲結構的研究[J].測控技術，2011，30(3):65－68.CHEN Zhi－lie.Research of the Network Topology Based on ATCA[J].Measurement and Control Technology，2011，30(3):65－68.(in Chinese)

[5]衛亮.基于ATCA通信軟件系統實施方案的研究[J].微型電腦應用，2011，27(4):1－4.WEI Liang.Telecommunication Software Implementation Based on ATCA[J].Microcomputer Applications，2011，27(4):1－4.(in Chinese)