面向短距光互連的隱藏層拓展循環神經網絡均衡器

劉曹洋，孫林，肖家旺，毛邦寧，劉寧

（1 蘇州大學 電子信息學院，江蘇省新型光纖技術與通信網絡工程研究中心，江蘇 蘇州 215006）

（2 中國計量大學 光學與電子科技學院，杭州 310018）

0 引言

隨著大數據、物聯網和人工智能的蓬勃發展，基于云的互聯網流量出現了爆炸式增長，這對數據中心的容量及其光互連系統的速率提出了更高的要求。同時5G/物聯網等業務推動了邊緣計算和云-邊協同需求的發展，催生出更多邊緣數據中心間的通信流量，從而將數據中心光互連系統的互連長度需求從百米延伸至10～20 km。對于高速短距離的數據中心光互連系統，光強度調制/直接檢測（Intensity Modulation/Direct Detection，IM/DD）系統因其結構簡單、成本低廉而被認為是最有前途的解決方案之一［1］。同時為了降低光學和電子元件的波特率和帶寬要求，先進調制格式引起了人們的關注和研究，如脈沖振幅調制［2-3］、離散多音調制［4］和無載波振幅相位調制［5］?？紤]到系統實現和功耗，四電平脈沖振幅調制（Four-level Pulse Amplitude Modulation，PAM-4）是一種針對100 Gb/s、200 Gb/s 和400 Gb/s 短距離光纖傳輸的理想調制格式［6］。與光相干檢測系統不同的是，IM/DD 系統中的平方律檢測會丟失信號的相位信息使得色散帶來非線性的損傷難以進行補償［7］，同時低成本激光器的啁啾以及帶寬受限器件的非理想響應也會帶來嚴重的非線性，從而限制IM/DD 系統的傳輸容量和距離。因此，迫切需要強大的均衡器來補償IM/DD 系統的非線性失真。

非線性機器學習模型，特別是神經網絡（Neural Network，NN）模型，由于具備高度的非線性特性被廣泛用于光通信中相干系統［8-9］和IM/DD 系統［10-15］的非線性補償。YI Lilin 等［10］提出一種前饋神經網絡均衡器（Feedforward Neural Network Equalizer，FNNE）用于補償IM/DD 系統中的強非線性損傷，其與前饋均衡器、沃爾泰拉非線性均衡器相比表現出更強的均衡性能，但同時也帶來更高的復雜度。除了FNNE 之外，徑向基函數神經網絡均衡器［12］、卷積神經網絡均衡器［13］和循環神經網絡均衡器（Recurrent Neural Network Equalizer，RNNE）［14］都已在不同的場景中使用和驗證。XU Zhaopeng 等［15］在50 Gbps 20 km 的IM/DD 系統中對比了具有相同輸入和隱藏神經元數目的單隱藏層FNNE 和基于自回歸循環神經網絡的RNNE，該RNNE 由于添加額外反饋神經元復雜度有所提高，但是得到了更優的性能。然而，上述提到的NN 結構中隱藏層只有一層或者兩層，隱藏層層數和隱藏層神經元數目的對神經網絡均衡器的影響仍是未知的。

本課題組對單層隱藏層RNNE 和2 層隱藏層RNNE 在光IM/DD 系統中的性能進行了研究［16］。在此基礎上，為了探究隱藏層數目對RNNE 性能的影響，尋求低復雜度高效的均衡方案，本文進一步分析了增加隱藏層數目對均衡器算法復雜度降低的有效性，并制訂了隱藏層神經元數目的選擇策略。搭建了112 Gbps 20 km 的PAM-4 光IM/DD 傳輸仿真平臺，在不同維度下定量分析了隱藏層數目對RNNE 誤碼率（Bit Error Rate，BER）及算法復雜度的影響，結果表明2 層隱藏層RNNE 具有更優的性能。另外，通過遍歷隱藏層內部神經元的數目、分析其對均衡器性能的影響，統計得出隱藏層神經元數目的優化策略，對多層RNNE 實現非線性均衡具有一定的指導意義。

1 基本原理

1.1 RNNE 神經網絡均衡器結構

單隱藏層FNNE 的結構如圖1。這是一個兩層網絡，包括隱藏層和輸出層，輸入層不計入其中。圖1 中x代表均衡器的輸入，l是輸入的數目，h代表隱藏層神經元，n是隱藏層神經元的數目，y是均衡器的輸出，代表均衡后的值。RNNE 結構中D代表四電平判決模塊，Z代表延時模塊，d是判決后反饋的符號，k是反饋的數量。與FNNE 的結構相比，RNNE 重用輸出判決后的符號的作為輸入，在預測當前輸出時，過去預測的輸出作為輸入提供了額外的信息。因此，在強非線性系統中，RNNE 具有更優的均衡性能。

圖1 單隱藏層NN 均衡器的結構Fig.1 Schematic of the single hidden layer NN equalizers

1.2 均衡器算法復雜度衡量

在衡量RNNE 的性能時，除了BER 還有一個重要的參數指標是算法復雜度。首先考慮單隱藏層FNNE 的算法復雜度。因為乘法比加法復雜得多，所以均衡一個符號所需要的執行的乘法次數用來表示FNNE 的算法復雜度［11］。為了恢復一個符號，將l個相鄰的采樣序列作為輸入神經元，然后通過n個隱藏層神經元的計算，得到一個輸出。在圖1 FNNE 中，每個隱藏層神經元都可以看做是一個計算單元，其內部計算可以表示為

式中，yh為當前隱藏層神經元的輸出，wi為對應輸入xi的權重，b是偏置。w和b需要通過訓練來優化。f(·)為激活函數，用來引入非線性。ReLU(x)結構簡單，同時也能很好地解決IM/DD 系統中的非線性，作為激活函數，其表達式為

由于ReLU(x)函數只需要做簡單判斷，其復雜度可以忽略不計。根據式（1）可以計算出一個隱藏層神經元中需要的乘法次數等于輸入神經元的數目l，輸出神經元需要的乘法次數等于上一層的輸入數目n。FNNE 均衡一個符號需要的乘法總數NFNN等于所有神經元中乘法的次數總和，可表示為

類似地，單隱藏層RNNE 的算法復雜度也使用均衡一個符號需要的乘法次數NRNN表示，圖1 中RNNE與FNNE 不同的是：輸入神經元除了相鄰的采樣序列xi，還包括判決反饋符號dj，其中一個隱藏層神經元的計算可以表示為

根據式（4），RNNE 每個隱藏層神經元中乘法次數等于輸入神經元的數目（l+k），和輸入數目為（l+k）的FNNE 相等。RNNE 均衡一個符號需要的乘法總數NRNN同輸入數目為（l+k）的FNNE 相等，可表示為

多隱藏層RNNE 結構如圖2，第i層隱藏層的神經元數目為ni（i=1，2，...，m），其中第一層隱藏層神經元輸出可用式（4）表示，第i層（i=2，...，m）隱藏層神經元輸出可表示為

圖2 多隱藏層RNNE 的結構Fig.2 Schematic of the multiple hidden layers RNNE

特殊地，當每層神經元的數目都相等時，即n1=n2=...=nm=n，式（7）可簡化為

1.3 RNNE 的初始化和訓練

對于不同結構的RNNE 在均衡信號之前需要通過訓練來優化均衡器的參數，這些參數包括所有的權重和偏差。對于一個m層隱藏層RNNE 一共包括m+1 組權重和偏置，分別位于輸入層和隱藏層、隱藏層和隱藏層，隱藏層和輸出層之間。在訓練之前，需要對這些參數進行隨機初始化，然后通過反向傳播和Adam 優化器進行小批量梯度下降訓練。訓練超參數的設置：學習率設置為10-3，最大迭代輪次設定為100，小批量梯度下降的批次大小為16。每批數據正向傳播后，計算均方誤差LMSE，其表達式為

式中，s為小批量梯度下降的批次大小，為一批數據中第i個原始符號，yi為第i個符號對應的均衡器輸出。得到LMSE后進行反向傳播，再更新權重和偏置以最小化均方誤差。在每輪迭代完成后，使用RNNE 分別均衡訓練集和測試集上的數據，得到均衡后的符號，并計算BER。隨著迭代輪次的增加，參數不斷優化，LMSE值逐步減小，測試集上的BER 也越來越小。當測試集上的BER 不再下降時，網絡停止更新，記錄下BER 最優時的均衡器參數。

和單隱藏層RNNE 的訓練相比，多隱藏層均衡器的誤差函數的收斂會變緩甚至無法收斂，使得經過100輪迭代更新后的RNNE 不能在測試集上得到理想的BER。增加迭代輪次可使誤差函數收斂來解決這個問題，但訓練時長也會相應增加，所以訓練時使用遷移學習而不是單純的增加迭代輪次。在遷移學習的幫助下，可以顯著減少迭代輪次和訓練符號數目，從而保證大大縮短NN 訓練時間。同一個NN 結構在不同場景下的遷移學習的有效性已經被驗證［17］。本文將其推廣到同一場景下的不同NN 結構，在訓練2 層隱藏層RNNE 時，將已經訓練好的單隱藏層RNNE 的第一組的權重和偏置（輸入層和第一層隱藏層之間）賦值給2層隱藏層RNNE 對應位置的參數。這樣2 層隱藏層RNNE 可以在單隱藏層RNNE 的參數上繼續優化，均方誤差可以更快地收斂，從而大大縮減訓練所需要的迭代輪次，縮短訓練所需要的時間。類似地，對m層隱藏層RNNE 的訓練，可以直接加載對應m-1 層隱藏層RNNE 的前m-1 組的權重和偏置。

1.4 光IMDD 傳輸仿真平臺搭建

為了衡量多隱藏層RNNE 的BER 和復雜度性能，使用VPItransmissionMaker 13.1 搭建的仿真平臺如圖3。ERIKSSON T A 等［18］指出：基于機器學習的均衡器的性能可能被高估了，因為在使用偽隨機二進制比特序列（Pseudo-random Bit Sequence，PRBS）訓練模型情況下，NN 可以識別PRBS 數據的模式，從而獲得卓越的性能。因此，在發射機處200 000 PAM-4 符號由MATLAB 隨機生成的，其中50 000 用于訓練，其余用于測試。PAM-4 信號經過4 倍上采樣和滾降系數為0.1 的奈奎斯特濾波整形后通過數模轉換器（Digital to Analog Converter，DAC）變成模擬信號，再被電吸收調制器（Electro-absorption Modulator，EAM）調制到1 550 nm 波長的激光上。調制好的光信號經過標準單模光纖（Standard Single-mode Fiber，SSMF）傳輸20 km 到達接收端。在接收端，可變光衰減器（Variable Optical Attenuator，VOA）將接收光功率（Received Optical Power，ROP）調整到合適的水平，光信號被檢測響應度為0.65 A/W 的光電檢測器（Photo-detector，PD）接收轉變為電信號，然后通過采樣率為224 GSa/s、分辨率為8 位的模數轉換器（Analog to Digital Converter，ADC）變為數字信號，最后進入離線數字信號處理（Digital Signal Processing，DSP）模塊。該模塊包括匹配濾波、重采樣、RNNE 均衡和 BER 計算。仿真采用的參數如表1。

圖3 用于112 Gbps PAM-4 光鏈路的多隱藏層RNNE 的驗證設置Fig.3 Verification setup of the multiple hidden layers RNNE for a 112-Gbps optical PAM-4 link

表1 PAM-4 光鏈路的仿真參數Table 1 Parameters of optical PAM-4 link

2 結果與分析

2.1 隱藏層內神經元數目選擇策略

為了得到最優的BER 及復雜度性能，對于多隱藏層RNNE 結構的確定，需要考慮每層隱藏層中神經元數目的選擇。圖4 中散點代表不同結構的2 層隱藏層RNNE，數字表示RNNE 隱藏層神經元數目，具體地，（u，v）表示第一隱藏層具有u個神經元、第二隱藏層具有v個神經元的RNNE。圖4 中固定第一隱藏層神經元的數目，然后遍歷優化第二隱藏層神經元的數目得到了不同結構RNNE 的BER 及復雜度性能。結果表明，均衡器的BER 及復雜度性能最優時，第二隱藏層的神經元數目與第一層相近。然后將最優的均衡器結構用實線擬合，同時將第二和第一隱藏層神經元數目相等的均衡器作為目標結構用點劃線擬合。對比兩條曲線，發現選擇神經元數目相等的均衡器結構可以得到與最優結構相近的性能，同時避免了大量重復的遍歷訓練。

圖4 2 層隱藏層RNNE BER 和乘法次數的關系Fig.4 BER vs.multiplication numbers for two hidden layers RNNE

2.2 多層隱藏層網絡復雜度和性能對比

圖5 顯示了隱藏層數目不同的RNNE 算法復雜度和BER 之間的關系。從整體的趨勢來看，隨著隱藏層神經元數目的增加，RNNE 的均衡一個符號的所需乘法次數相應增加，BER 結果也越好。對比單層和2 層隱藏層RNNE 的曲線，發現在同一BER 閾值下，2 層隱藏層RNNE 的復雜度小于單隱藏層RNNE 的復雜度，具體復雜度對比如表2。

表2 不同閾值下多隱藏層RNNE 的算法復雜度Table 2 NRNN of multiple hidden layers RNNE at different thresholds

圖5 多隱藏層RNNE BER 和乘法次數的關系Fig.5 BER vs.multiplication numbers for multiple hidden layers RNNE

在BER 為10-2、3.8×10-3（7% OH-FEC）和10-3三個閾值下，2 層隱藏層RNNE 相比于單隱藏層RNNE的算法復雜度理論上分別可以降低8.3%、15.6%和23.3%。隨著復雜度的增加，降低復雜度的效果也越好。但是在同一BER 閾值下，隱藏層數目繼續增加，RNNE 的算法復雜度反而會增加。為了進一步研究隱藏層數目對RNNE 性能的影響，在隱藏層神經元數目相同的條件下，對比多隱藏層RNNE 的BER 性能，具體如表3。

表3 隱藏層神經元數目相同的多隱藏層RNNE 的BER 性能Table 3 BER of multiple hidden layers RNNE with the same hidden neurons number

觀察表3 中數據，增加RNNE 的隱藏層層數和隱藏層神經元的數目均可以提高均衡器的BER 性能。對比隱藏層神經元數目相同的RNNE，發現增加隱藏層數目總是可以降低BER，雖然增加隱藏層數目帶來的算法復雜度增加是一樣的，但是增加第三層隱藏層帶來的BER 優化遠遠小于增加第二層隱藏層帶來的BER 優化。隱藏層神經元數目相同的多隱藏層RNNE 的算法復雜度對比具體如圖6。

圖6 隱藏層神經元數目相同的多隱藏層RNNE 的算法復雜度對比Fig.6 Comparison of multiplication numbers of multiple hidden layers RNNE with the same hidden neurons number

2.3 不同ROP 下網絡結構的性能

通過調節VOA，繪制了不同接收光功率下三種RNNE 的BER 性能，如圖7。具有10 個隱藏神經元的單隱藏層RNNE 的復雜度為 320，具有12 個隱藏神經元的單隱藏層 RNNE 的復雜度為 384，分別如圖7 中RNNE（A）和（B）。對于圖7 中2 層隱藏層的RNNE，每層神經元數目為8，對應的乘法數是320。圖7 中2 層隱藏層RNNE 和單隱藏層RNNE（A）相比，復雜度降低了16.7 %，同時得到了相似的性能。另外，在相同的復雜度下，2 層隱藏層RNNE 比單隱藏層RNNE（B）具有更好的BER 性能，在7 % OH-FEC 閾值下，系統整體功率預算提高約1 dB。圖8 展示了-8 dBm 接收光功率下的單隱藏層RNNE（B）和2 層隱藏層的RNNE的眼圖。

圖7 不同結構的RNNE 的BER 和ROP 的關系Fig.7 BER vs.received optical power for single and two hidden layers RNNEs

圖8 ROP為-8dBm的眼圖Fig.8 Eye diagrams at -8 dBm ROP

3 結論

本文研究了IM/DD 系統中多隱藏層RNNE 隱藏層層數及隱藏層神經元數目對神經網絡均衡器性能的影響。針對2 層隱藏層RNNE，固定第一隱藏層神經元的數目，比較第二隱藏層神經元數目不同的RNNE的性能，結果表明：對于2 層隱藏層的RNNE，隱藏層神經元數目相近時，其BER 及復雜度性能最優。對于多隱藏層的RNNE，通過定量研究隱藏層數目對RNNE 的BER 及算法復雜度的影響，發現最佳隱藏層數目為2。在相同BER 性能條件下，2 層隱藏層RNNE 相較于單隱藏層RNNE 最多可以實現 23.3% 的復雜度降低。在同一算法復雜度條件下，2 層隱藏層RNNE 比單隱藏層RNNE 在7 % OH-FEC 閾值下功率預算提高1 dB 左右。本文以均衡器的最優結構為目標，分別量化研究了隱藏層層數和隱藏層神經元數目對RNNE 性能的影響，為神經網絡解決IM/DD 系統的非線性時隱藏層層數和隱藏層神經元數目的選擇提供了參考。