用于人工智能的硅基光電子芯片

白冰 裴麗 左曉燕

摘要：提出了利用硅基光電子芯片進行人工神經網絡計算處理的方法。硅基光電子芯片憑借光子的獨特性質，能夠在人工神經網絡的計算處理中發揮高帶寬、低時延等優勢。在處理深度學習中大量的矩陣計算的乘加任務時，硅基光電子芯片擁有更高的處理速度和更低的能耗，從而有利于深度學習中的人工神經網絡計算速度和性能的提升。

關鍵詞：人工神經網絡；硅基光電子芯片；人工智能；深度學習

Abstract： Silicon photonic chips are used to perform artificial neural network computation. Because of the unique properties of photons， silicon photonic chips have the advantages of high bandwidth and low delay in the computation and processing of artificial neural network. When dealing with the multiplication and addition task of a large number of matrix calculations in deep learning， silicon photonic chips have higher processing speed and lower energy consumption， which is beneficial to the improvement of the computational speed and performance of artificial neural network in deep learning.

Keywords： artificial neural network； silicon photonic chips； artificial intelligence； deep learning

人工智能發展的著眼點之一是強大的大型數據集處理工具。這就要求計算機在沒有獲得明確指令的條件下，能快速高效地學習并組合分析大量信息。人工神經網絡就是可以進行學習的數據處理計算機，而以人工神經網絡為基礎的深度學習算法因其在圖像識別、問題決策、語言翻譯、自動駕駛[1]、醫療輔助[2]等方面的應用而受到學術界和工業界的關注。

目前，人工神經網絡幾乎全部依賴于傳統的電域集成芯片，包括中央處理器（CPU）、圖形處理器（GPU）、現場可編程門陣列（FPGA）、專用集成電路（ASIC）。微電子芯片因其結構上無法規避的缺陷，在處理大量的矩陣運算時，面臨帶寬低、功耗大、速度慢等問題，但人工神經網絡實現的基礎就是大量的矩陣運算；因此，要想實現深度的人工神經網絡，就需要更多的時間和能耗成本。我們可以通過不斷提高芯片集成度，進行存內計算等方法解決這個問題；但與此同時，晶體管尺寸不斷縮小，晶體管的性能也越來越受到量子效應的影響，這限制了集成度的不斷提高。另外，存內計算的方法與現有的人工神經網絡算法匹配度不高也限制了存內計算這種方法的應用。

為了解決上述問題，學術界和工業界越來越多地致力于開發新的硬件架構，以適應人工神經網絡和深度學習的應用。借助光子器件優勢（帶寬大、速度快），業界提出將一部分信息承載和計算處理用于改善電域芯片存在的問題。相比于傳統的三五族或鈮酸鋰光器件，硅基光電子芯片上的光器件集成在同一硅襯底上，集成度更好且基本與成熟的互補金屬氧化物半導體（COMS）工藝兼容。

利用光電子技術實現的人工神經網絡主要包括前饋神經網絡（FNN）、循環神經網絡（RNN）、脈沖神經網絡（SNN）3種類型。馬赫·曾德爾干涉儀（MZI）和微環諧振器（MRR）具有干涉、諧振等物理特性，可以實現調制器、濾波器等多種器件功能，被廣泛地用于通信、傳感等領域。目前相對比較完善的、主流的硅基集成通信芯片是基于MZI和MRR的兩種類型，因此人工神經網絡芯片也主要基于這兩種類型。本文中，我們圍繞這兩種類型對硅基光電子人工智能芯片的進展進行簡要闡述，并對未來的發展態勢進行展望。

1 利用光網絡進行矩陣運算

人工神經網絡的思路是首先將輸入的事物轉化為矩陣，然后經過大量的矩陣運算，最終得到所需要的結果。不同算法的處理流程可能會有一些差異，但是都會包含大量的矩陣運算。矩陣運算的基礎就是乘積累加運算（MAC）。在光子領域實現MAC操作并不會在本質上消耗能量，這是光子集成電路的優勢之一。

1.1 集成MZI進行矩陣運算的原理

利用MZI進行片上矩陣運算的原理是基于M. RECK等于1994年提出的酉矩陣分解方法[3]的。在該方法中，可調反射率和透過率的分束器和可調的移相器組成基本單元，并通過電壓控制分束器的分光比和移相器的相位實現控制輸出端口的光強，如圖1所示[3]。酉矩陣運算中輸入的N×1列向量元素大小由輸入光強大小來表示，位置由輸入端口的位置表示，輸入的多束光分別從入口端MZI的一個臂進入MZI陣列，N×N酉矩陣中的元素使用MZI陣列中每一個MZI包含的2個移相器和分光器的參數來表示。這使得光通過這些MZI時，相位和幅度會發生改變，進而達到計算效果。最后根據輸出端的N×1個輸出光強大小來計算結果列向量元素大小，元素位置由輸出端口的位置表示。在進行輸入光強的調制和輸出光強的探測后，利用光網絡可實現酉矩陣的計算。

圖1為光路酉矩陣分解結構。其中，較大黑橫矩形表示分光比可調分束器，小黑斜矩形表示移相器，上方細長黑矩形為全反射鏡面。

在酉矩陣實現之后，我們可以利用奇異值分解（SVD）的方法對任意矩陣進行分解，即SVD將矩陣分解為2個酉矩陣和1個對角矩陣酉矩陣，光路對角矩陣的模擬用衰減器即可完成，MZI也可以做衰減器。這樣就實現了利用MZI進行矩陣運算。

1.2 集成MRR實現矩陣運算的原理

MRR可以先將特定波長的光信號耦合到環上進行調制，然后再耦合進直波導。MRR實現矩陣運算的原理為：通過透過率的調節來實現矩陣的表示。首先矩陣運算中輸入的N×1列向量中的元素大小用光強大小表示，列向量中元素的位置由不同的波長表示（因為輸入列向量來自于電域信號，所以需要通過調制器進行電光轉換）。M×N矩陣的每一列元素用同一個波長表示，不同列用不同的波長表示，也就是說同一列的MRR耦合的是同一個波長。矩陣的每一行用一個公共波導以及耦合在其上的MRR表示，然后每行上的MRR根據諧振波長的不同，分別對輸入的不同波長的光信號進行強度調制以實現乘法器，強度的大小表示的是此行元素的大小，然后MRR再將不同波長的光信號耦合入公共的波導實現加法器。最后矩陣運算結果是一個M×1列向量，其元素大小通過光強大小來表示，然后經光電探測器進行光電轉換后，再通過測量電流大小后得到。

圖2所示的是YANG L.等提出的一種利用MRR來實現矩陣運算的方法[4]。這種MRR光網絡結構可以執行一個M×N矩陣A和一個N×1向量B的乘法。B是輸入向量，用N個不同波長光信號的光功率大小來表示向量B中的元素。這一個列向量B是通過N個外部調制或直接調制激光二極管所生成的。N個光信號通過一個多路復用器被多路復用到一個公共波導上，然后通過一個1×M的光分路器將其平行投影到M行調制器上。矩陣A的aij元素由位于矩陣第i行和第j列的MRR的透射率表示，位于同一行的每個MRR僅對具有特定波長的光信號進行操作。隨著M×N光脈沖通過MRR矩陣，光信號就在環上進行了所有的M×N乘法過程。在M個環上進行乘法運算后，其累加過程在公共輸出波導中進行。因為不同波長的信號在公共波導中幾乎不會互相干擾。結果向量C的元素由光檢測器陣列檢測到的M個光功率表示。由此，利用MRR進行的矩陣運算便得以實現。

2 現階段片上人工神經網絡的實現

由光來進行矩陣運算是解決人工神經網絡需要大量矩陣運算的思路之一?，F階段，硅基集成的、可用于搭建人工神經網絡的典型基礎器件就是MZI和MRR。通過這些器件的光學特性實現了MAC運算和脈沖神經元的模擬。借助光子數據處理方面的優勢，我們將軟件和硬件進行深度匹配，使用高效的光電計算取代微電子處理器的計算[5]。光電子集成、數學和軟件算法等領域的深度交叉是解決人工神經網絡算法大量密集計算問題的路徑之一，也是人工神經網絡算法片上實現的發展趨向。

2.1 MZI型片上人工神經網絡

在基于MZI構建的前饋人工神經網絡中，信息從輸入層單向傳遞到輸出層。信號前向傳播時，不需要將輸出再次反饋，只需要進行加、乘，以及比較操作即可，這與擅長矩陣運算的光網絡相匹配；因此，此種方法的光路硬件的實現獲得了廣泛的探索和關注。雖然M. RECK等發現以MZI進行酉矩陣的分解方法時并未考慮集成[3]，但是MZI型人工神經網絡日漸向集成發展。W. R. CLEMENTS等在2016年基于M. RECK等的三角分解法提出了矩形分解法[6]，將MZI進行重新排布來實現酉矩陣運算。通過將MZI的排布形狀從三角轉化為矩形，減少一半的光學深度，同時也增加了計算網絡的誤差容忍度。酉矩陣的分解過程如圖3所示。酉矩陣矩形分解方法比酉矩陣三角分解方法更有優勢。這是因為酉矩陣三角分解方法的光路是不對稱的，從而導致了一些傳輸過程中的誤差。矩形設計減小了線路不對稱性，并縮短了最長鏈路的長度，從而減少了光傳播的路徑損耗和誤差。在對500個隨機生成含誤差酉矩陣傳輸的模擬中，隨著酉矩陣規模N從2擴大到50，三角分解方法的準確度由100%下降到約82%；但是矩形分解方法的準確度并未發生明顯下降，一直保持在約100%，具體如圖4所示。

2017年，SHEN Y. C.等利用56個MZI實現了可以用于元音識別的全連接片上神經網絡，制成了光子干涉單元芯片。芯片的部分結構如圖5所示[7]。在這個設計中，通過MZI陣列進行神經元線性部分的運算，人工神經網絡中的非線性激活函數采用電域仿真的方法得以實現，最終可實現全連接神經網絡的片上系統。該芯片搭建了2層、每層4個神經元的全連接神經網絡。圖5所示的芯片結構只有1個酉矩陣和1個對角陣，所以應用時要先將元音信號轉為光信號，取得結果放到電域中處理為光信號再傳進來，至此完成一層計算。將以上過程循環兩遍即為2層神經網絡。上述結構在對4個元音的分類的實驗中，能夠從大量不同元音的語音信號中正確識別和分類元音，準確率達到76.7%。

2019年，M. Y. S. FANG等研究了兩種類型的MZI神經網絡，分別為GridNet（網格網絡）、FFTNet（快速傅里葉變換網絡），其物理結構如圖5所示[8]。其中，矩陣的分解采用的是SVD。FFT酉矩陣乘法器是非通用性的乘法器，它由Cooley-Tukey FFT算法啟發而來，用犧牲通用性的方式來換取結構上的緊湊性。由圖6可以看出，GridNet和四邊形結構是同一種結構，它和FFTNet結構皆為8×4的線性矩陣運算器。這兩種結構均為仿真，在零誤差的情況下，GridNet的準確率約為98%，FFTNet的準確率約為95%，因此零誤差時的GridNet準確率比FFTNet的準確率高；但是在有差錯的情況下，FFTNet的容錯率要比GridNet高。在綜合誤差從0升高到0.02時，FTTNet的準確率由約95%降到約93%，而GridNet的準確率由約97%降到約48%。越小的網絡差錯傳播所帶來的誤差就會越小，這導致了FFTNet的穩定性要優于GridNet。

綜上可得，無論是在矩陣規模擴大還是誤差增加的情況下，三角結構的準確率低于矩形結構。矩形結構和GridNet是同種結構，它和FFTNet結構各有利弊：GridNet結構的通用性好，但在存在誤差的情況下，準確率低；FFTNet通用性差，但在誤差存在的情況下，準確率高。

2.2 MRR型片上人工神經網絡

MRR神經網絡主要用來實現脈沖神經網絡（SNN）。這種網絡考慮了時間信息，相比于FNN和RNN更加接近于真實的人腦運作情況，被稱為第3代神經網絡[9]。

圖7所示為A. N. TAIT等于2017年提出的一種廣播式MRR權值庫結構的神經網絡 [10]。這是一種以MRR調制器作為神經元，由MRR權值庫連接而成的網絡。每一個MMR都承擔著一個權值，每一橫條聚集在一起的MMR叫權值庫。該芯片結構包含4個節點，帶有16個MRR。該結構證明了硅光子電路與連續神經網絡模型之間存在數學同構關系。根據這種同構性，我們利用“神經編譯器”對一個模擬的24節點硅光子神經網絡進行編程，完成了微分系統仿真任務。根據推算，與傳統的解決相同問題的CPU相比，此結構的處理速度將提高294倍。

2019年，A. N. TAIT等提出了一種神經擬態的片上結構[11]，該結構主要由2個光探測器和1個MRR組成，如圖8（a）所示。神經元陣列由電脈沖強度調控單元及延時單元構成，除泵浦激光器外，整體網絡可實現片上集成。每個MRR只有一個波長（λi）。該結構將MRR強度調制器和平衡的光電探測器組成電光脈沖強度和延遲調控單元，并使用電光脈沖進行調控，以實現復雜的脈沖神經網絡。當輸入為2 ns脈沖偶極子，第2次的輸入相比于第1次輸入延遲一個波長，進而產生t = 0時的脈沖重合。據此測得的加強、飽和、抑制3種情況下的結果如圖8（b）所示。在圖8（b）中，在可見增強情況下，脈沖出現過沖現象（超過57%）；而在飽和情況下，脈沖只為輸入脈沖和的56%，且單脈沖抑制不完全。雖然存在一些問題，但是這種結構形成了全光廣播權值神經網絡的組件類型，在一個集成的光子組件中包含了光到光的非線性、扇入和非確定性級聯，實現了光子神經元的網絡兼容的能力。

目前MRR人工神經網絡偏向于貼合神經網絡的數學同構模型的研究，采用比較統一的采用扇入結構、光電光轉換等實現方案。

2.3 MZI型與MRR型片上人工神經網

絡的對比

MZI型片上人工神經網絡是根據酉矩陣分解和計算來設計數學同構性的；而MRR型片上人工神經網絡則直接以普通矩陣的計算來設計數學同構性。兩者本質上都是用光器件來表現數學計算。由于MRR型仍在結構探索階段，相比于MZI型，準確性遠遠不足；而MZI型有較為成熟的應用測試，但相比于傳統芯片，準確性仍有不足。

3 片上人工神經網絡實現方案面臨的挑戰

利用光子進行計算具有諸多優勢，但目前仍存在一些問題：

（1）非線性激活函數是用來增加神經網絡非線性的一種S形狀的函數，它的硬件實現起來比較困難?，F在非線性函數的實現方式分為兩種：一種就是轉換到電域再處理[7]或利用電域輔助處理[12]；另一種就是利用特殊材料，如可飽和吸收體和石墨烯等進行處理。一方面，光電轉換限制了數據處理速度的進一步提升；另一方面，大部分特殊材料的片上集成較為困難，不能與互補金屬氧化物半導體（CMOS）工藝兼容。

（2）MZI的長度約為200 μm，MRR的長度約為25 μm。相比于電域的器件，芯片集成度差，目前工藝方面還有進一步提升的空間。雖然看起來MRR要比MZI小一些，但是它們基本都屬于一個數量級。另外，由于目前硅基集成光器件的工藝仍舊不夠成熟，器件的一致性、穩定性較差。

（3）目前我們需要對光電人工智能芯片的匹配算法和外圍電路進行設計[13]，并需要將各領域技術深度融合。這個結合的過程需要重新進行布局和設計，在目前沒有統一標準的情況下。每一個光網絡結構的出現都可能會導致外圍匹配的電路和算法重新被調整和優化。

4 結束語

光電神經網絡能夠利用光子技術的優點并配合外圍電域進行處理，在提升計算速度的同時也可以降低運行功耗。無論是基于FNN的MZI前向人工神經網絡芯片，還是基于SNN的MRR神經擬態人工神經網絡芯片，都可以利用硅基光電子技術進行實現。此外，光電神經網絡亦會隨著硅基光電子技術的成熟而不斷取得突破，如硅基片上光源、放大器、硅基單片集成、硅基新材料融合等新型硅基光電子技術，都將為光電神經網絡的物理研究提供嶄新的、開闊的思路。同時，隨著與光電神經網絡相匹配的算法演進，相信在將來的研究中，硅基光電子技術、硅基光電子芯片將為人工智能領域帶來全新的技術架構和重大的產業升級。

參考文獻

[1] AL-QIZWINI M， BARJASTEH I， AL-QASSAB H， et al. Deep learning algorithm for autonomous driving using GoogLeNet [C]//2017 IEEE Intelligent Vehicles Symposium （IV）. Los Angeles， USA： IEEE， 2017. DOI：10.1109/ ivs.2017.7995703

[2] ESTEVA A， KUPREL B， NOVOA R A， et al. Dermatologist-level classification of skin cancer with deep neural networks [J]. Nature， 2017， 542（7639）： 115-118. DOI： 10.1038/nature21056

[3] RECK M， ZEILINGER A， BERNSTEIN H J， et al. Experimental realization of any discrete unitary operator [J]. Physical review letters， 1994， 73（1）： 58. DOI：10.1103/physrevlett.73.58 DOI：10.1103/physrevlett.73.58

[4] YANG L， JI R Q， ZHANG L， et al. On-chip CMOS-compatible optical signal processor [J]. Optics express， 2012， 20（12）： 13560. DOI：10.1364/oe.20.013560

[5] 白冰， 趙斌， 楊釗. 一種光子神經網絡芯片以及數據處理系統： CN110503196A [P]. 2019-11-26

[6] CLEMENTS W R， HUMPHREYS P C， METCALF B J， et al. Optimal design for universal multiport interferometers [J]. Optica， 2016， 3（12）： 1460. DOI：10.1364/optica.3.001460

[7] SHEN Y C， HARRIS N C， SKIRLO S， et al. Deep learning with coherent nanophotonic circuits[C]//2017 IEEE Photonics Society Summer Topical Meeting Series （SUM）. San Juan， USA： IEEE， 2017： 441-447. DOI：10.1109/ phosst.2017.8012714

[8] FANG M Y S， MANIPATRUNI S， WIERZYNSKI C， et al. Design of optical neural networks with component imprecisions [J]. Optics express， 2019， 27（10）： 14009. DOI：10.1364/ oe.27.014009

[9] MAASS W. Networks of spiking neurons： the third generation of neural network models [J]. Neural networks， 1997， 10（9）： 1659-1671. DOI： 10.1016/s0893-6080（97）00011-7

[10] TAIT A N， DE LIMA T F， ZHOU E， et al. Neuromorphic photonic networks using silicon photonic weight banks [J]. Scientific reports， 2017， 7： 7430. DOI： 10.1038/s41598-017-07754-z

[11] TAIT A N， DE FERREIRA L T， NAHMIAS M A， et al. Silicon photonic modulator neuron [J]. Physical review applied， 2019， 11（6）： 064043. DOI： 10.1103/physrevapplied.11.064043

[12] WILLIAMSON I A D， HUGHES T W， MINKOV M， et al. Reprogrammable electro-optic nonlinear activation functions for optical neural networks [J]. IEEE journal of selected topics in quantum electronics， 2020， 26（1）： 1-12. DOI：10.1109/jstqe.2019.2930455

[13] 白冰， 趙斌， 楊釗. 一種計算電路以及數據運算方法： CN110597756A [P]. 2019

作者簡介

白冰，北京交通大學光波技術研究所在讀博士研究生；主要從事硅光集成計算器件、光電異構計算架構和光電融合神經網絡算法等領域的研究；已申請專利12項。

裴麗，北京交通大學教授、博士生導師；主要從事全光交換、特種光纖、光電器件及基于智能光纖傳感的物聯網的研究；主持科研項目10余項，發表SCI、EI論文200余篇。

左曉燕，北京交通大學光波技術研究所在讀博士研究生；主要從事光神經網絡、光電器件領域的研究。