基于改進的長短期記憶網絡的調制識別算法

任思睿，黃 銘

(云南大學 信息學院，云南 昆明 650500)

隨著無線通信技術的發展，無線電資源逐漸成為一種重要的國家戰略資源. 為了保證無線通信安全運作，無線通信調制識別技術越來越重要[1]. 然而傳統的無線通信調制識別技術主要基于操作員的部分先驗知識進行人工監測與分類，在通訊環境愈發復雜的今天，傳統的調制識別技術已經很難滿足實際應用的需要.

自動調制分類（Automatic Modulation Classification，AMC）技術在這樣的背景下應運而生，且在軍民領域都有了許多的實際應用[1-7]. 在軍事領域上，準確識別通信信號的調制類型往往意味著能通過估計參數來設計解調模型，截獲關鍵信息，從而可以有針對性地進行軍事行動規劃和部署. 在民用領域中，常有不法分子通過黑廣播等方式傳播有害信息，相關部門可以利用通信信號調制識別技術區分正常信號和非法信號，從而打擊非法無線電活動，保障無線通信安全. 在實際運用中，自動調制分類技術可以設計一個自動區分識別調制方式的分類器，通過調制方式來確定信號種類，監測無線信號是否存在自然干擾與人為干擾.

AMC技術可以分為兩類[1]，基于決策論和基于特征. 基于決策論的AMC技術主要以最大似然準則為依據來分類調制方式，理論上這類方法有著最低的誤判率，然而在處理大量數據時計算復雜度過大是這類方法的一個嚴重缺陷，同時由于設計或選擇似然函數時需要足夠的先驗知識，該類算法在信道狀況未知或信道存在時偏、頻偏等誤差時識別精度會明顯下降[8-9]. 基于特征的AMC技術由于近年來機器學習的迅速發展而逐漸成為主流，主要是針對調制方式的一些特征量，通過監督或非監督學習的方式訓練神經網絡，最后進行分類與識別[10-11]. 當算法選擇適當時，基于特征的AMC技術具有易于實施且準確率比較理想的優勢,然而現有的一些基于神經網絡的調制識別算法也存在一些問題. 文獻[12]將數字調制信號通過連續波多普勒（Continuous Wave Doppler，CWD）架構進行時頻域的轉換，生成信號對應的二維灰度圖，再以這些灰度圖為數據集使用一種有自適應性的卷積神經網絡進行訓練并分類信號，該方法需要生成信號的灰度圖，這在實際應用中會增加系統結構的復雜度. 文獻[13]采用了一種基于雙層卷積神經網絡(Convolution Neural Network，CNN)的分類器，該模型的輸入為時域的同相正交（I/Q）信號，可以識別不同信噪比下的調制信號，由于CNN模型對長時間依賴序列的分類任務表現不佳，其識別精度很難達到最優. 文獻[14]設計了一種基于雙層長短期記憶（Long Short-Term Memory，LSTM）網絡的自動調制分類模型，經過參數調優與對比實驗，該模型與支持向量機 (Support Vector Machine，SVM)、隨機森林、K近鄰和淺層CNN等多種算法相比，對信噪比為?20～20 dB的多種數字調制信號有著更高的識別準確率，對比發現使用雙層LSTM結構網絡可以達到最優分類性能，但該算法時間代價較高.

以上分析可以看出，在基于深度學習的自動調制識別中，使用CNN模型需要將信號原始特征轉換為圖形特征再進行訓練，而LSTM模型是一種遞歸網絡，常用的圖形處理器（Graphic Process Unit ,GPU）并行加速方法無法有效提高其訓練效率，導致隨著輸入數據量的增大與層數的加深，訓練時間會大大增加. 在自然語言處理領域中，常用注意力（Attention）機制讓模型能在訓練中更加關注那些比較重要的特征，減少模型中的參數量. 為了充分利用LSTM網絡在處理長時間依賴序列的優勢，同時改善LSTM網絡在處理大數據集時較低的訓練效率，本文設計了一種基于LSTM網絡與Attention機制的無線通信信號調制識別算法. 該算法可以有效學習信號的原始特征，避免實際應用中無謂的系統資源浪費；同時Attention機制的引入使本文設計的算法相較于其他基于LSTM網絡的調制識別算法在訓練效率與準確率上都有明顯地提升.

1 LSTM 網絡以及 Attention 機制原理

1.1 LSTM 網絡基本原理LSTM 網絡通過引入一種自循環的機制，使梯度可以隨時間變化而變化，從而讓自循環過程中的權重根據輸入信息動態地變化. 通過門控該種自循環的權重，累積的時間尺度也能進行動態變化. 這種特性讓LSTM網絡即使在固定參數的情況下，其累積的時間尺度也會隨著輸入序列的變化而改變[15].

與傳統的循環神經網絡在每個時間步都重寫記憶不同，LSTM會將其學習到的重要特征保存為長期記憶，并根據學習的進行選擇性的保留、更新或者遺忘已保存的長期記憶，而在多次迭代中權重始終很小的特征則會被網絡視為短期記憶并最終被遺忘. 這種機制使得重要的特征信息會隨著迭代的進行一直傳遞，讓網絡在處理樣本具有長時間依賴性的分類任務中有著更好的性能表現[16-17].

LSTM與普通循環網絡類似，每個單元具有相同的輸入與輸出，但同時LSTM也有更多的參數和控制信息流動的門控單元系統. LSTM最重要的組成部分是狀態單元其自環的權重由遺忘門控制（其中t代表時刻，i代表第i個神經元），由sigmoid單元設置為0和1之間的值. 相應的前向傳播公式為

其中，x(t)是當前輸入向量，h(t)是當前隱藏層輸出向量分別是偏置、輸入權重和遺忘門的循環權重.

1.2 Attention 機制Ashish Vaswani等于 2017 年提出了在深度學習中加入Attention機制以提升模型性能[18]，Attention借鑒了人腦鑒別事物的特點，即專注于事物的某些顯著特征，模糊一些不重要的細節，這使人將有限的注意力放在大腦認為重要的地方，提高工作效率，因此Attention機制最初主要被應用于圖像識別的領域. 經過一段時間的研究發現，Attention機制與常見于自然語言處理領域的Encoder-Decoder模型能很好地結合，Encoder-Decoder模型具有較強的通用性，Attention機制開始在不同的領域流行[19-20]. Attention模型一般結構如圖1[21]所示.

圖 1 Attention 模型一般結構Fig. 1 Standard structure of Attention model

圖1中X1、X2、X3、X4由原始數據A、B、C、D經過編碼得到，經過Z0的Attention權值向量加權后再歸一化產生C0并將其輸入到解碼器，其中通過一種對齊概率的計算方式得到，這種函數一般稱為評分函數. 文中使用最常用的乘積矩陣，其公式為[20]

2 算法與模型設計

在基于特征的AMC技術中常用的深度學習主要是CNN模型與LSTM模型. CNN模型由于對長時間依賴序列處理能力不佳，基于CNN模型的調制識別技術一般需要先將信號原始特征轉換為圖像特征再傳入CNN進行學習，這在實際應用中往往會大幅增加系統架構的復雜程度. 而基于LSTM的調制識別技術在輸入數據量增加或者網絡層數增加時訓練的時間代價會迅速增長.

近年來開始將Attention機制運用于信號識別鄰域的應用[22]，深層網絡在學習調制信號頻譜經過圖像編碼產生的灰度圖特征后對MPSK、FSK、AM、QPSK信號進行了分類，其對信噪比為?20 dB的信號分類準確率為48%，對信噪比為20 dB的信號分類準確率為98%.

本文設計了一種帶有Attention機制的LSTM網絡無線通信調制分類算法. 首先通過LSTM網絡提取信號的原始特征，再利用Attention機制為經過LSTM提取的特征向量分配注意力權重，將那些較為“顯著”的特征集合進行高度總結后輸入分類器產生分類結果. Attention機制的引入可以使模型在訓練時始終關注那些較為“顯著”的特征，不僅可以降低訓練時的參數從而提升訓練效率，還能提升模型的分類準確率.

本文設計的算法的結構框圖如圖2所示.

圖 2 結合 Attention 機制的 LSTM 網絡結構Fig. 2 LSTM network structure combined with Attention mechanism

輸入層讀取數據集中的數據向量并將其傳入網絡.

LSTM層主要負責接收樣本數據并從樣本數據中學習特征信息. 其神經元個數為128，采用L2正則化，L2范數為0.001，同時設置網絡為雙向網絡，即后一個神經元的狀態值也會反向傳回前一個節點.

Attention層主要負責對LSTM層中學習到的特征集合分配相應的注意力權重. 該層采用sigmoid激活函數，評分函數為乘積矩陣. 由于數據集中向量個數也是輸入向量的一個維度，我們希望這一維的每一個向量單獨擁有一個Attention權重，即每一個輸入都對應Attention層的一個輸出，因此需要將Attention層放在LSTM層之后.

全連接層將得到的特征向量經過softmax分類器歸一化產生分類概率并將其輸出.

本文訓練模型時損失函數為交叉熵損失函數，優化器采用AdamOptimizer，具體的訓練過程如下所示：

步驟 1初始化模型中的超參數，其中學習率設定為 0.000 1;

步驟 2將訓練集中的154 000個樣本用大小為256的batch進行切分;

步驟 3隨機選取一個生成的batch送入神經網絡進行訓練;

步驟 4LSTM層對輸入網絡的batch中的數據進行特征提取，再由Attention層為提取后的特征圖設置注意力權重，最終全連接層根據注意力加權后的特征圖生成分類向量并由softmax分類器輸出分類結果;

步驟 5根據交叉熵損失函數計算本次訓練的損失;

步驟 6Adam優化器根據本次訓練結果更新網絡的超參數;

步驟 7將步驟3～6定義為模型的一次迭代過程，重復這種迭代直至模型的分類準確率在多次迭代后已不再發生明顯的改變.

3 實驗與結果分析

3.1 數據集選擇本文使用 RadioML2016.10a 數據集[23]來驗證本文所設計的算法，該數據集的具體參數見表1.

表 1 RadioML2016.10a 數據集的參數Tab. 1 The parameters of RadioML2016.10a dataset

該數據集通過GNU Radio生成,數據為涵蓋了各種被廣泛使用的調制方式的正交同相（I/Q）信號，同時該數據集中的數據也存在如多徑衰落產生的高斯白噪聲、頻率偏移等常見的信道誤差，信噪比范圍廣，能較為真實地模擬各種情況的信號.

3.2 實驗與分析為了驗證LSTM網絡在學習信號原始特征時是否較CNN具有優勢，使用RadioML2016.10a數據集分別訓練文獻[13]提出的雙層CNN模型以及文獻[14]提出的雙層LSTM模型，并比較它們對不同信噪比信號的分類準確率. 本文的實驗平臺為：Intel Corei7-8700 CPU@ 3.20GHz 的處理器; NVIDIA Geforce GTX 1070；內存16GB.

其實驗結果分別如圖3、圖4所示. 圖 3中CNN2模型的分類準確率在樣本信噪比為18dB時為81%，而圖4中雙層LSTM網絡模型在相同信噪比下的識別準確率達到了89%.

圖 3 雙層CNN網絡在不同信噪比下的分類準確率Fig. 3 Classification accuracy of 2-layers CNN on different SNRs

圖 4 雙層LSTM網絡在不同信噪比下的分類準確率Fig. 4 Classification accuracy of 2-layers LSTM on different SNRs

可以看出雙層LSTM網絡模型的總體識別準確率比雙層CNN模型有較大優勢，證實了本文選用LSTM模型作為學習信號原始特征的基準模型的正確性. 接著對比雙層LSTM模型與本文設計算法的總體準確率如圖5所示，可以看出在引入注意力機制后LSTM網絡的分類準確率在信號信噪比為18 dB時可以達到92%，可見本文提出的算法具有較高的分類準確率.

圖 5 帶有注意力機制的LSTM網絡在不同信噪比下的準確率Fig. 5 Classification accuracy of Attention-based LSTM network on different SNRs

雙層CNN模型、雙層LSTM模型與本文設計模型的具體準確率如表2所示，對信噪比范圍?20～18 dB的信號本文提出算法的識別準確率都高于傳統的CNN網絡以及LSTM網絡的識別準確率.

接著對雙層LSTM網絡與本文設計算法的訓練表現進行了對比（圖6、圖7），可以看出在引入Attention機制后模型的泛化性能也有了一定的提升. 雙層LSTM網絡在迭代20次之后就出現了過擬合的現象，而帶有Attention機制的LSTM網絡在訓練過程中訓練集與測試集的擬合程度始終較好.

表 2 3 種算法在不同信噪比下的識別準確率Tab. 2 Recognition accuracy of three algorithms on different SNR

圖 6 雙層 LSTM 網絡的訓練表現Fig. 6 Training performance of 2-layers LSTM

圖 7 帶有注意力機制的LSTM網絡的訓練表現Fig. 7 Training performance of Attention-based LSTM network

進一步對比分析Attention機制對網絡訓練效率的影響，上述3種調制識別算法的平均單次迭代時間如表3所示，可以看出Attention機制的引入減少了訓練過程中的參數數量，降低了訓練中的時間消耗，帶有Attention機制的LSTM網絡的單次迭代時間平均僅為232 s，僅為雙層LSTM模型平均單次迭代時間的一半，而雙層CNN模型由于能使用GPU有效并行加速其平均單次迭代時間最短，但準確率與另外兩種算法差距較大.

表 3 3 種算法的平均單次迭代時間Tab. 3 Average single epoch time of three algorithm

綜上可以看出本文所設計的算法通過引入Attention機制，有效解決了傳統了基于LSTM網絡的調制識別技術的訓練效率不佳的問題，同時在識別準確率上也有一定的優勢. 最后通過本文設計算法的混淆矩陣（圖8）分析其對各類調制信號的分類準確率.可以看出在信噪比為18 dB時，本文所提出的算法在區分WBFM和AM-DSB這兩種信號時比較困難，這主要是由于原始數據集中，這兩種調制方式的樣本是由實際音頻流生成，在這個過程中有一段音頻流的中斷期，導致這兩種調制方式的有許多相似的樣本，影響了識別的準確率. 而對于AM-DSB與AM-SSB以及QAM16和QAM64這兩組信號，由于調制方式較為相似，模型很難學習到能有效區分它們的特征，導致分類結果存在一些誤判的情況，但本文所設計的算法對這兩組信號的總體識別準確率依然在90%以上.

圖 8 信噪比為 18 dB 時帶有注意力機制的 LSTM 網絡的混淆矩陣Fig. 8 Confusion matrix of Attention-based LSTM with 18 dB SNR

4 總結與展望

本文旨在利用常用于圖像識別與自然語言處理中的Attention模型，針對性地解決調制識別中由于輸入數據維度大而造成的計算時間增長和準確率下降的問題，實驗結果表明，本文所設計算法準確率對信噪比為?20～18 dB的信號識別準確率較高，且本文提出的算法的時間代價與傳統的LSTM網絡模型相比較小.

由于實驗條件限制，本文中用于實驗的信號數據均為軟件仿真產生，未來應采集真實無線電通信環境中的調制信號進行進一步實驗以更好的驗證本文提出的算法的有效性. 本文設計的算法源碼可于https://github.com/desolating/-att-lstm_mod-rec查看.