融合DAE-LSTM的認知物聯網智能頻譜感知算法

段閆閆，徐凌偉，2

1.青島科技大學信息科學技術學院，山東 青島 266061

2.數字化學習技術集成與應用教育部工程研究中心，北京 100039

隨著全球經濟一體化的發展，物聯網得到了廣泛的應用[1-2]。第五代（fifth-generation，5G）移動通信技術推動了物聯網的發展[3-4]。物聯網在各行各業發揮了重要作用，給生產、管理等方方面面帶來了深刻的變化。由于每個行業對頻譜資源的需求不同，網絡的快慢也會受到物聯網數據流量大小的影響，物聯網流量的突發性也極易引起網絡的擁塞等這些問題都對物聯網頻譜資源的需求提出了挑戰。物聯網技術的發展需要大量的頻譜，但是由于頻譜資源有限，在現有的情況下，迫切需要尋找智能的頻譜共享方式，認知無線電頻譜感知作為一種新技術實現頻譜智能共享，可以提高頻譜資源易用性和頻譜資源物聯網使用率兩難的事情。本文是通過研究認知無線電頻譜感知和物聯網技術，以認知無線電頻譜感知技術為基礎，研究頻譜共享問題。

認知無線電（cognitive radio，CR）技術主要是通過頻譜感知等技術的智能學習，實現頻譜共享。具體而言，將CR 技術應用于5G 物聯網網絡，可以實現有限頻譜的最大化使用。Deemah等人[5]闡述了CR的未來研究方向。Cengis等人[6]提出了一種隨時間推移進行頻譜調整的分配方案。Luo 等人[7]設計了一種融合探測器，然后通過最大化探測器的偏轉系數獲得最優權值，從而解決頻譜共享問題。Konmal等人[8]提出了一種CR和非正交多址（non orthogonal multiple access，NOMA）結合的高性能用戶選擇方案。Anand 等人[9-10]研究了新框架NOMA 的性能，詳細地說明了如何以最佳方式選擇功率分配系數和目標速率。由于傳統盲頻譜感知分類器存在噪聲信息未知時感知性能低的缺陷，Wang 等人[11]提出了協同采樣和二進制輸出（CSBO）采樣相融合的方案。在文獻[12]中，基于大時延擴展信道，驗證了譜分量相關性對頻譜感知有效性的影響。Mahdi 等人[13]針對5G 頻譜的特殊頻段提出了一種KLMS（kernel least mean square）感知算法，以提高頻譜利用率。Haythem等人[14]提出了一種5G物聯網中頻譜高效共享的跨層設計方法。

機器學習被廣泛應用于頻譜感知領域。Amir 等人[15]論證了將CR和ML結合實現智能頻譜感知的可行性。Zhao等人[16]設計了一種改進的樸素貝葉斯分類器，實驗結果證明提高了感知性能。Muard等人[17]提出了一種用于協同頻譜感知的K-means學習算法，該算法可以降低高噪聲和嚴重衰落信道對感知性能的影響。Waleed等人[18]提出了一種基于高斯核最小均方差的方法，用于5G 移動網絡的頻譜感知，以提高頻譜利用率。Mei 等人[19]設計了一種改進的樸素貝葉斯分類器，獲得了較好的頻譜感知性能。Dhaval 等人[20]分析了車輛移動性和主要用戶活動對感知性能的影響，并且推導了漏檢概率的閉合表達式。

深度學習優秀的學習特性，在移動無線通信領域得到了廣泛的應用。Kawtar 等人[21]設計了利用深度學習對濾波后的多載波波形進行分類的實驗。文獻[22]提出了在傳統卷積神經網絡（convolutional neural network，CNN）中添加密集連接，實現高效頻譜感知的方法。Xu等人[23-24]采用改進的CNN 等網絡對人工物聯網保密性能進行預測。

認知物聯網中智能頻譜感知是頻譜感知相關研究的新方向。隨著深度學習技術的興起，許多學者將CNN與移動通信相結合。但是CNN 的網絡結構比較復雜，并且是通過學習空間特征進行分類。由于無線信號是具有時間連續性的時序信號，CNN 不能很好地學習時間相關性特征。本文針對單一固定特征易畸變，采用去噪自編碼器（denoising autoencoder，DAE）學習數據的底層結構，然后采用改進長短時記憶（long short term memory，LSTM）模型對特征進行學習分類，以提高頻譜感知性能。其主要貢獻可歸納如下：

（1）針對移動無線信號易受噪聲干擾、傳統的提取單一固定信號特征進行感知分類的算法難以實現的特點。通過DAE 學習局部破碎的信息來復原原始數據，使編解碼過程提取出的特征更具有魯棒性，同時又避免了傳統自編碼器的編解碼過程只是簡單的復制粘貼。因此，提出利用DAE學習信號和噪聲的底層特征表示，提高分類特征的魯棒性，實現特征的高效降維和提取。

（2）針對移動無線信號具有明顯的周期性和波動性的特征，設計了一種時序分類感知模型。該算法采用改進的LSTM作為頻譜感知分類器，通過離線訓練獲得動態閾值。然后，通過在線測試獲得頻譜感知結果，提高了頻譜感知性能。

（3）在兩種調制方式和5 種信噪比下對所提出的頻譜感知算法進行了驗證。結果表明，與支持向量機（support vector machine，SVM）、循環神經網絡（recurrent neural network，RNN）、LeNet5、學習向量量化（learning vector quantization，LVQ）和Elman 算法相比，DAELSTM 提高了約45%的感知準確率。表明該算法在頻譜感知方面具有良好的魯棒性。

1 系統模型

如圖1 所示：智能頻譜感知系統由發射機、主用戶（primary user，PU）和次用戶（secondary user，SU）三部分組成。經過調制之后的模擬信號搭載載波以及功率放大器放大，然后經過N-nakagami信道完成噪聲畸變，最后在PU 接收端對信號進行濾波采樣，這是PU 信道正常的通信過程。頻譜感知是判斷某頻段是否空閑的過程。

圖1 認知物聯網頻譜感知系統模型Fig.1 Cognitive ⅠoT spectrum sensing system model

在認知物聯網中，PU 表示“授權物聯網設備”，SU表示“認知物聯網設備”?；九cPU 在特定頻段通信，由SU進行頻譜感知判斷。過程如下：

其中，H0、H1分別表示PU存在和不存在。x(t)為離散采樣信號序列，h(t)為服從高斯分布的信道衰落系數，s(t)是發射機發射的信號，n(t)是接收到的噪聲。

通過比較T值與經驗值λ進行頻譜感知判斷。如果T ＞λ，則確定是PU 在使用該頻段。否則，頻段空閑SU可以介入使用。T的計算公式為：

檢測概率Pd，虛警概率Pf可定義為：

2 DAE-LSTM的智能頻譜感知算法

圖2中，本文提出的算法根據網絡結構的功能分為特征提取和特征學習分類。提出的DAE-LSTM的頻譜感知過程包括兩個主要步驟：第一步是對頻譜感知信號進行預處理，第二步是使用DAE-LSTM 模型對預處理后的數據進行訓練，下面將詳細討論。

圖2 DAE-LSTM系統模型圖Fig.2 DAE-LSTM system model diagram

2.1 數據預處理

假設采樣信號序列x(t)是通過對包含過多冗余信息的相同分布的模型進行重復采樣得到的。因此，在輸入頻譜感知分類模型之前，需要對數據進行預處理。首先對采樣獲取的數據整理成矩陣，以某點i開始將每個時間幀分成N個信號子片段，每個信號子片段M(i)的長度為L。因此，

在實際應用中，通過抽樣得到的樣本數據容易出現大數吃小數的問題。為了避免數值問題，平衡各維度之間的貢獻，有必要對采樣信號進行標準化處理，降低異常數據對頻譜感知性能的影響。標準化處理公式如下：

構造信號矩陣為：

構造信號協方差矩陣為：

2.2 提出DAE-LSTM模型的體系結構

（1）DAE：在認知物聯網中，由于噪聲干擾，單個固定信號特征的質量下降。然而基于DAE的特征提取可以自動補充受損信號，并根據樣本協方差矩陣能量值在H1和H0中的分布差異提取特征降維，使特征更具魯棒性。結構示意圖如圖3所示。

圖3 DAE網絡結構圖Fig.3 DAE network structure diagram

首先，對原始輸入數據Q進行局部人為破壞，通過添加人工噪聲的方法隨機抹除局部特征。然后通過編碼函數Sg(·)和解碼函數Sf(·)學習重構回Q[25]。添加人工噪聲不僅可以避免編解碼過程機械的復制，還可以提高編碼之后特征的魯棒性。DAE編解碼過程為：

其中，w和w′為權值，by1和by2為偏置，bn為高斯隨機噪聲。

最后用損失函數loss(Q,Y)訓練DAE網絡為：

（2）改進LSTM 模型：改進LSTM 模型訓練過程中選擇性地傳遞或者遺忘網絡的狀態，動態學習信號和噪聲的結構特征。LSTM模型單個神經元的結構如圖4所示。單位神經元包括一個控制記憶單元和3個控制門。

圖4 改進的LSTM模型結構Fig.4 Ⅰmproved LSTM model structure

遺忘門：遺忘門主要是保證前一時刻的記憶細胞狀態Ct-1以一定概率延續到當前時刻，以一定的概率對過去的信息進行有效取舍。時間t的輸入向量和時間t-1的輸出向量決定了時間t的遺忘程度。其計算過程為：

其中，WF表示權值矩陣，gt表示當前時刻t的輸入信息，UF表示流入遺忘門的輸入層權值，bF表示偏移量參數，ht-1表示上一個神經元節點的輸出。

輸入門：輸入門的結構由兩層神經網絡組成，將部分結果按對應的元素相乘作為輸入的輸出。輸入門表示模型在當前時刻接收輸入信息，并為記憶單元狀態的下一次更新做好準備。其計算過程為：

記憶單元存儲更新：通過添加過去長期狀態和當前狀態兩部分來更新當前內存單元狀態。其計算過程為：

其中，×表示每個元素之間的乘法運算。這樣，LSTM模型將當前的信息狀態和過去的長時記憶狀態Ct-1結合起來，更新細胞狀態Ct。

輸出門：計算結果由兩部分組成，先是結合當前時刻的輸入信息從短期記憶中得到的信息輸出Ot，然后結合長期記憶模型，得到最終的輸出值ht。其計算過程為：

（3）智能頻譜感知算法：智能頻譜感知算法流程圖如圖5 所示，偽代碼如算法1 所示。該算法首先得到離散信號序列。該算法首先獲取采樣信號序列，由采樣信號序列構造信號矩陣，對其進行標準化處理，并將其輸入DAE。DAE 通過編碼和解碼過程完成動態特征提取。最后，將測試集輸入到最佳的LSTM 模型中，得到頻譜感知結果。

圖5 DAE-LSTM頻譜感知算法流程圖Fig.5 Flowchart of DAE-LSTM spectrum sensing algorithm

算法1智能頻譜感知算法

2.3 模型訓練

在這項工作中，小型批量梯度下降和自適應運動估計（adaptive moment estimation，Adam）優化器被用來訓練神經網絡模型。

（1）損失函數：在訓練階段，均方誤差通常被作為神經網絡的損失函數。損失函數是描述數據實際標簽和網絡預測值之間的偏差，稱為損失。然后，神經網絡在訓練過程中通過調整參數值來降低損失函數逐漸收斂至最低。損失函數描述為：

其中，A為輸出層神經元數量，O為實際值，第j個神經元輸出輸出層對應分類的概率值。

（2）優化器：在訓練過程中，神經網絡計算梯度，并利用梯度更新網絡權值。在本工作中，利用Adam優化器調整網絡中各個參數的梯度值。Adam優化器是通過結合兩次矩估計來有效矯正各梯度值的。第一個矩估計mt的數學表達式為：

其中，β1為指數衰減率，gt為t時刻計算的梯度，mt為t時刻第一個矩估計。

第二個矩估計Vt被描述為：

其中，Vt為時刻t的第二個矩估計。

根據經驗，在模型訓練的前期，被初始化為0 的m0會使得mt產生偏差。通過公式（23）可以對偏差進行修正：

其中，m?t為第一修正矩。

與m0類似，mt也需要修改。

其中，V?t為第二次修正力矩。

網絡的權值更新為：

其中，θt為網絡在時刻t時的權值，α為學習率。

3 實驗分析

本章驗證了所提智能頻譜感知算法的有效性。實驗中模擬發射機端隨機生成01 序列的數字信號，經過2FSK和QPSK兩種調制方式調制生成模擬信號之后再分別搭載不同的載波器以及功率放大器，然后經過NNakagami 信道完成噪聲的畸變。在-12 dB～0 dB 信噪比環境下產生混合訓練集34 000組和33 000組，測試集10 000組和15 000組。仿真實驗參數如表1所示。

表1 仿真實驗使用的數據集參數Table 1 Data set parameters used in simulation experiments

LSTM網絡的不同堆疊層數對算法性能影響較大，仿真實驗驗證了網絡堆疊一層、兩層和三層三種情況在不同調制方式下的Pd和Pf。表2和3展示了不同網絡堆疊層數對Pd和Pf的影響，從而設計一種最佳的網絡層數。

表2 不同網絡層數下檢測概率Pd 對比Table 2 Comparison of detection probability Pd under different network layers

表3 不同網絡層數下虛警概率Pf 對比Table 3 Comparison of detection probability Pf under different network layers

根據表2和3可以得出結論，單層網絡時，感知性能Pd值最低，兩層網絡堆疊與三層網絡堆疊時Pd值差別不大，但三層網絡在低信噪比下時QPSK 的Pf值過高。并且結合圖6可以看出，由于堆疊三層網絡模型相對復雜，算法耗時較長。因此，該分類模型設計了一個兩層網絡堆疊的LSTM結構。網絡結構參數如表4所示。

表4 網絡結構參數表Table 4 Table of network structure parameters

圖6 不同網絡層數的運行時間Fig.6 Running times for different network layers

最后，將該算法的性能與Elman、SVM、LeNet5、LVQ和RNN算法的性能進行了對比。圖7、圖8分別顯示了2FSK 和QPSK 調制下的Pd。兩種調制方式下DAELSTM算法的Pd都高于對比算法。-12 dB下Elman算法接近失效，其他的對比算法的性能也在50%左右，處于二分類的盲猜狀態，隨著信噪比的升高也就是噪聲干擾逐漸減低所有算法的性能都有所提高，但是都不及DAE-LSTM 算法的Pd高。當信噪比大于-3 dB 時，DAE-LSTM算法和RNN算法的Pd接近達到100%。相比之下，SVM和LeNet5的Pds不超過90%，LVQ的檢測概率不超過80%。Elman 和LVQ 算法對強噪聲干擾信號的識別精度較差，甚至在低信噪比條件下接近失效。

圖7 2FSK調制方式下不同算法Pd 的對比Fig.7 Comparison of Pd of different algorithms in 2FSK modulation mode

圖8 QPSK調制方式下不同算法Pd 對比Fig.8 Comparison of Pd of different algorithms in QPSK modulation mode

同樣，圖9、圖10 給出了六種算法的Pf對比，可以看到LVQ 算法的Pf最高，其次是Elman 算法，而SVM和LeNet5 算法的整體Pf約為20%，RNN 算法的Pf在低信噪比下也非常高。相比之下提出的DAE-LSTM算法具有最佳的Pf性能。更精確地說，與SVM和LeNet5算法相比，該算法的Pf降低了3%～15%。

圖9 2FSK調制方式下不同算法Pf 對比Fig.9 Comparison of Pf of different algorithms in 2FSK modulation mode

圖10 QPSK調制方式下不同算法Pf 對比Fig.10 Comparison of Pf of different algorithms in QPSK modulation mode

高效的算法是兼備感知準確率高和算法運行所花費的系統開銷小。圖11 和圖12 展示了六種算法的運行時間的對比效果?？梢缘贸鰞煞N調制方式下DAELSTM 算法的運行時間是100 s左右明顯短于對比算法。2FSK調制方式下，LeNet5 運行時間花費297.13 s，其次是SVM 運行花費204.8 s，DAE-LSTM 模型相比于運行時間較長的LeNet5和SVM分別減少了70%～80%左右；QPSK 調制方式下，LVQ 和LeNet5 花費時間也較長，其次是SVM 和Elman，RNN 與所提算法運行時間相當。經過分析：經典的LeNet5模型在數據維數為36時，能表現出來最佳的分類性能。然而，本文工作是將數據降低為60 維特征向量作為輸入數據，從而導致模型參數和運行時間增加。SVM通過計算最優超平面得出分類結果，但當數據量過大或者數據畸變嚴重時迭代計算就會耗費大量的時間。LVQ 算法的分類原理與傳統聚類算法相同，根據距離搜索最近的原型向量需要較長的時間。因此，提出的DAE-LSTM 模型是一個較優的感知模型。

圖11 2FSK調制方式下不同算法運行時間對比Fig.11 Comparison of running time of different algorithms in 2FSK modulation mode

圖12 QPSK調制方式下不同算法運行時間對比Fig.12 Comparison of running time of different algorithms in QPSK modulation mode

4 結束語

本文提出了一種基于DAE 和改進LSTM 的認知物聯網智能頻譜感知算法。DAE提取的高質量底層特征輸入到改進的LSTM 模型中，獲得高效的頻譜感知結果。得出以下結論：

DAE 通過編碼和解碼過程學習數據的底層特征，實現數據的有效特征提取和降維；LSTM構建的頻譜感知分類器模型利用信號序列的時間依賴性對特征進行分類，提高頻譜感知效率。

在以后的工作中，將挖掘能夠有效區分協同用戶信號與噪聲的方法，提高頻譜感知的效率。