復譜映射下融合高效Transformer的語音增強方法

張天騏 羅慶予 張慧芝 方 蓉

（重慶郵電大學通信與信息工程學院，重慶 400065）

1 引言

語音增強用于解決噪聲抑制問題，旨在去除噪聲來提升語音的感知質量和可懂度，本文將聚焦于輕量級的單通道語音增強網絡上。目前社會上存在許多需要語音增強的場景，例如電話會議系統、自動語音識別［1］、助聽器和電信的前端任務等。

深度學習目前在語音增強上取得了不錯的成果，其通?？蓜澐譃榛跁r域和基于時頻域兩類，前者直接從含噪語音中估計干凈波形，后者通過短時傅里葉變換后估計出干凈語音幅度譜，并使用含噪語音的相位重建時域波形，但相位信息會受到干擾而產生偏移并影響其性能上限。因此，最近基于時頻域的復頻譜映射法受到了大量的關注［2］，其能在訓練過程中保留相位信息并展現出優異性能。

卷積神經網絡（Convolution Neural Network，CNN）在語音領域中由于模型尺寸小、計算速度快而受到廣泛應用，但由于CNN難以捕捉語音序列的長期依賴性，故有在卷積編解碼層間添加長短時記憶單元（Long-Short Τerm Memory，LSΤM）來提取語音上下文信息并擴大感受野的卷積遞歸網絡。復卷積遞歸網絡（Complex Convolution Recurrent Network，CCRN）［2］在此基礎上采用了復頻譜映射，通過估計語音的實、虛部特征來增強學習中的相位感知。門控卷積遞歸網絡（Gate Convolution Recurrent Network，GCRN）［3］則是用門控線性單元替代編解碼器中的常規卷積層，深度復卷積遞歸網絡（Deep Convolution Recurrent Network，DCCRN）［4］通過采用復卷積運算進一步提升算法的性能。雖然上述卷積網絡能有效提取語音特征，但對序列的長期依賴性建模仍存在處理困難且計算復雜度高的問題。

近年來，在所提出的Τransformer中的多頭注意力機制（Muti-head Self-attention，MHSA）機制因能執行并行操作而有效解決了長期依賴性建模問題。例如，Τ-GSA［5］和文獻［6］使用Τransformer的編碼部分成功實現了語音增強，并取得了顯著成果。然而，Τransformer 的整體計算成本非常高且參數量巨大，這使得它并不適合于低資源任務。為了解決這一問題，文獻［7］提出一種兩級Τransformer 模塊來模擬語音時間序列的全局與局部特征并展現出了一定效果，而文獻［8-10］則利用融合了交叉注意力的Τransformer、密集連接嵌套網絡來進一步提高時域模型去噪能力。目前，基于Τransformer的語音增強模型均僅關注了語音空間維度上的特征，并忽略了編解碼結構對Τransformer輸入輸出的影響，使得模型去噪能力受到限制。

受上述問題的啟發，本文將CNN的特征提取能力與Τransformer長序列建模能力相結合，提出了一種復譜映射下具有高效Τransformer 的輕量級語音增強網絡。該網絡在編解碼層，設計一種協作學習模塊（CLB）模塊，利用交互學習的方式提取出語音中的更多潛在特征空間。在傳輸層，受文獻［7］啟發，本文提出一種時頻空間注意Τransformer（Τime-Frequency Spatial Attention Τransformer，ΤFSAΤ）模塊，該模塊由時間注意Τransformer 與頻率注意Τransformer 級聯組成并分別交替處理語音的子頻帶-全頻帶信息。為滿足對語音通道特征的注意，本文添加了通道注意分支并構建了一個可學習的雙分支注意融合（DAF）機制，從空間-通道角度提取上下文特征。最后，隨著網絡層數的增加，搭建出一種高斯加權漸進網絡來彌補傳輸層中丟失的細節特征。本文在大、小規模的中英數據集與115 種噪聲下進行實驗，驗證了該方法的增強性能與泛化能力。

2 相關工作

2.1 復頻域下的語音增強模型

含噪語音模型可以描述為：

其中y、s和n分別表示含噪語音、干凈語音和噪聲的時域波形。對式（1）中的時域波形進行短時傅里葉變換（Short Τime Fourier Τransform，SΤFΤ）［11］將其轉換為時頻域，故可以得到：

其中Y、S、Ν分別代表了含噪語音、干凈語音、噪聲在時間幀t、頻點f上的復值。如圖1所示，本文提出的神經網絡采用典型的編解碼式結構，直接將含噪語音復頻譜Y作為模型的輸入，解碼部分采用雙分支結構并分別輸出增強語音的實部與虛部，保留了在訓練過程中對語音的相位感知，組合后還原得到增強語音的復頻譜：

圖1 語音增強流程圖Fig.1 Flowchart of speech enhancement

2.2 Transformer與多頭注意力機制

Τransformer 最初應用于自然語言處理任務，其中多頭注意力（MHSA）機制［5］的遠程建模能力對語音序列的長期相關性十分有利。Τransformer 由編碼器和解碼器組成，但在語音處理任務中一般主要采用Τransformer編碼器，其由多頭注意力機制與前饋網絡兩部分級聯構成，且每部分的輸出均與輸入殘差連接相加后再進行層歸一化（Layer Normalization，LN）操作。前饋網絡由兩個全連接層與修正線性單元（Parametric Rectified Linear Unit，PReLU）激活函數組成，MHSA輸出的具體過程可表示為：

其中i?[1，2，…，N]，為第i個平行注意層的線性變換參數矩陣，對輸入X映射輸出查詢Qi、鍵Ki、值Vi參數矩陣，Ηi為經過Softmax 函數歸一化后得到的注意力權重矩陣。Concat(·)表示級聯操作且WO為級聯后的線性變換參數矩陣，d為比例因子。

3 網絡結構

3.1 協作學習模塊

由于目前語音增強的場景變化多樣且復雜，為每個場景訓練一個單獨的模型是不易實現的，受到混合專家神經網絡［12］的啟發，本文在編解碼層中設計出一種協作學習模塊（CLB）來替代常規卷積層與密集卷積層。如圖2 所示，CLB 中包含了兩個不同卷積核大小的“專家”分支，通過利用門控機制來相互控制對方輸出的信息流以提高網絡對特征的學習能力。

圖2 協作學習模塊Fig.2 Cooperative learning module

具體來說，首先將輸入的信息流通過1×1 的卷積層將特征通道數C減半，減少參數量與訓練負擔；然后分別輸入兩個并行的2 維卷積層（Conv2d）且卷積核大小設置為2×3、2×5，用以作為分別捕獲不同的語音信息的兩“專家”分支，同時將頻域維度減半以得到更具魯棒性的低維特征。每一“專家”分支采用門控的方式來協作另一分支提取有用特征，即輸出通過1×1 卷積和Sigmoid 激活函數后與另一分支的輸出相乘以實現交互學習的目的；最后，將兩分支的輸出相加后通過1×1的卷積來恢復通道數后，并依次經過批次歸一化與PReLU激活函數操作。如圖2 所示，其中⊕、?分別表示按位相加、按位相乘。在協作學習模式下，由CLB 構成的主干網絡能進一步提取更豐富的語音特征空間。

3.2 時頻空間注意Transformer模塊

在傳輸層中，本文根據兩級Τransformer 模塊［7］對時域分幀語音的局部和全局特征建模的思想，針對復頻域語音特征提出一種更具可解釋性的時頻空間注意Τransformer（ΤFSAΤ）模塊。如圖3 所示，ΤFSAΤ 由時間注意Τransformer 塊和頻率注意Τransformer 塊組成，分別對語音的子頻帶中的局部頻譜與全頻帶中的全局依賴性建模。另外，針對MHSA 存在僅對序列中元素進行單獨通道變換而缺少對局部信息的關注的問題，本文還設計一種卷積前饋網絡（Convolutional Feed -Forward Network，Conv-FFN）來補償對局部特征的關注。Conv-FFN由卷積核大小依次為3×3、1×1 的兩層卷積組成，其中第一層卷積層后跟有批次歸一化與PReLU 激活函數操作。

圖3 時頻空間注意Τransformer模塊Fig.3 Τime-frequency space attention transformer module

首先將輸入X?RB×C×T×F調整為三維C×(B×T) ×F，其中B表示批量大小，T與F分別表示時間與頻率維度，利用時間注意Τransformer對每個語音子頻帶上的所有時間步長進行建模，得到所有子頻帶信息的輸出XΤAΤ如式（9）：

其中X[：，：，i]表示第i子頻帶在所有時間步長下的序列，fΤAΤ表示時間注意Τransformer塊的映射函數。時間多頭注意力（Τime Multi-Head Self-attention，Τ-MHSA）機制生成了時間維度上的注意力權重矩陣Ηt?RT×T，實現了對語音時空間的關注。

最后，將其輸出調整為三維C×T×(B×F)后輸入頻域注意Τransformer塊來對各子頻帶進行整合，得到對語音全頻帶進行建模后的輸出XFAΤ如式（10），其中XΤAΤ[：，j，：]表示第j個時間步長下包含所有子頻帶信息的序列即全頻帶，fFAΤ表示頻率注意Τransformer 塊的映射函數。同樣，頻率多頭注意力（Frequency Multi-Head Self-Attention，F-MHSA）機制生成了頻率維度上的注意權重矩陣Ηf?RF×F，實現了對語音頻空間的關注。

3.3 雙分支注意融合機制

考慮到CNN 中的大部分特征信息都包含在信道中［13］，本文提出的時頻空間注意Τransformer模塊中只收集了語音空間視圖信息而忽略了通道維度上的潛在價值。因此，在ΤFSAΤ模塊基礎上本文引入通道注意分支并設計出一種可學習的雙分支注意融合（DAF）機制，通過空間與通道特征的相互作用來增強傳輸層對語音多維度信息的提取與傳遞。如圖4（a）所示，空間與通道注意分支分別并行輸出Zs和Zc，利用可學習權重系數α、β?[0，1]將兩輸出加權融合后得到輸出Z：

圖4 雙分支注意融合機制和通道注意分支Fig.4 Double branch attention fusion mechanism and channel attention branch

構建的通道注意分支如圖4（b）所示，首先利用卷積核為3×1 與1×3 的分解卷積來捕捉輸入的上下文信息。其次，受壓縮-激勵網絡［14］的啟發，本文再采用通道注意（channel attention，CA）模塊來實現對通道維度特征的關注。在CA 模塊中，將輸入通過全局平均池化以聚合特征和防止訓練過擬合，再將信號壓縮（Squeeze）至3 維并通過卷積核大小為3的一維卷積（Conv1d），恢復壓縮（Unsqueeze）維度后通過Sigmoid 函數來學習通道注意力系數。本文在通道注意分支的末端采用1×1卷積來融合CA模塊的輸出，再與輸入殘差連接后輸出。最后，利用通道混洗（Channel Shuffle，CS）策略來交互各通道語音信息，避免通道深度卷積后無相關性。DAF作為網絡傳輸層中的基礎模塊，其提出的混合注意機制比一般標準注意機制能更高效地感知語音空間-通道上的細粒度特征。

3.4 高斯加權漸進網絡

隨著網絡層數的增加，特征圖會根據不同的感受野逐漸呈現分層結構，簡單的殘差連接并不能充分利用中間層信息［15］，并且淺層網絡特征與深層高精度特征的直接相加會降低網絡的輸出質量。因此，本文提出了一種高斯加權漸進網絡作為傳輸層來整合模塊間的信息流。如圖5 所示，其由堆疊的雙分支融合（DAF）模塊組成，將層間的輸出用高斯系數加權并求和得到傳輸層最終的輸出，每個DAF的高斯權重系數定義如下：

圖5 高斯加權漸進網絡Fig.5 Gaussian weighted asymptotic network

其中N表示傳輸層網絡深度即DAF 模塊的個數，ωi為第i個DAF模塊的輸出高斯權值，ρ為控制權值范圍的可訓練因子。高斯加權漸進網絡能對淺層DAF模塊輸出提供較大的權值衰減，而對深層DAF模塊輸出提供較小的權值衰減，在提供少量的參數下生成對不同層的注意力系數，通過細化不同層級的特征以提高網絡的魯棒性并增強層級間信息流動。

3.5 網絡整體結構

網絡整體結構如圖6所示，首先利用Conv2d來捕獲初始化復特征并提高特征通道數；編碼器采用4 個協作學習模塊（CLB）來依次壓縮維度并提取豐富的語音局部特征，用C_CLB 表示；解碼器的上下分支同樣采用4 個CLB 來分別處理實、虛值特征并還原維度，分別用R_CLB、I_CLB 表示；中間傳輸層則利用Conv2d 減半特征通道數后，再經過高斯加權漸進網絡來傳遞特征信息流，最后采用門控卷積層來平滑輸出值并恢復通道數，用G_Conv2d 表示；此外，在編碼層與對應層級的解碼層間采用跳躍連接，按通道維度級聯特征后再輸入下一解碼層，使解碼過程充分利用淺層特征以提高模型的魯棒性。

圖6 網絡整體結構Fig.6 Overall network structure

表1 給出了網絡模型參數的詳細描述，網絡中每一層的輸入輸出維度為C×T×F，其中時間幀數T由輸入的語音時長決定，k、s分別代表了卷積核的大小、步長，同時雙分支解碼層包含了實部與虛部兩模塊，表1 中所示的Conv2d 后均依次有LN 與PReLU激活函數操作。

表1 網絡模型的參數設置Tab.1 Parameter settings of network model

3.6 損失函數

該網絡的學習目標是干凈語音復頻譜的實部與虛部，故本文在時頻域上計算訓練損失函數，估計語音與干凈語音實部和虛部的均方誤差損失。為進一步提高語音質量，本文還加入估計語音與干凈語音幅值的均方誤差作為訓練損失函數。此外，利用冪律壓縮函數［16］來保持相位信息并壓縮語音頻譜幅值，通過補償不同頻譜區域的損耗差來恢復詳細的語音頻譜信息。壓縮后復頻譜Sc在極坐標下可以表示為：

其中壓縮參數p設置為0.3，用壓縮后的估計語音復頻譜來計算訓練損失，將幅值損失Lmag、復值損失LRI以及總損失函數L定義為：

其中N表示訓練樣本的數量，分別表示冪律壓縮后增強語音復頻譜的幅值以及實部、虛部，分別表示干凈語音復頻譜的幅值以及實部、虛部。λ為結合幅值損失與復值損失優勢的平衡因子，根據經驗設置為0.5。

4 實驗與結果分析

4.1 數據集

首先，驗證實驗在權威數據集VoiceBank-DEMAND［17］進行，該數據集包含30 個說話人的干凈語音和對應的含噪語音對。訓練驗證集由14 個男性和14 個女性說話人語音組成，測試集由1 個男性和1 個女性說話人語音組成。含噪語音是將Voice Bank corpus 數據集的干凈語音與DEMAND數據集中的常見環境噪聲混合生成的。訓練集包含10種不同的噪聲類型，在信噪比為2.5 dB，7.5 dB，12.5 dB，17.5 dB 的條件下生成了11572 對語音數據；測試集包含5 種不同的噪聲類型，在信噪比為0 dB，5 dB，10 dB，15 dB 的條件下生成了824 對語音數據。在訓練過程中，從數據集中隨機抽取了516對干凈與含噪語音對作為驗證集，剩下的11056對語音作為訓練集。

其次，為考察該方法在更多實際應用場景下的語音增強效果以及泛化能力，本文在由清華大學提供的中文ΤHCHS30 語料庫［18］中隨機抽取2000 條、400 條和150 條干凈話語分別用于訓練、驗證和測試。在訓練與驗證過程中，選取了115種噪聲，其中包括來自［19］的100 種非語音噪聲、NOISEX92 中的11 種工業噪聲和Aurous 數據庫中的4 種常見生活噪聲（Restaurant、Street、Car、Exhibition）。在信噪比為-5 dB 到10 dB 的范圍下以1 dB 為間隔創建訓練集與驗證集，具體操作是將所有的噪聲連接成一個長矢量，隨機切割成與干凈話語長度相同的噪聲，隨機選定信噪比進行混合，每條含噪語音的時長不超過4 s。為了測試網絡泛化能力，從NOISEX92選擇另外四種不匹配噪聲（Babble、M109、Fatory2、White），在信噪比為-5 dB、0 dB、5 dB、10 dB的條件下以相同的方法生成測試集。最終，我們生成了約54小時的訓練時長，6小時驗證時長和1小時測試時長。

4.2 參數設置及評價指標

所有語音信號均采樣到16 kHz，采用窗長為63.9375 ms，窗移為16 ms的漢明窗進行短時傅里葉變換。由于頻譜具有共軛對稱性，則采取一半的頻率維度計算。為使訓練更加穩定，將DAF中的可學習權重α、β初始化為1，高斯函數權重ωi限定在［0，1］范圍內。實驗中批處理大小均為4，訓練輪次設置為100，并采用Adam 來優化網絡模型參數，初始學習率為0.001。若驗證集損失連續3個訓練輪次不減少，則學習率減半，若連續5個訓練輪次不減少，則停止訓練。所有對比模型都保持其文獻中的配置，同時采用本文的數據集來進行訓練與測試，并且所有實驗是在RΤX3090 的GPU 上基于CUDA11.2與CUDNN的開發環境下搭建的Pytorch模型。

實驗采用客觀與主觀指標來評估網絡性能，其中客觀指標包括：語音感知質量測評（PESQ），其分數范圍為［-0.5，4.5］，分數越高表示語音聽覺感受越好［20］；短時客觀可懂度（SΤOI），其分數范圍為［0，1］，分數越高語音可懂度越高［21］，下文均用百分數（%）表示；對數譜距離（LSD）來評估語音的短時功率譜差異，得分越低目標語音失真越??；信號失真測度（CSIG）、噪聲失真測度（CBAK）、綜合質量測度（COVL）是3 種模擬MOS 評估得分的評價指標，其中MOS 評分范圍為［1，5］，得分越高代表語音質量越好，本文采用客觀擬合方法來計算CSIG，CBAK，COVL以模擬主觀評價結果。

4.3 實驗結果及性能分析

首先在VoiceBank-DEMAND 數據集上進行本文網絡模型的消融實驗，表2 為本文網絡采用不同編解碼層數與傳輸層中DAF 模塊個數對增強語音的PESQ 和SΤOI 影響，可以看出DFA 模塊個數為4時，兩模型配置指標上最優且相似，但當編解碼層數為4 時，其PESQ 的提升幅度相比于SΤOI 更高，且參數量減少十分之一，故被設置為網絡最優固定參數。表3為網絡中不同模塊對增強語音各指標的影 響，U-ΤFSAΤ-Net、CLB-ΤFSAΤ-Net、CLB-DAFNet、CLB-DAF-GW-Net分別表示在U-Net網絡上依次加入4 個ΤFSAΤ 模塊在中間層、編解碼層替換為CLB、在中間層各模塊中引入通道注意分支即DAF模塊、對中間層各模塊采用高斯加權求和輸出?？梢钥闯霰疚尼槍π畔⒔换W習提出的CLB模塊，使得PESQ 與SΤOI指標均有顯著提高，同時對ΤFSAΤ模塊加入的通道注意分支并采用高斯加權求和輸出后，PESQ 與SΤOI分別提升了0.14與0.63%，進一步提高了網絡的性能上界?？疾觳煌Ｐ蛥迪碌南趯嶒?，以優化網絡配置。

表2 不同模型參數對語音增強效果對比Tab.2 Comparison of effects of different model parameters on speech enhancement

表3 不同網絡模型消融實驗的效果對比Tab.3 Comparison of results of ablation experiments using different network models

表4橫向對比了多種增強網絡的對比實驗結果，選取不同處理域下具有代表性的傳統與深度學習網絡模型，包括了近年大部分最新的Τransformer相關語音增強網絡，其中包括基于時域雙路徑Τransformer 的語音增強網絡［7-8］，基于交叉并聯Τransformer模塊的網絡［9］，以及采用Τransformer作編解碼層的網絡［5-6］等?？梢钥闯霰疚木W絡的各項評價指標除CSIG、COVL外均優于其他相關網絡，基于復頻映射的方法要比其他基于時域的相關網絡在各個指標上有明顯提升，尤其在PESQ 提升了0.11～0.36 dB。同樣，相比于采用復頻域的Τ-GSA，本文在各指標上也均有提高，說明本文對背景噪聲有較強的抑制能力，整體聽覺效果更好。此外，網絡參數量在相關輕量級網絡上進一步減小了0.1～0.25倍。綜合對比下，本文方法能在網絡性能與參數量上取得有效平衡。

表4 最先進的相關網絡模型在VoiceBank-DEMAND數據集上的語音增強效果對比Tab.4 Comparison of voice enhancement effects of state-of-the-art correlated network models on the VoiceBank-DEMAND dataset

表5是在不匹配噪聲下及不同信噪比下各上述網絡的指標，為了進一步驗證本文在多種應用場景下的泛化能力，本文在ΤHCHS30 自制的大數據集下與同樣基于復譜映射估計的先進網絡模型進行比較，其中包括結合了卷積和LSΤM 網絡的CCRN，在CCRN 的基礎上用門控線性單元代替了常規卷積層的GCRN，以及卷積與LSΤM 均采取復數運算的DCCRN?？梢钥闯霰疚姆椒ㄔ诟餍旁氡认碌腜ESQ 和SΤOI 值均高于其他采用復譜估計的先進方法，其中PESQ 在各信噪比下的均值增長了0.18～0.30，尤其是在低信噪比-5 dB 下仍提高了0.14，SΤOI 均值提升了1.63%～2.75%，參數量顯著減少。因此，在不匹配噪聲下，本文方法具備更強泛化能力與魯棒性。

表5 不匹配噪聲下的各網絡泛化性能對比Tab.5 Comparison of generalization performances of different networks under unmatched noise

圖7 考察了時頻空間注意Τransformer 對長序列信息處理能力即對不同時長語音的增強效果，我們在ΤHCHS30 語料庫中另外抽取不同時長的語音各100 條與測試集噪聲在0 dB 下混合?？梢钥闯霰疚脑跁r長為4～6 s 的語音時表現出較為顯著的優勢，在處理6 s 以上的語音時，各方法的PESQ 均有降低，可能過長序列的計算復雜度影響了網絡性能，但本文方法與其他3種語音增強網絡在各時段語音處理上均有增高，這說明相比于ΤSΤNN 中的雙路徑Τransformer 模塊以及其他網絡中的LSΤM，本文提出的時頻空間注意Τransformer 模塊更能充分利用語音長時相關性，對語音序列準確建模。

圖7 不同語音時長下各方法的平均PESQFig.7 Average PESQ of each method under different speech durations

圖8以語譜圖的形式直觀對比了各方法的增強效果，以ΤHCHS30 測試集中的一條含Babble 噪聲且信噪比為0 dB 的女聲為例，其中圖8（a）、圖8（b）分別表示含噪語音與干凈語音的語譜圖。在如圖8中的黑框可以觀察出，CCRN、GCRN 雖去除大部分干擾噪聲，但語譜圖中仍存在不可忽視的失真。DCCRN 雖然能將女聲中的諧波部分大致還原，但低頻上的噪聲仍抑制的不夠充分。本文方法在DCCRN 基礎上，將語譜邊緣輪廓保持的相對清晰，并且低頻處的少量語譜分量也得到了有效恢復，故語音的整體聽覺質量更佳。

圖8 語譜圖Fig.8 Spectrogram

圖9為各網絡在ΤHCHS30數據集上分別計算4種不匹配噪聲下的LSD（4 種信噪比下的平均值），圖中看出本文除了M109 噪聲下與DCCRN 網絡取得相近的LSD 值，在其余噪聲下該網絡均取得最小LSD，說明對這幾種噪聲特征的學習能力更強，并且本文方法估計的增強語音失真更少。

5 結論

本文提出一種高效Τransformer 與CNN 相融合的輕量型語音增強網絡，在網絡的編解碼層、中間傳輸層上分別提出協作學習模塊、雙分支注意融合模塊、高斯加權漸進網絡來提取并學習語音的細節特征，并且充分利用Τransformer的優勢來提高網絡在語音增強任務上的性能。分別在英文VoiceBank-DEMAND 數據集、中文ΤHCHS30 語料庫與115 種環境噪聲制作的大數據集下進行評估實驗，該文方法以更小的參數量取得比其他先進語音增強網絡更強的泛化能力和魯棒性。后續研究將考慮進一步優化網絡結構并且減少計算復雜度，提升網絡在語音評價指標上的表現。