基于改進Inception網絡的語音分類模型

張秋余，王煜坤

（蘭州理工大學 計算機與通信學院，蘭州 730050）

0 引言

隨著云存儲和互聯網技術的發展，越來越多的音頻等多媒體數據進入了人們的生活。為了節省本地存儲空間，許多個人和企業用戶將多媒體數據存儲在云端，給多媒體數據的檢索增加了技術負擔。語音分類是實現快速檢索的有效手段，然而海量的多媒體數據幾乎無法使用人工分手段分類。因此，針對海量語音數據的快速準確分類在音頻/語音檢索、識別等領域成為研究熱點之一［1］。

近年來，深度學習在圖像分類和音頻識別等領域得到了廣泛的研究與應用。Tlemsani等［2］為了解決梯度下降算法收斂速度慢的問題，提出一種多層感知器與進化算法結合的語音識別模型，加速了收斂，使模型陷入局部最優的風險降到最低，整體分類準確率達到58.81%。付煒等［3］針對傳統音頻分類方法手動構造特征導致過程繁瑣且準確率不高的問題，提出一種基于改進的卷積神經網絡（Convolutional Neural Network，CNN）和隨機森林的音頻分類方法。Chit等［4］提出一種對廣播新聞語音分類識別的系統，提取梅爾頻率倒譜系數（Mel-Frequency Cepstral Coefficients，MFCC）特征和特征圖像作為輸入特征進行訓練后建立聲學模型，并利用CNN 分類器對特征進行分類。其中：MFCC 特征的錯誤率為18.75%，MFCC 特征圖像的錯誤率為11.2%。Ballesteros等［5］為了檢測利用深度語音技術和模仿技術獲得的假語音記錄，提出一種改進的神經網絡模型Deep4SNet，利用2 092 個原始和假語音記錄直方圖進行訓練，并使用864 個直方圖進行交叉驗證。對于基于深度語音的錄音，該模型的總體分類準確率為98.5%。楊立東等［6］針對音頻場景分類性能提升的問題，提出改進的基于CNN 的音頻場景分類方法，實驗結果表明，該模型的分類準確率優于傳統CNN 模型，準確率達到了80%。Tokozume等［7］提出EnvNet，結 合EnvNet 和Logmel-CNN 使分類精度提高了6.5%。Pons等［8］使用非訓練CNN 作為音頻特征提取器，利用不同權值的模型比較分類效果，證明了不同神經網絡結構對分類效果有顯著影響。

Inception 是CNN 的一種結構，在深度學習、機器視覺等領域應用廣泛。Jin等［9］融合Inception 與能提取局部和全局特征的全連接層，提出一種新的神經網絡模型ILGNet，解決了大規模圖像分類問題，取得了較高的分類精度。Meghana等［10］使用Inception-ResNetV2 模型預測1 000 張人臉圖像的年齡和性別，該模型對人像年齡預測的準確率達到60%，性別預測的準確率達到80%。Inception 網絡引入1×1 卷積核，實現在通道方向上的升維或者降維，有利于分類精度的提升。但是原有的Inception 網絡沒有加入批標準化等網絡內部優化器，同時較大的卷積核增加了計算量與收斂時間。

盡管上述音頻分類方法已經在不同領域獲得了應用，但是傳統的機器學習算法也存在一定的局限性。如果支持向量機（Support Vector Machine，SVM）算法［11］的數據特征數高于樣本數，則SVM 的分類結果會很不理想，同時SVM 本身決定該算法只能用于二分類問題，適用范圍有限。隨機森林算法在某些噪聲較大的數據的分類上容易出現過擬合現象，且參數復雜，模型訓練時間較長［12］。同時上述兩種傳統機器學習方法需要人工提取特征，計算開銷以及人工成本很高。神經網絡雖然可以降低分類學習中的人工和計算力開銷，但現有的神經網絡模型依舊存在種種問題，例如隨著網絡層數的增加，神經網絡的分類精度卻不會進一步增長，模型出現梯度消失現象。傳統的神經網絡僅局限于提升更深層次的特征而忽略了更廣尺度的特征，導致網絡模型出現過擬合問題，Salamon等［13］使用音頻數據增強技術，解決了因數據稀缺而導致的模型過擬合問題?，F有的大多數神經網絡模型更適用于圖像分類，對音頻以及語音數據的優化相對較少，相較于圖像領域，語音分類的準確率仍有較大的提升空間。Lu等［14］提出一種時間延遲神經網絡，考慮聲音信號的特點，利用音頻信號是時序信號的特點，提取時間軸相關特征使音頻信號更具備相關性，從而提升網絡性能。

綜上所述，針對現有CNN 模型分類時存在的語音分類精度不高、過擬合以及網絡層次過深產生的網絡退化等問題，本文的主要工作主要有：

1）設計了一種適用于語音分類的神經網絡模型。在Inception 網絡中引入殘差網絡（Residual Network，ResNet）的殘差跳連模塊以及1×1 分支結構對語音特征進行降維操作。在加深網絡模型深度的同時，減少了網絡模型的計算開支，通過提取更深層次的語音特征來提升網絡模型的分類精度。

2）針對現有神經網絡模型對語音分類優化不足的情況，利用不同尺寸的卷積核對同一特征進行不同維度的深度特征提取，使用雙通道卷積結構提取Log-Mel 譜圖［15］的深度特征并進行融合，使模型不再局限于提取深層次特征，也能學習到更廣尺寸的語音特征，從而提高模型對語音數據的分類精度。

3）針對現有神經網絡容易產生過擬合的現象，利用數據增強技術擴充語音數據庫，增加語音數據量，并且結合Dropout 方法隨機減少神經元個數，有效地解決了模型過擬合問題，使模型擁有更好的泛化能力。

1 相關理論

1.1 Log-Mel譜圖視覺特征與提取過程

時域分析與頻域分析是處理語音信號最重要的兩種方法。而Log-Mel 譜圖綜合了兩者的優點，并將它們建模成圖像，利用深度學習模型學習語音高級特征。Log-Mel 譜圖包含了語音信號中共振峰、基音頻率、能量、振幅等多種聲學特征信息，相較于原始的語音信號更加直觀、易理解且更容易被神經網絡提取。Log-Mel 譜圖的橫軸為時間，縱軸為頻率，任意頻率成分在給定時刻的強弱用不同深淺的顏色表示，顏色越深表示該時刻頻譜值越大，反之譜值越小。Log-Mel 譜圖中存在橫向條紋，即聲紋，每條聲紋由像素較深的點組成，出現聲紋表示該時刻相應頻率分量占比較多，相較于其他時刻更容易被感知。豎直方向的條紋相當于基音，兩條豎直方向條紋的間隔距離表示基音周期，間隔越小，基音頻率越高。對于不同語音信號，聲音的強度、頻率分布不同。

人耳對于聲音信號的敏感性聚焦在一定的頻率范圍內，并非在整個頻譜包絡中。人耳能聽到的聲音高低與聲音的實際頻率之間并非線性關系，使用Mel 頻率更加符合人耳的聽覺特性，即在1 kHz 以下呈線性分布，1 kHz 以上呈對數增長。Log-Mel 譜圖是線性頻譜經過梅爾濾波器過濾后得到的特征，更加符合人耳聽覺特性，在聲學時間研究中應用廣泛，同時可以在滿足特征尺寸的情況下，顯示更多的頻譜信息。Log-Mel 譜圖可以在包含所需要的語音信息的同時尺寸更小，因此本文采用Log-Mel 譜圖作為網絡模型的輸入。圖1為Log-Mel 譜圖特征提取流程。具體處理步驟如下。

圖1 Log-Mel譜圖特征提取流程Fig.1 Extraction flow of Log-Mel spectrogram features

步驟1 原始語音預處理。對原始語音信號S（n）進行分幀、加窗等預處理操作，加窗處理過程如式（1）：

其中：S′（n）為預處理后的語音信號；N為幀的大??；W（n）為漢明窗。W（n）對應的窗函數如式（2）：

步驟2 快速傅里葉變換（Fast Fourier Transformation，FFT）。對得到的每一幀通過FFT 得到對應的頻譜，再對頻譜計算平方得到每一幀的功率譜。

步驟3 梅爾（Mel）頻率標度。將能量譜通過一組梅爾尺度的三角濾波器組Hm（k）進行濾波，通過三角濾波器后，頻率響應如式（3）：

其中：f（m）為中心頻率，m=1，2，…，M，M為梅爾濾波器個數；k為取樣點序數。

步驟4 對數運算。將得到的Mel 譜圖作對數運算，得到Log-Mel 譜圖。

1.2 Inception網絡模型

InceptionV2［16］的基本模型計算組合不同尺寸的卷積和池化（Pooling），并在計算完成之后將每個卷積和池化得到的結果按深度方向堆疊。Inception 網絡中最重要的結構就是Inception 結構塊，在同一層網絡內使用不同尺寸的卷積核以提升感知力。在同一層中，分別使用1×1、3×3、5×5 的卷積層（Conv），同時為了避免上層網絡輸出的特征過大以及每層的計算量過大，在3×3 和5×5 卷積操作之前加入1×1 卷積層以減少參數量。所有的卷積操作都使用padding 以保證輸出的特征圖尺寸相同，最后將經過上述處理后的產生的特征圖沿深度方向整合。因此網絡寬度增加，再利用這些不同尺寸的濾波器和池化操作去提取上一層的不同特征。Inception 網絡的基本模型如圖2 所示。

圖2 Inception網絡模型結構Fig.2 Structure of Inception network model

1.3 ResNet模型

ResNet［17］的層間殘差跳連結構引入了前方信息，可緩解梯度消失，使神經網絡層數的增加成為可能。在前向傳播的過程中，隨著網絡層數的不斷加深，特征映射中包含的信息會逐層減少。ResNet 在網絡架構中多加入一條恒等映射，將上層特征不經過卷積計算，直接進入下層，從而保證了信息的完整性。圖3 為ResNet 模型的殘差塊示意圖，采用ReLU（Rectified Linear Unit）激活函數。

圖3 ResNet的殘差跳連Fig.3 Residual skip connection for ResNet

殘差塊由恒等映射和殘差映射兩部分組成，如式（4）所示：

其中：xl表示恒等映射部分；F(xl，Wl)是殘差部分，一般由兩到三層卷積層組成。ResNet 相當于改變了學習目標，整個網絡不再需要學習一個完整的輸出，只需要學習目標值H（x）和x的差值，也就是殘差部分，降低和簡化了目標難度。

2 改進的Inception網絡模型分類方法

本文采用基于改進的InceptionV2 卷積神經網絡對語音數據進行分類，整個分類系統可分為以下3 個步驟：

步驟1 Log-Mel 譜圖特征提取。對原始語音數據集進行預處理（包括對語音數據的分幀、加窗、FFT 等操作），獲取原始語音信號的Log-Mel 譜圖特征。

步驟2 使用改進的Inception 網絡提取Log-Mel 譜圖的深度特征。首先學習訓練集Log-Mel 譜圖中的深層特征，得到語音特征，并與標簽進行匹配；然后利用大量的語音數據完成對網絡模型的訓練；最后將測試集數據送入已訓練好的網絡模型得到測試集的分類結果。

步驟3 使用Softmax 函數得到分類概率，從模型中得到的分類結果需要進行歸一化處理。

2.1 改進的Inception模塊

本文用于分類的網絡模型在InceptionV2 的基礎上改進，圖4 為改進的Inception 模塊的結構。

圖4 改進的Inception模塊結構Fig.4 Structure of improved Inception module

如圖4 所示，改進的Inception 模塊的結構由4 個通道組成，預測層的輸出分別經四個通道進行卷積運算。

1）第1 個通道首先使用1×1 卷積進行降維，再分別進入兩個由1×3 和3×1 大小的卷積層堆疊組成的分支通道，最后再將兩個分支通道的輸出按深度方向融合，得到第一個通道的輸出。使用非對稱卷積代替原有InceptionV2 網絡結構中可以增加通道非線性的卷積核，提升了網絡的適應程度，同時加快了訓練速度。相較于原來的3×3 卷積，模型參數量明顯減少，并且融合兩個分支通道得到的特征可以更好地提取特征中的深層信息。

2）第2 個通道首先連接一個1×1 卷積，再將一個1×3 和一個3×1 卷積核順序相連，之后引入ResNet 殘差跳連，每兩層之間使用跳連結構，使前層網絡輸入跳過中間層直接與后層網絡連接以加深網絡深度。因為輸入數據可以直接進入網絡深層，因此減少了網絡計算開銷，有效避免由網絡深度增加而導致的網絡退化，提高網絡訓練速度，并提高了模型的分類性能。

3）第3 個通道同樣使用1×1 卷積，其次將原有Inception網絡中的5×5 卷積改為兩個3×3 卷積代替，從而增加網絡深度，在不改變網絡模型性能的情況下，減少了模型的運算量，提升收斂速度。

4）第4 個通道由一個3×3 最大池化層與一個1×1 卷積組成。

最后融合4 個通道得到的輸出特征，把每個分支得到的結果按深度方向堆疊，得到Inception 模塊的最終輸出。改進的Inception 模塊具有以下3 個優勢：1）將一個卷積用兩個非對稱卷積替代，增加了網絡深度，提升分類性能；2）采用1×1卷積減少了參數計算量與輸出特征圖維度，同時也提高了分類精度；3）同時使用不同大小的卷積核提取特征，可以增加網絡對不同尺度的適應性。

2.2 改進的Inception網絡模型搭建

改進的Inception 網絡同樣將語音Log-Mel 圖作為整個網絡的輸入，模型的第一層首先經過一個卷積操作，卷積核大小為3×3，步長為1。輸入圖像尺寸為128×128 像素，圖像為RBG 圖像，深度為3。改進的Inception 模塊中，四個通道分別使用1×1、1×3 和3×3 三種不同尺寸的卷積核。模型中使用效果較好的ReLU 激活函數。每層卷積層之后對數據進行批量歸一化（Batch Normalization，BN）操作。網絡模型中各層的參數如表1 所示。

表1 改進的網絡模型各層參數Tab.1 Parameters of each layer of improved network model

在經過一次卷積運算之后，將4 個Inception 結構塊順序相連，每2 個Inception 結構塊組成1 個block，每個block 中第一個Inception 結構的卷積步長是2，第二個Inception 結構塊卷積步長為1。因為第一個Inception 結構塊中滑動步長設置為2，因此特征圖輸出尺寸會減少為原來的一半，為使特征提取過程中的信息承載量一致，將輸出特征圖的深度加深。最后將block 模塊中的輸出送入池化層。池化層均采用平均池 化（Global Avgpool），池化窗口為3×3，使用全0填充，padding 方式為“same”。在池化層與全連接層之間加入Dropout［18］緩解模型過擬合現象。網絡使用Adam 算法［19］動態更新學習率，提升模型訓練收斂速率。最后經過一個全連接層（Fullly Connected，FC）層，得到語音數據的最終分類結果，因為模型為10 分類，所以全連接層用Dense10 表示。

將ResNet 中的殘差跳連結構引入Inception 模塊中，將網絡中的完整連接轉換為稀疏連接，避免了網絡層數增加造成的過擬合，梯度消失等問題。同時保留Inception 模塊原有的特性，不需要人為確認使用何種尺寸過濾器或是否需要池化，而完全交由網絡通過學習自行確認這些參數，降低人工開銷。同時融合不同尺寸過濾器提取的特征以增加網絡對不同尺寸特征的適應性，提高網絡內部資源的利用率。本文將兩種不同的設計思想相結合，設計出新的網絡模型從深度和寬度兩個方面將原有模型進行改進，使網絡模型加深的同時，擁有更好的特征表達能力。網絡模型如圖5 所示。

圖5 改進的Inception模塊Fig.5 Improved Inception module

3 實驗與結果分析

3.1 實驗數據集與實驗環境

實驗采用THCHS-30 數據庫［20］，語音庫總時長超過30 h，采樣率為16 kHz，采樣大小為16 bit，TECHS-30 的文本選自大容量新聞，這些語音根據文本內容被分為四部分：前三部分包括30 個人的10 893 句語音，作為訓練數據集；最后一部分包括10 個人的2 496 句語音，用于測試。

實驗中使用深度學習中常用的TensorFlow 架構搭建網絡平臺，音頻處理使用librosa 庫，實驗的硬件環境為：Intel Core i7-4720HQ CPU@2.6 GHz、16 GB 內存、Windows 7 操作系統。

3.2 特征提取與數據增強

本文使用的每條語音時長大約10 s，采樣率設置為22 050 Hz，FFT 窗口長度n_ fft=2 048，幀移hop_length=512，窗函數選擇漢明窗，漢明窗口長度使用與FFT 變換長度相同的默認值。梅爾濾波器個數n_mel=40。最后使用將梅爾譜圖轉換到對數刻度。圖6 為實驗提取的Log-Mel 譜圖。

圖6 Log-Mel譜圖Fig.6 Log-Mel spectrogram

本文通過數據增強的方法擴充訓練樣本，有效提升模型訓練精度，使用TensorFlow 框架中的ImageDataGenerator 庫，對提取出的Log-Mel 譜圖進行數據增強。主要用到的手段包括翻轉、旋轉、裁剪、增加噪聲等。具體參數如表2 所示。

表2 數據增強具體方法Tab.2 Specific methods of data enhancement

3.3 不同迭代次數分類結果

本文將整個數據集按8∶1 劃分為訓練集和測試集，將Log-Mel 譜圖修改為128×128 大小的RGB 圖像送入神經網絡。迭代次數從15 次開始，每輪增加5 次，最終迭代次數達到50，每輪迭代進行三次實驗，每次送入神經網絡的數據量batch_size 為64，Dropout 率設置為0.3，Adam 優化器［21］學習率為0.001。取三次實驗的平均值作為最終結果，不同迭代次數下實驗的最終結果如表3 所示。

表3 不同迭代次數的分類準確率Tab.3 Classification accuracy of different iteration times

從實驗結果可以看出，隨著迭代次數的增加，分類準確率在上升，當迭代次數達到50 時，神經網絡的分類準確率達到最大值，最大值為93.48%，此后再增加迭代次數，網絡模型的分類結果沒有明顯變化，網絡性能達到最佳。最終分類準確率和損失值收斂情況如圖7 所示。

圖7 分類準確率與損失值收斂結果Fig.7 Convergence results of classification accuracy and loss value

可以看出，訓練數據與測試數據之間分類準確率并未產生太大差異，表明模型并未產生過擬合現象，測試集準確率和loss 函數產生輕微的波動，產生波動可能的原因是測試集數據偏少，但是二者都在逐漸收斂，波動在正常范圍之內。

為了驗證改進的Inception 網絡模型的魯棒性，本文對語音數據分別加入20 dB 和15 dB 窄帶高斯白噪聲，表4 為不同噪聲強度下的分類結果?？梢钥闯?，添加20 dB 窄帶高斯白噪聲后，分類準確率并未受到太大影響；當噪聲強度降低為15 dB 時，分類準確率有略微下降，但是分類精度依舊保持在90%左右，因此改進的Inception 網絡模型的分類準確率對噪聲具有較強的魯棒性。

表4 不同噪聲強度下的分類準確率Tab.4 Classification accuracy of different noise intensity

3.4 不同經典卷積神經網絡模型比較

將現有經典的CNN 模型與本文模型進行分類準確率對比。對比模型如下：

1）AlexNet：使用5 層卷積作為特征提取器，在第1、2、5層卷積之后加入最大池化層，最后增加3 層全連接層。并使用兩塊GPU（Graphics Processing Unit）模塊對網絡進行訓練，兩塊GPU 之間的通信只在特定層發生，以減少性能損耗。

2）VGG16（Visual Geometry Group）：與AlexNet 使用的9×9 和11×11 的卷積 核不同，使用更 小尺寸 的3×3 卷積核。VGG16 由13 層卷積層和3 層全連接層組成，用于分類任務的VGG16 在模型的最后還會添加Softmax 層。網絡的前4 層卷積，每2 層卷積之后加入1 層最大池化；從第5 層開始，每3層卷積之后加入1 層最大池化。每個池化層與它到上層池化之間的所有卷積被分為一個模塊，這樣含有卷積層的部分被分為4 個模塊，加上輸入模塊與全連接模塊，就將1 個完整的VGG16 網絡模型分為6 個模塊以方便學習與研究。

3）InceptionV2：優化了V1 版本中的Inception 模塊，雖然同樣使用V1 版本中卷積與池化并行堆疊設計的理念，但是使用兩個3×3 卷積取代5×5 卷積，使網絡在保持性能不變的條件下，參數量大幅減少。同時引入BN 以增加模型非線性。模型使用5 層卷積層，在第2 層卷積之后加入填充層和池化層，在5 層卷積之后連接8 個Inception 模塊，最后使用8×8 池化層和一個全連接層。

為驗證改進的Inception 網絡模型的分類效果，本文比較了上述幾種不同神經網絡的分類準確率，對數據集采用10折交叉驗證策略。實驗結果如表5 所示。從表5 可知，本文模型取得了最優的準確率，最多提高27.30 個百分點。AlexNet 模型的分類準確率相對較低，損失值較高，主要原因是模型本身結構較為簡單，模型深度較淺，無法提取更深層的特征信息，因此分類準確率不夠，但因為模型較為簡單，所以訓練所需時間最少。VGG16 和Inception V2 網絡模型深度相近，但是InceptionV2 采用不同卷積核抓取感受野，并且使用1×1 卷積核降低計算量、特征維數與模型參數，因此分類準確率略高于VGG16，并且訓練時間更短。本文采用了改進的Inception 網絡模型，在第二通道中加入ResNet 中的跳連機制，在網絡層數增加的同時，有效避免了神經網絡模型的梯度消失問題，因此分類效率較高，這是本文模型準確率最優的直接原因。將原有InceptionV2 網絡中5×5 卷積核改為雙通道1×3、3×1 卷積核組，能夠有效減少網絡參數量，并且特征融合后增加的信息量也提高了本文模型的分類準確率。同時殘差結構使訓練數據可以直接進入更深層網絡，因此相較于原InceptionV2 網絡，本文模型的訓練時間更短。

表5 不同模型分類性能對比Tab.5 Comparison of classification performance of different models

3.5 與不同模型的分類效果對比

為驗證改進的Inception 網絡模型的分類性能，同時為驗證模型的遷移學習能力，本文將UrbanSound8k 環境音數據集作為模型輸入與現有模型進行了對比，并以分類準確率作為評判模型的標準，對比結果如表6 所示。從表6 中可以看出，1D CNN［22］是一種端到端的一維架構CNN 模型，相較于大多數2D CNN，該模型具有更少的參數量，并且直接使用原始語音作為輸入，因此在時間開銷方面表現較好，但因模型深度不足，分類準確率未能達到90%。EnvNet［7］和Dilated CNN［23］模型使用CNN 對Log-Mel 譜圖進行深度特征提取，分類性能有所提升，但是兩種模型都是將卷積簡單地順序堆疊，結構相對簡單，因此性能提升有限。DS-CNN（Dempster-Shafer CNN）［24］和GoogLeNet［25］將兩種不同的特征進行融合，并送入神經網絡進行分類，同時兩種網絡使用更復雜的網絡結構加深網絡深度，使分類性能大幅提升，但是兩種網絡并未使用ResNet，因此在訓練中可能發生梯度消失現象。本文模型則考慮到這一問題，采用殘差結構，有效地避免了梯度消失，并未使模型發生退化現象，提高了模型的分類準確率。

表6 不同網絡模型準確率對比Tab.6 Comparison of accuracy results of different network models

時間開銷方面，將本文與Dilated CNN 進行對比，Dilated CNN 一次迭代所需時間為6.099 s，而本文模型進行一次迭代的時間為1 437.548 s，兩者相差較大，主要原因是：1）本文所使用的實驗設備性能相對落后，GPU 計算能力相對較弱；2）本文模型相較于Dilated CNN，在參數量、模型深度等各方面都更高。所以在時間開銷方面相差較大。

4 結語

本文提出一種改進的Inception 網絡模型，在原有的Inception 網絡基礎上融合了ResNet 的特點，加深了神經網絡的深度與寬度，使模型解決了梯度消失的問題，提高了分類準確率。利用改進之后的Inception 網絡對Log-Mel 譜圖進行卷積計算，可以更有效地提取語音深度特征；使用ResNet 中的殘差跳連增加了網絡寬度和深度，解決了神經網絡模型中的梯度消失問題；模型使用數據增強技術、BN、Adam 優化器等方法對網絡輸入數據集以及內部參數進行優化，提高了模型收斂速度，提升了分類準確率。實驗結果表明，與現有模型相比，本文模型能夠有效地提取語音深度特征，在加入隨機噪聲的數據集中仍具有較高的分類準確率。