基于MAML方法的佤語孤立詞分類

王 翠,王 璐,解雪琴,楊建香,和麗華,侯俊龍,潘文林

(云南民族大學 數學與計算機科學學院,云南 昆明 650500)

佤語是跨境的少數民族語言,對少數民族語言佤語的識別研究有利于國家安全和少數民族文化保護.佤語作為中國語言資源保護工程采集的少數民族語言之一,專家在語料庫中抽樣發現人工標注仍然存在很多問題,說明精準的標注不僅昂貴而且十分困難.然而,目前對佤語的研究主要停留在語音學的角度[1-2],主要包括音素,音節,詞法分析等,這些研究為佤語的實驗語音學發展提供準確的人工標注樣本奠定了語音學基礎.佤語數據集包含1 860類孤立詞,每類僅包含20個樣本；imageNet數據集的分類類別大約在1 200類,每類超過1 000張圖片,所以本文的實驗數據存在分類類別多,每類所包含的分類樣本數目少的情況.

由于深度學習的成功,許多領域利用深度學習的方法來處理識別和分類的研究問題：語音[3],視覺[4]和語言[5].目前最好的機器學習系統需要成千上萬的例子用于訓練,例如：GoolNet[6]模型擁有22層神經網絡,ImageNet作為訓練數據集,對1 000類進行分類,訓練數據達到120萬,準確率達到93%；Inception[7-8]模型結合殘差連接,同樣以ImageNet作為訓練數據集,準確率達到96.7%.一些主流語言憑借大量數據樣本應用深度學習方法的研究產品基本已落地：Google利用注意力機制LAS對英語的識別率達到94.6%；百度利用端到端模型[9-10]識別英語和漢語2種語言.Qingnan Wang[11]利用端到端模型對藏語的音節進行識別.蔡琴[12]利用HTK對維吾爾語的連續數字短語的識別率達到80%,對詞的識別率達到91.19%.然而,佤語的手工標注昂貴費時且缺乏標簽,尋找一種適合小樣本學習的方法對佤語的識別研究非常有幫助.

目前,常規分類方法對小樣本的識別研究主要有2種方案：①利用支持向量機對小樣本進行研究；②通過擴充數據樣本應用深度學習的方法進行研究.傅美君[13-14]通過提取佤語的2個動態特征基因和共振峰,并基于遺傳支持向量機和免疫遺傳多核支持向量機完成對佤語的分類準確率達到86%,精度還有一定的提升空間.機器學習在少量數據下學習新概念的能力欠缺,如果直接將深度學習方法應用到小樣本學習容易發生過擬合現象,直接擴大佤語的標記樣本難以實現,且效果不一定好.人類僅僅通過少量的學習便可以辨別不同物體,元學習模仿人類學習的能力適合小樣本學習.王璐[15]采用元學習方法Reptile對小樣本的佤語進行識別,最終識別率達到93%.MAML是Chelsea Finn[16]借助從其他任務學習到的經驗知識應用到新任務的方法,加快小樣本中新任務的訓練。MAML成為小樣本領域的一種主流方法, 具有快速學習的能力,本文選用MAML方法對小樣本的佤語孤立詞進行識別研究.

1 相關工作

人類具有快速學習的能力,已經證明人類在學習新事物時只需要少量的樣本且準確率較高[17].借鑒人類的學習經驗僅僅通過少數的例子就可以快速學習新例子,元學習模仿人類的學習能力,讓模型學會學習,元學習的快速發展將縮短人類和機器學習對小樣本識別的差距.元學習在小樣本識別[18]主要有2個研究方向：概念學習和經驗學習.目前小樣本識別發展快速：谷歌的One-shot匹配網絡[19]通過在神經網絡結構上添加外部記憶,將學習到的新概念知識應用到小樣本學習,在imagenet數據集上的One-shot學習準確率從87.6%提升到93.2%. Finn[16]提出MAML是小樣本識別領域非常好的方法之一,模型不僅簡單而且功能強大,可以快速適應深度網絡,在不同任務上訓練的模型可以快速適應僅有少量樣本的新任務,在圖像分類、回歸、微調的強化學習上產生不錯的效果.

近兩年對MAML的研究及相關擴展非常多,例如：Finn[20-21]通過在MAML模型上添加概率得到一種概率元學習算法,可以從模型分布中為新任務模擬目標模型,處理小樣本的模糊性任務效果較好；Boney[22]將半監督和無監督方法擴展到MAML模型,對無標記的樣本效果明顯優于其他方法；Triantafillou[23]構造元數據集為了在不同的任務上得到更好的泛化性由大量種類繁多的數據組成,Prototypical網絡和MAML網絡在元數據上的表現欠佳,而在Proto-MAML表現良好.Antonious[24]提出的MAML++是針對MAML的改進算法,明顯提升收斂速度和泛化性能； Singh Behl[25]提出的Alpha MAML合并在線超參數自適應方案從而規避了MAML的穩定性需要大量的參數調整.MAML成為小樣本領域的一種主流方法,對小樣本的研究,有助于對少量標記語言的識別,本文主要解決小樣本的語音識別問題.

2 元學習

2.1 元學習的基本單位——任務

(1)

(2)

表1 元學習基本單位(任務)

2.2 元學習的學習過程

對于特定場景的模型學習分2個階段完成,模型訓練階段和模型測試階段.同樣,元學習也不例外,由元訓練Metatrain和元測試Metatest共同完成我們的任務,所不同的是,針對模型的優化程度、模型的靈敏度及模型的泛化性能,我們的元學習在Metatest階段針對不同場景存在2種處理方式,經微調后完成元測試Metaindirect-test和直接元測試Metadirect-test,2個階段的數據設置如表2所示.Metatrain階段任務批次數為P,每個批次含有Q個任務；Metaindirect-test階段有O個任務用于Metatest,Metadirect-test階段有M個樣本用于Metatest.一般情況下,元訓練Metatrain和元測試Metatest遵循兩不交叉原則：

1)元訓練類別CMetatrain(taskpq(xij))和元測試類別CMetatest(taskp′q′(xi′j′))不能完全相同,即

(3)

2)元訓練任務TMetatrain(taskpq)和元測試任務TMetatest(taskp′q′)遵循單個任務的兩不交叉原則.

表2 元訓練和元測試設置

2.3 與模型無關的元學習——MAML

在特定批次的任務中(采樣p-th(1≤p≤P)批次,其中包含Q個任務),2個學習器的學習過程如下：

2.3.1 基學習器

2.3.2 元學習器

元訓練過程如算法1所示.

表3 算法1： MAML-training[16]

表4 算法2：MAML-test[16]

整個MAML-Training階段所要完成的工作是對先驗任務的經驗積累.內循環(4～8)即快速學習階段,學習特定先驗任務屬性；外循環(9)即元學習階段,將特定先驗任務屬性元平攤給模型參數(元級參數).這樣,網絡一旦收斂,元級參數即為我們需要學習的初始化參數.

MAML-test階段是將先驗任務學習到的模型初始化參數(即經驗)應用到新任務上,該階段模型只需要幾步微調即可收斂.

2.4 Reptile

Reptile[26]基于元學習的一階梯度學習網絡的初始參數,從而利用元知識快速適應新任務.Reptile能有效避免像二階微分近似所需的計算時間和計算量,所以收斂速度快.梯度下降的更新公式如下.

(4)

Retile通過學習不同任務的初始參數W,當面對新任務時能夠通過公共最近快速找到新任務的梯度下降方向,如圖2所示.

3 實驗

元學習能夠利用其他任務上的先驗知識補充新任務數據不足的缺陷.采用不同大小的佤語訓練任務5-way 1-short和5-way 5-short對新任務識別精度對比,發現MAML和Reptile不僅具有快速學習能力提升小樣本的識別精度,而且不會出現過學習現象.

3.1 數據說明

佤語數據集作為實驗的研究對象,數據集由兩男兩女對1 860類孤立詞進行發音,每人對每類孤立詞讀5遍,總計37 200條佤語孤立詞語音.相比imageNet數據集中1 200類,每類1 000個樣本,佤語數據集中的數據類別多,每類所含數據少的特點,訓練樣本不足.將語音信號通過傅里葉變化轉換成對應的語譜圖,分別選用元學習領域的Reptile和MAML對小樣本的佤語數據集進行研究.以編號0078和1 550類語音信號為例,佤語語譜圖如圖3所示,橫坐標表示時間,縱坐標表示頻率,顏色的深淺表示能量.

3.2 模型

模型由4層卷積和一層全連接構成,每個卷積層由64個3×3的卷積核構成,每個卷積操作按先卷積,批量正則化,Relu激活函數,2×2的最大池化順序進行.

3.3 實驗過程

MAML和Reptile模型對佤語數據集的超參數設置如下：訓練周期epoch=100,epoch_len=400,evel_batches=40,meta_batch_size=4,inner_learning_rate=0.01,meta_learning_rate=0.001,n= 1,k= 5,q=5；n= 1,k= 5,q= 5代表1個任務總共有5類,每類訓練樣本數為1測試樣本為5,即5-way 1-short 5-query任務.利用公式(2)進行梯度的迭代更新得到參數θ′.

3.4 實驗結果

基于二階梯度更新的MAML模型和一階梯度更新的Reptile模型分別對5-way1-short任務和5way 5-short任務的實驗結果顯示.圖4表示MAML的準確率變化曲線：(a)在5-way 1-shot的訓練準確為89.7%,驗證準確率為78.6%；(b)在5-way 5-shot的訓練準確率為96.5%,驗證準確率為94.5%.圖5表示Reptile模型的準確率變化曲線(a)在5-way 1-shot的訓練準確率接近100%,驗證準確率61.6%；(b)表示Reptile模型在5-way 5-shot的訓練準確率為100%,驗證準確率為93.6%.

實驗結果分析：橫向比較,同類樣本數越多,識別率越高.而元學習是一種基于任務的平攤機制,學習任務之間的共性,單類樣本數對MAML模型的結果影響沒有Reptile模型敏感.縱向比較：基于相同網絡的迭代輪數,一階梯度更新的Reptile模型明顯快于二階梯度更新的MMAL模型,可以使網絡快速的達到收斂狀態.

4 結語

元學習使任務分配上的損失最小化,在同一任務的梯度更新內積最大化,即使在小樣本學習的情況下也能達到不錯的效果.MAML和Reptile模型在相同的實驗設置下對佤語語譜圖進行識別,實驗結果表明MMAL達到的識別精度更高,而Reptile的收斂速度更快.本實驗的佤語語譜圖并非全屏語譜圖,去除語譜圖的白邊信息提高語譜圖的有效區域可能改善實驗的識別精度.充分考慮語譜圖之間的特性,佤語語譜圖之間存在高相似性這一特征,怎樣改進元學習的方法使其充分利用這一特征將是一個有趣且值得探究的問題.