DBN和CNN融合的脫機手寫漢字識別

李蘭英 周志剛 陳德運

摘?要：針對脫機手寫漢字形近字多，提取特征難，識別不準的問題，提出了一種卷積神經網絡和深度信念網絡的融合模型。首先在數據集上分別訓練卷積神經網絡和深度信念網絡，發現二者的綜合TOP-2準確率可達到99.33%。利用卷積神經網絡和深度信念網絡在圖像分析中各自的優勢，采用了一種融合比較策略，在兩者的TOP-2分類中盡可能準確地取出一個分類結果以提高識別的能力。實驗結果表明：卷積神經網絡和深度信念網絡的融合模型比單獨使用卷積神經網絡和深度信念網絡具有更好的識別效果。

關鍵詞：卷積神經網絡;深度信念網絡;脫機手寫漢字

DOI：10.15938/j.jhust.2020.03.021

中圖分類號：?TP391.4

文獻標志碼：?A

文章編號：?1007-2683（2020）03-0137-07

Abstract：Aiming?at?the?problem?that?some?offline?handwritten?Chinese?characters?are?similar?in?shape?and?it?is?difficult?to?extract?the?feature?of?characters?and?the?recognition?is?not?accurate，?a?convolutional?neural?network?and?deep?belief?network?fusion?model?is?proposed.?Firstly，?the?convolutional?neural?network?and?the?deep?belief?network?are?trained?on?the?dataset?respectively.?It?is?found?that?the?comprehensive?TOP-2?accuracy?of?the?both?can?reach?99.33%.?Using?the?advantages?of?convolutional?neural?networks?and?deep?belief?networks?in?image?analysis，?a?fusion?comparison?strategy?is?adopted?to?extract?a?classification?result?as?accurately?as?possible?in?the?TOP-2?classification?of?the?two?to?improve?the?recognition?ability.?The?experimental?results?show?that?the?fusion?model?of?convolutional?neural?network?and?deep?belief?network?has?better?recognition?effect?than?convolutional?neural?network?and?deep?belief?network.

Keywords：convolutional?neural?network;?deep?belief?network;?offline?handwritten?chinese?character

0?引?言

手寫漢字在試卷、郵件封皮、銀行票據等方面都有廣泛的應用[1]。實現手寫漢字識別，可以進行機器閱卷，郵件自動分揀，票據識別等，極大地方便工作和生活。但是，由于漢字類別繁多、字形結構復雜，存在大量的相似漢字，手寫漢字更是因人而異，千差萬別，導致手寫漢字識別困難，故手寫漢字識別一直是研究難點和熱點[2][3]。目前手寫體漢字識別可分為脫機識別和聯機識別兩種。聯機字符識別是指利用手寫板或電子觸摸屏書寫，計算機根據書寫漢字的筆畫走向、書寫速度、筆畫順序和總數等多種參考信息進行識別，信息涵蓋內容豐富，具有一定的追溯性和連續性，識別相對容易，準確度也較高[4]。脫機字符識別沒有聯機字符識別的多種信息，僅依靠靜止的二維圖像信息來提取圖像特征，故識別更加困難和復雜，準確度較難提高[5]。

至今為止有很多研究者對于脫機手寫漢字識別進行了大量研究。一些研究者是基于傳統的機器學習的方法進行的研究，如文[6]采用了一種改進的仿射傳播聚類算法;文[7]提出一種基于支持向量機SVM的多特征手寫體漢字識別技術，在提取網格特征的基礎上增加對漢字質心特征、筆畫特征、特征點的提取，并采用SVM分類器實現手寫漢字識別。這類方法需要進行數據的預處理，復雜的特征提取，難以較全面的提取出準確的特征。文[8]采用一種基于LS-SVM的部分級聯特征分類方案，采用低閾值霍夫空間采樣結果作為粗分類特征，對粗分類用局部二支分布直方圖作為細分類特征，先粗分后細分實現樣本分類;文[9]采用修正的二次判別函數（Modified?Quadratic?Discriminant?Function，MQDF）和卷積神經網絡（Convolutional?Neural?Networks，CNN）級聯的方法取得了比單獨的MQDF和單獨的CNN方法要高的準確率;和文[10]相似，文[11]采用MQDF和深度置信網絡（Deep?Belief?Networks，DBN）級聯的方法取得更高的準確率。一些研究者基于深度學習算法，通過改進網絡結構或者提出改善的訓練方法的方式來提高識別性能。如文[12]應用深度殘差網絡（Residual?Networks，ResNet），通過改進殘差學習模塊的單元結構，優化網絡性能;文[13]在卷積神經網絡中采用迭代求精改進的方法;文[14]將卷積神經網絡中的VGGNET模型用到漢字識別中;文[15]將人臉識別中提出的center?loss損失函數應用到手寫漢字的CNN網絡中來，減小類內距離，增加類間距離，提高識別性能;文[16]使用一個深層的CNN網絡，結合印刷體數據集和手寫體數據集訓練識別網絡，并且通過構建一個服務來擴展訓練數據集，提高對不同書寫樣式的適應能力。

卷積神經網絡和深度置信網絡都是現在深度學習中對圖像分析非常有效的方法[17-18]，為了進一步的探索脫機手寫漢字的識別方法，本文提出了一種卷積網絡和深度信念網絡融合的識別模型，結合兩種網絡在漢字識別中的優勢，提高漢字識別的能力。

1?卷積神經網絡

卷積神經網絡CNN是一種結構化的有監督的多層前饋神經網絡，主要應用于二維數據處理，它能夠通過大量學習，自動提取圖像特征，最終達到圖像分類的目的。它由交替出現的卷積層、采樣層和全連接層組成，每個卷積層包含多個卷積核。卷積層中的每一個神經元與上一層的局部區域進行連接，通過卷積運算提取二維數據的特征信息，并且降低噪聲對特征的干擾。采樣層對二維數據進行抽樣，降低分辨率，在盡量保存圖像的特征信息的同時降低數據的維度，減少參數數量，提高網絡運算速度。Yann?LeCun在1998年提出的LetNet-5是經典的神經網絡結構[19]，其結構圖如圖1所示。

1.1卷積層

對于卷積層，卷積核與上一層的特征圖（feature?map）進行滑動卷積運算，再加上一個偏置量（bais）得到凈輸出，如公式（1）所示，最后通過激活函數（Activation?function）的非線性作用得到卷積的結果，即輸出特征圖，即

klij是第l層的第i個卷積核中的第j通道;bli是第i個卷積核對應的偏置量;uli是l層第i個卷積核對應的凈輸出;運算*代表卷積操作。xli是第l層第i個特征圖。f（·）是激活函數，通常采用Sigmoid函數，Sigmoid函數如公式（3）：

1.2?采樣層

采樣層是對上一層的輸出特征圖進行降采樣操作，把輸入的特征圖用采樣窗口劃分為多個不重疊的圖像塊，再對每個圖像塊采用最大池化或者平均池化方法。假設采樣窗口的尺寸為n×n，輸入特征圖的尺寸為iS×iS，輸出特征圖的尺寸如式（4）所示。最大池化如式（5），平均池化如式（6）所示

式中：l代表當前的采樣層;N代表輸入特征圖的個數，與輸出特征圖的個數相同;Vkj，j=1，2，…，oS2代表第k個輸入特征圖的第j個圖像塊，每一個圖像塊含有n2個元素;xlki，i=1，2，…，n2是Vkj圖像塊中的第i個元素;xlkj是當前層的第k個輸出特征圖上的第j個元素。

1.3?全連接輸出層

經過卷積層和降采樣層后，原始圖片的高級特征已經被提取出來，全連接層的作用就是使用這些特征對原始圖片進行分類。全連接層對這些特征做加權求和，再加上偏置量，最后通過激活函數獲得最終的輸出，如式（7）所示。輸出層本質上也是全連接層，只是激活函數采用分類函數來進行分類。

式中：xl-1是前一層的輸出特征圖，里面的元素都是通過卷積和降采樣提取出來的高級特征;wl是全連接層的權重系數;bl是全連接層l的偏置量。

卷積神經網絡一般用于多分類的情況，分類函數一般采用Softmax函數，它將最后一層L的未激活輸出ZL歸一化到（0，1）范圍內，同時輸出值之和為1，起到分類的作用，ZL的計算式如式（8），Softmax函數如式（9），即

式中：L代表最后的輸出層第L層，nL代表L層有n個輸出神經元，代表n個分類;aLi是n個分類中的第i個分類輸出;zLi代表第i個未激活輸出;zLj代表第j個未激活輸出;e為自然常數。

2?深度信念網絡

深度置信網絡DBN是一個具有層次特征的概率生成模型，通過訓練神經元之間的權重，可以讓整個神經網絡按照最大概率生成訓練數據。同時DBN是一種深度神經網絡，采用自底向上的傳遞，底層的神經元接收原始的特征向量，不斷向更高層次抽象，頂層的神經網絡形成易于組合的特征向量。通過增加層次就能夠使特征向量更高的抽象化，而且，每一層的網絡會弱化上一層的錯誤信息和次要信息，以確保深層網絡的精度。DBN結構如圖2所示。其由一系列疊加的受限玻爾茲曼機（restricted?boltzmann?machine，RBM）和頂層的反向傳播網絡（back?propagation，BP）構成。受限玻爾茲曼機由隱層v和可示層h兩個神經元節點構成?？墒緦拥淖饔檬禽斎霐祿?，隱層的作用是特征檢測。區別于玻爾茲曼機，RBM的特點是可示層和隱層之間采用全連接方式，而在可示層內神經元之間和隱層內各神經元之間是無連接的，以二維圖的形式存在，相比玻爾茲曼機更加高效。

DBN訓練過程包含預訓練和微調。首先，預訓練階段利用大量無類標信息數據，無監督地訓練每層RBM，將下層RBM的隱層輸出作為上一層RBM

可示層的輸入。微調階段則采用有監督學習方式對頂層的BP網絡進行訓練，將實際輸出與預期輸出的誤差逐層反向傳播，目的是調整網絡的權值。

3?CNN和DBN的融合模型

CNN模型和DBN模型都可以應用于脫機手寫漢字識別任務中，應用各自模型的特點提取手寫漢字字符圖像的分類特征。由于CNN和DBN有著不同的網絡結構，提取特征的角度必然不同，在特征提取方面有著各自的優勢。如同對于同一個手寫漢字，如果漢字字形規范性不高，或者與其形近字相似，不同的人可能會識別為不同的字符，其中某一個人的識別可能是對的，說明他對這個字的識別能力較高。本文提出的CNN和DBN的融合模型就是基于這種思想，融合CNN和DBN各自在手寫漢字識別上的優勢，最終產生高于CNN和DBN的識別能力，將此融合模型稱為CNN-DBN。CNN-DBN整體過程包括兩個過程：訓練過程和應用過程，如圖3所示。

首先，在訓練數據集上分別單獨訓練CNN和DBN得到訓練好的CNN和DBN的識別模型;然后在樣本集上統計CNN和DBN對不同的字符的識別能力，對某一字符的識別能力定義為識別正確的個數與該字符總數的比值，計算方法如公式（10）。

式中：pi表示樣本集中第i種字符的識別能力;ci表示第i種字符識別正確的次數;ni代表第i種字符在樣本集中的總數。

研究的分類數為3755，將CNN對第i種字符的識別能力記為PCNNi，3755種字符相應的識別能力表示為向量：

DBN對第i種字符的識別能力記為PDBNi，3755種字符相應的識別能力表示為向量：

融合算法的實現過程如下：

1）將字符圖片經過CNN計算得出分類得分：

將CNN模型的識別分數XCNN與CNN模型的識別能力向量PCNN的點乘結果作為CNN模型的最后的識別得分，表示為：

2）將字符圖片經過DBN計算得出分類得分：

將DBN模型的識別分數XDBN與DBN模型的識別能力向量PDBN的點乘結果作為DBN模型的最后的識別得分，表示為：

ODBN=（xDBN1pDBN1，xDBN2pDBN2，…，xDBN3755*pDBN3755）

3）對OCNN的分量從大到小排序，選取最大的兩個分量（oCNNk1，oCNNk2）。

4）對ODBN的分量從大到小排序，選取最大的兩個分量（oDBNg1，oDBNg2）。

5）融合CNN和DBN的識別結果，設class為分類輸出。本文嘗試了兩種融合方式。

方式A的class的計算方式如下偽代碼所示：

If?k1=g1?then?class=k1

else?if?k2=g1?then?class=k2

else?if?k1=g2?then?class=k1

else?if?k2=g2?then?class=k2

else?if?OCNNk2OCNNk1>ODBNg2ODBNg1?then?class=g2

else?class=k1

endif

方式B采用線性可信度累積（Linear?Confidence?Accumulation，LCA）算法，引入一組加權因子α和β融合XDBN和XCNN作為最后的識別得分，α和β的作用是權衡CNN和DBN各自在融合模型中起到的作用的大小，識別得分計算方式如公式（11）所示。

式中：α+β=1。最終的分類結果class是對O中的分量從大到小排序，最大分量的下標作為最后的class，即

4?實?驗

4.1?數據集

采用的數據選取自中科院自動化模式識別國家重點實驗室所發布的CASIA-HWDB1.1脫機手寫數據集[20]。CASIA-HWDB1.1數據集由很多孤立的手寫中文字符的灰度圖片及其標簽組成。CASIA-HWDB1.1包含了GB2312-80字符集的level-1的3755種中文字符，共300個文件，分別對應300個人，選取前240個文件作為訓練集，后60個文件作為測試集。由于CASIA-HWDB1.1中的原始字符圖片尺寸不一，不能直接實驗，在實驗前將圖片調整為尺寸為64×64大小的圖片，并進行了中心化。處理前后的對比如圖4所示。

4.2?網絡設置

為了驗證提出的融合模型的有效性，實驗中使用的CNN模型和DBN模型都是沒有經過特殊改進和沒有增加技巧的模型。使用的CNN模型類似于VGGNET，網絡結構為64×64->100C5->MP2->200C5->MP2->300C5->400C3->MP2->500C3->MP2->2000N->3755N。它的輸入層是尺寸為64×64的圖片，接下來是含有100個尺寸為5×5的卷積核的卷積層和采樣窗口為2×2的最大采樣層，后續的隱含層含義與之相似，對于最后一個最大采樣層，將輸出特征圖展開重組為一個含有2000個神經元的全連接層，采用softmax激活函數作為分類函數，得出3755個神經元，每一個神經元代表一個字符類別的識別得分。實驗中使用的DBN含有5個RBM層，每一個隱含層的神經元的個數設置為600。根據前文中描述的訓練方法和融合方式進行實驗。

4.3?實驗結果及分析

使用的工具為MATLAB?R2018a，采用MATLAB的Neural?Network?Toolbox工具箱構建網絡結構進行實驗。表1為CNN和DBN網絡的TOP-1準確率和CNN和DBN綜合的TOP-2準確率，CNN和DBN綜合的TOP-2準確率已達到99.33%，采用本文提出的融合模型，在綜合的TOP-2的分類結果中選出準確的分類結果。

將采用融合方式A的CNN-DBN模型稱為CNN-DBN-A，采用融合方式B的CNN-DBN模型稱為CNN-DBN稱為CNN-DBN-B。對于CNN-DBN-B，因為α+β=1，所以實驗過程中只需將α從0變化到1，β也會隨之從1變化到0。先設置α增長的步長值T=0.1，記錄下識別準確率，結果如圖5所示。從中可以發現，隨著α從0增大到1的過程中，CNN-DBN-B的識別準確率Accuracy先增大后減小。

圖5中表明隨著α的變化，識別準確率會取得一個最大值，這個最大值對應的α和β即為CNN和DBN最佳的融合因子。圖5中的識別準確率曲線是在T=0.1時計算取得，曲線為明顯的折線，在[0.6，0.8]區間內可能由于步長值T的精度不高錯過了更高的準確率，為了進一步探索步長值T的變化對最大準確率的影響，T依次取0.1、0.01、0.001、0.0001、0.00001和0.000001，記錄最大準確率，結果如圖6所示。

圖6表明隨著步長值T的精度逐漸提高，最大準確率Max-Accuary首先遞增，當T<0.01后，最大準確率不再增加，達到飽和。取T=0.0001再次實驗α從0增加到1的過程，實驗結果如圖7所示，可以看出曲線比T=0.1時更加精確，當α=0.7497時，取得最大識別準確率0.97。

CNN，DBN，CNN-DBN-A和CNN-DBN-B（α=0.7497）對不同字符（Character）的識別能力（Recognition?Capability）的比較如圖8所示（由于篇幅有限，只截取了10個字符的識別能力）。圖8表明CNN和DBN對不同字符有不同的識別能力，使用本文的融合方式后，CNN-DBN-A和CNN-DBN-B在整體上都比CNN和DBN對不同字符的識別能力要高，其中CNN-DBN-B優于CNN-DBN-A。

為了進一步體現本文提出的融合模型的識別性能，在相同的數據集下比較了不同方法和模型的識別準確率，如表2所示?？梢钥闯?，深度學習的方法在手寫漢字識別上有比較好的效果，本文提出的融合模型獲得比較高的準確率，與相近的方法性能相當或更高。

5?結?論

針對脫機手寫漢字識別難的問題提出了CNN-DBN手寫漢字融合識別模型。通過尋求一種合適的融合比較策略，結合CNN和DBN在脫機手寫漢字識別上各自的優勢，在CNN和DBN的識別結果中選取出一個可信度較高的識別結果。實驗結果表明在本文的數據集上，CNN-DBN融合模型取得了比單獨的CNN和DBN與傳統機器學習方法更好的識別效果。接下來的研究方向是進一步改善網絡結構，探索更好的融合方式。并且脫機手寫漢字識別往往應用到一些嵌入式設備中，其資源限制了本方法的應用，所以如何壓縮網絡結構，節省資源和加速計算也是研究的重點方向。

參?考?文?獻：

[1]?SHEN?XI，?RONALDO?MESSIN.?A?Method?of?Synthesizing?Handwritten?Chinese?Images?for?Data?Augmentation[C]//International?Conference?on?Frontiers?in?Handwriting?Recognition，?Shenzhen，?China，?2016：?114.

[2]?閆喜亮，?王黎明.?卷積深度神經網絡的手寫漢字識別系統[J].?計算機工程與應用，?2017，?53（10）：?246.

YAN?Xiliang，?WANG?Liming.?Handwritten?Chinese?Character?Recognition?System?Based?on?Neural?Network?Convolution?Depth[J].?Computer?Engineering?and?Applications，?2017，?53（10）：246.

[3]?金連文，?鐘卓耀，?楊?釗.?深度學習在手寫漢字識別中的應用綜述[J].?自動化學報，?2016，?42（8）：?1125.

JIN?Lianwen，?ZHONG?Zhuoyao，?YANG?Zhao.?Applications?of?Deep?Learning?for?Handwritten?Chinese?Character?Recognition：?A?Review[J].?ACTA?AUTOMATICA?SINICA，?2016，?42（8）：?1125.

[4]?WU?Peilun，?WANG?Fayu，?LIU?Jianyang.?An?Integrated?Multi-Classifier?Method?for?Handwritten?Chinese?Medicine?Prescription?Recognition[C]//International?Conference?on?Software?Engineering?and?Service?Science，?Beijing，?China，?2018：?1.

[5]?WANG?Zirui，?DU?Jun.?Writer?Code?Based?Adaptation?of?Deep?Neural?Network?for?Offline?Handwritten?Chinese?Text?Recognition[C]//International?Conference?on?Frontiers?in?Handwriting?Recognition，?Shenzhen，?China，?2016：?548.

[6]?鐘治權，?袁進，?唐曉穎.?基于卷積神經網絡的左右眼識別[J].?計算機研究與發展，?2018，?55（8）：1667.

ZHONG?Zhiquan，?YUAN?Jin，?TANG?Xiaoying.?Left-vs-Right?Eye?Discrimination?Based?on?Convolutional?Neural?Network[J].?Journal?of?Computer?Research?and?Development，?2018，?55（8）：?1667.

[7]?呂啟，?竇勇，?牛新，?等.?基于DBN模型的遙感圖像分類[J].?計算機研究與發展，?2014，?51（9）：?1911.

LV?Qi，?DOU?Yong，?NIU?Xin，?et?al.?Remote?Sensing?Image?Classification?Based?on?DBN?Model[J].?Journal?of?Computer?Research?and?Development，?2014，?51（9）：?1911.

[8]?楊怡，?王江晴，?朱宗曉.?基于仿射傳播聚類的自適應手寫字符識別[J].?計算機應用，?2015，?35（3）：?807.

YANG?Yi，?WANG?Jiangqing，?ZHU?Zongxiao.?Adaptive?Handwritten?Character?Recognition?Based?on?Affinity?Propagation?Clustering[J].?Journal?of?Computer?Applications，?2015，?35（3）：?807.

[9]?周慶曙，?陳勁杰，?紀鵬飛.?基于SVM的多特征手寫體漢字識別技術[J].?電子科技，?2016，?29（8）：?136.

ZHOU?Qingshu，?CHEN?Jinjie，?JI?Pengfei.?The?Technology?of?Multiple?Features?Handwritten?Chinese?Character?Recognition?Based?on?SVM[J].?Electronic?Sci.?&?Tech，?2016，?29（8）：?136.

[10]葉楓，?鄧衍晨，?汪敏，等.?部分級聯特征的離線手寫體漢字識別方法[J].?2017，?26（8）：?134.

YE?Feng，?DENG?Yanchen，?WANG?Min，?et?al.?Offline?Hand-Written?Chinese?Character?Recognition?Based?on?Partial?Cascade?Feature[J].?Computer?Systems?&?Applications，?2017，?26（8）：?134.

[11]WANG?Yanwei，?LI?Xin，?LIU?Changsong.?An?MQDF-CNN?Hybrid?Model?for?Offline?Handwritten?Chinese?Character?Recognition[C]//?The?14th?International?Conference?on?Frontiers?in?Handwriting?Recognition，?Heraklion，?Greece，?September，?2014：246.

[12]LIU?Lu，?SUN?Weiwei，?DING?Bo.?Offline?Handwritten?Chinese?Character?Recognition?Based?on?DBN?Fusion?Model[C]//?Proceedings?of?the?IEEE?International?Conference?on?Information?and?Automation，?Ningbo，?China，?August，?2016：1807.

[13]張帆，?張良，?劉星，?等.?基于深度殘差網絡的脫機手寫漢字識別研究[J].?計算機測量與控制，?2017，?25（12）：?259.

ZHANG?Fan，?ZHANG?Liang，?LIU?Xing，?et?al.?Recognition?of?Offline?Handwritten?Chinese?Character?Based?on?Deep?Residual?Network[J].?Computer?Measurement?&?Control，?2017，?25（12）：?259.

[14]YANG?Xiao，?HE?Dafang，?ZHOU?Zihan.?Improving?Offline?Handwritten?Chinese?Character?Recognition?by?Iterative?Refinement[C]//The?14th?IAPR?International?Conference?on?Document?Analysis?and?Recognition，?Kyoto，?Japan，?November，?2017：?5.

[15]WANG?Zirui，?DU?Jun，?HU?Jinshui，?et?al.?Deep?Convolutional?Neural?Network?Based?Hidden?Markov?Model?for?Offline?Handwritten?Chinese?Text?Recognition[C]//Asian?Conference?on?Pattern?Recognition，?Nanjing，?China，?November，?2017：?26.

[16]YANG?Shimeng，?NIAN?Fudong，?LI?Teng.?A?light?and?Discriminative?Deep?Networks?for?Offline?Handwritten?Chinese?Character?Recognition[C]//?The?32nd?Youth?Academic?Annual?Conference?of?Chinese?Association?of?Automation，?Hefei，?China，?May，?2017：785.

[17]ZHUANG?Hang，?LI?Changlong，?ZHOU?Xuehai.?CCRS：?Web?Service?for?Chinese?Character?Recognition[C]//IEEE?International?Conference?on?Web?Services，?San?Francisco，?CA，?USA，?July，?2018：17.

[18]YANN?LECUN，?LEON?BOTTOU，?YOSHUA?BENGIO.?Gradient-Based?Learning?Applied?to?Document?Recognition[J].?IEEE?Journals?and?Magazines，?1998，?86（11）：1.

[19]LIU?Chenglin，?YIN?Fei，?WANG?Dahan.?CASIA?Online?and?Offline?Chinese?Handeriting?Databases[C]//International?Conference?on?Document?Analysis?and?Recognition，?Beijing，?China，?November，?2011：?37.

[20]YIN?Fei，?WANG?Qiufeng，?ZHANG?Xuyao.?ICDAR?2013?Chinese?Handwriting?Recognition?Competition[C]//The?12th?International?Conference?on?Document?Analysis?and?Recognition，?Washington，?DC，?USA，?August，?2013：1464.

（編輯：溫澤宇）