訓練樣本數量選擇對圖像特征提取的影響分析

尹 靜，閆 河

(重慶理工大學 計算機科學與工程學院， 重慶 400054)

訓練樣本數量選擇對圖像特征提取的影響分析

尹 靜，閆 河

(重慶理工大學 計算機科學與工程學院， 重慶 400054)

圖像特征提取是圖像處理的重要內容之一，特征提取的質量直接影響圖像分類、圖像識別、圖像檢索等工作的效果?？紤]到影響圖像特征提取的因素有多種，以受限玻爾茲曼機為例，探討訓練樣本數量選擇對圖像特征提取的影響。實驗結果表明：隨著樣本數量的增加，具有相同參數的受限玻爾茲曼機提取的圖像特征的概括性會增強。因此，當樣本數量大時，增加RBM的隱層神經元個數并不總是有價值的。

圖像特征提??；受限玻爾茲曼機；CD算法

1 背景

圖像特征提取是圖像處理過程中非常重要的環節，特征提取的質量直接影響后續工作的開展。圖像特征提取方法包括Fourier變換法[1]、小波變換法[2]、最小二乘法[3]、直方圖法[4]、信號處理法[5]和模型法[6]等。模型法是用模型參數作為圖像特征，典型方法有卷積神經網絡[6]、馬爾科夫隨機場[7]、受限玻爾茲曼機[8]等。其中，受限玻爾茲曼機作為特征提取器被廣泛研究應用。

受限玻爾茲曼機(restricted Boltzmann machine，RBM)[9-10]是基于能量函數的無向圖模型，它是一個2層隨機神經網絡模型，第1層由多個神經元組成，接收訓練數據，通常稱為可見層；第2層同樣由多個神經元組成，作為訓練數據的表達，通常稱為隱層?？梢妼痈魃窠浽c隱層各神經元之間無向連接，而層內神經元之間無連接。RBM已經成功應用于機器學習的許多任務中，包括特征提取[11]、協同過濾[12]、降維[13]、物體識別[14]等。文獻[8]使用卷積受限玻爾茲曼機直接從乳腺的X光片中自主學習圖像特征，并利用這些特征完成X光片的分類; 文獻[11]在RBM的隱層中使用線性判別分析、邊界判別分析和熱核邊界判別分析方法提取數據的判別特征；文獻[15]使用判別式受限玻爾茲曼機自動地從乳腺X光圖像中學習特征，并使用學到的特征完成圖像分類；文獻[16]在受限玻爾茲曼機的可見層引入二值轉換單元，對隱藏層神經元進行分組，構造了一個二元混合式去噪玻爾茲曼機模型，實現在復雜背景的圖像中提取有用特征；文獻[17]利用BP神經網絡識別圖像中的人臉，并實現對圖像中人臉朝向的判別。目前，這些文章更多的是應用受限玻爾茲曼機提取的圖像特征去解決實際問題。本文主要討論受限玻爾茲曼機在圖像特征提取時，訓練樣本數量的選擇對特征提取的影響。實驗在數字手寫體和人臉兩個數據集上開展，主要從固定隱層神經元個數選擇不同數量的訓練樣本的特征提取和固定數量的訓練樣本設置不同隱層神經元個數的特征提取兩個方向進行。實驗結果表明：樣本數量越小，模型學到的特征越具體；樣本數量越大，模型學到的特征越抽象。

2 受限玻爾茲曼機概述

2.1 模型簡介

受限玻爾茲曼機可以看作是一個2層的隨機神經網絡模型，第1層是由m個神經元組成用以表示輸入數據v，通常稱為可見層；第2層是由n個神經元組成用以表示數據的表達h，通常稱為隱層。其網絡結構如圖1所示?？梢妼优c隱層之間的全連接權重用W表示，每層各神經元之間沒有連接。

圖1 RBM模型

為了表述簡潔，這里僅考慮當模型采用二值單元的情況，也可以采用高斯單元、多項式單元、可矯正線性單元等[18]。二值RBM能量函數為

(1)

其中：θ是實數型參數bi、cj和wij的集合；vi、hj∈{0,1}，i∈{1,2,…,m}，j∈{1,2,…,n}。wij是神經元vi和hj之間的連接權重，bi是第i個可見單元的偏置，cj是第j個隱單元的偏置。根據該能量函數，RBM的聯合概率分布有如下形式：

(2)

(3)

(4)

(5)

式(5)中的第1項較易計算，但第2項計算由于配分函數Z(θ)的存在，該項梯度計算復雜度較高。為了降低計算復雜度，目前有很多算法對梯度進行近似計算，例如：CD算法[19]、PCD算法[20]、PT算法[21]等。這里采用CD算法完成RBM的訓練。

2.2 模型訓練

RBM采用CD-k算法對模型進行訓練，CD-k的執行過程：算法采用訓練數據作為馬爾科夫鏈的初始狀態，計算式(3)，在該概率分布下采樣得到h；根據h的值，計算式(4)，在這個概率分布下采樣得到v′；再次計算式(3)，采樣得到h′，以此類推，不斷計算概率，并在此概率分布下采樣，這樣交替執行k步。當步數k足夠大時，就可以采樣得到滿足訓練數據分布的樣本。通常情況下，k=1就可以得到足夠好的近似[19]。

因此，采用CD-1算法進行訓練，這樣關于模型參數的梯度有：

(6)

(7)

(8)

利用梯度對模型參數進行更新，直到梯度不再變化或者達到指定訓練次數，結束RBM的訓練，獲得數據特征。RBM模型的訓練步驟見圖2。

圖2 RBM訓練流程

3 RBM圖像特征提取

為了分析訓練樣本數量選擇對圖像特征提取的影響，在數字手寫體和人臉2個數據集上進行驗證實驗。實驗從兩方面進行：1) 模型隱層神經元個數固定，分析不同訓練樣本數量對特征提取的影響；2) 訓練樣本數量固定，分析不同隱層神經元個數對特征提取的影響。

3.1 數字手寫體特征提取

手寫體數據集MNIST是手寫0～9的數字圖片組成黑底白字的標準數據集，共 60 000 條數據。首先固定模型隱層神經元個數，選擇MNIST中不同數量的訓練數據對RBM進行訓練，數量分別設置為100、1 000、5 000、10 000和 60 000條，數量大的訓練數據集包含了數量小的數據集。在模型訓練時，固定訓練次數為100，學習率設置為0.1，模型權重初始化為[-0.1,0.1]的隨機數，可見層和隱層偏置初始化為0。圖3顯示了隱層神經元個數為100的RBM所提取的數字手寫體特征。圖4顯示了隱層神經元個數為1 024的RBM所提取的數字手寫體特征。由于參數過多，這里僅截取了部分特征用于顯示。圖3、4中的(a)是100條訓練數據學習后的特征；(b)是1 000條訓練數據學習后的特征；(c)是5 000條訓練數據學習后的特征；(d)是10 000條訓練數據學習后的特征；(e)是60 000條訓練數據學習后的特征。然后，固定訓練數據的數量，設置不同隱層神經元個數對RBM進行訓練，隱層神經元個數分別為100，256，512，1 024和1 600。參數設置與前面實驗設置相同。圖5顯示了10 000條訓練數據時，不同隱層神經元個數的設置下RBM所提取的數字手寫體部分特征。其中：(a)是隱層神經元個數為100的RBM學到的特征；(b)是隱層神經元個數為256的RBM學到的部分特征；(c)是隱層神經元個數為512的RBM學到的部分特征；(d)是隱層神經元個數為1 024的RBM學到的部分特征；(e)是隱層神經元個數為1 600的RBM學到的部分特征。從圖3、4來看，在相同隱層神經元個數的前提下，RBM從100條訓練數據中學習到的數據特征比60 000條訓練數據時學習到的數據特征更具體。隨著訓練數據數量的不斷增加，RBM學習到了訓練數據的全局特征，從而提取到更抽象的特征。當隱層神經元個數較多時，這些特征會集中在部分權重中，圖4、5顯示的數據特征就說明了這一點。雖然隱層的神經元數量增加可以表達更多的數據，但模型會對學習的數據不斷抽象，從而融合訓練數據之間的共同特征，得到抽象特征。因此，圖4(c)～(e)和圖5(b)～(e)中有的權重是沒有作用的。

圖3 隱層神經元個數為100的RBM在不同數量的訓練集中提取的特征

圖4 隱層神經元個數為1 024的RBM在不同數量的訓練集中提取的部分特征

圖5 不同隱層神經元個數的RBM在10 000條訓練集中提取的部分特征

3.2人臉特征提取

圖6 隱層神經元個數為256的RBM在不同數量的訓練集中提取的人臉特征

4 結束語

受限玻爾茲曼機在圖像特征提取方面應用效果較好。作為特征提取器，RBM提取圖像特征的質量與隱層神經元個數、模型參數的初始化、學習率、訓練模型的樣本數量等有關。其中，訓練樣本數量的選擇不僅影響RBM隱層神經元個數的設置，同時影響RBM提取的特征。實驗結果表明：相同個數的隱層神經元，隨著樣本數量的增加，模型提取的圖像特征將越概括；相同數量的訓練樣本，隨著神經元個數的增加，提取的圖像特征不會因為參數數量的增加而有更好的質量，因此增加隱層神經元個數對于特征提取不總是有價值的。下一步研究將繼續分析其他因素對RBM提取圖像特征的影響，以便更好地設置RBM的參數，提高圖像特征的質量。

[1] 徐貴力，毛罕平.利用傅里葉變換提取圖像紋理特征新方法[J].光電工程，2004，31(11)：55-58.

[2] 李亞標，王寶光，李溫溫.基于小波變換的圖像紋理特征提取方法及其應用[J].傳感技術學報，2009，22(9)：1308-1311.

[3] 趙鑫，宋廣軍，張宏烈.遙感圖像特征提取算法仿真[J].計算機仿真,2013，30(6)：222-225.

[4] 傅明，萬勵，劉國英.一種新的圖像特征提取算法——DCDSH[J].儀器儀表學報,2004,25(z1)：538-539.

[5] 張建勛,李濤,孫權,等.豬眼肌B超圖像紋理特征提取與分類[J].重慶理工大學學報(自然科學),2013,27(2):74-78.

[6] 李欽,游雄,李科,等.圖像深度層次特征提取算法[J].模式識別與人工智能,2017,30(2)：127-136.

[7] 岑杰,趙杰煜.基于馬爾可夫隨機場的嘴唇特征提取方法[J].計算機應用研究,2007,24(7)：300-302.

[8] 張娟,蔣蕓,胡學偉,等.基于卷積受限玻爾茲曼機的醫學圖像分類新方法[J].計算機工程與科學,2017,39(2)：323-329.

[9] SMOLENSKY P.Information processing in dynamical systems:foundations of harmony theory[M].Cambridge:MIT Press,1986:194-281.

[10] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[11] XIE G S,ZHANG X Y,ZHANG Y M,et al.Integrating supervised subspace criteria with restricted Boltzmann Machine for feature extraction[C]//International Joint Conference on Neural Networks.Beijing,China,2014:1622-1629.

[12] SALAKHUTDINOV R,MNIH A,HINTON G.Restricted Boltzmann machines for collaborative filtering[C] //Proceedings of the Twenty-Fourth International Conference on Machine Learning.USA:[s.n.],2007:791-798.

[13] ZHANG K,LIU J,CHAI Y,et al.An optimized dimensionality reduction model for high-dimensional data based on Restricted Boltzmann Machines[C]//Chinese Control & Decision Conference.China:[s.n.],2015:2939-2944.

[14] WU Y,JI Q.Learning the Face Shape Models for Facial Landmark Detection in the Wild[M]//Germany: Springer International Publishing,2015:33-45.

[15] 陳娜,蔣蕓,鄒麗,等.基于判別式受限玻爾茲曼機的醫學圖像分類法[J].計算機科學，2015，42(5)：315-319.

[16] 楊杰,孫亞東,張良俊,等.基于弱監督學習的去噪受限玻爾茲曼機特征提取算法[J].電子學報,2014,42(12)：2365-2370.

[17] 張彤,盧雯雯,肖南峰.基于BP網絡的人臉朝向識別方法[J].重慶理工大學學報(自然科學),2010(6):61-65.

[18] HINTON G E.A Practical Guide to Training Restricted Boltzmann Machines[J].Momentum,2010,9(1):599-619.

[19] HINTON G E.Training products of experts by minimizing contrastive divergence[J].Neural Computation，2002，14(8):1771-1800.

[20] TIELEMAN T.Training restricted Boltzmann machines using approximations to the likelihood gradient[C]//International Conference on Machine Learning.USA:ACM,2008:1064-1071.

[21] CHO K H，RAIKO T，ILIN A.Parallel tempering is efficient for learning restricted Boltzmann machines[C]//International Joint Conference on Neural Networks.USA:IEEE,2010:1-8.

(責任編輯楊黎麗)

InfluenceoftheNumberofTrainingSampleonImageFeatureExtraction

YIN Jing, YAN He

(College of Computer Science and Technology, Chongqing University of Technology, Chongqing 400054, China)

Image feature extraction is one of the important contents of image processing. The quality of feature extraction directly affects the effect of image classification, image recognition and image retrieval. There are many factors that affect image feature extraction. The restricted Boltzmann machine is took as an example to discuss the influence of the number of training samples on image feature extraction. The experimental results show that the generality of the image features extracted by the restricted Boltzmann machine with the same parameters will be enhanced as the number of samples increases. Therefore, when the number of samples is large, increasing the number of hidden layer neurons in RBM is not always valuable.

image feature extraction; restricted Boltzmann machine; CD algorithm

2017-03-26

國家自然科學基金資助項目(61173184)

尹靜(1980—),女,重慶人,講師, 主要從事機器學習、深度學習、神經網絡等方面研究，E-mail:yinjing@cqut.edu.cn；閆河(1972—)，男，陜西勉縣人，教授，主要從事多尺度幾何分析、目標跟蹤、模式識別、人工智能等方面研究，E-mail:cqyanhe@163.com。

尹靜，閆河.訓練樣本數量選擇對圖像特征提取的影響分析[J].重慶理工大學學報(自然科學)，2017(10):192-197.

formatYIN Jing, YAN He.Influence of the Number of Training Sample on Image Feature Extraction[J].Journal of Chongqing University of Technology(Natural Science)，2017(10):192-197.

10.3969/j.issn.1674-8425(z).2017.10.031

TP181

A

1674-8425(2017)10-0192-06