基于大數據分析的海量圖像快速分類研究＊

呂波

（雅安職業技術學院，四川 雅安 625000）

1 引言

多媒體技術的快速發展，攝像設備不斷多樣化，每天不斷產生大量的圖像，從而出現了海量圖像，在圖像實際應用中，如何從海量圖像中找到自己真正需要的圖像十分關鍵，而圖像分類是圖像搜索的基礎，因此如何對海量圖像進行分類顯得十分重要[1-3]。

針對海量圖像分類問題，學者們進行了大量的研究，出現許多有效的圖像分類方法[4-6]。如有學者提出了基于生成對抗網絡的圖像分類方法，在海量圖像分類過程中，由于該方法工作過程過于復雜，難以掌握，導致海量圖像分類效果不佳；有學者提出了BP神經網絡的圖像分類方法，在海量圖像分類過程中，由于該方法計算繁瑣，導致海量圖像分類效率低[7-11]，

大數據分析方法已廣泛應用在自然圖像分類領域，檢測、配準、生成等技術也逐漸應用在圖像分類方面[12-14]。大數據分析方法對信息的多級處理，模擬人類大腦思維方式，不同的空間對應不同層的特征，具有差異的語義信息，分類層次特征結構，分類能力高[15-17]。為了獲得理想的圖像分類結果，提出了基于大數據分析的海量圖像分類方法，并對其性能進行分析。

2 大數據分析的海量圖像分類方法

卷積神經網絡(convolutional neural network，CNN)是一種大數據分析技術，模擬人類大腦對信息處理過程，使用卷積神經網絡算法分類圖像，將神經網絡由數個神經元組成，使高層抽象特征通過低層單一特征生成，被應用于海量圖像分類方面[18-19]。

2.1 卷積神經網絡的組成

卷積神經網絡是在人工神經網絡基礎模型演變而來，人工神經網絡模型結構圖，見圖1。

由圖1可知：人工神經網絡模型連接各數據節點，等數據流入網絡后計算出結果。

卷積神經網絡將神經元作為基本節點，多種不同的神經元相互聯系組成多層的神經網絡，每層都表示獨立特征，層次越高表示的語義越準確。

(1) 卷積層。原始的輸入矩陣利用卷積核抽樣器生成卷積層。

(2) 下采樣層。以卷積層為基礎實施池化計算，生成下采樣層。

(3) 全連接層。通過迭代計算構建多個交叉的采樣層，與多個卷積層生成全連接層，完成CNN 構建。CNN結構如圖2所示。

2.2 CNN訓練過程

通過第1 層卷積樣本矩陣，由多層次變換得出y'。假定y表示該樣本的期望輸出，二者誤差用E描述，反向傳播時微調卷積核矩陣是依據誤差最小原則進行操作。假設v層的第y個神經元的輸出，則有：

其中：修正項、v-1 層的第k個神經元的輸出、v層的第j與第k個神經元間聯結的權重、分別用描述。v層的第y個神經元的輸出用描述。v-1層的第k個神經元的輸出計算公式，如公式(2)所示：

其中：激活函數用δ描述。

誤差函數是按照計算值與期望值的誤差計算，具體計算過程如公式(3)所示：

其中：誤差函數用θ描述，二次代數函數用f描述。

v層的第j神經元的誤差計算公式如公式(4)所示：

CNN最后一層誤差計算公式如公式(5)所示：

其中：最后一層的梯度值、乘積運算符、v層的輸出分別用θ、Θ、cV描述。

其他各層的誤差計算公式如(6)所示：

其中：v+1 層的權重用mv+1描述，v+1 層誤差用描述，函數用T描述。

權重梯度計算公式如(7)所示：

偏值梯度計算公式為：

卷積核的更新公式是使用梯度下降，卷積核的更新公式，具體如下：

其中：mv、dv分別表示第v層的權重、修正項。

2.3 基于大數據分析的海量圖像分類流程

基于大數據分析的海量圖像分類流程是通過構建一個五層的卷積神經網絡實現海量圖像分類。先將收集海量圖像實施圖像預處理后，輸入卷積神經網絡中，通過改變卷積神經網絡模型結構以及調整相關參數，訓練卷積神經網絡；采用訓練好的卷積神經網絡的輸出層輸出海量圖像分類結果。

基于大數據分析的海量圖像分類流程是：先收集海量圖像數據，圖像數據分為測試數據與訓練數據；對海量圖像實施前期數據預處理，將海量圖像去偽彩，轉換成灰度圖像，提取海量圖像部分特征，實施歸一化處理成30×30；卷積核是5×5，一層全連接層、兩層下采樣層、兩層卷積層構成CNN 模型，其中下采樣層使用尺度是2 的不重復池化，6 個特征圖構成第一層卷積層，16 特征圖構成第二層卷積層，輸出了類別是多類，sigmoid 函數是激活函數；通過卷積神經網絡改變模型結構，調整迭代次數和卷積核大小等參數后，判定訓練時間和分類率是否滿足要求，當滿足要求時，可完成海量圖像的分類，如果不滿足，需重新進行卷積神經網絡訓練直至滿足要求。

因此基于大數據分析的海量圖像分類流程，如圖3所示。

海量圖像數據預處理過程：因受外界環境的影響導致海量圖像質量下降需對海量圖像實施預處理。海量圖像分成若干個子圖像，設定8 個子圖像，子圖像的離散余弦波變換計算過程，如公式(11)所示：

其中：子圖像用f(m，n)描述，0≤u≤7，0≤v≤7、C(u)=C(v)=。

利用離散余弦變換的逆變換，如公式(12)所示：

在樣品數較少情況下數據預處理過程：

(1) 利用鏡面上下左右對稱方法增強數據集。

(2) 對突出特征的刮痕數據集實施背景分割。

(3) 將變換的海量圖像實施主成分分析降維處理。

3 仿真實驗

3.1 實驗對象

為了驗證本文方法的海量圖像分類效果，在Windows7操作系統，Matlab R2013c試驗環境下。選取15000幅圖像作為仿真試驗樣品。其中，訓練數據是選取10000幅圖像，測試數據是選取剩下5000幅圖像，運用本文方法與文獻[12]的圖像分類方法、文獻[13]的圖像分類方法分別實圖像分類精度、不同迭代次數、分類誤差曲線、圖像分類時間等方面對比仿真試驗。

3.2 圖像分類精度

分別運用文獻[12]方法、文獻[13]方法與本文方法分類500 幅圖像，三種方法分類精度用圖4描述。由圖4的實驗結果可知：本文方法和圖像平均分類精度要高于文獻[12]和文獻[13]，獲得更優的圖像分類結果。

3.3 不同迭代次數分類誤差曲線

考慮到訓練集樣本數量與訓練誤差的關系對圖像分類效果的影響，將迭代次數分別為30次、60次，不同迭代次數分類誤差曲線，用圖5描述。由圖5可知，本文方法的訓練誤差與迭代次數和訓練集樣本數量成反比，當迭代次數和訓練集樣數量增加時，訓練誤差也隨之減少。在圖5(b)中，本文方法最小訓練誤差0．02，文獻[12]最小訓練誤差0．08、文獻[13]最小訓練誤差0．11，說明本文訓練誤差最小。

3.4 海量圖像分類時間

對比三種方法的海量圖像分類時間，具體結果見表1。由表1結果可知：本文方法海量圖像的平均分類時間3．5min分別比文獻[12]方法、文獻[13]方法節省14min、29min，說明本文方法圖像分類時間最短，提升海量圖像的分類效率。

表1 三種方法的海量圖像分類時間

4 結束語

本文設計了基于大數據分析的海量圖像分類方法，并將其應用仿真試驗中進行測試，實驗結果表明：本文方法的圖像分類準確率高、訓練誤差小、圖像分類時間短、圖像分類效果好，可有效提高海量圖像分類效率，為后期圖像處理方面提供理論依據。由于本人時間與精力有限，本文研究中仍存在不足，以后希望將更多先進的科學技術融入本方法中，可以更快速實現海量圖像分類。