一種SVM集成的圖像分類方法研究

羅會蘭，杜連平

(江西理工大學信息工程學院，江西 贛州 341000)

責任編輯:哈宏疆

隨著現代信息技術的發展，圖像已經成為了一種重要的信息載體。信息量日益增大的同時，也帶來了海量的圖像數據，這就對如何快速而有效地進行圖像數據分類提出了新的挑戰。然而，由于位置、尺度、光照及背景噪聲等的影響，也在一定程度上加大了圖像分類的難度?，F存的基于形狀的模型化模型［1-2］試圖定位不同的物體局部并確定它們在空間上的關系。盡管這些方法可能表示能力強，但是這種空間約束模型無法處理或識別較大的變形，比如大的但不在一個平面內的旋轉和遮擋等。近年來，一些用于圖像分類的主流方法是使用獨立塊的集合來表示圖像，這些獨立塊由局部視覺描述子來描述［3-5］。其中較為典型的是詞袋(Bag-of-Words，BOW)模型，它來源于文本分類中的“texton”模型［6］，確定每類中特定的語素(texton)比例，而忽略它們之間的空間關系。盡管BOW模型沒有顯示形狀模型化，學習到的模型對于形狀不規則的物體或者高度結構化的物體類都是非常有效的［7］。在文獻［8］中，首次將這種文本檢索模型應用到視覺檢索中，證實了這種模型的有效性。在檢測到獨立顯著性區域塊(或稱為興趣點)且為這些區域塊計算描述子(也就是特征表示)之后，必須為訓練和測試圖像表示它們的分布。一種較為流行的表示顯著性區域塊分布的方法，也稱為圖像量化方法［9］，是通過對特定訓練圖像集的描述子進行聚類得到一個視覺詞匯本。然后圖像表示成視覺單詞標簽的直方圖。在這種情形下，文檔就是圖像，它們根據視覺詞匯本來量化，然后用傳統分類器來分類。

基于此，本文提出了一種支持向量機(Support Vector Machine，SVM)集成的圖像分類方法。在BOW模型描述圖像的基礎上，首先，分析視覺單詞數目對于分類性能的影響，從而獲得最佳分類性能時的視覺單詞數目;其次，考慮訓練多少個不同SVM分類器，使得集成分類結果后能到達最好的分類性能。實驗結果表明SVM集成的圖像分類方法有效提高了分類精度，具有一定的穩健性。

1 SVM集成的圖像分類方法

本文研究將集成學習的優勢應用到圖像分類中。圖1是提出的SVM集成的圖像分類方法的流程圖。分類過程包括兩個階段:訓練階段和測試階段。在訓練階段，可以得到圖像不同的SIFT特征、不同的視覺詞匯本、不同的BOW模型。利用這些不同的BOW模型可以訓練得到不同的SVM分類器;在測試階段，利用訓練得到的不同的SVM分類器分別對測試圖像進行分類，進而得到不同的分類結果，然后將這些分類結果進行集成作為最終的分類結果。

圖1 SVM集成的圖像分類流程圖

1.1 相關知識

Bag-of-Words在自然語言理解中是用來表示文檔的流行方法，這種方法忽略單詞的順序，比如，“a good book”和“book good a”在模型中是一樣的。Bag-of-Words模型把每個文檔看成是一個“bag”，所以順序是不考慮的，“bag”中包含了來自于一個特定字典的詞匯。計算機視覺研究領域使用同樣的思想來表示圖像，這里圖像被當成文檔，從圖像中提取的特征相當于單詞。

Lowe［10］提出了一種尺度不變特征轉換描述子SIFT(Scale Invariant Feature Transform)，它結合了一個尺度不變區域檢測子和一個基于檢測出的區域上的梯度分布的描述子。描述子表示成梯度和方向的三維直方圖。在每個位置和方向組合中統計梯度大小。這種梯度位置和方向的量化使得SIFT描述子對于小的幾何變形和小的錯誤更加穩健。

BOW模型的最后一步是將興趣點對應的描述子矢量轉換成視覺單詞(類似于文本文檔中的單詞)，這些視覺單詞組成一個詞匯本(類似于單詞字典)。具體做法是采用K-means聚類算法對提取圖像的SIFT特征進行聚類，每一個聚類中心看作是圖像的一個視覺單詞，就能把每一個從圖像中提取的特征映射到與它最接近的圖像視覺詞匯本上，并且能把圖像表示為一個視覺詞匯本上的直方圖特征。一個視覺單詞可以認為是一些相似興趣點的代表。一個簡單的方法是在所有的矢量上運行聚類算法，然后視覺單詞定義成學習得到的簇的中心。簇的個數就是詞匯本的大小。在生成的視覺詞匯本的基礎之上，將每幅圖像中的SIFT特征與視覺詞匯本中的視覺單詞進行比較。對于每幅圖像，分別統計視覺單詞出現的頻率，從而構建每個圖像的BOW描述的直方圖特征。

圖2 圖像量化及分類器訓練

圖像分類的目標是根據它們包含的物體類別來分類。方法大致遵循傳統視覺詞匯本方法:先從圖像中選擇興趣點，然后用局部視覺描述子特征化興趣點，最后用學習得到的視覺詞匯本對這些描述后的興趣點置標簽。和文本分類相似，通過計算每個標簽出現的頻率建立一個直方圖，此直方圖用來描述圖像內容。直方圖送入分類器來估計圖像的類標簽。視覺詞匯本一般是由訓練數據的描述子聚類得到。一個有n個興趣點，它們的描述子分別是{r1，r2，…，rn}的圖像，對于一個有L個單詞的詞匯本模型V={w1，w2，…，wL} ，傳統的詞匯量化此圖像得到矢量x=［x1，x2，…，xL］T，其中

量化后的圖像矢量輸入到分類器訓練、測試，如圖2和圖3所示。這里討論的圖像分類任務是給每個圖像一個類標簽。

圖3 測試圖像量化及分類

1.2 分類器集成

分類器集成后能否比單個成員分類器性能更好，取決于各個成員分類器間的差異性。為了更好地理解這一點，假設有3個分類器f1，f2，和f3。有一個測試圖像I分別輸入到這3個分類器中，如果這3個分類器是相同的，則當f1分類錯誤時，f2和f3也會給出錯誤的答案。然而，當這些分類器是獨立的，沒有相互關系時，則當f1給出錯誤的答案時，f2和f3也許是正確的，所以在這種情況下，使用多數投票集成方法集成它們就能產生正確的結果，如圖4所示。所以集體中成員間的差異性是公認的決定集成泛化能力的一個關鍵因素。結合多個從不同方面給出的結果的集成方法，是現存的最強的機器學習算法之一。本文的思想就是將集成方法的優勢應用到圖像分類中。

圖4 雖然有錯誤的分類結果，但是集成分類器的分類結果可以得到正確的分類結果

1.3 SVM集成分類方法步驟

Step1利用尺度無關特征轉換(SIFT)提取圖像特征;

Step2對SIFT特征進行K-means聚類形成視覺詞匯本;

Step3將所有圖像的SIFT特征與詞匯本進行比較，統計視覺單詞出現的頻率，從而構建圖像的BOW模型描述;

Step4利用圖像的BOW模型描述訓練SVM分類器;

Step5利用Step4得到的SVM分類器對測試圖像進行分類，得到相應的分類結果;

Step6重復Step1～Step5 N次，可以得到對測試圖像的N個不同的分類結果;

Step7將Step6中得到的N個不同分類結果進行集成，并將集成結果作為最終分類結果，集成算法采用基于簇相似劃分算法(CSPA)。

2 實驗及實驗結果分析

為了證實本文方法的有效性，選取以下6類圖像進行MATLAB仿真實驗。該圖像數據集主要來自Caltech datasets，包括 Airplane，Background，Bike，Car，Face，Motorbike。每一類圖像由200～1000幅圖像組成。綜合考慮實現的效率，每幅圖像能提取的最大興趣點數為100，K-means最大迭代次數為50。

首先，分析視覺單詞數目對于分類性能的影響。這里采用8 種不同大小的視覺單詞 50，100，200，300，500，600，800，1000，它們分類性能(正確分類圖像所占的百分比)的比較情況如圖5所示。從圖5不難看出，當視覺單詞數目過小時，容易忽略圖像的某些重要的視覺特征，導致分類性能相對較低;但是當視覺單詞數目大于一定值之后，視覺單詞的數目繼續增加，提升圖像分類的性能不是很明顯，而且產生的視覺單詞數目越多，形成詞匯本時所花費的實驗時間也就越長，如圖6所示。綜合考慮分類性能和時間復雜度，在后續實驗中選擇分類性能相對較高的視覺單詞數目600。

其次，考慮到將不同的SVM分類器分類結果集成后得到的最終分類結果不同。在不同的BOW模型的基礎上訓練并構建數目 N 分別為5，10，15，20，25，30 個不同的SVM分類器，并分別對它們的分類結果進行集成。經過多次試驗總結了不同數目的不同SVM分類器的分類結果集成后對分類性能的影響見圖7所示。從圖7中數據可以看出當不同分類器數目N為10時，集成后的分類性能已經相對較好，雖然隨著分類器數目的增多，集成分類性能提升的不是很明顯，而且需要花費更多的實驗時間。兼顧分類性能和時間復雜度的要求，本實驗中對Step1～Step5重復10次，訓練產生10個不同的SVM分類器并對測試圖像的分類結果進行集成，完成分類實驗。

最后，分別用本文提出的方法(即SVM集成分類結果的方法)、文獻［11］和文獻［12］所提出的方法進行分類實驗。其中，文獻［11］和文獻［12］是沒有采用集成學習技術對SVM的分類結果進行集成的。分別比較文獻［11］、文獻［12］使用方法的分類精度和本文方法的分類精度，見表1。從表1實驗數據可以看出，采用本文的分類方法明顯提高了分類精度。

表1 本文方法與其他方法分類精度的比較

3 結束語

本文從BOW模型理論和實驗的基礎上針對SVM集成的圖像分類方法進行了研究。實驗結果表明采用集成學習技術的SVM集成的圖像分類方法能很好地實現圖像的分類，提高了分類精度，具有一定的穩健性。當然，本文研究的方法也存在著一些不足，需要繼續完善和探索。如何在訓練集上訓練KNN、SVM等多種分類器，然后對它們的分類結果進行集成，以提高對圖像分類的精度是下一步要研究的內容。

［1］FERGUS R.Object class recognition by unsupervised scale-invariant learning［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2003.［S.l.］:IEEE Press，2003:264-271.

［2］LI Feifei.A bayesian approach to unsupervised one-shot learning of object categories［C］//Proc.the Ninth IEEE International Conference on Computer Vision:Volume 2.［S.l.］:IEEE Press，2004:1134-1141.

［3］何友松，吳煒，陳默，等.基于Bag of Features算法的車輛圖像識別研究［J］. 電視技術，2009，33(12):104-107.

［4］AGARWAL A，TRIGGS B.Hyperfeatures-multilevel local coding for visual recognition［C］//Proc.IEEE ECCV，2006. ［S.l.］:IEEE Press，2006:30-43.

［5］YUEN P C，MAN C H.Human face image searching system using sketches［J］.IEEE Trans.Systems，Man and Cybernetics:Part A，2007，37(4):493-504.

［6］VARMA M，ZISSERMAN A.A statistical approach to texture classification from single images［EB/OL］.［2012-04-10］.http://www.robots.ox.ac.uk/～vgg/research/texclass/papers/varma05.pdf.

［7］WINN J，CRIMINISI A，MINKA T.Object categorization by learned universal visual dictionary［C］//Proc.the 10th IEEE International Conference on Computer Vision:Volume 2.［S.l.］:IEEE Press，2005:1800-1807.

［8］ZHANG J.Local features and kernels for classification of texture and object categories:a comprehensive study［C］//Proc.2006 IEEE CVPR.［S.l.］:IEEE Press，2006:17-22.

［9］MAREE R.Random subwindows for robust image classification［C］//Proc.2005 IEEE CVPR.［S.l.］:IEEE Press，2005:34-40.

［10］LOWE D G.Distinctive image features from scale-invariant keypoints［C］//Proc.2004 IEEE IJCV.［S.l.］:IEEE Press，2004:91-110.

［11］劉碩研，須德，馮松鶴，等.一種基于上下文語義信息的圖像塊視覺單詞生成算法［J］.電子學報，2010，38(5):1156-1161.

［12］陳凱，肖國強，潘珍，等.單尺度詞袋模型圖像分類方法［J］.計算機應用研究，2011，28(10):3986-3988.