基于深度卷積網絡的同款商品圖像檢索研究

張宏毅

（四川大學計算機學院，成都　610065）

基于深度卷積網絡的同款商品圖像檢索研究

張宏毅

（四川大學計算機學院，成都610065）

圖像檢索；深度卷積神經網絡；深度學習

0　引言

近年來，深度神經網絡技術飛速發展，在圖像、語音、自然語言處理等多個人工智能領域紛紛取得領先。深度卷積神經網絡作為深度神經網絡的一種，其具有獨特的類似于人眼局部感受野的卷積核，以及類似于生物神經的層次級聯結構。由于權值共享的特性，網絡的參數大大減少，同時降低了對訓練數據過擬合的風險，具有了比其他種類的深度網絡更加易于訓練的好處。自上世紀60年代Hubel及Wiesel等人提出卷積神經網絡以來，其在圖像視覺等領域得到了普遍的研究。近期各種改進的深度卷積神經網絡AlexNet[1]，VggNet[2]，GoogleNet[3]等不斷的刷新著LSVRC(大規模圖像識別大賽)的紀錄，甚至已經超過人類的識別精度。與此同時隨著電商的發展，人們對于生活看到的商品，想要拍照在網上進行搜索以找出同款的需求也在日益增加，高精度的大規模同款商品圖像檢索是此類應用的基礎。

1　基于卷積神經網絡的同款商品圖像檢索

1.1卷積神經網絡的基本原理與構成

通常的卷積神經網絡的基本組成部分包括：卷積層、池化層、全連接層、損失層等。

卷積層用于識別圖像的特定局部模式，在每層卷積之后有激活函數，通常的選擇包括：tanh，sigmoid,relu等。其中tanh，sigmoid均為飽和激活函數，值域處于特定范圍。relu為值域在[0,∞)的非飽和激活函數，導數只為0或1，在誤差反向傳播進時較少出現梯度消失，在圖像領域使用較多。

池化層用于對多個輸入產生一個輸出：通常的選擇包括：最大池化，即選擇所有輸入的最大值；平均池化，即計算所有輸入的平均值。最大池化可以產生較穩定的輸出值。

損失層用于控制整個網絡訓練方向：一般的損失函數包括：平方誤差、交叉熵、信息增益等。

有時為了防止全連接層的過擬合以及各個神經元的協同適應，會使用dropout[4]及maxout[5]方法，其基本思想均為使用隨機來防止神經元相互依賴，同時也是模型平均思想的體現。

一個典型的卷積神經網絡訓練流程包括：首先對圖像使用現有的卷積核進行卷積，卷積結果經過激活函數和池化降維之后，再次作為下一層的輸入，經過多個層次后整個網絡的前饋結束，然后比較計算結果值與訓練目標值的誤差，為了計算網絡參數影響誤差的梯度，還需要將誤差反向傳回輸入層，稱作誤差反傳。反傳結束后依據梯度方向對網絡參數進行調節。依據1次梯度調節所使用的輸入數據量又可以分為隨機梯度下降，批梯度下降，小批梯度下降。小批梯度下降較好地平衡了隨機性和穩定性，在實踐中使用較多。

1.2圖像檢索框架

一般來說傳統的BoF檢索框架流程為：首先對圖像提取特征點，然后對所有圖片提取后的特征用聚類法進行聚類形成特征詞典，接著將每張圖的特征點映射到特征詞上，再對特征詞和圖片建立倒排索引以加速檢索。最后使用查詢圖片的特征詞進行倒排召回，對召回的圖片按命中特征詞數量及特征距離等指標算分排序。

本文使用卷積神經網絡的檢索流程為：首先使用訓練好的卷積神經網絡對圖像提取特征，然后對查詢圖像也同樣提取特征，最后通過訓練的特征距離比較網絡來計算得分以形成排序。

2　數據與實驗

本文使用了淘寶200W商品圖像作為訓練數據集，圖像具有一級以及二級類目標簽，同時具有形狀、顏色、包裝、圖案等一系列屬性，商品的屬性并不完全，大部分圖像沒有或只有很少屬性。同時另有300W無類標及屬性的商品圖像用于檢索以及1500條的同款商品圖像列表作為真值。為了便于對檢索效果進行評定以及排序網絡的訓練，我們將1500條同款列表分為了1000條和500條兩部分，其中1000條用于排序網絡的訓練，500條用于檢索效果的評定。

2.1數據預處理

由于各個二級類目下的圖像數量嚴重不均衡，本文首先對各類目訓練圖像進行了有放回重采樣以均衡數量，被重復抽樣到的數據隨機進行翻轉、旋轉、亮度、模糊、色調等變換以增強訓練數據。并統一縮放原始圖像到256×256大小，神經網絡抽取中部227×227的圖像。

2.2屬性預測器的訓練

由于屬性類標的普遍缺失，本文首先用帶有屬性類標的圖片訓練了多個屬性預測器作為特征抽取器的一部分，為了控制總體網絡的參數規模，我們使用了簡化后的caffenet[6]將每個屬性預測器的卷積核的數量縮減為了caffenet的8分之1，為了更好地收斂，使用xavier替換了原有的高斯作為初始權值填充器。圖1 為屬性預測器網絡結構。

圖1　

2.3排序網絡的訓練

本文對每張圖片使用訓練完畢的屬性預測器提取fc7特征并與使用原始caffenet提取的fc7特征串接。然后隨機從同款列表中抽取2張同款商品圖像作為正樣本對，從同款列表及非同款圖片列表中各抽一張圖片作為負樣本對，總共產生正負樣本對各30000。最后混合打亂后送入排序網絡進行訓練。圖2 為排序網絡的結構：

圖2　

2.4實驗結果

使用500條同款真值并利用MAP20標準來度量同款檢索效果，基于卷積神經網絡模型的結果比基于傳統特征池袋模型的結果提高了57%，優勢明顯。

3　結語

本文主要研究對比了使用卷積神經網絡和傳統BoF方法在大規模商品數據集下進行同款檢索的效果，并設計和訓練了一個可用于同款圖像檢索的卷積神經網絡結構，如何更好地設計一個損失目標函數以及訓練方法以用于圖像檢索還有待未來更深入的研究。

[1]Krizhevsky A,Sutskever I,Hinton G E.Imagenet Classification with Deep Convolutional Neural Networks[C].Advances in Neural Information Processing Systems，2012：1097-1105.

[2]Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].arXiv Preprint arXiv:1409.1556, 2014.

[3]Szegedy C,Liu W,Jia Y,et al.Going Deeper with Convolutions[J].arXiv Preprint arXiv:1409.4842,2014.

[4]Srivastava N,Hinton G,Krizhevsky A,et al.Dropout:A Simple Way to Prevent Neural Networks from Overfitting[J].The Journal of Machine Learning Research,2014,15(1):1929-1958.

[5]Goodfellow I J,Warde-Farley D,Mirza M,et al.Maxout Networks[J].arXiv Preprint arXiv:1302.4389,2013.

[6]Jia Y,Shelhamer E,Donahue J,et al.Caffe:Convolutional Architecture for Fast Feature Embedding[C].Proceedings of the ACM International Conference on Multimedia.ACM,2014:675-678.

Convolution Neural Network;Image Retrieval;Deep Learning

Research on Large Scale Same Style Commodity Image Retrieval Based on Deep Convolution Neural Network

ZHANG Hong-yi
（College of Computer Science，Sichuan University，Chengdu 610065）

張宏毅（1987-），男，重慶人，碩士研究生，研究方向多媒體計算、機器智能

2015-12-08

2016-01-25

使用深度卷積神經網絡來進行大規模的同款商品圖像檢索研究，同時設計一種可利用多種類標信息來進行神經網絡訓練的網絡結構，并與傳統的BoF圖像檢索框架進行對比。相較于傳統的方法，基于深度卷積神經網絡的檢索精度有較大幅度的提高。

Designs and trains a new structure of deep convolution neural network using multi-labeled image.Uses it to do same style commodity image retrieval.Compared with traditional bag of features method,it gets a much higher MAP score.