基于改進Pix2PixGAN的織物疵點檢測算法

郜仲元，余靈婕，章玉銘，支 超，陳夢琦

(1.西安工程大學 紡織科學與工程學院，陜西 西安 710048； 2.西安工程大學 省部共建智能紡織材料與制品國家重點 實驗室(培育)陜西 西安 710048； 3.紹興文理學院元培學院 紡織服裝與藝術設計分院，浙江 紹興 312000)

織物疵點檢測在紡織生產的質量控制中起著至關重要的作用。傳統的人工疵點檢測很容易受到心理等主觀條件的影響，導致效率低、精度低、實時性能差[1]。因此，智能織物疵點檢測已成為近年來的一種研究趨勢。

近年來，深度學習在織物疵點檢測領域取得了可觀的成果，但深度學習網絡的檢測能力主要依賴于訓練數據集的大小和多樣性[2]。然而由于織物紋理和疵點的復雜和隨機性，難以獲得一個包含所有可能的織物紋理和疵點的完整數據集，這限制了深度學習在織物疵點檢測領域的進一步發展和應用。

Goodfellow等[3]于2014年提出了生成式對抗性網絡(Generative Adversarial Networks，GAN)以人工合成圖像，其在人臉識別、醫學、自動駕駛等各類領域取得了較好效果。近年來，基于GAN的改進生成模型已被廣泛用于目標檢測的數據集增強問題。Hu等[4]提出了一種基于深度卷積生成對抗網絡(DCGAN)的自動檢測織物疵點的無監督方法。Liu等[5]采用多層GAN模型在無疵點樣品圖像中人工合成疵點，增強了數據集。劉紀等[6]通過 GAN擴充數據樣本，再利用濾波處理及霍夫變換檢測織物缺陷。但他們的方法都局限于單一紋理，且適用于特定模型。

雖然收集具有不同紋理和疵點形態的織物疵點圖像非常困難，但采集包含各類織物背景的無疵點織物圖像相對較為簡單。若能利用GAN網絡構建適用于織物疵點的生成模型，在干凈的無疵點圖像上人工合成各類疵點，則能夠有效增強訓練數據集，從而提高后續目標檢測模型的效率?；谏鲜鲇懻?，本文提出了一種基于雙層深度Pix2PixGAN網絡[7](簡稱為DPGAN)的織物疵點數據集增強方法，并采用目標檢測網絡Faster R-CNN[8]驗證該方法對檢測模型的提高效果。實驗結果表明該方法生成的疵點圖像較為真實，并能有效提高疵點檢測的準確性。

1 DPGAN模型

1.1 DPGAN網絡概述

DPGAN網絡的主要任務為在無疵點的織物圖像上人工合成疵點。DPGAN模型基本框架如圖1所示。

圖1 DPGAN模型基本框架Fig.1 Basic framework of the DPGAN model. (a) First stage of DPGAN model; (b) Second stage of DPGAN model

從圖1可以看出，DPGAN網絡的訓練主要包括2個階段：

階段1：DPGAN預訓練。首先對原織物疵點數據集(即紋理1)進行訓練，得到預訓練模型。輸入圖像大小設置為512 dpi×512 dpi×3 dpi。此階段通過對紋理1圖像中的疵點人工語義分割，并結合原圖像同時送入網絡訓練，從而實現了一種偽注意力機制，幫助網絡更好地提取疵點特征。為了匹配圖像的像素大小和確保更好的全局信息，深化了一層u-net[9]網絡結構，并通過調整適當的LL1損失參數來確保紋理的完整繼承，此階段網絡的損失定義見式(1)：

(1)

式中：LPGAN為生成對抗網絡損失，LL1為正則化損失，G*為總損失。x和y均為輸入圖像，其中x是原織物疵點數據集，y為疵點涂白的紋理1圖像數據集;D(x,y)表示真實配對數據x與y對于判別器D的結果，而D(x,G(x))表示x生成的圖像G(x)與x對于D的判斷結果；在式(1)中，可通過改變λ來控制生成圖像與真實值的相似度，λ越大則相似度越高，本文λ值設定為200。

階段2：DPGAN微調。在預實驗中發現經預訓練模型生成的疵點圖像不夠真實，疵點與織物紋理融合效果較差。為此，利用第1階段得到的預訓練疵點圖像，并結合對應紋理2無疵點真實圖像進行第2次訓練。增加了疵點與背景的融合度。此階段為了生成圖像與真實圖像相似度更高，將λ設定為500。最終完成DPGAN的網絡權重訓練。

1.2 DPGAN生成器網絡結構

輸入生成器的圖像大小為512 dpi×512 dpi×3 dpi，DPGAN生成器網絡結構如圖2所示。其中，卷積核大小為4，步幅為2。整個網絡除第1層卷積，使用批處理歸一化來加速網絡的收斂速度。同時，為了防止過擬合，在前4層反卷積中加入了dropout函數，并將該值設置為0.5。

圖2 DPGAN生成器網絡結構Fig.2 Network structure of DPGAN generator

2 結果與討論

2.1 實驗配置

實驗所使用的計算機硬件配置為TitanRTXGPU(24 G)，軟件環境為Windows10操作系統、Tensorflow(2.1.1)深度學習框架和Python3.6編程環境。DPGAN網絡學習率為0.000 2，采用Adam優化器自適應優化學習率，迭代次數為1 000。目標檢測網絡的訓練損失函數沿用原Faster R-CNN中的損失函數公式。網絡訓練初始學習率為0.000 1，迭代次數為100，采用Adam優化器自適應優化學習率。

2.2 基于DPGAN的數據增強

為驗證方法的有效性，本文分別收集了真實場景中的織物疵點圖像和無疵點織物圖像作為數據集[10]。圖3顯示了搜集的原始織物數據集，圖像大小均為600 dpi×600 dpi×3 dpi。其中圖3(a)所示為部分紋理1的織物疵點圖像，包含線狀、破洞和污漬3種疵點類型；圖3(b)為部分紋理2的無疵點織物圖像，此部分圖像將用于數據增強。

圖3 原織物數據集Fig.3 Original fabric dataset. (a) Parts of fabric defect images of Texture 1; (b) Parts of defect-free fabric images of Texture 2

在訓練DPGAN模型時，由于數據集不均衡，將色織的破洞和污漬數據通過翻轉和顏色變換增強1倍，得到最終的DPGAN模型訓練集和測試集，如表1所示。

表1 DPGAN模型訓練集和測試集Tab.1 Training set and test set of DPGAN model

在無疵點織物圖像上可任意標注區域，通過已訓練的DPGAN在該區域根據不同模型自動生成不同疵點。圖4顯示了無疵點織物圖像經由DPGAN模型生成的疵點圖像。從圖4可看出，第2階段與第1階段相比，線狀效果減弱，但破洞和污漬的圖像效果有了較大的提升，更接近實際情況。

圖4 DPGAN生成疵點圖像Fig.4 Generateded defect images by using DPGAN model. (a) Generated images of stage 1；(b) Generated images of stage 2

2.3 評估指標

本文采用平均精度(Average Precision，簡稱AP)以及平均精度均值(mean Average Precision，簡稱mAP)來評估目標檢測率。

AP值是精確度和召回率被繪制的二維曲線所包圍的區域，具有垂直坐標和水平軸坐標，其表示某一類疵點的檢測精度，mAP表示3類疵點的平均檢測精度。當目標檢測模型接受不同的信息時，就會得到不同的精度和召回率。通過改變置信度，可以得到許多精確度(Precision)和召回率值(Recall)。精度和召回率計算公式如式(2)(3)所示：

(2)

(3)

式中：TP指分類器認為是正樣本而實際上就是正樣本的例子，FP指分類器認為是正樣本但實際上不是正樣本的例子，而FN是指一個分類器認為是負樣本但實際上不是負樣本的例子。

2.4 結果分析

在本節中，采用經典目標檢測網絡Faster-RCNN 作為疵點檢測模型，采用原紋理1織物疵點數據集作為檢測模型訓練集1，采用DPGAN模型生成圖像與訓練集1結合作為檢測模型訓練集2。另外采用由紋理1和紋理2部分疵點圖像組合作為檢測模型測試集。

Faster-RCNN模型訓練集和測試集如表2所示。訓練集1共1 800張；訓練集2共3 632張，其中生成圖像由DPGAN模型階段1和階段2組合產生，每階段選取大約300張圖像。

表2 Faster-RCNN模型訓練集和測試集Tab.2 Faster-RCNN model training set and test set

在Faster-RCNN網絡中，輸入圖像大小為512 dpi×512 dpi×3 dpi，訓練次數為100次，學習率為0.000 1，置信度為0.5。在使用不同訓練集，同一測試集的情況下，Faster-RCNN模型AP值如表3所示。

表3 Faster-RCNN模型AP值Tab.3 The AP value of Faster-RCNN model %

從結果中可以看出，模型平均精度僅有70%左右，導致平均精度低的原因，主要是由于訓練集和測試集紋理是完全不同的。而3種疵點圖像在經過數據增強后，平均精度都有所提升。其中線狀提升效果最好，提升了11%，這源于在DPGAN模型中，線狀的訓練集最大，生成的圖像效果好，而破洞和污漬的原始數據集較小，即使經過翻轉和顏色變換，但并沒能從本質改變訓練集。

3 結 論

本文提出了一種基于改進Pix2PixGAN(簡稱為DPGAN)的織物疵點數據集增強方法，該方法可幫助提升織物疵點檢測模型的精度。首先利用人工圖像分割實現偽注意力機制，幫助后續網絡對疵點位置的判定與學習；其次構建DPGAN網絡，即通過加深U-net網絡結構，并串聯2個Pix2PixGAN網絡；最后在無疵點織物圖像上任意標注區域，通過已訓練的DPGAN在該區域自動生成制定疵點，從而實現織物疵點圖像數據增強。

本文搜集了包含2種紋理(即紋理1和紋理2)、3類疵點(即線狀、破洞和污漬)的原始織物數據集，通過構建的DPGAN網絡對各類疵點分別生成600張，共1 800張織物疵點圖像擴展原訓練集樣本，并利用Faster-RCNN目標檢測網絡來驗證本文提出算法的有效性。實驗結果表明：

①構建的DPGAN網絡可改善原始U-net網絡生成疵點與紋理匹配較差的問題，從而獲得接近真實疵點形態的織物疵點圖像。

②增強后的訓練集有利于提高疵點檢測模型的平均精度，線狀、破洞和污漬的平均精度分別由73%、75%和62%提升到了84%、79%和65%。