基于Cascade RCNN 和二步聚類的織物疵點檢測

葉舒婷 游思晴 郝 燦 程 智 王 穎

（1.北京物資學院，北京， 101149；2.中國科學院微電子研究所，北京， 100029；3.中國科學院大學，北京， 100049）

紡織行業作為基礎消費產業，在國民經濟中占據著重要的地位。在織物生產過程中，織物疵點控制與檢測是極為關鍵的環節，其質量直接影響面料的市場售價［1］。

傳統的織物疵點檢測主要依靠人工目檢，主觀性強、檢測準確率低且難以滿足實時檢測需求。隨著機器視覺檢測技術的發展，其已被應用于織物疵點自動檢測。傳統的織物疵點視覺檢測方法需要根據不同類型疵點的特征人工設計圖像特征提取器，當織物紋理和疵點種類變化時，需重新設計特征提取器，適應性差?；诰矸e神經網絡織物疵點檢測算法可以通過自主學習圖像多層級特征信息，有效解決特征提取器設計問題，越來越多地被用于多種類疵點的自動檢測。已有文獻研究卷積神經網絡用于織物疵點檢測的可行性。晏琳等人［2］采用Faster RCNN 融合ResNet101 對織物疵點進行檢測，檢測準確率達到99.6%，但對于細長型的疵點檢測效果不理想。史甜甜［3］將深度卷積神經網絡結合Fisher 準則約束對彩色格子織物疵點識別準確率達到98.55%。張麗瑤等人［4］在SSD 的基礎上，引入雙邊濾波方法減少織物圖像的背景干擾，對油污的識別率可達到92%，但對于織物紋理相近的疵點檢測效果不佳。

目前，基于卷積神經網絡的目標檢測方法主要分成：Two?stage 算法，如RCNN［5］、SPP?Net［6］、Fast RCNN［7］、 Faster RCNN［8］、 Cascade RCNN［9］；One?stage 算 法，如RetinaNet［10］、YO?LO［11］、SSD［12］。Two?stage 算法首先采用預定義框訓練區域候選網絡（Region Proposal Network，RPN）生成感興趣區域（Region of Interest，ROI），然后再利用卷積神經網絡（CNN）對ROI 進行分類和定位，相較One?stage 算法直接提取特征檢測目標，Two?stage 算法檢測準確率更高。但Two?stage 算法默認預定義框的尺寸適于常規形狀目標，對小尺寸或長寬比極端的目標檢測效果不佳。

本研究針對疵點小且長寬比懸殊的織物疵點采用傳統預定義框檢測效果不佳問題，引入深度殘差網絡（ResNet101）［13］和金字塔網絡（Feature Pyramid Networks，FPN）［14］進行特征 融 合，充分保留疵點的特征信息；采用二步聚類算法確定織物疵點檢測的最佳預定義框尺寸，以提高疵點檢測準確率和定位精度。

1 織物疵點分析

目前統計的織物疵點有水漬、油污、雙經等幾十種［15］。圖1 為部分織物疵點，可知大部分織物疵點長寬差距明顯。本研究對天池大賽提供的織物疵點數據集進行分析。表1 列出了織物疵點數據集包含的疵點，共計34 類，疵點種類多。圖2（a）為不同種類疵點的數量分布，其中，結頭1 996 個，約占疵點樣本總數的21%，“三絲”約占疵點樣本總數的11%，而雙經、云織疵點分別只占疵點樣本總數的0.1%，不同種類疵點數量分布極不均衡。 圖2（b）為不同種類疵點在圖像中所占面積及長寬比分布?？梢钥闯?，超過70%的疵點面積在圖像中占比小于10%，小疵點較多。破洞等約41% 疵點的長寬比值在0.04～0.50，而約30%疵點的長寬比值在2～20，如雙緯的平均長寬比值高達19。只有少量疵點的長寬比值在0.5～2.0。而作為Cascade RCNN 結構一部分的區域候選網絡RPN 的默認預定義框的尺寸通常用于檢測汽車正面、行人等長寬比值在0.5～2.0的常見目標檢測。相較常見目標，大部分織物疵點形狀狹長，長寬比范圍比較極端，因此RPN 默認預定義框尺寸對于織物疵點檢測適用性不佳。

圖1 織物不同種類疵點圖

圖2 牛仔織物疵點數據集分析

表1 織物疵點種類列表

本研究針對疵點種類數量不均衡、疵點長寬比極端、微小疵點數量多等問題，對卷積神經網絡目標檢測算法進行改進，以提高織物疵點檢測的準確率。

2 織物疵點檢測卷積網絡模型

2.1 Cascade RCNN 織物疵點識別方法

本 研 究 采 用Two ? stage 算 法 中Cascade RCNN 網絡構架進行織物疵點檢測和定位。Cas?cade RCNN 算法網絡框架如圖3 所示?？椢锎命c圖像首先經卷積層（CNN）獲取不同尺度的特征圖（Feature Maps），特征圖經RPN 網絡中預定義框（Anchors）得到疵點的感興趣候選區域（ROIs），然后將候選區域和特征圖進行級聯回歸，通過逐級提高候選框的IoU 值，使得前一級采樣過的候選框能夠適應下一級更高IoU 值的階段，進而實現高精度的目標檢測。針對織物疵點種類間相似、微小疵點數量多的問題，選取深度殘差網絡提取更多疵點細節特征，采用金字塔網絡（FPN）對不同卷積層的疵點特征進行融合。針對大部分疵點長寬比極端的情況，采用二步聚類算法確定適用于織物疵點檢測的預定義候選框尺寸。

圖3 Cascade RCNN 卷積網絡框架結構圖

2.2 基于ResNet101 與FPN 特征融合網絡

由于織物疵點較小，且疵點特征在圖像中不顯著，同時為提高疵點特征提取的精度，選用ResNet101 作為基礎疵點特征提取網絡。ResNet101 對網絡權重及數據的波動敏感，能夠捕捉到微小的特征信息，且可有效緩解反向傳播時深層卷積導致的退化問題。特征金字塔網絡可以融合高低層特征信息，尤其適用于小尺寸目標特征提取。ResNet101 特征提取和特征金字塔網絡融合的結構如圖4 所示。ResNet101 網絡包含1 個低層卷積操作（C1）和4 個殘差塊（C2～C5），C1 只對輸入的織物疵點圖像降采樣，C2～C5 殘差塊的尾部采用1×1 的卷積層控制特征圖輸出深度，最終生成4 個不同層的織物疵點特征圖Mi(i=2，…，5)，自M5起每個卷積層進行二倍上采樣計算（upsample），M5上采樣的結果和特征圖M4大小相同，M5上采樣結果和M4相加實現特征融合，對不同層特征圖依次重復上述步驟進行特征融合。為消除上采樣的混疊效應，采用3×3 的卷積核對每個融合特征圖進行卷積，最終得到融合特征圖Pi(i=2，…，5)。

圖4 ResNet101+FPN 特征融合網絡結構

2.3 基于二步聚類法確定預定義框

2.3.1預定義框確定候選區域原理

Cascade RCNN 網絡中的RPN 網絡根據預定義框生成感興趣候選區域，其默認框為3 種長寬比（1∶1，1∶2，2∶1）對應3 種尺度（8，16，32）共9 個預定義框，如圖5 所示。RPN 對大小為M×M的特征圖采用3×3 滑動窗口遍歷特征圖中每個像素，產生低維特征圖（256×M×M），同時滑動窗口的中心位置生成9 個預定義框，低維特征圖進行二次1×1 的卷積操作，分別得到18 個疵點判別的概率值和36 個候選框坐標偏移值，對概率值進行非極大值抑制得到ROIs［16］。

圖5 候選區域生成網絡（RPN）

Cascade RCNN 采用默認預定義框的織物疵點檢測結果如圖6 所示。圖6（a）只檢測出疵點的一部分，對應綠框中的疵點，紅框為未檢測到的部分疵點；圖6（b）紅框中疵點漏檢。由于織物中雙緯、雙經等大部分疵點長寬比都超出常規目標的長寬比，按照默認預定義框對形狀極端的織物疵點檢測部分存在錯檢、漏檢的情況，且不能準確定位疵點邊界。為此，利用二步聚類算法確定預定義框的大小，以提高對織物疵點的檢出率和定位準確率。

圖6 默認預定義框的疵點檢測結果

2.3.2二步聚類法織物疵點聚類原理

二步聚類算法［17］可同時處理數值型變量和分類型變量，自動確定聚類數目和診斷樣本中離群點及噪聲數據，避免k?means 法需要預先指定聚類數目、主觀性強的問題。本研究利用二步聚類算法對織物疵點的長寬比進行聚類，根據聚類結果確定預定義框的長寬比；同時對織物疵點數據集的疵點種類重新聚類，避免樣本不均衡導致識別準確率低的問題。

二步聚類算法的實現過程如下：

第1 步，預聚類。樣本數據逐條讀入構造聚類特征CF 樹（Clustering Feature Tree），計算每個樣本與子樹中所有葉節點的親疏程度，親疏程度小于設定閾值的合并為一類，反之增加新葉節點為新的子類，反復迭代該過程，直到所有樣本數據均分配到某個子類為止，最終形成J個子類?？椢锎命c數據庫聚類的輸入變量為原始各類疵點的數量、各類疵點的平均長寬比和平均面積。由于數據集同時含有數值型變量和分類型變量，采用對數似然函數判斷親疏程度，判別式如式（1）所示。

式中：假設生成J個子類，p為似然函數，Ij為第j類樣本的集合，θj為第j類樣本的參數向量，Xi為第i個聚類變量。

第2 步，聚類。將第1 步預聚類生成的J個子類進行層次聚類，J個子類需進行J-1 次迭代聚類，每次聚類都需計算任意兩子類之間的對數似然距離，將距離最近的兩個子類合并。利用貝葉斯信息準則最終得到粗略估計的L大類，利用式（2）對聚類數目L進行修正。

式中：R2(L)為類間差異性最小值變化的相對指標，dmin(CL)為聚類數目為L類，兩兩類間對數似然距離的最小值。 依次計算R2(L-1)，R2(L-2)，…，R2(2)，直到所有類間差異性變化的最大值大于次大值的1.15 倍終止合并，最大值所對應的類為最終聚類數。

2.3.3二步聚類法疵點確定預定義框

天池織物疵點數據集共有5 912 張圖像，由于每張圖像可能存在多個疵點，數據集共有34 類9 619 個疵點，圖像大小均為2 446 pixel×1 000 pixel。采用二步聚類算法將所有疵點種類重新聚類。34 類疵點重聚類成5 大類。A 類包含破洞、水漬、油漬、污漬、毛粒、粗經、松經、斷經、吊經、星跳、跳花、磨痕、軋痕、修痕、燒毛痕、死皺、雙經、跳紗、筘路、緯紗不良，共3 064 個樣本；B 類包含花板跳、百腳、稀密檔、浪紋檔、雙緯，共630 個樣本；C 類包含“三絲”、粗緯、緯縮、整經結、斷氨綸，共3 537 個樣本，D 類為結頭，共1 996 個樣本，E 類包含漿斑、色差檔、云織，共392 個樣本。重聚類各類別疵點數量較均衡，避免了個別類疵點數量較少導致的網絡模型訓練不充分的問題。

二步聚類法得到的5 類疵點中各類疵點的長寬比聚類中心統計結果如下。A 類疵點長寬比值0.34、1.26、1.50、2.18、11.46、17.32，B 類疵點長寬 比 值0.10、0.11，C 類 疵 點 長 寬 比 值0.15、1.21，D 類疵點長寬比值1.79、2.37，E 類疵點長寬比值0.21、0.37、1.17。為計算方便，本研究選取和長寬比聚類中心近似的比例作為預定義框尺寸，A 類 疵 點 近 似 長 寬 比 值0.20、1.00、2.00、10.00、20.00，B 類疵點近似長寬比值0.10，C 類疵點近似長寬比值0.10、1.00，D 類近似長寬比值2.00，E 類近似長寬比值0.20、0.50、1.00。同時為更好地涵蓋極端形狀疵點，增加了長寬比值為0.05 和5.00 的預定義框，最終確定檢測織物疵點的預定義框的長寬比值共9 種，分別為0.05、0.10、0.20、0.50、1.00、2.00、5.00、10.00、20.00。

4 試驗結果與分析

4.1 試驗環境

本試驗采用筆記本電腦，配置為Intel（R）Core（TM）i5?9300H CPU、2.40 GHz 處 理 器，NVIDIA GeForce GTX1650 顯卡及windows10操作系統，基于Pytorch 的深度學習目標檢測框架MMDetection 進行模型搭建，采用Python 程序語言編程實現織物疵點檢測。

4.2 評價指標

采用疵點識別準確率（Accuracy，ACC）評價本研究改進算法的織物疵點檢測結果。ACC計算如式（3）所示。其中TP為實際疵點檢測為疵點的樣本數，TN為無疵點檢測為無疵點的樣本數，FP為無疵點誤檢測為疵點的樣本數，FN為實際疵點誤檢測為無疵點的樣本數。

4.3 試驗結果

按照二步聚類法得到的重聚類疵點種類將織物疵點數據庫按8∶2 的比例隨機劃分成訓練集和測試集，利用本研究改進［18］的特征提取和融合網絡以及設定的預定義框，對改進前后模型檢測結果進行比較。

改進前后模型的疵點檢測結果如圖7 所示。相較于原始模型，改進后模型對疵點的定位精度高，且沒有漏檢。

圖7 基于Cascade RCNN 織物疵點圖像識別結果

圖8為模型改進前后Cascade RCNN 網絡對5 類疵點的識別準確率。A 類、D 類疵點主要為微小疵點，改進后Cascade RCNN 模型的ACC分別提高4.1 個百分點、3.1 個百分點；B 類、C 類、E 類疵點大部分是長寬比極端疵點，相較于改進前模型，改進后Cascade RCNN 模型ACC分別提升9.7 個百分點、20.8 個百分點、14.9 個百分點。

圖8 Cascade RCNN 改進前后各類別ACC 對比結果

5 結論

本研究圍繞織物疵點類間相似、類間數量不均衡、大部分疵點長寬比極端、小尺寸疵點數量多等問題，對Cascade RCNN 目標檢測算法進行改進，使用二步聚類算法優化預定義框，引入深度殘差網絡（ResNet101）優化網絡結構進行特征提取并采用特征金字塔網絡（FPN）進行特征融合以提高織物疵點的識別準確率。試驗結果表明，采用二步聚類算法確定的預定義框，適用于極端形狀織物疵點檢測，同時引入深層網絡及多尺度融合特征提取網絡可進一步提高模型的疵點識別準確率。