基于特征提取和圖像分類的螺旋網疵點自動檢測

王博潤,張 寧,盧雨正

(江南大學生態紡織教育部重點實驗室, 江蘇無錫 214122)

螺旋網是一種具有特殊結構的過濾用干網,由聚酯、聚酰胺、聚乙烯等高分子單絲經過繞環裝置形成類似彈簧結構的左、右異向螺旋環線,通過左、右螺旋環線反復嚙合并在交疊部分插入聯接芯絲后形成網片,隨后依次通過熱定型、插芯、裁切、封邊涂膠等后續工序,最終形成螺旋網[1]。過濾用紡織品是產業用紡織品的重要組成部分,其通過傳統織造、非織造及現代復合技術加工而成,被廣泛應用于各種行業。與傳統過濾用紡織品相比,螺旋網空隙結構特殊,截留精度高,網面平整度高,拼接自由,結構強度大,使用壽命長,抗腐蝕性能強,可以實現各種場景的固液分離[2],被廣泛應用于環保、造紙、煤礦、食品、醫藥等領域。螺旋網疵點主要分為破洞、芯絲缺失和錯環3類,其大部分生產流程雖都已經實現自動化生產,但質檢環節仍然依賴于人工檢測,人工檢測存在著諸如主觀性強、成本高、效率低、勞動強度大、傷害視力等缺點,無法保證檢測精度和準確率。人工檢測的速度和準確率已不能滿足螺旋網生產的要求[3],運用機器視覺實現螺旋網疵點檢測的自動化變得尤為重要。

目前基于機器視覺的疵點檢測技術在紡織及其他工業領域都較為成熟,劉啟浪等[4]通過提取帶鋼表面缺陷圖像的多尺度LBP及LBP 聯合特征,利用SVM進行分類,發現對于帶鋼表面缺陷圖像的LBP特征,兩種尺度聯合特征分類準確率高于單一尺度特征,證明了LBP具有良好的魯棒性和抗噪性。劉秀平等[5]提出一種基于LBP與低秩稀疏矩陣分解的網狀織物紋理缺陷檢測方法,該方法分類總正確率達到92%以上。Qin等[6]提出了一種基于剩余能量分布和Gabor特征融合的織物疵點檢測新算法,利用信噪比指標和遺傳算法對參數進行了優化,該算法優于目前最先進的缺陷檢測算法。周靜等[7]提出一種基于最小生成樹和圖像矩的缺陷檢測算法,該算法對于檢測陶瓷過濾器的裂縫、堵孔缺陷的準確率達到了95%以上。Chen等[8]提出了一種快速導向濾波融合塔式方向梯度直方圖(Pyramid histogram of oriented gradients,PHOG)與快速魯棒性詞袋特征(BOW-SURF)融合的算法,對于接觸網絕緣子缺陷的檢測精度達到了100%。螺旋網是由一定基元按照固定規律排列組合而成,區別于傳統織物和普通濾網,其顏色單一,紋理周期性強,具有特殊的空隙結構,相比于傳統織物其背景紋理顯著,相比于普通濾網其紋理更為復雜。對螺旋網疵點進行精確識別,需同時實現對螺旋網背景紋理的抑制和紋理特征的有效提取,上述疵點檢測方法在螺旋網上有待考究。

基于螺旋網圖像的特點,本文提出了一種基于LBP特征和SVM分類器的螺旋網疵點自動檢測方法。通過提取多模式多尺度的LBP特征,表征螺旋網的局部特征信息,區分局部破損和異常的有疵圖像和無疵圖像。在樣本量較小的情況下,利用SVM分類器對小樣本、高維度、非線性的數據進行有效學習和分類的能力,實現有疵和無疵圖像的自動檢測。

1 圖像采集與系統搭建

本文提出的圖像采集設備主要要求：在實驗中簡單易行,采集環境穩定,光照統一,高清晰度,低噪聲。結合實驗室現有儀器,所組成機器視覺系統如圖1所示,包括光源控制器、LED面光源、工業相機、計算機。實驗采用大恒水星MER-132-30GC面陣工業數字相機、鷹視L100-100-20面光源和鷹視ACS24V-1L光源控制器對螺旋網圖像進行采集。其中工業相機分辨率為400 dpi,面光源最大額定最大功率為40 W,螺旋網置于面光源上方,通過光源控制器對光源亮度進行無級調節,提高螺旋網與背景的對比,便于圖像處理時螺旋網邊緣和細節的提取。本文硬件環境為：Intel(R)Core(TM)i5-8300H CPU,主頻為2.30 GH,內存16 GB;在螺旋網數據集上進行實驗。

圖1 螺旋網疵點檢測系統Fig.1 Spiral mesh defect detection system

螺旋網由于顏色和紋理單一、幅寬較長,肉眼難以精確識別各類疵點,這也導致了人工檢測疵點的誤檢率高、效率低下,需構建在線疵點檢測系統以滿足紡織企業中螺旋網的工業生產需求,但本文主要為驗證算法,實驗環境為靜態檢測。借助該疵點檢測系統,共采集無疵點網面圖像225張,其紋理重復單一,周期性強;芯絲缺失類疵點圖像83張,芯絲為單列或多列缺失;破洞類疵點圖像93張,具有不規則的紋理;錯環類疵點圖像15張,錯環處紋理發生不明顯變化,面積較小,較難識別;所構建數據集共包含416張圖像,有疵和無疵圖像比例基本達到 1∶1,訓練集和測試集比例為4∶1。采集到圖像實例如圖2所示。

圖2 圖像采集實例Fig.2 Examples of image acquisition

2 螺旋網LBP特征與提取

圖像特征是指能夠反應不同圖像特點和特性的集合,根據像素分布情況通過計算處理得到,圖像特征多以數據的形式表現出來。含有疵點的螺旋網圖像與不含疵點的螺旋網圖像存在特征差異,根據紋理特點選擇合適的特征是疵點檢測的關鍵。LBP是Ojala等[9]提出的一種描述圖像紋理特征的算子,LBP特征具有對光照變化不敏感、計算簡單、旋轉不變等優點,在多種領域得到廣泛應用。目前常用的算子包括基礎LBP算子、圓形LBP算子、旋轉不變LBP算子、均勻模式LBP算子和旋轉不變性均勻模式LBP算子。

2.1 圓形LBP算子

Ojala等[10]使用圓形鄰域的像素值插值允許在鄰域中任意半徑和數目的像素點,實現了不同尺度紋理特征的提取。其原理如式(1)所示：

(1)

其中：P為領域采樣點個數,R為鄰域采樣半徑,gc為像素中心點灰度,gp為領域像素點灰度。

(2)

其中：s(x)是描述鄰域內相鄰像素點灰度大小的符號函數。自定義采樣半徑和采樣點個數的圓形LBP模式如圖3所示。

圖3 不同P,R值的對應圓形鄰域Fig.3 Circular neighborhood for different P and R values

2.2 改進LBP算子

圓形LBP算子雖可以適應不同尺度的紋理特征,但該LBP模式的向量維度會隨著采樣點個數的增加而呈指數增長,不利于對螺旋網圖像的紋理特征進行描述。為減少含紋理信息較少的低頻信息,降低LBP維度,提高計算效率和速度,Ojala等[10]提出改進LBP算子,包括旋轉不變LBP算子、均勻模式LBP算子和旋轉不變性均勻模式LBP算子。

旋轉不變LBP原理如式(3)所示：

(3)

其中：ROR(x,i)是為旋轉函數,i表示x循環右移的位數。

均勻模式LBP原理如式(4)和式(5)所示：

(4)

(5)

式中：U記錄了LBP內0和1之間的跳變次數。非均勻模式LBP其特征維度為2P,而均勻模式LBP維度降低至2+P×(P-1)且能夠有效地表達圖像紋理信息。

旋轉不變性均勻模式LBP算子是前兩種改進LBP算子的結合,其特征向量維度僅為P+1。其原理如式(6)所示：

(6)

2.3 特征向量提取過程

首先將檢測窗口劃分成16×16的小區域(cell),根據不同的算子和尺度計算每個cell內中心像素點的LBP值,計算每個cell內每個數字出現的頻率,統計為直方圖,再對直方圖進行歸一化處理,以提高模型的精度,最后輸出為LBP特征向量。以旋轉不變性均勻模式LBP算子為例,螺旋網LBP特征向量的提取過程如圖4所示。

圖4 螺旋網LBP特征直方圖提取Fig.4 LBP feature histogram extraction of spiral meshes

3 疵點檢測

本文采用LBP特征對螺旋網疵點圖像檢測進行探究,但目前獲取的螺旋網疵點種類較少,所采集的圖像樣本量較少,SVM在解決小樣本、非線性模式識別中有眾多優勢[11],其決策函數由少數支持向量決定,剔除了冗余樣本,對于低維數據和高維數據都有良好的分類性能和魯棒性,故本節采用SVM進行試驗,實現螺旋網圖像的疵點檢測。

3.1 支持向量機

SVM的本質模型是特征空間中最大化間隔的線性分類器,尤其可對小樣本、高維度、非線性的數據進行有效學習和分類,擁有良好的泛化能力。對于線性可分數據,SVM直接對其線性可分情況作出分析;對線性不可分數據,SVM利用核函數將其映射到高維空間,構造高維空間中最大分類間隔超平面達到二分類目的[12]。SVM尋找最優超平面的原理如圖5所示,圖5中黑色圓形代表不含疵點的螺旋網圖像,白色菱形代表含有疵點的螺旋網圖像,其中最接近分類超平面的點為支持向量,螺旋網圖像的數據樣本形成兩個分類超平面,最優分類超平面即要求將有疵和無疵的螺旋網圖像完全正確的分類,并使分類間隔d最大,從而在螺旋網圖像數據進一步增多時,保證錯誤最小化原則。

圖5 支持向量機原理Fig.5 Schematic diagram of the support vector machine

針對螺旋網圖像數據樣本集合S,包含有疵圖像和無疵圖像兩種類型,為得到最優超平面H(yi=±1),yi對應兩種不同類型的螺旋網圖像,需根據H1和H2計算與H之間的空間距離d,根據計算設定無疵螺旋網圖像的分割超平面H1滿足式(7)。

(7)

有疵螺旋網圖像的分割超平面H2滿足式(8)。

(8)

用線性函數總結表示為式(9)。

y=(ωxi+b)

(9)

式中：ω為權值向量,b為偏置,x為輸入量,xi為計算時向量的內積。

通過計算可知,超平面的間隔距離為d=1/‖ω‖。所以二分類問題的最大間隔轉換為求0.5‖ω‖2最小值。懲罰因子(C)表示對螺旋網疵點檢測產生誤差的容忍程度,C越高越不能容忍誤差的出現,模型越復雜,運算時間較長。引入C后模型計算可轉化為式(10)。

(10)

其中線性核函數只用于線性可分情況;高斯核函數是使用最為廣泛的核函數,通過調整參數可以適用于任意分布的樣本,將非線性的多維樣本映射到高維空間中,核值可以在有效范圍內改變,同時避免空間復雜度過高,而且其相較于多項式核函數和Sigmoid核函數,其參數少,決策邊界多樣[13],為得到理想的螺旋網疵點圖像分類準確率,本文采用高斯核函數,其原理如式(11)所示。

(11)

式中：‖x-x′‖表示空間中任一點x和某一中心x′之間的歐氏距離,σ為數據在特征空間的分布方式。

引入拉格朗日乘子αi>0,yi>0對核函數計算后,轉化為式(12)。

(12)

經過高斯核函數處理后,根據式(13)即可求解超平面最短間隔,從而求得螺旋網有疵和無疵圖像的最優解。

(13)

式中：f(x)為高斯核函數。

3.2 基于SVM的檢測方案

基于所構建的數據集,將無疵點網面圖像標記為0,將有疵點網面圖像標記為1?；ALBP和圓形LBP特征存在向量維度過高的問題,不利于螺旋網紋理信息的描述;改進LBP可以在保留像素變化劇烈的高頻紋理信息的同時降低特征維度,采樣點個數為P時,非均勻模式LBP其特征維度為2P,均勻模式LBP特征維度為2+P×(P-1), 旋轉不變性均勻模式LBP算子特征維度僅為P+1。LBP特征向量的維度越小,運算速度越快,所包含的紋理信息越少。

為保證分類器的準確率,將通過5種不同LBP算子所提取到的特征向量輸入分類器中進行學習,實現螺旋網有疵點網面圖像的分類檢測。按照4∶1的比例構造訓練集和測試集,即訓練集包含333張螺旋網圖像,測試集包含83張螺旋網圖像。同時使用網格搜索和5折交叉驗證,對SVM的超參數進行調優。檢測流程如圖6所示。

圖6 實驗流程Fig.6 Flow chart of experiment

4 結果與分析

為了驗證本文算法對螺旋網疵點檢測的有效性和可行性,實驗采用Python編程語言實現。所采集到螺旋網圖像物理尺寸為8.20 cm×6.12 cm,圖像大小為1292×964像素,本節將從參數優選、檢測結果和方法對比3個方面對實驗結果進行分析。

4.1 參數優選

在對螺旋網提取LBP特征時,為避免螺旋網LBP特征維度過高,優先考慮三類改進LBP算子;由于螺旋網背景紋理性強,較難抑制,特征維度過低時對螺旋網紋理信息的描述可能不足,故在確定參數時采用特征維度較低且紋理描述較為全面的均勻模式LBP算子。隨著采樣半徑和采樣點個數的增加,對螺旋網紋理信息的描述會更加詳細,但也會使計算量增大,降低運算速度,且直方圖過于稀疏,不利于分類器分類。本文采用(1,8),(2,8)和(1,12)這3個尺度的LBP特征進行實驗。

對于SVM分類器,采用高斯核時,C和核半徑(γ)選擇對SVM性能產生較大的影響,C過大會使模型泛化能力差,導致過擬合,C過小容易會使分類效果不佳,導致欠擬合;γ值越小單個訓練樣本影響越大。本文經過多次試驗探究,預設懲罰系數C范圍為0.01～20,γ默認值為特征數目的倒數,γ范圍為默認值至0.1,通過網格搜索的方式對于預設的C和γ組合訓練模型,每組超參數都采用5折交叉驗證進行評估,獲得最佳參數。

由圖7可知,SVM分類器的參數C=10,γ為默認值1/243時,分類準確率最高為100%。

圖7 SVM參數調優Fig.7 SVM parameter tuning

4.2 檢測結果

分別提取多尺度下圓形LBP,旋轉不變LBPri,均勻模式LBPu2和旋轉不變性均勻模式LBPriu2的統計直方圖作為特征向量,對螺旋網圖像的LBP特征參數進行優選,采用SVM分別對LBP特征進行評估。其中SVM通過迭代實現對模型的訓練和優化,迭代是不斷通過變量舊值遞推新值的過程,從而獲得全局最優解,SVM訓練過程如 圖8 所示。

圖8 SVM訓練過程Fig.8 SVM training process

通過觀察和分析圖8可知,SVM在迭代至第227次時,達到最優分類準確率。

基于LBP特征和SVM分類器實現螺旋網疵點圖像分類的結果如表1所示。

表1 基于LBP特征螺旋網圖像分類結果Tab.1 Spiral mesh image classification results based on LBP features

通過觀察和分析表1, 在對螺旋網圖像提取均勻模式LBPu2特征時,(8,2)尺度的分類準確率達到了100%。疵點通常屬于局部的破損和異常,局部紋理的周期性遭到破壞,LBP對于局部特征比較敏感,可以對有疵和無疵區域進行有效區分,LBP采樣半徑會影響特征的精細程度,采樣點個數影響運算時間,(8,2)尺度的分類準確率高于(8,1)和(12,1)尺度,因此(8,2)尺度均勻模式LBPu2算子在保證運算速度的同時更能有效地描述螺旋網特征。相較于非均勻模式LBP,運行速度得到明顯提升,達到0.48 s/張。此時LBP特征數目為243,故此處取到γ=1/243。

4.3 方法對比

4.3.1 特征對比

為了驗證LBP特征在螺旋網上的優越性和實驗結果準確性,同時提取了螺旋網圖像的其他五個常用的特征作為對比[14],這5個特征分別是：灰度共生矩陣(Gray level co-occurrence matrix,GLCM)[15],灰度差分統計(Gray-scale difference statistics,GDS)[16],小波分析(Wavelets)[17],方向梯度直方圖(Histogram of oriented gradient,HOG)[18]和塔式方向梯度直方圖(PHOG)[19]。其中,小波分析特征是通過提取經小波濾波后螺旋網圖像的一維信息熵作為特征向量;由于本實驗采集到的圖像大小為1292×964像素,則所提取到的HOG特征維度達到了40716,為了避免維度災難,采用主成分分析(Principal component analysis,PCA)對所提取到的HOG特征進行降維[18]?；谠撐鍌€特征的螺旋網疵點圖像的分類結果如表2所示。

表2 基于其他特征螺旋網圖像分類結果Tab. 2 Spiral mesh image classification results based on other features

通過對表2 進行分析,螺旋網圖像提取LBPu2 (8,2)特征的運行速度雖不及GLCM、GDS、HOG-PCA特征,但分類準確率高于這5個常用特征,即LBPu2 (8,2)最能有效全面地描述螺旋網圖像的紋理信息,驗證了LBP特征具有良好的魯棒性。

4.3.2 分類器對比

采用最鄰近結點算法 (K-NN) 作為對比的分類器,使用本文所優選的(8,2)尺度的均勻模式LBP特征進行分類,預設K-NN近鄰數k為1-10,同時使用5折交叉驗證尋找最優的參數k,分類結果分別如表3所示。

表3 基于不同分類器的螺旋網圖像分類結果Tab. 3 Spiral mesh image classification results based on different classifiers

由表3可知,SVM最優分類準確率為100%,檢測速度為0.47 s/張;K-NN分類器的最優分類準確率為98.6%,檢測速度為0.60 s/張。本文數據集僅包含416張螺旋網圖像,SVM和K-NN分類器的分類準確率相差較小,但隨著實際生產中螺旋網數量的增多,準確率的差異會隨之增大,這就需要螺旋網疵點檢測算法有良好的穩定性和檢測速度,而SVM分類器的準確率和速度都優于K-NN分類器,人工檢測受主觀因素和疲勞的影響,誤檢率高,檢測速度慢。因此為保證螺旋網實際生產效率,本文采用分類效果更好的SVM分類器。

5 結 論

為了解決了現階段人工檢測螺旋網疵點誤檢率高、效率低和成本高等問題,本文基于分類思想,提出了一種適用于螺旋網疵點檢測的算法。研究發現最適合螺旋網疵點檢測的特征是采樣點個數為8,采樣半徑為2的均勻模式LBP算子;SVM最優參數為C=10,γ=1/243。實驗結果顯示對螺旋網有疵和無疵圖像的分類準確率達到100%,驗證了LBP算子具有良好的魯棒性,平均分類速度達到0.48 s/張,驗證了文本所提方法的有效性和高效性。通過對比不同的特征和分類器,驗證了本文方法對于螺旋網疵點檢測的適用性。本文所采集到螺旋網疵點圖像的樣本量較少,后續將在此基礎上繼續增加樣本數量,建立更加穩定的螺旋網疵點檢測系統。