基于深度學習的毛/粘混紡織物混紡比檢測技術

林素存,魏 菊,常帥才

(大連工業大學 紡織與材料工程學院, 遼寧 大連 116034)

羊毛纖維是珍貴的天然蛋白質纖維,具有良好的彈性、吸濕性、皮膚親和性,深受廣大消費者喜愛。羊毛纖維產量有限,價格昂貴,毛/粘混紡產品可以在保留羊毛織物優良風格的基礎上大幅降低原料成本,得到了市場的廣泛認可?；旒彵葘椢锏牧W性能、服用性能、價格具有重要影響,需進行準確檢測[1]。目前織物混紡比檢測方法應用最多的是光學顯微鏡法和化學溶解法[2]。光學顯微鏡法[3]依靠肉眼觀察纖維形態,主觀性較大,專業性要求較高;化學溶解法根據纖維的溶解性差異進行質量分析,步驟繁瑣,存在環境污染等問題。

隨著計算機視覺技術的飛速發展,國內外學者已經探究了許多紡織品檢測方法。在機器學習方面,Wen等[4]根據羊毛和羊絨的形態差異,選取鱗片直徑、高度及其比例作為特征值,輸入到貝葉斯分類模型中訓練,模型識別準確率達94.2%。趙宇濤等[5]研發了一種棉/亞麻自動檢測系統,提取棉和亞麻的直徑、扭曲度、充滿度等6個特征參數,引入反向傳播(BP)神經網絡模型訓練,提高了模型識別精度。陶偉森等[6]提出一種徑向基(REF)作為核函數的支持向量機(SVM)模型,將圖片處理后獲得的鱗片密度、鱗片面積等12個特征值輸入模型訓練,對羊毛和羊絨的識別準確率可達93.1%。在深度學習方面,肖登輝等[7]采集麻、棉纖維圖像建立了Faster RCNN網絡模型且模型的評價指標平均精度均值達到了0.91。劉瀚旗等[8]研究了Faster RCNN與YOLOv3 2種神經網絡模型在棉/麻混紡紗混紡比檢測上的應用,對二者學習率和數據增強部分進行改良,對比了二者的優缺點。

深度學習是一種由神經網絡模型學習圖像特征的機器學習方法,通過學習樣本中的圖像特征,獲得感知圖像中的數據信息的功能,從而完成目標檢測、圖像分割等任務[9]。將深度學習技術應用于混紡織物的混紡比檢測能夠有效避免使用化學試劑步驟繁瑣、環境污染等問題,同時還提高了檢測效率。深度學習技術在織物疵點檢測[10-11]、異纖檢測[12]領域已有廣泛應用,但尚無在毛/粘混紡織物混紡比檢測上的應用研究。本文采用光學顯微鏡采集纖維圖像,通過YOLOv5建立檢測模型并在主干網絡中嵌入卷積注意力模塊,增強分辨羊毛和粘膠纖維的能力,以實現毛/粘混紡織物混紡比的檢測。

1 實驗與方法

1.1 材料與儀器

材料:綿羊毛(平均直徑23.19 μm,變異系數21.61%,河北省清河縣宇冠絨毛制品有限公司);粘膠纖維(平均直徑15.29 μm,變異系數14.07%,湖北省襄陽大成兄弟紡織有限公司);毛/粘(50/50)斜紋法蘭呢(經紗線密度142 tex+138 tex,緯紗線密度91.5 tex×2,面密度256 g/m2,浙江省嵊州市華通毛紡織廠)。

儀器:Y172型哈氏切片器(江蘇省常州第二紡織機械有限公司);OLYMPUS CX31型生物顯微鏡(日本東京奧林巴斯株式會社);Shineso圖像分析系統(杭州迅數科技有限公司)。

1.2 圖像采集

將羊毛和粘膠纖維梳理整齊,用哈氏切片器從纖維樣本中切取長度在0.4～0.6 mm的纖維片段,將其分散在純水中制備纖維切片。在不同光照強度下拍攝放大400倍的纖維縱向顯微鏡圖像,統一保存為2 048像素×1 536像素的JPG格式圖像。當顯微鏡視野中纖維過于密集或纖維有交疊現象時不予拍攝。共采集了468張纖維圖像,采集的羊毛和粘膠纖維圖像如圖1所示。

圖1 纖維縱向光學顯微鏡照片(×400)Fig.1 Longitudinal optical microscope photo of fibers (×400).(a)Viscose fibers; (b) Wool fibers

1.3 數據集處理

使用Labeling工具標注圖片形成VOC2007格式的數據集,生成xml格式文件,每個文件包含圖片的大小、保存路徑、圖片中所有纖維的位置坐標信息、類別。標注框包圍整根纖維,處在邊緣以及超短的纖維不進行標注。標注共計2 305 根纖維,其中羊毛826 根,粘膠1 479 根。按照8∶2的比例,將數據集劃分為訓練集和測試集。

1.4 混紡比檢測模型構建

作為深度學習算法之一的單階段目標檢測算法YOLOv5有著很高的檢測速度,被應用于多領域。YOLOv5算法可直接處理輸入的整張圖像,將圖像劃分成7×7的網格,每個網格負責預測該網格內的目標邊框和類別概率,然后去除概率低的邊框和冗余窗口,輸出目標預測框[13]。綜合考慮模型大小和檢測精度,選用YOLOv5作為基礎模型。圖2所示YOLOv5分為4個部分:輸入端(Input)、骨干網絡(Backbone)、頸部網絡(Neck)和預測端(Prediction)。

圖2 YOLOv5網絡結構Fig.2 YOLOv5 network structure

1.4.1 輸入端

輸入端包含Mosaic數據增強(Mosaic data augment)、自適應錨框計算和自適應圖片縮放操作,主要對輸入的羊毛和粘膠纖維數據集進行圖像預處理,形成特征圖,方便網絡更好地提取信息。由于輸入的纖維圖像尺寸過大,首先根據縮放比例統一縮放并用黑邊填充為640像素×640像素的標準尺寸;當黑邊過多時,出現信息冗余,影響檢測速度,自適應圖片縮放操作通過添加最少的黑邊以減少計算量。在網絡訓練中,以錨框為基礎生成預測框,通過引入自適應錨框計算操作,根據建立的纖維數據集計算錨框。數據增強能夠增加數據量,從輸入的原始纖維圖像里任意選取4張圖像拼接,經無規律地隨機剪裁、翻轉、縮放等操作形成1張圖像作為訓練樣本,豐富數據集。

1.4.2 骨干網絡

由聚焦模塊(Focus)[14]、標準卷積模塊(Conv)、三卷積跨階段局部瓶頸模塊(C3)和空間金字塔池化模塊(SPP)構成的主干網絡通過層層卷積輸入端處理后的纖維圖像,目的是提取出不同層次的纖維圖像特征。輸入640×640×3的纖維圖像首先經過Focus模塊使其整合為320×320×32通道的特征圖,實現圖像信息的壓縮以減少參數量,提升訓練速度;接著輸入Conv,對特征圖執行卷積層、歸一化層、SiLU激活函數(Sigmoid-weighted Linera Unit)操作,實現纖維特征信息的提取;并在C3模塊作用下增加網絡深度,把握纖維的全局信息。SPP使用3種不同大小的池化層對特征圖進行提取,實現不同尺度的特征捕捉,增強特征圖的表達,降低了模型訓練門檻,提高預測框的產生速度。

1.4.3 頸部網絡

淺層的神經網絡提取纖維的顏色、紋理、輪廓等圖形特征;隨著網絡的加深,對圖形特征不斷融合從而產生了語義特征,高層語義特征包含豐富的組合信息,同時也會損失一些圖形特征。勁部網絡端通過特征金字塔(FPN)[15]和路徑聚合網絡(PAN)結合的方式可以更好地融合低層圖形特征和高層語義特征,提高網絡性能。FPN將高層特征的語義信息自上而下以上采樣(Upsample)的方式傳遞下來,與主干網絡傳入的不同尺度特征圖做特征融合(Concat);而PAN[16]是自下而上傳遞低層特征的定位信息,獲取不同尺度的特征圖并與語義信息做更好的融合,得到更加完整的纖維特征信息,增強檢測能力。

1.4.4 預測端

頸部網絡輸出的3個特征圖傳入預測端卷積得到3個尺寸的檢測特征層,負責輸出檢測信息,適用于大、中、小3種目標的檢測,并根據損失函數和非極大值抑制算法(NMS)優化參數權重。損失函數又分為3個部分:位置損失、分類損失、置信度損失,用于評估預測的準確性。同時,YOLOv5模型采用非極大值抑制算法對生成的所有預測框與置信度最高的預測框進行交并比(IoU)遍歷計算,篩選出預測結果最好的預測框作為預測輸出結果,避免出現同一個纖維多次統計的情況。

2 過程與結果

2.1 實驗配置

模型基于深度學習框架Pytorch 1.10,程序語言Python 3.7,硬件配套為NVIDIA GTX 1080Ti,操作系統為Windows 10。利用YOLOv5預訓練模型進行遷移學習。設置模型訓練參數:迭代批處理大小值為8、迭代周期為50。模型評價指標選用平均精度均值(mAP值)來衡量模型對于羊毛纖維和粘膠纖維的識別效果,mAP值越大,檢測效果越好。

2.2 混紡比檢測模型優化與訓練

作為單階段目標檢測算法,YOLOv5的檢測精度會隨著檢測目標大小而發生變化,目標越小識別效果越差。纖維屬于小目標,訓練結果不穩定且精度較低,因此在檢測模型中加入了卷積注意力模塊(CBAM)[17],使其忽略背景信息,聚焦于纖維特征。CBAM包括通道注意力和空間注意力2個子模塊,可以從不同的通道和空間維度給特征圖分配權重,從而加強目標的信息。傳入的纖維特征圖先在通道注意力子模塊中經全局平均池化層和最大池化層來捕獲全局信息和局部信息,得到最大和平均2個特征向量,再輸入到MLP神經網絡和Sigmoid函數(Sigmoid function)內獲取通道權重,動態調整每個特征通道,生成加強表達的特征圖;由通道注意力模塊處理后的特征圖在空間注意力子模塊中同樣進行全局平均池化和最大池化操作,由最大池化突出主要特征,平均池化感知整體,經過卷積層和Sigmoid激活函數,得到注意力機制模塊的輸出特征圖[18]。注意力學習機制在深度學習領域有著廣泛的應用,以增強重要特征的表達能力,提高對細小纖維的檢測精度和識別效果。本文將CBAM模塊添加到主干網絡的第3個C3模塊之后,方便增加網絡的深度,使網絡更好理解特征圖的重要信息,進而提高識別精度。

為了進一步提高纖維的識別率,增加了不同顏色的羊毛和粘膠纖維圖像以擴充數據量。同時,以純水為分散介質制作纖維切片時容易產生氣泡,對于模型學習影響較大,因此對處于氣泡周圍的纖維不進行標注。經過模型訓練,mAP值為0.93,認為模型達到穩定收斂。模型訓練的mAP值變化曲線如圖3所示。

圖3 模型訓練過程中的mAP值變化曲線Fig.3 Comparison of mAP curves during model training. (a) Without CBAM added; (b) After adding CBAM

2.3 混紡比檢測模型測試

采用訓練好的毛/粘混紡織物深度學習混紡比檢測模型對市售毛/粘(50/50)混紡織物進行檢測,以測試其有效性。從待測織物上拆取一定量的經緯紗,切取0.4～0.6 mm長的纖維片段與純水按1∶600的比例混合分散,滴取適量分散液到載玻片上,拍攝光學顯微鏡照片(×400)并輸入到上述模型中進行纖維識別并計數,纖維識別效果如圖4所示。

圖4 模型對2種纖維的識別效果Fig.4 Identification effect of the model on two types of fibers

識別結束后,根據模型統計出的2種纖維根數,按照GB/T 16988—2013《特種動物纖維與綿羊毛混合物含量的測定》計算混紡比,計算公式如式(1)所示:

(1)

式中:Pi為某組分纖維質量百分比,%;Ni為某組分纖維的計數根數;Di為某組分纖維平均直徑,μm;Si為某組分纖維平均直徑標準差,μm;ρi為某組分纖維的密度,g/cm3。

采用顯微鏡直接觀測法測量混紡織物中纖維直徑,以液體石蠟作為分散介質制備纖維縱向切片,測試300根羊毛纖維和150根粘膠纖維的直徑,測得樣布中D粘膠為13.91 μm,S粘膠為2.51 μm;D羊毛為22.62 μm,S羊毛為8.60 μm。結合ρ粘膠為1.50 g/cm3,ρ羊毛為1.32 g/cm3計算織物混紡比[19]。

上述模型對同一毛/粘(50/50)混紡織物的3次獨立測試結果如表1所示。3組混紡比檢測結果與樣品的名義混紡比差異值較小且都在2%以內,說明基于深度學習的毛/粘混紡織物混紡比檢測具有較高的穩定性。

表1 基于深度學習技術的混紡比檢測結果Tab.1 Blending ratio detection results based on deep learning technology

2.4 混紡比檢測模型校驗

依據GB/T 2910.4—2022《紡織品 定量化學分析 第4部分:某些蛋白質纖維與某些其他纖維的混合物(次氯酸鹽法)》和GB/T 40905.1—2021《紡織品 山羊絨、綿羊毛、其他特種動物纖維及其混合物定量分析 第1部分:光學顯微鏡法》分別對毛/粘(50/50)混紡織物進行化學溶解法和光學顯微鏡法混紡比測定,不同檢測方法測得混紡比差異值的計算公式如式(2)所示:

(2)

由表2可以看出,深度學習法與化學溶解法、光學顯微鏡法的混紡比差異值分別為0.1%和1.8%,且與名義混紡比相近,說明深度學習法的檢測結果具有良好的可靠性。

表2 3種檢測方法P羊毛/P粘膠檢測結果對比Tab.2 Pi comparison results of the three testing methods

3 結束語

針對光學顯微鏡法和化學溶解法檢測織物混紡比出現的效率低和污染問題,本文基于深度學習技術,研究了目標檢測算法YOLOv5在毛/粘混紡織物混紡比檢測上的應用。制備以純水為分散介質的羊毛和粘膠纖維切片,構建纖維的光學顯微鏡圖像數據集,將上述圖像數據集引入到模型中訓練與測試,并通過數據集擴充和在主干網絡層嵌入卷積注意力模塊進一步優化模型,使得模型對羊毛和粘膠纖維檢測的平均精度均值達到0.93。用深度學習模型測得的市售的毛/粘混紡織物混紡比與名義混紡比差異在2%以內;在此基礎上,用光學顯微鏡法和化學溶解法對深度學習模型進行校驗,混紡比差異在2%以內,說明所開發的以YOLOv5為基礎的毛/粘混紡織物混紡比檢測模型具有一定的可靠性。在此基礎上增加纖維數據集,可以進一步提高檢測的準確性。