基于生成對抗網絡的非織造布二維圖像重建

王志祿,侯 玨,1b,2,楊 陽,1b,劉 正

(1.浙江理工大學,a.服裝學院;b.浙江省服裝工程技術研究中心;c.國際時裝技術學院,杭州 310018; 2.武漢紡織大學武漢紡織服裝數字化工程技術研究中心,武漢 430073)

非織造布是由定向或隨機排列的纖維成網加固而成,內部具有復雜的纖維結構。探究纖維集合體的內部結構有助于分析非織造布的力學性能、透氣性、過濾性能等特性,為非織造布的設計和應用提供指導[1-3]。

目前,對非織造布的內部結構分析往往采用CT設備,該設備成本較高,測試流程復雜。研究人員通常采用參數模擬或分形理論對非織造布的結構進行建模。潘鶯等[4]使用計算機生成隨機排列的直線來模型熔噴纖網的孔徑分布,并與實際的單層熔噴纖網進行對比分析。Simmonds等[5]基于纖網平面一致性理論,通過多層直線狀纖維網疊加構造出非織造布孔隙分布模型。金關秀等[6]以纖維根數、纖維平均直徑以及纖維直徑變異系數為參數,運用MatLab編程對非織造布圖像進行建模。上述研究中模擬的纖網雖然與實際的非織造纖網在孔隙率等指標接近,但是其纖維形態呈直線,與實際的纖維卷曲形態相差甚遠。楊旭紅[7]利用隨機分形曲線模擬纖維的卷曲形態,進而模擬出各種類型的非織造纖維網。高貴[8]將分形理論與圖像處理技術結合,提出了分形維數與纖維網的隨機程度、孔隙率成正相關的理論模型。分形理論解決了纖維形態難以表達的問題,但該理論只是抽象地對非織造結構進行概括性描述,無法具象地重構真實的非織造布結構。Wang等[9]基于生成對抗網絡對拆分后的單根纖維圖像進行重建,并使用重建后的單根纖維在一定空間內隨機分布重構出非織造布的三維結構。然而,由于纖維之間存在相互作用力,拆分后的纖維失去力的作用后形態發生變化,基于此重建出的纖維圖像并不能反映非織造布結構的真實纖維狀態。

上述方法模擬生成的纖網結構形態與真實情況有著較大的差異,容易造成非織造布性能評估的誤差?；隗w視學理論,使用二維圖像結構的統計信息能夠分析非織造布的內部結構[10]。為了重建出與真實纖維結構一致的非織造布二維圖像,構建基于多尺度訓練策略的纖維生成對抗網絡(Fiber generation adversarial network,FGAN),通過對非織造布顯微圖像樣本進行訓練學習,可實現真實的非織造布纖維結構圖像重建。重建出高質量且真實的非織造布纖維圖像能夠用于非織造布立體結構的建模和仿真。

1 非織造布圖像生成模型

1.1 生成對抗網絡

生成對抗網絡(Generate adversarial networks,GANs)是一種無需大量標注數據就能學習圖像深度信息的方法[11]。生成對抗網絡由生成器G和判別器D兩部分組成,其模型結構如圖1所示。生成器G是由參數化后的深度神經網絡模型實現,其輸入是一個從高斯分布中采樣的隨機向量Z,輸出可以看作采樣于某個分布的一個樣本X假。假設真實數據的分布為Pdata,在給定大量真實數據的前提下,對生成對抗網絡進行訓練,使得生成器G生成的數據分布接近于真實數據的分布,從而生成類似于真實數據的樣本。在這個過程中,D的輸入是由真實樣本和生成樣本兩部分組成,D的作用是判別兩個樣本之間的差異。當G和D經過訓練達到平衡狀態,即D無法判斷真實樣本和生成樣本之間的差異,此時可以認為生成器G擬合了真實數據的分布。輸入一個從高斯分布采樣的隨機向量Z,生成器便能重建出一張非織造布圖像。

圖1 GAN模型結構圖Fig.1 GAN model structure diagram

1.2 模型結構

本文參考GANs[12]基本框架構建了生成模型FGAN。為了生成器穩定重建出高質量的非織造布圖像,判別器對網絡最后3個特征層的輸出進行監督,同時為了增加模型訓練過程的穩定性,采用PixelwiseNormalization歸一化層并引入標準化層。FGAN結構如圖2所示,模型使用一個全連接層對隨機向量Z進行特征映射,然后將其調整成一個尺寸為16×16×512的三維矩陣(16×16表示輸入圖像的分辨率,512表示輸入圖像的維度)。

圖2 FGAN模型結構圖Fig.2 FGAN model structure diagram

生成器的網絡結構一共有6層,每一層由3個基礎模塊組成,分別為卷積層、PixelwiseNormalization歸一化層和LeakyReLU激活函數。與傳統GANs使用BatchNormalization歸一化層不同的是,PixelwiseNormalization歸一化層沒有需要訓練的參數,其作用是將特征層中的每個像素在不同維度上的值歸一化,PixelwiseNormalization歸一化層公式為：

(1)

式中：ax,y、bx,y分別是輸入和輸出的特征層,是防止除以零的常數。該模塊能夠防止像素位置上的信號在訓練過程中失控,提升訓練的穩定性。上采樣層將分辨率尺寸擴大為原來的兩倍,并且第1個卷積層將維度數減少為原來的一半,直到特征的空間尺寸達到512×512,維度減少到3,即紅、綠、藍3個通道。判別器的網絡結構可以看作為生成器的鏡像,如圖2所示,判別器的輸入分別是生成的假圖和真實非織造布圖像,輸出的是一個概率值,用于表示輸入數據是真實數據還是生成器生成的數據的概率。判別器的結構同樣有6層,每層中間有一個下采樣層使得圖像的尺寸減半,第1個卷積層將維度數擴大一倍。判別器最后一層中引入標準化層,該層沒有需要訓練的參數,其作用是求取一個訓練批次(Batch)內各個像素在維度上對應標準差,再求其均值,將其作為一個新維度與原來的特征層拼接。該維度反映了訓練批次內像素在維度上的平均標準差,為模型提供了更豐富的特征表示,從而指導生成器生成更加多樣化、更加接近真實數據分布的非織造布圖像。

1.3 損失函數

FGAN的損失由3部分組成：生成器損失、判別器損失和多樣性損失。生成器損失的作用是讓生成器生成逼真的非織造布圖像,由內容損失和正則化項構成。內容損失用于衡量生成器生成的圖像與真實圖像之間的差異,使用均方誤差(Mean squared error,MSE)來計算。正則化項的作用是防止生成器崩潰或產生不穩定的輸出。生成器損失函數可以用式(2)表示：

(2)

本文判別器損失函數由兩部分組成：Wasserstein距離[13]和梯度懲罰項。Wasserstein距離用來衡量兩個分布之間的相似度,可以用來度量生成圖像和真實圖像之間的差異。梯度懲罰項可以防止在訓練過程中出現梯度爆炸和梯度消失。判別器的損失LD可以用式(3)表示：

(3)

為了增加生成器生成樣本的多樣性,本文引入了權重多樣性損失WMI Loss。WMI Loss運用于每個訓練批次,在模型訓練過程中,WMI Loss計算生成數據分布與真實數據分布之間的KL散度均值。通過最小化LWMI(G)損失,可以使生成器生成更接近真實數據的樣本,避免只生成單一纖維結構的非織造布圖像。多樣性損失LWMI(G)用式(4)表示：

(4)

式中：G是生成器,N是樣本數量,xi是輸入樣本,z是隱空間向量,P(z)是隱空間的先驗分布,Q(z|G(xi))是在給定輸入xi的情況下生成器生成的z的分布,K為KL散度,I表示KL散度運算符。

綜上,模型的總損失Ltotal可以表示為：

Ltotal=LG+LD+λLWMI

(5)

式中：λ是超參數,用于控制多樣性損失在總損失中的權重。通過多個批次的訓練,計算目標函數的值,并通過反向傳播機制來得到誤差梯度,以利用梯度下降法來降低網絡的訓練誤差,最終的目標是獲得符合預期的高質量非織造布圖像。

1.4 模型的多尺度訓練

在傳統GANs的訓練中,通常采用一次性訓練方式,即同時訓練生成器和判別器的所有層。這種方式存在訓練不穩定、生成圖像質量差等問題[14-15]。為解決這一問題,本文在ProGan[16]網絡模型的漸進式訓練基礎上將模型的訓練改進為多尺度訓練策略,不同分辨率圖像對應訓練不同網絡層。判別器不僅對最后生成圖像進行監督,還對前兩個網絡層的輸出特征進行監督。多尺度訓練策略有助于避免整體訓練過程中出現梯度消失或梯度爆炸等問題,并且使生成器能夠同時關注圖像的細節和整體結構。通過在不同尺度上對生成圖像進行監督,可以鼓勵生成器生成更加逼真和細致的圖像。

1.5 模型的評價指標

基于生成對抗網絡重建的圖像通常從以下兩個方面進行評估：一是圖像的質量,生成的圖像是否真實,是否清晰,結構是否完整;二是多樣性,在圖像生成任務中,生成器所生成的圖像應該具有多樣性,如果生成單一纖維結構的無紡布圖像,即出現模式坍塌的現象。一般使用 Inception score(IS)和 Fréchet inception distance(FID)兩種常用指標對圖像進行評估。IS是基于Inception網絡的分類器來計算圖像的分類置信度和類別分布熵。然而,其網絡分類在大規模圖像分類任務(ImageNet)上進行訓練,在本文的非織造布數據集上的適用性受到限制。FID能夠適應不同數據集的特征分布差異,因此本文選取FID進行評價。FID使用一個預訓練的圖像分類器網絡作為特征提取器,該網絡能夠從圖像中提取出高級語義特征,這些特征是分類器網絡中某一層的輸出。FID的計算可用式(6)表示：

(6)

式中：μr、μg和∑r、∑g分別表示生成和真實非織造布圖像的特征均值與方差。真實圖像與生成圖像特征越接近,其均值與協方差就越小,則FID值也越小,生成圖像的質量越高。

2 實驗部分

2.1 數據集構建

為了獲得高質量的非織造布圖像,采用全自動光學顯微鏡對一塊粘膠熔噴非織造布(面密度為 30 g/m2,厚度為0.153 mm)樣品拍攝獲得纖維圖像。顯微鏡平臺為北昂醫療器械(上海)有限公司生產的M318型全自動顯微鏡,主要包含攝像機、目鏡、物鏡、載物臺、20 W鹵素光源與三軸電機等,如圖3所示。拍攝獲得大小為1392×1040個像素的RGB圖像,同時在拍攝圖像的過程中,移動不同視野獲得不同纖維結構的圖像,最終得到原始圖像1150張。為了滿足模型的訓練要求,如圖4所示對圖像進行裁剪獲得大小為512×512個像素的訓練圖像和驗證圖像6975 張,其中：5875 張用于模型訓練,1000 張圖像用于計算模型的評價指標,100張圖像用于驗證模型性能。數據擴充是訓練卷積神經網絡常用的方法[17],能夠有效防止模型過擬合,5875 張圖像經過垂直、水平翻轉擴充,獲得23000 張用于訓練。

圖3 全自動光學顯微鏡Fig.3 Fully automatic optical microscope

圖4 纖維顯微圖像的裁剪Fig.4 Cropping of the captured image

2.2 訓練參數與環境配置

本文訓練模型設置初始學習率為0.0001,使用Adam優化器,動量參數為0.0,學習率衰減率為0.99。訓練數據尺寸調整為16×16、32×32、64×64、128×128、256×256、512×512,調整后的圖像如圖5所示,用于訓練不同特征層,單個訓練批次輸入圖像數量分別為256、128、64、32、8、4。所有訓練數據訓練完一輪稱為1個epoch,不同特征層對應的訓練epoch次數為20、20、20、20、20、50次。模型訓練環境配置：采用Windows 10的64 位操作系統,使用深度學習框架Pytorch1.13.1,CPU為3.60 GiHz Intel(R) Core(TM)i7-12700KF,GPU為NVIDIA GeForce RTX 3080 Ti。

圖5 不同分辨率下的纖維顯微圖像Fig.5 Fiber microscopic images at different resolutions

2.3 生成效果展示

通過使用大量真實的非織造布圖像對模型進行逐步增強訓練和整體訓練,總訓練耗時68.5 h。最終模型學習到非織造布的纖維結構分布,輸入一個從高斯分布中采樣的隨機向量便能夠生成一張真實的非織造布圖像。在整體訓練階段每隔5個epoch便對模型進行一次驗證并保留該批次的模型參數文件。驗證示例圖像如圖7所示。從 圖6 中可以看出,在訓練初期模型能夠學習到整體的纖維結構分布,但在細節上不夠完美,有較多的纖維并不連續,并且纖維結構不夠真實。隨著訓練批次的增加,模型對整體纖維結構不斷優化,纖維的形態和連續性越來越自然,最終生成圖在纖維形態上與真實圖幾乎一致。

圖6 不同訓練批次下的生成圖像和真實圖像Fig.6 Generated and real images of different training batches

2.4 對比實驗

為驗證本文所提出模型FGAN的性能,進行了一系列的對比實驗。實驗結果如圖7所示,分別是DCGAN[18]、WGAN-GP[19]、BEGAN[20]、PROGAN[16]、FGAN的生成圖像結果和真實圖像。從圖7可以看出,DCGAN在本文非織造布圖像重建中存在圖像模糊、纖維結構不清晰的問題。WGAN-GP和BEGAN重建的圖像中纖維結構不真實,圖像有明顯失真?；谠肼暽筛哔|量圖像的方法PROGAN,從視覺效果上生成了較真實的非織造布圖像,但生成的圖像的質量與真實圖像仍有差距,纖維的顏色和結構與真實圖像有明顯差異。與上述方法相比,本文提出的FGAN可以生成結構多樣化的非織造布圖像,并且在視覺上幾乎和真實圖像一致;同時FGAN產生的圖像并未出現失真問題。這主要是由于模型采用逐層訓練的方式,在訓練階段學習到更好的數據分布;此外,引入的WMI Loss也有助于提升模型的性能。

本文使用FID定量評估模型,結果如表1所示。從表1可見,模型所生成的圖像的FID值為25.51,相較于PROGAN降低了35.77%,且遠低于DCGAN、WGAN-GP、BEGAN。相比之下,本文提出的模型能生成更高質量,纖維結構更真實的非織造布圖像。

表1 FGAN與其他生成模型的對比Tab.1 Comparison between FGAN and other generative models

2.5 消融實驗

為了進一步驗證WMI Loss和多尺度訓練策略的有效性,本文FGAN進行了消融實驗,實驗結果如表2所示。使用傳統訓練策略訓練模型,得到模型生成圖像的評估指標FID值為40.21,添加WMI Loss后模型生成圖像的FID值降低了20.31%,表明WMI Loss有助于生成器學習更多的纖維結構信息。此外,采用多尺度訓練策略與傳統一次性訓練所有層相比FID降低了24.52%,表明該方法同樣能夠提高模型的性能。WMI Loss與多尺度訓練結合進一步增強了模型的生成能力,從而生成了纖維排列更真實的非織造布圖像。

表2 不同方法的消融實驗結果Tab.2 Results of ablation experimentsby different methods

2.6 驗證實驗

分析非織造布孔隙結構的方法分為：實驗法和圖像法。實驗法測量孔隙率的方法有多種,包括液體滲透法、氣體滲透法、壓汞法等。液體滲透法和氣體滲透法是通過測量滲透液體或氣體的體積來計算孔隙體積,相對簡單易行,但在處理一些特殊非織造布時可能存在一定的局限性。壓汞法可以直接測量孔隙體積,但在實驗過程中需要使用昂貴的壓力計和有毒的汞,不太適合大規模應用。

相對于實驗法,圖像分析法有著明顯的優勢。首先,圖像法不需要接觸樣品,避免了樣品損傷和污染,能夠更好地保護樣品的完整性。其次,圖像法能夠觀察孔隙形態和大小,提供更為詳細、準確的孔隙信息,這對于研究非織造布的物理性質和結構特征有重要意義。相關研究[21]對比了實驗法和圖像法測量織物的孔隙率,結果表明實驗法在測試過程中受多種因素的干擾而影響最終的結果。因此為了驗證本文模型生成非織造布圖像的真實性,采用圖像法分析驗證真實圖像與生成圖像的平均孔隙率以及孔隙分布,分析過程如圖8所示。

圖8 圖像法分析過程Fig.8 Image analysis process

采取孔隙率和孔隙分布兩個指標對非織造布圖像的結構進行量化分析,生成圖像和真實圖像經過二值化處理后,計算圖中白色像素占總像素的比值即為孔隙率?？紫堵师沼檬?7)表示：

(7)

式中：φ表示孔隙率,Ap表示孔隙面積,At表示總面積。

使用OpenCV圖像處理庫函數獲取圖像中的連通區域,每一個連通區域代表一個孔隙,計算出每個連通區域內的像素個數,以該數值作為孔隙的大小。使用訓練好的模型重建出100張非織造布圖像與100張未參與模型訓練的驗證圖像,經過如圖8所示的處理過程后計算得到每張圖像的平均孔隙率,結果如圖9所示。從圖9中可以看出,模型生成圖像的平均孔隙率(30.02%)與真實非織造布的平均孔隙率(30.87%)十分接近。

圖9 生成圖與真實圖孔隙率Fig.9 Porosity of generated and real images

統計出生成圖像與真實圖像中孔隙的數量,結果如圖10所示,得到生成圖像與真實圖像的孔隙數量分布曲線重合度較高,在不同的區間內有著數量接近的孔隙,模型生成的非織造布圖像孔隙分布與真實圖像一致。

圖10 生成圖與真實圖孔隙分布Fig.10 Pore distribution in generated and real images

3 結 語

本文提出了一種基于生成對抗網絡的非織造布圖像重建新方法。構建了纖維生成對抗網絡模型FGAN,通過真實的非織造布圖像數據集進行訓練學習,實現了對高分辨率非織造布圖像的重建。為了驗證重建圖像的纖維結構排列與真實圖像的一致性,選取了孔隙率和孔隙數量分布兩個指標,對100張真實圖像與生成圖像進行了對比分析。結果顯示,FGAN重建的圖像與真實圖像在纖維形態與結構分布上接近一致,且生成圖像的質量優于其他模型,驗證了本文方法的可行性?；隗w視學理論,通過堆疊二維圖像能夠對非織造布的真實三維結構數據進行建模和仿真,本文研究成果可為非織造布立體結構分析研究提供技術支撐。