基于DCGAN算法的服裝效果圖生成方法

郭宇軒,孫 林

(大連工業大學 服裝學院, 遼寧 大連 116034)

服裝效果圖是服裝設計中的重要環節,設計師通過服裝效果圖表現服裝款式、色彩以及材料,為后續成衣生產提供形象依據和設計方案[1]?；ヂ摼W電商與快時尚產業的發展加速了時尚產品的迭代[2],消費者對個性化設計的需求增加,設計環節需要提高效率以適應快節奏的服裝生產周期。傳統的服裝效果圖繪制主要依賴設計師的設計靈感、個人審美和繪畫技術,設計師常使用畫筆或Photoshop等計算機軟件進行人工繪制,需要消耗大量精力,導致出現設計方案片面、設計風格固化以及創意靈感匱乏等問題。

機器學習與深度學習算法在圖像生成領域的應用為設計的智能化提供新的思考維度,生成對抗網絡(Generative Adversarial Networks, GAN)算法及其衍生網絡給予設計提供新的途徑,在汽車造型設計[3]、迷彩圖案設計[4]以及服裝款式搭配[5]等領域均有應用。在服裝設計領域,Wu等[6]提出的ClothGAN模型可生成帶有敦煌元素的時尚服裝;Tirtawan[7]提出的條件生成對抗網絡(Conditional Generative Adversarial Networks, CGAN)能夠生成蠟染圖案服裝;Ping等[8]提出了一種用于編輯上衣的衣領、袖長等屬性的Fashion-AttGAN算法;任雨佳等[9]使用深度卷積對抗網絡(Deep Convolutional Generative Adversarial Networks, DCGAN)進行小黑裙的款式設計,提出了服裝款式個性化設計的方法。通過優化算法能夠提高GAN模型的性能,王文靖等[10]對GAN系列模型的改進提高了生成服裝圖片的質量;Makkapati等[11]引入的對稱損失優化 GAN 模型減少了訓練時間。目前圖像生成領域更加注重高分辨率圖像生成,在圖像質量提高的同時也增加了模型訓練時間和訓練難度[12]。

相較于深度置信網絡(Deep Belief Networks,DBN)、變分編碼器(Variational Auto-Encoder, VAE),GAN模型生成圖像質量更高,生成數據更加多樣[13]。DCGAN在GAN的基礎上進行改進,能夠更好地捕捉圖像特征,相比于生成高清圖像的StyleGAN模型,DCGAN的硬件要求與訓練時間成本低,圖像生成效率高[14]。服裝效果圖生成的任務重點是提取服裝特征并快速表現服裝色彩、款式以及人體,DCGAN模型可以較好平衡模型訓練時間與圖像質量的關系,其隱含空間(Latent Space)效應能大大豐富生成設計的多樣性,適合執行快時尚類服裝效果圖生成任務。

本文提出一種基于DCGAN模型生成服裝效果圖的設計方法,通過整理時尚秀場數據集,調整和訓練DCGAN模型提取服裝色彩和款式特征,快速生成符合流行趨勢的服裝效果圖供設計師參考,以期為服裝設計的智能化與自動化提供新的途徑。

1 生成對抗網絡

GAN是2014年由Goodfellow等[15]提出的一種深度生成模型,網絡結構由生成器(Generator)和判別器(Discriminator)構成。生成器通過學習真實圖片生成假圖片,判別器的目的是判斷輸入數據是來自真實數據分布還是來自生成器數據的分布,通過生成器與判別器相互博弈,最終生成器能生成出判別器判斷不出真假的圖像。GAN的目標函數定義為:

[logD(x)]+Ez～pz(z)[log(1-D(G(z)))]

式中:G表示生成器;D表示判別器;E表示期望值;V表示最大化2項之和;p表示概率分布;z表示輸入服從正態分布的隨機向量;x表示真實圖片分布中的隨樣本;D(x)表示判別器判別輸入真實圖像為真的概率;D(G(z))表示判別器判別生成圖像為真的概率。

2016年Radford等[16]在GAN的基礎上提出DCGAN,DCGAN成功將卷積神經網絡(Convolutional Neural Network, CNN)模型嵌入到 GAN 模型中。CNN可以更有效提取圖像特征,提升模型生成圖像的表達能力。以大量特定形態的現實圖像作為訓練數據時,DCGAN可以從大批量無標記的產品圖像中學習到良好的中間特征,生成與真實產品具有相似特征的圖像,從而衍生出新的設計方案[17]。DCGAN的隱含空間效應能使1張生成圖像平滑地過渡成為另1張生成圖像。在模型生成圖像的過程中,2張生成圖片間的過渡狀態有可能將不同的服裝色彩與款式映射在同一張生成圖片中,形成原創的服裝設計,因此本文選擇DCGAN模型進行服裝效果圖生成實驗。

2 服裝效果圖生成實驗

2.1 實驗流程框架

根據任務目標與實驗流程構建如圖1所示的服裝效果圖生成任務系統框架,整個系統框架包括數據集構建、模型訓練、圖像評價和交互設計4個部分。

圖1 服裝效果圖生成任務系統框架Fig.1 Effect drawing generation task system framework

首先,對近年來自巴黎、米蘭、倫敦、紐約的時裝周秀場圖片進行預處理與篩選后作為訓練數據集訓練DCGAN模型。模型訓練開始前需要對原始DCGAN模型進行調整,在保留原有CNN模型的同時調整網絡結構,提高生成圖像分辨率,模型開始訓練后由生成器提取新的服裝效果圖設計方案。圖像評價由設計師完成,通過對生成圖片進行主觀篩選,評估模型生成圖片效率和設計師滿意度,設計師對生成圖像的滿意度是生成質量的重要參考標準。最后,設計師可以根據實際情況對生成圖片進行主觀調整和優化,通過交互設計的方式獲得最終服裝效果圖。

2.2 數據集收集與預處理

選擇2018—2023年巴黎、米蘭、倫敦、紐約時裝周的女裝秀場圖片作為訓練數據來源,為保證生成圖片人體特征的統一性,只選取秀場走姿模特圖片作為訓練集,手動去除站姿、棚拍、藝術大片等圖片,保證訓練數據集具有較為統一的模特姿態。數據集并未通過人體邊緣檢測去除模特背景,意在保留服裝和背景的整體協調性。訓練開始前將所有數據集圖片進行批量化預處理,獲得42 287張分辨率為445×445的秀場圖像,數據集部分樣本如圖2所示,由于預處理后圖片比例縱向壓縮,因此生成圖像需要統一調整回正常比例。

圖2 時尚秀場數據集部分樣本Fig.2 Part sample of the fashion show dataset

2.3 DCGAN基本結構

DCGAN在GAN網絡的基礎上加入了CNN結構,生成器和判別器舍棄了CNN的池化層(pooling),判別器保留CNN的整體架構,由4個卷積層(Conv)和1個全連接層構成,全連接層使用Sigmoid函數作為激活函數,生成器則是將卷積層替換成了轉置卷積(ConvTranspose),通過輸入100維的隨機正態分布向量合成3通道彩色圖像,輸出層使用 Tanh 激活函數。生成器和判別器網絡結構中均加入批量標準化層(BatchNormalization),使得網絡更容易訓練。

2.4 DCGAN網絡結構調整

經典DCGAN卷積神經網絡輸出的圖像分辨率為64×64,由于較低的分辨率會導致生成圖像細節模糊,因此需要調整網絡結構提高生成圖像的分辨率,同時保證真實圖像的特征仍然能夠被模型學習和提取。經典DCGAN卷積神經網絡的卷積核(Kernel size)大小為 5×5,步長(Stride)大小為 2,本文方法主要修改生成器和判別器網絡,通過增加1層卷積,并調整卷積核和步長以提高生成圖像分辨率;卷積層考慮卷積核的大小能被步長整除,減少生成圖像中存在的棋盤狀偽影;生成器網絡結構中使用卷積核4×4、步長為2,卷積核4×4、步長為1以及卷積核6×6、步長為3的3種轉置卷積,生成分辨率為445×445的圖像;為配合生成器,判別器網絡結構需要做出相應調整,調整后的生成器與判別器網絡結構如圖3所示。

圖3 調整后的生成器與判別器結構Fig.3 Modified Generator and Discriminator structure

3 模型訓練與圖像生成

3.1 實驗環境配置

本文實驗使用的編譯語言為Python,Python解釋器使用PyCharm,以 Pytorch作為深度學習框架。硬件環境:顯卡型號 NVIDIA GeForce RTX 3080 Laptop GPU,CPU型號為 11th Gen Intel(R) Core(TM) i7-11800H @ 2.30GHz,顯存大小16 G,內存大小16 G。

3.2 模型訓練

通過多次參數調整和生成實驗發現,隨著訓練次數不斷增加,圖像由最初的噪聲逐漸出現人形輪廓和色塊,在訓練60輪(Epoch)后出現可以初步辨認的模特著裝圖像,但仍存在大量噪聲。隨著訓練次數增加,扭曲模糊圖案減少,背景與人物過渡較為和諧,訓練進行至100個Epoch后服裝輪廓與人體姿態較為清晰,200個Epoch后圖像質量逐漸穩定。實驗發現由于不同的訓練參數設置,訓練可能出現模型坍塌,生成全部為噪聲的圖像,雖然繼續訓練可能重新出現服裝圖像,但款式重復單一,效果較差。經過多次實驗,綜合考慮訓練穩定與硬件限制,選擇訓練600個Epoch未出現坍塌的模型參數,學習率設置為0.000 3,訓練過程中保存生成器生成的偽圖像作為服裝效果圖的備選方案。

3.3 生成效果

數據集預處理時將圖片比例調整為1∶1,因此模型生成服裝效果圖的人體比例也同樣被壓縮,需要將生成圖像重新調整回原始圖像比例,調整后生成的部分服裝效果圖如圖4所示。大部分生成圖像對于人體的姿態特征表現相對精確,畫面呈現類似水彩技法的效果圖表現方式,背景與模特有較強的區分,生成圖像能夠較好地表現富有垂感的面料與薄紗面料,部分生成圖像能夠形成面料肌理。生成服裝效果圖的服裝廓形與色彩豐富且基本符合現代服裝審美,能夠減少設計師在服裝款式與配色上的實驗負擔。雖然生成的服裝模特臉部五官與手并不完美,但不影響效果圖的整體表現力。

圖4 DCGAN模型生成的部分服裝效果圖Fig.4 Part of effect drawing generated by DCGAN model

生成圖像中存在隱含空間效應,效果圖平滑轉變為另一張效果圖的中間狀態仍然被生成和保存,如圖5所示,過渡狀態形成的具有混合特征的圖像呈現出新的色彩搭配、服裝廓形和背景圖案。生成圖像中存在的不規則、扭曲、色彩混沌等服裝形態在正常情況下應視為不合格,但對于設計師而言,部分不規則圖像能夠提供創意靈感啟發設計,仍然具有參考價值。

圖5 生成圖像隱含空間效應Fig.5 Latent space of the generated image

4 生成圖像評價與交互設計

4.1 評價方法

模型訓練過程中生成效果圖的款式與色彩存在隨機性和多樣性,由于生成圖像最終服務于設計師,因此需要服裝設計師對生成圖像進行評價。有效生成圖像標準為服裝模特形體較完整,服裝款式與色彩符合當下流行趨勢,并且能夠啟發設計師的設計靈感,輔助設計師完成設計表達。通過計算有效生成圖像的占比,驗證本文調整的DCGAN模型是否能夠高效生成可供參考的有效服裝效果圖。

模型訓練過程中每個Epoch訓練時間約為536 s,每個Epoch訓練生成704張效果圖,模型訓練過程中能夠較為迅速的生成大量效果圖作為備選圖像。從模型訓練0～300 Epoch中每間隔25個Epoch隨機抽取36張款式不重復的生成服裝效果圖作為評估樣本。評估人員由7名受過服裝設計系統訓練的服裝設計師組成,其中男性3人,女性4人。設計師根據評價標準選擇出具有設計參考價值的有效圖像,統計結果去除選擇有效圖像數量最多和最少的2位設計師的極端數據,保留5位設計師的評價結果。每個Epoch有效圖像比例為5位設計師選擇有效圖像數量平均值與評估樣本量的比,統計結果如表1所示。

表1 有效生成圖像調查表Tab.1 Effectively generate image surveys

由表1可知生成圖像在0～75 Epoch中圖像質量不斷上升,75～200 Epoch由于模型訓練波動導致生成圖片質量不穩定,225個Epoch后有效圖片占比基本穩定在50%以上,說明本文模型在訓練穩定后生成的大量服裝效果圖中,超過半數的圖像符合設計師的預期效果,為設計師提供多樣化的服裝款式和色彩設計參考,提高服裝設計的效率。

4.2 人機交互設計

通過實驗發現,DCGAN模型能夠迅速學習秀場服裝的色彩和款式生成服裝效果圖,節約服裝設計師調研流行趨勢和搜集靈感的時間,但由于生成圖像分辨率和模型精度限制,服裝結構細節需要設計師根據實際設計要求進行調整,在原始生成圖像上進一步細化和明確,并根據生成圖像提取服裝款式與色彩,通過人機交互的方式形成設計方案,如圖6所示。在生成圖像保留流行趨勢的同時加入設計師對于設計的理解,以設計師主導最終設計結果,可將DCGAN模型作為服裝效果圖輔助設計的新工具。

圖6 人機交互設計流程Fig.6 Interactive design process

5 結束語

通過整理時尚秀場數據集,利用Pytorch深度學習框架,基于生成對抗網絡GAN調整和訓練深度卷積對抗網絡DCGAN模型,并將其用于提取服裝色彩和款式特征,最后進行服裝效果圖的生成實驗和設計師評價。結果表明:通過調整的DCGAN模型進行訓練后能夠快速生成符合流行趨勢的服裝效果圖,超過半數的生成圖像符合設計師的預期效果,可為服裝設計師提供靈感,提高設計效率。后續研究主要集中在訓練數據集模特姿態與服裝背景對生成圖像的影響以及改進和優化生成對抗網絡,提高生成設計方案的多樣性與圖像質量。未來服裝企業可以根據設計目標和生產需求架構個性化的人工智能系統以提高設計效率,為消費者提供給更加多樣化的時尚服裝產品。