基于Cycle-GAN的絕緣子圖像生成方法

王金娜，蘇杰，楊凱，翟永杰，劉洪吉

(1.華北電力大學 自動化系，河北 保定 071003;2.國網河北省電力有限公司檢修分公司，河北 石家莊 050070)

絕緣子是高壓輸電線路重要絕緣控件與支撐部件，同時也是故障多發部件，其安全性關乎整個電網的安全，因此絕緣子檢測任務至關重要。伴隨智能電網建設的全面推進及電網規模的不斷擴大，檢測任務量日益龐大，在線檢測技術需求隨之加大。深度學習作為圖像識別和目標檢測的技術手段在智能電網建設中具有重要應用研究價值，而在絕緣子檢測中的瓶頸之一就是訓練樣本缺少問題。近年深度學習模型在絕緣子等電力部件檢測領域的成果[1-3]普遍在私有數據集上取得，極少或沒有公開數據集可供學術研究，很大程度限制了研究進展，樣本缺少問題不可忽視。

樣本不足是當前深度學習在眾多領域應用中面臨的難題之一，如何在少量樣本基礎上訓練出良好的學習模型是未來重點研究方向之一[4-5]。當前主要以遷移學習、度量學習以及人工樣本數據擴充的方式緩解樣本不足問題。其中，遷移學習[6]要求以關聯大型數據集作為輔助提升小數據集學習效果，對不易尋求關聯數據集的應用領域存在限制；度量學習[7]從少量樣本學習到一個嵌入空間，容易導致過擬合且運算過程復雜；人工樣本擴增指對現有樣本進行一定人工操作得到新的樣本，較前2種方法，人工樣本更簡單可控，且適用領域較廣，具有重要應用價值。文獻[8]提出采用人工虛擬樣本擴充真實樣本集，結合平行執行可有效優化學習模型，同時指出人工樣本用于擴增數據具有較高可行性及廣闊應用前景。

基礎人工圖像樣本擴增是對原始圖像進行幾何變換，例如通過平移、翻轉及彈性形變等操作獲取新樣本以緩解樣本不足[9-10]和過擬合現象[11]等問題，后衍生出矩形擦除[12]、圖像融合[13-16]以及生成對抗網絡(generative adversarial networks, GANs)生成[17]等獲取新樣本的方式。其中：幾何變換具有操作簡單、易于實現的特點，但不能有效擴增樣本特征多樣性；圖像融合多采用圖像處理算法對原圖進行微小變動或將目標與背景合成為新樣本，相較于GANs，在樣本生成前期工作量大且樣本多樣性依賴人工設定；較前2種方法，具備強大生成圖像潛力的GANs對人工樣本擴增技術具有重要研究價值。

當前，由于GANs在圖像生成中表現仍未成熟，較復雜的圖像生成仍舊依賴龐大數據量和較高硬件計算水平[18]，因此無需大量一對一樣本訓練的循環一致性生成對抗網絡[19](Cycle-GAN)成為生成復雜圖像樣本可供選擇的重要模型之一。在Cycle-GAN的應用中，文獻[20-21]采用Cycle-GAN有效緩解了樣本類別不平衡問題；在輸電線路部件檢測應用中，文獻[22]采用Cycle-GAN輔助探究了遷移學習的有效性，但并未對Cycle-GAN生成的圖像用于擴充的樣本要求、生成樣本是否篩選及其用于擴充的具體效果進行進一步探究。同時Cycle-GAN在絕緣子等輸電線路部件樣本問題中的研究也極少，對于當前絕緣子檢測存在的樣本問題，Cycle-GAN在樣本擴增應用方面的應用探究十分必要。

針對上述問題及分析，本文首先對Cycle-GAN原理進行介紹；隨后分析絕緣子圖像樣本特點，提出基于Cycle-GAN生成絕緣子圖像樣本的方法，通過設計樣本替代和樣本擴充實驗，進一步探究了基于Cycle-GAN生成的絕緣子圖像樣本用于數據集擴增的具體效果，證明了本文方法的可行性并分析了采用不同生成圖像擴充量對網絡性能的影響；最后針對Cycle-GAN用于樣本擴充存在的問題進行了分析并對下一步研究工作進行了展望。

1 循環一致性生成對抗網絡

Cycle-GAN是基于GANs的衍生模型，相較于初始的GAN[23]模型，將輸入的噪聲數據改為了圖片數據；相較于pix2pix[24]模型，在實現對應風格域之間圖像風格轉換時不需要準備成對圖像，結構簡單且對樣本要求相對較低，適用于當前樣本集條件。其對抗思想基于初始的GAN模型對抗訓練策略，Cycle-GAN的提出是用于實現圖像的風格遷移。

最初提出的GAN模型主要由1個生成器和1個判別器構成。生成器通過學習真實數據和來自判別器的反饋信息，由自由噪聲生成“偽”圖像輸入到判別器以騙過判別器；判別器則通過學習不斷提升判別真偽的能力，以區分來自生成器的偽圖像；二者經過反復對抗學習，直到判別器難以區分生成器生成的偽圖像和真實圖像，即視為達到納什均衡，此時可認為生成器生成了真假難辨的圖像數據。其網絡模型結構如圖1所示，損失函數L為

(lnPD(x))+Ez～Pz(z)[ln(1-PD(G(z)))].

(1)

式中：z為隨機噪聲，x為真實數據，G和D分別為生成模型和判別模型;G(z)為生成模型生成的數據;PD(x)為輸入到判別模型的數據為真實數據的概率；x～Pdata(x)表征x服從真實數據分布；z～Pz(z)則為z服從隨機噪聲分布；E(·)為期望值。

圖1 GAN模型結構Fig.1 GAN model structure

在初始GAN模型的基礎上，Cycle-GAN首先以給定圖像作為輸入，在保證生成圖像質量的同時改善GAN的不穩定問題；其次，Cycle-GAN采用1對GAN模型構成循環訓練與生成結構，網絡模型結構如圖2所示，損失函數為式(5)，其中式(2)和式(3)分別為網絡框架中GAN結構的損失函數LGAN1和LGAN2。

圖2 Cycle-GAN模型結構Fig.2 Cycle-GAN model structure

LGAN1(G,PY,X,Y)=EY～Pdata(Y)(lnPY)+

EX～Pdata(X)[ln(1-PY(G(X)))].

(2)

LGAN2(F,PX,X,Y)=EX～Pdata(X)(lnPX)+

EY～Pdata(Y)[ln(1-PX(F(Y)))].

(3)

式中：G(X)和F(Y)分別為生成器G和F的生成圖像函數；DX和DY為分別屬于X域和Y域的判別器函數，且PX和PY分別為DX和DY判斷圖像來自X域和Y域的概率(其他依次類推)。

循環一致損失分別由生成器G和F生成的圖像經互相重建，獲取其生成圖像的重建圖像和真實圖像的一致性損失，采用L1距離作為度量，即

Lcyc(G,F)=Lcyc1(G,F)+Lcyc2(G,F)=

EX～P data (X)[‖F(G(X))-X‖L1]+

EY～P data (Y)[‖G(F(Y))-Y‖L1].

(4)

式中Lcyc、Lcyc1、Lcyc2為損失函數。

最后，將上述損失函數加權求和，得到Cycle-GAN損失函數，即

(5)

式中λ為大于零的實數，作為一致性損失項的權值。式(5)前2項為內部GAN結構損失，由于二者網絡結構完全相同、權重相同，因此可將其權重設置為1，損失函數僅需調整λ值來控制重建一致性重視程度。

2 基于Cycle-GAN的絕緣子圖像生成方法

2.1 方法流程

根據對某省公司提供的無人機航拍絕緣子局部圖像樣本分析可知：絕緣子種類多樣并且角度多變，受光照影響較大，絕緣子本身顏色變化范圍較大，無鮮明風格，從絕緣子著手進行樣本分析不但會加大風格劃分難度，多樣的背景也會削弱風格特征；而絕緣子圖像樣本中，背景占比大且主要以天空和地面為主，風格鮮明，因此可從絕緣子背景入手進行風格域的劃分,進而實現后續圖像生成。航拍絕緣子圖像的背景可主要分為4個風格域：植被稀少的黃色調地面背景、植被豐富的綠色調背景、以天空為背景的藍色背景以及在氣候條件較差的情況下采集到的以灰色調為主的天空背景。以此為基礎，采用Cycle-GAN完成絕緣子樣本的生成。

本文絕緣子圖像生成方法流程示意如圖3所示，其中圖3(a)為Cycle-GAN生成器訓練階段，圖3(b)為絕緣子圖像生成階段。結合Cycle-GAN在風格遷移中的循環一致性特點，將絕緣子圖像樣本分為4個域，使用Cycle-GAN分別對4個域進行不同域間的風格遷移以生成新的絕緣子圖像，不同域間絕緣子樣本可互相遷移。本文以藍、灰、綠和黃色調背景分別遷移為例進行后續闡釋與實驗。

2.2 風格域劃分

如圖3(a)所示，在訓練Cycle-GAN前，首先要對絕緣子圖像數據集進行不同圖像域的劃分，根據絕緣子圖像背景特征進行分類，獲取用于圖像域轉換的訓練數據集。由于絕緣子圖像中背景在圖像中區域占比較大且色彩特點鮮明，因此基于不同色調背景訓練樣本域的創建，選擇以圖像顏色特征作為分類依據，以圖像檢索[25-26]的方式實現絕緣子圖像域的劃分。

圖像處理中較常用的顏色空間是RGB和HSV， HSV色彩空間相較RGB更符合人類對色彩的認知，因此本文采用HSV色彩空間。色彩直方圖作為圖像特征，其算法簡單，運算速度快，且具有尺度、平移和旋轉不變性等優勢，故采用HSV顏色直方圖，結合相似性度量對4種色調背景的絕緣子圖像進行域的劃分。HSV顏色空間的3個分量分別代表顏色H(hue)、飽和度S(saturation)和值(value)，本文中絕緣子圖像主要依據背景色調進行域的劃分,故選取色彩分量H值的色彩直方圖作為圖像特征，可有效提升運算速度和抗噪聲能力。

圖3 絕緣子圖像生成流程Fig.3 Insulator image generation process

圖像間相似性度量采用直方圖間歐式距離，通過設置合理的直方圖劃分區間數目bins，從4種背景色調選取具代表性的圖像作為中心樣本，其余圖像則通過色彩直方圖相似性度量判斷其所屬類別實現分類。設圖像A和圖像B，相似性度量為

(6)

式中hAn、hBn分別為圖像A和圖像B在色彩分量直方圖中第n個劃分區間的值，且n=bins。所獲取fsim值越小，表明圖像相似性較高。對絕緣子圖像進行4種域的分類,創建用于Cycle-GAN生成圖像訓練的子樣本集。參與分類的絕緣子圖像共 2 000張,bins設置為10，經分類分別得到黃色調背景樣本284張、綠色調樣本668張、藍色調背景樣本313張以及灰色調背景樣本735張，對應錯誤率分別為0、0、0.96%及0.40%。當增大bins時，分類錯誤率隨之降低，而運算速度也會隨之下降。

2.3 Cycle-GAN結構

本文采用模型參考ZHU等提出的Cycle-GAN網絡結構，生成器編碼部分由3組卷積層構成，轉換部分采用9層殘差塊，解碼部分由3組微步幅卷積層構成。網絡結構細節如圖4所示，其中每層網絡下方的結構及運算細節介紹文字中，字母C表示卷積層，本文卷積層結構采用Convolution-InstanceNorm-ReLU結構；殘差塊由字母R表示，結構采用文獻[27-29]提出的Resnet結構；微步幅卷積層則由U代表，采用fractional-srtided-Convolution-InstanceNorm-ReLU結構。字母后首位數字表征該層采用的卷積核尺寸，s-x表示步幅為x，末尾的數字則代表卷積核數目，例如C3s-2-64表示該組卷積層卷積核尺寸為3×3，卷積核數目為64，步幅為2。判別器第一組卷積層不采用InstanceNorm運算層。

生成器網絡結構如圖4(a)所示，輸入絕緣子圖像尺寸為256×256×3，經3組卷積層運算，輸出尺寸為64×64×128，通過轉換部分9層殘差塊運算，最后經由3組微步幅卷積層，得到256×256×3的生成圖像。判別器由5組卷積層構成，真實圖像和生成圖像作為輸入，尺寸固定為256×256×3，經由5組卷積層運算，最后輸出圖像判定為真實圖像的概率值，網絡結構如圖4(b)所示。

圖4 本文Cycle-GAN結構Fig.4 Cycle-GAN structureproposed in this paper

2.4 分類網絡

分類網絡對含絕緣子的圖像和不含絕緣子的圖像進行分類，分類網絡結構如圖5所示。其中，卷積層采用結構為Convolution-BatchNorm- LeakyReLU-Dropout，由字母C代表。網絡由4組卷積層和1層全連接層構成，輸入的圖像尺寸恒為256×256×3，輸出為類別標簽1和2，1即判定圖像含絕緣子，2即判定圖像不含絕緣子。

圖5 分類網絡結構Fig.5 Classification network architecture

3 方法驗證與分析

3.1 數據集

實驗所用絕緣子圖像樣本共2 500張，含玻璃、陶瓷和復合絕緣子等3類圖像，其中500張作為測試樣本，2 000張用于訓練Cycle-GAN及分類網絡。

參照圖3(a)所示的訓練流程，隨機選取子樣本集中10%作為測試集，其余樣本用于訓練。當2組Cycle-GAN迭代15 000次時，測試圖像生成效果較佳，保存生成器參數用于絕緣子圖像生成。參照圖3(b)所示的生成流程，對4種色調背景的絕緣子圖像進行風格域轉換。經訓練Cycle-GAN，共生成絕緣子圖像2 000張，生成圖像用于樣本擴充。4種不同色調背景絕緣子生成圖像如圖6所示，其中第1列和第3列為真實圖像，第2列和第4列為對應域生成圖像。

圖6 部分生成圖像示例Fig.6 Some examples of generated images

對于分類網絡訓練和測試部分，將含絕緣子的圖像作為正樣本，不含絕緣子的圖像作為負樣本，正、負樣本比例始終保持1比1。

3.2 驗證環境及驗證內容

驗證實驗平臺的硬件為GPU-GTX1080Ti，操作系統為64位ubuntu18，算法基于Tensorflow框架，版本為1.10.0，編程語言為Python3.5.2。

實驗旨在驗證和探究采用本文方法生成的絕緣子圖像樣本對網絡性能的具體影響，分2部分內容：①樣本替換實驗。以2 000為正樣本量基數，按基數的10%逐次遞減真實圖像占比分別訓練分類網絡，獲取網絡測試準確率及常用網絡性能評價指標Fmeasure值，測得結果作為無替換組；作為對照，以2 000為正樣本量基數，按基數的10%逐次遞減真實圖像占比的同時，采用生成圖像替換真實正樣本，使訓練網絡的正樣本量始終保持2 000，獲取測試準確率和Fmeasure值，測得結果為替換組。②擴充實驗。分別以1 000、1 250、1 500為真實正樣本量基數，按基數的10%逐次擴增生成圖像用于訓練網絡獲取測試準確率和Fmeasure值，得到3組實驗結果以分析不同擴充比例對網絡性能的影響。最后采用3個經典分類網絡進行擴充實驗進一步驗證實驗結果。迭代1 000次后獲取網絡測試準確率及Fmeasure進行對比分析。測試準確率和Fmeasure均取后200次迭代結果平均值，其中

(7)

式中:P為準確率，表征分類的有效性；R為召回率，表征對正樣本測試的完整性。

3.3 實驗結果與分析

3.3.1 樣本替換實驗

選取樣本最高替換比例為50%，確保網絡訓練真實樣本占主導。數據結果保留2位小數，見表1。

表1 替換實驗結果Tab.1 Substitution experiment results

從表1結果可得:隨著真實樣本占比的減小， 無替換和替換數據的網絡性能均隨之下降,其中無替換組結果表明訓練樣本量會直接影響網絡性能；替換組數據則表明生成圖像并不能完全替換真實圖像，準確率均不低于無替換組的準確率；Fmeasure則在真實樣本占比不低于55%時，替換組的Fmeasure均不低于無替換組的Fmeasure，表明適量擴增生成樣本能夠緩解真實樣本不足帶來的性能損失。將數據結果繪制成折線圖，如圖7所示。

圖7橫坐標表示樣本量以2 000為基數的真實正樣本占比，圖7(a)顯示在真實樣本占比為60%左右時，替換樣本對網絡性能下降緩解幅度較大；圖7(b)顯示在真實樣本占比約55%以上時，替換樣本組的Fmeasure值都有提升。

綜上所述，生成圖像可一定程度上替代真實圖像用于樣本擴充具有可行性，但生成圖像不能完全替代真實圖像，不同生成圖像和真實圖像數量之比對網絡性能好壞有不同影響。

3.3.2 樣本擴充實驗

擴充實驗的設置旨在探究生成圖像擴充比例對網絡性能的影響，實驗結果保留4位有效數字，結果如圖8所示。圖8(a)和圖8(b)分別給出了3組初始測試數據比例，3組數據測試結果與真實正樣本基數1 000、1 250、1 500一一對應。

圖7 替換實驗結果Fig.7 Substitution experimental results

圖8 擴充實驗結果Fig.8 Expanded experimental results

由圖8(a)可知：隨著擴充比例的增大，準確率呈現先減小再增大再減小的趨勢。生成樣本擴充比例在20%至50%時，測試準確率均有提升；擴充比例從30%到40%階段準確率提升幅度較大，3組峰值均在這一范圍，其中基數為1 000和1 250的峰值均超過基數為1 500的峰值；比例低于20%或高于50%時，測試準確率存在下降趨勢。由圖8(b)可知：Fmeasure呈現先增大后減小趨勢，性能提升峰值在30%到50%；隨著基數增加，Fmeasure提升幅度隨之增加。因此，在確保Fmeasure不下降的情況下，擴充比例設定在40%～50%時，網絡性能提升效果較佳。

為進一步驗證結果，分別采用ResNet50、Inception_v3及DenseNet121以真實正樣本基數1 000進行樣本擴充實驗，實驗結果如圖9所示。

圖9 經典網絡擴充實驗結果Fig.9 Expanded experimental results of classic models

由圖9(a)可看出:隨著生成樣本擴充比例的增大，3個網絡的測試準確率均呈現先降低后提升最后再呈現下降的趨勢。其中，擴充比例在30%～60%時，ResNet50和DenseNet121測試準確率均高于未擴充初值;Inception_v3測試準確率則在擴充比例超過約45%時超過初值,且3種網絡準確率測試峰值均落于40%～50%范圍內。圖9(b)則顯示：3種經典網絡的Fmeasure值變化趨勢較緩，呈現出同測試準確率類似趨勢；擴充比例在40%～70%時，Fmeasure均較初值有所提升，且擴充比例在40%～60%之間時Fmeasure值較高。綜上，若采用Cycle-GAN生成的絕緣子圖像樣本直接用于樣本擴充，當擴充比例在40%～50%時可緩解樣本不足問題，且可以有效提升網絡性能。

4 結論

本文將視角從絕緣子本身轉變到背景色彩特征，對絕緣子圖像進行了4種色調風格域的劃分， 利用訓練過的Cycle-GAN實現了絕緣子圖像樣本的生成，并對生成圖像的具體擴充效果進行了驗證與探究。實驗表明：本文方法用于絕緣子樣本擴增具有可行性，當擴充比例在40%～50%時，擴充效果較佳，生成樣本對真實樣本的可替代性能夠一定程度上緩解輸電線路絕緣子樣本缺乏問題；但難以避免的不逼真生成圖像及GAN生成過程中添加的噪聲信息均可能對特征學習產生負面影響。不合理的生成樣本擴充量不但會增加運算負荷，也可能對網絡訓練產生反效果，目前GAN生成圖像篩選并無統一標準；因此，下一步工作將針對絕緣子生成圖像的篩選方式進行進一步探究，避免人為篩選造成的主觀因素影響，提升生成圖像整體質量，為后續遠距離航拍絕緣子標注數據的生成和工程應用奠定基礎，有效緩解絕緣子樣本不足問題。