基于優化ResNet 的輸電線路航拍圖像分類方法

李弘宸，楊忠，姜遇紅，韓家明，賴尚祥，張秋雁

1. 南京航空航天大學 自動化學院，江蘇 南京 211106

2. 南京航空航天大學 無人機研究所，江蘇 南京 211106

3. 貴州電網有限責任公司，貴州 貴陽 550000

隨著人類社會的發展，電力成為無法替代的重要能源之一。為了實現大面積的電力輸送以滿足電力需求，輸電線路廣泛地分布在各個地區和不同環境中。因此，輸電線路的安全正常運作是保證電力穩定可靠輸送的必要條件[1]。然而，由于空氣污染、自然災害以及周圍植被等客觀因素的影響，輸電線路往往會出現故障，例如絕緣子爆裂、桿塔倒塌等，這些故障會嚴重降低電力輸送效率[2]。為了解決這一問題，電力部門需要定期地利用不同的電力線巡檢方法對輸電線路的健康狀況進行評估。由于輸電線路分布廣泛，人工巡檢難以適應復雜危險的地形，并且該方法十分耗時[3]。所以，目前常用的巡檢方法是利用搭載相機的無人機進行無人巡檢。利用航拍圖像中提取到的信息對輸電線路部件如絕緣子和桿塔等關鍵部件進行健康評估。然而，無人機巡檢會采集大量無用數據，在這些數據中不含有輸電線路信息。如果無用數據和有效數據同時被傳輸到地面站，必將導致工作量激增，嚴重影響輸電線路巡檢效率。為了解決這一問題，本文采用圖像分類算法對輸電線路航拍圖像進行分類，去除無用數據并保留有效數據。該方法可以有效地提高輸電線路巡檢效率并提高輸電線路運行的可靠性。隨著深度學習和圖形處理器的發展，卷積神經網絡被廣泛地應用在不同的圖像處理任務中，如圖像分類、目標檢測以及語義分割等。不僅如此，卷積神經網絡在這些領域中均取得了優異的性能[4]。傳統的機器學習算法需要采用圖像特征提取算法如尺度不變特征變換算子 (scale-invariant feature transform, SIFT)[5]、局部二值模式算子(local binary pattern, LBP)[6]以及方向梯度直方圖算子(histogram of oriented gradient, HOG)[7]，預先提取圖像特征。然而，通過這些算法提取的圖像特征和圖像高級語義之間存在較大的偏差，所以傳統的機器學習算法難以滿足復雜環境背景下的圖像分類任務[8]。卷積神經網絡利用卷積層、池化層以及全連接層提取圖像的特征信息。隨著網絡深度增大，卷積神經網絡可以提取圖像的高級語義。因此，卷積神經網絡可以擺脫人工圖像特征提取算法的限制，在不同圖像處理任務中均取得優異的性能[9]。

1998 年，LeCun 等[10]提出了卷積神經網絡LeNet，并將其應用于書寫字符的識別中。然而，受限于當時圖像處理器的性能，LeNet 并沒有取得優異的性能，所以卷積神經網絡并沒有得到學術界的廣 泛 關 注。 2012 年， Krizhevsky 等[11]提 出AlexNet 并以巨大的優勢獲得了ILSVRC 2012 競賽的冠軍。因此，卷積神經網絡引起巨大的關注。隨后，越來越多的學者提出性能更加優異的卷積神經網絡，如VGGNet[12]以及GooLeNet[13]。隨著卷積神經網絡層數的增加，訓練集精確度會下降，這種現象不是由過擬合導致的。經分析，過深的卷積神經網絡會出現梯度彌散現象。為了解決這一問題，何凱明等[14]于2015 年提出了ResNet，并一舉奪得ILSVRC 2015 競賽冠軍。

卷積神經網絡由于其優異的性能，被廣泛應用于多種實際應用中。在此之前，已有多名學者在輸電線路航拍圖像分類問題中進行深入研究。陳科峻等[15]提出了一種基于循環神經網絡的航空圖像分類算法，首先，采用超像素分割算法獲取圖像地層特征；而后，通過交叉驗證確定圖像最佳尺度；最后，采用改進的雙向長短期記憶網絡對航拍圖像進行分類。

李厚強等[16]提出了一種基于分形理論的航拍圖像分類算法。首先，將航拍圖像的顏色格式由RGB 轉換為HSI；然后，根據顏色特征計算基于分形的圖像紋理特征；最后，采用BP 神經網絡作為分類器對航拍圖像進行分類。

張秋雁等[17]提出了一種基于VGG-16 網絡的輸電線路航拍圖像分類算法。首先，利用圖像增強對原始數據及進行擴充，以提高算法魯棒性；然后，利用多卷積層組合代替VGG-16 中的全連接層；最后，利用優化網絡對輸電線路航拍圖像進行分類。

本文在ResNet 的基礎上進行改進，提出了一種優化ResNet 結構，并利用收集到的輸電線路圖像數據集訓練該網絡。實驗結果表明，在輸電線路分類數據集上，優化ResNet 網絡對比傳統卷積神經網絡具有更高的分類精確度和更低的內存占用。

1 優化ResNet 網絡

1.1 ResNet 網絡

大量實驗結果表明，加深卷積神經網絡可以提高分類精確度。然而，過深的卷積神經網絡會出現梯度彌散現象。當訓練集精確度達到飽和后會急劇下降，因此通過簡單堆疊卷積層而構成的網絡，其深度難以超過20 層。ResNet 的出現在一定程度上打破了卷積神經網絡的層數限制。綜合考慮內存占用以及分類性能，本文采用ResNet50作為骨干網絡，并對其進行優化。ResNet50 具體結構如表1 所示。

表1 ResNet50 結構

ResNet 由殘差網絡單元組成，其核心在于恒等映射。式(1)為殘差單元的輸入輸出關系：

式中：H(x)為殘差單元的輸出；x為殘差單元的輸入；F(·)為卷積以及激活函數等操作。

恒等映射不引入網絡參數，相當于淺層網絡。如果網絡在訓練過程中出現由于層數過深而導致精確度下降的情況，可令F(x)趨近于0，此時殘差單元可近似于恒等映射，網絡對輸入x的變化更加敏感。因此，殘差模塊可以有效地抑制梯度彌散現象。殘差單元結構如圖1 所示。

圖1 殘差單元結構

1.2 優化ResNet

為了增強網絡的分類性能，本文在原有殘差單元的基礎上提出了一種優化殘差模塊，其結構圖如圖2 所示。

圖2 優化殘差單元結構示意

我們將分組卷積引入殘差單元中，特征圖通過優化殘差單元的第一個卷積核為1×1 的卷積層后，其通道維被分為4 等份。設輸入特征圖的尺寸為n×n×d，則xi的尺寸為n×n×(d/4)。為了增強網絡的信息流動，令該部分的輸入xi與前一部分的輸出yi-1相加，并使其經過卷積操作而得到該部分的輸出yi。為了減少網絡參數，建立了x1與y1的恒等映射，并利用卷積核為3×1 和1×3 的卷積層代替原有的卷積核為3×3 的卷積層，xi與yi的關系為

式中：xi為第i個輸入；yi為第i個輸出；Ki(·)為3×1 和1×3 的卷積以及激活函數等操作。

對比圖1 和圖2 可知，優化殘差模塊與原有殘差模塊的區別在于，優化殘差模塊利用分組卷積代替原有的3×3 卷積層。設一個尺寸為n×n×d的特征圖經過3×3 的卷積層和本文提出的分組卷積結構，其參數式為

式中：p3×3為3×3 卷積層的參數量，pgroup為本文提出的分組卷積結構的參數量。

通過觀察式(2)可知，本文提出的分組卷積結構可大幅度減少網絡參數量，降低模型內存占用，使網絡更適用于部署至如無人機嵌入式平臺中。

1.3 訓練參數

利用開源深度學習庫Keras 實現本文提出的優化ResNet50 網絡。為了證明其有效性，控制不同網絡在訓練時超參數相同。本文所有網絡均采用隨機梯度下降法優化算法進行訓練。由于本文涉及到的航拍圖像分類任務中，僅包含2 類樣本，所以輸出層的激活函數以及損失函數分別為sigmoid 以及二元交叉熵損失函數(binary crossentropy)。依據文獻[18]的訓練參數設置，批尺寸(batch size)、學習率(learning rate)、回合(epoch)以及權重衰減率(weight decay)分別設被置為30、0.01、50 以及0.000 1。

2 實驗與分析

2.1 數據集采集與擴展

本文采用的數據集是由無人機巡檢過程中相機所捕捉到的航拍圖像組成。每張圖片的大小為224×224。航拍圖像被分為正負樣本，其中正樣本包含輸電線路關鍵部件信息，而負樣本不包含。正負樣本示意圖如圖3 所示。為了提高算法的魯棒性，利用數據增強方法擴充數據集。經過水平鏡像、垂直鏡像、改變亮度以及添加噪聲后，總數據量變為原來的5 倍。

圖3 樣本示意

本文采用的輸電線路航拍圖像數據集包含24 000 張輸電線路航拍圖像，其中正負樣本比例為1∶1。該數據集被分為訓練集、驗證集以及測試集，其包含的航拍圖像數量比例為3∶1∶1。為了使訓練得到的權重能夠在測試集上達到良好的分類效果，保存在驗證集精確度最高的權重，并利用該權重預測測試集數據類別。

2.2 實驗結果及分析

根據參考文獻[19]所述，采用測試集精確度(Paccuracy)與類性能指標（F1-measure）共同衡量卷積神經網絡的分類性能；真陽性(PTP)、真陰性(PTN)、偽陽性(PFP)以及偽陰性(PFN)為分類任務的重要指標。得到準確率(Pprecision)以及召回率(Precall)的計算公式分別為

根據以上分析可知，Paccuracy與分類性能指標F1-measure可通過式(3)計算得到

ResNet50 以及優化ResNet50 的Pccuracy和F1-measure如表2 所示。通過觀察表2 數據可以得出如下結論：對比原始網絡，優化ResNet50 取得了更高的分類精度和F1-measure。因此，本文提出的優化殘差單元可以提升分類網絡在輸電線路航拍數據集上的分類性能。圖4 展示了ResNet50 以及優化ResNet50 的混淆矩陣。

表2 ResNet50 優化前后分類性能對比

圖4 混淆矩陣

由于本文提出的網絡需要在無人機系統上運行，因此，除了分類性能，網絡的實時性同樣需要實驗驗證。ResNet50 以及優化ResNet50 的內存占用和平均運行時間如表3 所示。通過觀察表3 數據可以得出如下結論：1)對比原始網絡，優化ResNet50 網絡占用內存更小，因此該網絡更適合部署至無人機系統中；2)雖然優化ResNet50 網絡的平均運行時間比ResNet50 更長，但是其處理速度仍然遠遠高于相機拍攝速度，仍可以達到實時性要求。因此，綜合考慮優化ResNet50 網絡的分類性能，該網絡可以視為準確性和實時性的折中方案。

表3 ResNet50 以及優化ResNet50 性能比較

3 結論

本文提出了一種優化ResNet50 網絡結構，并將該結構應用于輸電線路圖像分類中。實驗結果表明，本文提出的網絡比傳統的卷積神經網絡具有更優異的分類性能。在實時性方面，雖然優化ResNet50 網絡的運行速度比傳統神經網絡略低，但是由于其更高的精確度和更小的內存占用，可以認為優化ResNet50 是一種折中方案，更加適合應用在無人機平臺。

1)與傳統的卷積神經網絡相比，優化ResNet50具有更優異的分類性能和更低的內存占用。

2)該網絡存在一些問題，由于本文僅在輸電線路場景分類數據集上對網絡進行性能驗證進行性能驗證，所以無法說明網絡的泛化性?？梢岳么笮偷墓矓祿柧毦W絡，并驗證網絡的泛化性。

3)在輸電線路場景分類問題中，由于光照條件以及相機的拍攝距離、角度的變化，圖像特征會有較大的變化。為了增強分類算法的魯棒性，利用數據增強擴充數據集十分必要。