改進RetinaNet的電力設備目標檢測方法

王秋憶，周 浩，鄭婷婷

（云南大學信息學院，云南 昆明 650500）

0 引 言

電力是維持現代社會正常運轉和日常生活必不可少的基礎能源，隨著經濟的飛速發展，電力在我國社會中的應用越來越普遍，需求量越來越大，普及的地區也越來越廣泛。但傳統的巡檢方法由于需要大量人工識別和檢查，且輸電線路大都在地形復雜的地方，面臨著人工巡檢的危險性高、效率低和周期長等問題［1-4］。而在科技的發展進步下，電力系統逐漸走向智能電網時代，向著精細化、智能化和自動化方向發展［5-7］。為了確保電力設備的正常運行，需要對各種電力設備進行定期的巡視檢查以及時排除故障，在電力系統中應用圖像目標檢測技術有利于快速發現有故障和缺陷的設備并進行定位。智能電網系統的發展對開展設備狀態檢修，確保供電網絡安全暢通、可靠運行有重要意義。

近幾年，深度學習飛速發展，在電網系統中用基于深度學習的目標檢測技術對電力設備進行自動檢測與分析應用越來越廣泛?，F在主流的深度學習目標檢測方法分為2 類：一類是雙階段目標檢測方法，例 如RCNN［8］、Fast-RCNN［9］、Faster-RCNN［10］等 模型，先通過一個階段的Selective Search［11］生成候選區域，然后在另一階段的網絡中利用Region Proposal Network［10］對候選區域進行準確預測得到目標類別和位置等信息；另一類是單階段目標檢測方法，包括YOLO［12］和SSD［13］等算法，不生成候選區域，模型訓練直接從端到端在特征圖上進行位置預測和類別預測，這一類方法的檢測速度更快，但精度一般低于雙階段目標檢測方法。在將深度學習的方法應用到各個領域的趨勢下，李軍峰等［14］利用卷積神經網絡提取電力設備的特征，實現了結合深度學習的隨機森林分類方法，準確檢測了絕緣子、變壓器、斷路器、輸電線電桿和輸電線鐵塔這5 種電力設備，平均識別準確率達到了89.6%。薛藝為等［15］用ResNet［16］作為骨干網絡進行特征提取，使用基于Faster RCNN 的方法優化具有配網設備特點的區域提議網絡，在紅外圖像上準確地檢測出了套管、絕緣子、導線、電壓互感器、避雷針、斷路器、隔離開關、變壓器8 種電力設備的缺陷，準確率達到92.54%。何啟遠等［17］將注意力模塊SE-Net［18］與卷積神經網絡結合，使網絡挖掘深層特征信息的能力進一步提高，使得在避雷器、斷路器、電流互感器、電壓互感器上的平均識別準確率達到了92.53%。徐凱等［19］使用具有更深層次的骨干網絡GoogLeNet Inception-V3［20］進行特征提取，以解決普通卷積神經網絡對復雜特征提取困難導致識別準確率低的問題，對斷路器、電流互感器、絕緣子、避雷器和電壓互感器的平均識別準確率達92.0%。熊凱飛等［21］為解決霧霾天氣下電力設備檢測困難的問題，結合去霧算法對圖像進行處理，識別絕緣子、斷路器、電壓互感器、避雷器和隔離開關目標的平均準確率可達92.5%，同時對YOLOv4［22］模型進行輕量化改進以滿足在巡檢機器人上部署目標檢測算法的要求，模型參數量減少了80.21%。安玉賓［23］對電力設備的航拍圖像使用超分辨率生成對抗網絡［24］進行像素擴增，提升了小目標的分辨率，使得Faster-RCNN 網絡對銷釘的故障檢測精度達到73.4%。林潤滋［25］結合RFCN［26］網絡和自適應中值濾波和小波變換對紅外電力設備圖像去噪，同時用直方圖均衡化增強圖像對比度和減少圖像失真，實現了引線接頭、隔離開關和線夾等電力設備小目標的準確識別，故障診斷的平均精度達到80%以上。陳凡同［27］使用SMOTE 算法對數據樣本集進行均衡化操作，在YOLOv3［28］網絡中加入NIN 卷積層并通過K-means 聚類設置錨框個數和尺寸，最終對線夾、絕緣子、套管和隔離開關的平均識別準確率達到88%以上。

以上方法是使用通用的目標檢測網絡針對不同的電力設備進行檢測，由于本文的電力設備圖像中待檢測設備大部分是小目標，本文方法主要針對電力設備中的小目標檢測性能進行改進。為了在不犧牲檢測精度的同時能提升檢測的速度，本文提出一種基于RetinaNet［29］的電力設備目標檢測方法，該方法能夠較好地平衡檢測的速度和精度。但使用RetinaNet 對電力設備進行檢測，仍存在以下3個問題：

1）RetinaNet 作為通用目標檢測網絡，原始的anchor不適用于電力設備檢測，導致網絡的檢測精度低。

2）由于數據集的樣本數量不足，網絡訓練時容易出現過擬合現象。

3）對于小目標的檢測精度明顯低于大目標樣本。

為了解決以上存在的問題，并且把提高電力設備小目標的識別精度作為制定相關策略和實驗的基本思路進行算法設計和改進，包括：

1）重新設計anchor 的長寬比、尺度大小，用Kmeans 聚類算法分析電力設備數據集，找到最合適的參數，設置與待檢測物體的大小和長寬比更貼近的anchor。增加適用于小目標檢測尺寸為16×16 的anchor，刪除尺寸為512×512的較大的anchor。

2）為了獲得更多的小目標特征信息，在特征金字塔中融合淺層特征層P2。

3）引入通道注意力機制，使得網絡能夠利用全局信息有選擇地提升對任務有用的特征通道，并抑制那些不太有用的通道，使無效的或不太有用的特征圖權重較小，這樣模型訓練就能取得更好的效果。

1 基本原理

1.1 RetinaNet簡介

RetinaNet 是一階段的目標檢測方法，通過在骨干網絡ResNet 上加入圖像特征金字塔FPN（Feature Pyramid Networks）［30］共同進行特征提取，2 個全卷積（Fully Convolutional Networks，FCN）子網絡分別負責位置回歸和分類回歸，并引入Focal loss［29］以解決正負樣本不均衡的問題。RetinaNet 的原始網絡結構如圖1所示。

用Focal loss 代替傳統的交叉熵損失函數，在訓練過程中減少了簡單樣本的損失權重，集中學習復雜樣本，解決了樣本不平衡的問題。Focal loss 引入了一個調制因子（1-pt）γ與一個類別加權因子α，并構建了如下的損失函數：

其中，e為常數，pt指訓練樣本類別預測的置信度，α和γ為超參數，本文分別使用經驗值0.25和2.0。

1.2 電力設備數據集的K-means聚類分析

原始模型是在COCO 公共數據集上進行調參的網絡，普適性較差，不能適應不同的數據集和目標類別。本文用聚類分析的方法，選擇合適的anchor尺寸和長寬比，最大程度地減少了anchor的運算量。

RetinaNet 中anchor 的基本尺寸包括32×32、64×64、128×128、256×256 和512×512 這5 種、{1:2，1:1，2:1}這3 種寬高比和{20，21/3，22/3}這3 種縮放比例，基于此在不同特征圖的每個空間位置生成9 個anchor。對于原始圖像中面積為16×16 的目標，對應的anchor 最小面積為32×32，所以重疊率小于0.25（由（16×16）/（32×32）得到），遠低于常規的閾值0.5。

讀取VOC 格式下存儲標注真實anchor 大小和坐標的xml 文件，然后對所有電力設備的anchor 尺寸進行K-means 聚類。實驗輸出anchor 的分布統計圖如圖2所示。

圖2 anchor分布統計圖

由圖中柱狀圖分布可以看出，電力設備圖的尺寸大部分集中在400×400 分辨率以下，寬高的比例集中在0.5~2.0。原始圖片分辨率為1920×1080，考慮到顯存大小和訓練時長的限制，將訓練樣本輸入大小設置為640×640 分辨率。所以根據等比例縮放，選定適合該電力設備數據集的錨點框尺寸為16×16、32×32、64×64、128×128、256×256，最佳寬高比為{1:1，3:2，2:1}。

使用真實的標記框進行維度聚類的方法，重新設計anchor的尺度大小和長寬比，使訓練中anchor的尺寸更接近檢測物體的真實值，讓模型更容易檢測到待檢測目標的真實位置并進行回歸，并且合適的錨框更容易在訓練中學習到一些特別大和特別小的極端樣本，從而降低網絡的訓練難度，提高目標檢測的準確率。

1.3 FPN調整方法

使用FPN將淺層特征和高層特征結合起來，融入更多的低層語義信息，在一定程度上改善了小目標的檢測性能，但仍不能滿足工業檢測的要求。因為在通過FPN 之后的中層和高層特征圖經過多次卷積運算之后高度壓縮了小目標的特征［31］，導致特征信息嚴重損失，難以檢測到小目標。

由于電力設備中的銷釘、絕緣子和工程車尺寸都較小，圖像所包含的像素信息更少，使用原始的RetinaNet 網絡進行電力設備檢測的效果很差，想要提升檢測性能需要盡可能多地保留小目標的像素信息。因此，在RetinaNet 特種融合的過程中，考慮將C2 層加入FPN，并與特征圖P3 進行融合生成比P3 分辨率更高的融合特征圖P2，使得網絡能學習到保留更多信息的淺層特征，網絡結構如圖3 所示。改進的特征提取結構加入了融合特征圖P2，與P3 至P7 相比，P2只需要較少的卷積運算，特征抽象程度較低，但存儲了更多的像素信息，從而使小目標檢測的精度更高。

圖3 調整后的特征提取結構

1.4 通道注意力機制ECA-Net

注意力機制是一種模擬人腦對圖像的注意力以此優化深度學習模型的方法，也就是在重點關注的區域投入更多注意力資源，同時對無用信息進行有效抑制［32］。

部分電力設備數據集如圖4 所示，圖像中含有電塔、電桿、銷釘和絕緣子多個目標，這些目標大都存在分布密集、顏色發暗、遮擋過多、尺寸過小等問題，無法準確區分前景和背景，可能會在訓練中被混淆為圖像的背景，所以普通的目標檢測方法很難檢測到小目標。

圖4 電力設備分布情況

WANG等［33］提出一種高效通道注意力模塊（Efficient Channel Attention module，ECA），是一種不降維的局部跨通道交互策略，其有效避免了降維對通道注意力的預測效果產生的負面影響。該模塊只涉及極少數的幾個參數，但具有明顯的效果增益。ECANet的結構如圖5所示。

圖5 ECA-Net結構

ECA-Net 通過大小為K的快速一維卷積實現，其中核大小K表示局部跨通道交互的覆蓋范圍。為了避免手動調整K的值，需要一種自適應的方法確定K，而跨通道交互的覆蓋范圍K的大小與通道維度成比例。則K和C之間可能存在某種映射Φ：

最簡單的映射是線性函數：

然而以線性函數為特征的關系太有限，而且通道數量C一般設計為2 的冪次方，因此K和C之間的映射可擴展為非線性函數，表示為：

最終對于不同的通道數量C，只要給定一個值，就能自適應選擇卷積核的大?。?/p>

其中，γ=2，b=1。

ECA-Net作為極輕量級的通道注意力模塊，證明了適當的跨通道交互可以在保持模型性能的同時降低模型的復雜性，加入ECA 模塊的ResNet 結構圖如圖6所示。

圖6 加入ECA模塊前后的ResNet示意圖

2 實驗與結果分析

2.1 電力設備數據集制作

目前沒有公開的電力設備數據集，本文選取國內某省一段時期內的航拍巡檢圖像進行人工分類，挑出能正常顯示電力設備的圖像4290 張，用圖像標注工具LabelImg進行標注，將電塔、銷釘、工程車、絕緣子、電桿分別標為tower、nail、car、insulator、pole這5類，并將數據集按7:2:1 的比例隨機劃分為訓練集、測試集和驗證集。

為了防止訓練過程中由于數據不足出現過擬合的現象，增強網絡的魯棒性，對原始數據集進行數據增強，包括使用平移、剪切、隨機翻轉、隨機旋轉角度、隨機改變對比度等方式對數據進行增強，最后形成一個包含5 類電力設備擁有12870 張圖像的數據集。5 類電力設備目標原始樣本數量和數據增強后的樣本數量如表1 所示，數據增強后的部分圖像如圖7所示。

表1 數據增強前后5類樣本數量對比

圖7 數據增強后的電力設備圖像

2.2 評價指標

評估指標使用平均精度均值（mAP），平均精度是綜合查準率和查全率的性能指標，其定義如式（6）所示：

其中，Rn、Pn分別表示第n個檢測閾值下的查全率和查準率。

此外，由于大部分電力設備所處的背景密集復雜，且圖像受天氣和光線的影響較大，檢測時容易出現錯檢和漏檢情況，因此還選擇召回率（Recall）作為模型評價指標，可表示為：

其中，XTP為正確檢測到的電力設備樣本數量，XFN為被漏檢的電力設備樣本數量?？紤]到電力設備檢測應用于移動端的可能，將每秒傳輸幀數（FPS）也作為各模型的檢測指標之一。

2.3 網絡訓練環境配置

實驗使用的網絡訓練環境如表2所示。

表2 網絡訓練環境

2.4 對比實驗

驗證本文針對電力設備小目標對RetinaNet 的改進效果，由表3 結果可知，本文的改進方法在電力設備數據集上平均準確率可達到89.1%，比原始的RetinaNet 提高了18.1 個百分點，對比經典的二階段檢測網絡Faster-RCNN 和一階段檢測網絡SSD 及YOLO v3，平均檢測精度分別提高了13.3 個百分點、4.6個百分點和11.2個百分點。由于本文根據電力設備的特殊尺寸增加了錨點框的尺度，并且引入了淺層的特征圖進行特征提取，還加入了注意力機制，這就增加了網絡的層數和復雜度，所以檢測速度有所下降，但電力設備檢測對實時性的要求不高，核心是提高電力設備檢測的準確率，能更全面地識別出電力設備，所以犧牲一定的檢測速度是值得的。

表3 不同目標檢測算法對比

檢測的5類電力設備的準確率和召回率如表4所示。從表4 的結果分析可知，本文改進后的RetinaNet檢測方法在待檢測的5類電力設備和整體的識別結果上都得到了最高的準確率和召回率，尤其是小目標占比最多的銷釘和絕緣子，改進方法檢測的準確率有大幅提升，分別提升了42.5個百分點和25.2個百分點，這表明本文改進的RetinaNet 不僅能有效提高大部分電力設備的檢測準確率，而且對小目標檢測過程中容易出現錯檢漏檢而導致檢測精度低的問題進行了有效改善。

表4 5類電力設備檢測的準確率和召回率對比

2.5 消融實驗

表5 是對本文改進的各個模塊進行分析的結果。從表5 中第1 行和第2 行的數據對比可以看出，本文通過K-means 標簽聚類的方法手動設置anchor 的超參數，使錨框的尺寸和寬高比更接近真實框的尺寸，更有利于網絡訓練，相比于原始的RetinaNet，整體的mAP 提高了10.2 個百分點，并且在設置合適的錨點框之后，檢測速度也有提升。這表明了使用K-means聚類方法修改原始網絡使其適用于電力設備檢測是極其有效的。

表5 改進RetinaNet各模塊貢獻

從表5 中第2 行和第3 行的數據對比可以看出，在金字塔特征提取網絡里增加的淺層特征層P2雖然特征的抽象程度較低，但所進行的卷積運算次數更少，保留了更多像素信息，有利于提高小部件識別的準確率，使mAP進一步提高了5.1個百分點。

從表5 的中第3 行和第4 行的結果對比可以看出，加入注意力機制后，模型能夠應對目標尺度變化較大的情況，從局部特征中判斷出電力設備的種類，使得mAP再提高0.6個百分點。

比較原始的RetinaNet 網絡和本文改進的RetinaNet 網絡，對于電力設備的識別精度整體上提升了18.1 個百分點，其中銷釘的精度提升了42.5 個百分點，效果最為明顯；其次是絕緣子，提升了25.2個百分點；其余電力設備也有一定程度的精度提升，由于本文主要是針對小目標進行的改進，所以在小目標的電力設備上精度提升的效果最為明顯。

改進方法的檢測效果如圖8 所示，圖8 中，（a）為原始RetinaNet 網絡檢測的圖像，（b）為對應原圖使用本文改進后的方法檢測的圖像。

圖8 檢測結果對比圖

由檢測圖像的對比可以看出，電力設備圖像中存在密集小目標銷釘，原始RetinaNet 的檢測結果存在漏檢和錯檢的情況，而改進后的RetinaNet 則可以把所有的銷釘都識別出來，沒有漏檢和錯檢的情況，并且識別結果的置信度都有明顯提升。這表明本文方法能夠有效地提升圖像中尺寸較小的電力設備目標檢測的準確率和全面性。

3 結束語

本文創建了電力設備數據集，并通過樣本增強方法擴充了數據集，并在RetinaNet 網絡的基礎上，針對小目標電力設備檢測精度低的問題，通過K-means聚類分析設定符合電力設備的錨點框，并加入低層融合特征圖P2，再由ECA 模塊引入通道注意力機制對特征圖進行加強。實驗結果表明，本文改進的RetinaNet 方法大幅改善了電力設備的識別效果，尤其是對電力設備中的小目標檢測有著很大的有效性和優越性，具有較高的應用價值。雖然網絡結構上的改進能夠有效地提升小目標的檢測效果，但是限制小目標檢測性能好壞的關鍵因素是小目標本身包含的有限的分辨率和特征信息?；诖?，要進一步研究怎樣提升小目標的分辨率和盡可能多地增強小目標包含的特征信息，才能真正有效地提高小目標的檢測精度和網絡性能。