基于遮擋關系推理的輸電線路圖像金具檢測

戚銀城，趙席彬，耿劭鋒，張薇，趙振兵，呂斌

（1.華北電力大學 電子與通信工程系，河北 保定 071003;2.華北電力大學 河北省電力物聯網技術重點實驗室，河北 保定 071003;3.國網浙江杭州市蕭山區供電有限公司，浙江 杭州 310000）

輸電線路作為電力系統的重要基礎設備之 一，其運行狀態的安全穩定是電力傳輸的重要前提保障。金具[1-2]作為輸電線路上種類繁多且應用廣泛的金屬附件，主要用于支持、固定、接續裸導線和其他導體。輸電線路長期暴露在野外惡劣環境下，一些金具部件極易產生銹蝕、破損和脫落等故障，就會對整個電力系統的穩定運行造成威脅，因此對金具部件進行定期檢修可以有效保障線路的正常運行。傳統的金具檢修方式為人工巡檢，費時費力且檢修效率較低，目前電力系統已廣泛采用安全系數較高的直升機和無人機進行輸電線路上金具巡檢工作[3-4]。但由于拍攝角度的多變性和金具所處背景的復雜性，必須利用魯棒性較強的圖像處理算法，并結合金具的背景信息處理其檢測問題，這能夠很大程度地提高輸電線路自動化巡檢的效率。

目前，輸電線路圖像金具檢測工作也取得了一定的進展，以防振錘、線夾和均壓環等金屬部件為研究對象，相關的檢測算法研究主要以傳統圖像處理、機器學習方法為代表和以深度學習算法為代表兩大類?；趥鹘y方法的輸電線路金具識別研究中，文獻[5]通過提取圖像邊緣，根據防振錘、絕緣子等部件中存在的圓形邊緣進行識別分類。文獻[6]提出一種利用層次模型“與或圖”對目標進行分解表達，建立部件之間的約束關系，構建多向的判別路徑的方法，該方法在少量樣本的條件下，能有效地實現若干輸電線路部件的缺陷判別。文獻[7]基于圖像灰度變換、Otus算法分割和Hough 變換實現了物體的精確識別。為實現對防振錘銹蝕的識別，文獻[8]結合了形態學處理和RGB 彩色模型，通過圖像色區的不同檢測防振錘銹蝕缺陷。這類算法主要針對單一金具識別，并不適用于復雜背景下輸電線路的多類部件檢測，并且很難達到輸電線路部件檢測的精度和效率之間的平衡，其具有一定的局限性。隨著深度學習研究的逐漸深入，基于深度學習的金具檢測算法越來越多，文獻[9]提出一種將多尺度特征融合方法與輸電線路關鍵部件的檢測相結合的算法，提高了算法在具有邊緣計算能力的移動端ARM 設備上的運行速度和部件的檢測精度。文獻[10]提出了一種基于改進SSD 模型的金具檢測方法，通過嵌入關系模塊有效提升了小目標金具的檢測精度，但模型檢測精度較低且參數量較大。文獻[11]提出了一種結合KL 散度和形狀約束的 Faster R-CNN 典型金具檢測方法，有效地提高了模型定位金具目標的準確性?；谏疃葘W習的檢測算法雖然一定程度上可以檢測出金具目標，但由于僅僅關注圖像內目標感興趣區域附近的局部信息，忽略了圖像內豐富的場景信息和目標間的關系信息，這不可避免地會限制所檢測物體的準確性，容易導致模型出現漏檢、誤檢等問題，故直接使用以上算法檢測效果不佳。相比于公共數據集，輸電線路金具數據集的特殊之處在于，最初安裝金具時需要遵循一定的安裝規則，即多類金具間的隱式位置關系信息，進而造成巡檢圖像中金具間的遮擋現象，故通過結合場景關聯信息和金具間的關系信息有助于更好地實現復雜場景中多類金具檢測的精準定位[12-14]。

本文針對在巡檢圖像中金具所處背景復雜且金具間存在復雜遮擋問題，提出了一種基于遮擋關系推理的金具檢測方法，選取綜合目標檢測效率和精度平衡的超快速區域卷積神經網絡(faster region-based convolutional neural networks,Faster R-CNN)模型[15]作為基礎模型，構建結合金具間遮擋關系信息的圖，并以金具所處場景信息作為圖迭代更新的指導信息，進行輸電線路金具位置和類別的聯合推理檢測。其中，金具目標作為圖的節點，金具間的遮擋關系信息和金具所處的背景信息作為金具節點狀態更新的指導信息，以提高金具的檢測精度，從而為輸電線路典型金具運行狀態的智能檢測提供新的思路。

1 Faster R-CNN 模型

Faster R-CNN 模型是Ren 等[16]在Fast R-CNN模型的基礎上改進提出的，主要分為4 個部分，分別為卷積層提取特征、生成候選區域 (region proposal networks，RPN)、感興趣區域池化(RoI pooling)[17]及分類/回歸預測。在檢測目標時，先將整幅圖像輸入卷積神經網絡中提取圖像特征，特征提取部分采用的是VGG16 網絡，通過卷積和池化輸出后續用于分類和預測的特征圖；將生成的特征圖輸入到RPN 中用于生成候選區域，即在特征圖上以每個點為中心生成9 種不同大小的錨框，然后通過3×3 的滑動窗口生成特征向量，并基于全連接層和分類層輸出參考框作為前景的置信度；由于RPN 中提取出的區域建議框和特征圖上區域形狀差異較大，為保持卷積神經網絡輸入尺度固定，采用ROI pooling 將輸入中任意尺度的特征圖轉化成統一尺度的特征向量；最后使用全連接層以及softmax 分類器計算出不同區域建議的類別，其損失函數為交叉熵函數，再通過邊界框回歸對目標框進行微調，得到精確的邊界框位置，其損失函數為Smooth L1 函數，Faster R-CNN模型的整體框架如圖1 所示。

圖1 Faster R-CNN 模型結構Fig.1 Faster R-CNN model structure

Faster R-CNN 模型的主要創新在于提出RPN網絡。RPN 是全卷積網絡，可以和Faster R-CNN模型的主干網絡共享全局特征，實現了端到端的目標檢測。但是，Faster R-CNN 模型在分類和位置回歸時，只利用了金具感興趣區域內的視覺特征，導致金具檢測器出現圖2 的漏檢情況(如虛線框所示)，圖(a) 漏檢了與聯板相連的提包式懸垂線夾和被均壓環遮擋的線夾，圖(b)漏檢了與調整板相連的U 型掛環。如果能夠利用金具間的連接關系，即巡檢圖像中金具標注框間的遮擋關系，可以一定程度上改善輸電線路金具漏檢現象。

圖2 Faster R-CNN 模型金具檢測錯誤示例Fig.2 Examples of error detecting fittings by the Faster RCNN model

2 基于遮擋關系推理的輸電線路圖像金具檢測方法

本文的主要研究任務是在海量的輸電線路航拍巡檢圖像中更加精準地檢測多類金具，選取Faster R-CNN 作為基礎模型進行輸電線路圖像金具檢測。為了構建以金具間遮擋區域關系信息作為邊信息的圖，首先需要學習金具目標間關于遮擋區域的位置關系表達，借鑒數學幾何中相交區域的位置描述思想，本文提出了金具目標間遮擋關系信息的描述方法，即將學習目標標注框間相交區域的位置信息作為其遮擋關系信息，并采用基礎模型提取金具目標特征作為節點，提取整張圖像特征作為場景關聯信息，與遮擋關系信息一起作為推理檢測過程的指導信息，并基于節點的最優狀態完成金具目標的檢測。圖3 為整體檢測框架圖，其中虛線框為金具圖建模后的結構推理檢測部分。

圖3 整體檢測框架Fig.3 Overall detection framework

2.1 基于金具遮擋關系信息描述的邊建模

為了完成基于金具遮擋關系信息描述的圖的設計，首先需要構建基于金具遮擋關系信息描述的邊。具體為，在一張巡檢圖像中，基于兩金具標注框相交區域的坐標位置描述，完成對兩金具間包含遮擋關系信息的邊建模。其主要作用為，可以幫助檢測模型充分地學習到金具間的遮擋關系信息，而不再僅僅關注金具目標信息。在公共檢測數據集中，由于目標間存在較少的遮擋情況，在構建以目標為節點的圖的邊時，通常以目標標注框的相對位置關系表達式來描述兩者的幾何位置關系，對圖片中所有目標計算了幾何關系，這并未體現目標間的相交情況。區別于公共檢測數據集，輸電線路的金具由于在最初安裝時遵循一定的安裝規則，進而造成了金具間的遮擋現象，具體示例見圖4。圖4(a)從上往下依次為重錘和提包式懸垂線夾的遮擋區域示意圖、U 型掛環被其他金具的遮擋區域示意圖和聯板與線夾的遮擋區域示意圖；圖4(b)為金具遮擋關系，從上往下依次為重錘與線夾、均壓環與線夾、聯板與線夾、均壓環與聯板、U 型掛環與調整版。通過分析輸電線路圖像中金具間存在的遮擋區域可知，兩兩相交的區域通常包含兩類目標的部分特征信息，具有一定的相似性，相對于金具的固定位置關系，金具間的相互遮擋信息具有代表性且遮擋區域具有一定的結構化，故完成金具節點間的邊結構設計之前，需要完成對金具間的遮擋關系描述，以替代原有的相對位置關系表描述。

圖4 輸電線路金具數據集中金具間遮擋區域Fig.4 Shielded area between the fittings in the transmission line fittings data sets

基于輸電線路中金具安裝規則的先驗知識，實際輸電線路場景中金具間的遮擋關系與人工標注的輸電線路圖像中金具標注框的相交關系密切相關，且標注框相交區域具有一定的相似性，故金具目標間遮擋關系描述可以轉換成金具標注框相交區域的位置關系描述。輸電線路圖像中兩兩金具標注框間存在相交與未相交兩種關系，描述標注框間的相交區域前需要判斷兩者之間是否存在相交，若滿足判斷條件，則判定兩者存在相交關系，即目標間存在遮擋關系。

通過數據集標注信息可知金具目標標注框的左上角和右下角坐標，通過幾何數學關系可求得標注框的幾何坐標為 (x,y)，即標注框的中心坐標，w和h分別代表標注框的寬和高，則目標m和目標n的遮擋判斷條件為

式中：xm、ym、wm、hm為目標m的標注框的幾何坐標；xn、yn、wn、hn為目標n的標注框的幾何坐標。當目標m和目標n同時滿足式(1)時，即可判斷兩者存在相交即遮擋。

當目標m、n的標注框存在相交區域時，可通過式(2)求得相交區域的幾何坐標為(xmn,ymn,wmn,hmn)。當兩者未存在相交時，其相交區域坐標為(0,0,0,0)。

根據上述矩形框相交區域的幾何坐標描述方法可知，輸電線路巡檢圖片中金具間的遮擋關系信息可通過式(1)、(2)得到的相交區域幾何坐標進行描述，為了使其具有平移旋轉不變性特征[10]，對相交區域矩形坐標進行變換，產生關聯幾何空間特征向量，通過遮擋關系描述構建基于金具遮擋信息的邊向量Rn→m，其數學表達式為

式中s代表標注框的面積。

2.2 基于金具遮擋關系信息的圖建模

本文通過提取巡檢圖像中不同標注框的相對遮擋關系信息構建金具節點間的邊，進而完成構建包含金具遮擋關系信息的圖，接下來將闡述圖的具體設計方法。

一般地，圖主要包括目標節點和節點間的邊[18]，對于輸電線路圖像金具目標而言，考慮到巡檢圖像的金具目標包含豐富的場景上下文信息，對一張巡檢圖像上所有的金具目標特征、金具間的遮擋關系邊和金具所處的場景信息建模。即圖主要包括3 部分，即金具節點、金具節點間的邊和場景關聯信息，用數學表達式描述為G=(V,E,c)，其中，G為圖，V為圖中所有金具節點向量，E為每對金具節點之間的邊向量，c為金具所處場景向量，如圖5 所示。其作用為，通過構建包含場景信息和多類金具遮擋信息的圖，幫助模型充分地學習到金具特征信息，提升多類金具的檢測精度。

圖5 基于金具遮擋關系信息的圖建模Fig.5 Graph modeling based on the information of fittings occlusion relationship

完成基于金具遮擋關系信息的圖建模之前，首先需要進行金具節點特征和金具場景信息的提取，綜合考慮模型的檢測精度和效率，選擇目前的主流檢測模型Faster R-CNN 作為基礎模型，并選用特征提取能力較強的VGG16 作為骨架網絡進行金具特征提取。通過RPN 網絡獲得了金具的多個區域提取框，使用NMS 方法選擇固定數量(128 個)的感興趣區域，對于每個ROI (vm∈V)，基于池化層生成固定尺寸的特征圖，并通過全連接層提取金具的視覺特征作為金具節點特征向量。由于整張巡檢圖像沒有真實場景標簽c，采用上述相同方法提取整張圖像特征向量作為場景關聯信息fc，提取ROIs 的幾何坐標向量并通過遮擋關系信息描述方法轉換為遮擋關系向量Rn→m進而構成包含金具遮擋關系信息的邊向量en→m(具體見式(4))，完成基于金具遮擋關系的圖建模。

2.3 基于金具遮擋關系信息的推理檢測

完成基于金具遮擋關系信息的圖建模之后，需要對圖的每個金具節點狀態進行更新，并基于節點的最優狀態完成金具的檢測。通過分析一張巡檢圖片的金具分布情況，可知存在多類金具且金具間存在復雜的遮擋關系的情況下，金具的狀態更新即為基于該巡檢圖片中其他所有金具和巡檢圖片場景傳遞的信息編碼。由于節點需要接收來自多個節點的信息，為了減少金具節點狀態更新時的信息冗余和復雜度，選擇門控循環單元(gated recurrent unit,GRU)[19]作為信息傳遞單元。GRU 作為常用的存儲長序列信息的記憶單元，可以根據其他金具節點和場景的信息傳遞情況，丟棄無用的信息并選擇與該金具節點相關的部分來更新其狀態，進而完成金具節點的狀態更新，即圖推理為基于場景門控循環單元和邊門控循環單元對圖中金具節點狀態進行更新，多次的信息傳遞更新可以更魯棒地表示金具節點的狀態，直至迭代到最優狀態并基于該節點信息完成金具的推理檢測。其作用在于，通過構建兩種門控循環單元信息傳遞機制，借助基礎檢測框架完成金具節點推理檢測，幫助金具節點在訓練迭代中充分學習來自場景信息和其他金具節點傳遞信息，豐富該金具節點自身特征信息，從而提升其檢測效率。

由于巡檢圖像中的金具處于復雜的輸電線路背景中，并且金具間具有復雜的遮擋連接關系，因此選擇兩種門控循環單元構建結構推理模塊完成金具的推理檢測，即場景門控循環單元和邊門控循環單元。在場景關聯信息指導下，金具節點之間基于遮擋關系程度進行信息傳遞，進而完成節點狀態更新，每個節點需要在保留當前狀態重要信息的同時接收多個節點傳遞的信息。對于金具節點vm，場景關聯信息向量fc作為場景GRU 的輸入，該節點集合其他節點的信息量te作為邊GRU 的輸入，即通過遮擋關系程度計算不同節點傳遞的信息，并池化整合信息，其輸出用數學表達式描述為

式中：節點vm的特征向量主要通過聚合其他節點到該節點傳遞的信息，并采用最大池化操作提取重要特征信息。場景GRU 和邊GRU 的輸出信息通過均值池化表達為節點更新后的狀態，多次的信息傳遞更新可以更魯棒地表示金具節點的狀態，直至迭代到最優狀態并基于該節點信息進行金具類別和邊界框預測。

3 實驗結果及分析

基于深度學習的目標檢測模型的準確性很大程度上依賴于一定規模的數據集?？紤]到模型的可識別性和建庫的可操作性，借鑒PASCAL VOC數據集[20]的構建方法，基于人工經驗標注構建專業的輸電線路金具檢測數據集，為后續的研究工作提供重要的數據準備。綜合考慮巡檢圖像中金具數量級、金具間遮擋關系和金具形態特征[21]等因素，本文實驗最終選取提包式懸垂線夾、均壓環、間隔棒、重錘、U 型掛環、防振錘、調整板、聯板8 類金具目標作為研究對象，這8 類是目前課題組擁有的樣本數量最多、易發生故障、且與其他金具普遍存在連接關系的金具。由于原始圖像尺寸較大，一般為6 000×4 000 像素，在檢測過程中會給GPU 工作站帶來巨大的負擔，為此本文在盡量不損失金具圖像重要信息的前提下，對原始樣本進行裁剪并將尺寸固定為3 000×2000 像素。文中實驗使用的金具訓練集和測試集樣本數分別為1 166 和290 張，其中，訓練集和測試集中所包含每類金具的數量情況統計如圖6 所示。

圖6 金具訓練集和測試集單類金具的標注框數量圖Fig.6 Number of labeled boxes for the training sets and test sets of single-type fittings

本文的軟件運行環境是基于Python2.7 的tensorflow1.3.0 深度學習框架，硬件環境為Ubuntu 16.04 以及8 GB 內存，顯卡為NVIDIA GeForce TITAN Xp，超參數批處理大小為128，初始學習率為0.001，當訓練迭代次數達到60 000 時，學習率降為0.0001，直到達到最大迭代次數80 000 次。為了驗證遮擋關系推理模塊的有效性，在Faster R-CNN 模型的基礎上嵌入其模塊，其中，原始Faster R-CNN 模型作為文中實驗對比分析的基線，并且改進前后模型的參數設置保持一致。

本文采用目前主流的目標檢測模型評價指標AP (average precision) 值、mAP (mean average precision) 值和recall 值對模型性能進行評估。其中，AP 為平均精度，即通過度量模型輸出框與Ground truth 的距離計算單類目標的檢測準確率；mAP 值為平均精度均值，即多類目標的檢測準確率的平均值；recall 為召回率，即測試集所有正樣本樣例中，被正確識別為正樣本的比例。

表1 為加入遮擋關系推理模塊前后的模型檢測結果。從表1 可以明顯看出，加入遮擋關系推理模塊一定程度上提升了金具的檢測準確率，相較于微調的Faster R-CNN 模型，改進后模型的mAP 值提升2.85%，recall 值提高3.1%，針對原檢測模型并未考慮到金具間的遮擋關系和金具所處的復雜背景信息，導致模型產生漏檢和低精度等問題。本文將金具檢測問題形式化為金具圖推理，通過引入遮擋關系推理模塊，建模以金具為節點、金具間遮擋關系信息為邊指導信息的圖，采用門控循環單元消息傳遞機制對巡檢圖像中金具類別和位置進行聯合推理，使模型檢測時更依賴金具間的遮擋信息，顯著提高了模型對于典型金具數據集的檢測精度。

表1 遮擋關系推理模塊加入前后的模型檢測結果Table 1 Model detection results with and without the occlusion relationship reasoning module %

表2 為基于原始Faster R-CNN 模型和基于引入遮擋關系推理模塊后模型的單類金具檢測的AP 值。從表2 可以看出，巡檢圖像中的重錘通常與3 個及以上懸垂線夾組裝，且兩類金具遮擋度較高，故通過學習遮擋信息可以有效提高被遮擋的懸垂線夾的檢測精度，相對地，重錘檢測精度提升不明顯。此外，與均壓環、調整板存在遮擋連接關系的U 型掛環和聯板等連接金具的檢測精度也有不同程度的提升。其中，U 型掛環金具目標尺度較小且在圖像中分布十分密集，與其他金具間存在明顯的遮擋關系，調整板和聯板這兩類金具的被遮擋程度同樣較高，通過學習該類金具與其相連接金具的遮擋關系信息可以有效提升該類金具的檢測精度。此外，輸電線路中存在大量用于防止導線振動的防振錘，由于防振錘在圖像中存在同類別遮擋情況易導致防振錘出現漏檢等情況。實驗結果表明，通過嵌入遮擋關系推理模塊進行防振錘間的遮擋關系信息學習，即隱式學習防振錘成對成群安裝規則，一定程度上提升了對防振錘的檢測性能。

表2 改進模型前后單類金具的AP 值Table 2 AP value of single-type fittings before and after the improved model %

為了更好地驗證結合遮擋關系推理模塊的Faster R-CNN 檢測模型對金具數據集的有效性，在相同的網絡優化參數設置和相同的骨干網絡VGG16 的基礎上，本文不僅縱向比較了改進前后模型在金具數據集上的檢測性能，還采用目前主流的單階段檢測模型SSD[22]和兩階段檢測模型Faster R-CNN 與本文方法進行橫向對比分析。實驗結果如表3 所示，通過縱向對比分析表3 中的mAP 值可以看出，相較于單階段檢測SSD 模型，本文方法的mAP 值提高了5.65%，相較于微調后的Faster R-CNN 模型，其mAP 值提高了2.85%，這表明聯合考慮金具間的遮擋關系信息和所處背景信息[23-25]有助于提升金具檢測的準確率，可以一定程度上減弱僅考慮金具感興趣區域內特征帶來的金具誤檢、漏檢等現象，尤其對于輸電線路中具有連接關系的小尺度金具性能提升明顯。

表3 各方法檢測性能比較Table 3 Comparison of detection performance of each methods %

使用本文方法的金具檢測可視化結果如圖7所示，所給出的可視化結果為測試集中具有代表性的部分圖像測試結果，包含金具目標檢測的得分、類別和邊界框，其中圖(a)、(c)、(e)為迭代130 000次的微調Faster R-CNN 模型的檢測結果，圖(b)、(d)、(f)為迭代130 000 次引入遮擋關系推理模塊的Faster R-CNN 模型檢測結果，其中虛線框為模型漏檢金具目標?？梢钥闯?，在原始Faster R-CNN模型檢測結果中，圖(a)中均壓環下方的提包式懸垂線夾由于被遮擋未被原始模型檢測，與聯板相連的線夾由于拍攝角度被模型漏檢，圖(c)漏檢了與均壓環相連的聯板，圖(e)漏檢了與調整板連接的U 型掛環，引入遮擋關系推理模塊后，相關金具的檢測精度有所提升，一定程度上改善了原始模型的漏檢、誤檢和低檢測精度等問題。

圖7 Faster R-CNN 和本文方法金具檢測結果Fig.7 Test results of the Faster R-CNN and the proposed method

4 結束語

為了滿足輸電線路智能化巡檢高精度的要求，針對輸電線路圖像金具間存在不同程度遮擋導致金具檢測出現漏檢和誤檢的問題，本文提出了遮擋關系推理模塊和Faster R-CNN 模型相結合的金具檢測方法。在遮擋關系推理模塊建模階段，基于矩形框相交區域的數學描述方法學習金具標注框與其他金具標注框的相交區域信息，即學習與其他金具的遮擋關系信息。實驗結果表明，結合金具遮擋關系推理的Faster R-CNN 檢測mAP 值較原始模型有2.7%的提升，其中U 型掛環、聯板和調整板等遮擋較為嚴重且尺度較小的金具提升尤為明顯，這在一定程度上證實了學習金具間的遮擋關系信息，可以有效提升模型的檢測性能，同時為后續的金具缺陷檢測和金具上的螺栓檢測奠定了良好的基礎。