基于無人機智能視覺的輸電線路全息全景重建

， ，，

(1.國網福建省電力有限公司，福州 350003；2.國網福建省電力有限公司三明供電公司，福建 三明 365000；3.廈門億力吉奧信息科技有限公司，福建 廈門 361009)

0 引言

輸電線路是我國遠距離輸送電能源的主要途徑，它的狀態決定了電網能否安全運行[1]。頻發的自然災害對輸電線路造成了嚴重影響[2]?，F有技術通過采集輸電線路圖像，對輸電線路進行重建來提高輸電線路質量，以便確保輸電線路安全運行，但受到輸電線路鋪設位置的局限性，往往圖像信息采集不完全[3]。智能技術和機器視覺技術的不斷進步，使無人機可以智能地拍攝輸電線路全景，且能夠實現在輸電線路同一點多角度多幅圖像的拍攝[4]。將無人機智能視覺技術應用到輸電線路全息全景重建方法中，能夠更逼真、更準確地完成輸電線路的重建。傳統方法基于雙目視覺稀疏點云技術對輸電線路圖像進行提取和定位，獲取電纜走廊影像，采用核線約束算法得到輸電線路稀疏點云，引入懸鏈線擬合技術對輸電線路的全息全景進行重建[5]。該方法包含大量復雜算法，易出現誤差，導致重建結果不準確。為解決上述問題，提出一種基于無人機智能視覺的輸電線路全息全景重建方法。

1 輸電線路全息全景重建原理

基于無人機智能視覺的輸電線路全息全景重建方法利用視差原理，由無人機從不同角度對輸電線路進行觀察，引入全息照相技術對輸電線路全景進行拍照，通過底片成像獲取輸電線路全景圖像，使輸電線路同一個點在多幅圖像中呈現出不同的視覺效果。根據無人機智能視覺成像的原理得到像點之間的集合關系，通過計算得到像點的三維坐標。

圖1為輸電線路全息全景重建原理圖，其中圖像a和圖像b是同段輸電線路上的電路圖像，是由無人機從不同角度進行拍攝得到的。

圖1 輸電線路全息全景重建原理圖

圖1中基線距代表無人機視覺中心的連線距離；f代表無人機的焦距，即無人機到輸電線路全息全景圖像平面的距離；Q1和Q2代表輸電線路全息全景圖像平面的坐標原點。以左面無人機的中心為原點建立坐標系Xc-Yc-Zc，P代表空間中輸電線路上的某一點，其坐標為(xc,yc,zc)，在兩幅輸電線路全息全景圖像上的成像位置為Pa(x1,y1)、Pb(x2,y2)，根據三角的幾何關系可以得到下式：

(1)

因為無人機一直在垂直方向并且保持同一平面，所以y=y1=y2，無人機的視差為|x1-x2|。輸電線路上的P點可以通過無人機內外參數并結合視差進行計算。

利用以上輸電線路全息全景重建原理，完成基于無人機智能視覺的輸電線路全息全景的重建。

2 輸電線路全息全景圖像預處理

在進行輸電線路全息全景重建之前，對輸電線路的全息全景圖像進行預處理。預處理主要包括：輸電線路圖像的采集和全息全景圖像特征提取。圖像采集和特征提取的準確性是確保輸電線路全息全景重建高精度的關鍵。

2.1 輸電線路圖像的采集

采用無人機智能視覺的技術對輸電線路圖像進行采集。無人機具有時效性強、成本低和機動靈活的特點[6]，適用于輸電線路圖像的采集。無人機智能視覺技術圖像數據的獲取是通過無人機搭載的攝影機，結合高精度IMU和GPS接收機完成。攝影機用來獲取輸電線路圖像，IMU和GPS用來提供坐標信息和位置。一般在數據處理中根據空間三角的測量方法對輸電線路圖像提供準確的位置信息。

無人機智能視覺技術由檢校場設計、地標點設計和飛行方案設計構成。無人機飛行設計中航飛設計底圖通常采用高清的影像圖[7]。在無人機航飛設計的地圖中對飛行范圍進行標注，調查該區域的地形情況。通過專用的航線設計軟件對無人機的航線進行設計，要求物理像元尺寸、地面分辨率和行高滿足三角的比例關系。采用航線設計軟件生成一個包含相機曝光點坐標和航線坐標的飛行計劃文件。在實際的無人機飛行中，無人機上的相機通過相對應的曝光點坐標對輸電線路進行自動的曝光拍攝。

無人機在飛行前需要進行輸電線路的地標點設計，方便輸電線路圖像數據的處理。輸電線路地標點的設計原則為：

(1)沿無人機航行路線每隔1千米設置一個地標點，輸電線路的重要地區每隔500米設置一個地標點。

(2)沿無人機航行線路每隔10千米設置雙地標點，在輸電線路的左面和右面各放置一個地標點。

(3)將地標點放置在無人機飛行范圍的邊緣，不能將地標點放置在輸電線路的正下方。

2.2 全息全景圖像特征提取

1)圖像初始邊緣提?。?/p>

根據輸電線路全息全景圖像的灰度變化決定輸電線路圖像的分塊大小，將目標區域灰度值和背景接近區域作為圖像待處理的區域，使用梯度幅值檢測邊緣對輸電線路全息全景圖像進行檢測。分析圖像中存在目標灰度值和背景灰度值接近的區域，需要考慮：因為圖像的目標灰度值和背景灰度值區域的梯度幅值較小，使用整幅圖像的方差和梯度幅值均值作為閾值進行全息全景圖像邊緣點的監測時，會出現斷裂的情況；若先采用單閾值對輸電線路全息全景圖像邊緣點進行檢測，圖像區域中出現了斷裂的情況，表明該區域為輸電線路圖像目標區域灰度值和背景灰度值接近的區域。

采用全息全景圖像方差和梯度幅值作為閾值檢測輸電線路圖像的初始邊緣。在圖像的初始邊緣檢測圖像邊緣中的斷點，尋找輸電線路目標區域和背景灰度接近的圖像區域作為窗口，檢測原始輸電線路窗口內的邊緣。將傳統算法檢測的輸電線路圖像邊緣init-edge二值圖像作為初始邊緣[8]，其大小為N1×N2。

2)全息全景圖像邊緣斷點檢測：

通過在輸電線路全息全景圖像的初始邊緣上檢測圖像邊緣斷點，尋找圖像目標灰度值和背景灰度值接近的區域，即在細化后的輸電線路全息全景圖像初始邊緣中尋找斷點。細化后的初始邊緣寬度為1個像素，所以只需在輸電線路的二值邊緣圖像中尋找斷點即可，圖2為簡化的輸電線路初始邊緣init-edge示意圖。

圖2 邊緣斷點示意圖

在初始邊緣中輸電線路全息全景圖像的像素分為中間點和端點。中間點代表的是全息全景圖像中一條邊緣線條中間的像素點。端點代表的是全息全景圖像中邊緣的頭部或尾部的像素點，根據像素點的特征，對輸電線路全息全景圖像中的初始邊緣端點進行檢測。

3)自適應窗口大?。?/p>

根據檢測輸電線路全息全景圖像初始邊緣中的斷點確定目標灰度值和背景灰度值接近的區域，但無法確定全息全景圖像區域的窗口大小。將輸電線路圖像中端點密度大的區域大小作為圖像窗口的大小，使用窗口內方差和梯度幅值均值對區域內的邊緣進行檢測。

將輸電線路全息全景圖像中的斷點進行分類確定斷點密度較大區域的大小，采用k均值聚類方法對圖像邊緣斷點進行聚類。

設N為輸電線路全息全景圖像初始邊緣斷點個數，設為{(x1,y1),(x2,y2),(x3,y3)…(xN,yN)}，采用k均值聚類方法將N個初始邊緣斷點分為k類，其中第i個分類中的集合表達式為Li={(x1i,y1i),(x2i,y2i),(x3i,y3i)…(xni,yni)}，采用矩形框確定輸電線路圖像聚類區域，其中輸電線路圖像邊緣中第i個窗口上的邊界為：

(2)

所以第i個窗口的大小為wini=(lefti:righti:upi:downi)。

4)圖像最終邊緣提?。?/p>

采用k均值聚類方法確定輸電線路全息全景圖像中目標區域灰度值和背景圖像灰度值接近的區域。然后將聚類出的窗口映射到輸電線路的原始圖像中，使用梯度幅值檢測法對輸電線路的邊緣進行檢測[9]。

采用梯度幅值算法對輸電線路全息全景圖像的窗口邊緣進行檢測，得到連續的邊緣，計算圖像初始邊緣和窗口內邊緣的集，得到完整的全息全景圖像的邊緣。設輸電線路圖像中第i個窗口檢測的邊緣為edge-wini，輸電線路全息全景圖像最終邊緣的計算公式為：

(3)

綜上所述，對輸電線路全息全景圖像進行預處理，為輸電線路全息全景重建方法的實現奠定了良好的基礎。

3 重建方法的實現

基于無人機智能視覺的輸電線路全息全景重建方法，先對圖像特征進行跟蹤，檢查圖像領域內像素點，選取最優圖像分支。采用立體匹配算法，尋找同意輸電線路不同像素的對應關系，計算圖像深度信息，實現輸電線路全息全景的重建。具體方法描述如下：

3.1 圖像特征跟蹤

利用下述函數對輸電線路全息全景圖像進行卷積，在圖像中選擇響應為3的像素為種子點。

(4)

特征跟蹤從輸電線路全息全景圖像中的種子點開始，對圖像鄰域內的像素點進行檢查，向兩個方向分別進行生長。當圖像鄰域內只存在兩個有效值時跟蹤結束。因為無人機智能視覺技術造成的線路圖像存在復雜的冰晶和重疊的問題[10]，使跟蹤的輸電線路全息全景圖像存在多個候選點。此時選擇與當前無人機線路最近的點作為生長點。跟蹤完圖像中所有分支后，根據分支的方向和長度的夾角選取最優的分支。

3.2 基于立體匹配的重建方法

根據無人機的多個觀察點對同一場景進行觀察，得到不同視覺位置下的輸電線路全息全景圖像。立體匹配的目的是尋找同一輸電線路場景不同圖像像素中的對應關系，獲取輸電線路圖像的深度信息。

立體視覺是輸電線路成像過程的逆過程，存在不確定性，在投影的過程中會造成輸電線路圖像信息的損失，需要視差范圍約束、極線約束、順序性約束、相容性約束、連續性約束和唯一性約束等約束條件進行約束。計算輸電線路全息全景圖像深度信息是立體匹配算法的最終目的，分為匹配問題和計算深度信息兩個步驟。

圖3 平面示意圖

設f1(x,y)、f2(x,y)代表的是大小為N1×N2的輸電線路圖像(x,y)的灰度值，輸電線路圖像處的視差為d(x,y)，D代表的是無人機的最大視差，以右面的圖像為基礎和以左面的圖像為基礎分別形成下式：

(5)

通過公式(5)完成輸電線路圖像的立體匹配。

根據以上步驟，完成了基于無人機智能視覺的輸電線路全息全景重建。

4 實驗結果分析

為了驗證基于無人機智能視覺的全息全景重建方法在輸電線路重建中的有效性及可行性，實驗選取易對重建效果造成干擾的三個指標進行分析，三個指標分別為：覆冰重量、覆冰體積及覆冰厚度。實驗在Visual Studio 2015 C++開發環境上實施，選取兩段不同的輸電線路全息全景進行重建，輸電線路如圖4所示，第一段輸電線路的長度為500 m，厚度為20 mm，第二段輸電線路的長度為700 m，厚度為25 m。

圖4 兩段不同的輸電線路

計算兩段不同輸電線路的長度和厚度并將測量得到的數據與人工測量的數據進行對比，測試結果如表1所示。

表1 兩種不同方法的測量結果

分析表1可知，通過改進方法測得第一段輸電線路的長度為500 m，厚度為20 mm，第二段輸電線路的長度為700 m，厚度為25 m，與實際結果相同。采用人工測量的方法測得第一段輸電線路的長度為450 m，厚度為18 mm，第二段輸電線路的長度為600 m，厚度為27 mm，與實際測量結果相比存在誤差，證明基于無人機智能視覺的輸電線路全息全景重建方法重建的結果較為精準。

分別采用改進方法和基于RANK的輸電線路全息全景重建方法對某段覆冰體積為217 210mm3，覆冰重量為15.60 g的輸電線路進行重建，測量重建后輸電線路的覆冰重量和覆冰體積，測量結果如圖5，圖6所示。

圖5 兩種不同方法的測量覆冰重量對比結果

由圖5可知，采用RANK方法對輸電線路全息全景重建，其最高覆冰重量達到17.93 g，最低覆冰重量為17.17 g，三次測量平均覆冰重量為17.57 g，與實際輸電線路覆冰重量相差約2 g。采用改進方法對輸電線路全息全景重建，最高覆冰重量達到15.90 g，最低覆冰重量為15.67 g，三次測量平均覆冰重量為15.79 g，與實際輸電線路覆冰重量相差約0.2 g。對比兩種方法的實驗結果，可明顯看出，采用RANK方法重建的輸電線路覆冰重量與實際值存在較大誤差，而改進方法重建的輸電線路覆冰重量與實際值基本相同。因此說明，改進方法對輸電線路全景全息重建的效果十分逼真，可完整展現輸電線路的實際情況，重建精度高，驗證了改進方法的可行性。

圖6 兩種不同方法的測量覆冰體積對比結果

分析圖6可知，通過3次實驗分別采用RANK方法和改進方法對重建后輸電線路的覆冰體積進行測量。采用RANK方法對輸電線路全息全景重構，其最大覆冰體積達到221980 mm3，三次測量平均覆冰體積為221613 mm3，與實際覆冰體積相比存在較大誤差。采用改進方法對輸電線路全息全景重構，最大覆冰體積達到217220 mm3，三次測量平均覆冰體積為217200 mm3，與實際覆冰體積相同。對比兩種方法的實驗結果發現，改進方法能夠更加有效的完成輸電線路全景全息的重構，且重構的輸電線路情況與實際情況完全相同，充分說明改進方法的重構精度高，驗證了改進方法的可用性。

導出改進方法測得的數據與實際最大覆冰厚度23 mm相對比，以圖的形式表現出來，測量以導線軸線距離為橫坐標的重建后輸電線路覆冰厚度，如圖7所示。

圖7 兩種方法重建輸電線路的覆冰厚度對比結果

分析圖7(a)、圖7(b)可知，采用RANK方法對輸電線路全息全景重建，其最大覆冰厚度為43 mm，出現在輸電線路的215 mm處，超出實際最大覆冰厚度20 mm。通過改進方法對輸電線路進行全息全景的重建，可以發現輸電線路最大覆冰厚度只有23 mm，出現在輸電線路的250 mm處，與實際最大覆冰厚度完全一致。對比兩種方法的實驗結果，采用改進方法進行輸電線路全息全景重建，與實際情況完全匹配，充分說明改進方法重建精度高，重建效果十分逼真，驗證了改進方法的有效性。

綜合以上實驗結果分析可知，采用基于無人機智能視覺的輸電線路全息全景重建方法，重建精度高，輸電線路質量明顯提高，同時可預防覆冰災害對輸電線路造成的危害。

5 結論

針對傳統輸電線路全息全景重建方法的不足，提出一種基于無人機智能視覺的輸電線路全息全景重建方法，解決了傳統方法對覆冰輸電線路進行全息全景重建時存在誤差和精準度差的問題，并進行了優化和提升。引入無人機智能視覺技術及全息照相技術對輸電線路全息全景重建，使得重建精度更高，視覺效果更逼真。輸電線路的安全運行是電網安全問題的關鍵，對輸電線路運行時的抗腐蝕性是我們進一步研究的主要課題。

[1] 李國鵬, 季鵬程, 陳 怡,等. 基于分布式結構輸電線路防外力破壞檢測與預警系統設計[J]. 電子設計工程, 2016, 24(24):95-97.

[2] 廖圣龍, 安居白. 輸電線路對絕緣子破損航拍圖像檢測仿真[J]. 計算機仿真, 2016, 33(4):176-179.

[3] 吳姝雯, 張化昭, 趙 淳. 110kV雙回輸電線路復合材料桿塔防雷優化設計研究[J]. 科技通報, 2015, 31(10):258-261.

[4] 楊耀權, 楊 朔. 基于數字圖像處理的單條輸電線路曲線提取[J]. 科學技術與工程, 2016, 16(28):90-94.

[5] 鄧榮軍, 王 斌, 熊 典,等. 基于遺傳算法的輸電線路無人機巡檢路徑規劃[J]. 計算機測量與控制, 2015, 23(4):1299-1301.

[6] 司馬文霞, 楊 慶, 李永福,等. 輸電線路雷電繞擊評估方法分析及展望[J]. 高電壓技術, 2015, 41(8):2500-2513.

[7] 樓文娟, 楊 悅, 盧 明,等. 連續多跨輸電線路動態風偏特征及計算模型[J]. 電力建設, 2015, 36(2):1-8.

[8] 王禮田, 邵鳳瑩, 蕭寶瑾. 基于雙目視覺稀疏點云重建的輸電線路弧垂測量方法[J]. 太原理工大學學報, 2016, 47(6):747-751.

[9] 林祥國, 段敏燕, 張繼賢,等. 一種機載LiDAR點云電力線三維重建方法[J]. 測繪科學, 2016, 41(1):109-114.

[10] 汪 駿, 夏少波, 王和平,等. 基于直升機激光點云的分裂導線重建研究[J]. 遙感技術與應用, 2015, 30(6):1189-1194.