電力智能巡檢機器人視覺與激光自適應融合導航方法研究

尹 杭，樊紹勝，楊 權

（長沙理工大學電氣與信息工程學院，長沙 410114）

0 引言

降壓變電站、升壓變電站作為電力系統中傳輸電能、變換電壓的重要組成部分，對相關設備的巡檢維護在保障電力系統安全可靠運行中起著重要的作用。目前國內變電站常采用人工巡檢的方式，這種方式存在著巡檢效率低、勞動強度大、人工成本高、安全風險高等問題，伴隨著人工智能的發展，部分傳統人工巡檢的工作可由機器人巡檢完成［1］。

機器人自動巡檢的關鍵是路徑導航與定位技術，巡檢機器人在巡視過程中需要定點?？?，利用機器人上搭載的高清和紅外攝像頭云臺，來分別讀取表計讀數和導線觸點溫度，所以，無論是哪種導航方法都必須得到準確、實時的機器人位置與姿態信息，這樣才能夠控制巡檢機器人準確?？?。目前，主流的機器人導航方法是磁軌導航、激光導航和視覺導航；磁軌和RFID 標簽方法的導航線鋪設隱蔽，導航原理簡單且可靠性高［2］，但是其導航線鋪設復雜，更改或增減線路麻煩，磁軌在鋪設后容易出現氧化腐蝕現象，后期維護成本高［3］；激光導航有著精度大、計算快速的優點［4］，但其導航定位精度受強光反射和霧霾等因素的影響，而且應用場景發生變化可能會使其出現嚴重偏差。單一的視覺導航方法也存在精度低、穩定性差等問題。

本文將視覺導航與激光導航得到的位姿融合，從而得到穩定可靠的機器人位姿信息。其中，視覺導航是通過在變電站內鋪設黃色導航線，作為機器人巡檢軌跡，機器人前側搭載高清攝像頭，導航線圖像經過預處理、分割、二值化、透視變換、直線擬合等圖像處理技術，得到機器人相對實際巡檢軌跡的姿態誤差，從而控制機器人調整姿態；激光導航首先構建變電站全局地圖，將預設好的黃色導航線映射到全局地圖中，導航過程中計算機器人實際位姿與預設導航線之間的位姿差，根據位姿差實時調整機器人位姿。在實際應用中，視覺導航方法會因為導航線缺損、褪色、積水等情況，得到錯誤的位姿；激光導航也會因為點云匹配算法帶來的定位誤差導致機器人偏航。所以，本文采取以下方法進行融合：分別對兩種算法得到的位姿結果進行評估，根據評估值對兩組位姿數據進行加權融合，最終得到相對正確的機器人位姿。

1 視覺導航方法與評估

變電站巡檢機器人要求全天候工作，室外環境又相對復雜，導航線顏色的選擇要滿足與背景形成較大對比、對光線變化不敏感等要求；在針對不同顏色導航線在不同光照條件下的對比度進行實驗比較后，選定黃色作為導航線顏色。

1.1 基于自適應伽馬校正方法的圖像預處理

在導航線識別過程中，光照條件會對圖像質量造成不同程度的影響。電力巡檢機器人需要全天候運行，導航線還受光照角度和強度的干擾，如白天太陽光線、夜晚人造光源等均會對導航線圖像產生不同程度的影響。圖像對應的直方圖能直觀地反映出：當光照強度變化時，圖像灰度值分布會發生整體均勻變化；當光照角度變化時，圖像灰度值分布會發生不均勻變化，如圖1 所示。

圖1 不同光照干擾下的導航線圖像及其灰度直方圖Fig.1 Navigation line images and their grayscale histograms under different light disturbances

根據生物特征，人眼對光線的感知和光強呈現非線性關系，當光照強度增加到一定程度，人眼分辨亮度變化的能力逐漸下降。攝像頭對光的識別跟光強呈現線性關系［5］，為了更好地識別光線變化，對攝像頭采集到的圖像進行伽馬校正，其原理是對圖像中的每個像素點的像素值進行乘積運算，假設某個像素點處理前后的歸一化像素值分別為r、s，校正因子為γ，則：

當γ＜1 時，灰度值減小，圖像整體變暗；當γ＞1 時灰度值增大，圖像整體變亮。若γ的取值不變，則無法適用于所有光照條件，而且對光照不均圖像的增強效果不佳。

導航線圖像受光照影響主要體現在灰度均值方面，參考圖像卷積和濾波原理，提出了基于動態γ因子的伽馬校正方法。通過選取合適的卷積核對輸入圖像灰度圖的每個像素點進行對應的相乘求和，得到每個像素點的局部灰度均值，代入γ因子的擬合函數確定γ因子，并對每個像素點進行伽馬校正，實現動態調節。對像素灰度值和最佳伽馬因子的數據集進行擬合，根據最小均方誤差選定基于最小絕對殘差的高斯函數為擬合函數，假設m是坐標為（x，y）的像素點的局部灰度均值，則局部灰度均值和γ因子的擬合函數可表示為：

式中，N2表示卷積核大小，f(i，j)和k(i，j)分別表示輸入圖像和卷積核中第i行j列的像素點灰度值和卷積核因子，a=16.85，b=-356.1，c=283.8。經反復測試，選取效果最佳的7×7 卷積核，自適應伽馬校正結果如圖2 所示。

圖2 不同光照條件下導航線對應的預處理結果Fig.2 Preprocessing results corresponding to navigation lines under different lighting conditions

1.2 基于改進的DenseNet 的導航路徑分割

通過圖像預處理得到圖像后，對導航線進行精準提取。在傳統的神經網絡中，隨著神經網絡層數的增加，輸入和梯度信息會隨之消失，從而導致訓練精度下降。巡檢機器人的導航算法對實時性和準確性要求較高，研究選用的導航路徑分割算法是輕量級的FCN-DenseNet 語義分割網絡，在該網絡中，凡是特征圖大小相同的網絡層都會直接相連，該特點增加了特征信息的傳播和再利用，這一密集的連接方式的優點是該網絡參數比傳統卷積神經網絡少而且訓練效率更高。

1.2.1 FCN-DenseNet 語義分割網絡

DenseNet 是出現在ResNet 之后的語義分割網絡，分割網絡由多個Dense Block 連接而成［6］，Dense Block包含若干個由Batch Normalization，ReLU 和1×1、3×3 的卷積組合而成的BottleNeck 結構。DenseNet-121經過一個卷積層和池化層之后，四個Dense Block 和三個Transition Layer 穿插連接，最后連接包含池化層和全連接層的分類層實現像素分類。

1.2.2 激活函數

單獨的Dense Block 中每一層網絡的特征大小一樣，每一個Dense Block 將所有輸出的特征信息利用Batch Normalization，ReLU 和1×1、3×3 卷積進行非線性變換，最后一層實現下采樣［7］。激活函數ReLU 的計算公式為：

當梯度過大產生很多負數時，輸出為0，神經元無法激活，這將導致梯度消失問題。將BottleNeck 結構中的激活函數替換為SeLU 函數，計算公式為：

SeLU 函數在實現ReLU 函數單邊抑制作用的同時避免了梯度消失問題。圖3 所示為改進激活函數的DenseNet-121 網絡深層結構解析圖。

圖3 改進的DenseNet-121 網絡深層結構解析圖Fig.3 Improved DenseNet-121 network deep structure analysis diagram

1.2.3 損失函數

在神經網絡訓練過程中，損失函數是描述真實值與預測值之間差異的度量參數，不同損失函數所反映的模型預測性能不同。DenseNet 網絡采用交叉熵損失函數，設y表示真實值，y^ 表示預測值，則其計算公式為：

Focal Loss［8］在交叉熵的基礎上進行修改，引入α因子使比例不均勻的導航線正負樣本分布均衡化，并引入γ因子解決易分類樣本和困難樣本的問題，減少了易分類樣本的損失，使其更關注困難的、錯分的樣本。由于導航線圖像樣本復雜，采用Focal Loss 損失函數，其計算公式為：

γ因子實現了易分類樣本權重減小的速度調節，γ=0 即為交叉熵損失函數。Focal Loss 損失函數降低了易分類負樣本的權重占比，提高困難樣本的權重，使得訓練由正樣本主導。經參數優化后，得到α=0.25，γ=2。

1.3 計算機器人偏航角

考慮到導航算法最終會部署至嵌入式平臺，對語義分割后的圖像進行二值化處理，轉換為單通道二值化圖像，以此達到降低計算復雜度的目的。部分導航線的分割效果如圖4 所示。研究采用Otsu 動態二值化算法，針對機器人導航過程中的每一幀導航線圖像計算各個區域的最優閾值［9］。

圖4 部分導航線分割效果Fig.4 Part of the navigation line split effect

二值化后的圖像依然是立體視覺圖像，這樣直接計算出的偏航角誤差較大，可以采用透視變換的方法［10］，將三維的立體視覺圖像轉換為鳥瞰圖，從而計算出真實的偏航角。

變電站機器人一般都是在平面道路上行駛的，所以三維世界坐標(X，Y，Z)到二維平面坐標(x，y)的變換關系表達式如下式所示：

由透視變換可以得到導航線的鳥瞰圖，如圖5（b）所示：鳥瞰圖中導航線所在直線與圖像中線的夾角，對應機器人當前相對于黃色導航線之間的夾角，即偏航角。

研究采用了最小二乘法［11］，將導航線擬合成一條直線y=kx+b，通過直線的斜率k計算出機器人的偏航角φ1：

如圖5 所示，經過語義分割得到的導航線圖像，經過二值化、透視變換、直線擬合得到最終的導航線L：y=-4.5x+864，當前時刻的偏航角φ1=12.53°。

圖5 導航線圖像處理結果Fig.5 Navigation line image processing results

1.4 視覺導航方法評估

在現場實際使用中，黃色導航線容易受到雨、雪、雜物的遮蓋，并且由于長時間暴露在陽光下導航線容易褪色，影響導航線分割結果［12］，因此在最后的融合中，還需要輸入視覺導航結果的歸一化評估值作為參考。

借助導航線邊緣相互平行這一特性，可采用以下方法進行視覺導航評估。

（1）圖像f( )x，y寬高分別為m、n，計算每一行像素點中，最右邊的白色像素點(ij_right，j)與最左邊的白色像素點(ij_left，j)差值，得到dj：

（2）計算dj的方差Dt：

（3）采用線性函數歸一化方法，得到視覺導航的評估結果Svision：

2 激光導航方法與評估

2.1 環境地圖構建

環境地圖構建采取基于圖優化的Cartographer-SLAM 算法，如圖6 所示，相較于基于濾波的SLAM 算法，Cartographer-SLAM 算法分為前端和后端兩個模塊。前端模塊在提取數據和關聯數據的過程中，激光雷達掃描周圍環境生成對應的子圖，將得到的子圖與上次掃描形成的子圖進行對比，并且插入上一次的結果中，這樣就得到一個不斷優化的子圖。當結束最后一幀數據插入后就能夠得到完整優化的子圖。不斷循環上述步驟，得到若干個子圖，也就是局部地圖。后端模塊首先進行閉環檢測［13］，然后對前端模塊中獲取的局部地圖進行優化。通過全局計算得到優化后的位姿，可用來消除累計誤差，因此與濾波類的SLAM 算法相比，圖優化類算法在地圖構建過程中對于里程計的依賴小，且具備回環效果，更適合電力系統中降壓變電站、升壓變電站等場地較大的地圖。

圖6 圖優化SLAM 算法框架Fig.6 Graph optimization SLAM algorithm framework

2.2 機器人定位算法

通過對Cartographer-SLAM 進行參數調整最終獲取了點云地圖后，使用實時的三維激光雷達數據進行三維配準，獲取機器人在點云地圖中的位姿［14］。在三維配準中較常用的配準算法是ICP 迭代的方法，這種方法需要粗配準，也就是要給定一個較準確的初始值，同時由于算法自身的缺陷，最終迭代結果可能會出現局部最優的現象，從而導致配準不成功，達不到想要的點云配準效果［15］。

研究采用3D-NDT［16-17］算法進行點云匹配，該算法將三維體素內所有點云數據轉換成概率分布函數，該概率分布函數連續可微。第一步，拆分三維點云數據，將其劃分成大小固定、規則均勻的三維單元格；第二步，為了將三維點云以概率密度形式進行分段連續可微描述，以正態分布形式表示每個三維位置測量樣本的概率分布：

式中，q為包含點云x在內的體素單元中的均值向量，C為包含點云x在內的體素單元中的協方差矩陣，c為常量。

每個體素單元的q和C可以定義為：

式中，xi(i=1，…，n)為體素單元格中的所有點云。

由于此概率分布模型是分段連續可微的，所以采用Hessian 矩陣法［18］能夠解決激光數據之間復雜的相互匹配問題。掃描匹配可使不同位姿下采集的激光點云數據得到坐標變換參數。算法的具體實現步驟如下所示。

（1）建立首個激光掃描的正態分布變換。

（2）根據機器人當前位姿初始化坐標變換參數。

（3）對于第二個掃描的每一個樣本，根據坐標變換參數，映射第二個掃描樣本到第一個掃描樣本坐標系中。

（4）確定每一個映射點對應的正態分布。

（5）將每個映射點的概率分布之和作為每個坐標變換參數的分數值s(p)進行估計：

式中，p=[t|r|θ]，t=[tx，ty，tz]代表x、y、z上的平移量，r=[rx，ry，rz]代表x、y、z上的旋轉量，s=sinθ，c=cosθ。

（6）采用Hessian 矩陣法對得到的這些分數值-s(p)進行優化，選取-s(p)最大值。

（7）返回第（3）步繼續循環，直至滿足收斂要求。

2.3 機器人在局部路徑中的偏航角計算

偏航角指的是機器人行進方向與預定巡檢軌跡之間的夾角，機器人根據此夾角進行對應的姿態調整，使機器人能夠回到預定巡檢路線，進行正常的巡檢任務。

將用以視覺導航的黃色導航線映射在Cartographer-SLAM 構建的全局地圖中作為激光導航的全局路徑；在機器人巡檢過程中，激光導航采用局部導航方式，動態刷新局部導航目標點，在機器人行進過程中，該點與機器人距離固定不變，且在全局路徑上，如圖7 所示。

圖7 激光導航偏航角計算Fig.7 Laser navigation yaw angle calculation

由于電力系統中降壓變電站、升壓變電站等環境路面相對平整，本文假定機器人坐標z軸始終為0；機器人在巡檢過程中可以通過配準算法3D-NDT 知道自身在環境中的位姿信息R(x，y，θ)、局部目標點P(px，py)。利用世界坐標系可以得到機器人運動方向與正確的導航路徑方向之間的夾角φ2：

2.4 激光導航評估

由于環境干擾、激光雷達自身誤差等因素，點云匹配過程中難免會出現匹配效果較差的情況，計算出的機器人位姿就會出現偏差；因此，還需要對點云匹配效果進行評估。

上述3D-NDT 點云匹配算法可以得到滿足收斂條件下的最大值-s(p)，記-s(p)為N，Ni為第i次激光點云配準結果分數值；在變電站現場環境下進行一定時間的測試，記錄所有點云匹配分數值，對數據進行歸一化處理：

式（19）中，Nt為t時刻的激光導航評估值，Slaser為當前時刻點云匹配評估的歸一化結果。

3 視覺與激光自適應融合導航方法

視覺與激光融合導航方法分別得到機器人姿態數據和對應測量準確性的評估值。傳統的線性加權融合只是將多個算法結果加權［19］，這種做法過于簡單，靈活性較差，不能適應變電站導航的復雜環境。研究中采用了自適應線性加權融合法，導航過程中對兩種導航方法進行評估，根據評估結果確定不同算法結果的權重，增強算法靈活性，如圖8 所示。

圖8 導航方式融合方案Fig.8 Navigation mode integration scheme

根據視覺與激光導航方法分別得到的機器人測量位姿φ1、φ2，以及對應的評估結果Svision、Slaser，將兩組數據可通過式（20）進行融合：

根據式（20），最終得到融合后的機器人相對準確的偏航角φ，通過PID 控制算法，調整機器人左右輪速度，從而修正機器人姿態。

4 實驗過程

4.1 算法可行性驗證

考慮最終應用的機器人，需要將算法部署到嵌入式平臺，選擇NVIDA AGX Xaiver 作為開發平臺。

融合算法軟件分為激光導航算法、視覺導航算法、數據處理三個部分。激光導航部分是基于ROS 機器人操作系統進行開發的，結合Cartographer 建圖算法與NDT 定位算法，得到機器人的姿態和評估值。視覺導航部分采用輕量級的FCN-DenseNet 語義分割網絡，在Pytorch1.7.1 和Python3.6 環境下，機器人實時姿態識別準確率達到了92.33%。

為測試該融合導航方法的穩定性，試驗過程分別在以下兩種復雜環境中進行：第一種為導航線缺損環境下，視覺導航方法不能正確測量機器人的實際姿態，此時，視覺導航方法得出機器人位姿對應的Svision較低，而此時激光導航得到的機器人位姿相對準確，機器人的導航則更加依賴激光導航方法；第二種為周圍環境發生較大變化時，激光點云匹配效果較差，容易產生漂移，激光導航得出的機器人位姿誤差較大，而視覺導航方法得出的機器人姿態準確。采用上述的融合方法能夠很好地達到兩種算法相互補償的目的，最終得到相對準確的機器人姿態。

如圖9 所示，由于積水，導航線被污漬覆蓋，此時導航線分割不完整，得到錯誤的機器人分位姿，當前視覺導航得到的機器人偏航角φ1=24.6°，歸一化評估值Svision=0.33；而此時激光點云匹配效果較好，激光導航得到的機器人偏航角φ2=2.9°，歸一化評估值Slaser=0.96；根據該視覺與激光融合導航方法得到的機器人最終偏航角φ=8.4°，機器人定位誤差小于2.0 cm，結合前置導航攝像頭的圖像，融合算法得出的角度與實際偏航角基本一致。

圖9 導航線積水處理結果與激光點云匹配Fig.9 Navigation line stagnant water treatment results are matched with laser point clouds

圖10 為場景變化導致的激光點云匹配發生漂移和視覺處理結果，激光導航方法得到機器人偏航角φ2=-10.1°，評估值Slaser=0.26，而此時視覺導航算法正確地識別到了導航線，并且得到正確的機器人偏航角φ1=-0.8°、歸一化評估值Svision=0.99，最終得到機器人的偏航角φ=-2.7°。在周圍場景變化較大且激光導航效果較差的環境下，定位精度達到1.7 cm，能夠滿足智能巡檢機器人在復雜環境下的定位與導航。

圖10 激光點云匹配漂移與視覺處理結果Fig.10 Laser point cloud matching drift and vision processing results

4.2 現場實驗

巡檢機器人在國電漢川發電有限公司進行了長達一年的現場試驗，如圖11（a）。在此之前電廠采用人工巡檢方式，效率低下，耗時費力。從目前機器人的運行情況來看，巡檢機器人已經能完成人工巡檢的部分工作；此外，機器人還在四川省綿陽市某變電站投入運行，如圖11（b）所示。

圖11 投入電力系統現場運行Fig.11 Putting the power system into operation on site

5 結論

針對目前電力智能巡檢機器人存在的導航問題，本文提出一種視覺與激光自適應融合導航方法。通過理論推導、實驗環境測試，對所研究導航方法的精度、速度、穩定性等多個方面進行考量。在算法可行性分析中，在導航線被污漬覆蓋的環境下測試得到機器人定位誤差小于2.0 cm；在周圍場景變化較大且激光導航效果較差的環境下，定位精度達到1.7 cm，驗證了自適應融合導航方法的可行性。本文所提方法已經投入電力現場巡檢工作，運行狀況穩定，進一步驗證了激光與視覺自適應融合導航方法的可行性與穩定性。