基于無人機多傳感吊艙系統的火點實時定位方法

李興東，肖 旭，陳顯東，張時雨，劉九慶,2

(1.東北林業大學機電工程學院，哈爾濱，150006；2.國家林業草原人工智能與裝備工程技術研究中心，哈爾濱，150006)

0 引言

森林火災一直是各個國家重點預防的災害之一，它的危害是全球性的、毀滅性的。2021年7月，加拿大不列顛哥倫比亞省因高溫干燥天氣發生山火，火場達200多個，火場面積約450公頃。2021年6月，美國加利福尼亞州北部山火肆虐，燃起的“熔巖”山火過火面積約9800公頃，為加州迄今為止最嚴重的山火之一。為了減小森林火災造成的損失，及時發現火點在林火防控中至關重要。

傳統的林火監測方案主要是在地面鋪設溫度、濕度、氣體或煙霧等多傳感器網絡[1,2]，但這種方案容易導致數據冗余，而且監測范圍有限，難以大面積覆蓋。如果將來自多個傳感器的信息進行數據融合[3]，不僅能減少數據量，還能提高監測信息的準確性。隨著計算機技術和數字成像技術的快速發展，利用計算機視覺組成的地面傳感器網絡有效提高了檢測精度和覆蓋范圍。文獻[4]提出了一個基于紅外圖像探測野火的多傳感器網絡系統，擴大了系統的監測范圍。文獻[5]提出了一種基于實時視頻的火災煙霧探測方法，該方法與多傳感器網絡系統相結合，能實時反饋火災煙霧位置?；诘孛嬉曈X傳感器網絡的林火檢測方案雖然提高了檢測精度和監測范圍，但是一般林區地形復雜，不可避免地存在視覺盲區。

無人機與計算機視覺相結合形成的無人機影像[6,7]在林火監測領域具有很好的應用前景，文獻[8]先通過地面端的攝像機進行初步判斷，然后用一架裝有氣體傳感器和熱成像攝像機的遙控無人機進行驗證，減少了誤報的情況。該方法用無人機對煙霧進行判斷時，不可避免地需要飛到離火區距離較近的地方，對無人機設備存在威脅。文獻[9]使用地面站與機載紅外和可視攝像機進行森林火災監測，實現了對火鋒的位置、形狀、火基寬度和火焰高度的測量。該方案地面端的紅外和可視攝像機在野外復雜環境下工作時容易存在視覺盲區，如果失去了地面端數據的支持，僅靠無人機攜帶的紅外和可視攝像機難以實現對火點的全局定位。文獻[10]提出了IMU (Inertial Measurement Unit)與計算機視覺相結合的火災探測系統，并與地面站通信實現了火場的建圖與火點的定位。但IMU會產生累積誤差，且在林火監測中依靠單個可見光攝像機具有一定局限性。

為此，本文提出了一個通過衛星-慣導定位系統與計算機視覺相結合的林火監測方案，相比文獻[9]它直接獲取衛星信號定位無人機位置，減小了對地面視覺傳感器的依賴；相比文獻[10]它融合了GPS(Global Positioning System)與IMU信息，減小了累積誤差；相比僅采用視覺的林火監測方案，本文可以利用激光雷達直接獲取到火場的空間三維信息[11,12]；同時本文利用紅外圖像識別林火，有效結合了文獻[4]的優點；與利用衛星遙感技術的林火定位方案[13]相比，本文方案時間分辨率更高，即使在林火蔓延初始階段，燃燒面積較小，也容易監測到。

1 火點定位方法

1.1 無人機吊艙系統設計

本文搭建了一個無人機吊艙系統，它包括無人機端和地面接收端。無人機端由硬件系統和軟件系統組成，硬件系統包括傳感器模塊、數據處理中心、數據傳輸模塊；軟件系統包括傳感器驅動節點、點云拼接節點、火點識別節點、數據融合節點和數據傳輸節點。地面接收端用于控制吊艙設備、查看傳感器數據和在地圖中顯示無人機及火點信息。

傳感器模塊包括激光雷達(Velodyne公司研制的VLP-16激光雷達)、紅外熱像儀(國產ZX-IRV氧化釩紅外熱像儀)、組合慣導系統(法國SBG Ellipse-E組合慣導系統)和可見光相機(大恒圖像研發的MER2-G系列的GigE接口相機)，負責數據采集；數據處理中心是指吊艙系統上搭載的工控機(英特爾NUC8i5)，負責數據處理和計算；數據傳輸模塊包括無線路由器、無線網橋和無線數傳電臺，負責數據傳輸。在數據傳輸模塊中，由路由器建立一個局域網，在局域網內實現機載系統與地面終端間的數據交互，其中無線數傳電臺負責火點和無人機位置信息的傳輸，無線網橋負責圖像的傳輸。本系統的硬件組成如圖1所示。

(1.工控機；2.無線路由器；3.激光雷達；4.可見光相機；5.紅外熱像儀；6.組合慣導系統；7.無線數傳電臺；8.無線網橋)圖1 系統硬件Fig. 1 The hardware structure

軟件系統的控制程序基于ROS(Robot Operating System)開發，以節點為單位。本系統工作時先由傳感器驅動節點將激光雷達、組合慣導系統、紅外熱像儀和可見光相機啟動；然后將激光雷達采集到的點云數據和組合慣導系統采集到的位姿數據在點云拼接節點進行數據融合，獲得密集點云；同時在火點識別節點處理紅外熱像儀采集的圖像數據，并由火點識別算法檢測是否存在火點；如果存在火點，則啟動數據融合節點將該幀紅外圖像與對應時間戳的密集點云進行融合，并定位出火點在地理坐標系下的位置；最后由數據傳輸節點將無人機和火點的位置信息、可見光相機與紅外熱像儀采集到的圖像信息及點云信息傳輸到地面接收端。

地面接收端連接無線數傳電臺和無線網橋，無線數傳電臺用于接收無人機和火點位置信息，無線網橋用于接收可見光相機與紅外熱像儀采集到的圖像信息及點云信息。

1.2 傳感器標定

激光雷達、紅外熱像儀與組合慣導系統等傳感器多數據融合之前，需要知道其相對位姿關系。本系統將激光雷達與紅外熱像儀數據融合、激光雷達與組合慣導數據融合，所以需要標定出激光雷達與紅外熱像儀、激光雷達與組合慣導的位姿關系。

將三維點云投影到成像平面時需要左乘紅外熱像儀的內參矩陣，本文采用張正友標定法解算紅外熱像儀的內參矩陣，并利用材料的導熱性制作了一張可被紅外熱像儀識別的棋盤格標定板[14,15]。相機內參矩陣由ROS的相機標定工具包解算，并用M表示。

紅外熱像儀、激光雷達與組合慣導系統的位姿關系如圖2所示，圖2中的四個坐標系分別為世界坐標系oW-xWyWzW、慣導坐標系oI-xIyIzI、雷達坐標系oL-xLyLzL，紅外熱像儀坐標系oC-xCyCzC。其中世界坐標系以正東方為x軸，以正北方為y軸，z軸豎直向上。雷達坐標系與紅外熱像儀坐標系間的旋轉矩陣用RCL表示，平移向量用TCL表示，雷達與組合慣導間的旋轉矩陣用RIL表示，平移向量用TIL表示，慣導坐標系到世界坐標系的旋轉矩陣用RWI表示、平移向量用TWI表示。

圖2 傳感器位姿關系Fig. 2 The pose relationship of sensors

本文采用OpenCV里的PNP算法求解出紅外熱像儀到激光雷達的旋轉矩陣RCL、平移向量TCL：用紅外熱像儀和激光雷達拍攝同一標定板，分別記錄標定板中同一角點在點云和紅外圖像中對應的坐標，獲得多組點對(至少4組點對)，然后帶入PNP算法求解出RCL、TCL。

求解組合慣導到激光雷達的旋轉矩陣RIL和平移向量TIL時，平移向量TIL可以直接測量，為[0.18，0，0.24]T，但是標記點在慣導坐標系中的位置并不能直接獲得[16]，所以本文采用手眼標定法。吊艙系統分別在a、b兩個位置采集地面靜止的箱體，此時手眼標定的表達式為：

RIaIb·RIL=RIL·RLaLb

(1)

式中RIaIb表示吊艙系統從a位置到b位置時慣導坐標系的位姿變化，可通過組合慣導讀取的數據獲得；RLaLb表示吊艙系統從a位置到b位置時雷達坐標系的位姿變化，可通過ICP匹配兩幀點云數據解出。由此可以通過Tsai[17]解算出RIL：

(2)

在1.3節的圖3中能直觀地看出通過RIL、TIL的點云拼接效果。

1.3 點云密集化

VLP-16激光雷達掃描得到的單幀點云中只有16條點云線，分辨率低，所以本文基于組合慣導輸出的四元數和GPS數據將多幀點云拼接到一起得到密集點云。

點云拼接的具體實現過程：獲取第一幀點云時，在此刻無人機所在的世界坐標系oW-xWyWzW位置建立一個局部坐標系oJ-xJyJzJ，該坐標系x軸指向正北方，該坐標系y軸指向正東方，并記錄該坐標系原點所在的GPS位置。

然后將采集到的每一幀點云及對應時間戳的無人機位姿(組合慣導輸出的四元數)與GPS記錄下來，通過四元數計算出拼接第i幀點云對應時刻戳慣導坐標系oIi-xIiyIizIi相對局部坐標系的旋轉矩陣RJIi。

將局部坐標系原點的GPS表示為[Jlon,Jlat,Jalt]T，拼接第i幀點云對應時刻慣導坐標系的GPS表示為 [Iilon,Iilat,Iialt]T，經墨卡托投影計算出慣導坐標系oIi-xIiyIizIi相對局部坐標系的平移向量TJIi：

TJIi=

(3)

其中D為赤道的周長，大約40 075 020 m。

根據慣導坐標系到雷達坐標系的旋轉矩陣RIL和平移向量TIL計算出此時雷達坐標系中的某一點Pl(xl,yl,zl)在局部坐標系中的位置Pj(xj,yj,zj)：

(4)

通過式4將每幀雷達坐標系下的點云變換到局部坐標系下得到點云地圖，然后將離散點云濾除：先濾除點云中存在的噪音點[18]，然后根據激光雷達的掃描特性，用直通濾波將局部坐標系中y軸正負40 m范圍外的離散點云去除。根據經驗可知，本文所選紅外熱像儀的水平視角范圍小于激光雷達，無人機在最大飛行高度30 m時，保留y軸正負40 m范圍的點云數據能將整個圖像包含在點云范圍內，足以滿足融合所需的點云。如圖3所示。

圖3 點云拼接效果圖Fig. 3 The figure of point cloud splicing

本系統中點云拼接是實時進行的，為了方便點云與紅外圖像融合，需要將獲得的點云地圖轉到雷達坐標系下。根據激光雷達與紅外熱像儀的視野范圍及無人機飛行速度，本文將局部坐標系中每連續5幀點云通過式4的逆運算將其轉換到該5幀點云中第一幀點云所在的雷達坐標系，獲得密集點云。

1.4 火點全局定位

通過計算機視覺識別火點主要分為三種方案：顏色特征識別[19,20]、動態特征識別[21]以及結合顏色和動態特征識別[22-24]。在實際監測過程中，考慮到林火形成初期，火焰較小，無人機在高空拍攝時火焰特征并不明顯，通過火焰動態特征來識別火點的方法具有一定的不足；利用顏色特征與動態特征相結合的方案識別火點時，如通過深度學習模型識別復雜環境中的火焰[25]，計算量較大，容易影響實時性。所以本文根據紅外圖像中火點的顏色特征識別火點，紅外圖像中溫度越高的位置像素值越高、顏色越白，在紅外圖像中顏色特征越明顯。

紅外熱像儀拍攝到火點后，用直方圖統計各像素值出現的頻率，火點像素值集中在233～255，非火點像素值集中在0～35，因此本文火點識別方案分為兩個步驟：

第一步，判斷是否監測到火點：記紅外圖像像素總個數為S，并統計像素值在233～255的像素個數，用s1表示，像素值在0～35的像素個數，用s2表示；當s1與s2的和大于紅外圖像像素總個數的百分之85的時候，表示監測到火點，如式5所示：

(s1+s2)>S×85%

(5)

第二步，如果監測到火點，則進行火點識別：用最大類間方差法確定最佳閾值，并用thr表示；紅外圖像中像素值大于這個閾值的像素集合為火點集合，用φ表示；最后將火點集合的邊緣標記為紅色?；瘘c的集合表示為：

φ={a(i,j)>thr,1≤i≤m,1≤j≤n}

(6)

式中m、n表示圖像的大小，a(i,j)表示像素(i,j)處的像素值。

火線識別效果如圖4所示。

圖4 火線識別效果圖Fig. 4 The figure of fire line identification

紅外圖像中火點特征明顯，容易識別，但無法確定火點的空間位置；激光雷達無法直接識別到火點，但容易獲取火場三維信息。因此，本文將紅外圖像與密集點云融合，從而確定出火點的空間位置。

設密集點云中某一點h的坐標為(xh,yh,zh)，其在紅外圖像中的像素坐標用(uh,vh)，則有：

(7)

其中矩陣M是紅外熱像儀內參矩陣，RCL、TCL是紅外熱像儀坐標系到雷達坐標系間的旋轉矩陣和平移向量。

紅外圖像與密集點云的融合過程：獲取密集點云與紅外圖像數據，并將時間戳對齊；結合公式7將密集點云投影到紅外圖像上，并將超出部分的點云去除；記錄投影到紅外圖像上的點云對應的紅外圖像像素坐標的顏色信息，然后將點云增加三個通道用于儲存投影后對應像素的顏色信息，獲得帶有紅外圖像顏色信息的紅外三維點云；最后根據火點的顏色信息提取出紅外三維點云中火點的空間信息。

紅外圖像與密集點云融合的偽代碼如下：

Algorithm: 紅外圖像與密集點云融合Input: 紅外圖像:img, 密集點云:cloud_in, 紅外熱像儀內參:M, 紅外熱像儀到激光雷達坐標系的旋轉、平移:R、T. 1 新建 pointcolor類型點云colorpoints 2 for i←0 to (點云個數) by i++ do 3 P←cloud_in 4 newpoint←M×(R×P +T) 5 If (Z >0) then do 6 歸一化處理得到像素坐標(u,v) 7 if (像素坐標在圖像范圍內) then do 8 colorpoints←cloud_in 9 colorpoints←img.at(u,v) 10 if (帶火點特征)then 11 發布火點空間坐標 12 End 13 else 14 Delete 15 End 16 End 17 EndOutput: 帶有紅外圖像顏色信息的三維點云及火點的空間坐標

其中P是由輸入點云的坐標表示的向量。

紅外圖像與密集點云融合效果如圖5所示。

圖5 紅外圖像與密集點云融合效果圖 Fig. 5 The figure of infrared image and dense point cloud fusion

獲得火點在雷達坐標系下的位置后，本文將其變換到地理坐標系下獲得火點在全局坐標系下的GPS位置。組合慣導安裝在無人機中心位置，本文將它作為導航坐標系中心。當識別到火點時，在無人機位置建立一個局部坐標系oJi-xJiyJizJi，該坐標系x軸與世界坐標系y軸方向一致，該坐標系y軸與世界坐標系x軸方向一致，則世界坐標系到該坐標系的旋轉矩陣RWJi為：

(8)

設此時的無人機旋轉矩陣為RJiI、平移向量為TJiI，其中RJiI通過組合慣導獲得，TJiI據式1獲得。設某個火點在雷達坐標系中的坐標為[xlf,ylf,zlf]T。據式4，火點在局部坐標系下的坐標[xjf,yjf,zjf]T表示為：

(9)

然后將局部坐標系原點的GPS進行墨卡托投影：設局部坐標系oJi-xJiyJizJi原點的GPS為此時慣導坐標系的GPS，表示為[Iilon,Iilat,Iialt]T，則火點在世界坐標系下的位置[xWf,yWf,zWf]T表示為：

(10)

最后將火點在世界坐標系下的坐標通過式10轉到WGS-84坐標系下，獲得火點的GPS位置[Flon,Flat,Falt]T：

(11)

2 實驗

本文試驗用的無人機為大疆T16，卸掉無人機自帶的藥筒和噴灑裝置，并將設計的吊艙系統搭載到藥筒位置，如圖6所示。

圖6 搭載在無人機上的吊艙系統Fig. 6 The system mounted on UAV

為了獲得本系統的定位精度與可靠性，本文設計了一場試驗：在空曠地面鋪設5 m×7 m的樟子松樹葉，在其中一個斜對角兩端各放置一盆炭火，并記錄這兩盆炭火的地理位置；然后將吊艙系統搭載在無人機上以不同速度、不同高度、不同飛行方向定位火點，并記錄系統定位出的火點GPS位置；最后分析兩個火點的經度、緯度和高程的最大誤差、平均誤差及標準化殘差，獲得火點的定位精度與系統的可靠性。

試驗現場如圖7所示。

圖7 試驗現場Fig. 7 Testing field

火點實際位置如表1所示。

表1 火點的實際位置

本文選用的無人機為大疆T16，其最大飛行高度為30 m，最大飛行速度為8 m·s-1，且平時工作速度為3 m·s-1、工作高度為20 m。在實際監測過程中，主要的變化因素為飛行高度、飛行速度和飛行方向。為了獲得火點定位的精度并驗證系統的可靠性，在相同試驗條件下，僅改變無人機飛行高度、飛行速度或飛行方向，設計了12組實驗，各組參數如表2所示。

表2 無人機飛行參數

本系統對兩個火點的定位結果如圖8所示。

圖8 系統定位誤差圖Fig. 8 The error of system positioning

通過圖8可以看出無人機吊艙系統定位出的火點位置基本上都在火點實際位置附近波動，說明無人機在最大飛行高度30 m以內、最大飛行速度8 m·s-1以內的試驗條件下系統工作較為穩定。圖8(b)、圖8(d)、圖8(f)表示的是每組實驗的誤差，具體數值如表3所示。

表3 實驗誤差

通過表3可以看出試驗中本系統定位火點1時的經度最大誤差為1.84×10-5°，經度平均誤差為8.00×10-6°；緯度最大誤差為1.79×10-5°，緯度平均誤差為8.80×10-6°；高程最大誤差為0.926 1 m，高程平均誤差為0.415 5 m。本系統定位火點2時的經度最大誤差為2.36×10-5°，經度平均誤差為6.50×10-6°；緯度最大誤差為1.84×10-5°，緯度平均誤差為8.20×10-6°；高程最大誤差為0.672 3 m，高程平均誤差為0.388 4 m。

為了驗證本系統定位的可靠性，本文分析了系統定位出的火點經度、緯度和高程的標準化殘差，如圖9所示。

圖9(a)第6組試驗中火點2經度標準化殘差超出[-2，2]范圍，火點2經度標準化殘差在[-2，2]范圍內的概率為91.67%，但火點1和火點2總體經度標準化殘差在[-2，2]范圍內的概率為95.83%；圖9(b)兩個火點的緯度標準化殘差均在[-2，2]范圍內，概率為100%；圖9(c)第5組試驗中火點1高程標準化殘差超出[-2，2]范圍，火點1高程標準化殘差在[-2，2]范圍內的概率為91.67%，但火點1和火點2總體高程標準化殘差在[-2，2]范圍內的概率為95.83%。綜上，兩個火點總體的經度、緯度和高程的標準化殘差在[-2，2]范圍內的概率均在95%以上，服從正態分布，因此本系統的定位結果可靠。

圖9 火點定位標準化殘差Fig. 9 The standardized residual of fire point positioning

3 結論

火點實時、精準定位在林火防控中至關重要。本文設計的可實時全局定位火點的無人機多傳感吊艙系統，在工作高度30 m內、飛行速度8 m·s-1內，且沒有地面傳感器網絡支持的試驗條件下，改變飛行高度、飛行速度或飛行方向，得到該系統的定位誤差：經度最大誤差為2.36×10-5°，緯度最大誤差為1.84×10-5°，高程最大誤差為0.926 1 m。同時，分析經度、緯度和高程的標準化殘差：試驗中火點的經度、緯度和高程的標準化殘差在[-2，2]范圍內的概率均在95%以上，服從正態分布，說明本系統的定位結果可靠。未來，該系統可以結合林火蔓延預測模型，提前預測出林火位置，保障消防員及時撤離危險地區，在林火防控中具有較高的應用價值。