基于單激光束信息的掘錨裝備視覺定位方法研究

張旭輝 ，陳 鑫 ，楊文娟 ，雷孟宇 ，田琛輝 ，楊駿豪

（1.西安科技大學 機械工程學院, 陜西 西安 710054；2.陜西省礦山機電裝備智能監測重點實驗室, 陜西 西安 710054）

0 引 言

在傳統的巷道成型工藝中，施工人員根據懸掛在巷道后方頂板上經過方向標定的激光指向儀向巷道斷面投射的激光光斑作為基準，進行斷面測量、巷道成型及巷道錨護工作，以保證巷道的施工結果與設計一致。因此，掘錨機司機需要在施工過程中多次停機測量，嚴重拖慢了巷道掘錨效率，并且巷道成型過程中產生的粉塵、噪聲和存在的極大安全隱患也對掘錨裝備的智能化提出了迫切的要求[1–2]。

然而，掘錨裝備的精確定位是實現智能化的前提，因此研究者們嘗試了各種可能的定位方案，并取得了一定的成果。目前，煤礦井下掘錨裝備的定位方案大致可以分為基于全站儀的定位方案、基于慣性導航的定位方案、基于iGPS 的定位方案、基于超寬帶技術的定位方案和基于機器視覺的定位方案。其中，全站儀可以實現高精度的位置測量，但其不能同時測量多個目標，因此全站儀難以實現掘錨機的姿態測量[3–4]。另外，煤礦井下復雜的光線環境也增加了全站儀對棱鏡的自動識別難度。慣性導航可實現較高精度的實時姿態檢測，但其長時定位精度難以保證，因此單獨使用時無法滿足井下掘錨長時短距的定位導航要求[5–6]。iGPS 技術具有較高的定位精度，適用于沒有GPS 信號的室內環境。但目前的iGPS 技術難以適應煤礦井下高粉塵的惡劣工況環境[7–8]。超寬帶技術可在局域范圍內提供較高的測距和定位精度，但仍然存在基站設置和穩定性較差的問題。同時，井下惡劣的工況環境對超寬帶技術的定位精度也會產生強烈的影響[9–10]。另外，基于視覺的定位方案由于其非接觸、高精度、低成本且無累計誤差的優勢，逐漸得到專家學者們的關注[11–12]。

杜雨馨等[13]提出基于雙十字激光和圖像處理技術的掘進機位姿檢測方法。以雙十字激光器與激光標靶為信息來源，通過對標靶上十字光線成像特征的分析，建立了掘進機位姿空間解算模型，得到機身相對于巷道的三軸傾角及在巷道斷面上的偏離位移，實現了掘進機機身位姿的自動實時檢測。田原[14]采用攝像機成像系統對給定空間分布模式的特征點陣(光靶)成像，利用視覺測量理論，通過對圖像中特征點分布模式變形情況的分析，計算攝像機相對特征點陣(光靶)的空間位置和姿態參數。張旭輝等[15]使用防爆工業相機采集三激光指向儀的點特征，采用P3P 單目視覺定位算法，通過空間坐標矩陣變換計算出了掘進機機身的空間位姿并進行了試驗驗證，結果表明該方法對井下高粉塵、多雜光的環境具有良好的適應性，并且具有較高的定位精度。楊文娟等[16]利用視覺技術對三激光束標靶圖像進行分割，采用Hessian 矩陣與泰勒展開對激光束中心線特征提取與定位，結合最小化重投影誤差實現非迭代全局最優解估計，可獲得掘進機機身位姿的最優解，位姿解算精度滿足在煤礦井下惡劣環境中的定位需求。張超等[17]利用雙目視覺技術實現掘進機位姿檢測，將紅外LED 光源組成圖像測量標靶，對光斑中心點進行特征提取，使用雙標靶交替移動實現連續不間斷測量，并使用3D–3D 運動估計方法完成位姿參數求解。

通過分析不難發現，目前基于視覺的定位方案大都通過構建復雜的合作標靶獲取掘錨裝備的實時位姿，因此在實際應用時不可避免地出現合作標靶標定復雜的缺陷。為解決這一問題，在筆者前期研究的基礎上，提出了一種基于單激光束信息的掘錨裝備視覺定位方法。該方法采用固定于掘錨裝備尾部的雙目相機采集包含巷道后方激光指向儀信息的圖像，通過激光點線特征分割與提取，建立雙目位姿解算模型，得出掘錨裝備在巷道中的位姿。該方法選擇巷道原有特征作為視覺定位的合作標靶，簡化了定位系統的安裝和標定程序，同時也不會對掘錨機司機的手動作業產生影響，具有較高的應用價值。

1 掘錨裝備視覺定位系統

1.1 系統總體情況

基于單激光束信息的掘錨裝備視覺定位系統組成如圖1 所示。系統主要由掘錨裝備、1 個激光指向儀和2 臺防爆工業相機組成。其中，激光指向儀固定于掘錨裝備后方頂板上并沿巷道掘進方向發射紅色激光，同時在巷道粉塵作用下形成明亮的光束；2 臺防爆工業相機構成大基線距的雙目匯聚結構固定于掘錨裝備尾部，用于采集包含激光指向儀光斑和激光光束信息的巷道圖像。相較基于單目視覺的測量方法，雙目視覺測量方法對深度方向的感知具有先天的優勢。常見的雙目視覺測量系統的結構有光軸平行結構和光軸匯聚結構，其中光軸平行結構較為常用。然而，為實現掘錨裝備的長距離定位需求，長基線距離(1 000 mm 以上)的雙目視覺方案是必然選擇，此時基于光軸平行結構的雙目視覺定位方案在近距離測量時的盲區較大，增加了相機標定的難度，如圖2 所示?；谏鲜鲈?，選擇雙目光軸匯聚模型以使相機標定得以完成，同時提高視覺定位的有效距離。

圖1 基于單激光束信息的掘錨裝備視覺定位系統組成Fig.1 Composition of visual positioning system of digging and anchoring equipment based on single laser beam information

圖2 光軸平行結構和光軸匯聚結構近距離盲區比較Fig.2 Comparison of optical-axis-parallel and optical-axis-convergent structures for near-range blindness

1.2 系統測量原理

如圖1 所示，為便于描述和分析，在巷道起始位置建立巷道坐標系OHXHYHZH，原點OH為巷道起始點，XH軸垂直于巷道掘進方向向右，YH軸沿巷道掘進方向向前，ZH軸垂直于巷道底板向上；在掘錨裝備中心位置建立機身坐標系OBXBYBZB，原點OB為機身中心點，XB軸垂直于機身縱軸線向右，YB軸沿機身縱軸線向前，ZB軸向上；在相機光心位置建立相機坐標系OC10XC10YC10ZC10和OC20XC20YC20ZC20，原 點OC10和OC20為相機光心，XC10軸和XC20軸向右，YC10軸和YC20軸向下，ZC10軸和ZC20軸沿光軸向前。顯然，兩相機坐標系之間的位姿關系可以由雙目相機標定輕易獲得，相機坐標系與機身坐標系之間的位姿關系可以通過2.3 節提供的標定方法確定，因此只需要通過視覺測量方法得到相機坐標系與巷道坐標系之間的位姿關系即可通過坐標轉換得到掘錨裝備在巷道坐標系下的位姿。

基于單激光束信息的掘錨裝備視覺定位系統的測量原理如圖3 所示。系統工作時，雙目相機采集包含激光指向儀光斑及光束特征的巷道圖像對，通過極線校正得到行對準圖像對，然后通過特征提取得到激光光斑中心在圖像坐標系下的亞像素坐標和激光光束在圖像坐標系下的直線方程，并構建雙目視覺定位模型，得到掘錨裝備在巷道坐標系下的位姿。

圖3 基于單激光束信息的掘錨裝備視覺定位系統原理Fig.3 Principle of visual localization system for digging and anchoring equipment based on single laser beam information

2 視覺位姿解算模型

極線校正是提高特征匹配效率、簡化雙目視覺定位模型的必要步驟。在通過雙目相機標定得到兩相機的內參矩陣、畸變系數矩陣及其之間的旋轉矩陣R和平移向量t之后，基于Bouguet 算法可以將雙目匯聚模型轉化為如圖4 所示的行對準雙目平行模型。圖4 中，OC1XC1YC1ZC1和OC2XC2YC2ZC2為左右兩相機的校正坐標系，雙目相機的校正坐標系建立在左相機上，為OCXCYCZC。OHXHYHZH和OBXBYBZB分別為巷道坐標系和機身坐標系。巷道坐標系和雙目相機坐標系、雙目相機坐標系和機身坐標系之間的位姿關系可以由轉換矩陣TCH和TBC表示。因此可以將掘錨裝備的視覺定位問題簡化成空間點和空間直線在平面投影的空間幾何問題。

圖4 基于單激光束信息的掘錨裝備視覺位姿解算模型Fig.4 Visual positional solution model for digging and anchoring equipment based on single laser beam information

2.1 基于視覺的姿態解算模型

設空間直線L在左相機成像平面的投影為圖像直線l1,在右相機成像平面的投影為圖像直線l2，并設圖像直線li(i=1,2) 的直線方程為aix+biy+ci=0(ai>0) ，則圖像直線上任意一點可表示為ti(xti,yti,f)，圖像直線的方向向量可以表示為vi(bi,-ai,0) ，其中f為相機焦距，由相機內參標定得到。

此時，空間直線L在雙目相機坐標系下的方向向量LC可以由雙目坐標系下兩投影平面法向量NS1和NS2的外積得到，即

同時，已知空間直線L在巷道坐標系下的方向向量LH為

雙目相機坐標系相對于巷道坐標系的的旋轉關系可由旋轉向量表示。其中，從向量LH到向量LC的旋轉軸可以表示為

因此，雙目相機坐標系相對于巷道坐標系的旋轉矩陣可以由羅德里格斯公式表示為

2.2 基于視覺的位置解算模型

則相機坐標系相對于巷道坐標系的平移向量可以表示為

2.3 坐標系轉換

巷道坐標系到雙目相機坐標系的轉換矩陣可以表示為

另外，為得到雙目坐標系與機身坐標系之間的精確位姿關系，可以將棋盤格標定板固定于雙目相機視野范圍內，同時使用全站儀在機身坐標系位置建站并測量標定板角點的三維坐標，使用雙目相機采集棋盤格標定板的圖像，極線校正后從左相機圖像中通過角點檢測算法得到標定板交點的像素坐標，然后通過PNP 算法即可得到雙目相機坐標系到機身坐標系的旋轉矩陣RBC和平移向量tBC[18]，因此，雙目相機坐標系到機身坐標系的轉換矩陣可以表示為

此時，掘錨裝備在巷道坐標系下的位姿可以表示為

3 特征提取方法

3.1 激光光斑特征提取方法

目前光斑中心的提取方法主要分為基于光斑邊緣信息的提取方法(如橢圓擬合、霍夫變換等)[19–20]和基于光斑灰度信息的提取方法(如灰度重心、高斯擬合等)[21–22]。其中，基于橢圓擬合和霍夫變換的光斑中心提取方法計算簡單，但對于邊緣不規則或不對稱光斑的提取精度較差[23]；基于灰度重心的光斑中心提取方法精度較高，但受噪聲干擾的影響較大，穩定性較差[24]；基于高斯擬合的光斑中心提取方法對于能量較低的點光源光斑的擬合度較高，可以獲得亞像素級的光斑中心計算結果，但對于激光光斑等能量較高的光斑中出現“平頂”情況的擬合效果較差，因此適用范圍有一定限制[25–26]。

因此，為更加高效地提取激光指向儀光斑的亞像素中心，需要事先對圖像中的光斑區域進行分割（圖5），激光指向儀的原圖如圖5a 所示。由于激光指向儀光斑具有較高的能量，圖像中光斑區域的灰度值明顯高于其他區域，因此可設置相應的閾值對光斑區域進行初步分割，處理結果如圖5b 所示。然后，通過輪廓檢測得到激光光斑輪廓ROI 區域的坐標，如圖5c 所示。最后，對光斑的ROI 區域進行分割，得到如圖5d 所示的激光指向儀光斑圖像。

圖5 激光光斑分割結果Fig.5 Laser spot segmentation results

如圖6 所示，分析光斑的灰度分布情況可以看出，光斑中心較大范圍內的灰度值接近255，出現了“平頂”的現象，因此該類光斑的中心提取問題很難再使用傳統的高斯擬合方法進行求解。文獻[27]的研究表明，二維反正切函數通過調整參數可以達到近似“平頂”的效果，因此提出一種基于二維反正切函數的光斑中心提取方法，用于解決上述問題。

圖6 光斑灰度情況分析Fig.6 Spot gray situation analysis

類比基于高斯函數的擬合方法，可將擬合函數定義為

其中，Emax為光斑能量的最大值，也即光斑灰度的最大值； (x0,y0) 為光斑中心的坐標；ax為光斑的半長軸；ay為光斑的半短軸； α 為 修正因子， 0<α<1時擬合函數的圖像趨向于“尖頂”， α>1時擬合函數的圖像趨向于“平頂”；為補償因子，可以保證擬合函數始終大于等于0。

因此，光斑中心的提取可以轉化為擬合函數中各未知參數特別是(x0,y0)的確定。然而，式中參數的求解過程是非線性的，故可對式(17)做如下等價變換：

3.2 激光光束特征提取方法

圖7 為激光光束特征提取結果。分析激光束的圖像特征可采取如下方案提取激光束中心直線的平面方程：首先，對原始圖像進行二值化處理凸顯出激光束的輪廓特征，并進行中值濾波濾除圖像中存在的椒鹽噪聲，提高圖像質量，如圖7b 所示；進而，對二值化圖像進行細化處理，得到激光束圖像的骨架信息，如圖7c 所示；然后，對激光線骨架信息做Hough直線檢測，得到激光束特征在像素坐標系下的直線方程，如圖7d 所示。

圖7 激光光束特征提取結果Fig.7 Laser light feature extraction results

4 試驗驗證

為驗證本文提出的激光指向儀特征提取方法和基于單激光束信息的的掘錨裝備視覺定位方法的可行性和準確性，在實驗室模擬掘進工作面高粉塵、低照度的工況環境，搭建如圖8 所示的試驗平臺。該試驗平臺由計算機、煤礦掘錨裝備模型(3∶1 縮比)、礦用激光指向儀、煙霧發生器、2 個礦用防爆相機和相關測量儀器組成。其中，煙霧發生器用于模擬巷道的粉塵環境；激光指向儀固定于掘錨裝備后方頂板上并沿巷道掘進方向發射紅色激光，在巷道粉塵作用下形成明亮的“光路”；2 臺防爆工業相機構成雙目匯聚結構固定于掘錨裝備尾部，用于采集包含激光指向儀光斑和激光光束信息的巷道圖像；相關測量儀器包括棱鏡、全站儀和慣導，棱鏡和全站儀用于對本文定位方法得到的位置信息進行驗證，慣導用于對本文定位方法得到的姿態信息進行驗證。

試驗前，首先對雙目相機內外參數進行標定，同時標定雙目相機坐標系到機身坐標系的轉換矩陣TBC。然后在適當的位置建立全站儀坐標系作為巷道坐標系OHXHYHZH，并使用全站儀標定激光指向儀“光心”的空間坐標PH和激光指向儀光束的方向向量LH。

4.1 特征提取精度驗證

在圖像中，激光光斑和光束特征的真值通常難以獲得，但在巷道坐標系中由本文定位方法得到的掘錨裝備位置信息可以由全站儀精確得到。

因此，為驗證提出的激光指向儀特征提取方法的可行性和準確性，試驗時從3 個不同位置分別采集180 張包含激光指向儀光斑及光束特征的圖像，并利用不同的激光指向儀特征提取方法和提出的掘錨裝備視覺定位方法進行重復性試驗，得到的激光光斑和光束中心提取結果(局部)如圖9 所示。不同特征提取方法得到的位置誤差的均值和標準差見表1。

表1 不同特征提取方法得到的位置誤差的均值和標準差Table 1 Average position error obtained by different feature extraction methods

圖9 激光指向儀特征提取結果Fig.9 Laser pointer feature extraction results

由圖9 可以直觀地看出，提出的激光指向儀特征提取方法可以穩定地檢測出激光光斑的中心點和激光束的中心直線，同時與橢圓擬合法相比，本文提出的激光光斑提取方法和高斯擬合法都能更加精確地得到光斑的中心。

由表1 的數據可以看出，基于提出的激光指向儀特征提取方法得到的位置誤差的均值和標準差均為最小。根據算法原理，在激光光束特征提取方法和視覺定位模型都相同的前提下，掘錨裝備在巷道中的位置測量精度僅受到光斑特征提取結果的影響。因此，表1 數據也表明提出的光斑中心提取方法精度和穩定性最高。

4.2 系統定位精度驗證

為驗證提出的基于單激光束信息的掘錨裝備視覺定位方法的可行性和準確性，在模擬巷道中控制掘錨裝備模型以不同的姿態向前移動，并記錄由本文視覺定位方法得到的計算值和由全站儀、慣導測量到的實際值，完成6 組試驗。試驗時，由全站儀標定得到的激光指向儀“光心”的空間坐標為PH(785.10,3334.90,2061.70)，激光指向儀光束的方向向量為LH(210.80,874.90,74.30)，單位為mm。試驗特征提取結果如圖10 所示，試驗結果見表2，試驗誤差如圖11 所示，試驗誤差絕對值見表3。

表2 掘錨裝備視覺定位方法試驗結果Table 2 Experimental results of visual positioning method for anchor digging equipment

表3 掘錨裝備視覺定位方法實驗誤差絕對值分析Table 3 Analysis of absolute value of experimental error of visual positioning method for anchor digging equipment

圖10 試驗特征提取結果Fig.10 Experimental feature extraction results

圖11 掘錨裝備視覺定位方法試驗誤差分析Fig.11 Experimental error analysis of visual positioning method for anchor digging equipment

由圖10 可以看出，提出的激光指向儀特征提取方法在50 m 的范圍內魯棒性較好，可以準確得到激光光斑中心的亞像素坐標和激光光束的平面方程，保證了系統的測量精度。

由表3 可以看出，提出的基于單激光束信息的掘錨裝備視覺定位方法在50 m 的范圍內具有較高的位姿測量精度。其中，機身位置在巷道坐標系下沿X軸、Y軸和Z軸的平均測量誤差分別為25.44，58.64，31.08 mm，其最大誤差分別為55.16，127.39，63.57 mm；機身姿態在巷道坐標系下的俯仰角、偏航角和橫滾角的平均測量誤差分別為0.22°、0.22°、0.41°，其最大誤差分別為0.29°、0.37°、0.58°。

通過圖11 和表3 可以看出，由于雙目視覺定位方法是基于三角測量原理提出的，因此與x軸和z軸相比，y方向的位置測量誤差較大，同時隨著測量距離的增大，機身位姿的測量誤差也隨之增大。但是，根據我國“短掘短探”的巷道掘進施工模式，在一個“探掘”周期內，提出的基于單激光束信息的掘錨裝備視覺定位方法及其特征提取方法滿足相關精度要求。選擇巷道原有特征作為視覺定位的合作標靶，簡化了定位系統的安裝和標定程序，具有較大的應用前景和推廣價值。

5 結 論

1)以煤礦井下掘進工作面固有激光指向儀特征為視覺定位合作標靶，提出了基于雙目視覺的掘錨裝備位姿解算方法和激光指向儀點線特征提取方法，解決了現有視覺定位方法因標靶結構復雜而導致標定繁瑣的問題。同時，保留并利用巷道固有特征完成視覺定位，不影響掘錨機司機的手動作業。

2)分析激光指向儀光斑圖像特征，針對其高能量的特點，提出了一種基于二維反正切函數擬合的激光光斑中心提取方法，得到了比傳統基于橢圓擬合和高斯擬合的光斑中心提取方法更加精確的結果。

3)為了驗證本文提出的基于激光指向儀特征的掘錨裝備視覺定位方法的可行性與準確性，在實驗室搭建實驗平臺進行了實驗。結果表明，本文提出的基于激光指向儀特征的掘錨裝備視覺定位方法具有較高的位姿測量精度，滿足煤礦井下巷道施工的定位精度要求。