智能化綜采工作面全景視頻遠控技術研究及應用

張凱隆

(華為技術有限公司，廣東省深圳市，518129)

綜采工作面作為煤炭生產的核心區域，相關作業人員的安全保障問題，需要尋求切實有效的方案去解決?，F階段，就薄煤層和中厚煤層而言，已經初步實現綜采工作面內無人操作遠程控制采煤[1]，但設備的智能化自適應能力尚不能適應復雜工況，對存留隱患和突發情況的感知與處理措施無法支撐決策的信息需求和指令的可靠執行[2]。目前，無線通訊技術發展已進入5G并初步應用于煤礦綜采工作面的智能化建設[3]。井下5G通信網絡構建的要求一是要全覆蓋與低復雜度，二是要低成本、抗干擾和高精度，三是要高速、大容量[4]。此外，通過在綜采工作面安裝多路攝像機引入視頻系統，將作業人員的視覺延伸至綜采工作面，提供給遠程操作者身臨其境的可視化感受，也是指導遠程生產的一項重要手段[5]。

然而，若綜采工作面仍不脫離傳統視頻系統的監控模式，則只能觀察局部視角，無法對整體場景進行全局實時檢測和把握[6]。因此必須擴大視野范圍，獲取寬視角。全景視頻拼接是一種通過實時視頻采集，然后進行拼接融合處理并最終顯示的技術，該技術能將同一場景的多路具有重疊區域的視頻拼接成一幅大尺度廣角圖像[7]。綜采工作面空間有限、工況環境復雜，過往已有的成熟拼接算法并不適用，因此有必要對綜采工作面的全景視頻拼接進行研究[8]。

基于以上問題，筆者以晉能控股煤業集團三元煤礦(以下簡稱“三元煤礦”)智能化綜采工作面建設為工程背景，介紹綜采工作面全景視頻遠控技術的研究及應用情況，著重闡述其中的關鍵性技術細節，并針對技術方案落地過程中的工程實施難點進行分析。

1 全景視頻遠控技術架構

在煤礦綜采工作面具備一定智能化開采能力與手段的基礎上，例如具備采煤機記憶截割、液壓支架自動跟機拉架等功能[9]，搭配全景視頻拼接的呈現與采煤機設備的遠程操控，以實現綜采工作面的全景視頻遠控。通過綜采工作面全景視頻拼接，加之局部多視角視頻，使能綜采工作面全景監控、采煤機遠程操控以及AI智能預警和聯動，從而推動綜采工作面少人化。智能化綜采工作面全景視頻遠控技術架構如圖1所示。

圖1 智能化綜采工作面全景視頻遠控技術架構

智能化綜采工作面全景視頻遠控技術的構建包括以下4個部分。

(1)在綜采工作面液壓支架和部分特殊點位處，安裝多個高清廣角攝像機進行視頻采集；對于采煤機內的無線信號控制單元進行改造，增強其收發信號的性能；在綜采工作面兩端，建設5G基站，天線朝向綜采工作面內，通過調試確保信號穿透整個綜采工作面，視頻數據與采煤機控制數據將通過5G網絡回傳。

(2)在井下運輸巷道新建或復用巷道集控中心，并在此處建設5G分站，以收集現場生產情況并傳遞至地面的調度中心。

(3)在機房中，回傳的多路攝像機圖像在視頻拼接服務器內進行預處理，形成一幅“畫卷”覆蓋整個綜采工作面，拼接后大視頻進入大屏綜合管理服務器，經過一系列后處理和轉碼后可以達到全景可視的效果。另外，存儲在視頻拼接服務器內的視頻圖像還可以傳至算力中心，由其提供算力加持，對視頻圖像做AI訓練和深加工推理，以獲取更多有用的信息，例如識別違規行為和潛在危險等，通過與控制設備聯動確保安全生產。

(4)在地面調度中心，設置綜采工作面全景視頻遠控工作站，新建或復用作業大屏，將綜采工作面的全景拼接視頻以及相關數據和信息呈現出來，輔助采煤司機遠程操控采煤機，方便調度員協調指揮生產。

2 全景視頻遠控關鍵技術

2.1 井下綜采工作面5G網絡部署

井下綜采工作面是煤炭生產工作中的核心場景[10]。在綜采工作面全景視頻遠控場景中有2處關鍵環節，要求具備高質量、大帶寬、低時延、多聯接的網絡傳輸條件：一是綜采工作面上百臺攝像機所采集圖像的傳輸，二是從井上直接遙控井下采煤機操作信號的及時傳遞與常規穩定化運行。采煤機割煤時，時刻處于移動狀態，若要對其實行遠程操控，則對時延要求很高，使用有線的光纖介質易折斷，而諸如傳統微波、WiFi等無線技術經測試在井下綜采工作面又會出現時延高、不穩定的情況，可能會造成采煤機停機保護，影響生產?；谝陨弦蛩?，運用5G技術是一個良好的選擇。

華為礦用5G網絡設備可容納上百臺礦用本安型高清攝像機圖像的并發上傳，設計與實際上行能力表現均大于1 Gbps；支持遠覆蓋，對于一般200 m 左右長度的綜采工作面，設置2個基站即可全面覆蓋，大大減少了基站建設數量；另外，其充分利用了端到端的網絡切片技術，在獨立的物理網絡上虛擬切分出多個邏輯網絡，每個網絡規劃專屬的網絡功能不僅可以適配多種不同類型的場景化服務需求，而且可以避免為每一個場景化服務專門建設一個專用物理網絡，極大節了省網絡覆蓋的部署成本。綜采工作面全景視頻遠控5G網絡切片架構如圖2所示。

圖2 綜采工作面全景視頻遠控5G網絡切片架構

通過此種部署方式能夠實現遠程操控業務、無線視頻監控業務和其他業務同鏈路，但分屬不同切片，切片之間通過硬隔離承載(FlexE)，保障不同業務間相互獨立、互不影響。

2.2 短物距下大視場攝像機成像

中厚煤層的厚度一般在1.3～3.5 m，相應綜采工作面的設計高度一般在1.5～4.0 m。攝像機安裝布放在液壓支架處，液壓支架拉架前后，兩立柱中心距煤壁長度為4～6 m。相較于采煤機自身15 m左右的機身長度，加上采煤機運行方向前后約10 m范圍，整體從35 m左右的區間長度來看屬于短物距。

結合以上場景中的實際情況，若要提供給采煤司機可滿足其操控需求的視野，則必須極大增加綜采工作面全景視頻遠控技術方案中所選用攝像機鏡頭的視場范圍(Field of View,FOV)，使之能支撐視頻拼接任務和圖像覆蓋范圍。經過對攝像機機芯傳感器的一系列測試驗證，最終落實在整體技術方案中的攝像機鏡頭FOV提升至水平方向108°、垂直方向74°的超廣角，畸變率≤-7.9%，且攝像機模組設計支持整機煤安認證(EX ib I Mb)。綜采工作面實景與其對應大物距攝像機所攝圖像對照如圖3所示。

圖3 綜采工作面實景與其對應大物距攝像機所攝圖像對照

2.3 全景視頻實時拼接算法

全景視頻實時拼接是利用攝像機拍攝的實時圖像組成全景空間[11]。結合綜采工作面的場景和工況，通過算法設計將固定在液壓支架處的百余臺攝像機回傳的多路圖像拼接成一幅正對采煤機與煤壁的全景圖。全景視頻實時拼接涉及技術比較廣泛，大體包括數學建模與仿真、計算機視覺分析與圖形學、數字圖像處理等。實現綜采工作面全景視頻實時拼接的重要步驟包括攝像機內參標定、傳感器畸變與視差校正、3D-2D特征點對的空間投影變換、全景視頻融合以及拼接圖像的后處理等。

進行攝像機內參標定時，由于不同攝像機在安裝到點位的過程中存在許多差異，每路視頻流之間會形成圖像的縮放、傾斜、方位角差異，對于此種物理因素導致的差異需要預先校準，保證攝像機所取畫面的一致性，便于后續的圖像融合。

在盡可能消除攝像機鏡頭的光學畸變影響后，由于采煤機普遍距離攝像機較近(約1.5 m)，特別是在拉架后，相鄰攝像機的圖像在重疊區域中，物體的相對位置有差異，受此產生的視差成為圖像校正的困難因素?；€越大，物距越近，視差越大。另外，每路視頻圖像由攝像機在不同點位、不同角度下采集，所以并不在同一空間投影平面上，如果直接對重疊區域進行無縫視頻拼接，會破壞綜采工作面實景的視覺一致性，因此需要先對攝像機畫面中的特征點對做空間投影變換，再進行歸一化拼接。若定義煤壁所在空間平面為“背景”，同時定義采煤機一級機身所在空間平面為“前景”，經初步拼接測試發現，在較大視差條件下，以“背景”為基準拼接則“前景”缺失，以“前景”為基準拼接則“背景”重影，然而分開拼接的“背景”與前景”畫面中的多數內容均得到了保留?；诖?，為避免大視差造成的影響，華為創新性地提出并設計了綜采工作面前后景分離的拼接算法，這也是后續進行全景視頻融合的核心。綜采工作面全景視頻實時拼接算法流程如圖4所示。

圖4 綜采工作面全景視頻實時拼接算法流程

綜采工作面全景視頻實時拼接算法流程包括以下8類重要模塊。

(1)攝像機調度模塊。該模塊根據上報中心支架號信息計算采煤機所處位置，執行調度并拉起采煤機及其運行方向前后一定范圍內的攝像機視頻流，通常模塊輸入圖像數不大于16。

(2)外參求解模塊。該模塊根據檢測到的特征點對(3D-2D點對)，通過透視n點(Perspective-n-Point，PnP)算法估算各路攝像機的外參，進而估算透視變換矩陣。由于這個模塊是整個算法流程中的基石，故在此詳細討論一下本模塊的數學原理以及模型的建立。典型的PnP問題是尋找一種描述空間3D點轉換到平面2D點運動的方法，在井下作業這一場景中，目的就是求解固定在液壓支架處的攝像機坐標系相對于綜采工作面空間坐標系的態勢。PnP算法數學模型如圖5所示。

圖5 PnP算法數學模型

用數學語言可以表達為，已知存在有n個點，在綜采工作面空間坐標系下的坐標為P1、P2、…、Pi、…、Pn，其對應的攝像機坐標系下的坐標為p1、p2、…、pi、…、pn，求解攝像機坐標系OcXcYcZc相對于綜采工作面空間坐標系OwXwYwZw的位姿信息，旋轉矩陣R和平移向量t的計算見式(1)：

(1)

式中：Xc、Yc、Zc——攝像機坐標系下坐標；

Xw、Yw、Zw——綜采工作面空間坐標系下坐標；

R——旋轉矩陣；

t——平移向量。

將綜采工作面空間中3D點坐標與其投影后的2D點坐標作齊次坐標形式變換，依據透視投影模型，加之已經進行過攝像機內參標定(內參矩陣K已知)，可得每組3D-2D匹配點對應2個方程的方程組，共有12個未知數。當匹配點不少于6組時，模型可以轉化為一個超定方程求解。在滿足一定的約束條件下，通過SVD(奇異值分解)和一系列數學變換，可以求得接近R、t的增廣矩陣見式(2)和式(3)：

K——攝像機內參矩陣；

f——攝像機標定方向焦距。

(3)透視矩陣計算及透視映射模塊。該模塊根據透視變換矩陣對圖像進行透視矯正。

(4)前景拼接模塊。該模塊計算拼縫在采煤機3D模型上的位置，并根據拼縫分別在兩路視頻上的2D投影位置實現前景拼接。

(5)背景拼接模塊。該模塊計算拼縫在煤壁上的位置，并根據拼縫分別在兩路視頻上的2D投影位置實現背景拼接。

(6)前后景分割模塊。該模塊依據在線標定模塊獲得的外參以及采煤機的3D模型，在2D圖像中實時動態分割采煤機。

(7)前后景融合模塊。該模塊將模塊(4)、模塊(5)、模塊(6)處理后的結果進行融合。

(8)圖像后處理模塊。該模塊進行拼接后圖像的黑邊去除、角度修正、尺寸調整等工作。

2.4 采煤機端側遠程操控改造

綜采工作面覆蓋5G信號后，雖然一定程度上確認了數據傳遞的低時延，但煤炭生產更依賴于網絡運行狀況的高可靠性。綜采工作面環境較復雜，無線單鏈路難以保障采煤機遠程操控的及時穩定。

AR物聯網關是一種專為嚴酷環境設計的工業路由設備。華為通過創新AR雙發選收技術，向采煤機端側加裝AR路由器來改造5G遠控模塊，在發送端對控制流進行包復制，利用2個空口冗余發送相同的報文，接收端從兩條鏈路的流中，逐包進行準確性檢驗包重組，并作時延最優選擇，從而實現系統級時延及可靠性優化，以克服某一信道空口突發大抖動影響，大幅提升采煤機遠程操控的及時性與穩定性。除控制信號外，少部分采煤機生產業務重要數據指標也可上報至遠控工作站，提供信息以輔助采煤司機精準作業，例如中心支架號、牽引速度、左右搖臂角度、左右滾筒高度、左右截割電流等。采煤機遠程操控應用AR雙發選收技術示意如圖6所示。

圖6 采煤機遠程操控應用AR雙發選收技術示意

3 工程實施難點

3.1 綜采工作面5G網絡優化

綜采工作面工況復雜，不確定性因素較多。例如在采煤機往復割煤時，每刀過后液壓支架向回采方向拉架，還有部分煤層構造脆弱處需超前拉架，都會造成距離基站相對靠后區域的5G信號被相對靠前的支架遮擋；綜采工作面地形有起伏，將概率性出現非視距通信的情況；綜采工作面內設備分布密集，且金屬物件較多，無線傳播過程中的“多徑效應”顯著，引發5G信號衰落。

針對以上場景，需要對采煤機5G網絡進行工程優化。在采煤機原有一部5G CPE的基礎上，新增一種專屬型號的隔爆AR路由器，組成5G信號雙保險。另外，經多次試驗發現平面形態的外置天線收發信號的效果最佳，因此將采煤機原有5G CPE和新增AR路由器的天線均更換為外置平板天線，分置于采煤機兩側。而后啟動綜采工作面5G信號覆蓋摸底測試，檢驗5G信號的參考信號接收功率(RSRP)、信號與干擾加噪聲比(SINR)、上行速率等指標，根據測試結果進行天線調向、參數調優。經過超5萬次的采樣打點，獲取到往返時延(Round-Trip Time,RTT)時延散點圖、RTT時延概率密度函數(PDF)以及RTT時延累積分布函數(CDF)，數據顯示，在采樣范圍內，RTT時延最大值為32 ms、最小值為7 ms、平均值為12 ms，其穩定性及可靠性水平較高。5G信號RTT時延采樣測試結果數據如圖7所示。

圖7 5G信號RTT時延采樣測試結果數據

3.2 攝像機的安裝點位工勘選取和結構件設計

對于綜采工作面采煤司機而言，在執行生產任務操作采煤機時，需要重點關注采煤機前后滾筒上下邊沿與煤壁接觸位置的情況。為了實現綜采工作面全景的視頻圖像拼接，從采煤司機視角正對煤壁的水平方向來看，需要留足相鄰攝像機的重疊區域，以獲取相當數量的特征點對做算法匹配。此外由于涉及到與支架工的配合，從采煤司機視角正對煤壁的垂直方向來看，液壓支架的護幫板、伸縮梁、前探梁、部分上頂板和下底板需要完全可見。至于如線纜槽線纜、刮板輸送機軌道等特定視角，則需結合實際工況觀察分析。

基于以上場景中的具體需求，本方案擬定在綜采工作面液壓支架處，實地進行攝像機安裝點位的工勘選取。由于綜采工作面地形有起伏，拉架推溜時崎嶇不平，部分設備會出現一定的傾斜和震動，繼而影響攝像機偏移歪斜。因此，用于固定攝像機的結構件在設計上必須要穩固，采用抱箍式結構件設計，可將攝像機安裝在液壓支架立柱的一側。抱箍式結構件設計與實際應用效果如圖8所示。

圖8 抱箍式結構件設計與實際安裝效果

3.3 空間坐標轉換識別率提升

在全景視頻實時拼接算法設計求解攝像機外參數的過程中，是依賴能夠獲取到相當數量的特征點對作為輸入的。但在實際綜采工作面的復雜工況和復雜環境之下，獲取到足量而優良的特征點對并不容易。為了克服這一問題，可以通過增設AprilTag[10]標定卡的方式人為引入一些易于識別的四邊形區域。這些區域通常比周圍亮度更低，因而可以利用這個特點使之盡可能多的去檢測特征點對。由左側圖像空間特征點對向右側圖像平面特征點對做輔助線映射，通過對AprilTag標定卡的識別，依據其中標定信息的編碼值對野值進行剔除，大大改善了特征點對的匹配不良情況，提升了空間坐標轉換識別率，可以更好地判斷攝像機的位姿。引入AprilTag后特征點對匹配改善情況如圖9所示。

圖9 引入AprilTag后特征點對匹配改善情況(由左向右映射)

3.4 綜采工作面粉塵污染

綜采工作面粉塵濃度較高，如若攝像機鏡頭不作任何處理，基本上在綜采隊組執行一個生產班次后，就會產生明顯臟污。同樣，采煤機處的粉塵濃度更大，將AprilTag標定卡放置于采煤機機身處，在采煤機啟動截割后的幾十分鐘內，標定卡即可被粉塵完全覆蓋，無法識別，影響全景視頻實時拼接算法的正常運行。

因此，為了減少綜采工作面粉塵污染對全景視頻實時拼接的影響，在工程上對綜采工作面攝像機鏡頭和標定卡分別應用華為創新的透明超疏膜技術和超疏涂層技術，可極大減少粉塵粘附情況，延長使用時間，便于維護。透明超疏膜技術選用低表面能材料，設置微納結構實現超疏水和普通疏油，以保障攝像機鏡頭不沾水、不積塵的自清潔效果。通過特定工藝透明化材料，并進行尺寸、形狀調控，保障攝像機鏡頭的清洗成像效果。該材料還具有一定的耐磨、耐沖擊性能，可承受一定的高壓水沖、煤灰剮蹭。經試驗，在無人為外力影響(如碰撞、不規范擦拭、頻繁正對高壓水沖等)和極端惡劣條件(大顆粒煤矸石沖擊等)發生時，透明超疏膜使用壽命超過1.5個月。攝像機鏡頭經透明超疏膜技術處理(左)與未做任何處理(右)對比如圖10所示，透明超疏膜攝像機鏡頭使用壽命跟蹤如圖11所示。

圖10 攝像機鏡頭經透明超疏膜技術處理(左)與未做任何處理(右)對比

圖11 透明超疏膜攝像機鏡頭使用壽命跟蹤(44 d)

超疏涂層技術通過納米顆粒自組裝微納結構，并使用含氟分子修飾涂層表面，保障標定卡不沾水、不積塵的自清潔效果。涂層可承受一定的高壓水沖、煤灰剮蹭，并耐受礦井堿性環境。經綜采工作面實測，超疏涂層標定卡最長壽命約1個月，且與所處位置相關，尚需進一步優化。有無超疏涂層技術處理的AprilTag標定卡對比如圖12所示。

圖12 有無超疏涂層技術處理的AprilTag標定卡對比

4 實際應用效果

4.1 綜采工作面概況

本次選取三元煤礦4306綜采工作面作為試驗局點，成功實現綜采工作面全景視頻遠控技術方案的落地與應用。4306綜采工作面是三元煤礦的主工作面，煤層平均厚度為7.18 m，工作面長度為189 m。采用綜合機械化低位放頂煤工藝，其中采高約 3 m，放煤厚度約4 m。三元煤礦綜采作業人員素質能力較高，置備選用綜采設備的規格型號和使用年限較新，且4306綜采工作面已預先完成了集控系統改造與液壓支架電液控改造，初步具備一定的智能化水平，比較適合開展綜采工作面全景視頻遠控技術方案的驗證工作。三元煤礦4306綜采工作面的設備配置情況見表1。

表1 三元煤礦4306綜采工作面設備配置情況

4.2 應用效果分析

三元煤礦基于全景視頻遠控技術的研究已在4306綜采工作面實際應用，整體方案運行穩定。采煤司機脫離傳統井下現場截割操作，轉變為在井上全景視頻遠控工作站執行生產任務輔助開采，工作環境大為改善，單個生產班可減2～3人次，有效提升了綜采作業的安全性。同時礦企職工通過培訓，深入了解了該技術的方案及架構，學習并掌握了數智化系統的操作與運維方法，自身技能素養也得到改進。綜采工作面全景視頻遠控技術應用效果及系統界面如圖13所示。

圖13 綜采工作面全景視頻遠控技術應用效果及系統界面

5 結語

全景視頻遠控技術依托于井下綜采工作面5G網絡部署、短物距下大視場攝像機成像、全景視頻實時拼接算法、采煤機端側遠程操控改造等關鍵技術突破得以實現。在工程上，通過綜采工作面5G網絡優化，合理化選取攝像機安裝點位及結構件設計，引入AprilTag標定卡以提高特征點對的空間坐標轉換識別率，制造新理化特性材料在一定程度上抵御綜采工作面的粉塵污染，使整體技術方案的可用性和易用性得到加強。應用綜采工作面全景視頻遠控技術能夠實現將部分綜采設備由井下的現場操控轉移至地面工作站上遠程操控，該智能化功能不僅減少了下井人次，改善了工人工作環境，而且還提高了采煤作業的安全性，具有較高的技術價值及社會效益。