礦井多視角圖像拼接方法研究

王紅堯， 吳佳奇， 林松， 王夢雅， 趙國瑞

(1.中國礦業大學(北京) 機電與信息工程學院， 北京 100083；2.中煤科工集團開采研究院有限公司, 北京 100013)

0 引言

為有效保障煤礦安全生產，目前大部分煤礦安裝使用了監測監控系統。因煤礦井下工作空間狹小，導致采集的圖像視野范圍較小[1]。為獲得分辨率高且大視角范圍圖像，有必要研究礦井多視角圖像拼接方法。

目前，基于圖像特征提取是主流的圖像拼接方法，應用最廣泛的是基于特征點提取的方法，典型算法包括：SIFT(Scale-Invariant Feature Transform，尺度不變的特征變換)算法[2]，先進行圖像檢測，再進行圖像拼接，通過對特征進行縮放、平移、旋轉等變換，增強相似特征的關聯性，提高圖像拼接效率；SURF(Speeded Up Robust Features，加速魯棒特征)算法[3]，較SIFT算法在圖像變換時更穩定，耗時更短[4]；KAZE算法[5]，采用加性算子分裂算法求解非線性擴散方程，以搭建非線性尺度空間[6]，保證在特征提取過程中保留圖像邊緣、細節特征；融合FAST(Features from Accelerated Segment Test)算法和Brief算法的ORB(Oriented FAST and Rotated Brief) 算法[7]，在提取特征點過程中抗干擾能力強且具有旋轉不變性，計算效率高，魯棒性強。

煤礦井下環境復雜，直接應用上述算法進行圖像拼接時會在圖像重疊部分產生裂縫和黑線。鑒此，本文基于ORB算法，結合改進對比度受限的自適應直方圖均衡化方法[8]、KNN(K-Nearest Neighbor，K最近鄰)算法[9]、RANSAC(Random Sample Consensus，隨機采樣一致性)算法[10]、帽子函數加權平均融合算法[11]等，提出了一種礦井多視角圖像拼接方法，并通過實驗驗證了該方法提取有效特征點的能力強，計算效率高，圖像拼接過渡自然，無裂縫、黑線現象，具有較好的拼接效果。

1 圖像拼接流程

礦井多視角圖像拼接流程如圖1所示。首先，采用一種改進對比度受限的自適應直方圖均衡化方法對圖像進行預處理，以突出圖像細節，提高對比度；其次，選用ORB算法提取圖像特征點，采用改進的Brief算法計算特征描述子；再次，通過KNN算法實現特征點對粗匹配，基于RANSAC算法對誤匹配特征點對進行篩選、消除，并求解最優透視變換矩陣，對待匹配圖像像素點進行坐標變換；最后，采用帽子函數加權平均融合算法對固定圖像和待匹配圖像進行拼接融合。

圖1 礦井多視角圖像拼接流程Fig.1 Stitching flow of mine multi-view images

2 圖像拼接原理

2.1 圖像預處理

采用改進對比度受限的自適應直方圖均衡化方法進行圖像預處理。設圖像灰度直方圖幅值上限為C，幅值大于C的區域為T，將T平均分配到N個灰度級上(整個灰度范圍)，確?；叶戎狈綀D的總面積恒定。則灰度直方圖提升值為

(1)

設灰度直方圖幅值下限為U，則

U=C-L

(2)

確定L后對圖像灰度直方圖進行如下處理：① 若某區域的灰度直方圖幅值大于C，則將其幅值置為C；② 若某區域的灰度直方圖幅值大于U且小于C，則將其幅值提升至C；③ 若某區域的灰度直方圖幅值小于U，則將其幅值提升L。

采用該方法對礦井圖像進行預處理解決了灰度級丟失問題，突出了圖像細節，可提高圖像對比度，實現圖像去霧增強，有利于后續圖像特征點提取。

2.2 特征點提取

采用ORB算法提取圖像特征點。首先選定圖像中某個像素點；然后以該像素點坐標為圓心、R為半徑確定一個圓形區域；最后將圓形區域邊界上的像素點灰度值X與圓心像素點灰度值O做差，其絕對值與設定閾值δ比較。特征點判定公式為

|X-O|>δ

(3)

在計算過程中，每次選取邊界上4個像素點進行計算，若不少于3個像素點滿足式(3)要求，再選取另外4個像素點進行計算。當9個像素點滿足式(3)要求時，確定圓心像素點為圖像特征點。

采用上述方法遍歷圖像得到所有特征點后，用Harris算法篩選特征點，選取最優角點作為ORB角點。為使ORB角點具備旋轉不變性，將圓形區域看作密度不均的圓形物體，每一像素點的像素值為該點質量。利用質心法則計算圓形區域的質心，連接圓心與質心，規定連接線方向為圓形區域的橫軸方向，垂直該方向為豎軸方向，在此區域內角點具有旋轉不變性。

接下來采用Brief算法計算特征描述子?？紤]到該算法抗噪性較弱，對其進行改進，將單個像素點像素值的對比轉換為5×5小范圍區域內像素值的求和比較，從而提高計算效率，節省存儲空間，且提高抗噪性能。

2.3 特征匹配

在完成特征描述子計算后，對固定圖像和待匹配圖像的特征描述子進行匹配。采用KNN算法粗略判斷固定圖像和待匹配圖像特征描述子的相似性，得到一系列特征點對；再采用RANSAC算法對特征點對進行提純，以消除錯誤點對，提高有效特征點對比例，得到最優透視變換矩陣。

在KNN算法中，設置Hamming距離[12]作為距離度量，計算公式為

(4)

式中：D(l,r)為Hamming距離；l,r分別為固定圖像、待匹配圖像特征描述子集合；M為特征描述子總數；mi，ni分別為固定圖像、待匹配圖像的某一特征描述子。

2.4 坐標變換

采用RANSAC算法求解得到的最優透視變換矩陣，可將待匹配圖像中的像素點通過坐標變換映射到固定圖像坐標系，進而實現圖像拼接[13]。

最優透視變換矩陣為3×3矩陣，包含8個未知數。設最優透視變換矩陣為K，固定圖像中的像素點坐標為(x1,y1)，待匹配圖像中的像素點坐標為(x2,y2)，則待匹配圖像像素點坐標變換公式為

(5)

式中：k0，k1為改變圖像縮放變換的系數；k2，k5為控制圖像透視變換的系數；k3,k4為改變圖像旋轉角度的系數;k6，k7為改變圖像平移距離的系數。

2.5 圖像融合

完成待匹配圖像像素點坐標變換后，采用帽子函數加權平均融合算法對固定圖像和待匹配圖像進行拼接融合[14-15]。將固定圖像和待匹配圖像重疊部分中心處像素點的權值設為權值最大值，將像素點權值從中心位置向兩側逐漸減小，實現2張圖像漸進加權融合。

2張圖像重疊部分像素點的權值為

(6)

式中：(xj,yj)為像素點j坐標；W，H分別為圖像寬度和高度。

為了統一計算單位，對w(xj,yj)進行歸一化處理，得到加權權值：

(7)

式中J為圖像重疊部分的像素點數。

由此可得融合圖像：

(8)

利用式(8)進行圖像拼接可消除裂縫、黑線現象，使拼接處過渡更加自然，拼接圖像更加清晰。

3 實驗及結果分析

為了驗證本文方法的性能，采用某煤礦井下監控圖像進行實驗驗證。實驗環境為Intel(R) Core(TM)i7-4720HQCPU @ 2.60 GHz、8 GB內存、64 bit的Windows7臺式電腦。

3.1 特征點提取實驗

分別采用SIFT，KAZE，ORB算法對圖像數據進行特征點提取實驗，結果如圖2—圖4所示，左右分別為原始圖像和提取的特征點。

3種算法對輸送帶圖像的特征點提取結果見表1?？煽闯鯯IFT算法提取的特征點較多，耗時較長；KAZE算法提取的特征點相對較少，耗時最長；ORB算法提取的特征點最少，分別較SIFT，KAZE算法減少48%，33%，且特征提取耗時最短，分別較SIFT，KAZE算法減少17%，34%。結合圖2—圖4可看出，ORB算法對井下圖像有效特征點的提取能力強且用時少，特征點提取效果最好，較好地解決了井下圖像因粉塵干擾造成的細節特征不易提取問題。從圖4可看出，ORB算法對井下多個場景的不同視角圖像進行特征點提取均具有較好的效果。

表1 輸送帶圖像特征點提取實驗結果Table 1 Experimental results of feature point extraction for conveyor belt image

3.2 圖像融合實驗

分別采用將待匹配圖像進行坐標變換后直接與固定圖像融合方法、本文方法對煤礦井下不同場景的監控圖像進行拼接融合實驗，結果如圖5所示?？煽闯鲆驁D像視角范圍、亮度不同，采用直接融合方法的拼接圖像在連接處出現黑線，圖像過渡不自然；采用本文方法的拼接圖像連接處不存在黑線、裂縫，圖像更加自然、清晰。

(a) 輸送帶圖像直接融合

(c) 巷道圖像直接融合

(e) 掘進機圖像直接融合

4 結論

(1) 針對煤礦井下監控圖像存在的視野范圍較小、細節特征不清晰等缺點，提出了一種礦井多視角圖像拼接方法：采用改進對比度受限的自適應直方圖均衡化方法對圖像進行預處理，采用ORB算法提取圖像特征點，采用KNN，RANSAC算法進行特征匹配及最優透視變換矩陣求解，對待匹配圖像像素點進行坐標變換后，采用帽子函數加權平均融合算法對待匹配圖像和固定圖像進行拼接融合。

(2) 特征點提取實驗結果表明：與SIFT，KAZE算法相比，ORB算法對于單張圖像提取的特征點數分別減少了48%，33%，提取有效特征點的能力較強，有助于改善特征匹配精度；特征提取耗時分別減少了17%，34%，提高了計算效率。

(3) 圖像融合實驗結果表明，基于本文方法的拼接圖像避免了連接處的裂縫、黑線現象，圖像過渡自然，清晰度高，滿足礦山智能化應用對井下高質量全景圖像數據的需求。