基于邊界跟蹤和神經網絡的煤巖界面識別方法研究

吳德忠，劉泉聲，黃 興，高 峰，殷 欣

(1.武漢大學 土木建筑工程學院 巖土與結構工程安全湖北省重點實驗室，湖北 武漢 430072；2.西安科技大學 西部煤炭綠色開發國家重點實驗室，陜西 西安 710054；3.國科學院武漢巖土力學研究所 巖土力學與工程國家重點實驗室，湖北 武漢 430071)

煤炭一直是我國國民經濟賴以生存的主要能源，根據國家能源局印發的《2020年能源工作指導意見》，2020年全國煤炭消費比重占全國能源消費總量的57.5%。但總體上我國巷道掘進的智能化程度低，掘進效率低，難以實現掘錨平行作業[1]。我國煤炭智能化開采研究同樣處于初級階段，嚴重依賴人工干預，精準度不高，采煤機容易出現割頂的情況[2]。

煤巖識別技術是實現煤礦巷道自動化掘進和煤炭自動化開采的關鍵技術之一[3]。以跟頂掘進為例，如果截割滾筒位置過低，將造成欠截割，巷道上部留有大量頂煤，影響巷道成形質量。如果滾筒位置過高，即過截割狀態，則會切割到頂板巖層，使滾筒損耗嚴重，影響設備使用壽命；產生大量粉塵，威脅現場工作人員的生命健康；滾筒溫度過高，可能產生火花引發瓦斯爆炸；大量巖石落入煤炭中，造成采煤質量下降[4]。因此，迫切需要一種煤巖界面精準識別技術指導掘進機和采煤機截割滾筒的高度調整。

針對煤巖識別問題，國內外學者展開了大量研究，總體上可分為接觸式和非接觸式兩大類。接觸式的煤巖識別方法是根據截割滾筒在截割煤巖的過程中，機械的振動、電流、扭矩、聲發射等信號會隨著截煤比的變化而變化，這些變化可用于煤巖界面識別?；诙鄠鞲衅鲾祿诤系拿簬r識別方法主要是對上述信息進行融合并提高了識別精度。這些方法需要對機械安裝復雜的傳感器系統，改造成本高；滾筒在截割過程中振動劇烈，容易造成傳感器損毀。

非接觸式的煤巖識別方法包括伽馬射線探測法、放射性同位素法、雷達探測法、基于高光譜的識別方法、基于圖像的識別方法等等。上述方法均存在一定的局限性，例如以天然射線(NGR)探測儀為代表的煤厚測量法，要求頂底板中含放射性元素，適用于美國大部分煤礦，而在我國僅適用于約五分之一的煤礦[5]，因此該方法的推廣使用受到了限制。

近年來，基于圖像的煤巖識別方法成為研究的熱點。孫繼平等[6]采用Daubechies小波分解技術對煤巖圖像進行分解，構造紋理導向度，提取特征值，根據Minkowski距離計算公式計算待測物質與煤巖樣品的距離，通過判斷距離的大小進行煤巖的分類。章華等[7]設計了一個結構較為簡單的卷積神經網絡進行分類，識別準確率較高。以上研究主要是對煤巖圖像進行分類，并不涉及煤巖的具體位置?；跀底謭D像處理技術的煤巖界面識別研究比較少。Dong等[8]提出了一種改進的Canny邊緣檢測算法，采用自適應中值濾波算法根據灰度均值和方差均值來計算Canny算法的閾值。該方法提高了邊緣的提取效果，但同時也提取到了很多煤巖內部的邊緣。

智能化巷道掘進和開采過程中的煤巖識別重點在于識別煤巖交界位置。針對現有煤巖識別技術存在的問題，本文提出一種基于邊界跟蹤算法和人工神經網絡的煤巖界面識別方法，可有效地識別出煤巖界面，從而指導掘進機或者采煤機截割滾筒的高度調整，對實現國家安全監管總局“機械化換人、自動化減人”的戰略發展目標，實現煤礦巷道智能掘進和采煤機智能開采具有重要意義。

1 邊界跟蹤算法

1.1 圖像預處理

實驗采用高感光度防爆相機采集鄂爾多斯李家壕煤礦礦區巷道掘進面原始圖像，可清晰地看到截割滾筒切割煤巖體之后留下的痕跡，如圖1(a)所示。為排除圖像中其他無關信息對煤巖界面提取的干擾，舍棄圖像中頂板鋪網、左側面以及掘進機機身部分，僅選取掘進面與頂板相交部分作為感興趣區域(Region of interest，ROI)，如圖1(b)所示。

圖1 原始圖像及感興趣區域

線性拉伸可以剔除異常值，提高圖像質量，改善顯示效果[9]；同時也是對數據的一種標準化處理，這對下文機器學習分類算法具有積極意義。取直方圖累積在前n%和后n%處對應的像素值為最小值和最大值，將位于前n%和后n%之間的像素值按照式(1)映射到0～255范圍內，小于最小值的賦值為0，大于最大值的賦值為255，經過實驗，選擇n=2效果最好，如圖2所示。

圖2 2%截斷線性拉伸

式中，x、y表示輸入、輸出圖像的像素值；smax、smin表示輸入圖像像素值的最大和最小值；dmax、dmin表示輸出圖像像素值的最大和最小值。

1.2 邊界跟蹤算法原理

1.2.1 彩色圖像二值化

邊界跟蹤算法建立在以下基礎之上：①輸入圖像為二值圖像；②圖像包含的區域與圖像邊框相連接時，圖像邊框填充單像素寬度背景(0)值[10]。因此需先對彩色圖像進行二值化處理。二值圖像中的每一個像素其灰度值只有0或者1兩個取值，通常情況下1表示白色(前景)，0表示黑色(背景)。

灰度圖只有一個通道，其值稱為灰度值。本文采用加權平均法按式(2)對彩色圖像R、G、B三個分量加權平均從而實現圖像灰度化。

Gray=0.299R+0.578G+0.114B

(2)

采用閾值法實現灰度圖像二值化，根據最大類間方差法(大津法)確定閾值為T，灰度值大于T的像素賦值為1，灰度值小于T的像素賦值為0，按照式(3)得到輸出圖像，如圖3所示。

圖3 二值圖像

其中，f(x，y)、g(x，y)分別表示輸入圖像和輸出圖像在坐標(x，y)處像素值。

1.2.2 二值圖像邊界跟蹤

邊界一般指前景區域的邊界，分為內邊界和外邊界。跟頂掘進中為避免過截割應使截割滾筒盡量偏低，因此本文選擇提取外邊界。圖4中標出值為1的像素點，省略值為0的像素點，算法實現過程如下：

圖4 邊界跟蹤示意圖

1)按照從左至右，從上到下的順序掃描圖像，找到最左上方值為1的前景點并標記為p0，p0上方的相鄰點標記為q0。顯然q0一定是值為0的背景點。

2)以p0為中心，q0為起點展開八鄰域逆時針搜索，記搜索到的第一個前景點為p1，緊鄰且先于p1出現的背景點為q1，存儲p0的位置。

3)令p=p1，q=q1。

4)記以p為中心，q為起點的逆時針方向8個相鄰點為x0，x1，…，x7。

5)令xk表示第一個出現的前景點。

6)令p=xk，q=xk-1。

7)重復步驟5)和6)，當p=p0時停止計算，此時得到的序列p就是前景區域內邊界點的集合。

8)標記序列p所有點的八鄰域點中所有的背景點r，得到前景區域外邊界點的集合。

輸出圖像中僅邊界部分像素值為1，其余部分像素值均為0。將圖3作為上述算法的輸入，輸出如圖5所示?？梢钥闯?，算法不僅識別出煤巖邊界，煤巖內部邊緣也一并識別出來，無法指導掘進機滾筒調高。這是因為圖像二值化處理本身可以看作一種基于閾值的分類方法，而從圖3中可明顯地看出大量像素點被錯分，此時邊界跟蹤算法無法提取煤巖邊界。因此需先對分界線兩側煤巖進行分類，進而對分類之后的圖像提取邊界。

圖5 邊緣跟蹤效果圖

2 煤巖圖像分類算法及精度評價

2.1 建立分類模型

最大似然法(Maximum Likelihood Estimate，MLE)常用于測繪遙感領域的地物分類，研究表明在各種監督分類方法中，該方法在巖性識別方面具有較好的性能[11]。K均值聚類算法(k-means clustering algorithm)是一種非監督學習方法，具有容易實現、簡單高效的優點，廣泛應用于圖像分割領域[12]。大量研究表明支持向量機(Support Vector Machines，SVM)和人工神經網絡(Artificial Neural Network，ANN)都是功能強大的分類模型。支持向量機是建立在統計學習理論的VC維理論和結構風險最小原理基礎上的一種機器學習算法，具有論證嚴密、適應性強、全局優化、訓練效率高和泛化性能好等優點[13]。BP(Back Propagation)神經網絡是一種按照誤差反向傳播訓練的多層前饋神經網絡，是目前應用最廣泛的神經網絡模型之一[14]。

本文采用最大似然法、K均值聚類算法、支持向量機和BP神經網絡對線性拉伸之后的圖像進行分類，以消除非邊界信息對邊界跟蹤算法的影響，比較四種算法的分類精度，選擇最佳分類模型。對圖像包含的所有像素逐一分類，分類結果中用紅色表示頂板巖層，藍色表示煤。選取1632個屬于煤的樣本點和1578個屬于巖的樣本點作為訓練樣本。四種算法的分類結果如圖6所示，神經網絡訓練誤差曲線如圖7所示。

圖6 四種模型分類結果

圖7 神經網絡訓練誤差曲線

2.2 精度評價

混淆矩陣常用于評價分類模型的分類性能，矩陣的行表示樣本真實的類別，列表示分類模型預測的類別[15]。矩陣中對角線上的數字pii表示被正確分類的樣本數；pij表示驗證樣本第j類目標被識別為第i類目標的個數；pi+和p+i分別表示第i行和第i列樣本數量之和。四種算法的混淆矩陣見表1-4。

表1 K-means分類混淆矩陣

表2 MLE分類混淆矩陣

表3 SVM分類混淆矩陣

表4 ANN分類混淆矩陣

總體分類精度(Overall Accuracy)表示混淆矩陣對角線上樣本數量之和與驗證樣本總數的比值，按照式(4)計算。Kappa系數不僅考慮了被正確分類的樣本，還考慮了錯分漏分的樣本，其值在-1～1之間。Kappa系數越大表示一致性越高，按照式(5)計算。四種算法的總體分類精度和Kappa系數見表5。

式中，N表示樣本總數；m表示目標類型數量，本文為2。

分類結果表明，K-means聚類算法雖然可以取得高達98.3650%的總體分類精度和0.9672的Kappa系數，但是從圖7a中可以看出明顯的錯分情況。最大似然法的分類效果最差，總體分類精度和Kappa系數在四種分類模型中均是最低的。SVM和ANN分類效果相當，總體分類精度和Kappa系數均接近理想值，本文采用總體分類精度和Kappa系數略高的ANN進行分類，將ANN的輸出作為邊界跟蹤算法的輸入，提取到的煤巖邊界如圖8所示。

圖8 提取的邊界及局部放大圖

對比圖5可以發現，經過ANN分類之后的圖像，可大致提取出連續單像素寬度的煤巖邊界，而煤巖內部沒有檢測到邊緣，但是存在許多孤立“孔洞”分布在邊界附近。這是因為四種分類模型都是對像素點逐一分類，在邊界附近煤和巖兩類目標相互滲透，在對方區域內形成許多孤立的細小區域，邊界跟蹤算法將這些區域的邊界也提取出來，對后續的研究會造成一定的干擾。因此需采取一種有效的方法，對ANN分類之后的圖像進一步處理，以消除這些細小區域對邊界提取的不良影響。

3 形態學處理

數學形態學是一門建立在集合論基礎上的學科，廣泛應用于提取對表達和描繪圖像中區域形狀有用的圖像分量，圖像預處理和后處理等。其基本運算包括膨脹、腐蝕、閉運算和開運算[16]，這些運算通過結構元素(SE)實現。結構元素是由值為0或1組成的矩陣，在二值圖像中平移，每次平移1個步長，在平移過程中的每個位置均與相應位置的二值圖像進行特定的邏輯運算。

腐蝕運算可以使前景區域從外向內縮小，其基本原理是：在圖9(a)中，定義一個3行3列的正方形結構元素B(其值為1)，其原點位于中心像素，前景區域A用1值表示，前景區域A和背景區域構成圖像I。①生成一幅圖像I1，其尺寸與I相同，其值均為0；②在圖像I上平移結構元素B，使B掃描整個圖像；③對于B在I的每一個位置，若B完全包含于A，則標記B的原點為新圖像I1的前景像素，否則將其標記為I1的背景像素。如圖9(b)所示。

圖9 膨脹腐蝕原理

膨脹運算與腐蝕運算原理相似：將腐蝕運算第(3)步改為“對于B在I的每一個位置，若B與A的交集非空，則標記B的原點為新圖像I1的前景像素，否則將其標記為I1的背景像素”，即為一次膨脹運算，如圖9(c)所示。

使用同一結構元素，對圖像先進行膨脹處理，再進行腐蝕處理，稱為閉運算；對圖像先進行腐蝕處理，再進行膨脹處理，稱為開運算。將閉運算和開運算組合，以消除邊界附近的“孔洞”，實現過程及原理如下[17]：

1)閉運算。①膨脹：前景區域內的細小背景區域由于前景區域的擴張而消失，煤巖總體分界線下移；②腐蝕：已經消失的細小背景區域不再出現，煤巖總體分界線由于前景區域的收縮上移到初始位置。

2)開運算。①腐蝕：背景區域內的細小前景區域由于前景區域的收縮而消失，煤巖總體分界線上移；②膨脹：已經消失的細小前景區域不再出現，煤巖總體分界線由于前景區域的擴張下移到初始位置。

上述過程雖然改變了圖像的微觀形態，但是煤巖總體分界線的趨勢和位置不變，不影響指導截割滾筒高度調節。由于ANN分類效果良好，沒有出現大面積錯分的情況，因此不需要設置過大尺寸的結構元素。本文選擇半徑為2的圓形結構元素，對分類后的圖像先進行閉運算，再進行開運算，輸出圖像煤巖邊界趨于平滑，邊界附近滲透到對方區域的細小區域全部消失，如圖10所示。

圖10 形態學處理前后對比(局部)

將形態學處理之后的圖像作為邊界跟蹤算法的輸入，提取到的邊界如圖11所示，此時提取到連續單像素寬度邊界，與真實邊界基本吻合。此外，形態學處理使分類模型具有一定的容錯性，即使在分類過程中出現少量的錯分(圖11方框部分)，在形態學處理這一步中也可以得到彌補和糾正。統計邊界上所有像素的縱坐標，取平均值，轉換為井下測量坐標，從而為掘進機和采煤機滾筒高度調節提供依據。

圖11 提取的邊界及局部放大圖

4 基于邊界跟蹤和神經網絡的煤巖界面識別方法

根據上文分析，本文提出一種基于邊界跟蹤算法和人工神經網絡的煤巖界面識別方法，具體過程如下：①采集掘進面與頂板交界處的原始圖像，盡量保證光照充足且均勻，選取ROI；②對圖像進行2%線性拉伸處理；③選擇一定數量的訓練樣本，煤和巖兩類樣本的數量應接近，訓練BP神經網絡；④將待檢測的圖像作為BP神經網絡的輸入；⑤將分類后的圖像進行閉運算和開運算處理；⑥將處理之后的圖像作為邊界跟蹤算法的輸入。

技術路線如圖12所示。

圖12 技術路線圖

巷道掘進和采煤過程中的煤巖界面識別原理相同，按照本文提出的方法，對來自陜西神木榆家梁采煤工作面的原始圖像(圖13)提取邊界，如圖14所示，該方法提取到的煤巖邊界連續且寬度為1個像素，其位置與走勢與真實的煤巖界面基本吻合。

圖13 采煤工作面及ROI

圖14 提取的邊界及局部放大圖

5 結 論

煤巖識別是實現煤礦巷道智能掘進與煤炭智能開采亟需突破的關鍵技術。為實現煤巖界面精準識別，本文根據鄂爾多斯李家壕礦區煤礦巷道掘進面的原始圖像，研究了二值圖像邊界跟蹤算法、基于像素的機器學習分類算法以及形態學處理方法，得到如下結論：

1)提出了一種基于邊界跟蹤算法和人工神經網絡的煤巖界面識別方法，該方法思路清晰，原理簡單，效果理想，具有良好的可行性，為掘進機和采煤機滾筒空間位置的調整提供依據。

2)BP神經網絡可對像素進行有效分類，整體分類精度為99.9199%，Kappa系數為0.9984，消除了非邊界信息對邊界跟蹤算法的影響。

3)形態學處理可以有效地消除邊界附近的細小區域，為邊界跟蹤算法提供了良好的基礎；且使分類模型具有一定的容錯性。

4)將機器學習算法和數字圖像處理技術相結合，克服了單一算法的局限性，為煤巖識別研究提供了新的思路和方向。

5)采用本文提出的方法對來自陜西神木榆家梁采煤工作面的原始圖像進行驗證，取得了良好的效果，驗證了該方法的有效性和可靠性。