基于深度學習的井下環境異常工況智能識別技術研究*

涂思羽，彭平安，蔣元建

(中南大學 資源與安全工程學院，湖南 長沙 410083)

0 引言

礦山井下作業環境復雜惡劣，安全生產事故頻發，井下作業人員、設備、環境等系統安全難以保證，礦山生產效率被嚴重制約。為使井下作業人員擺脫高危復雜環境，提高礦山開采效率，實現礦山本質安全，將先進的智能技術引入礦山已成為礦業技術發展的迫切需求。目前，無人化開采是當前礦山開采的熱點問題，國外部分礦山，如EI Teniente地下銅礦、澳大利亞北部露天鐵礦、Solomon Hub鐵礦、智利Gaby銅礦、Gabriela Mistral銅礦等通過引入無人開采技術(機車、電鏟、卡車、火車無人駕駛；鑿巖臺車、鏟運機自動作業)以保障礦山安全、高效生產[1-3]；國內如普朗銅礦、建龍重工思山嶺鐵礦等礦山也逐步開始引入無人開采技術(卡車、電機車無人駕駛系統，遙控裝礦、自動控制運輸及卸載)[4-5]，礦業技術逐漸向智能化、無人化轉型升級，無人開采技術已經逐漸成為國內外礦業技術發展的必然趨勢。

目前，礦山無人開采技術仍處于發展階段，實現無軌裝備及其他各類型裝備自主行走和自主作業是礦山無人開采亟待突破的問題。實現無軌裝備及其他各類型裝備的自主行走和自主作業，要求裝備自身具有高度的智能化水平，如具備環境辨識、判斷思維、決策及響應行為的能力。其中，作業環境辨識是無軌裝備及其他各類型裝備無人化作業的前提，是實現礦山無人化開采的關鍵環節，因此，開展礦山作業環境的智能識別研究具有重要的理論和現實意義。

近年來，大批國內外學者從事井下作業環境識別技術研究，為礦山無人開采奠定技術基礎。如Hon、Ye等[6-8]利用無線射頻識別(RFID)技術實現對井下對象檢測、定位，但該技術需對每個對象貼上標簽，系統構成也較為復雜；Yalcin、Jin等[9-10]采用激光雷達技術實現對行徑路上的障礙物檢測，但是該技術的實時性和精度相對較低，同時整體系統需具有較高穩定性和可靠性；孟宇等[11]運用條碼識別方法識別路標圖像，從而實現設備檢測，但準確率較低，成本相對較高。上述研究方法所涉及的設備價格昂貴，技術結構較為復雜，且僅能實現對井下對象的檢測定位，不能實現多對象的具體類型判斷。而無軌裝備除能檢測周邊環境對象外，亦能判斷對象的具體類型，從而對環境中各對象做出相應的行為響應。

隨著計算機技術的快速發展，諸多學者采用深度學習方法對目標對象進行識別分類研究，取得了廣泛的應用成果。識別分類的網絡模型日趨完善，如2012Alexnet、2014VGGNet 、2014GoogleNet、2015ResNet、2017Dense Net、2017SENet、Google Net和Inception V2、Inception V3、InceptionV4、InceptionResnetV2等[12-19]均能實現對象的精準分類，且實時性高，但深度學習模型對井下復雜環境異常工況的識別分類研究鮮有涉及。因此，本文提出運用深度學習模型幫助無軌裝備及其他各類型裝備識別異常工況，僅需配備車載攝像機和計算機系統就能具備識別分類能力，涉及設備數目少，成本較低，系統構成簡單，且實時性和準確性高。研究結果對實現無軌裝備及其他各類型裝備自主行走和自主作業(智能避障、無人駕駛、智能鏟裝、自動卸礦)、提高礦產開采效率及保證人員安全具有重要意義，同時具有較高的應用價值。

1 異常工況智能識別分類實驗

1.1 實驗原理

近年來，卷積神經網絡(簡稱CNN)在圖像識別技術領域取得巨大成功，如人臉識別、醫學圖像識別等，CNN通過深層神經網絡結構提取圖像的高層語義特征，完成復雜圖像的識別分類工作。一般卷積神經網絡模型包含輸入層(Input)、卷積層(Convolution layer)、下采樣層(又稱池化層Pooling layer)、全連接層(Fully connected layer)、輸出層(Output)，其架構如圖1所示。

圖1 一般卷積神經網絡架構Fig.1 Convolution neural network architecture

卷積層通過卷積核滑動，對圖像局部進行卷積運算，利用局部連接和權重共享的方式，極大降低參數數量，低層卷積主要提取圖像邊緣特征，高層卷積捕獲復雜組合性特征，再通過非線性激活函數Sigmoid、Tanh、ReLU強化識別能力[20]；池化層是對卷積后的特征圖進行聚合統計，分為最大池化、平均池化[21-24]，可有效降低圖像維度，并保持圖像特征在一定程度上尺度不變的特性，極大減少計算量；全連接層將特征提取器提取的圖像特征進行綜合。

Softmax分類器屬于多分類器，Adam是自適應調整學習率的優化算法，其算法如公式(1)所示：

mt=β1mt-1+(1-β1)gt
vt=β2vt-1+(1-β2)gt2

(1)

式中：t為時間，s；mt為對梯度的一階矩估計，vt為對梯度的二階矩估計，類似對期望E|gt|，E|gt2|的估計；β1和β2為矩估計的指數衰減速率，取值在0～1之間。

通過計算偏差校正，如公式(2)所示，m＾t和v＾t是對mt和vt的校正。

(2)

利用公式(3)進行梯度更新：

(3)

式中：ε為數值穩定的小常數，一般取值為10-8；μ為步長，一般取值為0.001。

ReLU非線性激活函數如公式(4)所示，值大于0的保留，反之取為0，該激活函數加快收斂速度，有效防止梯度消失和發散，一定程度上可防止過擬合。

(4)

批量正則化(Batch Normalization)方法加快網絡訓練速度，如公式(5)所示：

(5)

式中：xk為輸入數據；x′k為xk歸一化后的數據；E[xk]為均值；Var[xk]為方差。

Dropout方法在模型訓練時按一定比例更新部分神經元參數，能有效防止過擬合。

1.2 實驗方法

優秀的網絡模型皆是基于大量標注數據集(如COCO、ImageNet)訓練而成，然而在實際應用中，高質量且具有標簽的大型礦山井下數據集資源匱乏，難以支撐優秀網絡模型，可能產生嚴重的過擬合問題。遷移學習將已訓練好的模型參數遷移到新模型進行新的模型訓練[25]，可有效解決過擬合問題。因此，本文提出基于遷移學習進行異常工況小數據集訓練。首先增廣數據集，提取大規模數據集(ImageNet)預訓練模型InceptionResnetV2的權重和特征向量用于新數據集訓練的初始化；然后凍結分類器之前所有層，添加全連接層，重新訓練1個完整的全連接模型，采用批量正則化(Batch Normalization)方法進行批歸一化處理，使用ReLU激活函數，運用Dropout方法防止網絡訓練出現過擬合現象(訓練準確率遠遠高于測試準確率)；最后使用Softmax分類器進行井下異常工況具體分類。主要研究框架如圖2所示。

圖2 研究框架Fig.2 Research framework

1.3 實驗過程

1.3.1 構建數據集

分析無軌裝備正常運行和作業的主要影響因素，如表1所示，從而建立井下復雜環境4類異常工況(溜井、散落大塊與礦堆、損壞電纜和作業區內其他車輛)數據集。根據礦山實地拍攝及Python爬蟲采集數據[26]，分為溜井、散落大塊與礦堆、損壞電纜和作業區內其他車輛4類，各400張圖片，共計1 600張圖片，其中1 280張圖片作為訓練集，另各選40張作為驗證集，選擇160張圖片作為測試集。在小樣本情況下進行深度神經網絡訓練常發生過擬合問題，因此，采用數據增強方法(旋轉變換、平移變換、縮放變換、翻轉變換)進行圖像源數據預處理，擴充數據樣本量。

表1 主要影響因素Table1 Main affecting factors

1.3.2 實驗平臺及參數設置

實驗基于Ubuntu16.04系統，使用開源深度學習框架Tensorflow的高級API Keras作為開發環境，使用GPU加速模型訓練。

在模型訓練過程中，為獲得更好的梯度下降性能，需選擇最佳學習率、Dropout值等，同時使用批量正則化(Batch Normalization)方法，基于ReLU激活函數、交叉熵損失函數進行網絡訓練，最后使用4分類的Softmax分類器識別分類，實驗參數設置見表2。

表2 實驗參數Table 2 Experimental parameters

2 實驗結果及分析

基于InceptionResnetV2預訓練模型進行訓練及測試，采用添加不同全連接層的遷移策略進行實驗對比分析，得出最終實驗結果。

2.1 策略一

首先凍結預訓練模型的特征提取網絡層，全局平均池化層處于最后卷積塊之后。然后添加1層全連接層，神經元個數分別設置為4 096，2 048，1 024，512，分別重新訓練1個完整的全連接模型。實驗迭代300次，詳細參數設置如表1所示，模型訓練過程的訓練準確率均趨于100%，訓練損失均趨于0，但驗證準確率和驗證損失有較大差異，如圖3所示，圖3(a)代表全連接層不同神經元個數的驗證準確率曲線，圖3(b)代表相應的驗證損失曲線。

圖3 結果比較分析(策略一)Fig.3 Results comparison analysis(Strategy One)

由圖3可知，當全連接層神經元個數為4 096時，驗證準確率趨于100%，驗證損失趨于0，模型收斂性能相較于其他模型好，隨著全連接層的個數逐漸降低，模型收斂性能逐漸減弱。 同時，可以分析得出，全連接層的神經元個數越多，模型驗證準確率越高，成正相關關系；損失與神經元個數成負相關關系。因此，全連接層的神經元個數是影響模型性能的關鍵因素，而由于添加單層全連接層的損失未完全接近于零，所以需進一步討論全連接層層數與模型性能的關系。

2.2 策略二

將全連接層設置為2層，2層神經元個數分別設置為4 096與4 096，2 048與2 048，1 024與1 024，512與512，其他實驗參數設置如表1所示，模型訓練過程的訓練準確率均趨于100%，訓練損失均趨于0，但驗證準確率和驗證損失存在差異，如圖4所示，其中圖4(a)代表全連接層每層不同神經元個數的準確率曲線，圖4(b)代表相應的損失曲線。

由圖4可知，當全連接層2層神經元的個數均為4 096時，模型收斂性能最佳，驗證準確率最佳(達到100%)，驗證損失幾乎接近零。同時，隨著神經元個數的減少，模型需要更多的迭代次數才能達到較好的驗證準確率，使驗證損失降到最低。因此，2層全連接層的神經元個數越多，模型驗證準確率越高，相應的驗證損失也就越低，得出的規律與策略一實驗得出的規律一致。

最后，將策略一實驗得出的全連接層神經元個數為4 096的最優模型訓練過程與策略二實驗得出的2層全連接層及神經元個數為4 096的最優模型訓練過程進行最終比較分析，結果如圖5所示。其中，圖5(a)代表全連接層不同神經元個數的驗證準確率比較曲線，圖5(b)代表相應的驗證損失曲線。

圖4 結果比較分析(策略二)Fig.4 Results comparison analysis(Strategy Two)

圖5 最終結果分析Fig.5 Final results comparison analysis

由圖5可知，全連接層層數為2層時，模型的收斂性能最佳，驗證準確率幾乎接近100%，驗證損失幾乎為零，模型性能好。根據上述遷移策略的模型訓練過程，得出全連接層神經元個數、全連接層層數對模型性能具有非常重要的影響，只有將2元素都充分考慮，才能得到最優模型。

因此，選擇添加2層全連接層且每層神經元個數均為4 096，通過該策略訓練的模型進行測試，測試集大小為160張，其平均測試結果如表3所示，溜井的測試準確率為95.996%，相較于其他測試準確率偏低，分析原因可能是測試樣本圖像質量較差，或是溜井的格篩上存在一些未掉落的礦堆，干擾異常工況分類效果，但總體來看，該模型的測試性能好，能有效對井下復雜環境異常工況進行分類。

3 結論

1)提出深度學習的方法，實現了對井下復雜環境工況的自主識別，通過分析影響無軌裝備正常運行和作業的主要因素，建立井下復雜環境4類異常工況(溜井、散落大塊與礦堆、損壞電纜和作業區內其他車輛)數據集。

表3 井下復雜環境異常工況各類別測試準確率Table 3 Test accuracy of each category of abnormal operating conditions %

通過旋轉變換、平移變換、縮放變換等數據增強技術，有效防止網絡訓練過擬合。

2)實驗選擇0.000 001的學習率，對預訓練模型權重參數進行微調，采用Adam優化器，批次大小設置為60，Dropout設置為0.5，這些超參數設置對遷移學習策略的比較分析起到了關鍵性作用，是模型性能優化的前提。

3)從驗證準確率、驗證損失進行雙向分析，通過方案對比尋求最優化方案，并根據測試數據相關結果，驗證了提出相關算法的性能，使實驗分析更加準確,對井下多種作業對象的具體類型判斷正確，實時性和準確性都較高。

4)得出全連接層神經元個數及層數是模型性能的重要影響因素，通過添加2層全連接層，且每層神經元個數為4 096時的訓練模型性能最佳，測試效果符合預期，能較好應用到井下復雜環境異常工況的自主識別中，為礦山無人化開采提供支持。