基于攝影測量技術的礦石物料稱重系統研究

楊文龍，郭 毅，馬保亮，吳富姬，歐陽健強

（1.贛州有色冶金研究所有限公司，江西 贛州 341000；2.贛州有色冶金研究所有色金屬礦冶裝備創新技術中心，江西 贛州 341000）

0 引言

礦石出產量關乎礦山企業的經濟效益，計算一個礦山的出產量便可預計礦山企業的效益，多數礦山企業都需要一種稱重方式來預計自己的效益，如果某收礦場接收到的礦石，可能會因為稱量保證不了準確性，礦石計量不足，從而造成收礦場的經濟損失[1-2]。很多礦山生產計量水平落后，甚至還在使用人工用眼看的目測計量方式[3]，通過車次計量的方式對運輸司機的工作量進行考核。采用車次計量的方式往往帶來較多弊端，例如，操作人員夸大礦石運輸產量、人為性地使運輸車輛載重量欠載等，這一系列的原因使得運輸效率低下，資源浪費，成本增加。反之，如果車量超載又會存在安全隱患。

針對上述現象，礦物智能稱重系統的研究具有實用價值，是亟待解決的問題。隨著人工智能的快速發展，將數字圖像處理技術應用到礦山開采的各個環節中，從而成為一種新興的智能礦山開采技術手段。這種新興的技術手段不僅提高了礦山開采的效率，而且保障了礦山開采過程的安全。因此將計算機圖像處理技術引入到井下礦石稱重系統設計中具有重要的意義和價值。

三維重建是通過計算機來建立的三維立體模型，其應用范圍較廣，分別在軍事、影視娛樂、虛擬現實醫療等行業具有重大的應用價值，例如在軍事行業里，三維重建可通過現實戰場提供的相應信息，進行現實戰場虛擬，構建機器人虛擬作戰，來獲得一場戰爭結果的預測；在影視游戲娛樂行業中，三維重建技術是大型科幻片、游戲虛擬場景構建的重要技術手段；在醫學領域中，三維重建技術可根據醫學相關的影像圖片，對病變的器官進行三維立體重構，實現病情的虛擬可視化，從而提高了對病人病情的診斷正確率以及為后續的手術計劃提供信息。三維重建技術依賴于數字圖像處理技術，研究采用三維重建的設備是深度相機，其主要原理是根據RGB圖像與深度圖像之間的像素點關系，采用三角相關定理，便能夠計算得到三維空間的點云數據，從而去構建物體的立體模型。

本研究的主要工作是對礦斗里面的礦石進行三維重建[4]，目的是根據三維重建出來的礦石立體模型，來計算整個礦斗里礦石的體積，再根據粒徑-密度匹配法[5]得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，其中三維重建是最重要也是最困難的一環，重量計算是否準確，從很大程度取決于三維建模是否精準。

相對于人工計量，研發的礦石物料稱重系統具有以下優點：

（1）該礦石物料稱重系統可代替人工，減少計量工人，減少礦山企業的生產成本。

（2）該礦石物料稱重系統對礦石稱重計算的準確率相對人工更高。

（3）礦井下環境惡劣，減少計量員工，可加強礦山企業生產的安全性。

1 礦石立體模型三維重建總體流程

礦石立體模型三維重建總流程如圖1所示，具體流程如下。

圖1 三維重建流程Fig.1 Flow chart of 3D reconstruction

（1）相機標定是需要通過一些手段來獲取其內外參數以及畸變參數，將世界坐標系和相機坐標系進行互相轉換，通常攝像頭都存在一定程度的畸變，相機標定就是為了消除畸變，方便后續的圖像處理。

（2）相機矯正是在相機標定之后，對存在的攝像頭畸變進行鏡頭矯正，主要用一些幾何變換的方法來進行矯正。

（3）對攝像頭矯正后輸出的圖像進行信息匹配，可以設定RGB圖為參考圖像，深度圖像為待匹配圖像，對待匹配圖進行搜索，尋找參考圖像上與之匹配的興趣點，直到參考圖像上的所有興趣點匹配完畢。這一過程將輸出視差圖。

（4）最后利用兩幅圖之間存在著像素點的對應關系輸出的視差圖，采用三角相關定理，便能夠計算得到三維空間的點云數據，從而通過點云數據便可構建礦石的立體模型。

2 礦石圖像數據處理

2.1 礦石圖像采集

將采集到的礦石圖像數據上傳到ContextCapure軟件平臺進行處理分析，在采集的圖像中需要有一定的重疊度，這樣生成的點云效果較好，對原物體具有較高的還原度。因此，采集圖像的過程中盡量選擇正確的采集方式，使得圖像的質量能夠有保障（圖2）。

圖2 現場采集原始礦石圖像Fig.2 Original ore images were collected on site

圖像采集時應該從不同的角度進行拍攝載滿礦石的礦車盡量使得相鄰的兩張圖片之間的重合區域超過一半，可采取水平拍攝、仰角拍攝和俯角拍攝等3種不同的拍攝方式。本研究共采集了285張礦場現場運輸過程載滿礦石的礦車圖像。

2.2 礦石圖像預處理

為了提高礦石圖像的質量，需要對采集到的礦石圖像先通過直方圖均衡化方法增強圖像再進行濾波處理，去除圖像中的噪聲并且保留其細節特征，濾波操作在預處理過程中十分重要，可以直接影響到后續圖像分割的效果。

2.2.1 礦石圖像濾波

圖像處理中一般有模板的濾波器是先將其濾波模板與圖像矩陣進行卷積操作，再輸出每個像素點與模板各個點的灰度值加權和，最后進行加權平均，這樣使得輸出的結果信噪比得到增強，但是圖像的邊界會產生模糊。因此為了解決邊界模糊這個問題，在此基礎上進行改進濾波方法。雙邊濾波的出現恰好解決了這個問題。

雙邊濾波[6]是一種結合空間信息和幅值信息的非線性濾波方法，在去除噪聲的同時能夠有效保留邊緣信息。其計算方法是基于加權平均的方法，將周圍像素的亮度值進行加權平均表示某個像素的強度，這點和中值濾波、均值濾波尤其高斯濾波等方法一樣，但是與其他濾波方法不一樣是其不僅考慮到了空間距離而且還考慮到了像素間的相似度，因此可以達到保邊去噪的效果。雙邊濾波方法里的兩個權重域的概念：空間域S（spatial domain）和像素范圍域R（range domain），這個是其跟高斯濾波等方法的最大不同點。

2.2.2 礦石圖像分割

礦石圖像分割最主要的目的就是找到圖像中目標的邊界信息。二值分割方法是將灰度圖變成黑白圖，主要過程是將灰度圖上每個像素點的灰度值設置為0或者255，這樣圖像中的數據量就少了很多，更方便各種計算，進而可以輕松獲得目標區域的一些特征，例如：找到圖像中各個目標的邊緣、描述圖像中目標的位置和尺寸。

本研究采用張國英等人[7-9]提出用雙窗Otsu閾值分割法來分割礦石圖像。經試驗表明，雙窗Otsu算法相比Otsu閾值分割法更具有優越性。礦石圖像經常出現礦石黏結、重疊、灰度值區分不明顯的特征，由于Otsu閾值分割法對噪聲較為敏感，且對灰度差異不太明顯以及灰度值有重疊分割效果不佳。雙窗Otsu閾值分割法結合了Otsu的基于最大類間方差的最優閾值與Simphiwe[10]提出的雙窗自適應閾值法，這樣結合分割礦石圖像的效果更為明顯，且不會出現大礦石內部噪聲等問題[11]，是一種非常優越的礦石圖像分割算法。

3 礦石三維模型重構

3.1 系統布置圖

研究基于攝影技術的稱重裝置由4大模塊組成：相機集成外殼、深度相機、網線、電腦。

由于礦山井下常年潮濕，不僅會損害相機，還會在相機鏡面形成一層水霧，影響拍攝的圖片質量，因此需要設置一個相機集成外殼對相機進行防潮。而深度相機為拍攝圖片的主要工具，安裝至礦車的正上方，拍攝后將通過網線把數據傳輸至礦井上電腦端，電腦端進行算法處理后形成礦石重量信息，最后將礦石重量信息傳輸至上位機，圖3為系統布置圖。

圖3 系統布置圖Fig.3 System layout drawing

3.2 礦石圖像特征點提取與匹配

一般采集圖像數據之后，圖像數據會有一部分無法利用的圖像數據，可通過提取特征點的方式剔除不需要的數據。

特征點提取是一種圖像處理很常見的特征提取方式，廣泛運用在圖像處理、目標檢測、軌道運動等領域。在計算機視覺領域中，1988年發布的HARRIS相關的特征檢測器為之后的研究者做出了巨大貢獻。在之后幾十年的研究中，各式各樣的特征檢測算法如雨后春筍般出現，其在精度與速度方面都有著顯著提高[12]。特征點是與解決某種應用程序相關的計算任務關聯的一條信息，其可能是圖像中的特定結構，例如點、邊緣或對象；亦或是圖像中特定位置作為特征點，如山峰、建筑角落、門口或趣形狀的石塊，這種局部化的特征通常被稱為關鍵點特征。為了有效地特征匹配，通常需要把適應能力強的特征點提取出來。

特征點匹配是在兩幅影像中盡可能多地尋找出相似的特征點或者灰度值來建立相應的匹配點對。通過特征點來匹配圖像的方法具有明顯的優勢，由于從圖像中提取了特征，使得整個處理的圖像數據量大大減少，計算機的運算量也會跟隨減少，從而提高了計算機處理圖像的速度，能夠利用圖像之間的結構、約束關系，在圖像出現一些陰影以及相互遮擋的情況下適用性更強。但提取特征點的方式不適用于存在大量信息的圖像中，因為提取特征點的同時也會丟失一部分圖像的信息，或者將圖像中一些不需要的噪聲提取出來。但本研究處理的對象是帶有礦斗的礦石堆圖像，圖像中的信息相對較少，比較適合采用提取特征點的方式來對RGD圖和深度圖像進行匹配。

3.3 礦石三維點云數據生成

礦石三維點云數據需要將圖像中的礦石像素點坐標轉換為三維世界坐標系，其原理是空間三角測量原理[13-14]，空間三角測量的是依據相機拍攝的RGB圖上的像素點坐標為參考坐標系，再通過數學模型進行坐標轉換成世界坐標系，需要選取地面相關控制點來求解世界坐標系（計算體積），以此來獲取礦石的三維點云數據，點云數據包括高度數據以及平行于地面的平面數據[15]。

由于深度相機可拍攝具有RGB像素信息以及深度信息（相機測量得到）的深度圖片，可根據相機RGB像素信息、深度信息、相機物理參數反推出空間三角測量的相關計算參數，再依據獲取需要的空間三角測量相關計算參數去生成礦石三維點云數據，獲得參數后可通過軟件進行三維點云數據生成。本研究采用ContextCapture軟件作為空間三角測量計算的工具，首先需要在ContextCapture軟件中導入相機拍攝礦石圖像，選擇的拍攝方式為環繞對象物體進行360°的拍攝方法，并且相鄰的照片需要有一定的重疊部分，然后再使用空間三角測量的方式進行計算，圖4為空間三角測量計算結果。

圖4 空間三角測量計算結果Fig.4 Calculation results of spatial triangulation

3.4 礦石三維點云曲面重構

三維點云技術是一種立體重構技術[16]，其依賴于RGB圖像以及激光雷達生成的深度圖像。本研究采用的深度相機正是融合了兩種技術，分別生成了RGB圖像和深度圖像，其主要目的是為了實現物體的表面三維重構。前面已描述將RGB圖以及深度圖進行特征點匹配得到相應的視差圖，再將相機進行標定，運用空間三角原理計算可得到三維點云數據，三維點云數據實際上就是將三維曲面模型離散化得到離散點，還不能夠用于直接描述三維立體模型，需要將離散點（點云數據）進行點云對齊和拼接后再進行連續化重構（云貼片），才能得到礦石的立體表面。生成的紋理云貼圖見圖5。

圖5 紋理點云貼圖Fig.5 Texture point cloud mapping

3.5 礦石圖像三維重建結果展示

進行紋理點云貼片處理后，基本上可以看到礦石以及礦斗的立體輪廓，為了能夠更加直觀立體地看到模型，進一步將其可視化得到圖6。

圖6 礦石三維模型重構圖Fig.6 Reconstruction of three-dimensional ore model

3.6 礦石體積計算

上述三維建?？傻玫綀鼍爸悬c的三維坐標信息，由于礦石表面形狀都是不規則的，可采用黎曼積分計算帶礦斗的礦石體積。其原理為，假設第i的圖片中截面積為si，其在坐標軸XOY中的函數表達式為f（x），由于si為不規則面，所以f（x）的表達式無法確定，f（x）在x軸上的區間為[a，b]，將a、b進行m等分。

礦石橫截面面積的計算如圖7所示，每個小區間的長度為l，計算公式如式（1）所示。

圖7 礦石橫截面面積計算Fig.7 The calculation of ore cross section area

把si劃分成了m個小矩形的面積和，小矩形的面積gj可以用底邊長h和高f（xj）來表達，計算公式如式（2）所示。

第i張圖片的截面積si計算公式如式（3）所示。

在上述的計算中，劃分的小區間越多，最終所求出來的面積越接近si的真實面積。

由于礦斗都是標準化的，其體積是一個固定值，可通過原廠商得到，計算帶礦斗礦石的整個體積減去標準礦斗體積即為內部礦石體積。

3.7 試驗與數據分析

為了驗證礦石三維建模的準確性，本研究直接通過后續的稱重數據來驗證三維建模是否精準，具體方法是根據粒徑-密度匹配法得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，本次現場試驗驗證是由裝滿礦石的10輛礦斗車一次經過測量系統，礦車行駛的速度為2 m/s，此速度為測量速度，之后經過現場的地磅進行稱重，系統將計算出裝載量的數值與稱重值進行對比。由于礦斗的礦石密度大小不一，所以需要計算礦石的平均密度。采用多次試驗估算的礦石平均密度為0.68，此數值作為礦石的平均密度值。表1為礦車裝載量測量值與地磅稱重的真實數據對比。

表1 測量數據與真實數據對照Tab.1 The comparison between measured data and real data

通過多次對比，基于重構三維建模模型的礦石重量測量值與地磅稱重后的實際重量值之間存在誤差，但整體誤差范圍在3%～4%之間，符合現場精度誤差小于5%的測量設計要求，相比較于計量誤差高于10%的人工計量方式（礦山統計得到），說明重構的三維礦石立體模型具有較高的準確率，具備很強的實用性。由于稱重整體誤差在3%～4%之間，說明該稱重計算方法穩定性較好，進一步說明體積計算是穩定的，體積是由三維建模后計算得到，從而也驗證了三維建模的計算的穩定性較好。同時，研究采用高性能的計算機，體積、重量的計算時間非常短，相對于兩趟礦車的間隔時間，其計算時間可忽略不計。

4 結語

本文主要研究了礦石的三維重建模型的相關技術，目的是為了重建礦石的三維模型來計算礦石的體積最終得到礦石的重量，礦石的三維重建技術具體步驟包括圖像采集、特征點匹配、空中三角測量、空間三維坐標轉換點云數據等。對礦石進行三維建模后，再通過黎曼積分計算得到礦石體積，再由粒徑-密度匹配法得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，從試驗的數據來看，計算的重量誤差在3%～4%之間，效果良好。通過構建礦石三維立體模型，為后續的礦石體積計算以及重量計算奠定了基礎，最終成功研發了一套基于攝影測量技術的礦石物料稱重系統，但計算的重量仍有較小誤差，后續將對計算重量的模型進一步改進。