基于攝影測量技術(shù)的礦石物料稱重系統(tǒng)研究

楊文龍，郭 毅，馬保亮，吳富姬，歐陽健強

（1.贛州有色冶金研究所有限公司，江西 贛州 341000；2.贛州有色冶金研究所有色金屬礦冶裝備創(chuàng)新技術(shù)中心，江西 贛州 341000）

0 引言

礦石出產(chǎn)量關(guān)乎礦山企業(yè)的經(jīng)濟效益，計算一個礦山的出產(chǎn)量便可預計礦山企業(yè)的效益，多數(shù)礦山企業(yè)都需要一種稱重方式來預計自己的效益，如果某收礦場接收到的礦石，可能會因為稱量保證不了準確性，礦石計量不足，從而造成收礦場的經(jīng)濟損失[1-2]。很多礦山生產(chǎn)計量水平落后，甚至還在使用人工用眼看的目測計量方式[3]，通過車次計量的方式對運輸司機的工作量進行考核。采用車次計量的方式往往帶來較多弊端，例如，操作人員夸大礦石運輸產(chǎn)量、人為性地使運輸車輛載重量欠載等，這一系列的原因使得運輸效率低下，資源浪費，成本增加。反之，如果車量超載又會存在安全隱患。

針對上述現(xiàn)象，礦物智能稱重系統(tǒng)的研究具有實用價值，是亟待解決的問題。隨著人工智能的快速發(fā)展，將數(shù)字圖像處理技術(shù)應用到礦山開采的各個環(huán)節(jié)中，從而成為一種新興的智能礦山開采技術(shù)手段。這種新興的技術(shù)手段不僅提高了礦山開采的效率，而且保障了礦山開采過程的安全。因此將計算機圖像處理技術(shù)引入到井下礦石稱重系統(tǒng)設計中具有重要的意義和價值。

三維重建是通過計算機來建立的三維立體模型，其應用范圍較廣，分別在軍事、影視娛樂、虛擬現(xiàn)實醫(yī)療等行業(yè)具有重大的應用價值，例如在軍事行業(yè)里，三維重建可通過現(xiàn)實戰(zhàn)場提供的相應信息，進行現(xiàn)實戰(zhàn)場虛擬，構(gòu)建機器人虛擬作戰(zhàn)，來獲得一場戰(zhàn)爭結(jié)果的預測；在影視游戲娛樂行業(yè)中，三維重建技術(shù)是大型科幻片、游戲虛擬場景構(gòu)建的重要技術(shù)手段；在醫(yī)學領域中，三維重建技術(shù)可根據(jù)醫(yī)學相關(guān)的影像圖片，對病變的器官進行三維立體重構(gòu)，實現(xiàn)病情的虛擬可視化，從而提高了對病人病情的診斷正確率以及為后續(xù)的手術(shù)計劃提供信息。三維重建技術(shù)依賴于數(shù)字圖像處理技術(shù)，研究采用三維重建的設備是深度相機，其主要原理是根據(jù)RGB圖像與深度圖像之間的像素點關(guān)系，采用三角相關(guān)定理，便能夠計算得到三維空間的點云數(shù)據(jù)，從而去構(gòu)建物體的立體模型。

本研究的主要工作是對礦斗里面的礦石進行三維重建[4]，目的是根據(jù)三維重建出來的礦石立體模型，來計算整個礦斗里礦石的體積，再根據(jù)粒徑-密度匹配法[5]得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，其中三維重建是最重要也是最困難的一環(huán)，重量計算是否準確，從很大程度取決于三維建模是否精準。

相對于人工計量，研發(fā)的礦石物料稱重系統(tǒng)具有以下優(yōu)點：

（1）該礦石物料稱重系統(tǒng)可代替人工，減少計量工人，減少礦山企業(yè)的生產(chǎn)成本。

（2）該礦石物料稱重系統(tǒng)對礦石稱重計算的準確率相對人工更高。

（3）礦井下環(huán)境惡劣，減少計量員工，可加強礦山企業(yè)生產(chǎn)的安全性。

1 礦石立體模型三維重建總體流程

礦石立體模型三維重建總流程如圖1所示，具體流程如下。

圖1 三維重建流程Fig.1 Flow chart of 3D reconstruction

（1）相機標定是需要通過一些手段來獲取其內(nèi)外參數(shù)以及畸變參數(shù)，將世界坐標系和相機坐標系進行互相轉(zhuǎn)換，通常攝像頭都存在一定程度的畸變，相機標定就是為了消除畸變，方便后續(xù)的圖像處理。

（2）相機矯正是在相機標定之后，對存在的攝像頭畸變進行鏡頭矯正，主要用一些幾何變換的方法來進行矯正。

（3）對攝像頭矯正后輸出的圖像進行信息匹配，可以設定RGB圖為參考圖像，深度圖像為待匹配圖像，對待匹配圖進行搜索，尋找參考圖像上與之匹配的興趣點，直到參考圖像上的所有興趣點匹配完畢。這一過程將輸出視差圖。

（4）最后利用兩幅圖之間存在著像素點的對應關(guān)系輸出的視差圖，采用三角相關(guān)定理，便能夠計算得到三維空間的點云數(shù)據(jù)，從而通過點云數(shù)據(jù)便可構(gòu)建礦石的立體模型。

2 礦石圖像數(shù)據(jù)處理

2.1 礦石圖像采集

將采集到的礦石圖像數(shù)據(jù)上傳到ContextCapure軟件平臺進行處理分析，在采集的圖像中需要有一定的重疊度，這樣生成的點云效果較好，對原物體具有較高的還原度。因此，采集圖像的過程中盡量選擇正確的采集方式，使得圖像的質(zhì)量能夠有保障（圖2）。

圖2 現(xiàn)場采集原始礦石圖像Fig.2 Original ore images were collected on site

圖像采集時應該從不同的角度進行拍攝載滿礦石的礦車盡量使得相鄰的兩張圖片之間的重合區(qū)域超過一半，可采取水平拍攝、仰角拍攝和俯角拍攝等3種不同的拍攝方式。本研究共采集了285張礦場現(xiàn)場運輸過程載滿礦石的礦車圖像。

2.2 礦石圖像預處理

為了提高礦石圖像的質(zhì)量，需要對采集到的礦石圖像先通過直方圖均衡化方法增強圖像再進行濾波處理，去除圖像中的噪聲并且保留其細節(jié)特征，濾波操作在預處理過程中十分重要，可以直接影響到后續(xù)圖像分割的效果。

2.2.1 礦石圖像濾波

圖像處理中一般有模板的濾波器是先將其濾波模板與圖像矩陣進行卷積操作，再輸出每個像素點與模板各個點的灰度值加權(quán)和，最后進行加權(quán)平均，這樣使得輸出的結(jié)果信噪比得到增強，但是圖像的邊界會產(chǎn)生模糊。因此為了解決邊界模糊這個問題，在此基礎上進行改進濾波方法。雙邊濾波的出現(xiàn)恰好解決了這個問題。

雙邊濾波[6]是一種結(jié)合空間信息和幅值信息的非線性濾波方法，在去除噪聲的同時能夠有效保留邊緣信息。其計算方法是基于加權(quán)平均的方法，將周圍像素的亮度值進行加權(quán)平均表示某個像素的強度，這點和中值濾波、均值濾波尤其高斯濾波等方法一樣，但是與其他濾波方法不一樣是其不僅考慮到了空間距離而且還考慮到了像素間的相似度，因此可以達到保邊去噪的效果。雙邊濾波方法里的兩個權(quán)重域的概念：空間域S（spatial domain）和像素范圍域R（range domain），這個是其跟高斯濾波等方法的最大不同點。

2.2.2 礦石圖像分割

礦石圖像分割最主要的目的就是找到圖像中目標的邊界信息。二值分割方法是將灰度圖變成黑白圖，主要過程是將灰度圖上每個像素點的灰度值設置為0或者255，這樣圖像中的數(shù)據(jù)量就少了很多，更方便各種計算，進而可以輕松獲得目標區(qū)域的一些特征，例如：找到圖像中各個目標的邊緣、描述圖像中目標的位置和尺寸。

本研究采用張國英等人[7-9]提出用雙窗Otsu閾值分割法來分割礦石圖像。經(jīng)試驗表明，雙窗Otsu算法相比Otsu閾值分割法更具有優(yōu)越性。礦石圖像經(jīng)常出現(xiàn)礦石黏結(jié)、重疊、灰度值區(qū)分不明顯的特征，由于Otsu閾值分割法對噪聲較為敏感，且對灰度差異不太明顯以及灰度值有重疊分割效果不佳。雙窗Otsu閾值分割法結(jié)合了Otsu的基于最大類間方差的最優(yōu)閾值與Simphiwe[10]提出的雙窗自適應閾值法，這樣結(jié)合分割礦石圖像的效果更為明顯，且不會出現(xiàn)大礦石內(nèi)部噪聲等問題[11]，是一種非常優(yōu)越的礦石圖像分割算法。

3 礦石三維模型重構(gòu)

3.1 系統(tǒng)布置圖

研究基于攝影技術(shù)的稱重裝置由4大模塊組成：相機集成外殼、深度相機、網(wǎng)線、電腦。

由于礦山井下常年潮濕，不僅會損害相機，還會在相機鏡面形成一層水霧，影響拍攝的圖片質(zhì)量，因此需要設置一個相機集成外殼對相機進行防潮。而深度相機為拍攝圖片的主要工具，安裝至礦車的正上方，拍攝后將通過網(wǎng)線把數(shù)據(jù)傳輸至礦井上電腦端，電腦端進行算法處理后形成礦石重量信息，最后將礦石重量信息傳輸至上位機，圖3為系統(tǒng)布置圖。

圖3 系統(tǒng)布置圖Fig.3 System layout drawing

3.2 礦石圖像特征點提取與匹配

一般采集圖像數(shù)據(jù)之后，圖像數(shù)據(jù)會有一部分無法利用的圖像數(shù)據(jù)，可通過提取特征點的方式剔除不需要的數(shù)據(jù)。

特征點提取是一種圖像處理很常見的特征提取方式，廣泛運用在圖像處理、目標檢測、軌道運動等領域。在計算機視覺領域中，1988年發(fā)布的HARRIS相關(guān)的特征檢測器為之后的研究者做出了巨大貢獻。在之后幾十年的研究中，各式各樣的特征檢測算法如雨后春筍般出現(xiàn)，其在精度與速度方面都有著顯著提高[12]。特征點是與解決某種應用程序相關(guān)的計算任務關(guān)聯(lián)的一條信息，其可能是圖像中的特定結(jié)構(gòu)，例如點、邊緣或?qū)ο螅灰嗷蚴菆D像中特定位置作為特征點，如山峰、建筑角落、門口或趣形狀的石塊，這種局部化的特征通常被稱為關(guān)鍵點特征。為了有效地特征匹配，通常需要把適應能力強的特征點提取出來。

特征點匹配是在兩幅影像中盡可能多地尋找出相似的特征點或者灰度值來建立相應的匹配點對。通過特征點來匹配圖像的方法具有明顯的優(yōu)勢，由于從圖像中提取了特征，使得整個處理的圖像數(shù)據(jù)量大大減少，計算機的運算量也會跟隨減少，從而提高了計算機處理圖像的速度，能夠利用圖像之間的結(jié)構(gòu)、約束關(guān)系，在圖像出現(xiàn)一些陰影以及相互遮擋的情況下適用性更強。但提取特征點的方式不適用于存在大量信息的圖像中，因為提取特征點的同時也會丟失一部分圖像的信息，或者將圖像中一些不需要的噪聲提取出來。但本研究處理的對象是帶有礦斗的礦石堆圖像，圖像中的信息相對較少，比較適合采用提取特征點的方式來對RGD圖和深度圖像進行匹配。

3.3 礦石三維點云數(shù)據(jù)生成

礦石三維點云數(shù)據(jù)需要將圖像中的礦石像素點坐標轉(zhuǎn)換為三維世界坐標系，其原理是空間三角測量原理[13-14]，空間三角測量的是依據(jù)相機拍攝的RGB圖上的像素點坐標為參考坐標系，再通過數(shù)學模型進行坐標轉(zhuǎn)換成世界坐標系，需要選取地面相關(guān)控制點來求解世界坐標系（計算體積），以此來獲取礦石的三維點云數(shù)據(jù)，點云數(shù)據(jù)包括高度數(shù)據(jù)以及平行于地面的平面數(shù)據(jù)[15]。

由于深度相機可拍攝具有RGB像素信息以及深度信息（相機測量得到）的深度圖片，可根據(jù)相機RGB像素信息、深度信息、相機物理參數(shù)反推出空間三角測量的相關(guān)計算參數(shù)，再依據(jù)獲取需要的空間三角測量相關(guān)計算參數(shù)去生成礦石三維點云數(shù)據(jù)，獲得參數(shù)后可通過軟件進行三維點云數(shù)據(jù)生成。本研究采用ContextCapture軟件作為空間三角測量計算的工具，首先需要在ContextCapture軟件中導入相機拍攝礦石圖像，選擇的拍攝方式為環(huán)繞對象物體進行360°的拍攝方法，并且相鄰的照片需要有一定的重疊部分，然后再使用空間三角測量的方式進行計算，圖4為空間三角測量計算結(jié)果。

圖4 空間三角測量計算結(jié)果Fig.4 Calculation results of spatial triangulation

3.4 礦石三維點云曲面重構(gòu)

三維點云技術(shù)是一種立體重構(gòu)技術(shù)[16]，其依賴于RGB圖像以及激光雷達生成的深度圖像。本研究采用的深度相機正是融合了兩種技術(shù)，分別生成了RGB圖像和深度圖像，其主要目的是為了實現(xiàn)物體的表面三維重構(gòu)。前面已描述將RGB圖以及深度圖進行特征點匹配得到相應的視差圖，再將相機進行標定，運用空間三角原理計算可得到三維點云數(shù)據(jù)，三維點云數(shù)據(jù)實際上就是將三維曲面模型離散化得到離散點，還不能夠用于直接描述三維立體模型，需要將離散點（點云數(shù)據(jù)）進行點云對齊和拼接后再進行連續(xù)化重構(gòu)（云貼片），才能得到礦石的立體表面。生成的紋理云貼圖見圖5。

圖5 紋理點云貼圖Fig.5 Texture point cloud mapping

3.5 礦石圖像三維重建結(jié)果展示

進行紋理點云貼片處理后，基本上可以看到礦石以及礦斗的立體輪廓，為了能夠更加直觀立體地看到模型，進一步將其可視化得到圖6。

圖6 礦石三維模型重構(gòu)圖Fig.6 Reconstruction of three-dimensional ore model

3.6 礦石體積計算

上述三維建模可得到場景中點的三維坐標信息，由于礦石表面形狀都是不規(guī)則的，可采用黎曼積分計算帶礦斗的礦石體積。其原理為，假設第i的圖片中截面積為si，其在坐標軸XOY中的函數(shù)表達式為f（x），由于si為不規(guī)則面，所以f（x）的表達式無法確定，f（x）在x軸上的區(qū)間為[a，b]，將a、b進行m等分。

礦石橫截面面積的計算如圖7所示，每個小區(qū)間的長度為l，計算公式如式（1）所示。

圖7 礦石橫截面面積計算Fig.7 The calculation of ore cross section area

把si劃分成了m個小矩形的面積和，小矩形的面積gj可以用底邊長h和高f（xj）來表達，計算公式如式（2）所示。

第i張圖片的截面積si計算公式如式（3）所示。

在上述的計算中，劃分的小區(qū)間越多，最終所求出來的面積越接近si的真實面積。

由于礦斗都是標準化的，其體積是一個固定值，可通過原廠商得到，計算帶礦斗礦石的整個體積減去標準礦斗體積即為內(nèi)部礦石體積。

3.7 試驗與數(shù)據(jù)分析

為了驗證礦石三維建模的準確性，本研究直接通過后續(xù)的稱重數(shù)據(jù)來驗證三維建模是否精準，具體方法是根據(jù)粒徑-密度匹配法得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，本次現(xiàn)場試驗驗證是由裝滿礦石的10輛礦斗車一次經(jīng)過測量系統(tǒng)，礦車行駛的速度為2 m/s，此速度為測量速度，之后經(jīng)過現(xiàn)場的地磅進行稱重，系統(tǒng)將計算出裝載量的數(shù)值與稱重值進行對比。由于礦斗的礦石密度大小不一，所以需要計算礦石的平均密度。采用多次試驗估算的礦石平均密度為0.68，此數(shù)值作為礦石的平均密度值。表1為礦車裝載量測量值與地磅稱重的真實數(shù)據(jù)對比。

表1 測量數(shù)據(jù)與真實數(shù)據(jù)對照Tab.1 The comparison between measured data and real data

通過多次對比，基于重構(gòu)三維建模模型的礦石重量測量值與地磅稱重后的實際重量值之間存在誤差，但整體誤差范圍在3%～4%之間，符合現(xiàn)場精度誤差小于5%的測量設計要求，相比較于計量誤差高于10%的人工計量方式（礦山統(tǒng)計得到），說明重構(gòu)的三維礦石立體模型具有較高的準確率，具備很強的實用性。由于稱重整體誤差在3%～4%之間，說明該稱重計算方法穩(wěn)定性較好，進一步說明體積計算是穩(wěn)定的，體積是由三維建模后計算得到，從而也驗證了三維建模的計算的穩(wěn)定性較好。同時，研究采用高性能的計算機，體積、重量的計算時間非常短，相對于兩趟礦車的間隔時間，其計算時間可忽略不計。

4 結(jié)語

本文主要研究了礦石的三維重建模型的相關(guān)技術(shù)，目的是為了重建礦石的三維模型來計算礦石的體積最終得到礦石的重量，礦石的三維重建技術(shù)具體步驟包括圖像采集、特征點匹配、空中三角測量、空間三維坐標轉(zhuǎn)換點云數(shù)據(jù)等。對礦石進行三維建模后，再通過黎曼積分計算得到礦石體積，再由粒徑-密度匹配法得到整個礦斗里礦石的平均密度，通過密度乘上體積的方式，從而計算出整個礦斗里礦石的重量，從試驗的數(shù)據(jù)來看，計算的重量誤差在3%～4%之間，效果良好。通過構(gòu)建礦石三維立體模型，為后續(xù)的礦石體積計算以及重量計算奠定了基礎，最終成功研發(fā)了一套基于攝影測量技術(shù)的礦石物料稱重系統(tǒng)，但計算的重量仍有較小誤差，后續(xù)將對計算重量的模型進一步改進。