基于三維點云分割的煤堆體積計算方法研究

崔 崢，王增才，張 杰，閆 明，王普圣

(山東大學機械工程學院，山東 濟南 250061)

0 引 言

煤炭作為重要的能源物資，成本高、儲量大，因此需要進行快速準確的盤點。目前大多數(shù)煤炭是以煤堆的形式進行儲存，對于煤堆的體積測量費時費力，往往需要付出巨大的人力物力。針對煤堆體積測量，國內(nèi)學者已經(jīng)展開了大量研究實踐工作[1-5]。陳瑩等[6]提出了由4臺CCD攝像機、圖像采集卡和微機構(gòu)成的計算機視覺測量系統(tǒng)，用來測量形狀不規(guī)則的大型物料堆體積的方法。朱海波[7]提出采用激光掃描光三角測量原理的系統(tǒng)設(shè)計，實現(xiàn)對露天煤場存煤量自動檢測功能。該系統(tǒng)將CCD攝像機、激光測距儀和地圖星均安裝在煤場一側(cè)的測量塔上，首先標定一個已知空間位置作為初始點，由計算機控制激光掃描測距系統(tǒng)對煤場進行自動掃描，通過激光測距儀測量每一個待測點與掃描儀的空間距離，通過地圖星記錄待測點與初始點的位置變化，進而用光三角法和初始點的標定信息計算獲得待測點的三維坐標，最后由計算機擬合煤堆表面形狀，并求出存煤體積。秦健[8]提出將激光測距儀和步進電機安裝在煤場取煤的斗輪機的懸臂上，行程傳感器觸點安裝在待測煤推的縱向區(qū)域，采集煤堆表面數(shù)據(jù)，生成三維坐標數(shù)據(jù)計算體積的自動盤煤及管理系統(tǒng)。梁樂[9]研究了一種雙目視覺的測量方法，主要通過半全局匹配法計算視差圖，然后根據(jù)數(shù)值積分計算目標的體積，實驗表明對于一些形狀不規(guī)則的物體有著較好的測量效果。丁嗣禹等[10]使用雙目相機作為圖像采集設(shè)備，采集不規(guī)則物料堆的俯視圖像，通過半全局匹配算法計算出不規(guī)則物料堆的視差圖，然后在視差圖優(yōu)化階段主要使用中值濾波算法和最近鄰插值算法，將視差圖中的視差值轉(zhuǎn)換為三維坐標數(shù)據(jù)，還原物料堆三維場景，再借助改進的OTSU算法對物料區(qū)域進行分割，根據(jù)區(qū)域內(nèi)物料堆的平均高度和平均面積計算堆料的體積。以上方法在計算煤堆體積時，所需設(shè)備較多，且需要多次信號處理，因此計算過程較為緩慢。

針對以上問題，本文提出了一種基于三維點云分割的煤堆體積計算方法。使用激光雷達對煤堆進行掃描，獲取到煤堆及其周邊環(huán)境的點云數(shù)據(jù)，然后將點云數(shù)據(jù)直接輸入到Point-Net神經(jīng)網(wǎng)絡(luò)中進行處理，將煤堆點云數(shù)據(jù)與其他物體點云數(shù)據(jù)進行區(qū)分和分割，從而獲取僅含有煤堆的點云數(shù)據(jù)，最后對該點云數(shù)據(jù)進行Delaunay三角劃分，并進行積分計算，得到煤堆的體積數(shù)據(jù)。

1 三維點云的語義分割

1.1 激光雷達與三維點云

激光雷達是一種主動式的現(xiàn)代光學遙感技術(shù)，它采用非接觸式測量的方法，可以快速掃描形狀不規(guī)則的復雜物體，獲取目標表面回波點的坐標信息。三維點云是指按照規(guī)則格網(wǎng)排列的三維坐標點的數(shù)據(jù)集，可以由激光雷達掃描被測物體獲得。

1.2 點云的語義分割

在對煤堆進行掃描時，由于激光雷達掃描范圍廣、速度快，因此所形成的點云數(shù)據(jù)往往是大片包含有煤堆和各種復雜環(huán)境的場景，這對于后續(xù)煤堆的體積計算有極大的干擾性。為了只獲取煤堆的點云數(shù)據(jù)，需要構(gòu)建神經(jīng)網(wǎng)絡(luò)對點云進行語義分割。

神經(jīng)網(wǎng)絡(luò)是一種由大量的節(jié)點也就是神經(jīng)元直接相互關(guān)聯(lián)而構(gòu)成的計算模型；每個節(jié)點(除輸入節(jié)點外)所代表的輸出函數(shù)稱為激勵函數(shù)；每兩個節(jié)點的連接都代表該信號在傳輸中所占的比重(即認為該節(jié)點的“記憶值”被傳遞下去的比重)，稱為權(quán)重；網(wǎng)絡(luò)的輸出由于激勵函數(shù)和權(quán)重的不同而不同，是對于某種函數(shù)的逼近或是對映射關(guān)系的近似描述。圖1為兩層的神經(jīng)網(wǎng)絡(luò)構(gòu)圖。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Neural network structure diagram

(1)

最終輸出結(jié)果見式(2)。

output=

(2)

式中，h為激活函數(shù)。

網(wǎng)絡(luò)訓練過程為：①初始化權(quán)重，通過前向傳播，計算網(wǎng)絡(luò)的輸出；②使用代價函數(shù)衡量當前的預測與真實值的誤差；③使用梯度下降，將誤差反向傳播(鏈式法則)，修改網(wǎng)絡(luò)權(quán)值；④循環(huán)，直到網(wǎng)絡(luò)誤差達到目標要求停止，應用訓練好的模型對測試樣本訓練。

最終訓練得到的神經(jīng)網(wǎng)絡(luò)模型可以對特定的目標進行區(qū)分識別，但一般的神經(jīng)網(wǎng)絡(luò)都應用于圖像識別，所處理的文件類型也都是照片等二維信息。三維點云雖然能夠方便快捷表達物體的三維結(jié)構(gòu)，但其數(shù)據(jù)結(jié)構(gòu)復雜，具有置換不變性，即使點云的坐標發(fā)生改變，其表達的物體特征沒有變化，因此很難直接應用于神經(jīng)網(wǎng)絡(luò)中。雖然可以將點云數(shù)據(jù)進行體素化來輸入神經(jīng)網(wǎng)絡(luò)中處理，但該方法將會損失點云中大量的特征信息[11-15]。因此，本文提出應用Point-Net神經(jīng)網(wǎng)絡(luò)，可以直接作用于點云數(shù)據(jù)中，解決以上問題[16]。

首先，Point-Net神經(jīng)網(wǎng)絡(luò)主體架構(gòu)由T-Net微型網(wǎng)絡(luò)和Mlp多層感知機組成。T-Net微型網(wǎng)絡(luò)可以看成一個縮小版的Point-Net神經(jīng)網(wǎng)絡(luò)，其主要作用是生成一個仿射變換矩陣，對點云的旋轉(zhuǎn)及平移進行規(guī)范化處理，從而解決了點云置換不變性的問題。Mlp多層感知機也稱為人工神經(jīng)網(wǎng)絡(luò)，其隱藏層與輸入層為全連接，主要通過二維卷積來實現(xiàn)對點云中的局域特征進行升維操作，這樣可以在更高的維度對點云的局域特征進行提取，極大地減少了特征損失。

Point-Net神經(jīng)網(wǎng)絡(luò)的架構(gòu)見圖2。Point-Net神經(jīng)網(wǎng)絡(luò)是分類網(wǎng)絡(luò)的擴展，簡而言之，該神經(jīng)網(wǎng)絡(luò)主要運用Mlp多層感知機對每個點的局域特征進行升維處理，隨后將n×64維局域特征和1 024維全局特征進行融合，最后利用(128，m)的感知機進行特征分類，輸出結(jié)果為n×m，n對應n個點，m對應點所對應的m個分類得分。將三維點云數(shù)據(jù)輸入到T-Net微型網(wǎng)絡(luò)的一些主要特點如下所述。

圖2 Point-Net架構(gòu)圖Fig.2 Architecture diagram of Point-Net

1)將最大池化層集作為對稱函數(shù)，從每個點聚合信息，使模型對輸入排列保持不變。

2)能夠預測每個點的特征，依賴于來自附近點的局部結(jié)構(gòu)和全局信息，使得預測對象的轉(zhuǎn)換不變，如平移或旋轉(zhuǎn)。

3)通過在特征提取前將所有輸入集合對齊到規(guī)范空間，使點云的語義標注與點云幾何變換保持不變。

其輸出的分類結(jié)果見式(3)。

f(x1,x2,…,xn)=γ×g(h(x1),…,h(xn))

(3)

式中：x為點云中的點；h為特征提取層；g為對稱方法，Point-Net采用了max-pooling策略；為高維特征提取。

對分割結(jié)果的可視化可以借助Cloud Compare軟件完成。

2 三角劃分

整套體積測量系統(tǒng)流程見圖3。在使用Meshlab軟件進行補全降噪后，可以獲取較為完整的煤堆點云數(shù)據(jù)。為了計算該煤堆的體積，需要對煤堆點云進行Delaunay三角劃分。

圖3 體積測量系統(tǒng)Fig.3 Volumetric measurement system

平面中定義一點集Q，Q={Qi|i=1，2，…，j}，且j≥3。V(Qm)=∩H(Qm，Qn)，(1≤n≤j,m≠n)，即V(Qm)表示比其余點更接近Qm的點的軌跡是(j-1)個半平面的交，它是一個不多于(j-1)條邊的凸多邊形域，稱為關(guān)聯(lián)于Qm的Voronoi域。Q中任意一點均可作為一個Voronoi多邊形，如圖4(a)所示，這樣的j個Voronoi多邊形組成的圖形稱為Voronoi圖[17]。

由Voronoi圖衍生得到Delaunay圖，二者互為對偶。圖4(b)中對每條非邊界的Voronoi邊作其中垂線，得到的即為Delaunay三角剖分[18]?；诟窬W(wǎng)劃分的Delaunay三角網(wǎng)絡(luò)的具體構(gòu)網(wǎng)步驟為[19]：①將獲取到的雜散點云數(shù)據(jù)進行格網(wǎng)塊劃分，按照劃分逆序?qū)Ω窬W(wǎng)塊內(nèi)的數(shù)據(jù)點依次構(gòu)建Delaunay三角網(wǎng)；②構(gòu)網(wǎng)過程中受相鄰格網(wǎng)中數(shù)據(jù)點影響的三角形與鄰近三角形暫時保存，完成構(gòu)建的三角網(wǎng)結(jié)果保存入數(shù)據(jù)庫；③合并臨近的Delaunay三角形子網(wǎng)并進行優(yōu)化處理，改進過后符合條件的三角形仍按照上述步驟中的構(gòu)網(wǎng)規(guī)則進行處理；④直到完成格網(wǎng)中所有Delaunay三角網(wǎng)構(gòu)建[20]。

圖4 Voronoi圖和Delaunay圖Fig.4 Voronoi diagram and Delaunay diagram

對煤堆點云數(shù)據(jù)進行Delaunay三角剖分后，將會獲得由大量三角面片組成的凸殼，將這些三角面片投影到地面上，就會形成數(shù)量龐大的三棱柱，因此，只需要計算出三棱柱的體積，即可獲得煤堆的體積。

3 實驗結(jié)果

3.1 實驗平臺的搭建與數(shù)據(jù)的獲取

本文運行網(wǎng)絡(luò)模型的電腦配置為NVIDIA GTX 1080Ti顯卡，3.6 GHz、16 GB RAM的Intel Core i7-7700 CPU處理器，所使用的軟件為Spyder環(huán)境下的Tensorflow，計算機為Windows7系統(tǒng)。

由于建立數(shù)據(jù)集需要大量的三維點云數(shù)據(jù)，而真實煤堆的體積較為龐大，采集工作費時費力，因此，本文將通過在實驗室人為搭建煤堆及煤堆所在的復雜環(huán)境來模擬真實礦場環(huán)境，采用體積為1 000 dm3左右的煤堆進行實驗驗證。通過使用激光雷達掃描，共獲得36組三維點云數(shù)據(jù)，所搭建某一場景掃描獲得的點云見圖5。

圖5 搭建場景及其三維點云Fig.5 Built scene and its 3D point cloud

3.2 實驗數(shù)據(jù)的預處理

由于振動、空氣中的煤塵會產(chǎn)生噪聲點，這將極大影響點云數(shù)據(jù)的準確性，因此，需要對點云數(shù)據(jù)進行降噪處理，本文采用中值濾波進行降噪。中值濾波是將點云序列中的一個值用該點的鄰域中各點值的中值代替，讓其鄰域各點接近真實值，從而消除孤立的噪聲點。處理后的點云數(shù)據(jù)見圖6。由圖6可知，降噪處理有效降低了多余的數(shù)據(jù)點，減少了數(shù)據(jù)計算的工作量。對于其他場景下的點云數(shù)據(jù)也進行相同的處理，隨后將這些數(shù)據(jù)進行格式變換。使用激光雷達掃描后，獲得的點云數(shù)據(jù)格式為ply格式，利用Matlab將ply格式轉(zhuǎn)換為txt格式。

圖6 降噪處理后的點云數(shù)據(jù)Fig.6 Point cloud data after noise reduction processing

將數(shù)據(jù)集進行分類，分為訓練集，驗證集和測試集。使用Cloud Compare軟件對訓練集中的數(shù)據(jù)進行標注，區(qū)分出煤堆和其他目標物，最后將txt文件轉(zhuǎn)換為h5格式，用于神經(jīng)網(wǎng)絡(luò)的訓練。

3.3 實驗結(jié)果

對Point-Net神經(jīng)網(wǎng)絡(luò)模型進行了4 000次迭代，學習率采用指數(shù)衰減的方式更新，初始學習率定為0.5，動量因子為0.9。多次調(diào)整超參數(shù)，最終mloU(平均交并比)達到93.43%，可以將煤堆與其他目標物進行分割，達到了語義分割的效果。分割前以及分割后可視化的效果見圖7，其中，中間區(qū)域為煤堆點云，兩端區(qū)域為其他環(huán)境點云。

圖7 點云分割的可視化Fig.7 Visualization of point cloud segmentation

使用Meshlab軟件對分割后的點云數(shù)據(jù)進行刪減，最終形成的煤堆點云數(shù)據(jù)見圖8。由圖8可知，點云較為稀疏，有空洞，因此需要對點云進行三維插值。通過配置PCL庫，對點云進行補全。首先定義NAN點，為激光發(fā)射器發(fā)射出去的激光未收到返回光束或者激光接收器接收到的返回激光強度超出閾值范圍。補全規(guī)則為，每一線激光掃描得到一行點數(shù)據(jù)中，查找與NAN點最近的點進行補全，如果本行數(shù)據(jù)全部為NAN(不可能發(fā)生)，則此行可刪除，調(diào)整點云尺寸。最后利用Matlab軟件對點云模型進行Delaunay三角劃分，將該模型劃分成無數(shù)三棱柱，從而利用積分法計算其體積。操作流程見圖8。

圖8 體積計算流程圖Fig.8 Flow chart for volume calculation

圖9為分割后點云中的一個三棱柱，d點為△abc的質(zhì)心，根據(jù)a、b、c的坐標可以計算出d點的坐標，進而求出質(zhì)心d與投影面之間的距離h，則該三棱柱的體積v即為高度h與投影面三角形面積s的乘積。整個煤堆體積計算公式見式(4)。

圖9 三棱柱示例圖Fig.9 Example diagram of triangular prism

(4)

式中，V為所有三棱柱體積總和，即為煤堆體積。

通過將煤堆放置在已知體積的容器中來獲得其真實體積，并與通過分割計算的體積進行對比，實驗測量了四組體積不同的煤堆，結(jié)果見表1。

表1 實驗結(jié)果對比Table 1 Comparison of experimental results

4 結(jié) 語

本文通過使用激光雷達掃描煤堆獲取其點云數(shù)據(jù)，并利用Point-Net神經(jīng)網(wǎng)絡(luò)對掃描獲取的點云數(shù)據(jù)進行數(shù)據(jù)處理，成功將煤堆點云數(shù)據(jù)從整體環(huán)境中分割出來，極大減少了人為分割點云的工作量。研究可知，Point-Net神經(jīng)網(wǎng)絡(luò)平均交并比在91%左右，可以較為精確地識別出煤堆的點云數(shù)據(jù)，具有一定的可靠性。同時，體積計算的相對誤差均在5%以下，精度較高，證明了該方法的有效性。計算得出的體積相對于實際體積較小，這是由于在點云數(shù)據(jù)分割過程中，有少量煤堆點云數(shù)據(jù)未被識別出來，造成計算出的體積偏小。另外，將點云數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)并最終計算體積結(jié)果平均時長不超過10 min，說明該方法方便快捷的特點。研究表明，本文所提出的體積測量方法精度高，速度快，所需設(shè)備簡單，成本較低，具有一定的先進性和創(chuàng)新性。