懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)改進(jìn)

張旭輝， 王恒， 沈奇峰， 楊文娟， 張超

（1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054）

0 引言

《中國(guó)工程科技2035發(fā)展戰(zhàn)略 ? 能源與礦業(yè)領(lǐng)域報(bào)告》中指出，煤礦設(shè)備精確定位是煤炭智能化開(kāi)采亟需解決的問(wèn)題之一[1-3]。掘進(jìn)裝備的精確定位、定向?qū)Ш绞菍?shí)現(xiàn)巷道掘進(jìn)智能化的關(guān)鍵[4]，懸臂式掘進(jìn)機(jī)屬于非全斷面掘進(jìn)設(shè)備，其定位、定向和定形截割難度大。掘進(jìn)機(jī)位姿測(cè)量技術(shù)是保證巷道成形質(zhì)量的基礎(chǔ)和關(guān)鍵，也是近年來(lái)行業(yè)攻關(guān)的熱點(diǎn)。文獻(xiàn)[5]提出基于雙目視覺(jué)的懸臂式掘進(jìn)機(jī)位姿測(cè)量技術(shù)，采用3D?3D運(yùn)動(dòng)估計(jì)方法求解位姿參數(shù)，但由于雙目視覺(jué)方法測(cè)量的距離有限，需要頻繁移動(dòng)標(biāo)靶，很難應(yīng)用于環(huán)境復(fù)雜的掘進(jìn)工作面。文獻(xiàn)[6]提出基于激光靶向掃描的掘進(jìn)機(jī)位姿測(cè)量方法，但該方法會(huì)產(chǎn)生姿態(tài)角累計(jì)誤差，掘進(jìn)機(jī)每前進(jìn)50 m需進(jìn)行1次激光標(biāo)靶移站和重新標(biāo)定。文獻(xiàn)[7]提出一種基于室內(nèi)全球定位系統(tǒng)（indoor Global Positioning System，iGPS）的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，在測(cè)量距離較短時(shí)具有較高精度，但在實(shí)際應(yīng)用中測(cè)量距離通常大于17 m，此時(shí)系統(tǒng)精度無(wú)法保證。文獻(xiàn)[8]提出一種基于超寬帶（Ultra Wide Band，UWB）的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，該系統(tǒng)可進(jìn)行自主標(biāo)定，消除UWB定位基站移動(dòng)造成的累計(jì)誤差，但姿態(tài)角解算精度不高，且需要搭配傾角傳感器輔助測(cè)量。文獻(xiàn)[9]提出一種基于慣導(dǎo)的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，該系統(tǒng)三軸姿態(tài)角測(cè)量精度高，但難以建立掘進(jìn)機(jī)坐標(biāo)系與巷道基準(zhǔn)坐標(biāo)系的聯(lián)系，受航位推算原理限制，三軸坐標(biāo)測(cè)量誤差隨著時(shí)間推移而增大。文獻(xiàn)[10]提出一種基于機(jī)器視覺(jué)的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，機(jī)身姿態(tài)角測(cè)量誤差小于0.16°，但無(wú)法測(cè)量相機(jī)與激光發(fā)射器的距離。

將機(jī)器視覺(jué)和激光融合的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)具有環(huán)境適應(yīng)性好、精度高等優(yōu)勢(shì)[11]。文獻(xiàn)[12-13]提出一種基于組合激光和機(jī)器視覺(jué)的掘進(jìn)機(jī)位姿檢測(cè)系統(tǒng)，截割頭位置測(cè)量誤差不超過(guò)40 mm，姿態(tài)角測(cè)量誤差不超過(guò)0.5°，但該系統(tǒng)未能根據(jù)粉塵濃度自適應(yīng)調(diào)整相機(jī)參數(shù)和圖像處理參數(shù)，導(dǎo)致圖像特征難以精確提取，影響了系統(tǒng)的適應(yīng)性和穩(wěn)定性。針對(duì)該問(wèn)題，本文對(duì)掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)進(jìn)行改進(jìn)，利用礦用防爆工業(yè)相機(jī)采集不同粉塵濃度下的激光點(diǎn)?線圖像，建立粉塵濃度等級(jí)與圖像灰度值的關(guān)系模型，劃分濃度等級(jí)，通過(guò)實(shí)驗(yàn)獲取不同粉塵濃度等級(jí)下的最優(yōu)相機(jī)參數(shù)和圖像處理參數(shù)，并根據(jù)粉塵濃度自適應(yīng)調(diào)整參數(shù)值，提高點(diǎn)?線特征提取的穩(wěn)定性和精度，進(jìn)而提高掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)的精度。

1 懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)原理

懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)由2個(gè)紅外激光指向儀、MV?EMV510M防爆工業(yè)相機(jī)、防爆計(jì)算機(jī)和懸臂式掘進(jìn)機(jī)組成，如圖1所示。其中，OcXcYcZc為防爆工業(yè)相機(jī)坐標(biāo)系，以相機(jī)光心為原點(diǎn)；OdXdYdZd為激光定向坐標(biāo)系，以2個(gè)紅外激光指向儀光源連線的中點(diǎn)為原點(diǎn)。防爆工業(yè)相機(jī)和防爆計(jì)算機(jī)固定在懸臂式掘進(jìn)機(jī)機(jī)體上，2個(gè)紅外激光指向儀水平安裝于掘進(jìn)機(jī)后方，朝向掘進(jìn)機(jī)掘進(jìn)方向。對(duì)紅外激光指向儀進(jìn)行調(diào)平，使其發(fā)出的2條光線平行且保持在水平方向。通過(guò)防爆工業(yè)相機(jī)采集激光束圖像，利用改進(jìn)隨機(jī)Hough變換對(duì)激光束進(jìn)行直線檢測(cè)，最后通過(guò)“門”型三線模型解算掘進(jìn)機(jī)機(jī)身位姿[12]。

圖1 懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)Fig.1 Position and posture measurement system for boom-type roadheader based on machine vision

2 懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)改進(jìn)

煤礦井下存在高粉塵、低照度的復(fù)雜工況，圖像采集質(zhì)量和特征提取效果受粉塵濃度影響較大，若相機(jī)參數(shù)和特征提取參數(shù)不能根據(jù)粉塵濃度變化進(jìn)行自適應(yīng)調(diào)整，易產(chǎn)生點(diǎn)?線特征提取不穩(wěn)定和圖像丟幀等問(wèn)題。針對(duì)該問(wèn)題，對(duì)懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)進(jìn)行改進(jìn)。改進(jìn)后懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)主要包括光斑坐標(biāo)確定和掘進(jìn)機(jī)位姿解算2個(gè)部分，光斑坐標(biāo)確定又分為粉塵濃度估計(jì)、激光束直線方程提取和激光束光斑提取3個(gè)部分，如圖2所示。由于掘進(jìn)機(jī)位姿解算原理在文獻(xiàn)[12]中已有詳細(xì)介紹，本文側(cè)重于分析光斑坐標(biāo)確定部分，主要研究粉塵濃度與相機(jī)參數(shù)和圖像處理參數(shù)之間的關(guān)系，根據(jù)粉塵濃度自適應(yīng)調(diào)整相關(guān)參數(shù)值，提高圖像采集質(zhì)量和點(diǎn)?線特征提取精度，進(jìn)而提高掘進(jìn)機(jī)位姿檢測(cè)精度。

圖2 改進(jìn)后懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)流程Fig.2 Flow of the improved position and posture measurement system for boom-type roadheader based on machine vision

粉塵濃度估計(jì)部分確定粉塵濃度與圖像之間的映射關(guān)系。通過(guò)防爆工業(yè)相機(jī)采集圖像并進(jìn)行預(yù)處理，通過(guò)直方圖均衡化對(duì)圖像進(jìn)行增強(qiáng)，獲取平均灰度信息，并建立圖像灰度值與粉塵濃度等級(jí)之間的關(guān)系模型，根據(jù)關(guān)系模型和圖像灰度信息得到粉塵濃度等級(jí)，將粉塵濃度等級(jí)與相機(jī)參數(shù)和色調(diào)（H）、飽和度（S）、明度（V）閾值進(jìn)行映射，再生成自適應(yīng)粉塵濃度的參數(shù)和閾值。

利用Hough變換與最小二乘法提取激光束直線方程。對(duì)輸入的圖像進(jìn)行去噪和畸變矯正處理，將圖像由RGB空間轉(zhuǎn)換至HSV顏色空間，再將H，S，V閾值與計(jì)算值進(jìn)行對(duì)比，排除HSV空間中的強(qiáng)干擾因素，得到激光束區(qū)域的二值圖像；對(duì)激光束區(qū)域的二值圖像進(jìn)行邊緣提取、骨架提取等處理，得到激光束的輪廓及骨架信息；結(jié)合Hough變換和最小二乘法去除剩余的少量噪聲信息，得到激光束直線方程。

利用擬合方法提取激光束光斑中心坐標(biāo)。光斑亮度較高時(shí)，其紅（R）、綠（G）、藍(lán)（B）三通道的值較大，且激光光暈區(qū)域R通道的值大于B和G通道的值。根據(jù)圖像中像素點(diǎn)三通道的值及其關(guān)系可在多雜光背景中確定光斑區(qū)域和激光光暈區(qū)域。通過(guò)冒泡排序法獲取圖像中各光斑之間的距離，當(dāng)距離在一定范圍內(nèi)時(shí)，表明是紅外激光指向儀的2個(gè)光斑，求取光斑中心坐標(biāo)。

3 參數(shù)自適應(yīng)調(diào)整算法

3.1 圖像灰度值與粉塵濃度等級(jí)關(guān)系模型

用防爆工業(yè)相機(jī)獲取激光穿過(guò)粉塵的光斑與激光束圖像，用Halcon對(duì)每幅圖像的光斑進(jìn)行處理，得到光斑區(qū)域的平均灰度值，建立光斑區(qū)域的透過(guò)率與灰度值的關(guān)系，最終根據(jù)測(cè)得的透過(guò)率建立灰度值和粉塵濃度等級(jí)的關(guān)系[14-15]。透過(guò)率模型為

式中：T(x)為被粉塵遮擋的圖像中像素x的顏色；t(x)為像素x處粉塵的透過(guò)率；J(x)為像素x處激光線區(qū)域顏色；s(x)為像素x處粉塵的顏色。

根據(jù)式（1）得到像素x處當(dāng)前幀的三通道顏色TH(x)，TS(x)，TV(x)：

式中JH(x)，JS(x)，JV(x)為像素x處參考幀的三通道顏色。

在粉塵顏色s（x）已知的前提下，以圖像分塊為單位估算透過(guò)率。設(shè) ω (x)為以像素x為中心的圖像分塊，則根據(jù)該圖像分塊估算的像素x處粉塵的透過(guò)率為

式中：y為圖像分塊 ω (x)中的像素；Tc(y)為像素y的c通道值。

像素x處的灰度值為

式中t0，tmin分別為透過(guò)率的基準(zhǔn)值和最小值。

由式（4）可得到灰度值與透過(guò)率之間的映射關(guān)系。透過(guò)率越小，則粉塵濃度越大，圖像的灰度值越大，即像素越趨近白色。因此，根據(jù)透過(guò)率范圍可劃分出粉塵濃度等級(jí)，從而建立灰度值與粉塵濃度等級(jí)的關(guān)系，見(jiàn)表1。

3.2 參數(shù)優(yōu)化

曝光時(shí)間是影響圖像清晰度的重要參數(shù)[16-17]。在不過(guò)曝的前提下，增加曝光時(shí)間可以提高信噪比，使圖像更清晰。H，S，V閾值是影響點(diǎn)?線特征提取結(jié)果的重要參數(shù)，根據(jù)多次實(shí)驗(yàn)結(jié)果得出，H通道的最大值和最小值、S通道和V通道的最大值不需要調(diào)整，只需調(diào)整S通道和V通道的最小值，調(diào)節(jié)范圍為 20～50。

由于在超高濃度粉塵環(huán)境下無(wú)法獲取圖像特征，所以設(shè)置粉塵濃度分別為高濃度、中濃度、低濃度，在每組濃度下分別設(shè)置曝光時(shí)間為40 000，60 000，80 000 μs，在每種曝光時(shí)間下，設(shè)置 S 通道和V 通道的最小值Smin，Vmin，均取為 25，35，45，進(jìn)行掘進(jìn)機(jī)位姿實(shí)驗(yàn)，獲取不同粉塵濃度下的最優(yōu)參數(shù)。設(shè)機(jī)身位置坐標(biāo)真實(shí)值為（?100 mm，10 000 mm，90 mm），測(cè)量值為（X，Y，Z），以中濃度為例，得到不同參數(shù)下懸臂式掘進(jìn)機(jī)位姿測(cè)量結(jié)果，見(jiàn)表2。

粉塵濃度一定，相機(jī)曝光時(shí)間為 40 000，60 000，80 000 μs，Smin為 25 時(shí)，不能提取出準(zhǔn)確的圖像特征信息，因此很難得到機(jī)身位置數(shù)據(jù)；相機(jī)曝光時(shí)間為80 000 μs時(shí)，雖然通過(guò)調(diào)整Smin和Vmin可在一定程度上提高位姿檢測(cè)精度，但獲取的可用圖像數(shù)量有限，很難保證數(shù)據(jù)的實(shí)時(shí)性；當(dāng)相機(jī)曝光時(shí)間為60 000 μs，Smin為 35 或 45，Vmin為 35 時(shí)，不但可保證位姿檢測(cè)精度，數(shù)據(jù)的實(shí)時(shí)性也較高，因此，粉塵濃度等級(jí)為中濃度時(shí)，該組參數(shù)為最優(yōu)參數(shù)。

同理，得到高濃度和低濃度粉塵下的最優(yōu)相機(jī)參數(shù)及圖像處理參數(shù)，見(jiàn)表3。

4 實(shí)驗(yàn)分析

搭建懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)實(shí)驗(yàn)平臺(tái)，如圖3所示。該平臺(tái)由懸臂式掘進(jìn)機(jī)、紅外激光指向儀、MV?EMV510M防爆工業(yè)相機(jī)、防爆計(jì)算機(jī)、數(shù)字全站儀、粉塵濃度傳感器、粉塵制造器等組成。防爆工業(yè)相機(jī)位于機(jī)身后方，2個(gè)紅外激光指向儀水平且平行指向掘進(jìn)機(jī)前進(jìn)方向，數(shù)字全站儀位于紅外激光指向儀與防爆工業(yè)相機(jī)之間的任意位置，以數(shù)字全站儀測(cè)量結(jié)果為基準(zhǔn)。

圖3 懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)實(shí)驗(yàn)平臺(tái)Fig.3 Experimental platform for position and posture measurement system for boom-type roadheader based on machine vision

將防爆工業(yè)相機(jī)固定于板車上移動(dòng)5個(gè)不同位置（各位置粉塵濃度不同），采集不同粉塵濃度下的激光束圖像（圖4），進(jìn)行圖像預(yù)處理、光斑中心定位、激光束直線特征提取及機(jī)身位姿解算，得到機(jī)身在激光定向坐標(biāo)系中的位姿，再根據(jù)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，得到機(jī)身在數(shù)字全站儀坐標(biāo)系下的位姿。每組實(shí)驗(yàn)至少保證100張圖像，結(jié)果取平均值，見(jiàn)表4。參數(shù)自適應(yīng)調(diào)整算法與非自適應(yīng)調(diào)整算法在3個(gè)方向的誤差對(duì)比如圖5所示，誤差統(tǒng)計(jì)結(jié)果見(jiàn)表5。

表5 參數(shù)自適應(yīng)與非自適應(yīng)調(diào)整算法誤差對(duì)比Table 5 Error comparison between parameter adaptive adjustment algorithm and non-adaptive adjustment algorithm

圖4 不同粉塵濃度等級(jí)下的激光束圖像Fig.4 Laser beam images under different dust concentration levels

圖5 掘進(jìn)機(jī)位姿測(cè)量誤差Fig.5 The measurement error of the position and posture of the roadheader

表4 掘進(jìn)機(jī)位姿檢測(cè)實(shí)驗(yàn)結(jié)果Table 4 The experimental results of the position and posture detection of the roadheader

實(shí)驗(yàn)結(jié)果表明，采用參數(shù)自適應(yīng)調(diào)整算法后，3個(gè)方向的位姿測(cè)量誤差均有效降低，處理100張圖像后得到的可用圖像從75張?zhí)岣叩?0張，說(shuō)明參數(shù)自適應(yīng)調(diào)整算法可有效提高圖像特征提取精度和數(shù)據(jù)的可用性，從而保證懸臂式掘進(jìn)機(jī)機(jī)身定位精度和穩(wěn)定性。

5 結(jié)語(yǔ)

介紹了懸臂式掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)原理，分析了其存在的問(wèn)題并對(duì)系統(tǒng)進(jìn)行改進(jìn)。通過(guò)透過(guò)率建立圖像灰度值與粉塵濃度等級(jí)的關(guān)系模型，通過(guò)實(shí)驗(yàn)獲取不同粉塵濃度等級(jí)下的最優(yōu)相機(jī)參數(shù)和圖像處理參數(shù)。進(jìn)行特征提取時(shí)，可根據(jù)圖像灰度值判斷粉塵濃度等級(jí)，進(jìn)而得到最優(yōu)參數(shù)。實(shí)驗(yàn)結(jié)果驗(yàn)證了參數(shù)自適應(yīng)調(diào)整算法可提高圖像采集質(zhì)量和點(diǎn)?線特征提取的穩(wěn)定性和精度，進(jìn)而提高掘進(jìn)機(jī)位姿視覺(jué)檢測(cè)系統(tǒng)的精度。