基于機器視覺掘進機位姿檢測應用現狀與趨勢

柳學猛，張 凱，馬 躍

(1.國家能源集團寧夏煤業(yè)有限責任公司，寧夏 銀川 750011；2.中國煤炭科工集團太原研究院，山西 太原 030006)

煤炭作為我國的“工業(yè)糧食”，為我國的工業(yè)發(fā)展做出了重要貢獻。依據我國富煤、貧油、少氣的資源稟賦，未來一段時間內煤炭仍將是我國的主要支柱能源。隨著煤炭開采深度的增加，煤炭開采的環(huán)境日益復雜，為了提高煤炭開采的效率，減少人員傷亡，國家提倡機械化減人、自動化換人，從而建設成無人化的智慧礦山[1]。巷道掘進作為煤炭開采的重要組成部分，掘進智能化是實現智慧礦山的必要條件，其中掘進機位姿參數的檢測對掘進機的自動化以及無人化操作具有重要作用。

近年來，國內學者對掘進機的位姿檢測進行了眾多研究，并取得了一定的研究成果。朱信平等[2]將全站儀與棱鏡相結合以實現掘進機的位姿參數的測量；陶云飛等[3]提出了一種基于iGPS的掘進機位姿測量方法并研究了測量誤差的分布規(guī)律；符世琛等[4]采用超寬帶的測量手段，結合定位基站自主行走功能，實現了掘進機的自主定位定向；薛光輝等[5]通過激光跟蹤云臺與激光標靶實現了掘進機位姿參數測量；馮大龍[6]最早在掘進機的無人駕駛中引入了捷聯慣導裝置。但以上研究中對于位姿測量的方法仍存在一定的不足，基于全站儀的測量方法測量路徑易遮擋，影響掘進機位姿檢測的實時性跟連續(xù)性；基于超寬帶的位姿測量方法容易發(fā)生漫反射；由于單個傳感器存在局限性，部分學者將多個傳感器進行融合用于掘進機的位姿檢測，吳淼等[7]將捷聯慣導與二維里程計進行了融合，改進了捷聯慣導系統的姿態(tài)更新算法，二維里程計的使用彌補了慣導系統位置參數漂移嚴重的不足。

從前人研究可知，單個傳感器檢測精度較低，難以適應煤礦井下復雜的環(huán)境，多個傳感器融合的位姿檢測方法系統相對復雜，但成本較高，位姿模型解算復雜。機器視覺技術具有非接觸、實時性好、獲取信息全面等優(yōu)點，目前在煤礦井下得到了廣泛應用，主要的應用方面有煤倉煤位檢測[8]、水火災監(jiān)控[9]、礦井人員跟蹤[10]、綜采設備的調直[11]等。本文以懸臂式掘進機為研究對象，分析了基于機器視覺的掘進機位姿檢測技術的研究現狀，介紹了基于視覺的位姿檢測方法所涉及的關鍵技術，總結了目前存在的難題并指明未來的發(fā)展方向。

1 基于視覺的掘進機位姿檢測研究現狀

掘進機工作面智能化掘進以無人化為終極目標，掘進機無人化操作需實時感知掘進機在煤巷中的位姿，以掘進機的實時位姿參數為反饋，在巷道掘進過程對掘進機進行實時糾偏，從而使掘進機按照巷道設計軸線進行掘進。近年來，不少研究者致力于掘進機位姿視覺檢測方法的研究，取得了一定的研究成果。

田原[12]將激光指向儀與視覺系統相結合實現了掘進機的定位(圖1)，激光指向儀在掘進機機身產生特征點陣，相機實時采集特征點陣圖像，采用圖像預處理以及目標識別方法，得到掘進機機身上特征點陣的像素坐標，解算位姿參數模型，得到巷道掘進過程中掘進機在巷道坐標系下的實時位姿。試驗結果表明，位姿檢測系統的位置參數的偏移量為3.5 mm，姿態(tài)角中的航向角的偏差為0.5°，俯仰角以及橫滾角的偏差為0.1°。

圖1 基于視覺的位姿檢測系統組成示意圖Fig.1 Schematic diagram of vision-basedpose detection system

杜雨馨等[13]構建了一套基于機器視覺的掘進機位姿檢測系統(圖2)，該系統由紅綠藍兩種十字激光器、防爆相機、激光標靶組成。該系統工作時，雙十字激光器發(fā)射激光，相機采集激光標靶圖像，經過圖像預處理以及圖像特征的檢測，獲取雙十字激光形成的十個像素坐標，利用相機成像原理以及坐標系的轉換關系，得到掘進機在巷道坐標系下的位姿。試驗結果表明，在一定測量范圍內，系統的姿態(tài)角測量誤差在0.5°范圍內，機身位置誤差在20 mm以內，滿足巷道掘進過程中掘進機位姿參數測量的實施性與精確性。

圖2 基于雙十字激光額掘進機位姿檢測示意圖Fig.2 Schematic diagram of position and pose detectionof roadheader based on double crosshead laser

楊文娟等[14]采用激光束作為掘進機位姿檢測的信號來源，系統組成如圖3所示，其中激光指向儀發(fā)射激光，防爆相機采集激光束，得到激光直線束圖像，利用相機投影模型以及直線像素坐標，解算出相機坐標系與定位模型坐標系的轉換關系，進而利用全站儀對定位坐標系的標定，得到掘進機在巷坐標系下的位姿。試驗結果表明，機身姿態(tài)角的測量誤差在0.5°范圍內，滿足巷道掘進過程中對掘進機位姿參數測量的實時性、精確性的要求。

圖3 基于兩點三線的掘進機位姿檢測模型Fig.3 Model of position and pose detection of roadheaderbased on two points and three lines

基于視覺的掘進機位姿檢測方法主要以相機為基礎，以激光特征為信號來源，通過圖像處理技術以及相機投影模型，解算出掘進機機身相對于巷道坐標系的坐標。其中，涉及的關鍵技術包括圖像去噪、圖像增強特征檢測方法以及利用相機投影模型形成的掘進機位姿解算模型。

2 基于視覺的掘進機位姿檢測關鍵技術

基于視覺的掘進機位姿檢測以圖像為信息載體，采用圖像預處理技術改善圖像質量，提取圖像中顯著的特征，利用顯著的特征像素構建掘進機位姿檢測模型，從而借助相機投影模型解算掘進機位姿參數。

2.1 圖像預處理技術

煤礦井下環(huán)境復雜，高煤塵、低光照、強振動對圖像質量影響較大，不利于圖像特征的提取，為了突出圖像中的顯著特征，便于識別與解釋，需要對圖像進行預處理。杜雨馨等[13]采用多尺度Retinex算法對激光標靶圖像進行處理，該算法可以對圖像像素范圍進行動態(tài)壓縮，且在圖像色彩均衡方面有較好效果，實驗驗證該算法在雙尺度且尺度因子分別為σ1=2，σ2=20的情況下，對圖像的處理效果較好。

基于視覺的掘進機位姿檢測依據激光特征的不同，可分為激光光斑的掘進機視覺位姿檢測以及激光直線的掘進機視覺位姿檢測。圖像特征檢測方法以局部特征為主，局部特征通常指與最近鄰域相區(qū)別的像素鄰域，該像素鄰域通過構造特征量，來減少圖像發(fā)生尺度、旋轉、變化所帶來的影響，所以局部特征通常指局部不變特征。常用的圖像局部特征有圓和直線，基于視覺的掘進機位姿檢測以激光光斑與激光直線為主，利用圓和直線特征實現掘進機視覺位姿檢測。激光光斑的識別以圓特征的檢測為基礎，常用的圓特征檢測有加權質心法、Hough變換法、圓擬合法、高斯曲面擬合算法[14]，其中算法性能對比見表1。

表1 圓特征檢測算法性能比較Table 1 Performance comparison of circle featuredetection algorithms

由表1可知，以運算時間為代價的高斯曲面擬合算法精確度較高，加權質心法與圓擬合法運算速度較快但抗干擾能力較弱、精確度較低，Hough變換法雖然運算速度一般但精確度高，在要求運算速度一般的場合下，Hough變換法相對于加權質心法與圓擬合法有較強優(yōu)勢，同時具有與高斯曲面擬合算法一樣的抗干擾能力。

2.2 基于視覺的掘進機位姿檢測模型

基于視覺的掘進機位姿檢測主要利用相機針孔成像原理，并通過相機坐標系、機身坐標系、巷道坐標系的相互變換來實現掘進機位姿的檢測。其中，相機針孔成像模型表示三維物體點與圖像二維像素點之間的映射關系，這種映射關系通常利用相機內參來表達，而掘進機的外參表示相機相對于參考物之間的矩陣變換。杜雨馨等[13]利用相機成像原理建立了基于雙十字激光線的掘進機位姿視覺檢測模型，其中雙十字激光直線形成雙十字激光面，固定于機身的激光標靶得到雙十字激光直線，進而利用特征直線檢測方法得到特征直線的像素坐標，如圖4所示，從而求得雙十字激光面的方向向量，利用矩陣變換求得掘進機在巷道坐標系下的位姿。

圖4 基于雙十字激光線掘進機位姿視覺檢測模型Fig.4 Model for vision detection of position and poseof roadheader based on double cross laser

楊文娟等[14]利用相機成像模型建立了基于兩點三線的掘進機位姿視覺檢測模型，其中相機坐標系的焦點坐標以及三維空間的特征直線、二維圖像坐標系的投影直線構成虛擬平面，如圖5所示，并利用平面代數的方法得到三維空間的特征直線方向向量，結合三條激光直線的交點在定位模型坐標系的坐標[15]，并利用矩陣的線性變換，得到掘進機的旋轉矩陣與平移向量。

圖5 基于兩點三線的掘進機位姿視覺檢測模型Fig.5 Vision detection model of roadheader position andpose based on two points and three lines

3 基于視覺的掘進機位姿檢測發(fā)展趨勢

3.1 提升圖像采集硬件

基于視覺的掘進機位姿檢測利用圖像作為位姿檢測的特征來源，但井下低照度、高粉塵的惡劣巷道環(huán)境嚴重影響圖像的質量，降低了掘進機位姿檢測的精度，所以研究具有較強抗干擾能力的圖像采集裝置至關重要。開發(fā)具有除塵功能的圖像采集裝置，可以降低煤礦井下粉塵對圖像的影響，提高圖像質量，降低圖像特征提取的難度。張福明[16]研究了一種防爆相機視窗自動除塵裝置，該裝置主要有清潔裝置與數據采集裝置，其中數據采集裝置由能見度傳感器與視頻采集裝置構成，能見度傳感器用來對粉塵濃度進行監(jiān)控，視頻采集裝置實時采集能見度傳感器的數值，進而通過清潔裝置來實現防爆相機視窗的清潔。胡而已等[17]提出相機鏡頭自揭膜和自動除塵裝置，通過對鏡頭污染程度的判斷，進行揭膜操作以及自動清洗。

研究煤礦井下低照度環(huán)境下的圖像采集裝置，有利于提高掘進機位姿視覺檢測系統的適應性，促進視覺技術在煤機裝備上的應用。杭州?？低晹底旨夹g股份有限公司研究了一種能在低照度環(huán)境下進行彩色圖視覺體驗的黑光相機，該相機提升了圖像的信噪比、解析度、色彩還原度等性能，改善了煤礦井下低照度環(huán)境下圖像采集的質量。

近年來，嵌入式系統因便捷、靈巧，得到快速發(fā)展，系統內部集成針對各種特殊場景下的圖像處理方法，大大提高了圖像采集系統的適應性，同時也集成了大量深度學習以及人工智能算法，提高了圖像自適應處理能力，隨著新技術的發(fā)展，嵌入式系統的集成度將得到有效提高，圖像處理能力增強，成本大幅度降低，將會在煤礦井下的圖像處理場景中得到大幅應用。

3.2 提高視覺檢測系統的冗余性

基于視覺的掘進機位姿檢測系統，依靠單一視覺技術對煤機裝備進行位姿檢測以及定位定向容易受巷道復雜環(huán)境的影響，導致位姿檢測精度以及定位精度的降低，難以滿足煤礦井下的實際應用，因此采用多信息融合的掘進機位姿檢測方法，有利于提高檢測系統的穩(wěn)定性，常用于進行融合的技術有激光測距技術、慣導技術、全站儀測量技術等，在結合視覺技術獲取信息全面的情況下，彌補視覺測量技術易遮擋、適應差的缺點。

黃東等[18]使用捷聯慣導與單目視覺相結合的測量系統，實現了掘進機的位姿測量。其依據運動載體上的相機外參隨運動載體的變化而變化，通過捷聯慣導得到相機外參中的旋轉矩陣，并以激光點圖像作為信息來源，從攝像機的成像模型中解算出位置變量。何斐彥等[19]在雙盾隧道掘進機中使用了傾角儀與單目視覺的組合完成了雙盾掘進機前后盾位姿的檢測，其中光學特征點系統由空間幾何位置已知的主動發(fā)光點構成，傾角儀用來測得特征點系統的旋轉角度以及攝像機系統的旋轉角度，通過矩陣間的求逆變換以及相機內參變換公式，從而得出前后盾的位姿。

3.3 改進特征提取算法

基于視覺測量技術的位姿檢測系統，特征提取的準確率決定著檢測系統的精度，煤礦巷道環(huán)境復雜，采集的圖像特征提取的難度較大，現有的圖像特征提取算法依據環(huán)境的不同，需要采用不同的特征提取算法，且需要修改算法的參數，環(huán)境適應性較差，因此，需要研究環(huán)境適應性強的特征提取算法，根據環(huán)境特征實時進行調整，進而提高圖像特征提取的準確度，提高位姿檢測精度，提升系統的魯棒性。

目前，位姿檢測方法大多采用激光束在激光標靶的成像以及激光光學靶標構建視覺特征，需要在相機視野內能夠實時采集這些特征，但在煤礦巷道中設備繁雜，容易出現激光光線被遮擋以及相機采集的激光光學靶標不完全，所以需要研究一定條件下相機采集的激光點線圖像不完全的掘進機位姿視覺檢測方法。

4 結 論

巷道掘進是煤炭開采的重要環(huán)節(jié)，而掘進裝備位姿檢測與智能控制是實現巷道掘進信息感知以及自動執(zhí)行的關鍵，是實現煤礦智能化的基礎。視覺測量方法在測量領域具有非接觸、獲取信息全面的優(yōu)點，因此在掘進裝備位姿檢測與智能控制中具有重要作用，主要結論如下所述。

1) 掘進裝備位姿檢測作為掘進機裝備智能化發(fā)展的前沿技術已取得了較大進展，其中圖像預處理技術較大地提高了掘進機位姿檢測環(huán)境信息的清晰度，位姿檢測模型越來越精確，能更好地模擬井下實際工況。

2) 煤礦巷道環(huán)境復雜，高粉塵低照度的環(huán)境嚴重影響了圖像采集的質量，所以圖像采集裝置有待提高，特征提取的準確率以及基于視覺的掘進機位姿檢測系統的穩(wěn)定性有待改善。