礦井多視角圖像拼接方法研究

王紅堯， 吳佳奇， 林松， 王夢(mèng)雅， 趙國瑞

(1.中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院， 北京 100083；2.中煤科工集團(tuán)開采研究院有限公司, 北京 100013)

0 引言

為有效保障煤礦安全生產(chǎn)，目前大部分煤礦安裝使用了監(jiān)測(cè)監(jiān)控系統(tǒng)。因煤礦井下工作空間狹小，導(dǎo)致采集的圖像視野范圍較小[1]。為獲得分辨率高且大視角范圍圖像，有必要研究礦井多視角圖像拼接方法。

目前，基于圖像特征提取是主流的圖像拼接方法，應(yīng)用最廣泛的是基于特征點(diǎn)提取的方法，典型算法包括：SIFT(Scale-Invariant Feature Transform，尺度不變的特征變換)算法[2]，先進(jìn)行圖像檢測(cè)，再進(jìn)行圖像拼接，通過對(duì)特征進(jìn)行縮放、平移、旋轉(zhuǎn)等變換，增強(qiáng)相似特征的關(guān)聯(lián)性，提高圖像拼接效率；SURF(Speeded Up Robust Features，加速魯棒特征)算法[3]，較SIFT算法在圖像變換時(shí)更穩(wěn)定，耗時(shí)更短[4]；KAZE算法[5]，采用加性算子分裂算法求解非線性擴(kuò)散方程，以搭建非線性尺度空間[6]，保證在特征提取過程中保留圖像邊緣、細(xì)節(jié)特征；融合FAST(Features from Accelerated Segment Test)算法和Brief算法的ORB(Oriented FAST and Rotated Brief) 算法[7]，在提取特征點(diǎn)過程中抗干擾能力強(qiáng)且具有旋轉(zhuǎn)不變性，計(jì)算效率高，魯棒性強(qiáng)。

煤礦井下環(huán)境復(fù)雜，直接應(yīng)用上述算法進(jìn)行圖像拼接時(shí)會(huì)在圖像重疊部分產(chǎn)生裂縫和黑線。鑒此，本文基于ORB算法，結(jié)合改進(jìn)對(duì)比度受限的自適應(yīng)直方圖均衡化方法[8]、KNN(K-Nearest Neighbor，K最近鄰)算法[9]、RANSAC(Random Sample Consensus，隨機(jī)采樣一致性)算法[10]、帽子函數(shù)加權(quán)平均融合算法[11]等，提出了一種礦井多視角圖像拼接方法，并通過實(shí)驗(yàn)驗(yàn)證了該方法提取有效特征點(diǎn)的能力強(qiáng)，計(jì)算效率高，圖像拼接過渡自然，無裂縫、黑線現(xiàn)象，具有較好的拼接效果。

1 圖像拼接流程

礦井多視角圖像拼接流程如圖1所示。首先，采用一種改進(jìn)對(duì)比度受限的自適應(yīng)直方圖均衡化方法對(duì)圖像進(jìn)行預(yù)處理，以突出圖像細(xì)節(jié)，提高對(duì)比度；其次，選用ORB算法提取圖像特征點(diǎn)，采用改進(jìn)的Brief算法計(jì)算特征描述子；再次，通過KNN算法實(shí)現(xiàn)特征點(diǎn)對(duì)粗匹配，基于RANSAC算法對(duì)誤匹配特征點(diǎn)對(duì)進(jìn)行篩選、消除，并求解最優(yōu)透視變換矩陣，對(duì)待匹配圖像像素點(diǎn)進(jìn)行坐標(biāo)變換；最后，采用帽子函數(shù)加權(quán)平均融合算法對(duì)固定圖像和待匹配圖像進(jìn)行拼接融合。

圖1 礦井多視角圖像拼接流程Fig.1 Stitching flow of mine multi-view images

2 圖像拼接原理

2.1 圖像預(yù)處理

采用改進(jìn)對(duì)比度受限的自適應(yīng)直方圖均衡化方法進(jìn)行圖像預(yù)處理。設(shè)圖像灰度直方圖幅值上限為C，幅值大于C的區(qū)域?yàn)門，將T平均分配到N個(gè)灰度級(jí)上(整個(gè)灰度范圍)，確?；叶戎狈綀D的總面積恒定。則灰度直方圖提升值為

(1)

設(shè)灰度直方圖幅值下限為U，則

U=C-L

(2)

確定L后對(duì)圖像灰度直方圖進(jìn)行如下處理：① 若某區(qū)域的灰度直方圖幅值大于C，則將其幅值置為C；② 若某區(qū)域的灰度直方圖幅值大于U且小于C，則將其幅值提升至C；③ 若某區(qū)域的灰度直方圖幅值小于U，則將其幅值提升L。

采用該方法對(duì)礦井圖像進(jìn)行預(yù)處理解決了灰度級(jí)丟失問題，突出了圖像細(xì)節(jié)，可提高圖像對(duì)比度，實(shí)現(xiàn)圖像去霧增強(qiáng)，有利于后續(xù)圖像特征點(diǎn)提取。

2.2 特征點(diǎn)提取

采用ORB算法提取圖像特征點(diǎn)。首先選定圖像中某個(gè)像素點(diǎn)；然后以該像素點(diǎn)坐標(biāo)為圓心、R為半徑確定一個(gè)圓形區(qū)域；最后將圓形區(qū)域邊界上的像素點(diǎn)灰度值X與圓心像素點(diǎn)灰度值O做差，其絕對(duì)值與設(shè)定閾值δ比較。特征點(diǎn)判定公式為

|X-O|>δ

(3)

在計(jì)算過程中，每次選取邊界上4個(gè)像素點(diǎn)進(jìn)行計(jì)算，若不少于3個(gè)像素點(diǎn)滿足式(3)要求，再選取另外4個(gè)像素點(diǎn)進(jìn)行計(jì)算。當(dāng)9個(gè)像素點(diǎn)滿足式(3)要求時(shí)，確定圓心像素點(diǎn)為圖像特征點(diǎn)。

采用上述方法遍歷圖像得到所有特征點(diǎn)后，用Harris算法篩選特征點(diǎn)，選取最優(yōu)角點(diǎn)作為ORB角點(diǎn)。為使ORB角點(diǎn)具備旋轉(zhuǎn)不變性，將圓形區(qū)域看作密度不均的圓形物體，每一像素點(diǎn)的像素值為該點(diǎn)質(zhì)量。利用質(zhì)心法則計(jì)算圓形區(qū)域的質(zhì)心，連接圓心與質(zhì)心，規(guī)定連接線方向?yàn)閳A形區(qū)域的橫軸方向，垂直該方向?yàn)樨Q軸方向，在此區(qū)域內(nèi)角點(diǎn)具有旋轉(zhuǎn)不變性。

接下來采用Brief算法計(jì)算特征描述子?？紤]到該算法抗噪性較弱，對(duì)其進(jìn)行改進(jìn)，將單個(gè)像素點(diǎn)像素值的對(duì)比轉(zhuǎn)換為5×5小范圍區(qū)域內(nèi)像素值的求和比較，從而提高計(jì)算效率，節(jié)省存儲(chǔ)空間，且提高抗噪性能。

2.3 特征匹配

在完成特征描述子計(jì)算后，對(duì)固定圖像和待匹配圖像的特征描述子進(jìn)行匹配。采用KNN算法粗略判斷固定圖像和待匹配圖像特征描述子的相似性，得到一系列特征點(diǎn)對(duì)；再采用RANSAC算法對(duì)特征點(diǎn)對(duì)進(jìn)行提純，以消除錯(cuò)誤點(diǎn)對(duì)，提高有效特征點(diǎn)對(duì)比例，得到最優(yōu)透視變換矩陣。

在KNN算法中，設(shè)置Hamming距離[12]作為距離度量，計(jì)算公式為

(4)

式中：D(l,r)為Hamming距離；l,r分別為固定圖像、待匹配圖像特征描述子集合；M為特征描述子總數(shù)；mi，ni分別為固定圖像、待匹配圖像的某一特征描述子。

2.4 坐標(biāo)變換

采用RANSAC算法求解得到的最優(yōu)透視變換矩陣，可將待匹配圖像中的像素點(diǎn)通過坐標(biāo)變換映射到固定圖像坐標(biāo)系，進(jìn)而實(shí)現(xiàn)圖像拼接[13]。

最優(yōu)透視變換矩陣為3×3矩陣，包含8個(gè)未知數(shù)。設(shè)最優(yōu)透視變換矩陣為K，固定圖像中的像素點(diǎn)坐標(biāo)為(x1,y1)，待匹配圖像中的像素點(diǎn)坐標(biāo)為(x2,y2)，則待匹配圖像像素點(diǎn)坐標(biāo)變換公式為

(5)

式中：k0，k1為改變圖像縮放變換的系數(shù)；k2，k5為控制圖像透視變換的系數(shù)；k3,k4為改變圖像旋轉(zhuǎn)角度的系數(shù);k6，k7為改變圖像平移距離的系數(shù)。

2.5 圖像融合

完成待匹配圖像像素點(diǎn)坐標(biāo)變換后，采用帽子函數(shù)加權(quán)平均融合算法對(duì)固定圖像和待匹配圖像進(jìn)行拼接融合[14-15]。將固定圖像和待匹配圖像重疊部分中心處像素點(diǎn)的權(quán)值設(shè)為權(quán)值最大值，將像素點(diǎn)權(quán)值從中心位置向兩側(cè)逐漸減小，實(shí)現(xiàn)2張圖像漸進(jìn)加權(quán)融合。

2張圖像重疊部分像素點(diǎn)的權(quán)值為

(6)

式中：(xj,yj)為像素點(diǎn)j坐標(biāo)；W，H分別為圖像寬度和高度。

為了統(tǒng)一計(jì)算單位，對(duì)w(xj,yj)進(jìn)行歸一化處理，得到加權(quán)權(quán)值：

(7)

式中J為圖像重疊部分的像素點(diǎn)數(shù)。

由此可得融合圖像：

(8)

利用式(8)進(jìn)行圖像拼接可消除裂縫、黑線現(xiàn)象，使拼接處過渡更加自然，拼接圖像更加清晰。

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文方法的性能，采用某煤礦井下監(jiān)控圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM)i7-4720HQCPU @ 2.60 GHz、8 GB內(nèi)存、64 bit的Windows7臺(tái)式電腦。

3.1 特征點(diǎn)提取實(shí)驗(yàn)

分別采用SIFT，KAZE，ORB算法對(duì)圖像數(shù)據(jù)進(jìn)行特征點(diǎn)提取實(shí)驗(yàn)，結(jié)果如圖2—圖4所示，左右分別為原始圖像和提取的特征點(diǎn)。

3種算法對(duì)輸送帶圖像的特征點(diǎn)提取結(jié)果見表1。可看出SIFT算法提取的特征點(diǎn)較多，耗時(shí)較長；KAZE算法提取的特征點(diǎn)相對(duì)較少，耗時(shí)最長；ORB算法提取的特征點(diǎn)最少，分別較SIFT，KAZE算法減少48%，33%，且特征提取耗時(shí)最短，分別較SIFT，KAZE算法減少17%，34%。結(jié)合圖2—圖4可看出，ORB算法對(duì)井下圖像有效特征點(diǎn)的提取能力強(qiáng)且用時(shí)少，特征點(diǎn)提取效果最好，較好地解決了井下圖像因粉塵干擾造成的細(xì)節(jié)特征不易提取問題。從圖4可看出，ORB算法對(duì)井下多個(gè)場(chǎng)景的不同視角圖像進(jìn)行特征點(diǎn)提取均具有較好的效果。

表1 輸送帶圖像特征點(diǎn)提取實(shí)驗(yàn)結(jié)果Table 1 Experimental results of feature point extraction for conveyor belt image

3.2 圖像融合實(shí)驗(yàn)

分別采用將待匹配圖像進(jìn)行坐標(biāo)變換后直接與固定圖像融合方法、本文方法對(duì)煤礦井下不同場(chǎng)景的監(jiān)控圖像進(jìn)行拼接融合實(shí)驗(yàn)，結(jié)果如圖5所示。可看出因圖像視角范圍、亮度不同，采用直接融合方法的拼接圖像在連接處出現(xiàn)黑線，圖像過渡不自然；采用本文方法的拼接圖像連接處不存在黑線、裂縫，圖像更加自然、清晰。

(a) 輸送帶圖像直接融合

(c) 巷道圖像直接融合

(e) 掘進(jìn)機(jī)圖像直接融合

4 結(jié)論

(1) 針對(duì)煤礦井下監(jiān)控圖像存在的視野范圍較小、細(xì)節(jié)特征不清晰等缺點(diǎn)，提出了一種礦井多視角圖像拼接方法：采用改進(jìn)對(duì)比度受限的自適應(yīng)直方圖均衡化方法對(duì)圖像進(jìn)行預(yù)處理，采用ORB算法提取圖像特征點(diǎn)，采用KNN，RANSAC算法進(jìn)行特征匹配及最優(yōu)透視變換矩陣求解，對(duì)待匹配圖像像素點(diǎn)進(jìn)行坐標(biāo)變換后，采用帽子函數(shù)加權(quán)平均融合算法對(duì)待匹配圖像和固定圖像進(jìn)行拼接融合。

(2) 特征點(diǎn)提取實(shí)驗(yàn)結(jié)果表明：與SIFT，KAZE算法相比，ORB算法對(duì)于單張圖像提取的特征點(diǎn)數(shù)分別減少了48%，33%，提取有效特征點(diǎn)的能力較強(qiáng)，有助于改善特征匹配精度；特征提取耗時(shí)分別減少了17%，34%，提高了計(jì)算效率。

(3) 圖像融合實(shí)驗(yàn)結(jié)果表明，基于本文方法的拼接圖像避免了連接處的裂縫、黑線現(xiàn)象，圖像過渡自然，清晰度高，滿足礦山智能化應(yīng)用對(duì)井下高質(zhì)量全景圖像數(shù)據(jù)的需求。