基于改進(jìn)ORB的低照度巖心熒光圖像拼接技術(shù)*

張　瀟　熊淑華　卿粼波

(四川大學(xué)電子信息學(xué)院　成都　610065)

?

基于改進(jìn)ORB的低照度巖心熒光圖像拼接技術(shù)*

張瀟熊淑華卿粼波

(四川大學(xué)電子信息學(xué)院成都610065)

傳統(tǒng)的ORB算法對于特征信息豐富的圖像拼接已經(jīng)有了不錯的效果,但是對于石油地質(zhì)勘探中的巖心圖像,特別是低照度巖心熒光圖像,現(xiàn)有ORB算法誤匹配率較高,從而導(dǎo)致不能有效地進(jìn)行后續(xù)的圖像拼接。針對該問題,論文分析了原ORB算法的缺陷,采用基于人眼視覺系統(tǒng)的FREAK描述算子改進(jìn)了原ORB算法,并命名為IORB(Improved ORB)算法。實驗結(jié)果表明,改進(jìn)算法對于熒光圖像的拼接在保證時間代價的基礎(chǔ)上得到了理想的正確匹配率,并提升了后續(xù)拼接過程的拼接效果。

巖心熒光圖像拼接; ORB; FREAK

Class NumberTP391.41

1　引言

在石油地質(zhì)勘探中,巖心是評價地層油氣水和研究地質(zhì)結(jié)構(gòu)最直觀的參考資料[1]。但由于巖心掃描儀中線陣CCD成像范圍的限制,需多次采集巖心小圖,再運(yùn)用圖像拼接技術(shù)形成一張完整的巖心大圖[2]。傳統(tǒng)基于SIFT算法和基于SURF算法的圖像拼接技術(shù)應(yīng)用到巖心圖像上已經(jīng)取得理想的拼接效果,但是由于采集到的單幅巖心樣本圖像尺寸比較大的緣故,上述兩種算法時間代價非常大,特別是SIFT算法,這在石油地質(zhì)部門的實際應(yīng)用中是首要解決的問題,因此本文引入了Ethan Rublee等于2011年提出的ORB[3]算法。

該算法在特征信息明顯的圖像匹配中已經(jīng)表現(xiàn)出可觀的時間性能,并且得到了較為不錯的匹配效果。但是當(dāng)運(yùn)用到巖心熒光圖像上時,由于算法中描述算子在特征點描述過程中的局域缺陷問題,從而不能達(dá)到足夠高的正確匹配率,最后導(dǎo)致拼接效果不理想甚至拼接失敗。

針對上述問題,本文提出了一種ORB算法的改進(jìn)算法,該算法在圖像尺度金字塔上通過FAST算子檢測特征點,然后通過FREAK算子來建立描述符,最后采用漢明距離進(jìn)行特征點粗匹配。通過IORB算法匹配特征點之后,采用RANSAC算法剔除誤匹配點[4],并運(yùn)用多分辨率融合算法[5]對拼接縫做平滑處理并進(jìn)行圖像融合,最后得到了理想的拼接效果。

2　ORB特征點匹配算法

在ORB算法中,首先建立尺度空間圖像金字塔,然后在圖像金字塔中使用FAST角點檢測子定位關(guān)鍵點,再通過BRIEF描述算子在圖像金字塔中描述不同尺度中的關(guān)鍵點特征,最后通過漢明距離進(jìn)行特征點粗匹配。

2.1特征點檢測

在ORB算法中,首先構(gòu)建圖像尺度空間金字塔,然后在每層金字塔圖像上采用FAST算子檢測特征點[7],并且給特征點加上主方向信息,構(gòu)成oFAST(oriented FAST)。

FAST檢測特征點的步驟為：從圖片中選擇一個點P,并設(shè)其灰度值為Ip;將該點與以其為中心的圓周上的16個點相比較,若這16個點中有N(本文實驗中N取值為9)個連續(xù)點的灰度值都大于或小于中心點P的灰度值,那么該點就是一個角點[8]。然后利用Harris角點檢測,從FAST特征點里面選出角點響應(yīng)值最大的N個點。最后給角點添加主方向信息。對于任意一個特征點P來說,可以設(shè)點P鄰域像素的灰度矩為

(1)

其中,I(x,y)為點(x,y)的灰度值?；叶染匦脑O(shè)為

(2)

由此可以得出特征點主方向為

(3)

2.2特征點描述

ORB采用BRIEF算法來計算一個特征點的描述子,最后將參與計算BRIEF特征的像素點旋轉(zhuǎn)到角點方向,這種描述子稱為rBRIEF(rotated BRIEF)。

rBRIEF描述子是在圖像高斯平滑后大小為31*31像素塊內(nèi),選取服從N(N一般取256)組高斯分布隨機(jī)測試點,對這N組測試點對進(jìn)行二進(jìn)制差異檢測,其中每個測試點是一個5*5的子窗口[9]。對于一個圖像塊p,定義二值化檢測為

(4)

其中,p(x)是點x處圖像塊p的平均灰度值。當(dāng)選取N組測試點對時,求得的描述子為

(5)

rBRIEF使用上文的特征點主方向θ給描述子添加主方向信息,最后得到描述子為

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(6)

2.3特征點匹配

當(dāng)計算出描述子后,通過比較描述子的相似性便可實現(xiàn)特征點匹配。ORB中采用漢明距離來表示描述子的相似性。在本文實驗中,采用最近鄰距離和次近鄰距離的比值T來進(jìn)行特征點粗匹配。當(dāng)T小于閾值w(一般在0.6～0.8之間取值)時,便認(rèn)為最近鄰距離對應(yīng)的特征點即為粗匹配點對。

2.4本實驗中ORB算法的缺陷

局部圖像特征描述的核心問題在于不變性和可區(qū)分性。由于本文針對的是低照度巖心熒光圖像,采集頭水平移動所采集到的多幅熒光樣本小圖尺寸一致,并且不涉及到圖像旋轉(zhuǎn),同時考慮到樣本圖像所具有的特征點信息相似度高的特性,局部圖像的特征描述應(yīng)該側(cè)重于可區(qū)分性。

然而特征描述子可區(qū)分性的強(qiáng)弱往往和不變性是矛盾的,也就是說,一個具有較高不變性的特征描述子,它區(qū)分局部內(nèi)容的能力就稍弱,ORB算法中的BRIEF正是這樣一個描述子。該算法通過構(gòu)建尺度空間金字塔以及添加灰度矩方向的方法分別提升了BRIEF描述子的尺度不變性以及旋轉(zhuǎn)不變性,而描述子的可區(qū)分性表現(xiàn)較差。同時BRIEF描述子是以圖像塊為基礎(chǔ)的采樣模式,遠(yuǎn)近距離測試均等,而近距離測試具有更好的局域性質(zhì)。因此當(dāng)該算法應(yīng)用到低照度巖心熒光圖像上時,出現(xiàn)了誤匹配率較高的現(xiàn)象,并且由于熒光圖像中特征信息相似度極高,在通過RANSAC算法剔除誤匹配點后仍然存在誤匹配點對,嚴(yán)重影響到了后續(xù)的拼接效果。

因此本文利用FREAK描述子來進(jìn)行原ORB算法的改進(jìn),該描述子采取了更為接近于人眼視網(wǎng)膜接受圖像信息的采樣模型。

3　改進(jìn)的IORB特征點匹配算法

考慮到上述原ORB算法在當(dāng)前應(yīng)用背景下的缺陷,本文采用了FREAK描述子來進(jìn)行特征點描述,該描述子選取了人眼視網(wǎng)膜接受圖像信息的采樣模型。

3.1FREAK描述算子

人體視覺系統(tǒng)的視網(wǎng)膜中存在感受光線的區(qū)域,其中感受域被分為：中央凹、旁中央凹、遠(yuǎn)中央凹和周邊區(qū)[10]。在識別物體時,感受域的四個區(qū)域完成不同的功能：中央凹區(qū)獲得高精度圖像信息,周邊區(qū)獲得低精度圖像信息。FREAK描述子便是Alexandre Alahi等于2012年基于此原理而提出來的。在FREAK特征描述中,采樣模式選取了人眼視網(wǎng)膜拓?fù)浣Y(jié)構(gòu)。從圖1中可以看出,離特征點越近,采樣點越密集,反之采樣點越稀疏。每個采樣點先要進(jìn)行高斯平滑處理,從一定程度上削弱了噪聲的影響。

圖1　FREAK描述子采樣模式

FREAK中通過采樣點和高斯核卷積之后比較強(qiáng)度值來構(gòu)造描述符算子。假設(shè)F是二進(jìn)制描述符,那么：

(7)

(8)

2) 然后計算矩陣D中每列元素的均值,由于矩陣D中的元素都是0/1分布,所以如果計算某列均值越接近0.5則表明該列具有越高的方差。方差越大表示特征描述信息越多[10];

3) 再利用上面求得的每列的均值進(jìn)行排序,選取均值最接近0.5的那列排在最前面,均值與0.5相差越遠(yuǎn)排在越靠后,由此來構(gòu)造新的描述符。選取排序后的前Q(本文實驗中Q取值512)列作為新的二進(jìn)制描述符算子。

經(jīng)過上面的三步后,便可得到了Qbit的二進(jìn)制描述符,這種描述符按照高方差到低方差排列。由于FREAK描述算子同心圓采樣結(jié)構(gòu)使其本身具有了一定的旋轉(zhuǎn)不變性,它拋棄了FAST檢測算子中灰度矩的方向,同時對每個采樣點進(jìn)行高斯模糊,也使其具有一定的抗噪性能,最后基于視網(wǎng)膜的采樣模式令其克服了BRIEF描述子采樣模式的局域缺陷。由此生成的FREAK特征對于巖心熒光圖像的特征匹配具有較強(qiáng)的局部可區(qū)分性。

對于由上面的步驟得到的Q(Q一般取512)bit的二進(jìn)制描述符,在特征點匹配時采用了一種叫做掃視搜索的匹配方法：先選取描述子的前128bit即16bytes進(jìn)行漢明距離的匹配,構(gòu)成第一級匹配,若特征點最近鄰距離和次鄰距離的比值T小于設(shè)定的閾值w就進(jìn)行第二級的比較,以此類推[11]。運(yùn)用這種方法,可以使90%以上的誤匹配描述算子通過前128bit便可篩除。

3.2IORB算法

改進(jìn)后的IORB匹配算法的流程圖如圖2所示。

圖2IORB算法流程圖

4　實驗結(jié)果與分析

4.1原ORB算法的圖像匹配

在本文實驗中,實驗所用計算機(jī)處理器為Intel(R) Core(TM) i5-2300 CPU @ 2.80GHz,內(nèi)存為4GB。在特征點匹配這一步驟,分別選取四個不同的閾值w(0.80、0.75、0.70、0.65)進(jìn)行對比實驗,同一組對比實驗中閾值w保持一致。圖3、圖4分別是兩組巖心熒光圖像a、b(a、b的尺寸分別為3004*1740、5184*3456)在w=0.75時的圖像匹配情況。

圖3　w=0.75:ORB算法找出49對匹配點,正確23對(圖像a)

圖4　w=0.75:ORB算法找出57對匹配點,正確18對(圖像b)

4.2改進(jìn)后IORB算法的圖像匹配

改進(jìn)后的IORB算法依舊采取了0.80、0.75、0.70、0.65四種不同的閾值w進(jìn)行特征點匹配對比實驗。圖5、圖6分別是在w為0.75時的圖像匹配情況。

圖5　w=0.75:IORB算法找出54對匹配點,正確48對(圖像a)

圖6　w=0.75:IORB算法找出39對匹配點,正確32對(圖像b)

4.3實驗分析

另外幾組閾值的實驗數(shù)據(jù)以表格的形式呈現(xiàn)在表1中。

從表1可清楚看出,ORB算法和IORB算法都具有很快的計算速度,這是傳統(tǒng)SIFT算法和SURF算法不能夠達(dá)到的。而且從四組對比實驗中可以看出改進(jìn)后的IORB算法整體正確匹配率都要比原ORB算法高很多。實驗結(jié)果有效地表明了IORB算法對于低照度的巖心熒光圖像的圖像匹配具有很好的時間性能與正確匹配率。

表1　特征點匹配對比實驗結(jié)果

在本文實驗中,對于上面的實驗結(jié)果采用RANSAC算法對提取到的匹配點進(jìn)行再次篩選,得到表2中的RANCAC精確匹配結(jié)果。

表2　RANSAC匹配結(jié)果

從表2可以看出,使用原ORB算法進(jìn)行特征點匹配后,然后再采用RANSAC剔除錯誤匹配對,但是結(jié)果顯示四種不同的閾值實驗中基本上都會存在錯誤匹配點對,影響了后續(xù)對拼接變換矩陣的求解,從而不能達(dá)到理想的拼接結(jié)果。但是使用本文實驗中的IORB算法進(jìn)行特征點匹配之后,再采用RANSAC算法剔除錯誤匹配對,四種不同的閾值w均可以達(dá)到100%的正確匹配率,進(jìn)一步證實了改進(jìn)后的IORB算法對于匹配率有了明顯的提高。

最后采用多分辨率融合算法對圖像進(jìn)行平滑拼接,得到了圖7的圖像拼接結(jié)果圖。

圖7　IORB算法的拼接結(jié)果

從圖7中可以看出,運(yùn)用本文IORB圖像匹配算法得到了一個很好的拼接效果。

5　結(jié)語

針對ORB算法對于巖心熒光圖像匹配有著較高誤匹配率的問題,本文采用基于人眼視網(wǎng)膜成像模型的FREAK描述子替換原ORB算法中的BRIEF描述子,在保證時間性能的基礎(chǔ)上,大幅度提高了特征點的匹配率。從整體上來看,運(yùn)用本文中的IORB算法不僅彌補(bǔ)了SIFT算法和SURF算法時間代價大的不足,對于圖像的匹配也能保證理想的正確匹配率,這對于特征信息相似度較高的低照度巖心熒光圖像的匹配拼接有著重要的實際應(yīng)用意義。

[1] 楊玉臣,馬玉忠.巖心圖像掃描技術(shù)的開發(fā)及應(yīng)用[J].錄井技術(shù),2002(2):43-46.

YANG Yuchen, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.

[2] 王丹,卿粼波,滕奇志,等.基于SURF-球面模型的巖心圖像拼接[J]. 科學(xué)技術(shù)與工程,2014,36:217-221.

WANG Dan, QING Linbo, HE Haibo. The core images stitch based on SURF-surface model[J]. Science Technology and Engineering,2014,36:217-221.

[3] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//Proceedings of IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press,2011:2564-2571.

[4] 胡明,王正勇,卿粼波,等.一種穩(wěn)健的低照度巖心樣本圖像拼接算法的實現(xiàn)[J].四川大學(xué)學(xué)報(自然科學(xué)版),2015(3):547-556.

HU Ming, WANG Zhengyong, QING Linbo, LIU Yue. The realization of a robust stitching algorithm for low illuminated core sample images[J]. Sichuan University(Natural Science),2015(3):547-556.

[5] 劉躍,吳曉紅,王正勇,等.基于多分辨率圖像融合算法的巖心圖像拼接[J].太赫茲科學(xué)與電子信息學(xué)報,2014(2):290-294,298.

LIU Yue, WU Xiaohong, WANG Zhengyong, KONG Ziyang. Core Images Stitching Based on Multi-Resolution Image Fusion Algorithm[J]. Terahertz Electronics Science and Information Technology,2014(2):290-294,298.

[6] Alahi A, Ortiz R, Vandergheynst P. Freak: Fast retina keypoint[C]//Proceedings of the Computer Vision and Pattern Recognition. Providence, USA,2012:510-517.

[7] 張云生,鄒崢嶸.基于改進(jìn)ORB算法的遙感圖像自動配準(zhǔn)方法[J].國土資源遙感,2013(3):20-24.

ZHANG Yunsheng, ZOU Zhengrong. The remote sensing image registration method based on improved ORB[J]. Remote Sensing of Land and Resources,2013(3):20-24.

[8] 佘建國,徐仁桐,陳寧.基于ORB和改進(jìn)RANSAC算法的圖像拼接技術(shù)[J].江蘇科技大學(xué)學(xué)報(自然科學(xué)版),2015(2):164-169.

SHE Jianguo, XU Rentong, CHEN Ning. The stitching technology of image based on ORB and improved RANSAC algorithm[J]. Jiangsu University of Science and Technology (Natural Science),2015(2):164-169.

[9] 曾世聰,郭太良,林志賢.基于ORB和角點方向夾角約束的快速圖像配準(zhǔn)方法[J].電視技術(shù),2015(9):75-79.ZENG Shicong, GUO Tainiang, LIN Zhixian. Fast image registration method based on ORB and corner angle constraint direction[J]. TV Technology,2015(9):75-79.

[10] 王燦進(jìn),孫濤,陳娟.基于FREAK特征的快速景象匹配[J].電子測量與儀器學(xué)報,2015(2):204-212.

WANG Canjin, SUN Tao, CHEN Juan. Fast scene matching based on FREAK feature[J]. Electronic Measurement and Instrument,2015(2):204-212.

[11] 王宇霞,趙清杰,趙留軍.基于FREAK和P3CA的魯棒目標(biāo)跟蹤[J].計算機(jī)學(xué)報,2015(6):1188-1201.

WANG Yuxia, ZHAO Qingjie, ZHAO Liujun. Robust tracking based on FREAK and P3CA[J]. Journal of Computers,2015(6):1188-1201.

[12] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測繪,2014(4):23-26,22.

SUO Chunbao, YANG Dongqing, LIU Yunpeng. Comparison of a variety of angles of SIFT、SURF、BRISK、FREAK algorithm[J]. Beijing Surveying and Mapping,2014(4):23-26,22.

Stitching Technology of Low Illuminated Core Fluorescence Images Based on Improved ORB

ZHANG XiaoXIONG ShuhuaQING Linbo

(College of Electronic and Information, Sichuan University, Chengdu610065)

The traditional ORB algorithm for image stitching has good effect. But for core image of petroleum geology exploration, especially low illuminated core fluorescence image, existing ORB algorithms has higher rate of mistake matching, resulting in not valid for subsequent image stitching. For this problem, this paper analyzes the shortcomings of the original algorithm ORB, and improves the original algorithm ORB by using FREAK description operators what based on the human visual system, and it is named IORB(improved ORB) algorithm. Experimental results show that improved algorithm for image stitching fluorescence gets the ideal correct matching rate in the guaranteed time on the basis of the cost and enhances the effect of the subsequent stitching process of stitching.

stitching of low illuminated core fluorescence images, ORB, FREAK

2016年4月6日,

2016年5月26日

張瀟,男,碩士研究生,研究方向:多媒體通信與信息系統(tǒng)。熊淑華,女,博士,副教授,研究方向：通信與信息處理。卿粼波,男,博士,副教授,研究方向：信號與信號系統(tǒng)、圖像處理、圖像通信。

TP391.41

10.3969/j.issn.1672-9722.2016.10.036