一種改進(jìn)的醫(yī)學(xué)圖像深度信息恢復(fù)算法

郭姝言,劉　橋,盧　進(jìn)

(長(zhǎng)沙理工大學(xué) 電氣與信息工程學(xué)院,湖南 長(zhǎng)沙　410114)

一種改進(jìn)的醫(yī)學(xué)圖像深度信息恢復(fù)算法

郭姝言,劉橋,盧進(jìn)

(長(zhǎng)沙理工大學(xué) 電氣與信息工程學(xué)院,湖南 長(zhǎng)沙410114)

摘要針對(duì)醫(yī)學(xué)圖像深度信息恢復(fù)的實(shí)時(shí)性問(wèn)題,提出了一種Harris角點(diǎn)檢測(cè)與SIFT特征點(diǎn)檢測(cè)相結(jié)合的算法,提取醫(yī)學(xué)圖像的特征點(diǎn),采用歐式距離作為相似性判定準(zhǔn)則將特征點(diǎn)進(jìn)行匹配,克服了傳統(tǒng)SIFT算法提取特征點(diǎn)過(guò)多、耗時(shí)長(zhǎng)的問(wèn)題。并對(duì)獲得較致密的視差圖,運(yùn)用三角測(cè)量的方法恢復(fù)醫(yī)學(xué)圖像的深度信息。實(shí)驗(yàn)結(jié)果表明,文中所提算法在縮短了醫(yī)學(xué)圖像深度信息恢復(fù)的時(shí)間的同時(shí)提高了精度,驗(yàn)證了該算法的有效性。

關(guān)鍵詞雙目立體視覺(jué);Harris;SIFT;圖像匹配;深度信息恢復(fù)

Medical Image Depth Information Recovery Based on Binocular Stereo Vision

GUO Shuyan,LIU Qiao,LU Jin

(College of Electrical and Information Engineering,Changsha University of

Science and Technology,Changsha 410114,China)

AbstractA Harris-SIFT algorithm is proposed to extract the medical image feature points at first for real-time medical image depth information recovery.The Euclidean distance is used as the similarity criterion for matching the feature points.This matching algorithm reduces the feature points and time consumption of SIFT extraction.The denser disparity maps are processed by the triangulation method to recover the depth information of medical image.The experimental result shows that the proposed algorithm effectively reduces the medical image depth information recovery time and improves the accuracy.

Keywordsbinocular stereo vision;Harris;SIFT;image matching;depth information recovering

視覺(jué)是人類觀察和感知世界的一種重要手段,雙目立體視覺(jué)的研究目標(biāo)就是使機(jī)器人具備通過(guò)幾幅圖片來(lái)認(rèn)知周?chē)h(huán)境的能力,從二維圖像中感知、獲得三維世界的信息,目前已被廣泛應(yīng)用于遙感圖像分析、道路跟蹤、特定目標(biāo)識(shí)別、醫(yī)學(xué)圖像處理、多媒體技術(shù)等方面?；陔p目立體視覺(jué)的三維重建技術(shù)是近年來(lái)視覺(jué)技術(shù)領(lǐng)域中迅速發(fā)展的一個(gè)新技術(shù)。文獻(xiàn)[1]總結(jié)了近年來(lái)三維重構(gòu)的研究成果和計(jì)算方法,其中有Harris角點(diǎn)檢測(cè)算法、邊緣提取算子、Canny邊緣檢測(cè)算法和圖像匹配算法。這些算法在圖像處理中各有優(yōu)劣。文獻(xiàn)[2]運(yùn)用Canny算子檢測(cè)圖像邊緣,提取圖像的輪廓信息并進(jìn)行匹配。該算法降低了計(jì)算復(fù)雜度和成本。文獻(xiàn)[3~4]提出了基于雙目立體視覺(jué)的物體識(shí)別與定位,提高了采摘機(jī)器人視覺(jué)系統(tǒng)的定位精度。文獻(xiàn)[5]針對(duì)農(nóng)業(yè)害蟲(chóng),提出了一種新的三維重建算法,該算法降低了平均誤差和百分比誤差,提高了害蟲(chóng)重建的精度。萬(wàn)智萍[6]等對(duì)有一定程度模糊的圖片設(shè)計(jì)開(kāi)發(fā)了雙目立體視覺(jué)的監(jiān)控跟蹤系統(tǒng),能夠?qū)崿F(xiàn)對(duì)監(jiān)控區(qū)域的物體進(jìn)行距離測(cè)量和識(shí)別。張順嵐[7]等提出了一種基于雙目視覺(jué)的新的三維人臉識(shí)別算法,完成了人臉二維圖像采集和反向傳播神經(jīng)網(wǎng)絡(luò)識(shí)別工作,提高了識(shí)別的正確率,縮短了識(shí)別時(shí)間。原思聰[8]等在基于SIFT的特征點(diǎn)匹配的基礎(chǔ)上加入極線約束的方法,去除了大部分虛假匹配。趙本東[9]等綜合了Susan和Harris兩種算法的優(yōu)點(diǎn),提出了一種改進(jìn)的角點(diǎn)特征提取算法,該算法具有較好的角點(diǎn)檢測(cè)性能。張棟棟[10]等基于區(qū)域匹配的方法對(duì)圖像進(jìn)行特征點(diǎn)匹配,完成電池的三維重建。

本文重點(diǎn)研究了雙目立體視覺(jué)下的醫(yī)學(xué)圖像匹配與深度信息恢復(fù),為了克服SIFT提取的特征不是人們視覺(jué)中的角點(diǎn),且計(jì)算量較大,實(shí)時(shí)性差的問(wèn)題,提出了一種將Harris算子和SIFT算子相結(jié)合的算法,以便于較準(zhǔn)確、快速地提取特征點(diǎn),對(duì)醫(yī)學(xué)圖像進(jìn)行匹配,得出視差圖,最后通過(guò)三角測(cè)量的方法恢復(fù)醫(yī)學(xué)圖像的深度信息。

1雙目立體視覺(jué)系統(tǒng)模型

雙目立體視覺(jué)的基本原理是從兩個(gè)視點(diǎn)觀察同一景物,以獲取在不同視角下的感知圖像,然后通過(guò)三角測(cè)量原理計(jì)算圖像像素間的位置偏差來(lái)獲取景物的三維信息。本文重點(diǎn)研究的是兩臺(tái)攝像機(jī)平行放置的雙目視覺(jué)系統(tǒng)。圖1給出了雙目成像系統(tǒng)的平面示意圖,圖中的L和R分別代表左右兩個(gè)攝像機(jī),f表示焦距,這樣就構(gòu)成了一個(gè)主光軸平行的雙目視覺(jué)模型。

圖1　雙目視覺(jué)成像系統(tǒng)

三角測(cè)量法恢復(fù)深度信息的原理圖,如圖2所示,CL、CR分別表示左右攝像機(jī)的光心的位置;f表示攝像機(jī)的焦距;b表示CL與CR之間的距離。目標(biāo)上的點(diǎn)P過(guò)CL和CR分別向圖像面做垂線,過(guò)P向圖像面做垂線,AL、AR、B表示垂足。

圖2　三角測(cè)量恢復(fù)深度信息原理圖

(1)

(2)

由式(1)和式(2)化簡(jiǎn)可得

(3)

將式(3)式帶入式(1)中,可得

(4)

式中,la-lb稱為P在左右兩個(gè)圖像面上形成的視差;表示P在左右兩幅圖像中的成像點(diǎn)的位置差異。因此,要恢復(fù)出圖像的深度信息,最關(guān)鍵的是要求得視差。

2圖像匹配算法

2.1　SIFT算法原理

SIFT算子特征是圖像的局部特征,其在平移、尺度縮放、旋轉(zhuǎn)、對(duì)亮度影響及抗噪性能等方面具有一定的優(yōu)勢(shì),SIFT特征匹配算法主要經(jīng)過(guò)兩個(gè)階段:(1)SIFT特征的生成;(2)SIFT特征向量的匹配[11]。

任何一幅二維圖像,將其與Gaussian核卷積可以得到不同尺度下的尺度空間

L(x,y,σ)=G(x,y,σ)×I(x,y)

(5)

SIFT匹配算法包括4個(gè)過(guò)程:(1)對(duì)空間尺度的極值點(diǎn)進(jìn)行檢測(cè)。首先對(duì)所有的圖像與尺度的位置進(jìn)行搜索,再通過(guò)Gaussian差分公式來(lái)檢驗(yàn)具有尺度縮放和旋轉(zhuǎn)不變性的特征點(diǎn);(2)定位極值點(diǎn)。精確對(duì)各個(gè)候選點(diǎn)進(jìn)行尺度與位置的確定,以增強(qiáng)圖像匹配的正確性;(3)關(guān)鍵點(diǎn)方向的確定。對(duì)每個(gè)關(guān)鍵點(diǎn)進(jìn)行一個(gè)方向的分配,保證尺度的旋轉(zhuǎn)不變性;(4)特征點(diǎn)描述子的生成。利用梯度統(tǒng)計(jì)的方法對(duì)關(guān)鍵點(diǎn)當(dāng)前所在的尺度空間的區(qū)域進(jìn)行統(tǒng)計(jì),進(jìn)而生成特征點(diǎn)描述子。

2.2　SIFT與Harris結(jié)合提取特征點(diǎn)

由于醫(yī)學(xué)圖像處理對(duì)實(shí)時(shí)性要求較高,且SIFT算法提取特征點(diǎn)的數(shù)量較多、耗時(shí)較長(zhǎng),SIFT算法提取的特征點(diǎn)不能準(zhǔn)確定位角點(diǎn),故將Harris算法與SIFT算法結(jié)合,采用Harris提取特征點(diǎn)取代SIFT算法極值點(diǎn)。Harris是較為穩(wěn)定有效的一種特征點(diǎn)提取算法,有如下角點(diǎn)響應(yīng)函數(shù)

R(Aρ)=det(Aρ)-k·tr2(Aρ)

(6)

2.3　圖像特征點(diǎn)匹配步驟

圖3給出了圖像特征點(diǎn)匹配的步驟,當(dāng)兩幅醫(yī)學(xué)圖像的特征向量生成后,采用歐氏距離作為兩幅醫(yī)學(xué)圖像特征點(diǎn)的相似性判定準(zhǔn)則[12]。首先取出左圖像的特征點(diǎn),找出與右圖像中歐氏距離最近的前兩個(gè)特征點(diǎn),若離這兩個(gè)特征點(diǎn)的最近距離和次近距離的比值小于某個(gè)比例閾值,則接受這一匹配點(diǎn)。

圖3　圖像特征點(diǎn)匹配步驟

3實(shí)驗(yàn)結(jié)果與分析

在PC機(jī)上用Matlab 2012b實(shí)現(xiàn)本文提出的算法,對(duì)獲取的兩幅醫(yī)學(xué)圖像進(jìn)行特征點(diǎn)提取,并將Harris與SIFT相結(jié)合的算法與SIFT算法的匹配結(jié)果進(jìn)行對(duì)比和分析,最后運(yùn)用三角測(cè)量原理恢復(fù)醫(yī)學(xué)圖像的深度信息。本文的醫(yī)學(xué)圖像取自二尖瓣索修復(fù)手術(shù)視頻,如圖4和圖5所示,實(shí)驗(yàn)中,攝像機(jī)光心距離取0.5 m,匹配閾值取0.49。匹配結(jié)果如圖6和圖7所示。

圖4　左圖像

圖5　右圖像

表1為圖6和圖7的匹配結(jié)果統(tǒng)計(jì),可以看出,本文提出的將Harris與SIFT相結(jié)合對(duì)醫(yī)學(xué)圖像進(jìn)行特征點(diǎn)匹配生成的特征點(diǎn)數(shù)量要比SIFT算法少,從而在一定程度上減小了數(shù)據(jù)庫(kù)容量和有待匹配的特征點(diǎn)數(shù)量,縮短了匹配時(shí)間。并在生成SIFT描述子之前,本文提出的算法采用Harris算子檢測(cè)特征點(diǎn),計(jì)算量較小,與SIFT算法特征點(diǎn)匹配相比,去除了部分不顯著的特征點(diǎn),減小了特征描述生成階段的計(jì)算量和生成的次數(shù),提高了匹配精度,可滿足醫(yī)學(xué)圖像處理實(shí)時(shí)性要求。

圖6　SIFT特征點(diǎn)匹配結(jié)果

圖7　Harris與SIFT相結(jié)合特征點(diǎn)匹配結(jié)果

算法SIFTHarris_SIFT匹配點(diǎn)數(shù)7631誤匹配點(diǎn)數(shù)31匹配率/%96.0596.77匹配時(shí)間/s5.82.4

圖8給出了將Harris與SIFT算法結(jié)合提取特征點(diǎn)后,并進(jìn)行匹配后得到的較密集視差圖。由實(shí)驗(yàn)結(jié)果可知,得到的視差圖能夠較好地體現(xiàn)出醫(yī)學(xué)圖像的特征,從中可較為清晰地看出手術(shù)夾子以及人體的輪廓信息,且圖像含有的噪聲較少。圖9是根據(jù)三角測(cè)量法對(duì)醫(yī)學(xué)圖像進(jìn)行深度信息恢復(fù)的結(jié)果,圖像能較好地反映原有醫(yī)學(xué)圖像的信息,表明本文采用的匹配算法有較好的效果。

圖8　視差圖

圖9　醫(yī)學(xué)圖像深度信息恢復(fù)結(jié)果

4結(jié)束語(yǔ)

SIFT算法在平移、尺度縮放、旋轉(zhuǎn)、對(duì)亮度影響及抗噪性能等方面均具有一定的優(yōu)勢(shì),但在處理實(shí)時(shí)性要求較高的醫(yī)學(xué)圖像時(shí),提取的特征點(diǎn)過(guò)多且可能不是角點(diǎn),計(jì)算量較大。由實(shí)驗(yàn)結(jié)果可看出,本文提出的將Harris與SIFT算法相結(jié)合,在一定程度上彌補(bǔ)了這一缺點(diǎn),降低了特征點(diǎn)提取和圖像匹配的復(fù)雜度,同時(shí)縮短了匹配時(shí)間,保證了正確匹配率,滿足了醫(yī)學(xué)圖像

處理實(shí)時(shí)性的要求。同時(shí),可增強(qiáng)算法的抗噪聲能力和對(duì)圖像進(jìn)行變化的魯棒性,醫(yī)學(xué)圖像深度信息恢復(fù)結(jié)果進(jìn)一步驗(yàn)證了該算法的有效性。對(duì)醫(yī)學(xué)圖像進(jìn)行三維重建,實(shí)現(xiàn)從二維圖像到三維空間的重構(gòu),使結(jié)果更接近人眼所能反映出的圖像,將是下一步研究工作的目標(biāo)。

參考文獻(xiàn)

[1]沈洪宇,柴毅.計(jì)算機(jī)視覺(jué)中雙目視覺(jué)綜述[J].科技資訊,2007(34):150-151.

[2]ZhangHui.Afastbinocularvisionstereomatchingalgorithm[C].Wuhan,China:Proceedingof2012InternationalConferenceonModelling,IdentificationandControl,2012.

[3]項(xiàng)榮.基于雙目立體視覺(jué)的番茄定位[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(5):161-167.

[4]LiJian.Researchonlocalizationofapplesbasedonbinocularstereovisionmarkedbycancroidsmatching[C].Beijing,China:ThirdInternationalConferenceonDigitalManufacturingandAutomation,2012.

[5]RenJianqiang.Algorithmfor3Dreconstructionofagriculturefieldpestsbasedonbinocularstereovision[C].Shijiazhuang,China:WorldAutomationCongress(WAC),2010.

[6]萬(wàn)智萍,葉仕通.基于OpenCV的雙目立體視覺(jué)監(jiān)控跟蹤系統(tǒng)[J].科學(xué)技術(shù)與工程,2013,13(5):1671-1815.

[7]張順嵐,莫建文.基于雙目立體視覺(jué)的三維人臉識(shí)別算法[J].電視技術(shù),2014,38(9):214-217.

[8]原思聰.雙目立體視覺(jué)中的圖片匹配方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(8):75-77.

[9]趙本東,陶華敏.雙目立體視覺(jué)中特征提取算法研究[J].電子技術(shù)與軟件工程,2014(6):122-123.

[10]張棟棟,李漢舟.雙目視覺(jué)及其在全自動(dòng)換電機(jī)器人中的應(yīng)用[J].電子科技,2014,27(7):168-176.

[11]肖健.SIFT特征匹配算法研究與改進(jìn)[D].重慶:重慶大學(xué),2012.

[12]邵暖,劉樂(lè).基于特征匹配算法的雙目視覺(jué)測(cè)距[J].燕山大學(xué)學(xué)報(bào),2012(1):57-61.

作者簡(jiǎn)介:郭姝言(1991—),女,碩士研究生。研究方向:圖像處理與成像技術(shù)等。劉橋(1970—),男,副教授,碩士生導(dǎo)師。研究方向:圖像處理等。

收稿日期:2015- 05- 21

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)01-048-04

doi:10.16180/j.cnki.issn1007-7820.2016.01.013