視覺(jué)注意機(jī)制下的三維重建技術(shù)的改進(jìn)

李敏寧,張 巧,趙 劼

(1.渭南職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院,陜西渭南 714000;2.西安電子科技大學(xué)計(jì)算機(jī)學(xué)院,陜西西安710071;3.陜西黃河集團(tuán)有限公司,陜西西安 710000)

視覺(jué)注意機(jī)制下的三維重建技術(shù)的改進(jìn)

李敏寧1,2,張 巧3,趙 劼2

(1.渭南職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院,陜西渭南 714000;2.西安電子科技大學(xué)計(jì)算機(jī)學(xué)院,陜西西安710071;3.陜西黃河集團(tuán)有限公司,陜西西安 710000)

在三維重建技術(shù)中,從特征提取方面入手,在特征提取的過(guò)程中加入了模擬的人類視覺(jué)注意機(jī)制,對(duì)顯著性比較高的目標(biāo)關(guān)注多一些,將顯著性比較低的目標(biāo)的關(guān)注度降低.將所提取的特征進(jìn)行篩選,使得信息量有所減少,從而減少了計(jì)算機(jī)的計(jì)算負(fù)擔(dān),提高了重建效率.

三維重建;人類視覺(jué);相關(guān)矩陣;注意機(jī)制;圖像

客觀世界在空間中是三維的,而目前所采用的圖像采集裝置所獲取的圖像是二維的,這對(duì)理解現(xiàn)實(shí)世界有一定的影響.實(shí)際上,二維圖像是會(huì)包含一些某種意義上的三維信息,但是在使用這些二維信息進(jìn)行應(yīng)用處理時(shí),需要運(yùn)用三維重建技術(shù)把二維圖像中的信息合理地提取出來(lái),進(jìn)行三維模型的重建,從而達(dá)到從二維圖像認(rèn)識(shí)客觀世界的目的[1].三維重建是計(jì)算機(jī)視覺(jué)、人工智能、虛擬現(xiàn)實(shí)等領(lǐng)域的關(guān)鍵技術(shù),它是從單幅加景物約束或從兩幅及兩幅以上的圖像中恢復(fù)出空間點(diǎn)三維坐標(biāo)的過(guò)程[2],被廣泛應(yīng)用在醫(yī)療、農(nóng)業(yè)、交通、建筑等各個(gè)行業(yè)之中[3].

三維重建通常會(huì)耗費(fèi)大量的系統(tǒng)資源[4].近年來(lái)關(guān)于三維重建的研究報(bào)道很多[5-8],人們提出了各種方案[4].Kumar等[5]利用透視明暗恢復(fù)性狀(Perspective Shape From Shading,PSFS)算法對(duì)醫(yī)學(xué)圖片進(jìn)行三維重建,發(fā)現(xiàn)利用PSFS算法重建的三維形狀在細(xì)節(jié)上更逼真.Grossberg等提出了一種神經(jīng)模型實(shí)現(xiàn)的紋理恢復(fù)形狀(Shape From Texture,SFT)算法.Martin等提出了輪廓恢復(fù)形狀法,該方法通過(guò)多個(gè)角度物體的輪廓圖像得到物體的三維模型.這些方案給人們?cè)诮鉀Q類似的問(wèn)題上提出了一種思路,但是在節(jié)省資源、減少計(jì)算機(jī)系統(tǒng)負(fù)擔(dān)方面仍然差強(qiáng)人意.

筆者從特征提取方面入手,在特征提取的過(guò)程中加入了模擬的人類注意機(jī)制,對(duì)顯著性比較高的目標(biāo)關(guān)注多一些,將顯著性比較低的目標(biāo)的關(guān)注度降低.將所提取的特征進(jìn)行篩選,進(jìn)而使得信息量有所減少,從而減少了計(jì)算負(fù)擔(dān),提高了重建效率.

1 三維重建的實(shí)現(xiàn)

一般情況下,三維重建的第1個(gè)步驟是尋找兩幅圖像中的對(duì)應(yīng)點(diǎn)[9].至今已有很多的二維圖像配準(zhǔn)算法.圖像配準(zhǔn)算法一般可分為基于圖像灰度統(tǒng)計(jì)特性配準(zhǔn)算法、基于圖像特征配準(zhǔn)算法和基于圖像理解的配準(zhǔn)算法[10-11].基于特征的圖像配準(zhǔn)算法的核心步驟為:特征提取、特征匹配、模型參數(shù)估計(jì)、圖像變換和灰度插值.特征點(diǎn)定位的算法有:加速分割測(cè)試特征(Features from Accelerated Segment Test,FAST),尺度不變特征變換(Scale Invariant Feature Transform,SIFT),加速魯棒特征(Speed-up Robust Features,SURF),最穩(wěn)定極值區(qū)域(Maximally Stable Extremal Regions,MSER),Harris角點(diǎn)檢測(cè)算法(Harris detector algorithm)等.特征點(diǎn)描述的算法有SURF和SIFT等.尋找對(duì)應(yīng)點(diǎn)、特征點(diǎn)定位以及特征點(diǎn)描述這3個(gè)步驟的算法可以任意選擇.

基于點(diǎn)的三維重建是最基本的,也是最簡(jiǎn)單的.一般的方法是,假定空間任一點(diǎn)P在兩幅圖像上的點(diǎn)p1和p2已經(jīng)從兩個(gè)圖像中分別檢測(cè)出來(lái),也就是說(shuō)p1和p2為空間同一點(diǎn)P的匹配點(diǎn),則有

其中,(u1,v1,1)與(u2,v2,1)分別是p1和p2在兩幅圖像中的齊次坐標(biāo),(X,Y,Z,1)為P點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)(k=1,2;i=1,2,3;j=1,2,3,4)分別是(k=1,2)的第i行第j列元素.在上式中消去Z1或者Z2,得到關(guān)于X,Y,Z的4個(gè)線性方程,即

由解析幾何可以得到,三維空間的平面方程為線性方程,兩個(gè)平面方程的聯(lián)立為空間直線的方程,4個(gè)方程必定有解,而且解是惟一的.該解就是要求的空間坐標(biāo).

可以看出,傳統(tǒng)的三維重建的步驟主要有圖像獲取、攝像機(jī)標(biāo)定、特征提取和立體匹配.所獲取的圖像一般在特征提取的步驟中會(huì)提取大量的特征點(diǎn),這其中會(huì)包含大量的誤匹配點(diǎn),而這些誤匹配點(diǎn)在后面的立體匹配步驟上會(huì)耗費(fèi)大量的計(jì)算時(shí)間.

2 視覺(jué)注意機(jī)制的實(shí)現(xiàn)

神經(jīng)生理學(xué)與解剖學(xué)的研究結(jié)果表明,視覺(jué)信息在大腦中是按照一定的通路進(jìn)行傳遞的,視網(wǎng)膜接收到光學(xué)信息,經(jīng)由神經(jīng)節(jié)細(xì)胞和側(cè)膝狀體,最終到達(dá)主觀皮層區(qū).在神經(jīng)節(jié)細(xì)胞和側(cè)膝狀體中[12],每個(gè)細(xì)胞對(duì)亮度和顏色信息的感受野在空間分布上呈同心圓頡頏形式,即在感受野中心與外圍區(qū)域刺激對(duì)細(xì)胞響應(yīng)的影響正好相反,這種感受野有利于對(duì)比度信息的抽取.主視皮層區(qū)域的皮層細(xì)胞一方面具有與側(cè)膝狀體細(xì)胞類似的同心圓頡頏形式的感受野,另一方面還存在對(duì)邊緣、朝向等刺激敏感的感受野[13].

依據(jù)刺激的來(lái)源不同,把視覺(jué)注意可分為不同的兩種類型:一種是基于初級(jí)視覺(jué)的,由數(shù)據(jù)驅(qū)動(dòng)自底向上的視覺(jué)注意;另外一種是基于高層視覺(jué)的,與任務(wù)和知識(shí)等相關(guān)的自頂向下的視覺(jué)注意[14].自底向上的數(shù)據(jù)驅(qū)動(dòng)的注意模型,它的基本思想是,把各種底層視覺(jué)特征,如顏色、亮度、方向、紋理、運(yùn)動(dòng)等從圖像中提取出,形成各個(gè)顯著圖;然后把顯著圖按照一定的方式進(jìn)行組合,得到最終需要的興趣圖.自頂向下的任務(wù)驅(qū)動(dòng)模型是由任務(wù)驅(qū)動(dòng)的,以不同的任務(wù)需求對(duì)感興趣的目標(biāo)有意識(shí)地進(jìn)行逐一處理.

文獻(xiàn)[15]提出以調(diào)節(jié)心理閾值函數(shù)的形式來(lái)調(diào)節(jié)控制視覺(jué)感知的視覺(jué)注意模型,該注意機(jī)制模型是以特征整合理論為基礎(chǔ),通過(guò)仿生物的視覺(jué)系統(tǒng)的神經(jīng)機(jī)制來(lái)實(shí)現(xiàn)的,并通過(guò)預(yù)注意階段將亮度、朝向和顏色等初級(jí)視覺(jué)特征進(jìn)行快速、自動(dòng)的并行加工,進(jìn)而形成多個(gè)顯著圖,來(lái)給圖像的每個(gè)位置的顯著性提供度量;顯著圖模型通過(guò)對(duì)初級(jí)特征的提取,將多種特征、多種尺度的視覺(jué)空間運(yùn)用中央周邊算子,得到各個(gè)特征的顯著性圖,從而合成一幅總顯著圖,如圖1所示.

圖1 視覺(jué)模型的原圖與通過(guò)視覺(jué)感知模型產(chǎn)生的總顯著圖比較

3 三維重建算法改進(jìn)及實(shí)驗(yàn)驗(yàn)證

傳統(tǒng)的三維重建存在的問(wèn)題是,在圖像中提取的大量特征點(diǎn),會(huì)給立體匹配過(guò)程帶來(lái)龐大的計(jì)算量,包括誤匹配點(diǎn)所耗費(fèi)的計(jì)算量與時(shí)間.而在上節(jié)中,提到了人類的注意機(jī)制,該機(jī)制具有選擇性.將人類特有的選擇性注意機(jī)制加入到傳統(tǒng)的三維重建的步驟中,注意機(jī)制所具有的選擇性會(huì)使得所提取的特征點(diǎn)比較少,會(huì)將大量的誤匹配點(diǎn)剔除掉.這樣計(jì)算量就會(huì)大大減少,所耗費(fèi)的時(shí)間也會(huì)大大縮減.

文中改進(jìn)后加入了人類的注意機(jī)制的三維重建過(guò)程的新算法的步驟如下:

(1)對(duì)需要重建的物體在不同的角度拍攝不同的照片.

(2)利用人類視覺(jué)的選擇性注意機(jī)制對(duì)兩幅圖像進(jìn)行處理:

(3)用SUASAN算法分別對(duì)兩幅處理過(guò)的圖像進(jìn)行檢測(cè),并提取特征點(diǎn),形成初始的匹配點(diǎn)集.

(4)迭代地使用RANSAC算法,得出更加精確的匹配點(diǎn)集.

(5)利用三角法計(jì)算出匹配點(diǎn)的空間坐標(biāo).

通常靜態(tài)圖像中所包含的信息I(image)分為顯著信息H(innovation)與背景信息H(redundancy)(也就是冗余信息)兩類,如果用H(i)表示顯著信息,H(r)表示背景信息,未加入注意機(jī)制的三維圖像重建時(shí)間復(fù)雜度可以表示為T(mén)(n)=O(n H(i))+O(n H(r)).

加入注意機(jī)制后,由于通過(guò)仿生物的視覺(jué)系統(tǒng)的神經(jīng)機(jī)制,利用大腦可以有效去除冗余的特性,預(yù)先去掉了冗余信息,所以重建過(guò)程的時(shí)間復(fù)雜度可以表示為T(mén)(n)=O(n H(i)).

顯然,從時(shí)間復(fù)雜度上,冗余信息重建的時(shí)間復(fù)雜度本身就遠(yuǎn)遠(yuǎn)大于顯著信息重建的時(shí)間復(fù)雜度,所以,加入了注意機(jī)制會(huì)大大縮短圖像重建的時(shí)間.

為了更直觀地說(shuō)明,將改進(jìn)算法的重建效果與未改進(jìn)的傳統(tǒng)的重建效果進(jìn)行比較,得到的效果圖如圖2～4所示.由于原始圖像的信息比較豐富,所以重建的三維效果也比較好.

圖2 三維重建的原始圖像

圖3 兩幅圖像的顯著圖

將具有代表性的3次實(shí)驗(yàn)的結(jié)果列于表1.可以看出,重建時(shí)間由原來(lái)的124 812 ms縮短到了3 610 ms.

4 結(jié)束語(yǔ)

試驗(yàn)的硬件環(huán)境:Intel?CoreTM2 Duo CPU T6570@2.10 GHz; 2.09 GHz,2.00 GB內(nèi)存.

軟件環(huán)境:Windows7操作系統(tǒng)下使用Visual C++6.0平臺(tái).

由于人類注意機(jī)制的選擇性,將圖像的總顯著圖進(jìn)行三維重建,重建時(shí)間從20 203 ms縮短到11 203 ms.進(jìn)行三維重建時(shí),在特征點(diǎn)提取的過(guò)程中,通過(guò)人類視覺(jué)的注意選擇機(jī)制,該機(jī)制所特有的選擇性會(huì)將那些顯著性比較差的特征點(diǎn)過(guò)濾掉,把留下來(lái)的顯著性比較好的特征點(diǎn)進(jìn)行立體匹配,這樣計(jì)算速率就大大提高了,所以三維重建的效率也就大大提高了.

由于計(jì)算機(jī)模擬的人類注意機(jī)制有一定的局限性,所進(jìn)行的特征提取也可能存在偏差,效果也有些偏差,但為三維重建提高效率提出了新的思路.

圖4 三維重建的效果對(duì)比圖

表1 三維重建加入注意機(jī)制的對(duì)比表

[1]康皓,王明倩,王瑩瑩,等.圖像三維重建技術(shù)[J].企業(yè)技術(shù)開(kāi)發(fā),2009,28(6):42-43.

Kang Hao,Wang Mingqian,Wang Yingying,et al.3D Reconstruction Technique of Image[J].Development of Enterprise Technology,2009,28(6):42-43.

[2]高宏偉,于洋,劉曉陽(yáng),等.雙目立體視覺(jué)三維重建實(shí)驗(yàn)平臺(tái)研究[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(33):149-152.

Gao Hongwei,Yu Yang,Liu Xiaoyang,et al.The Research of the Binocular Stereo Vision 3D Reconstruction Experiment Platform[J].Computer Engineering and Applications,2009,45(33):149-152.

[3]朱慶生,羅大江,葛亮,等.基于多幅圖像的三維重建[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(10):2351-2357.

Zhu Qingsheng,Luo Dajiang,Ge Liang,et al.The 3D Reconstruction Based on Multiple Images[J].Computer Engineering and Design,2010,31(10):2351-2357.

[4]Hajizadeh A,Farhadpour Z.An Algorithm for 3D Pore Space Reconstruction from a 2D Image Using Sequential Simulation and Gradual Deformation with the Probability Perturbation Sampler[J].Transport in Porous Media,2012,94 (3):859-881.

[5]Kumar T S,Vijai A.3D Reconstruction of Face from 2D CT Scan Images[C]//International Conference on Communication Technology and System Design.Oxford:Elceiver Ltd,2012:970-977.

[6]Ciechomski P D,Constantinescu M,Garcia J,et al.Development and Implementation of a Web-Enabled 3D Consultation Tool for Breast Augmentation Surgery Based on 3D-Image Reconstruction of 2D Pictures[J].Journal of Medical Internet Research,2012,14(1):21.

[7]魏立梅,張永瑞,謝維信.圖像處理中邊緣漏檢的自動(dòng)補(bǔ)償[J].西安電子科技大學(xué)學(xué)報(bào),1997,24(4):563-566. Wei Limei,Zhang Yongrui,Xie Weixin.Automatic Compensation Missing Edge Detection in Image Processing[J]. Journal of Xidian University,1997,24(4):563-566.

[8]楊釘釘,王曉蕊,楊琛,等.三維集成成像系統(tǒng)中物體三維信息的重建方法[J].西安電子科技大學(xué)學(xué)報(bào),2012,39(5): 102-106.

Yang Dingding,Wang Xiaorui,Yang Chen,et al.Reconstruction of 3D Information of the Object in Three-dimensional Integrated Imaging System[J].Journal of Xidian University,2012,39(5):102-106.

[9]王俊,朱利.基于圖像匹配-點(diǎn)云融合的建筑物立面三維重建[J].計(jì)算機(jī)學(xué)報(bào),2012,35(10):2072-2079.

Wang Jun,Zhu Li.The 3D Reconstruction of Building Facade Based on the Image Matching-the Point Cloud Fusion[J]. Chinese Journal of Computers,2012,35(10):2072-2079.

[10]Pilu M.A Direct Method for Stereo Correspondence Based on Singular Value Decomposition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE,1997:261-266.

[11]洪明堅(jiān),呂建斌,楊丹,等.一種新的基于互信息的圖像配準(zhǔn)方法[J].重慶大學(xué)學(xué)報(bào),2009,32(6):697-700.

Hong Mingjian,LüJianbin,Yang Dan,et al.A New Method for Image Registration Based on Mutual Information[J]. Journal of Chongqing University,2009,32(6):697-700.

[12]吳月娥,邊后秦.尺度與特征引導(dǎo)視覺(jué)選擇性注意機(jī)制模型[J].現(xiàn)代電子技術(shù),2009,32(22):84-87.

Wu Yuee,Bian Houqin.Scale and Features Guide the Attention Mechanism Model of the Visual Selectivity[J].Modern Electronic Technology,2009,32(22):84-87.

[13]Salah A A,Alpaydin E,Akarun L.A Selective Attention-based Method for Visual Pattern Recognition with Application to Handwritten Digit Reeognition and Face Reeognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):420-425.

[14]朱巨蓮,霍宏,方濤.基于自頂向下視覺(jué)注意的搖桿影像目標(biāo)檢測(cè)[J].計(jì)算機(jī)工程,2011,37(20):172-174.

Zhu Julian,Huo Hong,Fang Tao.The Rocker Image Target Detection Based on Top-Down Visual Attention[J]. Computer Engineering,2011,37(20):172-174.

[15]姜峰,郭美思,劉紹輝,等.基于感知視覺(jué)重要性的立體圖像質(zhì)量評(píng)價(jià)[J].智能系統(tǒng)學(xué)報(bào),2012,37(5):414-422.

Jiang Feng,Guo Meisi,Liu Shaohui,et al.The Stereo Image Quality Assessment Based on the Importance of the Visual Perception[J].Sinica of Intelligent System,2012,37(5):414-422.

(編輯:齊淑娟)

簡(jiǎn) 訊

日前,西安電子科技大學(xué)電子裝備結(jié)構(gòu)設(shè)計(jì)教育部重點(diǎn)實(shí)驗(yàn)室與中國(guó)電子科技集團(tuán)公司第十四研究所天線微波與微電路部合作成立了電子裝備結(jié)構(gòu)技術(shù)聯(lián)合創(chuàng)新研究中心.中心將以雷達(dá)、導(dǎo)航、通信等領(lǐng)域中廣泛應(yīng)用的電子裝備中的機(jī)械結(jié)構(gòu)為對(duì)象,從學(xué)科交叉角度,深入開(kāi)展電磁、結(jié)構(gòu)、熱及控制等多學(xué)科交叉融合的研究.其研究方向主要包括雷達(dá)/天線結(jié)構(gòu)、電子裝備防護(hù)、新材料應(yīng)用、微系統(tǒng),以及新技術(shù)等5個(gè)方面.

(摘自《西電科大報(bào)》2014.7.5)

Improvement on three-dimensional reconstruction of the attention mechanism

LI Minning1,2,ZHANG Qiao3,ZHAO Jie2
(1.School of Mechatronics Engineering,Weinan Vocational&Technical College,Weinan 714000, China;2.School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China;3.Shaanxi HUANGHE Group Co.,LTD.,Xi’an 710000,China)

In 3D reconstruction,from the aspects of feature extraction,in the feature extraction process with human visual attention mechanism simulation,the higher significant target is given more attention. The extracted features are selected,and the information quantity is reduced.The purpose is to reduce the computational burden of the computer,and improve the reconstruction efficiency.

3D reconstruction;human eye;correlation matrix;selective attention;images

TP301.4

A

1001-2400(2014)05-0192-05

2013-07-25< class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間:

時(shí)間:2014-01-12

國(guó)家自然科學(xué)基金資助項(xiàng)目(61172147)

李敏寧(1975-),女,講師,西安電子科技大學(xué)碩士研究生,E-mail:lmnmxj@163.com.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.032.html

10.3969/j.issn.1001-2400.2014.05.032