實(shí)時(shí)雙目立體視覺系統(tǒng)的實(shí)現(xiàn)

張　力,黃影平

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上?！?00093)

?

實(shí)時(shí)雙目立體視覺系統(tǒng)的實(shí)現(xiàn)

張力,黃影平

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海200093)

摘要依據(jù)雙目立體視覺原理,對雙目立體視覺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)展開研究,介紹了雙目立體視覺系統(tǒng)的組成,并對系統(tǒng)涉及的主要關(guān)鍵技術(shù)進(jìn)行了探討。結(jié)合相關(guān)的硬件設(shè)備,利用VS2012軟件開發(fā)平臺實(shí)現(xiàn)了雙目立體視覺系統(tǒng)。該系統(tǒng)可實(shí)時(shí)地進(jìn)行圖像采集、邊緣檢測、立體匹配等功能,同時(shí)由于采用3種確認(rèn)算法,最大限度地去除錯(cuò)誤匹配,得到良好的視差圖。

關(guān)鍵詞雙目立體視覺;邊緣檢測;立體匹配

Implementation of Real-time Binocular Stereo Vision System

ZHANG Li,HUANG Yingping

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

AbstractAccording to the principle of binocular stereo vision,the design and implementation of system based on binocular stereo vision is studied.The components of system based on binocular stereo vision are introduced and the relevant key technologies of the system are discussed in detail.A system is built by using VS2012 software development platform and relevant hardware equipment.The system is capable of real-time image acquisition,edge detection and stereo matching with good parallax figure obtained by the use of the three validation algorithm to maximize the removal of mismatches.

Keywordsbinocular stereo vision;edge detection;stereo matching

雙目立體視覺技術(shù)是計(jì)算機(jī)視覺研究領(lǐng)域的一個(gè)重要分支,被廣泛應(yīng)用于視覺導(dǎo)航[1]、目標(biāo)檢測與跟蹤、目標(biāo)測量、目標(biāo)識別以及三維場景感知等場合[2]。雙目立體視覺進(jìn)行三維測量利用視差原理,對不同視角下獲取得同一場景的兩幅圖像進(jìn)行處理,從而恢復(fù)出空間物體的三維坐標(biāo)信息[3]。在雙目立體視覺系統(tǒng)中,立體匹配是關(guān)鍵技術(shù),直接影響系統(tǒng)的精度[4]。由于圖像噪聲、遮擋、重復(fù)紋理和弱紋理這些因素的存在,會使立體匹配產(chǎn)生錯(cuò)誤的匹配結(jié)果[5]。為消除這些因素的影響,本文使用SAD區(qū)域立體匹配算法,進(jìn)行紋理、唯一性和表面3種確認(rèn)算法,對匹配結(jié)果進(jìn)行確認(rèn),去除錯(cuò)誤的匹配,從而消除這些因素的影響,提高立體匹配的正確性,同時(shí)使系統(tǒng)具有實(shí)時(shí)性。

1系統(tǒng)組成及工作流程

雙目立體視覺系統(tǒng)的硬件部分包括加拿大PointGrey公司Bumblebee XB3立體相機(jī)和IEEE-1394B圖像采集卡。系統(tǒng)的軟件部分由圖像的預(yù)處理模塊和立體處理模塊兩個(gè)模塊組成,其工作流程如圖1所示。

圖1　軟件工作流程圖

2系統(tǒng)軟件的設(shè)計(jì)與實(shí)現(xiàn)

2.1圖像預(yù)處理

從立體相機(jī)得到符合立體視覺原理的左右圖像對,由于各方面因素的影響,會不可避免地存在噪聲、干擾和失真現(xiàn)象,造成圖像質(zhì)量的下降,而兩個(gè)攝像頭由于接收的光強(qiáng)不同,立體圖像對也會存在亮度差異。因此,在對其進(jìn)行分析和操作之前,必須對原始圖像進(jìn)行必要的預(yù)處理。圖像預(yù)處理就是對圖像采用一系列技術(shù)來降低噪聲的影響和圖像的失真,改善圖像的視覺效果,突出有用信息、抑制無用信息。

基于上述問題,系統(tǒng)采用的圖像預(yù)處理步驟如下[6-7]:(1)使用高斯濾波器對圖像進(jìn)行低通濾波;(2)對圖像進(jìn)行校正。校正是用于修正攝像機(jī)鏡頭所產(chǎn)生的畸變。在原始圖像中可看到鏡頭所帶來的這種畸變。例如,場景中的一條直線在原始圖像中會變成一條曲線,這種效果在圖像的邊角處尤為明顯。校正就是為了修正這種類型的畸變;(3)使用Laplace算子對校正后的圖像進(jìn)行邊緣檢測,得到邊緣圖,消除圖像對存在的亮度差異。

進(jìn)過上述的圖像預(yù)處理,減少了噪聲、失真、立體圖像對之間的亮度差異等不利因素,有利于立體匹配的計(jì)算,提高系統(tǒng)精度。

2.2立體處理

在雙目立體視覺系統(tǒng)中,立體匹配是一個(gè)關(guān)鍵技術(shù),它是指將同一空間景物在不同視點(diǎn)下投影圖像的像素點(diǎn)對應(yīng)起來,并由此生成相應(yīng)的視差圖的過程。目前,立體匹配算法主要分為基于特征和基于區(qū)域兩類。前一類選取圖像中具有唯一性質(zhì)的點(diǎn)作為匹配點(diǎn),通常選擇邊緣、角點(diǎn)等;后一類考慮每個(gè)需要匹配點(diǎn)的鄰域性質(zhì),能夠得到稠密的視差圖。本文采用基于區(qū)域的SAD立體匹配算法,優(yōu)點(diǎn)在于計(jì)算復(fù)雜度低,運(yùn)算速度快,滿足系統(tǒng)對實(shí)時(shí)性的要求。SAD匹配函數(shù)為

(1)

其中,Iright和Ileft分別是右圖和左圖;m為模板尺寸;d為搜索范圍,在設(shè)定的視差范圍內(nèi)取值。

立體匹配過程如下:(1)獲取經(jīng)過圖像預(yù)處理的左右兩幅圖像,以右圖像為參考圖;(2)取右圖的每個(gè)像素點(diǎn)作為參考點(diǎn),以此為模板中心加上模板,模板尺寸為m,并在左圖中相應(yīng)的極線上尋找匹配點(diǎn),也建立相同尺寸的模板,搜索的范圍為設(shè)定的視差范圍;(3)使用式(1)計(jì)算左右模板的相關(guān)性,計(jì)算結(jié)果存入一個(gè)數(shù)組;(4)取數(shù)組中DSAD的值最小的左圖中的點(diǎn)為右圖參考點(diǎn)的匹配點(diǎn),同時(shí)也計(jì)算出參考點(diǎn)的視差值。

通過上述步驟估計(jì)出像素精度的視差,由于像素精度的視差求深度圖時(shí)有可能會導(dǎo)致同一物體在深度圖中的點(diǎn)不連續(xù)。為解決這一問題,需要對過程(3)中求出的DSAD數(shù)組用二次插值得到亞像素精度的視差估計(jì)。對與最大相關(guān)系數(shù)鄰近的5個(gè)連續(xù)的相關(guān)系數(shù),用多項(xiàng)式函數(shù)做最小二乘法擬合,函數(shù)極值點(diǎn)就是在右圖參考點(diǎn)的匹配點(diǎn)位置。

上述算法在視差不連續(xù)點(diǎn)和弱紋理區(qū)的匹配精度低,在遮擋點(diǎn)匹配無效,產(chǎn)生了大量的錯(cuò)誤匹配。所以本文使用了3種確認(rèn)算法,來確認(rèn)所得視差值得有效性,去除去匹配。

紋理確認(rèn)(Texture Validation)是基于相關(guān)模板的紋理的強(qiáng)弱的,其決定了視差值是否有效。若紋理的水平不足以產(chǎn)生一個(gè)正確的匹配,這一像素就會被聲明為無效。換句話說,在立體匹配過程(2)中,計(jì)算右圖參考點(diǎn)的相關(guān)模板中灰度的均值,這代表了該模板中紋理的強(qiáng)度,設(shè)定閾值,高于閾值的,則該模板中的紋理足夠強(qiáng),匹配得到的視差值是有效的,否則為無效。紋理確認(rèn)對弱紋理區(qū)造成的錯(cuò)誤匹配具有顯著的消除作用。但對遮擋帶來的錯(cuò)誤匹配沒有作用。

唯一性確認(rèn)(Uniqueness Validation)是指對一個(gè)特定像素的最佳匹配和這個(gè)相關(guān)模板下的其他匹配比起來是否足夠好。即使相關(guān)模板的紋理滿足要求,由于封閉的原因,可能還是得不到正確的匹配。如果相關(guān)的結(jié)果不夠好,這個(gè)像素就會被聲明為無效。在立體匹配過程(4)中,設(shè)定閾值,從數(shù)組中獲取的最小的DSAD值小于該閾值,對應(yīng)的像素點(diǎn)即為參考點(diǎn)的最優(yōu)匹配點(diǎn),從而去掉不理想的匹配結(jié)果。

在使用了上述兩種確認(rèn)算法,視差圖中的誤匹配減少了許多,但在圖像中物體的邊緣處還存在著一些小塊的誤匹配,與其周邊區(qū)域有明顯的差異,表現(xiàn)出明顯的視差不連續(xù)。因此,本文使用表面確認(rèn)算法來去掉這些錯(cuò)誤匹配。

表面確認(rèn)(Surface Validation)是一種圖像分割算法。正確的視差表面不僅局部是穩(wěn)定不變的,且從全局來看是一個(gè)更大3維視差表面的一部分。設(shè)定表面窗口的大小,然后判斷該表面是真實(shí)的3維表面還是噪聲區(qū)域。靠著將原始視差圖分割為連續(xù)視差區(qū)域和噪聲區(qū)域,連續(xù)視差區(qū)域就是得到的正確匹配區(qū)域。分割算法為

(2)

其中,i是視差圖中任意一個(gè)像素;L是表面標(biāo)簽;N(i)是i的鄰域像素;di是在像素i處的視差值。如果在一個(gè)視差表面內(nèi),打上標(biāo)簽的像素?cái)?shù)目沒有通過設(shè)定的閾值,則該表面被聲明為噪聲區(qū)域,在視差圖中設(shè)置為無效像素區(qū)。

3軟件界面及實(shí)驗(yàn)結(jié)果

使用C++進(jìn)行編碼,在VC2012中建立一個(gè)工程名為PGRStereo的基于對話框的應(yīng)用程序,對雙目攝像機(jī)進(jìn)行控制,采集圖像對,對圖像對進(jìn)行預(yù)處理后,顯示校正后的左右圖,然后進(jìn)行立體匹配,得到視差圖,經(jīng)過偽彩色轉(zhuǎn)換后顯示。同時(shí)還顯示深度圖(鳥瞰圖),是視差圖在X-Z平面上的投影圖,直觀地顯示出空間物體與相機(jī)的距離。最終的軟件界面如圖2所示,在主界面上按下StereoPrarms按鍵,將彈出立體處理控制對話框,控制著立體匹配模板的尺寸,搜索的視差范圍,決定是否對圖像進(jìn)行邊緣檢測及其模板尺寸,操控著確認(rèn)算法的選擇及其參數(shù)調(diào)節(jié)。該對話框如圖3所示。

圖2　軟件主界面示意圖

圖3　立體處理控制對話框

圖4為相機(jī)采集的原始左右圖像經(jīng)過校正后得到的左右圖。圖5所示的視差圖中,可看出在僅使用SAD區(qū)域立體匹配算法的情況下,視差圖中存在著許多錯(cuò)誤匹配,使得圖像不平滑。更重要的是,圖像中的無紋理區(qū)域因?yàn)橄袼亓炼认嗨茣a(chǎn)生大量的錯(cuò)誤匹配。同時(shí),在圖像的邊界和圖像中物體的邊緣處,由于遮擋,也會產(chǎn)生大量的錯(cuò)誤匹配。這些錯(cuò)誤匹配會導(dǎo)致錯(cuò)誤的三維測量結(jié)果和深度圖中錯(cuò)誤的物體投影,給障礙物的檢測帶來困難,這些可以在圖5(b)中明顯的看到。所以,為消除這些錯(cuò)誤的匹配,在SAD區(qū)域立體匹配算法的基礎(chǔ)上,采用上述3種確認(rèn)算法。

圖4　采集后校正的左右圖

圖5　未使用確認(rèn)算法得到的視差圖和深度圖

如圖6所示,在綜合使用3種確認(rèn)算法后,去掉了明顯的錯(cuò)誤匹配,這是調(diào)整算法參數(shù),得到了較好的結(jié)果,若完全去除錯(cuò)誤匹配,會影響正確的匹配結(jié)果,同時(shí)導(dǎo)致產(chǎn)生稀疏的視差圖。由于是實(shí)驗(yàn)室場景,文中設(shè)置深度圖的寬度為-2～2 m,深度0～8 m。在電腦上(Core雙核3.3 GHz),整個(gè)算法流程的速度可達(dá)到15 Hz,較好地保證了本雙目立體視覺系統(tǒng)的實(shí)時(shí)性和可用性。

圖6　使用圖3所示的確認(rèn)算法設(shè)置下得到的視差圖和深度圖

4結(jié)束語

本文實(shí)現(xiàn)了一個(gè)實(shí)時(shí)雙目立體視覺系統(tǒng)。在該系統(tǒng)中,將采集的圖像先經(jīng)過濾波、校正和邊緣檢測等預(yù)處理,使用SAD區(qū)域比配算法進(jìn)行立體匹配,然后對得到的視差圖使用3種確認(rèn)算法,消除錯(cuò)誤的匹配結(jié)果,計(jì)算視差圖中的三維信息,轉(zhuǎn)換到xz平面,得到深度圖,為進(jìn)一步的障礙物檢測做好準(zhǔn)備。

參考文獻(xiàn)

[1]Don Murray,James J Little.Using real-time stereo vision for mobile robot navigation[J].Autonomous Robots,2000,8(2):161-171.

[2]Huang Y P.Obstacle detection in urban traffic using stereo vision[C].Vienna,Austria:In Proceedings of the 8th IEEE International Conference on Intelligent Transportation Systems (ITSC’05),2005.

[3]Cyganek B,Siebert J P.三維計(jì)算機(jī)視覺技術(shù)和算法導(dǎo)論[M].陸軍,董曉睿,譯.北京:國防工業(yè)出版社,2014.

[4]Huang Y P,Fu S,Thompson C.Stereovision-based object segmentation for automotive application[J].EURASIP Journal on Applied Signal Processing,2005(14):2322-2329.

[5]馬頌德,張正友.計(jì)算機(jī)視覺:計(jì)算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社,1998.

[6]Rafael C Gonzalez,Richard E Woods,Steven L Eddins.數(shù)字圖像處理[M].阮秋琦,譯.北京:電子工業(yè)出版社,2005.

[7]章毓敏.圖像處理和分析教程[M].北京:人民郵電出版社,2009.

中圖分類號TP391.41

文獻(xiàn)標(biāo)識碼A

文章編號1007-7820(2016)03-068-04

doi:10.16180/j.cnki.issn1007-7820.2016.03.017

作者簡介:張力(1989—),男,碩士研究生。研究方向:數(shù)字圖像處理等。黃影平(1966—),男,博士。研究方向:智能汽車障礙物探測辨識等。

收稿日期:2015- 07- 13