陳愛華,高誠輝,何炳蔚
(福州大學(xué) 機械工程及自動化學(xué)院,福建 福州 350002)
近年來,立體視覺技術(shù)在三維重建、視覺測量、目標檢測與跟蹤、目標識別、工業(yè)控制以及三維場景感知等領(lǐng)域得到了廣泛應(yīng)用,成為機器視覺領(lǐng)域的研究熱點.立體視覺是在不同視角下獲取同一個物體的兩幅或者多幅圖像信息,利用三角測量原理獲得圖像像素間的位置偏差,從而恢復(fù)物體的三維幾何信息.在逆向工程中,立體視覺技術(shù)的實現(xiàn)可分為圖像獲取、攝像機標定、特征提取、立體匹配、三維重建等幾個主要模塊,其中立體匹配是立體視覺中最重要、最困難的技術(shù).圖像立體匹配實質(zhì)上解決了不同時間或空間位置下獲取的同一物體的兩幅或多幅圖像信息在位置空間或灰度空間上尋找對應(yīng)匹配像素點的問題.目前,圖像立體匹配方法已廣泛應(yīng)用于許多研究領(lǐng)域,滿足了應(yīng)用領(lǐng)域的準確性、實時性等方面的要求,立體匹配技術(shù)得到了進一步的研究和發(fā)展,出現(xiàn)了許多新技術(shù)和新方法.根據(jù)匹配約束信息和方式的不同,現(xiàn)有的圖像匹配技術(shù)可分為兩大類[1]:局部立體匹配方法和全局立體匹配方法.近年來又出現(xiàn)了介于兩者之間的半全局立體匹配方法[2-3].
這類匹配方法主要是利用對應(yīng)點本身以及鄰近的局部區(qū)域的約束信息來進行匹配計算,其優(yōu)點是信息量小、計算效率高,在高紋理區(qū)域能夠很快得到視差圖,實時性較高.但是在遮擋區(qū)域和視差不連續(xù)區(qū)域的匹配精度不高,易于存在誤匹配.根據(jù)匹配基元的不同,可分為基于灰度的區(qū)域立體匹配方法、基于特征的立體匹配方法和基于相位的立體匹配方法.
該方法直接利用圖像的灰度信息實現(xiàn)圖像匹配,以鄰域匹配窗口內(nèi)的灰度值作為匹配基元,通過計算兩幅待匹配圖像間的灰度相似性,在待匹配圖像上尋找最佳匹配區(qū)域.這類算法重點在于構(gòu)建、選擇合適的匹配代價計算統(tǒng)計的匹配窗口,窗口大小的設(shè)置直接影響匹配的精度和速度.文獻[4]對不同尺寸參數(shù)的匹配窗口進行了分析比較,提供了不同適用范圍的窗口大小和形狀.常用的匹配窗口主要是尺寸參數(shù)固定的窗口和自適應(yīng)窗口.使用尺寸參數(shù)固定的窗口進行匹配,視差不連續(xù)區(qū)域?qū)⑷菀桩a(chǎn)生誤匹配.KANADE等[5]首先提出了自適應(yīng)匹配窗口的概念,窗口尺寸主要是通過高斯模型估算窗口范圍內(nèi)視差分布的不確定度來確定的.YOON等[6]則在自適應(yīng)權(quán)值窗口選擇方法的基礎(chǔ)上,通過色彩相似性和空間幾何逼近對相關(guān)窗內(nèi)的區(qū)域像素進行加權(quán),以獲得可變的自適應(yīng)匹配窗口.盧思軍等[7]在區(qū)域匹配的多窗口選擇和自適應(yīng)窗口尺寸縮減中應(yīng)用了模糊顏色相似性測度,利用SSD(Sum of Squared Differences)方法實現(xiàn)了彩色圖像的立體匹配.文獻[8-9]則在自適應(yīng)窗口中引入非參數(shù)變換來實現(xiàn)快速精確的圖像立體匹配,即使在噪聲、光線等因素影響下也能獲得精確的視差圖,很好地滿足了工程應(yīng)用中的硬件要求.
基于灰度的區(qū)域立體匹配方法簡單直觀,易于實現(xiàn),匹配精度較高,可直接獲得稠密的視差圖,主要用于表面紋理特征明顯的圖像.但該方法計算量大,匹配窗口大小的選擇直接影響匹配精度,對絕對光強、對比度和照明條件敏感,在圖像紋理區(qū)域弱和深度信息不連續(xù)的情況下,無法獲得精確的視差圖,容易產(chǎn)生誤匹配,往往需要人為介入指導(dǎo)匹配.
該方法是在灰度圖像中提取抽象的幾何特征(邊緣輪廓、角點及幾何基元形狀)進行匹配,充分利用空間場景結(jié)構(gòu)信息來解決立體匹配中的歧義性問題,而不是基于簡單的圖像紋理信息進行相似度的比較.該方法在20世紀80年代得到了快速發(fā)展,PRINCE等[10]通過利用局部能量法識別多個方向的各種亞像素級特征,實現(xiàn)了立體匹配,不需要建立提取圖像特征先驗?zāi)P?,這種方法不會因為放大高頻噪聲而導(dǎo)致虛假的特征提取.霍智勇等[11]以點為匹配特征,提出了一種基于線性生長的區(qū)域立體匹配算法.該算法包括確定生長區(qū)域的根點和為每個根點的生長區(qū)域預(yù)先確定規(guī)則,在生長過程中,判斷某個點與根點之間關(guān)聯(lián)度的差錯能量是否小于預(yù)先設(shè)定的閾值,從而實現(xiàn)從立體圖像中提取深度信息,獲得更可靠的視差圖的方法.KIM等[12]利用立體圖像的特征鏈接的長度和顏色的信息來實現(xiàn)立體匹配,即為特征鏈接匹配.該算法能有效地確定正確的匹配,利用內(nèi)部分割法來插值這些特征,以提高視差值的準確性.同時通過快速提取點特征,確定3個特征鏈接約束(極線、排序和長度),以實現(xiàn)該算法的實時性.李海超等[13]則利用匹配的角點引導(dǎo)邊緣匹配,可獲得更多的匹配信息量.通過角點約束和邊緣約束,極大地減少了匹配邊緣點的搜索范圍,同時利用8個方向的區(qū)域擴張思想,實現(xiàn)快速精確的匹配.
基于特征的立體匹配方法以物體的幾何特征為匹配基元,可提取亞像素級的幾何特征,參與匹配的特征少于區(qū)域匹配所需的特征,因此該方法匹配精度高、速度快,且對照明變化不敏感.但由于圖像幾何特征本身的稀疏性和不連續(xù)性,因而只能獲得稀疏的視差圖,需要各種插值方法才能完成整幅視差圖的稠密特征提取.在插值過程中忽略了物體實際的幾何結(jié)構(gòu)特征,從而導(dǎo)致插值的盲目性.另外,這種匹配方法需要對兩幅圖像進行特征提取,計算量較大,對特征提取精度的依賴性強.
該匹配方法以圖像中對應(yīng)點的局部相位作為匹配約束條件,用帶通濾波器對兩幅圖像濾波輸出的相位差信息來表示視差圖,以獲得稠密的視差圖,從而實現(xiàn)圖像的立體匹配.其實質(zhì)是尋找局部相位相等的對應(yīng)點.徐彥君等[14]針對多尺度濾波器的構(gòu)造問題提出了一種基于頻率響應(yīng)積分面積相關(guān)的選擇規(guī)則,采用質(zhì)數(shù)序列作為Gabor濾波器組的波長,實現(xiàn)了多尺度自適應(yīng)匹配算法,視差估計精確,視差范圍大,計算效率高.ZADEH[15]首次應(yīng)用多小波變換立體圖像對獲得帶通信號間(基帶與子帶)的相關(guān)度.根據(jù)基帶信息對多小波變換的變化不太敏感,其生成的視差圖可以產(chǎn)生更準確的結(jié)果,從而利用全局誤差能量最小化技術(shù)來生成每對立體圖像基帶的視差圖.結(jié)合模糊算法構(gòu)造致密的視差圖,再通過過濾處理獲得平滑的視差圖,從而減少其誤匹配,提高匹配質(zhì)量.MUQUIT等[16]則提出了基于相位相關(guān)函數(shù)的相位匹配方法,從而實現(xiàn)了任意形狀的表面重建,并利用多尺度的搜索策略來檢測和校正圖像中不確定的點,以獲得亞像素精度.姜宏志等[17]通過極線校正算法將立體視覺幾何結(jié)構(gòu)轉(zhuǎn)換成極線標準幾何結(jié)構(gòu),利用投影柵相位法相位值建立左右圖像對應(yīng)點匹配關(guān)系,從而實現(xiàn)物體的三維重建,匹配速度快,滿足視覺測量的實時性要求.
基于相位的立體匹配方法利用多尺度的空間頻率分析方法,提取圖像不同頻段的信息進行匹配,適用于并行處理,對圖像幾何畸變和高頻噪音具有很好的抑制作用,能獲得亞像素級精度的稠密視差圖.但該方法收斂范圍取決于帶通濾波器的波長,需要考慮相位卷繞即相位多值的問題,隨著視差搜索范圍的增大,其匹配精度會有所下降.如果帶通濾波器輸出信號的幅度偏低,將出現(xiàn)相位奇點的問題.
這類匹配方法主要是基于能量最小化的思想,通過構(gòu)建具有全局最優(yōu)的視差函數(shù),計算對應(yīng)掃描線或整幅圖像信息,從而獲得視差圖像的匹配方法.實質(zhì)上是將對應(yīng)點的匹配問題轉(zhuǎn)換為尋找能量函數(shù)全局最優(yōu)的問題.該方法有可能跳過匹配代價的計數(shù)統(tǒng)計階段,可獲得精度較高的視差圖,但相應(yīng)參數(shù)設(shè)置難度大且較為復(fù)雜,計算效率低,不能滿足工程應(yīng)用的實時性要求.根據(jù)最小匹配代價構(gòu)建的不同,基于全局的立體匹配方法主要分為:動態(tài)規(guī)劃立體匹配方法和圖割立體匹配方法.
該方法實質(zhì)上是把求解整個圖像視差值的過程分解為一些子過程,在左右兩幅圖像的對應(yīng)掃描線上尋找最小匹配代價路徑的匹配過程.視差空間圖像表述的全局優(yōu)化問題即為根據(jù)圖像掃描線從左到右搜尋最優(yōu)路徑的問題.針對水平方向和垂直方向的連續(xù)性約束不能有效融合而產(chǎn)生明顯的條紋狀瑕疵的問題,BOBICK等[18]把事先確定的正確匹配點作為控制點,提出了控制點修正算法,用于指導(dǎo)尋優(yōu)過程,從而減少視差圖的條紋瑕疵.張世輝等[19]則根據(jù)掃描線信息中所包含的視差不連續(xù)性和遮擋現(xiàn)象,提出了一種同時考慮行列雙向約束的動態(tài)規(guī)劃立體匹配算法,建立了全局能量代價函數(shù),并設(shè)計了全局優(yōu)化策略,在保證掃描線行方向上視差平滑性的基礎(chǔ)上,解決了掃描線列方向上的視差不連續(xù)性問題,通過動態(tài)規(guī)劃搜尋最優(yōu)路徑,以得到匹配點和遮擋點的視差,從而獲得稠密視差圖.GONG等[20]將可靠度引入雙向動態(tài)規(guī)劃匹配方法,通過對匹配路徑進行可信度的計算和閾值的比較分析,獲得光滑、可靠的視差圖.LEI等[21]則將樹形結(jié)構(gòu)應(yīng)用于動態(tài)規(guī)劃的搜索路徑,利用二維區(qū)域樹建立能量函數(shù),以搜尋最優(yōu)的匹配路徑,將區(qū)域算法和動態(tài)規(guī)劃算法相融合,獲得了可靠的視差圖.DONATE等[22]對基于路徑的動態(tài)規(guī)劃立體匹配算法進行改進,提出了一種計算立體圖像對匹配以實現(xiàn)精確的亞像素匹配的算法.
動態(tài)規(guī)劃立體匹配方法的優(yōu)點是可以很好地處理因局部紋理單一而造成的誤匹配,且算法復(fù)雜度不高.但該方法在水平方向和垂直方向上的連續(xù)性約束不能得到有效融合,后續(xù)像素點的匹配會受到先前像素點的誤匹配影響,從而在視差圖上產(chǎn)生明顯的條狀瑕疵,匹配的精度比較低.
該匹配方法根據(jù)匹配問題中的約束條件建立相應(yīng)的能量函數(shù),利用能量函數(shù)構(gòu)造一個圖網(wǎng)絡(luò),以最小化能量函數(shù),通過最小圖割方法尋找網(wǎng)絡(luò)的最大流,從而實現(xiàn)立體匹配.
在立體匹配的圖網(wǎng)絡(luò)中,網(wǎng)絡(luò)的結(jié)點表示匹配像素對,邊表示相鄰兩結(jié)點的鄰接關(guān)系以及保證最小圖割的相關(guān)約束.在圖網(wǎng)絡(luò)中每個像素只能與一個匹配像素相對應(yīng),因此立體匹配中的遮擋問題無法得到解決.文獻[23]首次在圖割匹配方法的能量函數(shù)構(gòu)建上考慮了遮擋情況.文獻[24]通過設(shè)計一種新型的構(gòu)圖方法,對能量函數(shù)進行改進,從而較好地解決了遮擋問題.文獻[25]對可用的構(gòu)圖框架和能量最小化函數(shù)類型進行了總結(jié)和分析.
針對圖割匹配方法的計算效率低的問題,張令濤等[26]先利用區(qū)域匹配算法得到每個像素的初始視差值,只保留完整網(wǎng)格圖的部分可能的視差值,建立簡化的網(wǎng)格圖,從而縮減了網(wǎng)格圖的容量,提高了匹配效率.FEZZA等[27]則提出了立體匹配問題的一種新的方法,通過改進圖割法中的全局能量最小化函數(shù),構(gòu)建一個簡化網(wǎng)格圖,只選擇一些網(wǎng)格圖內(nèi)每個像素可能存在的視差值,這些視差值可以通過立體匹配的分析方法獲得,從而縮短匹配時間,擴大了視差范圍.周自維等[28]通過吉布斯隨機場模型描述空間點與其鄰域之間的關(guān)系,采用改進的圖割匹配方法對空間點的鄰域進行匹配來獲取場景的致密視差圖,得到不同的場景視差圖,具有良好的一致性,匹配速度快.
圖割匹配方法可以有效地融合水平和豎直方向上的連續(xù)性約束,能夠有效去除條紋瑕疵,是目前處理效果最好的立體匹配算法.但需要考慮每個像素的最低值和最高值之間的所有視差,多次迭代,復(fù)雜度較高,計算量大.
此外,還有置信傳播匹配方法[29-30]、基于馬爾科夫隨機場(MRF)的匹配方法[31]和基于神經(jīng)網(wǎng)絡(luò)的匹配方法[32]等立體匹配方法.
評價匹配方法的性能指標主要包括匹配精度、匹配概率和匹配速度.目前多數(shù)立體匹配算法只能單方面地滿足其中一個性能指標,匹配精度和匹配速度永遠是一對矛盾體.每種匹配算法有各自的適用范圍,相同的算法在處理不同的場景和應(yīng)用環(huán)境圖像時,表現(xiàn)出的精度、概率和速度也是不同,需要根據(jù)不同的圖像情況選擇算法.圖像模式和成像畸變的多樣性是圖像匹配問題的難點所在.目前要提高立體匹配算法的三大性能指標,可以從以下幾個方面開展研究:
(1)圖像匹配是計算機視覺基礎(chǔ)圖像處理領(lǐng)域的研究熱點,當前主要應(yīng)用于醫(yī)學(xué)圖像、航空圖像分析等靜態(tài)圖像處理領(lǐng)域,但許多計算機視覺任務(wù)需要處理實時的動態(tài)視頻信息,在這種情況下,研究適用于動態(tài)視頻信息處理的復(fù)雜背景圖像立體匹配的可靠性和實時性算法具有重要意義.
(2)立體匹配在視覺檢測、視覺導(dǎo)航、機器視覺等研究領(lǐng)域中得到了廣泛應(yīng)用,但目前多數(shù)立體匹配方法仍然利用計數(shù)統(tǒng)計理論來解決視覺的不確定問題,還存在許多未知的理論依據(jù).因此可以從生物視覺機制上對立體匹配問題進行實質(zhì)性研究.
(3)可探索新的適用于立體視覺的計算理論和匹配策略,選擇有效的匹配準則和算法結(jié)構(gòu),以解決存在灰度失真、幾何畸變、噪聲干擾、特殊結(jié)構(gòu)和遮擋等匹配問題,達到完全的正確匹配.
[1]SEHARSTEIN D,RIEHAR D S.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms [J].International Journal of Computer Vision,2002,47(1):7-42.
[2]HIRSEHMULLER H.Stereo proeessing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.
[3]SIMON H,SANDINO M,REINHARD K.Half-resolution semiglobal stereo matching[C]∥ KLAUS D.IEEE Intelligent Vehicles Symposium,Piscataway:IEEE,2011:201-206.
[4]VEKSLER O.Fast variable window for stereo eorres Pondence using integral images[C]∥ ERIC M.Proeeedings of IEEE Conference on Computer Vision and Pattern Recognition,Madison:IEEE,2003:556-561.
[5]KANADA T,OKUTOMI M.A stereo matching algorithm with an adaptive window:theory and experiment[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1994,16(9):920-932.
[6]YOON K J,KWEON I S.Adaptive support-weight approach for correspondence search [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.
[7]盧思軍,唐振民,郭龍源,等.采用模糊判別的自適應(yīng)多窗口立體匹配[J].工程圖學(xué)學(xué)報,2009,(9):115-120.
LU Sijun,TANG Zhenmin, GUO Longyuan,et al.Adaptivemulti-windows stereo matching based on fuzzy identification[J].Journal of Engineering Graphics,2009(9):115-120.
[8]ZABIH R,WOODFILL J.Non-parametric local transforms for computing visual correspondence[C]∥JOHN T.IEEE International Conference on Computer Vision,Vancouver:IEEE,1994:151-158.
[9]SAMADI M,OTHMAN M F.A new fast and robust stereo matching algorithm for robotic systems[J].Advances in Intelligent Systems and Computing,2013,209:281-290.
[10]PRINCE S J D,EAGLE R A.Weighted directional energy model of human stereo correspondence[J].Vision Research,2000,40(9):1143-1155.
[11]霍智勇,朱秀昌,劉天亮,基于線性生長的區(qū)域立體匹配算法研究[J].儀器儀表學(xué)報,2011,32(4):819-824.
HUO Zhiyong,ZHU Xiuchang,LIU Tianliang.Region based stereomatching algorithm using line growing method[J].Chinese Journal of Scientific Instrument,2011,32(4):819-824.
[12]KIM C I,PARK S Y.Fast stereo matching of feature links[C]∥International Conference on 3D Imaging,Modeling,Processing,Visualization and Transmission (3DIMPVT),Vancouver:IEEE,2011:268-274.
[13]李海超,張廣軍.一種基于角點引導(dǎo)的快速立體邊緣匹配方法[J].北京航空航天大學(xué)學(xué)報,2007,33(5):557-560.
LI Haichao,ZHANG Guangjun.Fast stereo edge-matching algorithm based on corner-guidance[J].Journal of Beijing University of Aeronautics and Astronautics,2007,33(5):557-560.
[14]徐彥君,杜利民,侯自強,等.基于相位的尺度自適應(yīng)立體匹配方法[J].電子學(xué)報,1999,27(7):38-41.
XU Yanjun,DU Limin,HOU Ziqiang,et al.A scale-adaptive phase-based stereo matching method[J].Acta Electronica Sinica,1999,27(7):38-41.
[15]ZADEH P B,SERDEAN C V.Stereo correspondence matching using multiwavelets[C]∥PETRE D.Fifth International Conference on Digital Telecommunications(ICDT),Athens:IARIA,2010:153-157.
[16]MUQUIT M A,SHIBAHARA T,AOKI T.A high-accuracy passive 3D measurement system using phase-based image matching[J].IEICE Transactions on Fundamentals of Electronics,Communications and Computer Sciences,2006,E89-A(3):686-697.
[17]姜宏志,趙慧潔,梁宵月,等.基于極線校正的快速相位立體匹配[J].光學(xué)精密工程,2011,19(10):2520-2525.
JIANG Hongzhi,ZHAO Huijie,LIANG Xiaoyue,et al.Phasebased stereo matching using epipolar line rectification[J].Optics and Precision Engineering,2011,19(10):2520-2525.
[18]BOBICK A F,INTELLE S S.Large occlusion stereo[J].International Journal of Computer Vision,1999,33(3):181-200.
[19]張世輝,楊志榮,孔令富.基于行列雙向約束的動態(tài)規(guī)劃立體匹配算法[J].儀器儀表學(xué)報,2010,31(10):2186-2191.
ZHANG Shihu,YANG Zhirong,KONG Lingfu.Dynamic programming stereomatching algorithm based on bidirectional constraints of row and column[J].Chinese Journal of Scientific Instrument,2010,31(10):2186-2191.
[20]GONG Minglun,YANG Yehong.Fast unambiguous stereo matching using reliability-based dynamic Programming[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(6):998-1003.
[21]LEI Cheng,SELZER J,YANG Yehong.Region-tree based stereo using dynamic programming optimization[C]∥FITZGIBBON A.IEEE Conference on Computer Vision and Pattern Recognition,New York:IEEE,2006:378-385.
[22]DONATE A,LIU Xiuwen,COLLINS E G.Efficient path-based stereo matching with subpixel accuracy [J].IEEE Transactions on Systems,Man and Cybernetics,2011,41(1):183-195.
[23]COX L J,ROY S.A maximum-flow formulation of the ncamera stereo correspondence problem[C]∥SCHEIRER W.IEEE International Conference on Computer Vision,Washington:IEEE,1998:492-499
[24]DENG Y,YANG Q,LIN X Y,et al.Stereo correspondence with occlusion handling in a symmetric patch-based graph-cuts model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1068-1079.
[25]KOLMOGOROV V,ZABIN R.What energy functions can be minimized via graph cuts[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2004,26(2):147-159.
[26]張令濤,曲道奎,徐方.一種基于圖割的改進立體匹配算法[J].機器人,2010,32(1):104-108.
ZHANG Lingtao,QU Daokui,XU Fang.Animproved stereo matching algorithm based on graph cuts[J].Robot,2010,32(1):104-108.
[27]FEZZA S A,OUDDANE S.Fast stereo matching via graph cuts[C]∥SADOUN R.The 7th International Workshop on Systems,Signal Processing and their Applications(WOSSPA),Moncton:IEEE,2011:115-118.
[28]周自維,樊繼壯,李戈,等.支撐點擴展快速立體匹配方法的設(shè)計與應(yīng)用[J].光學(xué)精密工程,2013,21(1):207-216.
ZHOU Ziwei,F(xiàn)AN Jizhuang,LI Ge,et al.Design and application of fast matching method based on support point expansion[J].Optics and Precision Engineering,2013,21(1):207-216.
[29]YANG Q,WANG L,AHUJA N.A constant-space belief propagation algorithm for stereo matching [C]∥MORTENSEN E N.Computer Vision and Pattern Recognition(CVPR),Washington:IEEE,2010:1458-1465.
[30]周自維,趙杰,樊繼壯.基于置信傳播的立體匹配并行算法研究[J].光學(xué)精密工程,2011,19(11):2774-2781.
ZHOU Ziwei,ZHAO Jie,F(xiàn)AN Juzhuang.Research on fast stereo matching algorithm base on Propagation[J].Optics and Precision Engineering,201l,19(11):2774-2781.
[31]SUN Jian,ZHENG Nanning,SHUM H Y.Stereo matching using belief propagation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):787-800.
[32]王堯,余祖俊,朱力強,等.基于脈沖耦合神經(jīng)網(wǎng)絡(luò)和Markov隨機場的立體匹配研究[J].儀器儀表學(xué)報,2013,34(7):1539-1545.
WANG Yao,YU Zujun,ZHU Liqiang,et al.Study on stereo matching based on pulse-couple neural network and Markov random field[J].Chinese Journal of Scientific Instrument,2013,34(7):1539-1545.