立體圖像中間視點(diǎn)生成算法

楊嘉琛，安 坤，王 斌

(1. 天津大學(xué)電子信息工程學(xué)院，天津 300072；

2. 國(guó)家海洋技術(shù)中心，天津 300112；3. 北京機(jī)械工業(yè)自動(dòng)化研究所，北京 100120)

隨著立體顯示技術(shù)的發(fā)展，有關(guān)立體視覺的研究逐漸升溫[1-3]，立體技術(shù)已經(jīng)是多媒體技術(shù)的重要內(nèi)容[4]．中間視點(diǎn)生成是立體技術(shù)中的一個(gè)關(guān)鍵部分，以往的中間視點(diǎn)生成多用于立體圖像編碼中的視點(diǎn)估計(jì)[5-6]，視點(diǎn)估計(jì)后還有殘差圖像編碼，所以對(duì)生成的中間視點(diǎn)圖像質(zhì)量要求并不高．但隨著近幾年顯示技術(shù)的發(fā)展，中間視點(diǎn)圖像生成的應(yīng)用發(fā)生了變化．目前國(guó)內(nèi)外一些廠家(如天津三維顯示技術(shù)有限公司)，利用光柵技術(shù)，已經(jīng)制造出多視點(diǎn)(可以達(dá)到9個(gè)視點(diǎn))立體顯示屏幕．這些立體顯示屏幕運(yùn)用了空間復(fù)用，可以將具有雙眼視差的多幅圖像同時(shí)顯示在屏幕上．這樣的立體顯示系統(tǒng)中，存在 2個(gè)主要的問題：首先，當(dāng)獲取立體圖像時(shí)，多個(gè)攝像機(jī)在空間上是固定的，觀看視點(diǎn)只能從特定的視角來(lái)描述三維場(chǎng)景，如果不是從這一特定的角度來(lái)觀察立體圖像對(duì)，就會(huì)導(dǎo)致場(chǎng)景的不自然表達(dá)；其次，隨著視點(diǎn)數(shù)目增加，攝像機(jī)的數(shù)量也會(huì)大幅度增加，給拍攝工作也帶來(lái)很大的困難．解決上述問題的關(guān)鍵是需要獲得不同于攝像機(jī)位置處視點(diǎn)的圖像，其解決的方法就是中間視點(diǎn)生成．中間視點(diǎn)生成是根據(jù)原始的 2幅圖像，生成位于2個(gè)參考圖像視點(diǎn)所決定直線(基線)上的中間圖像．當(dāng)然，如果有很多幅參考圖像，也可通過(guò)一系列的插值獲得一定范圍內(nèi)任意視點(diǎn)圖像．

中間視點(diǎn)生成的方法主要分為2類：基于三維幾何模型的中間視點(diǎn)生成與基于圖像的中間視點(diǎn)生成．由于基于幾何模型的技術(shù)有2個(gè)主要缺點(diǎn)：高質(zhì)量的繪制需要高精度三維物體模型，三維建模是一項(xiàng)具有挑戰(zhàn)的任務(wù)，而對(duì)于復(fù)雜的景物則幾乎不可能完成；計(jì)算費(fèi)時(shí)，實(shí)時(shí)性差，繪制時(shí)間取決于物體的復(fù)雜性．所以基于圖像生成中間視點(diǎn)成為了主要研究方向．

基于圖像中間視點(diǎn)生成結(jié)果主要取決于視差估計(jì)準(zhǔn)確性．因此中間視點(diǎn)生成算法主要集中于如何獲得精準(zhǔn)和稠密的視差矢量場(chǎng)來(lái)改善中間視點(diǎn)內(nèi)插效果，但是精準(zhǔn)的視差矢量場(chǎng)需要很大的計(jì)算量，這在很多實(shí)時(shí)性要求較高的應(yīng)用中并不合適．為此，本文提出的中間視點(diǎn)生成算法使用圖像中物體邊緣進(jìn)行特征點(diǎn)提取，然后利用特征點(diǎn)建立 Delaunay三角形網(wǎng)格，并通過(guò)網(wǎng)格映射進(jìn)行視差矢量場(chǎng)快速計(jì)算，最后通過(guò)內(nèi)插算法進(jìn)行中間視點(diǎn)圖像生成．

1 基于圖像邊緣的特征點(diǎn)選取

目前一些研究者使用特征點(diǎn)建立網(wǎng)格[7]，如Delaunay三角網(wǎng)格[8-9]，再通過(guò)網(wǎng)格映射的方法來(lái)快速計(jì)算視差矢量場(chǎng)．但是這些網(wǎng)格算法使用的特征點(diǎn)是圖像中那些在各個(gè)方向上都具有較大灰度變化率的點(diǎn)，如用以求特征點(diǎn)的Moravec方法[10]．

圖1就是使用Moravec方法選取特征點(diǎn)，并建立的Delaunay三角網(wǎng)格．可以看到，三角形的劃分并沒有把背景和物體完全分開，在物體邊緣部分，大多數(shù)三角形同時(shí)包含物體和背景．物體發(fā)生旋轉(zhuǎn)、尺度放縮以及彈性形變等，要受到落在背景里的特征點(diǎn)影響，不能進(jìn)行更為準(zhǔn)確的三角形映射變換．對(duì)于背景，雖然劃分比較粗糙，但也占用了一部分三角形，這些三角形對(duì)于增強(qiáng)圖像質(zhì)量沒有意義，只會(huì)增加計(jì)算量．

圖1 Moravec特征點(diǎn)建立的三角形網(wǎng)格Fig.1 Triangular meshes established by Moravec feature Fig.1 points

針對(duì)上述問題，本文使用圖像中物體邊緣進(jìn)行特征點(diǎn)選取，有如下5個(gè)步驟．

(1)用 Canny算法[11]對(duì)左眼圖 IML進(jìn)行邊緣檢測(cè)，從而得到邊緣圖．

(2)用線段逼近曲線方法(基于遺傳算法的線段逼近曲線方法)，把邊緣圖中邊緣曲線逼近成邊緣線段，如圖2所示，其中誤差設(shè)定為2個(gè)像素點(diǎn)，選出線段端點(diǎn)集 T(T1，T2，…，Tn)．

圖2 邊緣線段Fig.2 Edge lines

(3)使用歸一化協(xié)方差匹配方法在右眼圖 IMR中找到T1的相應(yīng)匹配點(diǎn)H1．

(4)為了防止誤匹配，進(jìn)行誤差檢測(cè)，在左眼圖中也用歸一化協(xié)方差匹配方法尋找 H1的匹配點(diǎn) Q1，如果T1與Q1的距離小于設(shè)定誤差b(本文b值取3，隨著 b值增加，算法精度將下降，但速度加快)，則認(rèn)為T1與 H1匹配；否則，認(rèn)為 T1與 H1不匹配，并把不匹配點(diǎn)T1從T中去除．不匹配的點(diǎn)有2種可能：一個(gè)是產(chǎn)生了遮擋現(xiàn)象，另一個(gè)是誤匹配現(xiàn)象．

(5)把 T中剩下的點(diǎn)，都進(jìn)行步驟(3)與步驟(4)的驗(yàn)證，最后得到新的T作為特征點(diǎn)．

圖3是使用物體邊緣選取特征點(diǎn)，并建立的Delaunay三角網(wǎng)格．可以看到三角形是圍繞物體進(jìn)行劃分的，所以進(jìn)行三角形映射變換時(shí)，更能體現(xiàn)物體的旋轉(zhuǎn)、尺度放縮以及彈性形變等．對(duì)于變化較小的背景，幾乎不會(huì)特意選取特征點(diǎn)，劃分三角形．由此看見，利用物體邊緣提取特征點(diǎn)更適用于三角網(wǎng)格映射變換，也更適合于網(wǎng)格映射方法來(lái)快速計(jì)算視差矢量場(chǎng)．

圖3 邊緣特征點(diǎn)建立的三角形網(wǎng)格Fig.3 Triangle meshes established by edge feature points

2 中間視點(diǎn)生成方法

產(chǎn)生中間視點(diǎn)圖像，需要根據(jù)視差矢量找到原圖像對(duì)應(yīng)點(diǎn)在中間視點(diǎn)圖像上的坐標(biāo)位置．虛擬的中間視點(diǎn)放置于左右2個(gè)攝像機(jī)之間，左右視點(diǎn)間距離設(shè)為 1，中間視點(diǎn)到左視點(diǎn)的距離為 a，a為線性內(nèi)插系數(shù)，0＜a＜1．本文中間視點(diǎn)生成有如下5個(gè)步驟．

(1)用左眼圖 T中的點(diǎn)作為特征點(diǎn)，形成Delaunay三角網(wǎng)格，通過(guò)三角形映射計(jì)算 IML中全部點(diǎn)的視差矢量．三角形映射是通過(guò) IML中 1個(gè)三角形的3個(gè)頂點(diǎn) ( x1,y1) 、(x2,y2) 與 ( x3,y3)，和這3個(gè)頂點(diǎn)在IMR中的對(duì)應(yīng)點(diǎn) ( X1, Y1) 、(X2, Y2) 與 ( X3, Y3)，求出三角形內(nèi)部全部點(diǎn)的視差矢量．這6個(gè)點(diǎn)可以形成方程組

求解方程組可以得出 a、b、c、d、e、f與 6 個(gè)參數(shù)值．

于是可以把這三角形中的任何一點(diǎn)pL(x ,y) 代入方程，求出其在 IMR中的對(duì)應(yīng)點(diǎn) p'R(X,Y)，IMR與IML中相應(yīng)點(diǎn)的矢量差(視差矢量)，即

式中 dLR(x,y) 代表 IML中點(diǎn)(x，y)相對(duì) IMR的視差矢量．計(jì)算求出IML中全部點(diǎn)的視差矢量 DLR．

(2)使用步驟(1)的方法，同樣求出 IMR中全部點(diǎn)的視差矢量 DRL．

(3)分別用 DLR與 DRL合成中間視點(diǎn)圖像．IML與IMR到中間視點(diǎn)IMM的視差矢量為

式中 c值取 4，隨著 c值增加，算法精度將下降，但 c值過(guò)小所有區(qū)域都將變?yōu)椴豢煽浚惴ú荒苓M(jìn)行，在誤差范圍內(nèi)為可靠區(qū)域，否則為不可靠區(qū)域．

(5)形成最終的中間視點(diǎn)圖像，其公式為

式中 ML(x, y)( MR(x, y))為 I MML(IMMR)中的點(diǎn)．對(duì)于可靠區(qū)域，左右視點(diǎn)中的點(diǎn)可以相互對(duì)應(yīng)，中間視點(diǎn)圖像可以直接通過(guò)左右視點(diǎn)圖像同時(shí)來(lái)獲得預(yù)測(cè)．對(duì)于不可靠區(qū)域，左右視點(diǎn)中的點(diǎn)不能相互對(duì)應(yīng)，這種情況可能是遮擋現(xiàn)象或是誤匹配現(xiàn)象引起的，如果再使用左右視點(diǎn)圖像同時(shí)預(yù)測(cè)，會(huì)導(dǎo)致重影產(chǎn)生．本文方法對(duì)于不可靠區(qū)域，使用的是視差最大(深度最小)優(yōu)先考慮．因?yàn)槿绻a(chǎn)生遮擋現(xiàn)象，深度小的必然要遮擋深度大的；如果產(chǎn)生誤匹配現(xiàn)象(特征點(diǎn)選取時(shí)已經(jīng)盡可能減少了誤匹配)，則也使用深度最小(離觀看者近的物體立體感更明顯)的視點(diǎn)來(lái)預(yù)測(cè)，避免重影產(chǎn)生．

3 實(shí)驗(yàn)結(jié)果及分析

本文采用天津大學(xué)電子信息工程學(xué)院立體視覺實(shí)驗(yàn)室的立體圖像庫(kù)．實(shí)驗(yàn)使用了 30幅立體圖像對(duì)，4選出了具有代表性的 5幅立體圖像對(duì)與生成的中間視點(diǎn)(每個(gè)分圖中第 1個(gè)圖為左視點(diǎn)，第 2個(gè)圖為右視點(diǎn)，第 3個(gè)圖為生成的中間視點(diǎn))．本文算法生成的中間視點(diǎn)PSNR平均值為28.7，與文獻(xiàn)[12-13]中算法比較，PSNR分別提升了約0.7與1.1．

本文算法合成的中間視點(diǎn)圖像質(zhì)量良好，可以正確地反映原有左右視點(diǎn)內(nèi)容，并且具有良好的視覺效果．當(dāng)物體發(fā)生位移或形變時(shí)，生成的中間視點(diǎn)能夠隨著物體的變化而發(fā)生變化，并且沒有重影產(chǎn)生．對(duì)于遮擋現(xiàn)象基本可以正確地恢復(fù)．通過(guò)主觀觀看新生成中間視點(diǎn)圖像與原右視點(diǎn)(或左視點(diǎn))組成的立體圖像對(duì)，得出立體感良好的結(jié)論．

對(duì)于一些少數(shù)的誤匹配現(xiàn)象，仍存在一些小的失真．例如，圖4(e)生成的中間視點(diǎn)，自行車前輪鋼圈產(chǎn)生了失真，但總體的視覺效果是可以接受的．

圖4 立體圖像對(duì)與生成中間視點(diǎn)(a＝0.5)Fig.4 Three-dimensional images and intermediate view synthesis(a＝0.5)

4 結(jié) 語(yǔ)

本文提出的中間視點(diǎn)合成算法，主要利用物體邊緣提取特征點(diǎn)進(jìn)行視差矢量場(chǎng)生成與線性內(nèi)插．實(shí)驗(yàn)結(jié)果表明，生成的中間視圖具有可接受的視覺效果，可以用于生成位于2個(gè)參考圖像視點(diǎn)所決定的直線上的任意中間圖像，也可以在具有多幅參考圖像時(shí)，獲得一定范圍內(nèi)任意視點(diǎn)圖像．

［1］ 楊嘉琛,侯春萍,雷建軍. 基于人眼視覺特征的立體圖像質(zhì)量客觀評(píng)價(jià)方法[J]. 天津大學(xué)學(xué)報(bào)，2009，42(7)：622-627.

Yang Jiachen，Hou Chunping，Lei Jianjun. Objective quality evaluation method of stereo image based on human visual characteristics[J].Journal of Tianjin University，2009，42(7)：622-627(in Chinese).

［2］ 楊嘉琛，侯春萍，徐 然. 基于 Delaunay三角形網(wǎng)格立體圖像編碼算法的特征點(diǎn)提取[J]. 天津大學(xué)學(xué)報(bào)，2009，42(5)：424-427.

Yang Jiachen，Hou Chunping，Xu Ran. A feature-node selection method based on Delaunay triangular mesh stereo image coding[J].Journal of Tianjin University，2009，42(5)：424-427(in Chinese) .

［3］ 楊嘉琛，侯春萍，沈麗麗. 基于 PSNR 立體圖像質(zhì)量客觀評(píng)價(jià)方法[J]. 天津大學(xué)學(xué)報(bào)，2008，41(12)：1448-1452.

Yang Jiachen，Hou Chunping，Shen Lili. Objective evaluation method for stereo image quality based on PSNR[J].Journal of Tianjin University，2008，41(12)：1448-1452(in Chinese).

［4］ Park Ilkwon，Byun Hyeran. Fast gradient-based mesh generation method for the stereo image representation[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of 3D Video．Potsdam，Germany，2009.

［5］ Yao Li，Li Dongxiao，Zhang Ming. MRF-based stereo correspondence and virtual view interpolation[C]// 3rd International Symposium on Intelligent Information Technology Application. Nanchang，China，2009：416-419.

［6］ Liao Zhihong，Xie Xudong，Dai Qionghai. Real-time 3D video synthesis from binocular capture system based on commodity graphic hardware[C]// 3rd3DTV-Conference：The True Vision-Capture，Transmission and Display of3D Video. Potsdam，Germany，2009：1-4.

［7］ Joon H P，Hyun W P. A mesh-based disparity representation method for view interpolation and stereo image compression[J].IEEE Trans on Image Processing，2006，15(4)：1751-1762.

［8］ Ma Yingliang，Saetzler K. A parallelized surface extraction algorithm for large binary image data sets based on an adaptive 3-D delaunay subdivision strategy[J].Visualization and Computer Graphics，2008，14(1)：160-172.

［9］ Valette S，Chassery J-M，Prost R. Generic remeshing of 3D triangular meshes with metric-dependent discrete voronoi diagrams[J].Visualization and Computer Graphics，2008，14(2)：369-381.

［10］ Ohm J，Grueneberg K，Hendriks E. Real time hardware system for stereoscopic videoconferencing with viewpoint adaptation[J].Signal Processing：Image Communication，1998，14(1)：147-171.

［11］ Bao P，Zhang L. Canny edge detection enhancement by sale multiplication[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(9)：1485-1490.

［12］ Müller K，Smolic A，Dix K，et al. Coding and intermediate view synthesis of multiview video plus depth[C]//2009IEEE International Conference on Image Processing. Cairo，Egypt，2009：741-744.

［13］ 胡志萍，郭明恩，歐宗瑛．一種基于圖像輪廓信息的新視點(diǎn)圖像生成算法[J]. 大連理工大學(xué)學(xué)報(bào)，2006，46(3)：361-366.

Hu Zhiping，Guo Ming’en，Ou Zongying. An image synthesis algorithm based on new viewpoint using contour edge correspondence information[J].Journal of Dalian University of Technology，2006，46(3)：361-366(in Chinese).