集成成像三維數(shù)字重構(gòu)技術(shù)研究

雷莉霞，張躍進(jìn)，黃德昌

(華東交通大學(xué)信息工程學(xué)院，江西南昌330013)

集成成像三維數(shù)字重構(gòu)技術(shù)研究

雷莉霞，張躍進(jìn)，黃德昌

(華東交通大學(xué)信息工程學(xué)院，江西南昌330013)

集成成像三維重構(gòu)技術(shù)作為一種真三維重構(gòu)技術(shù)，成為當(dāng)今三維成像與顯示領(lǐng)域的重要研究方向。以光線追跡方法為基礎(chǔ)，使用像素映射算法實(shí)現(xiàn)了三維場(chǎng)景的數(shù)字重構(gòu);同時(shí)使用對(duì)同名像點(diǎn)提取誤差具有較強(qiáng)魯棒性的統(tǒng)計(jì)重構(gòu)算法對(duì)三維場(chǎng)景進(jìn)行高精度數(shù)字重構(gòu)，并開(kāi)展了標(biāo)準(zhǔn)量塊的數(shù)字重構(gòu)實(shí)驗(yàn)，實(shí)現(xiàn)了量塊的高精度數(shù)字重構(gòu)。

集成成像;數(shù)字重構(gòu);統(tǒng)計(jì)重構(gòu);像素映射

集成成像三維重構(gòu)技術(shù)作為一種真三維重構(gòu)技術(shù)，成為當(dāng)今三維成像與顯示領(lǐng)域的重要研究方向［1］。然而，傳統(tǒng)的光學(xué)重構(gòu)方法由于光學(xué)器件的限制很難獲得高質(zhì)量的重構(gòu)效果，而且現(xiàn)有的很多數(shù)字重構(gòu)算法由于同名像點(diǎn)提取誤差的存在難以達(dá)到理想的重構(gòu)精度。為此展開(kāi)集成成像三維數(shù)字重構(gòu)技術(shù)的研究具有潛在的理論和應(yīng)用價(jià)值［2］。在當(dāng)今的成像與顯示技術(shù)領(lǐng)域中，傳統(tǒng)的平面二維成像與顯示技術(shù)由于只能展現(xiàn)二維信息，已經(jīng)不能滿足人們對(duì)三維(3D)成像與顯示的日益增長(zhǎng)的需求［3］。三維成像與顯示技術(shù)能夠展現(xiàn)物體三個(gè)維度的信息，比之二維成像與顯示技術(shù)，由于體現(xiàn)了物體深度方向上的信息，能夠提高人們的視覺(jué)感受，使人們更加真實(shí)地感知物體，在電視技術(shù)、軍事、醫(yī)療、教育、等眾多領(lǐng)域中都凸顯出廣闊的應(yīng)用前景。另一方面，液晶器件、高清晰度平板顯示的制造工藝以及光柵、透鏡等光學(xué)器件的加工工藝隨著現(xiàn)代科學(xué)技術(shù)的發(fā)展而取得了不斷的進(jìn)步，從而推動(dòng)了三維成像與顯示技術(shù)的飛速發(fā)展［4］。目前，三維成像與顯示技術(shù)已經(jīng)成為成像顯示領(lǐng)域的一個(gè)研究熱點(diǎn)［5］。

集成成像技術(shù)除了在顯示領(lǐng)域中應(yīng)用廣泛，應(yīng)用于數(shù)字重構(gòu)、測(cè)量、機(jī)器視覺(jué)等領(lǐng)域也能起到良好的效果［6］。由于該技術(shù)通過(guò)對(duì)三維信息進(jìn)行多視角獲取獲得元素圖像陣列，把景物的三維信息存儲(chǔ)在這些平面二維圖像之中，因此經(jīng)過(guò)一些光線追蹤計(jì)算，原三維景物可以被準(zhǔn)確地重構(gòu)出來(lái)，實(shí)現(xiàn)基于多視角三維信息的三維數(shù)字重構(gòu)以及三維測(cè)量，使其在電視技術(shù)、軍事、醫(yī)療、制造業(yè)等諸多領(lǐng)域中獲得更為廣泛的應(yīng)用［7］。

1 統(tǒng)計(jì)重構(gòu)法三維物體數(shù)字重構(gòu)原理

對(duì)空間三維物體進(jìn)行拍攝獲取了元素圖像陣列后，需要對(duì)元素圖像陣列進(jìn)行重構(gòu)計(jì)算，從而重現(xiàn)景物。然而，傳統(tǒng)的三維物體集成成像重構(gòu)算法很多都存在算法復(fù)雜的問(wèn)題，相對(duì)簡(jiǎn)單的重構(gòu)算法又對(duì)元素圖像陣列中各子元素圖像中同名像點(diǎn)的坐標(biāo)精度要求非常高，應(yīng)用起來(lái)都有較大缺陷［8］。針對(duì)以上問(wèn)題，將使用統(tǒng)計(jì)重構(gòu)的方法對(duì)三維物體進(jìn)行模型重構(gòu)，分析成像誤差，即各元素圖像中像點(diǎn)坐標(biāo)偏差對(duì)重構(gòu)精度的影響，發(fā)現(xiàn)統(tǒng)計(jì)重構(gòu)方法對(duì)同名像點(diǎn)提取精度的魯棒性很強(qiáng)［9］。最后以標(biāo)準(zhǔn)量塊為樣品，選取4個(gè)角點(diǎn)作為特征點(diǎn)，設(shè)計(jì)程序進(jìn)行特征點(diǎn)的自動(dòng)匹配，并進(jìn)行重構(gòu)運(yùn)算，得到重構(gòu)圖像中特征點(diǎn)的精確坐標(biāo)，與標(biāo)準(zhǔn)值相比較驗(yàn)證重構(gòu)精度［10］。

集成成像的記錄過(guò)程如圖1所示，物方空間中1個(gè)3D物點(diǎn)O(x0，y0，z0)經(jīng)過(guò)p×q(重構(gòu)空間點(diǎn)對(duì)應(yīng)的元素圖像點(diǎn)在第(p，q)個(gè)子元素圖像范圍)密接記錄透鏡陣列D(m，n)(透鏡陣列由m×n個(gè)子透鏡)記錄成像后，在元素圖像陣列像面上可以得到p×q個(gè)同名像點(diǎn)R(m，n)。

圖1 集成成像記錄原理圖

假設(shè)記錄透鏡陣列中第(m，n)個(gè)子透鏡的空間坐標(biāo)為D(m，n)(x，y，z)=(xD(m，n)，yD(m，n)，zD(m，n))，它所對(duì)應(yīng)的同名像點(diǎn)R(m，n)的坐標(biāo)為(xR，yR，zR)，子透鏡D(1，1)的空間坐標(biāo)為(x(1，1)，y(1，1)，z(1，1))，記錄透鏡陣列中子透鏡在x方向上的間隔為px，在y方向上的間隔為py，各子透鏡z坐標(biāo)相同。又假設(shè)記錄透鏡陣列中各子透鏡的焦距均為f，z方向上坐標(biāo)為z1，則由高斯公式可計(jì)算出同名像點(diǎn)距離記錄透鏡陣列的距離g，從而可以推得記錄的物點(diǎn)O所對(duì)應(yīng)的的每個(gè)同名像點(diǎn)R(m，n)的空間坐標(biāo)。反之，在已知透鏡陣列D(m，n)和同名像點(diǎn)R(m，n)的空間坐標(biāo)的情況下，可以利用光線追跡的方法，反推出所記錄物點(diǎn)O的空間坐標(biāo)。

在各點(diǎn)坐標(biāo)準(zhǔn)確的條件下，其中任何2個(gè)同名像點(diǎn)和它們所對(duì)應(yīng)的記錄子透鏡中心的空間坐標(biāo)都可以推算出待計(jì)算空間物點(diǎn)O，原理是任意2個(gè)同名像點(diǎn)都和待計(jì)算空間物點(diǎn)O組成1個(gè)三角形，而記錄子透鏡的中心各處于三角形的1條邊上，它們的連線與同名像點(diǎn)的連線平行，由相似三角形關(guān)系容易推算出O的坐標(biāo)。在記錄透鏡陣列和所記錄的同名像點(diǎn)的坐標(biāo)均無(wú)誤差的理想情況下，由p×q個(gè)同名像點(diǎn)計(jì)算得到的S個(gè)物點(diǎn)O(x，y，z)應(yīng)該是完全重合的。S可由公式計(jì)算得到: S=(p×q)×(p×q-1)/2，p和q為空間點(diǎn)對(duì)應(yīng)的元素圖像點(diǎn)。

但是，實(shí)際情況是幾乎不可能得到?jīng)]有誤差的坐標(biāo)，所以得到的S個(gè)結(jié)果是有一定差異的。考慮對(duì)上述O點(diǎn)坐標(biāo)的S個(gè)重構(gòu)結(jié)果進(jìn)行統(tǒng)計(jì)分析，可以認(rèn)為S個(gè)結(jié)果中出現(xiàn)頻率最高的那個(gè)結(jié)果為所計(jì)算物點(diǎn)O的空間坐標(biāo)，依次對(duì)原景物中每一個(gè)物點(diǎn)重復(fù)上述分析過(guò)程，就可以得到該景物表面所有點(diǎn)的空間坐標(biāo)，從而實(shí)現(xiàn)了對(duì)景物的三維數(shù)字重構(gòu)。

2 統(tǒng)計(jì)重構(gòu)法標(biāo)準(zhǔn)量塊三維數(shù)字重構(gòu)

選用長(zhǎng)度為100 mm的標(biāo)準(zhǔn)量塊作為三維物體，進(jìn)行基于統(tǒng)計(jì)重構(gòu)方法的三維數(shù)字重構(gòu)的實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)使用精度為0.5μm的二維電動(dòng)平臺(tái)和彩色面陣電荷耦合元件(CCD)構(gòu)建成記錄相機(jī)陣列，CCD像素為1 024×768，CCD焦距為25 mm，將標(biāo)準(zhǔn)量塊放在CCD前方800 mm的位置，采用10 mm×10 mm的掃描間隔，進(jìn)行10×10的逐個(gè)掃描，實(shí)驗(yàn)裝置如圖2所示。掃描相機(jī)陣列記錄的10×10元素圖像陣列如圖3所示，將元素圖像陣列導(dǎo)入計(jì)算機(jī)，用MATLAB編程讀入元素圖像陣列，研究自動(dòng)匹配算法，提取每個(gè)子元素圖像中標(biāo)準(zhǔn)量塊的4個(gè)角點(diǎn)作為特征點(diǎn)，編寫(xiě)統(tǒng)計(jì)重構(gòu)算法的程序?qū)?個(gè)特征點(diǎn)進(jìn)行統(tǒng)計(jì)重構(gòu)，得到三維重構(gòu)結(jié)果。

圖2 對(duì)標(biāo)準(zhǔn)量塊進(jìn)行統(tǒng)計(jì)重構(gòu)的實(shí)驗(yàn)裝置

圖3 標(biāo)準(zhǔn)量塊的元素圖像陣列

其中自動(dòng)匹配算法的編程思路和具體步驟如下:

1)分別讀入10×10個(gè)子元素圖像，由于物體較為簡(jiǎn)單，將彩色圖像對(duì)應(yīng)的三維R，G，B(R代表紅色，G代表綠色，B代表藍(lán)色)矩陣A轉(zhuǎn)換成二維灰度矩陣C，便于后續(xù)處理。

2)將轉(zhuǎn)換成的灰度矩陣C中每個(gè)像素點(diǎn)替換成該像素點(diǎn)灰度值與其上、下、左、右四鄰域內(nèi)的灰度值的差值的平方和，形成新的矩陣B，矩陣B中的像素點(diǎn)表示該點(diǎn)在其四鄰域內(nèi)灰度值的變化率。觀察矩陣B可以發(fā)現(xiàn)，背景集中或物體集中處矩陣B像素點(diǎn)的值較小，背景和物體邊界以及物體中灰度突變處矩陣B像素點(diǎn)的值較大(基本全為255)，邊界處形成3～4行(或3～4列)的大像素點(diǎn)。這樣，矩陣B可以方便地展現(xiàn)出背景和物體邊界以及物體中灰度突變的像素點(diǎn)。

3)對(duì)矩陣B進(jìn)行掃描，在左上、右上、左下、右下4個(gè)方向分別進(jìn)行掃描，分別找到四鄰域灰度變化率突增的4個(gè)提取的特征點(diǎn)。為了排除子元素圖像中一些噪聲的干擾，尋找四鄰域灰度變化率突增的點(diǎn)時(shí)，根據(jù)所選物體的幾何特征進(jìn)行了進(jìn)一步的條件設(shè)置:對(duì)左上方角點(diǎn)要求該點(diǎn)、該點(diǎn)正右方第20個(gè)像素點(diǎn)和該點(diǎn)正下方第20個(gè)像素點(diǎn)需同時(shí)大于250;對(duì)右上方角點(diǎn)要求該點(diǎn)、該點(diǎn)正左方第20個(gè)像素點(diǎn)和該點(diǎn)正下方第20個(gè)像素點(diǎn)需同時(shí)大于250;對(duì)左下方角點(diǎn)要求該點(diǎn)、該點(diǎn)正右方第20個(gè)像素點(diǎn)和該點(diǎn)正上方第20個(gè)像素點(diǎn)需同時(shí)大于250，對(duì)右下方角點(diǎn)要求該點(diǎn)、該點(diǎn)正左方第20個(gè)像素點(diǎn)和該點(diǎn)正上方第20個(gè)像素點(diǎn)需同時(shí)大于250。經(jīng)過(guò)該設(shè)置條件，自動(dòng)匹配特征點(diǎn)的算法精度得到大幅改善。

實(shí)驗(yàn)所編程序發(fā)現(xiàn)，該自動(dòng)匹配算法提取出的特征點(diǎn)的像素位置的誤差在±2個(gè)像素以內(nèi)，精度基本符合要求。整個(gè)統(tǒng)計(jì)重構(gòu)算法的程序流程圖如圖4所示。

圖4 統(tǒng)計(jì)重構(gòu)算法程序流程圖

在MATLAB中運(yùn)行上述程序，得到以下結(jié)果:A，B，C，D這4個(gè)特征點(diǎn)的X坐標(biāo)、Y坐標(biāo)的頻率分布圖如圖5所示，A，B，C，D這4個(gè)特征點(diǎn)的面型坐標(biāo)圖如圖6所示。

圖5 標(biāo)準(zhǔn)量塊4個(gè)特征點(diǎn)計(jì)算結(jié)果的頻率分布圖

圖6 標(biāo)準(zhǔn)量塊4個(gè)特征點(diǎn)面型坐標(biāo)圖

用統(tǒng)計(jì)重構(gòu)方法對(duì)標(biāo)準(zhǔn)量塊進(jìn)行三維重構(gòu)后，得到量塊AB邊長(zhǎng)度為124.6mm，CD邊長(zhǎng)度為104.2mm，基本符合實(shí)驗(yàn)要求。AB邊長(zhǎng)度偏差24.6%，CD邊偏差4.2%。事實(shí)上，A，C，D這3個(gè)特征點(diǎn)的重構(gòu)偏差是較小的，只有B點(diǎn)重構(gòu)偏差較大，而且從頻率分布圖中可以看出，B點(diǎn)在被統(tǒng)計(jì)重構(gòu)時(shí)，正確值的頻率也是比較高的。造成這種統(tǒng)計(jì)重構(gòu)偏差的原因主要是因?yàn)樗褂玫淖詣?dòng)匹配算法有一定的誤差，另外，實(shí)驗(yàn)中CCD的采樣精度有限(0.2 mm)且相機(jī)陣列的橫向掃描位移較大(達(dá)到90 mm)，這使得相機(jī)在非正拍的時(shí)候，量塊后表面的頂點(diǎn)干擾了拍攝結(jié)果和同名像點(diǎn)的提取。所以如果使用更高精度的同名像點(diǎn)匹配算法，使用采樣精度較高的CCD，以上算法的精度將能夠得到提高。

驗(yàn)證基于統(tǒng)計(jì)重構(gòu)方法的三維數(shù)字重構(gòu)只使用了較為簡(jiǎn)單的量塊作為三維物體，而且只對(duì)少數(shù)特征點(diǎn)進(jìn)行了提取和重構(gòu)。實(shí)驗(yàn)結(jié)果表明，在誤差允許的范圍內(nèi)，基于統(tǒng)計(jì)重構(gòu)方法的三維數(shù)字重構(gòu)在精度上可以滿足要求，且對(duì)同名像點(diǎn)的提取誤差有較強(qiáng)的魯棒性。若需要重構(gòu)出三維物體的所有表面物點(diǎn)，只需按照上述重構(gòu)特征點(diǎn)的方法對(duì)所有同名像點(diǎn)依次進(jìn)行統(tǒng)計(jì)重構(gòu)計(jì)算即可;若需要對(duì)較為復(fù)雜的三維物體進(jìn)行重構(gòu)，只需使用相應(yīng)的自動(dòng)匹配算法，對(duì)復(fù)雜景物中的同名像點(diǎn)完成自動(dòng)匹配，再按照本文所述重構(gòu)特征點(diǎn)的方法進(jìn)行統(tǒng)計(jì)計(jì)算，即可完成復(fù)雜三維物體的數(shù)字重構(gòu)。從理論上分析，加上以上的實(shí)驗(yàn)支持，這些需求是完全可以實(shí)現(xiàn)的，但由于時(shí)間關(guān)系，上述工作有待今后進(jìn)一步完善。

3 總結(jié)

介紹了統(tǒng)計(jì)重構(gòu)方法用于三維數(shù)字重構(gòu)的基本思想，分析了成像誤差對(duì)三維重構(gòu)精度的影響是非常小的，然后以標(biāo)準(zhǔn)量塊為樣品驗(yàn)證了統(tǒng)計(jì)重構(gòu)方法。在對(duì)標(biāo)準(zhǔn)量塊進(jìn)行元素圖像陣列的記錄后，對(duì)得到的元素圖像陣列中量塊4個(gè)角點(diǎn)進(jìn)行程序自動(dòng)匹配，用統(tǒng)計(jì)重構(gòu)方法重構(gòu)計(jì)算出標(biāo)準(zhǔn)量塊的4個(gè)角點(diǎn)的精確坐標(biāo)，計(jì)算角點(diǎn)間距，與標(biāo)準(zhǔn)值比較發(fā)現(xiàn)重構(gòu)出的特征點(diǎn)坐標(biāo)存在一定誤差，但在實(shí)驗(yàn)允許的范圍之內(nèi)。由此說(shuō)明，使用統(tǒng)計(jì)重構(gòu)方法對(duì)三維物體進(jìn)行三維數(shù)字重構(gòu)是可行的，且對(duì)同名像點(diǎn)的提取誤差有較強(qiáng)的魯棒性。

［1］JUNG S，HONG J，PARK JH，et al.Depth-enhanced integral-imaging 3D display using different optical path lengths by polarization devices ormirror barrier array［J］.Journal of the SID，2004，12(4):461-467.

［2］STERN A，JAVIDIB.Three-dimensional image sensing，visualization and processing using integral imaging［J］.Proceedings of the IEEE，2006，94(3):591-607

［3］焦小雪.集成成像三維顯示技術(shù)中光學(xué)記錄系統(tǒng)的研究［D］.天津:南開(kāi)大學(xué)，2012.

［4］ORTIZ S，SIDDLECKIID，REMON L，et al.Three-dimensional ray tracing on delaunay-based reconstructed surfaces［J］.Appl.Opt.，2009，48(20):3886-3893.

［5］焦小雪，趙星，楊勇，等.基于最佳記錄距離的三維集成成像光學(xué)獲取技術(shù)［J］.光學(xué)精密工程，2011，19(11):2805-2811.

［6］王芳.集成成像三維顯示系統(tǒng)光學(xué)性能的研究［D］.天津:南開(kāi)大學(xué)，2012.

［8］黎達(dá).基于集成成像系統(tǒng)非匹配參數(shù)設(shè)計(jì)方法提升系統(tǒng)顯示性能的研究［D］.天津:南開(kāi)大學(xué)，2012.

［7］HONG J，KIM Y，CHOIH，et al.Three-dimensional display technologies of recent interest:principles，status，and issues［J］.Appl.Opt.，2011，50(34):87-115.

［8］王瓊?cè)A，王愛(ài)紅.三維立體顯示綜述［J］.計(jì)算機(jī)應(yīng)用，2010，30(3):579-581.

［9］BLUNDELL B.Volumetric three dimensional display systems［M］.New York:Wiley Inter-Science Publication，2000.

［10］BLANCHE P，BABLUMIAN A，VOORAKARANAM R，et al.Holographic three-dimensional telepresence using large-area photorefractive polymer［J］.Nature，2010(468):80-83.

Integrated Three-dimensional Digital Image Reconstruction Technique

LEILixia，ZHANG Yuejin，HUANG Dechang
(School of Information Engineering，East China Jiaotong University，Nanchang 330013，China)

Based on the ray tracingmethod，a digital reconstruction of the 3D scene ismade using pixelmapping algorithm.In addition，a high precision digital reconstruction of the 3D scene using the statistical reconstruction algorithm is implemented，which is robust to thematching errors of the homologous points.The reconstruction experiment of the standard gauge block ismade，and the digital reconstruction result of the gauge block is achieved.

integral imaging;digital reconstruction;statistical reconstruction;pixelmapping

TN911.73;TP391.41

A

雷莉霞(1977—)，女，碩士，講師，主研電視圖像技術(shù)、計(jì)算機(jī)建模與仿真;

?? 雯

2014-03-06

【本文獻(xiàn)信息】雷莉霞，張躍進(jìn)，黃德昌.集成成像三維數(shù)字重構(gòu)技術(shù)研究［J］.電視技術(shù)，2014，38(23).

江西省科技廳自然科學(xué)青年基金項(xiàng)目(20122BAB211040);華東交通大學(xué)校級(jí)基金項(xiàng)目(12XX02)

張躍進(jìn)(1978—)，博士生，講師，主研電視技術(shù)、生物醫(yī)學(xué)工程;黃德昌(1983—)，碩士，助教，主研圖像技術(shù)、無(wú)線傳感網(wǎng)。