基于非周期性提取像素的全景圖像三維重構(gòu)

汪永吉

(廣西民族大學(xué)相思湖學(xué)院，廣西 南寧 530008)

1 引言

應(yīng)用廣泛的圖像顯示系統(tǒng)是基于三維圖像的，只能從一定角度表示真實(shí)空間場景的精細(xì)投影?，F(xiàn)階段計(jì)算機(jī)視覺技術(shù)快速發(fā)展，各研究領(lǐng)域?qū)θ皥D像的質(zhì)量要求也隨之越來越高，人們已不再滿足于傳統(tǒng)的文本傳輸方式，因此出現(xiàn)了眾多圖像聲音系統(tǒng)以及媒體平臺，同時(shí)圖像信息作為傳輸信息的主要方式之一，也已成為該研究領(lǐng)域中較為重點(diǎn)研究的課題之一[1]。

目前在商業(yè)競爭日益激烈的大環(huán)境背景下，部分視覺圖像已經(jīng)在三維成像技術(shù)領(lǐng)域中有了較為顯著性的突破，部分新的圖像應(yīng)用也為三維成像技術(shù)奠定了堅(jiān)實(shí)的基礎(chǔ)。由于三維圖像可以給觀看者帶來更為顯著的自然感和真實(shí)性，并且該技術(shù)在視覺領(lǐng)域中也將發(fā)揮越來越重要的作用，因此，開發(fā)三維圖像系統(tǒng)也將是科學(xué)界和娛樂界的長期目標(biāo)。

現(xiàn)階段傳統(tǒng)三維全景圖像重構(gòu)技術(shù)已經(jīng)不能滿足社會(huì)基本需求，基于此本文提出非周期性提取像素下全景圖像三維重構(gòu)方法。首先采用非周期性像素提取的方法解決全景圖像中重疊像素的部分，然后采用差值算法對三維全景圖像進(jìn)行重建處理。經(jīng)仿真結(jié)果驗(yàn)證，所提出方法在計(jì)算過程中具有較高的像素匹配度，并且具有較高的有效性以及適用性。

2 非周期性提取像素法

在全景成像技術(shù)中，記錄圖像的設(shè)備是一個(gè)較小的微透鏡相機(jī)，而在相機(jī)記錄圖像的過程中，不同的相機(jī)都會(huì)有一個(gè)不同的圖像記錄區(qū)域，基于此在相機(jī)運(yùn)行的背后便是物體空間的單元素圖像。因?yàn)樵谖⑼哥R記錄下，每個(gè)元素圖像的顯示區(qū)域都會(huì)受到區(qū)域限制，所以在對像素重疊處理時(shí)，即可根據(jù)兩條同時(shí)通過微透鏡的光線交叉點(diǎn)來讓相鄰元素圖像具有同一個(gè)相交點(diǎn)。但在實(shí)際應(yīng)用中這種方法會(huì)導(dǎo)致圖像重構(gòu)失誤率大幅度增高，由于對圖像重疊像素進(jìn)行周期性提取，會(huì)進(jìn)一步導(dǎo)致對應(yīng)像素觀測點(diǎn)出現(xiàn)失誤的情況，因此該方法并不能有效緩解因圖像像素重疊造成圖像失真的情況。

在此基礎(chǔ)上設(shè)計(jì)出一種非周期像素提取方法，在一般情況下根據(jù)計(jì)算機(jī)提取獲得出元素圖像中像素點(diǎn)都是由眾多觀察點(diǎn)形成的，即可根據(jù)光路圖的反射點(diǎn)，運(yùn)用非周期像素提取[2]。

此處假設(shè)記錄元素圖像的微透鏡陣列表示為M×M，而EIP和LIP描述為元素圖像的平面以及重建圖像的平面，那么EIP和M×M之間的實(shí)際距離就表述為g，而M×M和LIP之間為h。

若透鏡焦距為f，根據(jù)透鏡原理上述參數(shù)滿足成像公式則有

(1)

根據(jù)上式計(jì)算結(jié)果即可得知，記錄圖像的位置點(diǎn)與不同微透鏡相機(jī)的反射光線以及光軸角度都是不同的，因此便針對多個(gè)不同的微透鏡相機(jī)進(jìn)行假設(shè)，假設(shè)在相同觀察點(diǎn)的圖像中進(jìn)行提取像素點(diǎn)處理，那么就會(huì)導(dǎo)致圖像像素?cái)?shù)據(jù)錯(cuò)誤的情況，從而造成大量圖像出現(xiàn)失真的結(jié)果，在F點(diǎn)根據(jù)第k個(gè)微透鏡所構(gòu)成的角度為θk，那么根據(jù)上述已知條件也就可以將其寫為

(2)

如果從F觀察點(diǎn)到第k個(gè)體元素圖像交點(diǎn)到體元素圖像中心的距離為xk，則

(3)

即

(4)

式中，k表示從1一直到M的自然整數(shù)，將微透鏡相機(jī)的聚焦寬度設(shè)置為p，并在此基礎(chǔ)上令所有圖像的像素寬度為n，這樣便可以通過計(jì)算獲取出元素圖像中xk/n的取值，然后根據(jù)該結(jié)果找到提取圖像像素的最佳位置，從而實(shí)現(xiàn)重新構(gòu)建出沒有重疊像素且不失真的圖像。

3 獨(dú)立立體視覺系統(tǒng)

目前為止，在該研究領(lǐng)域中最常見的3D成像技術(shù)大多仍基于立體視覺[3]。Wheatstone三維圖像系統(tǒng)作為最早的立體視覺系統(tǒng)之一，在記錄三維圖像時(shí)，首先需要針對同一物體記錄兩個(gè)相同的圖像，其中一個(gè)拍攝角度與第一幅圖像不同，并將兩個(gè)圖像與顯示在左眼中的不同記錄角度區(qū)分開來，但系統(tǒng)只能同時(shí)觀察一個(gè)人，因此本文使用激光全息構(gòu)建一種獨(dú)立的立體視覺系統(tǒng)，全息技術(shù)最早是為改進(jìn)電子顯微鏡而發(fā)展起來的，該技術(shù)主要通過相干光源波前干涉來獲取目標(biāo)圖像，視覺系統(tǒng)示意圖如圖1所示。

圖1 視覺系統(tǒng)示意圖

圖1能夠較好地再現(xiàn)目標(biāo)的三維特性，使重建后的圖像波保留了原始目標(biāo)波的所有振幅和相位信息。

4 三維全景圖像重構(gòu)

三維全景圖像(Integral Imaging)是一種采用微透鏡陣列進(jìn)行記錄和顯示的三維圖像技術(shù)，該技術(shù)既不需要觀察者佩戴特殊的裝置，也不需要特殊的記錄環(huán)境，被認(rèn)為是最有希望應(yīng)用于三維圖像顯示技術(shù)之一，目前正引起眾多關(guān)注。

目前，限制全景圖像技術(shù)發(fā)展的主要因素是再現(xiàn)場景有限的景象深度信息和視角范圍等問題上。因此導(dǎo)致研究的主要問題在于分析思路受到傳統(tǒng)的二維圖像分析方法的限制，假設(shè)全景圖像呈現(xiàn)最佳視覺效果的前提是每一幅元素圖像都有最佳效果，而實(shí)際觀察者看到的是經(jīng)過微透鏡陣列后重新匯合的三維光學(xué)模型，并不是一個(gè)個(gè)分立的元素圖像，基于此本文先對全景圖像中的深度信息進(jìn)行提取然后采用差值算法對三維全景圖像進(jìn)行重構(gòu)處理。

4.1 基于全景圖像深度提取

在全景圖像中提取深度信息[4]，是視覺圖像處理領(lǐng)域中一個(gè)較為重點(diǎn)的問題，傳統(tǒng)提取深度信息過程中，確定攝像機(jī)的相對幾何位置和相關(guān)參數(shù)是提取過程中重點(diǎn)關(guān)注的取值參數(shù)。

在經(jīng)典圖像處理領(lǐng)域，圖像的深信息是可以根據(jù)多個(gè)設(shè)備在同一場景下所拍攝到的圖像信息差中進(jìn)行提取。與傳統(tǒng)的圖像處理方法不同的是，視圖在一定方向上取場景的平行投影，而不是通過透射的方式進(jìn)行投影，這樣便有

(5)

式中，Δt=ds1-ds2表示兩個(gè)分別不相同視圖之間的采樣距離，ψ和F分別表示記錄圖像設(shè)備的實(shí)際孔徑以及焦距。

根據(jù)上式，即可進(jìn)一步得知深度信息是可以通過視差取值而得出的，所以根據(jù)這一情況，便可令圖像深度信息提取問題轉(zhuǎn)變成為圖像之間的視差計(jì)算問題。

本文針對全景圖像深度提取將運(yùn)用SSD計(jì)分準(zhǔn)則的塊匹配算法[5]，該算法的基本理論是在相同的兩幅圖像中，在第二幅圖像中的候選區(qū)域中提取出與第一幅圖像中相對應(yīng)的像素點(diǎn)(x，y)，然后將獲取出最匹配的區(qū)域(x+d，y)，d∈[-R，R]。

其中計(jì)分評價(jià)判定標(biāo)準(zhǔn)為

(6)

(7)

式中把I1和I2分別表述為兩幅視圖，將(x，y)描述為被分析的點(diǎn)坐標(biāo)，而I1(x，y)代表相對應(yīng)點(diǎn)(x，y)的強(qiáng)度，w和R則表述為圖像像素之間匹配的窗口和匹配的大概范圍。由于本文在匹配過程中兩幅圖像之間只存在部分水平視差的問題，所以在實(shí)際匹配像素的過程中匹配的大致范圍將被定義在水平方向。

基于此本文將采用鄰域限制與放松方法(NCR)針對全景圖像進(jìn)行深度提取，該方法是在SSD的基礎(chǔ)上嚴(yán)謹(jǐn)?shù)乜紤]到空間限制因素提出的，因?yàn)樵撘蛩厥侵苯記Q定圖像匹配位置的復(fù)雜標(biāo)準(zhǔn)-多候選預(yù)屏從而提升圖像的整體匹配效率[6]。

NCR算法是在空間連續(xù)分布前提下提出的，就是指經(jīng)過該算法計(jì)算深度信息在對應(yīng)的空間中是呈連續(xù)分段狀態(tài)的，因此假設(shè)在計(jì)算過程中考慮到鄰域內(nèi)眾多圖像中的視差問題，那么經(jīng)該算法計(jì)算后接口具有較高的健壯性，為了能夠更有效地確定某個(gè)匹配位置，以便需要對鄰域塊進(jìn)行多方面考慮，如圖2所示。

圖2 塊Bij的鄰域B

根據(jù)上圖所示，如果考慮到鄰域限制那么即可利用下式寫出評價(jià)匹配判定標(biāo)準(zhǔn)

(8)

式中，Bi，j表示像素(i，j)的窗口，該窗口同樣也是需要進(jìn)一步確定視差元素，N(Bi，j)表示Bi，j的鄰域集合，W(Bk，j，Bi，j)表示每個(gè)相互不同鄰域塊的權(quán)重因子。

鄰域方式則主要體現(xiàn)在鄰域塊的視差方面，因?yàn)槊總€(gè)鄰域塊的視差都會(huì)有不相同的視差局部變化，所以導(dǎo)致與中心塊完全不同，即可給鄰域塊中的部分視差變量加一個(gè)變量，即可得出

(9)

根據(jù)上式即可得知鄰域限制與放松的完整判定標(biāo)準(zhǔn)，其中鄰域限制是由窗口的SSD得知，而鄰域放松則由相關(guān)變量來決定。

當(dāng)經(jīng)過計(jì)算進(jìn)一步得出函數(shù)最小取值時(shí)，便可得出目前計(jì)算所期望的視差取值。多候選預(yù)屏方法則是利用SSD評分標(biāo)準(zhǔn)求解出全部可能存有在是差點(diǎn)中的剩余取值，然后在眾多取值中尋找出其中一個(gè)代表閾值Rth，該取值通常是最小值的η倍，即可得出

Rth=η*min_residue，(η>1)

(10)

根據(jù)上式計(jì)算，最后將所有小于Rth的值作為最終匹配結(jié)構(gòu)，在計(jì)算過程中如果殘余閾值多大，那么就會(huì)存在更多的候選結(jié)果，如圖3所示。

圖3 候選示意圖

4.2 基于插值算法的全景圖像三維重建

在全景成像技術(shù)的眾多問題中，針對圖像重建的深度精度進(jìn)行對比是重建過程中必不可少的一個(gè)步驟，將其進(jìn)行對比能夠有效地實(shí)現(xiàn)對空間分辨率以及數(shù)據(jù)分析處理的目的[7]。三維圖像的深度信息是根據(jù)二維視圖與視差之間的關(guān)系計(jì)算得出的，由于圖像的視差信息是通過針對兩幅圖像之間的匹配程度進(jìn)行計(jì)算得出，也就是說在實(shí)際計(jì)算過程中給定一個(gè)匹配窗口[8]，那么在尋找第二幅圖像中搜索范圍內(nèi)運(yùn)用積分函數(shù)獲取出最小的位置[9]。

根據(jù)上述深度信息提取算法即可得知，在實(shí)際計(jì)算過程中圖像像素點(diǎn)的眾多候選視差取值是處于離散分布狀態(tài)的[10-11]，所以經(jīng)過計(jì)算求解之后的視差取值是沒有達(dá)到最精準(zhǔn)的最小值，其中結(jié)果圖如圖4所示。

圖4 差值算法示意圖

從上述得知眾多的候選視差值都是處于離散分布狀態(tài)的，所以在計(jì)算求解視差值的過程中便會(huì)出現(xiàn)與實(shí)際結(jié)果不符的情況，進(jìn)而導(dǎo)致深度信息沒有達(dá)到完全精確的結(jié)果，因此為了能夠從根本上解決該問題，本文將在立體匹配算法的基礎(chǔ)上采用差值算法，根本目的是計(jì)算score函數(shù)值中最小的候選視差值[12]。

5 仿真研究

為了能夠進(jìn)一步驗(yàn)證所提算法有效性，進(jìn)行仿真驗(yàn)證，在實(shí)際計(jì)算過程中，首先根據(jù)傳統(tǒng)算法中選取出對應(yīng)的最小視差值以及鄰近的兩個(gè)差值，然后分別計(jì)算出函數(shù)取值并且利用三種結(jié)果形成拋物線，其中具體流程如圖5所示。

圖5 差值算法流程圖

其中本文所選取的三維全景圖像尺寸為2000*1500，原始圖像圖6所示。

圖6 原始圖像

根據(jù)圖6原始圖像，運(yùn)用傳統(tǒng)技術(shù)以及三維重建技術(shù)對圖像特征輪廓進(jìn)行進(jìn)行采集，其中采集結(jié)果如圖7所示。

圖7 圖像特征輪廓信息采集

由圖7可知，利用本文算法對圖像進(jìn)行三維重建，其結(jié)果更加清晰，可以得出圖像像素不失真且深度信息精準(zhǔn)的三維全景圖像，在此基礎(chǔ)上便根據(jù)圖7針對圖像像素點(diǎn)匹配程度進(jìn)行進(jìn)一步分析，得到圖像自動(dòng)生成結(jié)果精準(zhǔn)度對比結(jié)果，如圖8所示。

圖8 圖像自動(dòng)生成結(jié)果精準(zhǔn)度對比圖

根據(jù)圖8可知，本文的方法比兩種傳統(tǒng)方法在圖像生成精準(zhǔn)度方面具有較高的優(yōu)勢。

6 結(jié)論

當(dāng)前，在商業(yè)競爭日益激烈的大環(huán)境背景下，三維成像技術(shù)領(lǐng)域已有較為顯著的突破，一些新的圖像應(yīng)用領(lǐng)域也為三維成像技術(shù)的發(fā)展打下了堅(jiān)實(shí)的基礎(chǔ)。因?yàn)槿皥D像能給觀賞者帶來更多的自然和真實(shí)感受，而且這一技術(shù)在視覺領(lǐng)域?qū)?huì)發(fā)揮越來越大的作用，所以發(fā)展3D圖像系統(tǒng)也將成為科學(xué)界和娛樂界的長期目標(biāo)。

為了解決圖像失真模糊的情況，本文提出一種基于非周期性提取像素的全景圖像三維重構(gòu)方法。由于在生成圖像過程中會(huì)有部分像素重疊，而導(dǎo)致成像后出現(xiàn)圖像失真的情況，所以本文將采用非周期性像素提取的方法進(jìn)行像素提取，獲取出不失真的圖像，然后采用差值算法實(shí)現(xiàn)三維全景圖像重建的目的。仿真結(jié)果表明，本文方法與傳統(tǒng)方法相比具有較高的優(yōu)勢，并且具有成像精準(zhǔn)度高、計(jì)算過程不復(fù)雜等優(yōu)點(diǎn)。