三維圖像虛擬視點生成優(yōu)化研究仿真

張曉媛，于 洋，王新蕊

(1.南開大學(xué)濱海學(xué)院 計算機科學(xué)系，天津 300270；2.天津大學(xué)智能與計算學(xué)部，天津 300350；3.北京郵電大學(xué)世紀(jì)學(xué)院，北京 100000)

1 引言

人們生活在一個立體環(huán)境中，眼部與腦部的協(xié)同可以令人們感受到事物的立體性。而二維圖像技術(shù)對人的感知范圍有所限制，導(dǎo)致真實環(huán)境下的信息無法完整顯示，因此立體顯示技術(shù)應(yīng)運而生。該技術(shù)需要利用硬件設(shè)備對環(huán)境信息進行采集，由于受到場景和設(shè)備限制，無法獲取全部視點下的三維信息，故虛擬視點生成已經(jīng)成為該領(lǐng)域研究熱點。該技術(shù)通過采集樣本信息，恢復(fù)場景中的位置信息，提高景物再現(xiàn)效果，滿足立體顯示需求。隨著多媒體技術(shù)的進步，視頻會議、3D影院等系統(tǒng)已經(jīng)走向成熟，對圖像虛擬視點生成效果有了更高要求。

文獻[1]提出改進的3D Warping虛擬視點生成方法?？紤]3D Warping的整體過程，將此過程劃分為兩個步驟，無需進行三維建模；其中第一步是在變換矩陣中加入可調(diào)節(jié)系數(shù)實現(xiàn)對三維參數(shù)的改進；第二步則是針對重采樣問題，進行改進，提高虛擬視點圖像效果。文獻[2]提出基于深度圖預(yù)處理與圖像修復(fù)的虛擬視點生成算法。結(jié)合虛擬視點變換方向完成深度圖像的預(yù)處理，減少背景變化，將較大的空洞劃分為小空洞；結(jié)合深度信息選擇背景紋理，并通過相關(guān)軟件完成虛擬點繪制。

但上述兩種方法均會受到光照強度的影響，當(dāng)光線較暗時，虛擬視點生成效果不佳，會有偽影出現(xiàn)，降低圖像立體顯示效果。基于此，本文通過幾何建模方式實現(xiàn)立體圖像虛擬視點生成。幾何模型代表真實環(huán)境中的物體在計算機中的幾何表示，近年來被應(yīng)用在醫(yī)療、游戲與電影制作等多個行業(yè)中。本文使用基于橫向曲率與縱向曲率的圖像幾何建模技術(shù)，采集二維圖像信息，結(jié)合圖像中的視覺信息通過成像逆過程，獲取物體三維幾何信息，為虛擬視點的生成奠定良好基礎(chǔ)。

2 基于雙邊濾波的圖像去噪

雙邊濾波[3]屬于非線性去噪算法，是對圖像鄰近度與像素相似度的折中考慮。此外，也會分析灰度相似性，實現(xiàn)保邊去噪，具有簡便、局部性去噪能力強等特征。雙邊濾波器的最大優(yōu)勢是能保留邊緣，傳統(tǒng)高斯濾波器會造成邊緣模糊，不能完全保存細節(jié)。而雙邊濾波器增加了高斯方差，距離較遠的像素對邊緣像素值影響較小，因此保證了邊緣像素值被很好保存。此外，濾波器由兩個函數(shù)組成，這兩個函數(shù)分別受到空間距離[4]與像素差值[5]影響。

在雙邊濾波器中，得到的輸出像素結(jié)果g(i，j)與鄰域像素f(k，l)的加權(quán)組合相關(guān)，利用公式表示為：

(1)

公式中，權(quán)重系數(shù)w(i，j，k，l)與如下定義域核[6]、值域核以及他們倆的乘積相關(guān)，表達式分別如下：

(2)

(3)

w(i，j，k，l)=

(4)

雙邊濾波綜合分析了空間域與值域的區(qū)別，其主要受到參數(shù)σd與σr的影響，這兩個參數(shù)能夠?qū)臻g鄰近度因子[7]與亮度相似性因子[8]的衰減性進行調(diào)節(jié)。利用公式(1)即可獲得濾波器輸出的像素值，該像素值即為濾波后的結(jié)果。

3 立體圖像幾何模型構(gòu)建

在構(gòu)建幾何模型時，需采集相同場景的不同角度圖像，再通過相機定標(biāo)得到相機的內(nèi)部與外部參數(shù)，最后獲得立體物體的幾何模型。

現(xiàn)有的幾何建模技術(shù)通過對不同視角的二維圖像做相機定標(biāo)，獲取三維空間內(nèi)所有像素與二維圖像之間存在的幾何映射關(guān)系，確定完每個投影點后，需檢驗這些點的亮度是否相同。若像素值相等，則表明此體素在物體表面，對其保留且賦予相對色彩；反之則表明此體素被遮擋，刪除體素。對立體空間內(nèi)全部體素均進行上述處理，以此得到幾何模型。但是因為受到圖像分辨率的制約，圖像分辨率同樣受到影響。

1)橫向與縱向曲率計算

為改善幾何模型的分辨率，本文利用基于圖像橫向曲率與縱向曲率的幾何模型構(gòu)建技術(shù)對上述方法進行改進。在立體空間坐標(biāo)系中，假設(shè)圖像邊緣點為P，其切平面和橫截面存在的相交線即為橫向曲率的矢量LP。計算LP的過程為：首先將立體圖像邊緣點P的一階導(dǎo)數(shù)MP在橫向平面(rr，ry)上做投影處理，獲得：

WP=[rr(P)ry(P)0]

(5)

再將矢量WP繞Z軸旋轉(zhuǎn)90°，得到：

LP=RZWP

(6)

則縱向切矢量VP的計算公式如下：

VP=LP·WP

(7)

將矢量LP與VP進行正規(guī)化處理，即可獲取準(zhǔn)確的橫向與縱向曲率。

2)物體橫向分割

橫向分割的主要目的是從物體橫向輪廓序列中選出能夠體現(xiàn)物體縱向變化的輪廓，本文將輪廓中任意一點縱向曲率與平均值當(dāng)作輪廓選取的特征參數(shù)，表達式如下：

(8)

公式中，j為初始橫向輪廓序號，j=1，2，…，CN，CN為最大輪廓序號，t表示任意邊緣點序號，Njt描述第j個輪廓中邊緣點的數(shù)量。

KAV(j)值的大小可體現(xiàn)出橫截面的縱向彎曲程度。為合理確定輪廓數(shù)量，設(shè)置輪廓之間最小與最大距離兩個參數(shù)，分別表示為MinD、MaxD。

在橫向初始輪廓序列內(nèi)挑選理想輪廓的主要過程如下：

步驟一：計算物體輪廓序列中全部橫向輪廓的縱向曲率KAV(j)；

步驟二：假設(shè)初始序列內(nèi)起始的橫向輪廓被選取，則j=1；

步驟三：設(shè)置輪廓篩選范圍，假設(shè)現(xiàn)階段選出的輪廓排列在第j位，則接下來被選出的輪廓范圍表示為Range[j+MinD，j+MaxD]；

步驟四：從確定的范圍中確定平均縱向曲率的最大值；

步驟五：若(j+MaxD)

3)頂點選擇

在上述確定的橫向輪廓中選擇具有實際意義的頂點，確保幾何模型的結(jié)構(gòu)不變，以此提高分辨率。在第j個橫向輪廓(gx，gy)中第i個邊緣點的橫向矢量Lji表達式如下：

Lji=[gy(j)(i)-gx(j)(i)0]

(9)

則與其相對的橫向曲率表示為：

(10)

利用公式(10)計算橫向曲率后，將取值較高的點作為頂點H。經(jīng)過上述過程后，即可構(gòu)建立體圖像的幾何模型，在該模型中，通過下述方法完成虛擬視點生成。

4 基于LM算法的虛擬視點生成

LM(Levenberg-Marquardt)是一種迭代優(yōu)化方法，結(jié)合了高斯牛頓與梯度下降兩種算法的觀點。其最大優(yōu)勢為收斂速度較快，具備較優(yōu)的全局搜索性能，同時它還能克服上述兩種算法存在的對原始點設(shè)定不合理、與最終解的精確度相差較大等缺陷。

LM方法的全部過程可描述為對射影矩陣中參數(shù)進行持續(xù)優(yōu)化，因此其實質(zhì)可轉(zhuǎn)化為非線性最小二乘問題。該方法不會受到任何條件的約束，根據(jù)對應(yīng)點距離平方和確定目標(biāo)函數(shù)，當(dāng)該值收斂到最小值時即為矩陣參數(shù)的最優(yōu)解。

將立體圖像中左視圖當(dāng)作參考圖像，每個分割區(qū)域均與某個射影矩陣M′相互對應(yīng)。通常情況下，在圖像幾何模型中該矩陣中存在八個參數(shù)，確定此矩陣后，則參考圖像與目標(biāo)圖像內(nèi)相同區(qū)域的轉(zhuǎn)換關(guān)系也會確定。如果參考圖像內(nèi)某坐標(biāo)點表示為(Xi′，Yi′)，則目標(biāo)圖像內(nèi)該點坐標(biāo)是(xi′，yi′)，兩個坐標(biāo)之間存在下述聯(lián)系：

(11)

式中，m0、m1、m3與m4表示旋轉(zhuǎn)量，m2與m5則為平移量，m6與m7分別是水平與豎直方向上描述變形的量。利用該矩陣能夠找到(xi′，yi′)點在參考視圖中對應(yīng)的位置(Xi′，Yi′)，然后再將點(Xi′，Yi′)處的像素值顏色引入到(xi′，yi′)點。通過公式(11)可以得到：

(12)

(13)

假設(shè)誤差函數(shù)是對應(yīng)點距離之間的平方和，則有：

(14)

公式中，N*代表點數(shù)量，此處取值等于4。其次需要計算ei′(M′)的Jacobian矩陣J(M′)：

(15)

如果M′代表一個列向量，則存在如下關(guān)系式：

M′(k+1)=M′(k)+ΔM′

(16)

ΔM′=[J(M′)J(M′)+μI]-1J(M′)e(M′)

(17)

公式中，ΔM′代表M′的偏移量，I屬于單位矩陣，μ則是某大于0的試探參數(shù)，如果該參數(shù)能夠縮小誤差函數(shù)E(M′)，此時μ值為下降趨勢；若該參數(shù)可增大誤差函數(shù)，此時μ值呈現(xiàn)出上升趨勢。

綜上所述，利用LM方法實現(xiàn)立體圖像虛擬視點生成的主要步驟如下：

步驟一：設(shè)置合理的誤差允許值ε，同時將初始向量計作M′(k)，此處的k為0；

步驟二：根據(jù)初始向量M′(k)獲取目標(biāo)區(qū)域中各特征點在參考區(qū)域內(nèi)的新坐標(biāo)與誤差函數(shù)；

步驟三：構(gòu)建Jacobian矩陣J(M′)；

步驟四：計算M′存在的偏移量，結(jié)合該值對誤差函數(shù)進行運算，若誤差結(jié)果小于ε，則算法結(jié)束；反之獲取M′(k+1)與E(M′(k+1))的值；

步驟五：若有E(M′(k+1))

步驟六：算法結(jié)束，生成虛擬視點。

在上述操作過程中，因設(shè)置誤差允許值時較為困難，所以將迭代次數(shù)設(shè)置為800次，將使誤差函數(shù)值最小的第k次迭代得出的結(jié)果當(dāng)作最后結(jié)構(gòu)，并將此時的M′矩陣當(dāng)作目標(biāo)與參考兩個區(qū)域之間具有的射影變換矩陣。經(jīng)過對立體圖像的遍歷，得到全部虛擬視點。

5 仿真實驗數(shù)據(jù)分析與研究

仿真實驗采用交互視覺多媒體測試序列，該序列由六臺攝像機陣列組成，所有視點信息均為以10幀每秒的速度，獲取的分辨率為1024×255的初始圖像，再根據(jù)攝像機標(biāo)定準(zhǔn)則確定機器內(nèi)外部參數(shù)。所有攝像機的擺放位置如圖1所示，任意攝像機之間的距離設(shè)置為10厘米，攝像機3的坐標(biāo)系和世界坐標(biāo)系完全吻合，并將該點當(dāng)作虛擬視點攝像機，其左右攝像機為參考視點。

圖1 相機陣列圖像采集系統(tǒng)示意圖

采用本文所提的幾何建模方法與3D Warping方法、深度圖預(yù)處理與修復(fù)方法生成的虛擬視點結(jié)果分別如圖2所示。

圖2 不同方法虛擬點生成圖

由圖2能夠看出，所提方法生成的虛擬點數(shù)量不僅多，而且位置分布較為均勻，而Warping方法生成的虛擬點大多集中在圖像中心部分，邊緣部分基本沒有，深度圖預(yù)處理方法則生成了較多沒有實際意義的虛擬點。

虛擬點生成的主要作用就是方便圖像重構(gòu)，進一步提高圖像質(zhì)量。因此利用上述得到的三種虛擬點生成結(jié)果對立體圖像進行重構(gòu)，重構(gòu)后的效果分別如圖3所示。

圖3 不同方法圖像重構(gòu)效果圖

由圖3能夠看出，利用本文方法生成的虛擬視點對圖像進行重構(gòu)，獲得的圖像十分清晰，無論是邊緣部分還是圖像中心區(qū)域，能夠保證完成細節(jié)。而其他兩種方法有的會出現(xiàn)邊緣模糊現(xiàn)象，且圖像紋理特征并不十分清楚。因此，所提方法生成的虛擬視點可獲得較好的圖像重構(gòu)效果。

上述是對三種虛擬視點生成方法的主觀評價，為了更加客觀地突出幾何建模方法的優(yōu)勢，選取峰值信噪比指標(biāo)進行對比。

在峰值信噪比(PSNR)的計算過程中，首先需使用公式(18)將圖像從RGB格式變換為YUV格式(Y表示亮度，U描述圖像色彩，V為飽和度)：

Y′(U′，V′)=0.299R′(U′，V′)+0.587G′(U′，V′)

+0.114B′(U′，V′)

(18)

再通過下述公式獲取Y′分量中的峰值信噪比：

PSNR

(19)

公式中，W′與H′分別代表圖像的寬度與高度，Y′和′為參考圖像與虛擬視點圖像中的分量。峰值信噪比值越大說明虛擬視點圖像的質(zhì)量越佳。三種方法的虛擬視點生成圖像的峰值信噪比如圖4所示。

圖4 不同方法峰值信噪比對比圖

由圖4可知，由于攝像機位置因素影響，導(dǎo)致圖像不同幀的峰值信噪比會有所波動。但幾何建模方法生成的虛擬視點用于圖像重構(gòu)時，圖像的峰值信噪比較高，與主觀實驗對比得出的結(jié)果一致，進一步證明了所提方法的優(yōu)勢。

6 結(jié)論

虛擬視點生成技術(shù)可有效促進多媒體技術(shù)發(fā)展，本文通過構(gòu)建立體場景的幾何模型，根據(jù)該模型采用一種迭代優(yōu)化算法完成虛擬視點生成。仿真實驗表明，本文方法生成的虛擬視點會更加全面，且利用這些視點對圖像進行重構(gòu)，得到的圖像信噪比會更高。這樣的結(jié)果能夠滿足普通計算機需求，但針對實際立體顯示依然還有進步空間，隨著研究的深入進行，虛擬視點技術(shù)必定會逐漸走向成熟。