高維變換域中的系數(shù)集中分析及研究

桑愛(ài)軍，崔海廷，王墨林，陳賀新

(吉林大學(xué)通信工程學(xué)院，長(zhǎng)春130022)

隨著計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，人們對(duì)多媒體系統(tǒng)的要求不斷提高，由原來(lái)的二維平面場(chǎng)景到任意角度的動(dòng)態(tài)場(chǎng)景，從而多視角視頻的研究已經(jīng)成為發(fā)展的必然趨勢(shì)［1］。

普通的視頻是一臺(tái)攝像機(jī)拍攝得到的，而多視角視頻序列則是對(duì)同一場(chǎng)景，在同一時(shí)間，不同位置，圍繞有一定夾角的一系列攝像機(jī)拍攝得到的。簡(jiǎn)單地說(shuō)，人們平時(shí)看到的電影是單視角視頻，立體電影就是兩個(gè)視角的視頻，但多視角視頻中含有大量的重復(fù)信息。目前國(guó)內(nèi)外研究多視角視頻編碼多采用兩種方法:(1)基于MPEG－4或H.264結(jié)合運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和差值補(bǔ)償預(yù)測(cè)［2］，該方法利用主視角和輔助視角的關(guān)系，能處理兩個(gè)視角的立體視頻，但其并不適合處理更多視角的視頻;(2)用深度圖［3］對(duì)多視角視頻進(jìn)行編碼，缺點(diǎn)是會(huì)受三維物體的形狀、光線和視角等因素的影響而產(chǎn)生幾何形變［4－5］。因此，為多視角視頻的多維數(shù)據(jù)尋找一種更為有效的多維模型以及開(kāi)發(fā)一種更為實(shí)用的壓縮方法已經(jīng)成為多視角視頻壓縮編碼系統(tǒng)的關(guān)鍵。

本文以多維矢量矩陣?yán)碚摚?］為基礎(chǔ)，理論上推導(dǎo)并實(shí)驗(yàn)證明了多視角視頻在FT域和DCT域的系數(shù)集中規(guī)律，以及如何根據(jù)檢測(cè)到的主能量體的位置來(lái)計(jì)算運(yùn)動(dòng)矢量的位置和方向。

1 多維矢量矩陣及其DCT

1.1 多維矢量矩陣的定義

定義1 F上的M×N數(shù)據(jù)排列(ai1i2)稱為二維矩陣，其全體組成的集合記為MM×N，F(xiàn)上的I1×I2×…×In多維數(shù)據(jù)排列表(ai1i2…in)稱為多維矩陣，其全體組成的集合記為MI1×I2×…×In。

1.2 4D矢量矩陣及其正交變換

以4D矢量矩陣為例介紹正交變換。設(shè)4D矢量fIJ矩陣，則IJ有三種組合形式，分別為

僅以第(2)種情況為例，定義4D矢量矩陣fIJ正交變換與反變換分別為

式中:fIJ為待變換的4D矢量矩陣，F(xiàn)IJ為變換后的4D矢量矩陣，CII和CJJ為4D矢量矩陣正交變換DCT操作算子(即4D矢量變換核矩陣)。

4D矢量DCT操作算子的形式為

式中:

基于多維矢量矩陣?yán)碚?，定義C的轉(zhuǎn)置矩陣為

2 FT域和DCT域系數(shù)集中分析

2.1 FT域系數(shù)集中分析

令u0(x，y，z)表示連續(xù)空間坐標(biāo)(x，y，z)構(gòu)成的一個(gè)場(chǎng)景的連續(xù)函數(shù)。同理，令u(x，y，z，m)表示一個(gè)隨攝像機(jī)旋轉(zhuǎn)變化的圖像的連續(xù)函數(shù)，其中m表示旋轉(zhuǎn)角度的個(gè)數(shù)。用α表示逆時(shí)針旋轉(zhuǎn)攝像機(jī)的角度。由空間坐標(biāo)點(diǎn)繞y軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣

可得場(chǎng)景u0在所有空間坐標(biāo)生成的隨攝像機(jī)繞y軸旋轉(zhuǎn)變換后的函數(shù)為

圖1給出一個(gè)成像過(guò)程的幾何模型示意圖［7］，攝像機(jī)坐標(biāo)系統(tǒng)xyz中的圖像平面與xy平面重合而光學(xué)軸沿z軸。從而使得圖像平面的中心位于原點(diǎn)，鏡頭的中心坐標(biāo)是(0，0，s)，s為鏡頭的焦距，對(duì)于給定的攝像機(jī)，s是常量。假設(shè)攝像機(jī)坐標(biāo)系統(tǒng)xyz中的各坐標(biāo)軸分別與世界坐標(biāo)系統(tǒng)XYZ中的各坐標(biāo)軸平行。那么，由相似三角形可以得到空間任意一點(diǎn)(X，Y，Z)投影后的圖像平面坐標(biāo)為

式(4)投影到xoy平面上，代入式(5)，同時(shí)令z=0，可得

假設(shè)轉(zhuǎn)換角度α很小，則sin(mα)趨近于零，式(6)變?yōu)?/p>

文獻(xiàn)［8］已表明，均勻平移圖像的頻譜受限于折疊平面，因而我們構(gòu)造均勻平移的多視角視頻序列(即理想情況下的多視角視頻)。令u(x，y，m，t)表示一個(gè)隨時(shí)間變化的圖像的不同角度的連續(xù)函數(shù)，其中 t表示時(shí)間坐標(biāo)。用常矢量(v1，v2)T均勻平移的場(chǎng)景u0在所有空間坐標(biāo)生成的隨時(shí)間變化的函數(shù)為

在FT域的情況下，假設(shè)圖像u0有無(wú)限長(zhǎng)，則u0可以直接表示成

式中:“*”表示連續(xù)的卷積運(yùn)算;δ(·)是Dirac沖激函數(shù)，對(duì)式(9)中卷積的每部分分別應(yīng)用連續(xù)空間FT，可以得到

因此，

從式(10)可以明顯看到，場(chǎng)景經(jīng)過(guò)固定角度的旋轉(zhuǎn)后，得到均勻平移的多視角視頻序列的傅里葉頻譜表現(xiàn)為一系列沿視角軸fm－(2n+1)α =0，(n=0，1，…，∞)折疊的平面fxv1+fyv2+ft= 0。式(10)也給出了場(chǎng)景旋轉(zhuǎn)的角度以及運(yùn)動(dòng)的大小和方向。

圖1 投影變換成像示意圖Fig.1 Projection transforms imaging diagram

2.2 DCT域系數(shù)集中分析

根據(jù)FT與DCT的關(guān)系，以及DCT的對(duì)稱性，同時(shí)結(jié)合多維矢量矩陣?yán)碚?，希望推?dǎo)出的MVM－DCT同樣具有能量頻譜折疊的特性。因此，與推導(dǎo)FT域的情況相似，我們構(gòu)造一個(gè)寬為n1，高為n2，幀數(shù)為n3，攝像機(jī)個(gè)數(shù)為n4，每相鄰兩臺(tái)攝像機(jī)之間的夾角為α，每?jī)蓚€(gè)連續(xù)幀之間的位移為(d1，d2)T的多視角視頻序列

同樣將式(11)表示成卷積形式:

式中:“*”表示對(duì)稱卷積運(yùn)算，該運(yùn)算可以認(rèn)為是一般卷積運(yùn)算對(duì)輸入信號(hào)的對(duì)稱性和周期性的擴(kuò)展。設(shè)N1=N2=N3=N4=N，用k1，k2，k3，k4取代FT域中的f1，f2，f3，f4，用MDCT［·］表示輸入函數(shù)的MVM－DCT，對(duì)式(12)卷積的第一部分應(yīng)用4D MVM－DCT，化簡(jiǎn)后可得

對(duì)式(12)卷積的第二部分應(yīng)用4D MVMDCT，化簡(jiǎn)后可得

圖2 二維情況下的衰減示意圖Fig.2 2D case attenuation image

3 運(yùn)動(dòng)分析及最小化補(bǔ)充準(zhǔn)則

考慮到理想的多視角視頻圖像序列的MVMDCT域內(nèi)系數(shù)頻譜能量集中在由運(yùn)動(dòng)矢量所決定的折疊平面體內(nèi)，因而可以通過(guò)檢測(cè)頻譜占有體主能量體的位置計(jì)算運(yùn)動(dòng)矢量的方向和幅度。適用于主能量面匹配的最小化補(bǔ)充準(zhǔn)則［8］如下

式中:d(φ，k)為點(diǎn) k=(k1，k2，k3，k4)T的MVM－DCT的系數(shù)與用二維矢量參數(shù) φ描述主能量面方向之間的距離;U(k)為在距離d (φ，k)上的能量大小。最小化補(bǔ)充準(zhǔn)則表明，離主能量面越近，能量越大;反之，離主能量面越遠(yuǎn)，能量越小。該準(zhǔn)則將為系統(tǒng)的進(jìn)一步研究提供理論指導(dǎo)。

4 實(shí)驗(yàn)結(jié)果

通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了式(13)，式(14)中的均勻平移圖像序列(n4=0)以及多視角視頻序列(n4≠0)經(jīng)過(guò)MVM－DCT后系數(shù)集中分布的理論推導(dǎo)。

圖3為3D(n4=0)情況下的結(jié)果。圖3(a)為一幅靜止圖像u0(n1，n2)在每?jī)蓚€(gè)連續(xù)的位置n3上經(jīng)過(guò)運(yùn)動(dòng)矢量(d1，d2)T=(3，0)T均勻平移得到的圖像序列的前8幀;圖3(b)為對(duì)得到的均勻平移圖像序列應(yīng)用3D MVM－DCT后系數(shù)的分布圖(N=64，由(d1，d2)T=(3，0)T和DCT的對(duì)稱性得知，頻譜會(huì)出現(xiàn)兩個(gè)折痕，下同)。從圖3中可以看出，變換后的系數(shù)能量不是分布在整個(gè)頻域內(nèi)，而是集中分布在一個(gè)折疊平面上，并能明顯地看到是沿k1軸折疊的。

圖3 三維結(jié)果Fig.3 3D result

本文選取的多視角視頻圖像序列為采用3DMAX構(gòu)造的32個(gè)視角的.yuv格式的視頻，即以一場(chǎng)景為中心，均勻擺放32個(gè)攝像機(jī)，每?jī)膳_(tái)攝像機(jī)之間的夾角α為0.4°，記錄一組多視角圖片，然后以運(yùn)動(dòng)矢量(d1，d2)T=(3，0)T移動(dòng)得到理想的多視角視頻圖像序列。圖4表示多視角視頻經(jīng)過(guò)4D MVM－DCT變換后的系數(shù)(為提高可視化，已對(duì)系數(shù)閾值進(jìn)行處理)分布示意圖。用k1表示橫軸，k2表示縱軸，k3表示幀維，k4表示視角維。從圖4可以看出，變換后的系數(shù)分布是沿視角維度衰減的一系列折疊面。具體地說(shuō)就是，沿k1軸折疊，并且幅度隨著k3，k4的增加而減少，符合理論推導(dǎo)。

圖4 四維MVM-DCT后的閾值系數(shù)示意圖Fig.4 Diagram of threshold coefficients after 4D MVMDCT

圖5(a)、(b)表示在仰角相同的情況下，分別從－15°和15°的方位角度看到的視角維度疊加后的閾值系數(shù)分布圖。從圖5中可以看出系數(shù)分布是沿k1軸折疊的平面體，并且隨著k3的增加，系數(shù)能量的數(shù)量在減少，也符合理論推導(dǎo)。

圖5 視角維疊加后的閾值系數(shù):仰角相同，方位角Fig.5 Threshold coefficients of view dimension superposition:the same elevation，and azimuth

5 結(jié)束語(yǔ)

本文先闡述了多維矢量矩陣的相關(guān)理論;然后推導(dǎo)了理想情況下多視角視頻FT域的頻譜性質(zhì)和MVM－DCT域的特性，重點(diǎn)分析了運(yùn)動(dòng)矢量及角度變量對(duì)高維變換域中系數(shù)集中分布的影響;用實(shí)驗(yàn)驗(yàn)證了變換后的系數(shù)集中在一個(gè)沿時(shí)間維度和視角維度衰減的折疊平面體;最后簡(jiǎn)單研究了運(yùn)動(dòng)分析和適用于主平面匹配的最小化補(bǔ)充準(zhǔn)則。這些將為多視角視頻壓縮編碼系統(tǒng)的下一步研究奠定了理論基礎(chǔ)。

［1］Zhou Yuan，Hou Chun－ping，Cui Han，et al.Analysis of transmission－induved distortion for multi－view video［J］.The True Vision－Capture，Transmission and Display of 3D Video，2010:1－4.

［2］Wang Shi－gang，Wang Xue－jun，Chen He－xin.Stereoscopic video compression coding based on H.264［J］. Chinese Journal of Stereology and Image Analysis，2008，3(13):11－16.

［3］Peng Zong－ju，Yu Mei，Jiang Gang－yi，et al.Fastmacroblock mode selection algorithm for multiview depth video coding［J］.Chinese Optics Letters，2010，8(2):151－154.

［4］Merkle P，Morvan Y，Smolic A，et al.The effects ofmultiview depth video compression on multiview rendering［J］.Signal Processing:Image Communication，2009，1 (24):73－88.

［5］Sang Heon Lee，Sang Hwa Lee，Jeong Hyu Yang，et al. A motion vector prediction method formulti－view video coding［C］//International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2008:1247－1250.

［6］Sang Ai－jun，Chen Mian－shu，Chen He－xin，et al.Multidimensional vector matrix theory and its application in color image coding［J］.Imaging Science Journal，2010，58(3):171－176.

［7］Lowe D G.Three－dimensional object recognition from single two－dimensional images［J］.Artificial Intelligence，1987，31(7):355－395.

［8］Nikola Bo?inovié，Janusz Konrad.Motion analysis in 3D DCT domain and its application to video coding［J］. Signal Processing:Image Communication，2005，20 (6):510－528.