一種基于H.264的立體視頻數(shù)據(jù)嵌入方法

高民芳，季曉勇

（南京大學(xué) 電子科學(xué)與工程系，江蘇 南京 210093）

1 引言

目前研究立體圖像的方法很多，如有關(guān)對象的搜索匹配方法、資源最小化方法、參照物方法、圖像移動旋轉(zhuǎn)等方法從單目圖像獲取三維信息。隨著算法復(fù)雜化，不少人致力于從單目圖像獲取三維信息，其優(yōu)點在于傳輸圖像時僅需傳輸一路圖像，而可以從解碼端進行立體解碼，這方面的例子很多，如Fang-Hsuan Cheng分析了普通單目視頻序列的深度信息[1]，無需額外信息從背景中鑒別出前景，并通過移動前景的像素點來得到雙目的圖像。文獻[2]提出一種加強型算法，它是將圖像重建算法與圖像匹配算法相結(jié)合，通過改進的SFS算法[3]重構(gòu)3D形狀,在所有改進的SFS算法中，Yaohui Hu等選擇了最簡單快速的線性估計方法[4]、模擬人眼視覺模型、互相關(guān)信息算法MI[5]、及l(fā)ika的算法[6]來實現(xiàn)，也可利用PV插值等來提高算法的速度和準(zhǔn)確度。文獻[7]則指出，Horn和他的工作伙伴在20世紀(jì)70年代就開始致力于從2D圖形中陰影的形狀構(gòu)造出3D圖像表面形狀的深度信息的工作，他們將實現(xiàn)的方法劃分為直接和間接兩種情況，前者通過測量或者光照結(jié)構(gòu)來恢復(fù)深度信息，后者則通過觀察灰度圖中可視物體所顯示出來的線索來判斷其相對深度信息。W.M.Sheta等人也提出了一種基于基因遺傳算法的優(yōu)化方法[8]，打破了只通過改進算法來提高計算效率的瓶頸問題，從有效開發(fā)整個搜索空間的效率著手，實現(xiàn)在準(zhǔn)確性以及高效性上的優(yōu)化。但只通過不同塊之間的對比或者清晰度來判斷不同塊的相對遠近,不可能從二維圖像獲得精確的深度信息。現(xiàn)在雙目攝像頭普遍存在，利用雙目攝像頭獲取的雙路視頻圖像編碼，可以更精確地恢復(fù)立體圖像原有的信息，播放時給人一種更為真實的立體場景，也可以簡化解碼器的復(fù)雜度。

2 算法分析及其流程控制

筆者提出一種全新的研究方向，在對立體視頻圖像進行編碼[9]過程中，將運動矢量或者視差矢量嵌入到參考圖像中，實現(xiàn)立體視頻圖像的單路傳輸。

根據(jù)視差矢量的特性，視差矢量的搜索范圍可以限制在以右圖像塊在左圖像中相同位置為起點的帶狀區(qū)域內(nèi)，如圖1所示。匹配后得到的視差矢量只有一個水平方向的位移，每個塊中所要嵌入的像素值僅為一個，此處引入視差矢量的線形變換。通過式（1）求出對應(yīng)不同圖像的變換系數(shù)n，從而使變換后得到的視差矢量在嵌入后，對圖像質(zhì)量的影響降低，也大大提高信噪比。

圖1 視差矢量搜索示意圖

編碼流程圖如圖2所示。

圖2 系統(tǒng)編碼流程圖

為便于統(tǒng)計實驗結(jié)果及查看嵌入數(shù)據(jù)對圖像質(zhì)量影響的大小，將對左路圖像分塊模式進行固定，分為H.264編碼器使用的 7 種模式：16×16，16×8，8×16，8×8，8×4，4×8，4×4。

方案一：直接嵌入視差數(shù)據(jù)。

將運動或視差矢量直接嵌入到對應(yīng)塊的某一固定處，然后對該塊進行H.264編碼，包括DCT變換，量化，編碼等。解碼時將該矢量提取出來與對應(yīng)參考圖像一起恢復(fù)圖像信息。

方案二：嵌入到DCT系數(shù)中，直接解碼。

由于直接嵌入數(shù)據(jù)對圖像質(zhì)量影響較大，筆者將數(shù)據(jù)嵌入放置于DCT變換后，根據(jù)宏塊DCT變換后系數(shù)的變化規(guī)律，將矢量數(shù)據(jù)嵌入到最后兩位，不僅實現(xiàn)了數(shù)據(jù)嵌入，而且將對原圖像的質(zhì)量影響減小到最小，恢復(fù)時直接對塊進行IDCT變換，其余步驟均不變。

方案三：嵌入到DCT系數(shù)中，變換解碼。

相對于方案二，僅在解碼時將嵌入數(shù)據(jù)位恢復(fù)為0后再進行IDCT變換，其余步驟均不變。

注：由于左圖像嵌入運動矢量與右圖像嵌入運動矢量或者視差矢量類似，這里沒有對左路圖像進行討論。

3 實驗結(jié)果

下面就以Soccer，Puppy，IU這3個序列進行測試，測試原始圖像如圖3所示，其中Soccer和Puppy為720×480，IU 圖像為 320×240。

圖3 原始測試圖像

1）恢復(fù)的圖像對比見圖 4～6（以 16×16，8×8，4×4 這3種模式恢復(fù)的圖像為例）。

圖4 Soccer圖像的3種模式采用不同方案恢復(fù)的圖像

圖5 Puppy圖像的3種模式采用不同方案恢復(fù)的圖像

圖6 IU圖像的3種模式采用不同方案恢復(fù)的圖像

2）信噪比的對比見表1～3。

表1 Soccer圖像進行測試所的信噪比dB

表2 Puppy圖像進行測試所的信噪比dB

表3 IU圖像進行測試所的信噪比dB

從測試結(jié)果可以看出，方案一恢復(fù)圖像的信噪比明顯低于方案二、三恢復(fù)圖像的信噪比，而且在模塊劃分比較小時，比如 8×4，4×8，4×4，方案一恢復(fù)圖像上有明顯的噪聲點存在，故此方案不可取，而方案二、方案三則看不出與原圖像的區(qū)別。在圖像質(zhì)量相對要求不高的情況下，可以使用方案二，以降低解碼器的復(fù)雜度和解碼的效率。解碼端為立體視頻解碼器則選用方案三，以獲取質(zhì)量較高的解碼，或者實現(xiàn)立體解碼。

4 小結(jié)

這種方法簡單，運行速度快，在實時性要求比較高的領(lǐng)域，如視頻會議、可視電話等具有很強的實用性。另外，該方法不僅可以在通用的H.264解碼器上實現(xiàn)（方案二），實現(xiàn)單路視頻圖像解碼，如果接收端為立體圖像解碼器，還可以根據(jù)方案三實現(xiàn)立體視頻圖像的解碼。

[1]CHENG F-H，CHEN C-C.3D stereo imaging technology from 2D image sequence[C]//Proc.IEEE 3rd International Conference on Innovative Computing Information and Control.[S.l.]：IEEE Press，2008：436.

[2]HU Yaohui，LV Guoqiang，SHI Jun.A stereoscopic enhancement algorithm based on monocular image[C]//Proc.IEEE International Conference on Audio,Language and Image Processing.[S.l.]：IEEE Press，2008：1569-1572.

[3]HORN B K P.Height and gradient from shading[J].International Journal of Computer Vision，1990，5（1）：37-75.

[4]TSAI P S，SHAH M.Shape from shading using linear approximation[J].Image and Vision Computing J.， 1994，12（8）：487-498.

[5]俞亞青，田學(xué)隆，閆春紅.醫(yī)學(xué)圖像配準(zhǔn)方法分類及現(xiàn)狀[J].重慶大學(xué)學(xué)報：自然科學(xué)版，2003，26（8）：114-118.

[6]LIKAR B，PERMUS F.A hierarchical approach to elastic registration based on mutual information[J].Image and Vision Computing，2001，19（1）：33-44.

[7]IKEUCHI K，HORN B K P.Numerical shape from shading and occluding boundaries[J].Artif.Intell.，1981，17（3）：141-184.

[8]SHETA W M，MAHMOUD M F，ATTA E，H.Evolutionary computation approach for shape from shading[J].IJICIS，2005，5（1）：59-67.

[9]李劼偉，季曉勇.基于聯(lián)合預(yù)測的立體視頻壓縮編解碼系統(tǒng)[J].電視技術(shù)，2009，33（4）：19-21.