時(shí)空聯(lián)合視差優(yōu)化的立體視頻重定向

金康俊，柴雄力，邵楓

寧波大學(xué)信息科學(xué)與工程學(xué)院, 寧波 315211

0 引 言

3D視頻包含視頻場景的深度信息，在對(duì)視頻場景表征上具有真實(shí)感和立體感，得到了廣泛應(yīng)用，各種3D顯示設(shè)備也進(jìn)入了人們的日常生活。由于不同顯示設(shè)備的屏幕尺寸(寬高比)往往不一致，因此能夠智能適配具有不同長寬比的顯示設(shè)備的重定向(retargeting)技術(shù)(Luo等，2015)具有重要的研究意義。

為了更好地適配具有不同長寬比的顯示設(shè)備，相繼提出了各種重定向技術(shù)，包括裁剪(cropping)(Chen等，2018；Chen,2016)、細(xì)縫裁剪(seam carving，SC)(Avidan 和Shamir，2007；Mansfield等，2010)和網(wǎng)格形變(warping)(Guo等，2009；Zhang等，2009)等方法。這些方法以及相應(yīng)的改進(jìn)方法已廣泛應(yīng)用于2D視頻重定向和3D圖像重定向。

與3D圖像重定向不同，3D視頻重定向需要考慮幀與幀之間的時(shí)間一致性問題。若不考慮幀間的一致性，網(wǎng)格的非均勻形變會(huì)導(dǎo)致重定向視頻出現(xiàn)抖動(dòng)和閃爍等問題。與2D視頻重定向相比，3D視頻比2D視頻多一個(gè)維度， 所以在3D視頻重定向過程中需要引入深度方向上的信息，同時(shí)需要考慮因深度信息的引入造成的觀看者視覺疲勞以及不適等問題。

目前3D視頻重定向的研究工作較少，常見的做法是直接對(duì)左、右視頻序列分別應(yīng)用傳統(tǒng)圖像重定向方法。例如，均勻縮放(uniform scaling, US)、細(xì)縫裁剪、裁剪、網(wǎng)格形變以及這些方法組合而成的多操作算子，采用上述方法分別對(duì)左、右視頻幀進(jìn)行處理可能會(huì)造成深度信息錯(cuò)誤或者無法保持時(shí)間一致性等問題。為了克服上述問題， Li等人(2018a)在此基礎(chǔ)上進(jìn)一步考慮了3D視頻的深度信息以及幀間時(shí)間一致性問題，并取得了不錯(cuò)的重定向結(jié)果，但該方法只對(duì)視頻的深度進(jìn)行保持，并未考慮過大的深度范圍可能導(dǎo)致觀看者產(chǎn)生視覺疲勞以及不舒適等問題。

本文提出一種基于時(shí)空聯(lián)合視差優(yōu)化的立體視頻重定向方法，如圖1所示。首先采用光流法對(duì)立體視頻的每一幀進(jìn)行視差估計(jì)，生成視差圖；然后根據(jù)人眼輻輳調(diào)節(jié)的特性，將角視差范圍調(diào)整到舒適視差范圍[-1°, 1°]內(nèi)(Urvoy等，2013)；再將網(wǎng)格頂點(diǎn)的視差轉(zhuǎn)換為感知深度，將網(wǎng)格頂點(diǎn)上的視差根據(jù)一定規(guī)則重映射到舒適區(qū)[-1°, 1°]內(nèi)，從而得到原視頻的重映射視差。隨后利用立體顯著性檢測法，檢測得到視頻幀中的顯著目標(biāo)(Wang等，2017)；最后利用網(wǎng)格形變法，保持顯著網(wǎng)格并調(diào)整非顯著網(wǎng)格使得重定向圖像的失真最小。另外，對(duì)視頻幀進(jìn)行網(wǎng)格形變的同時(shí)，本文設(shè)計(jì)了時(shí)間一致性保持能量項(xiàng)，將視頻的每一幀進(jìn)行串聯(lián)，使得重定向視頻的每一幀在時(shí)間上都保持一致，解決了重定向視頻中的抖動(dòng)和閃爍等問題?？傊?，本文方法不僅能夠確保重定向視頻的深度在人眼感知深度的舒適性范圍內(nèi)，而且兼顧了在深度方向上的時(shí)間一致性。

圖1 本文立體視頻重定向框架Fig.1 The proposed stereoscopic video retargeting framework

1 相關(guān)工作

1.1 3D圖像重定向

Rubinstein等人(2010)將內(nèi)容感知的重定向方法分為離散方法和連續(xù)方法兩大類。離散方法是通過不斷迭代，插入或移除一系列像素點(diǎn)來改變圖像的尺寸。細(xì)縫裁剪是典型的離散方法。連續(xù)方法通常通過對(duì)圖像的各個(gè)區(qū)域進(jìn)行非均勻形變，達(dá)到對(duì)立體圖像進(jìn)行重定向的目的。網(wǎng)格形變法是最典型的一種連續(xù)方法，也是一種典型的立體圖像重定向方法，通過移除左、右圖像的細(xì)縫來實(shí)現(xiàn)立體圖像重定向(Basha等，2013；Utsugi等，2010)。與離散方法不同的是，連續(xù)方法通過優(yōu)化能量方程建立源圖像和重定向圖像之間的最佳映射關(guān)系，能根據(jù)內(nèi)容的重要性程度將形變分布到非顯著性區(qū)域，也可應(yīng)用于立體圖像重定向領(lǐng)域，分別建立左、右圖像的優(yōu)化能量方程，進(jìn)而實(shí)現(xiàn)立體圖像重定向(Lee等，2012；Chang等，2011；Li等，2015)。

1.2 2D視頻重定向

相比于圖像重定向，由于視頻重定向引入了時(shí)間維度上的信息，對(duì)每幀視頻進(jìn)行重定向時(shí)需要考慮前后幀時(shí)間上的連續(xù)性，所以視頻重定向更具挑戰(zhàn)性。在重定向過程中需要保持前后幀的時(shí)間一致性，否則會(huì)出現(xiàn)嚴(yán)重抖動(dòng)。根據(jù)時(shí)間窗口的長度可將視頻重定向方法分為局部方法和全局方法(Li等，2014)。局部方法(Wolf等，2007；Yan等，2013)是使用一個(gè)局部的時(shí)間窗口作為約束條件，對(duì)相鄰視頻幀進(jìn)行時(shí)間一致性約束。該時(shí)間窗口只對(duì)相鄰幀進(jìn)行約束，得到的是局部的時(shí)間一致性。局部方法的優(yōu)勢在于每次需要處理的幀較少，計(jì)算效率高。但是對(duì)于目標(biāo)運(yùn)動(dòng)時(shí)間窗口較長的視頻，局部方法的準(zhǔn)確性會(huì)有所下降。全局方法(Rubinstein等，2008；Yen等，2011；Wang等，2009)則是利用整個(gè)視頻的時(shí)間信息，利用運(yùn)動(dòng)估計(jì)算法將整個(gè)視頻幀網(wǎng)格間的運(yùn)動(dòng)相關(guān)性提取出來，根據(jù)網(wǎng)格間的相關(guān)性對(duì)整個(gè)視頻序列進(jìn)行重定向(Yen等，2011；Wang等，2009)。由于擁有更長的時(shí)間窗口，所以全局方法具有更優(yōu)的時(shí)間一致性。

1.3 3D視頻重定向

相比于2D視頻重定向，3D視頻重定向引入了深度信息，對(duì)視頻進(jìn)行重定向時(shí)還需要考慮左、右圖像的一致性，并保持左、右圖像的深度信息，所以又是一個(gè)新的挑戰(zhàn)。目前3D視頻重定向的研究工作較少，已有方法未考慮對(duì)重定向視頻進(jìn)行視差舒適化調(diào)整，從而很難提升用戶的視覺體驗(yàn)。Kopf等人(2014)將立體視頻作為兩個(gè)獨(dú)立的2D視頻進(jìn)行重定向。Lin等人(2016)提出了一種聯(lián)合裁剪和網(wǎng)格形變的重定向方法來處理立體視頻。林文崇等人(2016)用seam-carving的方法計(jì)算每一幀視頻的細(xì)縫對(duì)，從而保持重定向結(jié)果的時(shí)空一致性。Li等人(2018b)著重考慮立體視頻重定向中的感知深度保持，通過網(wǎng)格形變實(shí)現(xiàn)重定向。而本文方法是從視差調(diào)整的角度提升重定向立體視頻的視覺質(zhì)量。

2 本文方法

2.1 預(yù)處理

在視頻尺寸適配前，首先需要建立每一幀視頻的網(wǎng)格分布，然后運(yùn)用網(wǎng)格形變法對(duì)視頻進(jìn)行尺寸適配調(diào)整。由于本文方法需要保持視頻幀中較為顯著的區(qū)域，使得顯著區(qū)域的失真達(dá)到最少，所以需要提取視頻的顯著信息，以判斷每個(gè)網(wǎng)格的重要性。本文方法在保持重要網(wǎng)格的同時(shí)，對(duì)非重要網(wǎng)格進(jìn)行形變，使得最終得到的適配視頻能夠最大程度地保持顯著信息。視頻重定向與圖像重定向最大的區(qū)別在于視頻重定向需要考慮時(shí)間一致性，所以在顯著信息生成的過程中也要考慮時(shí)間一致性。本文方法在生成顯著圖的過程中考慮了運(yùn)動(dòng)信息，將運(yùn)動(dòng)顯著目標(biāo)更好地提取出來，進(jìn)而更好地保持運(yùn)動(dòng)目標(biāo)。

(1)

2.2 顯著信息計(jì)算及能量項(xiàng)設(shè)計(jì)

立體視頻重定向通過丟失部分信息來調(diào)整視頻的尺寸。為了減少重要信息的丟失，需要檢測視頻中重要的信息。本文采用Wang等人(2017)提出的立體圖像顯著計(jì)算方法，顯著計(jì)算結(jié)果如圖2所示。根據(jù)顯著信息賦予不同網(wǎng)格相應(yīng)的權(quán)重，然后使用網(wǎng)格形變對(duì)原始立體視頻進(jìn)行重定向。另外，本文從提升用戶視覺舒適度的角度設(shè)計(jì)能量項(xiàng)，使得重定向視頻具有更好的觀看舒適度。本文構(gòu)建3種能量項(xiàng)：1)視頻質(zhì)量能量項(xiàng)。通過視頻質(zhì)量能量項(xiàng)對(duì)重定向立體視頻中的顯著對(duì)象進(jìn)行保持，將形變分散至非顯著區(qū)域，提升立體視頻重定向的效果。2)視頻時(shí)域保持能量項(xiàng)。由于立體視頻幀普遍存在差異性，顯著性會(huì)隨時(shí)間不斷變化，從而導(dǎo)致網(wǎng)格形變的不連續(xù)性。空間時(shí)域保持能量項(xiàng)能夠解決視頻前后幀之間因顯著區(qū)域不連續(xù)造成的視頻時(shí)域不一致問題，從而保證重定向視頻在時(shí)域上的一致性。由于重定向立體視頻通常面臨感知深度突變問題，而這種突變會(huì)造成觀看者的視覺不舒適。為了緩解感知深度突變問題，還設(shè)計(jì)了深度時(shí)域保持能量項(xiàng)。最后，將空間時(shí)域保持能量項(xiàng)和深度時(shí)域保持能量項(xiàng)相結(jié)合，形成時(shí)域保持能量項(xiàng)。3)視差調(diào)整能量項(xiàng)。用于重建重定向視頻的視差，使重定向視頻的視差對(duì)應(yīng)的角視差落在[-1°, 1°]區(qū)間內(nèi)(Urvoy等，2013)，從而減少觀看者的視覺疲勞，提供更舒適的觀看體驗(yàn)。

圖2 顯著計(jì)算Fig.2 Saliency estimation ((a) original frame;(b) saliency map)

2.2.1 視頻質(zhì)量保持能量項(xiàng)

(2)

(3)

式中，ak和bk分別表示第k個(gè)網(wǎng)格在相似性變換中的旋轉(zhuǎn)因子和縮放因子，tx,k和ty,k分別表示第k個(gè)網(wǎng)格在相似性變換中的平移參數(shù)。聯(lián)立式(2)(3)，得到其矩陣形式為

(4)

(5)

為了得到式(4)的最優(yōu)解，本文利用最小二乘法求解CkPk=dk，進(jìn)而可得

(6)

根據(jù)式(2)(4)(6)，得到最終視頻質(zhì)量保持能量項(xiàng)的矩陣形式，具體為

(7)

2.2.2 時(shí)域一致性保持能量項(xiàng)

視頻重定向與圖像重定向最大的不同在于視頻重定向需要考慮在時(shí)間維度上的穩(wěn)定性。若未考慮時(shí)間一致性保持，視頻重定向相當(dāng)于對(duì)一系列圖像集合進(jìn)行處理，這樣重定向視頻在時(shí)域上可能發(fā)生突變，導(dǎo)致觀看視頻時(shí)有抖動(dòng)感覺，引起視覺不舒適。為了減少視頻抖動(dòng)，本文引入時(shí)間一致性保持能量項(xiàng)。具體地，在重定向過程中加入時(shí)間維度上的約束，將前后幀進(jìn)行串聯(lián)，使視頻在時(shí)域上變得更加穩(wěn)定。時(shí)間一致性能量項(xiàng)定義為

(8)

根據(jù)人眼調(diào)節(jié)機(jī)理，過大的深度變化會(huì)引起人眼觀看的不舒適感。經(jīng)過調(diào)整后的視差圖可能出現(xiàn)幀與幀之間視差嚴(yán)重跳變的情況，為了減少因視差突變引起的人眼不適感，需要將感知深度的變化控制在一定范圍內(nèi)，從而減緩深度感在時(shí)域上的變化。本文將原始視頻的感知深度變化量作為重定向視頻的約束條件，使重定向視頻的深度變化與原始視頻保持一致，從而減少視差突變。視頻感知深度時(shí)域保持能量項(xiàng)定義為

(9)

本文在時(shí)間一致性保持能量項(xiàng)中不僅考慮了視頻幀在形狀變化上的時(shí)域保持，也考慮了3D視頻特有的深度感知上的時(shí)間一致性問題。前者解決了重定向視頻抖動(dòng)閃爍等問題，后者避免重定向視頻深度感上的抖動(dòng)。因此，最終的時(shí)間一致性能量項(xiàng)定義為

ET=EST+EZT

(10)

2.2.3 視差調(diào)整能量項(xiàng)

視覺輻輳調(diào)節(jié)沖突是影響人眼視覺舒適性的一個(gè)非常關(guān)鍵的指標(biāo)(Terzi和Hansard，2016)，視覺輻輳調(diào)節(jié)不當(dāng)會(huì)嚴(yán)重影響視覺舒適性。觀看3D電影比觀看2D電影更容易產(chǎn)生頭暈和疲勞，主要是因?yàn)橐暡畈⑽丛谌搜塾^看的舒適區(qū)域內(nèi)。Urvoy等人(2013)認(rèn)為當(dāng)角視差范圍在[-1°, 1°]內(nèi)時(shí)，人眼觀看立體視頻的感覺更為舒適。

令舒適深度感知范圍為[CVZmin,CVZmax]，然后通過深度調(diào)整使重定向立體視頻的視差落在[CVZmin,CVZmax]范圍內(nèi)，以減少因視覺輻輳調(diào)節(jié)不當(dāng)造成的視覺不舒適感?？沼虻囊曈X舒適深度感知范圍定義為

(11)

式中，e表示雙目之間的距離。由于3D視頻的差異性，不同的視頻會(huì)有不同的視差范圍，這一范圍經(jīng)常會(huì)超過人眼的舒適性范圍，本文設(shè)計(jì)一個(gè)能量項(xiàng)將重定向3D視頻的人眼感知深度范圍調(diào)整至舒適范圍內(nèi)。首先，搜尋整個(gè)視頻內(nèi)所有幀的感知深度，并判斷每一幀的深度范圍是否超過人眼感知深度的舒適范圍，設(shè)計(jì)能量項(xiàng)使該深度始終維持在舒適范圍內(nèi)。重建的舒適性感知深度定義為

f(Zi)=K(Zi-Zmin)+CVZmin

(12)

式中，Zi表示第i個(gè)網(wǎng)格頂點(diǎn)的感知深度，Zmin表示該幀網(wǎng)格頂點(diǎn)上最小的感知深度，CVZmin表示舒適區(qū)間的最低感知深度。視差舒適度調(diào)整能量項(xiàng)定義為

(13)

2.3 網(wǎng)格形變優(yōu)化

將形狀保持、時(shí)間一致性保持以及視覺舒適度保持3個(gè)能量項(xiàng)相結(jié)合得到整體能量項(xiàng)，并通過優(yōu)化這個(gè)整體能量項(xiàng)來進(jìn)行網(wǎng)格形變。整體網(wǎng)格形變能量項(xiàng)定義為

Etotal=αESD+βET+γEVC

(14)

式中，Etotal表示整體的待優(yōu)化能量項(xiàng)，α、β和γ分別控制視頻質(zhì)量保持、視頻時(shí)域保持以及視頻感知深度舒適度保持能量項(xiàng)的權(quán)重。本文將這3個(gè)權(quán)重分別設(shè)置為α= 1，β= 5，γ= 5。

(15)

(16)

(17)

式中，n表示網(wǎng)格的下邊界，m表示網(wǎng)格的右邊界。

3 實(shí)驗(yàn)結(jié)果

采用基于網(wǎng)格形變的方法對(duì)立體視頻進(jìn)行重定向，同時(shí)考慮視覺舒適性問題，對(duì)視頻的時(shí)域一致性進(jìn)行保持，對(duì)視差范圍進(jìn)行重映射，并對(duì)視差跳變進(jìn)行控制，使重定向視頻在深度感知舒適性上得到有效提升，減輕觀看3D視頻的視覺疲勞感及不適感。為了測試重定向算法的性能，分別在3D動(dòng)畫和現(xiàn)實(shí)3D視頻上進(jìn)行實(shí)驗(yàn)，測試序列如圖3所示。視頻#1—#4為MOBTLE·3DTV數(shù)據(jù)庫中的4個(gè)3D動(dòng)畫視頻，視頻#1背景較為復(fù)雜，目標(biāo)在垂直方向上運(yùn)動(dòng)；視頻#2背景相對(duì)復(fù)雜，目標(biāo)在水平方向運(yùn)動(dòng)；視頻#3和視頻#4的背景較為簡單，視頻#3的目標(biāo)在深度方向和垂直方向均有明顯運(yùn)動(dòng)，視頻#4的目標(biāo)在深度方向運(yùn)動(dòng)。視頻#5和視頻#6為IVY(Image and Video Systems Laboratory)實(shí)驗(yàn)室立體視頻數(shù)據(jù)庫(Jung等，2012)中的2個(gè)現(xiàn)實(shí)場景立體視頻，視頻#5背景較為復(fù)雜，人物在深度方向上運(yùn)動(dòng)；視頻#6背景簡單，但包含多個(gè)顯著目標(biāo)。

圖3 本文選取的6組測試序列Fig.3 The six test videos in experiment

3.1 參數(shù)設(shè)置

選取4組動(dòng)畫場景和2組真實(shí)場景的視頻序列進(jìn)行分析。立體視頻測試序列的選擇考慮如下幾個(gè)方面：1)測試序列涵蓋真實(shí)場景和動(dòng)畫場景，用來測試并分析本文方法的普適性；2)選擇不同深度范圍的視頻序列，其中，具有小視差范圍的序列用來分析本文方法的視差保持效果，具有大視差范圍的序列用來分析本文的視覺舒適度保持效果；3)選擇擁有十分明顯的顯著目標(biāo)的序列和擁有不太明顯的顯著目標(biāo)的序列，用以分析影響形狀保持的因素。實(shí)驗(yàn)中，設(shè)置瞳距de=65 mm，顯示屏的寬度W=750 mm，顯示屏的水平分辨率R=1 920像素，觀眾到顯示屏的距離Ls=800 mm。在水平方向上取0.6、0.7和0.8共3個(gè)縮放系數(shù)。

3.2 實(shí)驗(yàn)結(jié)果及分析

選取圖3所示的6個(gè)測試序列進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示，對(duì)應(yīng)的縮放系數(shù)分別為0.6、0.7和0.8。視頻#1和視頻#2均為背景復(fù)雜的動(dòng)畫序列，兩圖中的顯著目標(biāo)兔子的形狀保持較好，無明顯失真。比較重定向后的視差圖與原始視差圖可以看出，視頻#1視差圖變化較為明顯，這是由于本文方法需要將視差調(diào)整至人眼舒適范圍內(nèi)。視頻#3和視頻#4為背景較為簡單的動(dòng)畫序列，對(duì)比原始視頻幀和重定向視頻幀可以看出，顯著目標(biāo)形狀保持良好，無明顯失真。由于視頻#3和視頻#4兩個(gè)序列的視差較小，所以重定向序列的視差圖和原始序列的視差圖較為相似。視頻#5為現(xiàn)實(shí)場景且背景較為復(fù)雜，對(duì)比重定向前后圖像中顯著目標(biāo)蕩秋千的人，形狀保持良好，秋千的桿子也無扭曲的現(xiàn)象。對(duì)比重定向前后的視差圖可以看出，視差保持較為良好。視頻#6為現(xiàn)實(shí)場景背景簡單的多顯著目標(biāo)的序列，對(duì)比重定向前后的圖像可以看出，多個(gè)顯著目標(biāo)的形狀保持均良好，無明顯失真。對(duì)比重定向前后的視差圖可以感受到視差保持以及視差調(diào)整。綜合6個(gè)視頻序列的結(jié)果，表明本文方法具有良好的視差保持效果、視差優(yōu)化效果以及形狀保持效果，且具有一定的普適性。

3.3 時(shí)域保持分析

對(duì)重定向前后視頻幀中的運(yùn)動(dòng)趨勢進(jìn)行對(duì)比。首先利用光流法計(jì)算得出視頻幀的運(yùn)動(dòng)矢量，然后用每幀的運(yùn)動(dòng)矢量表示相應(yīng)幀中運(yùn)動(dòng)物體的運(yùn)動(dòng)趨勢，重定向視頻幀的運(yùn)動(dòng)物體的矢量如圖5所示?？梢钥闯觯?)重定向視頻幀的矢量與原始視頻幀的矢量基本相同，說明本文方法得到的重定向視頻的時(shí)間一致性保持良好。2)重定向視頻中并無閃爍抖動(dòng)等現(xiàn)象出現(xiàn)，說明本文方法的時(shí)間一致性保持能量項(xiàng)效果顯著。

利用光流法對(duì)視頻進(jìn)行矢量計(jì)算，根據(jù)所得的矢量結(jié)果求出對(duì)應(yīng)目標(biāo)物體的運(yùn)動(dòng)軌跡，并對(duì)重定向前后視頻中目標(biāo)物體的運(yùn)動(dòng)軌跡進(jìn)行比較，結(jié)果如圖6所示。由于本文對(duì)視頻的水平寬度進(jìn)行了調(diào)整，調(diào)整系數(shù)為0.6，所以圖6(a)中重定向視頻水平方向上軌跡的坐標(biāo)值為與原始視頻的值0.6倍的關(guān)系。從圖6可以看出，重定向前后視頻中目標(biāo)在水平方向的軌跡基本一致。圖6(b)為視頻中目標(biāo)物體在垂直方向上的運(yùn)動(dòng)軌跡?？梢钥闯?，重定向前后視頻中目標(biāo)在垂直方向軌跡的吻合度也很高。從圖6的軌跡變化上可以看到，本文方法得到的重定向視頻中目標(biāo)并未出現(xiàn)位置上的跳變等情況。因此，本文方法的時(shí)域保持性能良好，重定向后視頻中目標(biāo)的軌跡能夠與原始視頻基本一致，并且未出現(xiàn)抖動(dòng)閃爍等現(xiàn)象。

圖4 立體視頻各尺寸重定向結(jié)果及對(duì)應(yīng)視差圖Fig.4 The results of stereoscopic video retargeting in 0.6, 0.7, 0.8 scales and their disparity maps((a) original video frames; (b) the results of video retargeting; (c) original disparity maps; (d) the disparity maps after video retargeting)

圖5 連續(xù)4幀原始視頻與重定向視頻矢量圖對(duì)比Fig.5 Comparison of motion vectors for the original and retargeted videos((a)original videos motion vectors；(b)retargeted videos motion vectors)

3.4 與現(xiàn)有3D方法進(jìn)行對(duì)比

選取了兩種較為經(jīng)典的3D視頻重定向方法作為對(duì)比方法，分別是簡單方便的均勻縮放(uniform scaling，US)和經(jīng)典的基于細(xì)縫裁剪(seam carving, SC)的3D視頻重定向方法(林文崇 等，2016)。實(shí)驗(yàn)結(jié)果如圖7所示。由于均勻縮放對(duì)整幅圖像采用相同的縮放比例，所以圖像中的顯著目標(biāo)會(huì)受到一定擠壓。從圖7可以看出，均勻縮放得到的視頻幀中的目標(biāo)均因受到擠壓而產(chǎn)生形變。細(xì)縫裁剪方法在顯著信息容易提取的視頻中表現(xiàn)較為良好，如視頻#6，背景為黑色，顯著目標(biāo)十分明確，細(xì)縫裁剪方法能夠取得較好效果。但是，在一些顯著信息難以提取的情況下，由于一些顯著目標(biāo)的提取無法達(dá)到較為精準(zhǔn)的程度，會(huì)導(dǎo)致顯著目標(biāo)產(chǎn)生形變和扭曲，所以該方法在多數(shù)情況下效果不佳。相比之下，本文方法具備更強(qiáng)的魯棒性，能夠在計(jì)算機(jī)自動(dòng)提取的顯著圖的指導(dǎo)下得到顯著目標(biāo)形狀保持良好的重定向視頻幀，具有較好的形狀保持性能。

本文方法聯(lián)合時(shí)空對(duì)立體視頻的視差進(jìn)行優(yōu)化，保證了視差的時(shí)域穩(wěn)定性、空域保持性及人眼舒適性，如圖8所示。圖8中視差圖顏色的深淺代表視差的大小，越深視差越大。從圖8可以看出，均勻縮放方法得到的重定向后視頻幀的視差保持不變，但是顯著物體形狀發(fā)生扭曲，其并未對(duì)過大的視差進(jìn)行調(diào)整。在細(xì)縫裁剪方法得到的重定向后視頻幀中，由于顯著物體形狀保持較差，所以視差保持也很差，容易造成強(qiáng)烈的視覺不舒適。而本文提出的方法從時(shí)、空兩個(gè)角度對(duì)視差進(jìn)行調(diào)整，不僅對(duì)視差進(jìn)行大致的保持，還將視差調(diào)整至人眼觀看最為舒適的范圍內(nèi)。

圖6 重定向前后目標(biāo)水平和垂直方向運(yùn)動(dòng)軌跡Fig.6 The trajectories of motion object before and after retargeting in x-direction and y-direction ((a)horizontal direction；(b)vertical direction)

圖7 本文方法與均勻縮放(US)和細(xì)縫裁剪(SC)方法在0.6、0.7和0.8水平縮放比例下的重定向結(jié)果對(duì)比Fig.7 Comparison of results of retargeting with 0.6, 0.7, 0.8 scales among US, SC and our method ((a) original video frames; (b) US; (c) SC; (d) ours)

圖8 本文方法與均勻縮放(US)和細(xì)縫裁剪(SC)方法在0.6、0.7和0.8水平縮放比例下的重定向視差對(duì)比Fig.8 Comparison of disparity maps after retargeting with 0.6, 0.7, 0.8 scales among US, SC and our method ((a) original disparity maps; (b) US; (c) SC; (d) ours)

3.5 消融實(shí)驗(yàn)

為了證明本文所提能量項(xiàng)的有效性，進(jìn)行了消融性實(shí)驗(yàn)，分為3種情況：1)去除顯著信息對(duì)視頻進(jìn)行重定向；2)去除視差調(diào)整能量項(xiàng)對(duì)視頻進(jìn)行重定向；3)去除時(shí)域保持能量項(xiàng)對(duì)視頻進(jìn)行重定向。實(shí)驗(yàn)結(jié)果如圖9所示?？梢钥闯?1)去除顯著信息時(shí)，產(chǎn)生了與均勻縮放類似的結(jié)果，顯著目標(biāo)未得到保持，與非顯著目標(biāo)區(qū)域擁有相同的壓縮率；2)去除視差調(diào)整能量項(xiàng)時(shí)，過大的視差會(huì)引起視覺不舒適；3)時(shí)域保持能量項(xiàng)對(duì)比結(jié)果通過互聯(lián)網(wǎng)獲得(網(wǎng)址：https://pan.baidu.com/s/13qV-NsEg7jkZm HDqwjqIpw)。去除時(shí)域保持能量項(xiàng)后，視頻中存在明顯的抖動(dòng)現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，本文方法中各個(gè)能量項(xiàng)均為有效能量項(xiàng)。

3.6 客觀方法評(píng)價(jià)

采用兩種客觀評(píng)價(jià)方法評(píng)估重定向視頻的質(zhì)量，分別是平面方法和立體方法。平面方法是基于寬高比相似度(aspect ratio similarity，ARS)的重定向圖像質(zhì)量評(píng)價(jià)方法(Zhang等，2016)。使用該方法對(duì)水平方向縮放比例為0.6的重定向視頻進(jìn)行逐幀評(píng)價(jià)，得到的平均質(zhì)量分值介于0.982 5 0.952 3，總體表現(xiàn)較為良好。最大質(zhì)量值與最小質(zhì)量值之間差異較小，說明重定向算法在內(nèi)容損失控制和形變控制等方面具有較強(qiáng)的穩(wěn)定性，因此，本文方法具有較強(qiáng)的失真控制水平以及失真控制穩(wěn)定性。立體方法是基于網(wǎng)格形變和信息損失(grid deformation and information loss，GDIL)的立體圖像重定向評(píng)價(jià)方法(Fu等，2020)。使用該方法得到的質(zhì)量評(píng)價(jià)結(jié)果如表1所示，本文方法的質(zhì)量分值介于43.17 54.13。可以看出，1)對(duì)于ARS，均勻縮放方法生成的重定向視頻的客觀分值穩(wěn)定在0.887 6 0.875 9。細(xì)縫裁剪方法生成的重定向視頻的客觀分值浮動(dòng)較大，對(duì)背景簡單的場景能夠得到較高的客觀分值，介于0.969 1 0.748 0。本文方法對(duì)應(yīng)的客觀分值介于0.982 5 0.952 3，說明具有較高的魯棒性和較強(qiáng)的形狀保持性能。另外，對(duì)于序列#1—#5，本文方法的質(zhì)量分值均高于對(duì)比方法的客觀分值。對(duì)于視頻序列#6，細(xì)縫裁剪方法得到的重定向視頻的客觀分值略高于本文方法，這是由于視頻#6背景為黑色且只有兩個(gè)顯著目標(biāo)，對(duì)于這種情況，細(xì)縫裁剪展現(xiàn)出算法的優(yōu)越性，但得分也僅略高于本文方法。綜上所述，本文方法具有較好的形狀保持性能和較強(qiáng)的魯棒性。2)對(duì)于GDIL指標(biāo)，均勻縮放方法的客觀分值介于39.32 41.96，明顯低于本文方法。細(xì)縫裁剪方法的客觀分值介于28.49 61.84，得分差距大，說明該方法魯棒性過差。對(duì)于背景簡單的視頻序列，如視頻序列#3和#6，細(xì)縫裁剪方法的客觀分值較高，超過本文方法，說明細(xì)縫裁剪方法只適用于背景簡單和顯著目標(biāo)單一的視頻，不具有普適性。本文方法的客觀分值介于43.17 54.13，能夠適應(yīng)背景復(fù)雜和顯著目標(biāo)不明顯的視頻序列，如視頻序列#1、#2和#5，本文方法的穩(wěn)定性較高。

圖9 消融性實(shí)驗(yàn)去除顯著信息及去除視差調(diào)整能量項(xiàng)的重定向結(jié)果對(duì)比Fig.9 The results of stereoscopic video retargeting without saliency information or disparity constraints((a) original video frames; (b) the results of video retargeting without saliency information; (c) our method; (d) original disparity maps;(e) the disparity maps of retargeting video without disparity constraints; (f) the disparity maps of ours)

表1 均勻縮放(US)、細(xì)縫裁剪(SC)與本文方法的ARS和GDIL客觀評(píng)價(jià)得分Table 1 The ARS and GDIL score of US, SC and our method in objective assessment

3.7 算法復(fù)雜度分析

在配置為Intel Core i5-9400F、2.90 GHz以及8 GB內(nèi)存的設(shè)備上分別對(duì)480 P、720 P以及1 080 P的視頻進(jìn)行測試，測試結(jié)果如表2所示?？梢钥闯觯c細(xì)縫裁剪方法相比，本文方法的時(shí)間復(fù)雜度較低。與均勻縮放方法相比，本文方法在時(shí)間復(fù)雜度上的優(yōu)勢不大，這是因?yàn)榫鶆蚩s放只是進(jìn)行了簡單的縮放并不涉及優(yōu)化，因此該方法時(shí)間復(fù)雜度最低。綜上所述，本文方法在時(shí)間復(fù)雜度上具有一定優(yōu)勢。

表2 均勻縮放(US)、細(xì)縫裁剪(SC)和本文方法每幀的時(shí)間復(fù)雜度Table 2 The time complexity of US, SC and our method per frame /s

3.8 局限性

雖然本文方法的性能較好，但仍存在一些局限性，主要表現(xiàn)在：1)當(dāng)場景十分復(fù)雜時(shí)，本文方法需要非常準(zhǔn)確的顯著圖才能獲得高質(zhì)量的重定向效果，即本文方法受視差估計(jì)和顯著性檢測精度等因素影響較大；2)當(dāng)幀與幀之間場景跳變很大時(shí)，會(huì)出現(xiàn)時(shí)間一致性無法保持問題；3)由于本文方法利用左視頻序列和視差圖構(gòu)建右視頻序列，當(dāng)視差過大、顯著目標(biāo)超出右圖的顯示范圍時(shí)，右圖顯著目標(biāo)會(huì)出現(xiàn)形狀失真。

4 結(jié) 論

本文提出了基于時(shí)空聯(lián)合的視差優(yōu)化方法，對(duì)視頻視差進(jìn)行重映射，使其處于一個(gè)舒適范圍內(nèi)，并結(jié)合視差的時(shí)域保持，使得到的重定向視頻既滿足觀看舒適性又不會(huì)產(chǎn)生時(shí)域上的視差突變。同時(shí)，提出一種基于網(wǎng)格形變的立體視頻重定向方法，根據(jù)視頻的顯著性信息建立網(wǎng)格形變方程，然后對(duì)立體視頻的尺寸進(jìn)行調(diào)整。實(shí)驗(yàn)結(jié)果表明，與均勻縮放和細(xì)縫裁剪的視頻重定向方法相比，本文方法具有更好的形狀保持性能、時(shí)域保持性能以及視差優(yōu)化性能，優(yōu)化得到的重定向3D視頻的感知深度具有時(shí)間穩(wěn)定性及視覺舒適性。在接下來的工作中，將結(jié)合裁剪方法與本文網(wǎng)格形變方法進(jìn)行立體視頻重定向工作，從而進(jìn)一步減少顯著目標(biāo)的失真。