VR全景影像編輯應(yīng)用探析

袁 雪

（作者單位：四川音樂學(xué)院）

電影《頭號玩家》的故事發(fā)生在未來的VR（virtual reality，虛擬現(xiàn)實）“綠洲”世界中，身著智能穿戴設(shè)備的主角們在現(xiàn)實世界和虛擬世界中穿行自如，電影中折射的未來世界是VR嵌入了現(xiàn)實并深刻影響著真實世界。從斯皮爾伯格的這部描繪未來的電影中，我們可以預(yù)見VR是影像發(fā)展的必然方向，傳統(tǒng)影像的內(nèi)容和體驗將被打破。自2016年在我國被稱作“VR元年”開始，VR概念就一直受到市場熱烈追捧，逐漸被人們所熟知。這兩年間，在國內(nèi)經(jīng)歷資本泡沫消散后開始回歸理性發(fā)展，VR依然是被業(yè)界一致看好的新興領(lǐng)域，在游戲、影視、教育、醫(yī)療、建筑、工業(yè)生產(chǎn)等多領(lǐng)域都有所滲入。作為仍處于發(fā)展初期的技術(shù)形態(tài)，人們對VR創(chuàng)作的認知還在積累中，技術(shù)與理念之間的適應(yīng)性和促進性也一直在探索當(dāng)中。熱衷VR的人們在嘗試挖掘VR最大的可能性——如何向全景空間拓展并創(chuàng)造出更驚異、更真實的沉浸互動體驗。

1 VR對傳統(tǒng)影像制作經(jīng)驗的顛覆

如今VR影像創(chuàng)作領(lǐng)域的從業(yè)者和藝術(shù)家們幾乎都接受的是傳統(tǒng)技藝訓(xùn)練，包括影像制作的理念、流程、敘事邏輯等都遵循電影講故事的方式。所有圍繞VR創(chuàng)作產(chǎn)生的挑戰(zhàn)，絕不僅僅是替換工具和轉(zhuǎn)化機位這類技術(shù)問題，還要求制作者們在思維上跳脫原有傳統(tǒng)模式，從而能在創(chuàng)作方式上適應(yīng)VR特點并能展現(xiàn)這一新媒介的獨特性。

越是熟悉傳統(tǒng)影視制作程式，在面臨VR時可能越容易無所適從。傳統(tǒng)影視制作初期，首先要確定主題創(chuàng)意和拍攝腳本。VR中打破屏幕的二維局限，畫面構(gòu)思和描述不再是平面圖景，就使得如何直觀描述六個象限——上、下、左、右、前、后六度的全景視角，變成了擺在編劇面前的新挑戰(zhàn)。編劇需要想象觀影時的“沉浸感”畫面如何表述、如何敘事、如何設(shè)計引導(dǎo)，等等。編劇需要重新審視在敘事中的“沉浸感”如何激活，然后將創(chuàng)作信息分別安排在六度視角的腳本中。一些編劇嘗試用不同顏色的文字表述不同的象限角色、場景和動作，完成的劇本如何能更好被理解同樣需要顛覆傳統(tǒng)思維方式，但這才是挑戰(zhàn)的開始。

傳統(tǒng)影視創(chuàng)作基本都是有設(shè)定POV（point of view，視點），即將故事發(fā)生的場景和情節(jié)展現(xiàn)以某種視角在觀眾面前，攝影機取景拍攝即視點所在，也是觀眾可以被引導(dǎo)看到的畫面。這種創(chuàng)作手法帶來了非常強烈的代入感，傳統(tǒng)拍攝已經(jīng)有視覺心理學(xué)作為基礎(chǔ)，在畫面中設(shè)計視覺路徑，引導(dǎo)觀眾注意力的整套經(jīng)驗，但這些經(jīng)驗在VR中幾乎失效。沉浸感作為VR的核心體驗，使拍攝不僅需要考慮六度方向的挑戰(zhàn)，還需要考慮敘事內(nèi)容呈現(xiàn)的方式，這些是全新的考驗。也就是說，導(dǎo)演和工作人員不能在拍攝現(xiàn)場，也無法存在于攝像機背后，拍攝中的布景道具都需要真實存在。除此之外，攝像師還需要嘗試解決全景攝像機的位置、運動等新問題。

經(jīng)歷千辛萬苦拍攝的素材不會自動組合在一起成為作品，后期編輯的再創(chuàng)作流程對于創(chuàng)作成敗有決定性作用。剪輯一直被視作影視藝術(shù)的獨有特征，但蒙太奇的影像語法對于VR360°“視點散焦”方式也面臨失效。VR的時空統(tǒng)一與連貫性是沉浸感的來源，傳統(tǒng)的剪輯方式基于的視覺暫留的生理基礎(chǔ)與完形心理的原理無法適用。面對六度方向的素材進行后期編輯并非在于傳統(tǒng)的“剪和接”，而在于對拍攝的六度畫面的“縫合”。VR的有些縫合在拍攝過程中就已經(jīng)可以進行，而有些則需要依靠后期軟件操作才能實現(xiàn)。在面對素材進行全景縫合時也并不總是一帆風(fēng)順，計算機識別各類情況的素材也不是完全智能，人工手動進行合成與轉(zhuǎn)描總是難以避免的。

《阿凡達》的導(dǎo)演詹姆斯 卡梅隆三年前曾在采訪中明確表示不看好VR電影，但去年他修正了自己的觀點，“我每一天都在VR環(huán)境中工作。當(dāng)我完成這些訪談后，我將在今天剩下的時間里繼續(xù)在VR中工作。這種交互性是否可以創(chuàng)建一種新的藝術(shù)形式，一種新的電影形式……我正在等待它證明自己?！盵1]對富有想象力和實驗精神的卡梅隆而言，現(xiàn)在的技術(shù)距離他心里期待的真正屬于VR的性狀，還存在技術(shù)和硬件發(fā)展上的限制。創(chuàng)造高質(zhì)量的VR體驗是革命式的、十分復(fù)雜的過程，視聽的設(shè)計預(yù)混合是實現(xiàn)完全沉浸的重要構(gòu)成環(huán)節(jié)。

2 VR影像的編輯制作現(xiàn)狀

360°視頻的后期編輯目前并不存在行業(yè)標(biāo)準或者一種通用的固定方式，這和傳統(tǒng)后期制作有所不同。VR的全景視頻內(nèi)容根據(jù)不同的拍攝設(shè)備決定著后期采用何種方式來處理采集的素材。比如，入門級的一體機拍攝，基本可以實現(xiàn)拍完即自動縫合，無需動手再做編輯，還可以在手機上直接查看并分享。三星gear360和理光的ThetaS就屬于這類操作，但這類360°視頻的優(yōu)點是攜帶輕便、制作簡易，且無需后期縫合；缺點是分辨率低、畫質(zhì)不夠精細。再高一級的柯達Pixpro SP3604K或尼康KeyMission會解決一體機畫質(zhì)的硬傷，因為是采用雙鏡頭捆綁的方式，但后期需要縫合。縫合視頻的可操控性有限，在電腦上采用配套軟件進行有限操作。常見的專業(yè)團隊會采用6個GoPro的Hero4s攝像頭組進行全景素材拍攝，但非常繁瑣的是有6個機器也就有6個電池與6個儲存卡且需要攝像師在拍攝時同時按下6個按鈕執(zhí)行拍攝。后期也需要電腦上將6個視頻進行拼接和后期處理，優(yōu)點是視頻內(nèi)容的可編輯性大大增強，畫質(zhì)較為優(yōu)良，缺點是非?？简灁z制團隊的時間和體力，當(dāng)然，還有超強的視頻縫合處理能力。當(dāng)然，更專業(yè)的諾基亞OZO和facebook推出的Surround應(yīng)該可以減少一些繁瑣的工作量，但高昂的價格并不親民。大多數(shù)團隊在實現(xiàn)VR內(nèi)容方面還需要自行建立適配的流程，比如，拍攝甚至用專業(yè)級別的RED、Canon EOS M3s、Sony A7Ss這類經(jīng)典器材實現(xiàn)高素質(zhì)畫面，然后交給后期完成全景拼接。

由于目前的VR拍攝硬件處于起步階段，大量的視頻素材依賴后期拼接實現(xiàn)360°視頻內(nèi)容。很多時候拍攝還是無法解決拍虛畫面的問題，在照明不足的情況下有效分辨率也無法保障，總體而言目前的360°拍攝設(shè)備還無法創(chuàng)建傳統(tǒng)影像帶給我們的專業(yè)級別的360°視頻，無論在形式上還是內(nèi)容上都還處于嘗試階段。拼接是非常精細化的工作，有相當(dāng)高的技藝要求，不同拍攝設(shè)備攝取的畫面的拼接狀況直接反映了拼接水平。

VR后期拼接使用的有Kolor Autopano，VideoStitch，OpenCV，Nuke以及ADOBE的Premiere與After Effects等不同的后期工具。筆者經(jīng)歷過8個機位的攝像頭陣列組成的360°視頻拍攝，通過OpenCV進行縫合拼接，體會到做VR的后期拼接是一個吃力不討好的事。因為在拼接過程中會出現(xiàn)各種狀況，例如，出現(xiàn)接縫的空隙，拼接處的錯位非常常見，這就意味著需要進行大量的手工處理，而處理過程中最使人崩潰的是始終無法取得令人滿意效果的反復(fù)嘗試。令人沮喪的情況不止這些，哪怕是4K畫面拼接為360°視頻后，可視的全景視頻就不再是4K了，分辨率大打折扣，畫質(zhì)變差，觀看體驗不佳。拋開畫面變形和虛化的部分，偶爾遇到一個機位的素材出現(xiàn)問題就可能全部前功盡棄，后期編輯充滿艱澀，所以目前在效率與效果上都是很難有大規(guī)模、高質(zhì)量的內(nèi)容產(chǎn)生。至于我們常在手機上看到全景圖像倒不是新鮮事物，靜態(tài)圖像的拼接相當(dāng)于精致地完成了視頻中的“一幀”內(nèi)容。

人工智能可能會是未來VR后期處理的解決方案，需要靜待技術(shù)發(fā)展進程中的有效突破。例如，谷歌的AI后期編輯小助手平臺，通過讓人工智能學(xué)習(xí)大量圖像信息，積累各類算法使其學(xué)會精細化處理圖像。一旦谷歌能夠?qū)崿F(xiàn)完美批量處理圖像并適用于全景圖像視頻，屆時谷歌再開源算法，讓各款360°全景攝像機便可以獲取后期支持，將拍攝數(shù)據(jù)傳輸?shù)椒?wù)器上，由人工智能提供一套解決方案。

3 VR編輯中的深度信息應(yīng)用

360°視頻目前基本被分成兩種，一種是無深度信息的，如我們看到的全景地圖，家居環(huán)境等；另一種是含深度信息的，是通過分屏輸入也經(jīng)過3D渲染的真正立體視頻，如部分VR交互游戲。后者被業(yè)界視作真正的VR，深度信息是讓VR成為真正VR的一個重要條件。目前，通過創(chuàng)建三維場景，CG建模以及后期特效，深度已經(jīng)展示了其優(yōu)勢特點。所謂深度信息是拍攝的360°空間中所有的像素點都帶有距離信息，計算這些信息即可提供360°場景的結(jié)構(gòu)信息，不僅對于實拍場景，對CG制作的三維場景創(chuàng)作也是非常有幫助。深度信息幫助畫面中對象包含基本的透視以及縱深空間運動，是視頻更具有身臨其境的體驗。畢竟對VR影像而言，深度信息是VR成為VR的關(guān)鍵，需要有認知和思考。

首先，面臨影像的運動。影像的運動通常是由三方面構(gòu)成，拍攝對象運動，攝像機運動以及后期剪輯與特效產(chǎn)生的運動。傳統(tǒng)畫面中有近大遠小的深度透視，如果伴隨運動則會產(chǎn)生視差。視差是由運動產(chǎn)生的現(xiàn)象，人眼在運動中導(dǎo)致物體投射到視網(wǎng)膜上的成像因為距離產(chǎn)生視覺差異。比如，坐在車里的人看到路邊的樹快速閃過的模糊成像，較遠處的田野伴隨車的運動視覺上卻平穩(wěn)轉(zhuǎn)換，而天上的云朵和太陽則在視覺上停留時間更長，仿佛沒有變化。距離我們越近的物體，伴隨運動的產(chǎn)生，視差越大。在VR拍攝中，多個鏡頭在運動中拍攝的畫面，采集畫面時再通過相應(yīng)的算法進行拼接，然而全景相機的鏡頭光心在物理上無法做到完全重合。由于鏡頭之間各自存在運動，會導(dǎo)致兩個鏡頭之間采集的視頻運動存在差異，而算法需要依據(jù)近處的物體或遠處的物體來取舍處理，這就會導(dǎo)致重影或者跳變的情況。

其次，是拍攝的距離。視差問題同樣會在拍攝距離上體現(xiàn)。鏡頭越近，安全距離越小，出現(xiàn)接縫的概率越低。所謂安全距離是通過鏡頭靠近而減少成像視差的，因為鏡頭在一定距離中，物體成像的視差是小于一個像素。深度信息要解決視差問題，在于同一物體在攝像機中準確的成像會投影到全景視頻中的同一點，由此解決拼縫的問題。一旦深度消除了視差導(dǎo)致的全景視頻拼縫問題，則可以生成完全無縫的全景視頻。

另外，全景視頻的另一個痛點是，用戶視點被固定，無法自由移動產(chǎn)生更真實的深度運動感。這種真實的沉浸感受才是VR真正的魅力，如果用戶無法體驗深度信息中移動的“臨場感”，VR影像就缺失了重要的吸引力。同樣，這個難題也寄望未來人工智能通過算法能夠計算出場景中物體的深度，實現(xiàn)下一幀與上一幀深度變化的真實呈現(xiàn)。

4 VR編輯還有待解決的挑戰(zhàn)

后期剪輯是造就電影藝術(shù)的獨特手段，而VR的后期編輯中無處可剪似乎讓剪輯師不再存在。而事實上，與拍攝環(huán)節(jié)面臨的問題相同，后期中編輯處理影像依然十分重要，只是需要改變傳統(tǒng)的認知，另外，還有待積累經(jīng)驗和完善理論。技術(shù)發(fā)展會不斷為降低制作難度提供先決條件，這個過程也是讓人們?nèi)ヰB(yǎng)成VR思維的時間?，F(xiàn)在可以認識到360°視頻的影像范圍是“球形式”的，加上深度信息的內(nèi)容，則可以構(gòu)成同心圓球一般“圈層式”的視覺范圍。此時，傳統(tǒng)影像中前景、中景、背景的設(shè)計理念依然奏效，而對后期編輯而言，分別處理視頻中圈層內(nèi)容處理則變得有章可循。這樣的創(chuàng)作理念是全新的，移植傳統(tǒng)制作思路之外，是不是還有其他的全景思維有待發(fā)現(xiàn)，這有待藝術(shù)家們發(fā)現(xiàn)和探索。

另外，后期編輯所需要的資料儲存消耗巨大。所有的資料類型中，視頻無疑是最占用儲存資源的，而360°視頻使用的素材則是4K視頻內(nèi)容文件大小的六倍，也就是說，5min的全景使用的內(nèi)容文件可以輕松達到上百G。這樣，全景視頻的占用率更是使制作中的存儲成本激增，成為另一個后期編輯中面臨的困難。

不論VR廣告還是VR影視，目前都涉及大量繁瑣的制作工作，這也是VR內(nèi)容制作預(yù)算昂貴、效率低下、內(nèi)容量極少的現(xiàn)狀。并且，在VR這個剛剛起步的新領(lǐng)域中，無論是創(chuàng)意構(gòu)思、拍攝器材、后期軟件一系列軟硬件的發(fā)展，包括參與的拍攝人員、編輯人員等都是在這個空白領(lǐng)域中一點點摸索和嘗試。了解并接受這個發(fā)展初級階段的不完美甚至糟糕的一切，沒有傳統(tǒng)影像世界里積累的“大師”和“經(jīng)典”的參照標(biāo)準，一切都有待創(chuàng)造。