互動(dòng)視頻 更進(jìn)一步的虛擬現(xiàn)實(shí)

技術(shù)宅

最近虛擬現(xiàn)實(shí)（VR）非常的火熱，不過VR雖然可以給我們帶來虛擬真實(shí)的體驗(yàn)，但是這種體驗(yàn)大多基于虛擬畫面，用戶并不能進(jìn)行實(shí)時(shí)互動(dòng)。麻省理工學(xué)院目前開發(fā)出了一種互動(dòng)視頻技術(shù)（Interactive Dynamic Video），則可以讓用戶和視頻進(jìn)行觸摸互動(dòng)體驗(yàn)。效果就類似星球大戰(zhàn)中的絕地武士那樣在屏幕中制造波瀾，即使隔著一個(gè)次元的屏障。那么什么是互動(dòng)視頻技術(shù)？這種技術(shù)是怎么實(shí)現(xiàn)視頻的觸摸互動(dòng)？又會(huì)給我們的生活帶來什么樣的影響？

科技掃盲 互動(dòng)視頻是個(gè)什么鬼

使用過VR設(shè)備的朋友都知道，當(dāng)我們帶上類似Oculus虛擬設(shè)備觀看視頻時(shí)，我們可以進(jìn)入更加真實(shí)的視頻世界。但是無論這個(gè)虛擬體驗(yàn)有多么真實(shí)，作為觀眾永遠(yuǎn)只是旁觀者，我們只能觀看視頻，而無法與視頻進(jìn)行互動(dòng)交流（圖1）。

為了能夠讓用戶和VR視頻有更多的互動(dòng)體驗(yàn)，麻省理工學(xué)院開發(fā)了互動(dòng)視頻技術(shù)。這種技術(shù)可以讓我們?cè)谟^看視頻的同時(shí)進(jìn)行觸摸交流，比如在演示視頻中，虛擬的皮卡丘出現(xiàn)在草叢中后，用戶只要拖動(dòng)鼠標(biāo)，草叢就會(huì)動(dòng)起來，這個(gè)效果就像生活中的真實(shí)場(chǎng)景一樣（圖2）。

觸摸視頻 認(rèn)識(shí)互動(dòng)視頻背后的原理

互動(dòng)視頻的亮點(diǎn)就是互動(dòng)，即用戶可以通過鼠標(biāo)、觸摸等操作讓視頻中原來靜止不動(dòng)的物體“動(dòng)起來”，從而獲得更加真實(shí)的體驗(yàn)。比如在上述演示視頻中，原來畫面中的草叢實(shí)際上是靜止的，但是通過觸摸操作可以讓其晃動(dòng)，這樣在虛擬皮卡丘跳躍到草叢后草叢會(huì)晃動(dòng)，感覺就像生活中真實(shí)的場(chǎng)景一樣。那么這種視頻互動(dòng)的效果是怎么實(shí)現(xiàn)的呢？

大家知道，現(xiàn)實(shí)生活中的物體如果受到外力的作用，物體就會(huì)發(fā)生震動(dòng)。這樣要讓視頻中原來靜止的物體能夠和用戶的觸摸進(jìn)行互動(dòng)，傳統(tǒng)的方法是使用3D建模來建立互動(dòng)式模擬，通過建立虛擬3D模型實(shí)現(xiàn)和用戶的互動(dòng)。這種3D建模方法可以讓用戶通過觸摸虛擬3D模型獲得互動(dòng)，但是3D建模技術(shù)難度大，3D渲染需要花費(fèi)大量的時(shí)間，而且也不是每一種物體都可以進(jìn)行建模。因此這種傳統(tǒng)3D建模技術(shù)無法在常見的VR場(chǎng)景中大范圍使用（圖3）。

麻省理工學(xué)院現(xiàn)在開發(fā)的視頻互動(dòng)技術(shù)則繞開3D建模。開發(fā)人員首先利用攝像機(jī)預(yù)先拍攝禁止物體在受到外力作用下的微小震動(dòng)視頻（最短只需5秒的視頻片段）。接著開發(fā)人員利用一個(gè)算法來生成一個(gè)預(yù)測(cè)模型，通過這個(gè)模型來預(yù)測(cè)出該物體在其他外力下產(chǎn)生的震動(dòng)模式。獲取物體預(yù)測(cè)震動(dòng)模式后，研究人員還會(huì)將該模型和物體在實(shí)際外力作用下的震動(dòng)進(jìn)行比較并進(jìn)行校正，這樣進(jìn)行多次算法修正后，這個(gè)預(yù)測(cè)模型就可以比較真實(shí)地反映出物體在外力作用下的震動(dòng)了。這樣通過將視頻互動(dòng)化，分析并預(yù)估出物體如何應(yīng)對(duì)各種未知作用力，探索出了視頻交互的新方式（圖4）。

我們以上述Pokemon Go游戲?yàn)槔?，開發(fā)人員首先拍攝視頻畫面中草叢在外力作用下的震動(dòng)視頻，通過算法和預(yù)測(cè)模型就可以預(yù)測(cè)出草叢在小精靈附著時(shí)的震動(dòng)狀態(tài)。這樣當(dāng)游戲中的小精靈出現(xiàn)在草叢上面的時(shí)候，草叢就會(huì)由于這個(gè)虛擬物體的作用而出現(xiàn)相應(yīng)的震動(dòng)，看上去就像有個(gè)真正的實(shí)物落在草叢中。同樣的，當(dāng)我們使用手捕捉小精靈觸碰到手機(jī)攝像頭展示的草叢時(shí)，手機(jī)上顯示的草叢也會(huì)發(fā)生相應(yīng)的震動(dòng)，整個(gè)的游戲操作就像是在現(xiàn)實(shí)生活中真實(shí)的觸碰，可以讓VR游戲擁有更為逼真的游戲場(chǎng)景（圖5）。

不僅僅是觸摸 互動(dòng)視頻技術(shù)發(fā)展前景

通過上述介紹，我們知道視頻互動(dòng)技術(shù)可以讓我們觸碰虛擬視頻中的物體并獲得反饋。在游戲領(lǐng)域，該技術(shù)的出現(xiàn)可以讓讓我們獲得更為真實(shí)的體驗(yàn)。比如在一些VR射擊游戲中，使用互動(dòng)視頻技術(shù)后，用戶通過扣動(dòng)虛擬槍械可以獲得像在使用真槍一樣的感覺，如開槍后的后座力震動(dòng)、扣動(dòng)扳機(jī)后的形變等。這種游戲感覺是不是讓人神往？

互動(dòng)視頻技術(shù)還可以應(yīng)用在購(gòu)物領(lǐng)域，在VR購(gòu)物中我們可以在遠(yuǎn)程真實(shí)看到需要購(gòu)買的物品，如果結(jié)合視頻互動(dòng)，那么用戶就可以獲得更加真實(shí)的購(gòu)物體驗(yàn)。比如一些絲綢衣服，用戶甚至可以通過觸摸布料，通過布料的變形來判斷質(zhì)量的好壞，整個(gè)購(gòu)物體驗(yàn)就像是你在實(shí)體商場(chǎng)購(gòu)買衣服。這種全新的購(gòu)物體驗(yàn)自然可以讓大家更有買、買、買的沖動(dòng)。

當(dāng)然類似的應(yīng)用還可以用在很多領(lǐng)域，比如橋梁設(shè)計(jì)，通過橋梁模擬受力形變來獲得承重參數(shù)。這項(xiàng)技術(shù)用于電影制作中，可以通過算法模擬出真實(shí)世界的情景，可以簡(jiǎn)化特效師的工作，打造逼真的視覺效果，通過這種虛擬受力獲得更多的特技效果等。