基于網(wǎng)絡(luò)白板技術(shù)的遠(yuǎn)程協(xié)同制作和監(jiān)制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

靳 宇 王一夫

(1.華龍電影數(shù)字制作有限公司，北京 100088)

(2.靈然創(chuàng)智(天津)動畫科技發(fā)展有限公司，天津 300200)

1 引言

電影工業(yè)化一直是影視行業(yè)的一個熱點(diǎn)話題，而電影工業(yè)化上云是近些年來互聯(lián)網(wǎng)交互技術(shù)發(fā)展帶來的一個業(yè)內(nèi)前沿觀念。2019年9月，迪士尼影業(yè)與微軟達(dá)成了一項(xiàng)為期五年的合作協(xié)議，旨在將微軟云平臺 (Microsoft Azure)引入到迪士尼電影制作與宣發(fā)的每一個環(huán)節(jié)中來。此外，Avid、Autodesk等國際知名企業(yè)也紛紛提出了基于云端協(xié)作的技術(shù)方案或云端版本的軟件工具。

電影工業(yè)化上云的概念雖然提出了一段時間，但是目前行業(yè)內(nèi)尚未形成廣泛認(rèn)可的釋義。本文僅從行業(yè)實(shí)際需求出發(fā)，首先電影工業(yè)化的 “上云”，應(yīng)該是帶來更便利的協(xié)作模式和更快速的融入原有的電影工業(yè)化體系中，而不是需要用戶重新學(xué)習(xí)一套全新的操作系統(tǒng)和使用技能，這不利于電影工業(yè)化上云的推廣。其次，電影工業(yè)化上云應(yīng)該實(shí)現(xiàn)“全流程”支持，即能夠支持現(xiàn)有影視制作的絕大多數(shù)制作工具，操作模式?jīng)]有較大變動，能夠基本實(shí)現(xiàn)對各個流程環(huán)節(jié)的 “云端化”提升，而非提供一個全新的云端工具將部分制作工具納入進(jìn)來，形成一個對從業(yè)者來說有著較大陌生感的新的制作體系，這樣帶來的負(fù)擔(dān)可能比上云帶來的便利更多?？偟膩碚f，電影工業(yè)化上云帶來的不應(yīng)該是簡單的 “算力”的提升或者顛覆性變革，而是在原有電影工業(yè)體系上的更加自由和智能化的升級。本文正是我們在電影工業(yè)化上云方面作出的嘗試和探索。

傳統(tǒng)的影視制作方法是導(dǎo)演與剪輯師、視效制作人員等協(xié)作完成影視節(jié)目的制作工作，一般要求多人在同一個時間空間進(jìn)行集中工作。這種工作模式需要協(xié)調(diào)各方的工作時間，占用大量的交通時間、辦公空間等，同時也常常受到地域限制而無法及時有效的推進(jìn)工作。尤其是在監(jiān)制環(huán)節(jié)，溝通、協(xié)調(diào)、交通、接待等方面消耗的時間甚至可能比真正在監(jiān)制過程中花費(fèi)的時間更多，造成了資源的極大浪費(fèi)。特別受到2020年新冠疫情的影響，在地域之間的臨時交通限制、工作場所的人數(shù)限制等防疫工作要求下，使得居家辦公成為一種常態(tài)，也在某種程度上限制了傳統(tǒng)影視制作中在同一時空中工作的模式。

為應(yīng)對這一挑戰(zhàn)，就需要為制作人員和監(jiān)看人員提供一種遠(yuǎn)程協(xié)作的工作技術(shù)。傳統(tǒng)的遠(yuǎn)程工作技術(shù)，如遠(yuǎn)程桌面等雖然可以滿足居家辦公的個人需求，但如果在工作中遇到問題或需要幫助時，依然需要通過錄制視頻、文件打包等方式發(fā)送給對方，無法滿足實(shí)時的協(xié)同制作需求。因此而產(chǎn)生的消息延遲造成了工作量上升和時間的浪費(fèi)。

為解決這一問題，我們實(shí)現(xiàn)一種基于網(wǎng)絡(luò)白板技術(shù)的遠(yuǎn)程協(xié)同制作和監(jiān)制系統(tǒng)，能夠完成信號的遠(yuǎn)程同步，使用者可以遠(yuǎn)程實(shí)時交流，減少工作過程中交流不暢，實(shí)現(xiàn)了異地協(xié)同工作的可能。本系統(tǒng)的技術(shù)核心為在雙方或多方屏幕上添加一個網(wǎng)絡(luò)透明白板，該白板具有操作穿透性和互動性，既可以將白板上的操作穿透至后臺電腦桌面上以完成工作內(nèi)容，同時多方也可以在白板上批注出自己想要表達(dá)的意見和所指的位置。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 基于視頻流的工作模式

圖1 基于素材流的遠(yuǎn)程在線監(jiān)制系統(tǒng)工作模式

目前具有遠(yuǎn)程在線監(jiān)制功能的系統(tǒng)大致可分為兩類：基于視頻流和基于素材流。以往受限于網(wǎng)絡(luò)帶寬的限制，大多同類系統(tǒng)采用基于素材流傳輸?shù)墓ぷ鞣绞剑刺崆鞍涯Ｐ?、視頻等素材文件發(fā)送給對方，然后雙方同時打開同樣的素材文件，雙方之間實(shí)時發(fā)送交互信號用于同步畫面、批準(zhǔn)信息、視頻進(jìn)度等內(nèi)容。顯然，基于素材流的工作模式需要提前做很多準(zhǔn)備工作，及時性較差，如需要提前把特定素材發(fā)送給對方；而且交互的信息也受限于素材格式，較難擴(kuò)展，如針對三維模型素材的質(zhì)檢和針對視頻的質(zhì)檢，交互的信息是不同的。

圖2 基于視頻流的遠(yuǎn)程在線監(jiān)制系統(tǒng)工作模式

隨著近年來網(wǎng)絡(luò)帶寬的逐步提升，在線視頻、在線直播等業(yè)務(wù)蓬勃發(fā)展，同樣也為遠(yuǎn)程協(xié)同制作和監(jiān)制提供了基于視頻流的成熟解決方案。在基于視頻流的方案中，制作人員打開本地素材后，即可將本地桌面實(shí)時轉(zhuǎn)碼為視頻信號并發(fā)送給監(jiān)制人員，而監(jiān)制人員和制作人員之間也可實(shí)時互傳交互信號?；谝曨l流的工作模式依托于高速網(wǎng)絡(luò)帶寬可以實(shí)現(xiàn)實(shí)時交互，而且因?yàn)榻换バ盘柺敲嫦蛞曨l流的，而該視頻流又是基于制作人員的桌面環(huán)境，因此其擴(kuò)展性非常強(qiáng)，幾乎可以面向任何素材和制作軟件。

同時，基于該方案也帶來了額外的收獲，即基于視頻流的工作模式不僅可用于監(jiān)制，同時也可用于協(xié)同制作。因此，本系統(tǒng)采用基于視頻流的工作模式來實(shí)現(xiàn)遠(yuǎn)程協(xié)同制作和監(jiān)制業(yè)務(wù)需求。

2.2 基于網(wǎng)絡(luò)白板技術(shù)的信息交互

前文提到的基于視頻流的工作模式需要在雙方電腦內(nèi)安裝相同的通信軟件，用于實(shí)時傳遞交互信號和視頻信號，因此對跨平臺的支持較差。而且軟件的安裝位置也限制了制作人員和監(jiān)制人員的工作地點(diǎn)，不利于遠(yuǎn)程制作、遠(yuǎn)程協(xié)作。因此，我們提出了一個基于網(wǎng)絡(luò)白板技術(shù)的信息交互方法，用于解決上述問題。

本方法中，我們利用一臺服務(wù)器生成網(wǎng)絡(luò)透明白板，該白板一方面可以提供畫筆筆跡、文本編輯、語音錄制等批注功能，同時也可以將特定操作穿透至制作人員電腦，用于電腦中軟件的操作。我們這里的批注功能，不是針對某一已完成的對象，而是獨(dú)立出來能夠覆蓋整個制作過程的，可以在任何軟件工具以及任意的操作環(huán)節(jié)的制作中間階段進(jìn)行批注操作，這也是有別于當(dāng)前常見的批注交流工具的主要特點(diǎn)。

圖3 基于網(wǎng)絡(luò)白板技術(shù)的信息交互

從圖3 可知，采用網(wǎng)絡(luò)白板技術(shù)后，網(wǎng)絡(luò)中傳遞的信號主要可分為三類：控制信號、批注信號和視頻信號?？刂菩盘栔傅氖怯脩魧﹄娔X的控制，在本方法中制作人員和監(jiān)制人員均可控制制作人員的工作站；批注信號指的是文本信息、畫筆信息等批準(zhǔn)信息，制作人員和監(jiān)制人員均在服務(wù)器提供的透明白板上進(jìn)行批注；視頻信號為制作人員的工作站桌面經(jīng)過轉(zhuǎn)碼為視頻信號后，與服務(wù)器提供的透明白板組合一起共同發(fā)給監(jiān)制人員。采用網(wǎng)絡(luò)白板技術(shù)后，監(jiān)制人員的終端設(shè)備只要能聯(lián)網(wǎng)即可，無需特定電腦或其他終端設(shè)備。

3 系統(tǒng)整體架構(gòu)與功能實(shí)現(xiàn)

3.1 系統(tǒng)整體架構(gòu)

更進(jìn)一步，制作人員也采用遠(yuǎn)程桌面技術(shù)后，即可實(shí)現(xiàn)所有人員的遠(yuǎn)程協(xié)作制作和監(jiān)制，包括在線制作、在線協(xié)同、在線監(jiān)制3個主要功能：

在線制作系統(tǒng)：為制作人員提供了基于GPU的高性能影視在線制作主機(jī)，同時該主機(jī)輸出即時桌面信號，將制作人員的操作畫面即時傳輸?shù)皆诰€協(xié)同系統(tǒng)內(nèi)。

在線監(jiān)制系統(tǒng)：用于即時接收在線協(xié)同系統(tǒng)的桌面影像，同時可利用畫筆功能，反向控制在線制作系統(tǒng)主機(jī)，從而針對制作人員的操作進(jìn)行相關(guān)的批注與監(jiān)看。

在線協(xié)同系統(tǒng)：為多個用戶提供即時的在線語音文字交流平臺，用戶可在平臺內(nèi)進(jìn)行相關(guān)項(xiàng)目的討論，針對制作與監(jiān)制的批注，協(xié)同系統(tǒng)還包括文件同步、會議記錄和用戶認(rèn)證功能。

整個系統(tǒng)的架構(gòu)設(shè)計(jì)圖見圖4。

圖4 基于網(wǎng)絡(luò)白板技術(shù)的遠(yuǎn)程協(xié)同制作和監(jiān)制系統(tǒng)架構(gòu)

在圖4中，制作客戶端通過遠(yuǎn)程協(xié)議登錄在線制作系統(tǒng)服務(wù)器并發(fā)送自己的桌面鏡像，隨后制作人員即可通過本地終端實(shí)時控制運(yùn)行在制作客戶端的制作軟件；同時，在線協(xié)同系統(tǒng)啟動遠(yuǎn)程協(xié)同功能，將在線制作系統(tǒng)服務(wù)器中的桌面同步傳送至在線協(xié)同系統(tǒng)服務(wù)器和在線監(jiān)制系統(tǒng)服務(wù)器；監(jiān)制客戶端通過遠(yuǎn)程協(xié)議登錄在線監(jiān)制系統(tǒng)服務(wù)器，隨后監(jiān)制即可通過本地終端實(shí)時監(jiān)看與在線制作系統(tǒng)服務(wù)器同步鏡像的畫面；在線協(xié)同系統(tǒng)也提供文字、批注、語音交流等功能，并同時同步給制作客戶端和監(jiān)制客戶端。

由上述描述可知，在該系統(tǒng)架構(gòu)下在線制作系統(tǒng)、在線監(jiān)制系統(tǒng)和在線協(xié)作系統(tǒng)均獨(dú)立于制作客戶端和監(jiān)制客戶端，不會受限于客戶端軟件和硬件終端設(shè)備，具有極強(qiáng)的擴(kuò)展性和易用性。

3.2 功能實(shí)現(xiàn)與應(yīng)用案例

本系統(tǒng)提供雙向協(xié)同批注技術(shù)，實(shí)現(xiàn)協(xié)同工作者之間的信息共享、超高清同屏批注、語音和文字聊天功能、實(shí)時交互功能，解決了遠(yuǎn)程多方協(xié)同工作的實(shí)時交流問題，節(jié)約時間和人力成本。同時系統(tǒng)因?yàn)槔锚?dú)立于制作端和監(jiān)制端的服務(wù)器來運(yùn)行相關(guān)軟件系統(tǒng)，因此除了可應(yīng)用于影視行業(yè)外，也可應(yīng)用于其他行業(yè)，并且不受終端平臺的限制。

圖5 實(shí)時在線協(xié)同批注

目前已經(jīng)實(shí)現(xiàn)通過電腦、手機(jī)、平板，甚至VR 終端連接服務(wù)器后，對本系統(tǒng)的全功能使用。以上終端連接服務(wù)器后，可調(diào)用云端更加強(qiáng)大的硬件資源來完成影片的制作任務(wù)。

圖6 手機(jī)端和VR 端的在線批注

圖7 監(jiān)制端批注畫面和制作端制作畫面

本系統(tǒng)成果在2020年新冠疫情期間，在中影華龍公司原創(chuàng)、中影基地參與制作的VR 科幻動畫電影《初醒》測試短片的制作中進(jìn)行了應(yīng)用。如圖7所示，左側(cè)為天津監(jiān)制端的批注畫面，右側(cè)為在北京懷柔中影基地的制作端的制作畫面。

3.3 系統(tǒng)特點(diǎn)

本系統(tǒng)建設(shè)成果具有如下幾個主要特點(diǎn)：

(1)可實(shí)現(xiàn)多人、異地遠(yuǎn)程協(xié)同工作；

(2)通過GPU 透傳技術(shù)實(shí)現(xiàn)畫質(zhì)色彩信息和分辨率無損傳播；

(3)所有人員的操作終端對設(shè)備配置、軟件配置沒有特殊要求，可實(shí)現(xiàn)跨平臺應(yīng)用；

(4)所有協(xié)同工作者可利用文字 (聊天室模式)、語音 (會話模式)、批注 (框選、箭頭、自由繪畫)等方式訪問在線制作系統(tǒng)、在線協(xié)同系統(tǒng)和在線監(jiān)制系統(tǒng)；

(5)所有批注、操作過程支持HD 回放；

(6)支持全屏幕、菜單級別的批注協(xié)同。

4 總結(jié)

本系統(tǒng)的遠(yuǎn)程協(xié)同技術(shù)是以電影上云為目標(biāo)，建立數(shù)字內(nèi)容云制作的全流程體系的標(biāo)準(zhǔn)化解決方案。本系統(tǒng)所提出的方法和技術(shù)經(jīng)過國際查新，目前業(yè)內(nèi)尚沒有類似的方案和技術(shù)工具。

基于該先進(jìn)技術(shù)，對于電影工作者其操作方式與使用習(xí)慣與本地方案相同；其部署方案可兼容本地系統(tǒng)、駐地云、遠(yuǎn)程云，可實(shí)現(xiàn)多人圍坐的云協(xié)同工作；在線交互與批注實(shí)現(xiàn)項(xiàng)目參與方利用互聯(lián)網(wǎng)技術(shù)能夠盡快得到交流與溝通，從而贏得制作過程中寶貴的時間，也為雙方節(jié)約了大量的人力物力成本。?