基于機(jī)位計算的云演藝智能虛擬拍攝系統(tǒng)

吳曉雨，閔靜萱，邱駒成，吳建琴

（中國傳媒大學(xué)信息與通信工程學(xué)院，北京 100024）

1 引言

伴隨前沿技術(shù)的迭代升級，傳統(tǒng)拍攝對于智能拍攝的需求日益強(qiáng)烈，機(jī)位計算的關(guān)鍵技術(shù)也有了更高的要求。演藝場景真實(shí)拍攝過程中，面臨著空間局限、人為干擾和成本較高等問題，如何通過AI 技術(shù)實(shí)現(xiàn)節(jié)目拍攝的高效低成本輕量化制作，無疑是非常重要的。此外，高質(zhì)量拍攝離不開專業(yè)鏡頭語言知識，一定程度上限制了非專業(yè)人士參與，而智能化拍攝的研究將有助于降低數(shù)字演藝內(nèi)容的拍攝門檻。與此同時，近年來隨著虛擬世界以及元宇宙等理念的出現(xiàn)，利用Unity 和Unreal 等虛擬引擎能夠較為真實(shí)地還原現(xiàn)實(shí)世界，使用虛擬仿真環(huán)境也可避免現(xiàn)實(shí)條件下時間、空間及成本的限制。

本文主要研究了面向云演藝的智能拍攝仿真技術(shù)，在基于真實(shí)視頻學(xué)習(xí)的數(shù)據(jù)驅(qū)動方式基礎(chǔ)上加入了美學(xué)評估，進(jìn)而反映鏡頭的藝術(shù)表征。通過美學(xué)評估技術(shù)對數(shù)據(jù)驅(qū)動下計算的機(jī)位進(jìn)行微調(diào)，構(gòu)建以機(jī)位計算為核心、美學(xué)評估為輔助的基于數(shù)據(jù)驅(qū)動的智能拍攝系統(tǒng)，從而有效驗(yàn)證和輔助指導(dǎo)真實(shí)拍攝環(huán)境下的高質(zhì)量拍攝，降低拍攝的專業(yè)門檻，提升拍攝智能化水平。

2 相關(guān)研究

目前對于一個演藝節(jié)目而言，真實(shí)視頻拍攝過程一般包括場景設(shè)計、表演安排、情節(jié)設(shè)計和相機(jī)位置設(shè)定等多個步驟。每個拍攝的鏡頭都受到上述因素的影響，由于客觀條件的限制，視頻制作者可能無法拍攝出最好的鏡頭。同時，這類節(jié)目由于其不確定性，導(dǎo)演往往會選擇提前進(jìn)行一次預(yù)演的拍攝，這需要耗費(fèi)大量的人力物力。所以高成本和低可控性是目前演藝節(jié)目提前預(yù)演的主要問題，如果能夠在正式拍攝前在虛擬場景中進(jìn)行模擬并由AI 提供幾種較好的相機(jī)拍攝方案，將有助于導(dǎo)演快速找到最佳拍攝方案，提高節(jié)目的制作效率并且節(jié)省大量的成本消耗。

在過去的時間里，許多研究人員提出了不同的自動化相機(jī)拍攝的方法。

2.1 傳統(tǒng)的智能拍攝方法

傳統(tǒng)的方法大多數(shù)使用了機(jī)器學(xué)習(xí)和腳本套用的方法。從視頻中提取鏡頭知識，從而構(gòu)造了一個鏡頭庫，使用鏡頭時，通過腳本直接調(diào)用該鏡頭的相關(guān)參數(shù)應(yīng)用到相機(jī)上，但是該方法過于簡單，使用起來有諸多限制。Wang 等[1]建立了視頻素材庫并標(biāo)注了關(guān)鍵詞，用戶輸入腳本后，將相符的素材庫中的視頻合成輸出。Xiong等[2]提出一個弱監(jiān)督的框架，使用腳本作為輸入，從廣泛的鏡頭集合中自動創(chuàng)建視頻序列。Chen 等[3-5]使用循環(huán)決策樹網(wǎng)絡(luò)訓(xùn)練了一個三自由度的相機(jī)位姿預(yù)測器來自動拍攝籃球和足球比賽，可以通過運(yùn)動對象和當(dāng)前相機(jī)的位姿來預(yù)測下一個相機(jī)的最佳拍攝角度，但該種方式簡化了相機(jī)的參數(shù)，只能應(yīng)用于室內(nèi)固定機(jī)位的拍攝任務(wù)。Jia 等[6]則是使用具有目標(biāo)玩家運(yùn)動行為數(shù)據(jù)的決策樹網(wǎng)絡(luò)在空中自動拍攝虛擬開放游戲中建筑物的視頻。

2.2 采用深度學(xué)習(xí)的智能拍攝方法

隨著深度學(xué)習(xí)的興起，其在自動攝影中也被廣泛應(yīng)用，Huang等[7]采用序列到序列(seq2seq)的結(jié)構(gòu)來進(jìn)行單人室外運(yùn)動視頻自動拍攝，結(jié)合時間和空間信息，根據(jù)當(dāng)前的位置和運(yùn)動狀態(tài)預(yù)測下一幀中相機(jī)的光流，再根據(jù)光流和相機(jī)的參數(shù)矩陣來算出相機(jī)的坐標(biāo)，但該種方式較為復(fù)雜且誤差較大。在最新的虛擬相機(jī)研究中，Jiang等[8-9]使用復(fù)曲面空間坐標(biāo)[10]來代替?zhèn)鹘y(tǒng)的六自由度空間坐標(biāo)，減少了因坐標(biāo)系產(chǎn)生的誤差，然后使用真實(shí)電影視頻提取出它們的拍攝風(fēng)格，再應(yīng)用到虛擬場景中來驅(qū)動相機(jī)的拍攝，并且加入了關(guān)鍵幀技術(shù)使得用戶可以進(jìn)行精細(xì)化的相機(jī)控制，然而由于坐標(biāo)系的原因，只能應(yīng)用到兩個人的場景中，十分受限。Yu 等[11]提出了一個自動動畫電影拍攝的框架T2A，對于給定的虛擬場景和腳本，該框架可以自動拍攝出符合腳本內(nèi)容的鏡頭，其中自動拍攝優(yōu)化使用逼真度和美學(xué)模型來進(jìn)行聯(lián)合優(yōu)化，在優(yōu)化過程中可以共同考慮輸入腳本的視覺呈現(xiàn)以及生成的視頻與給定電影技術(shù)規(guī)范的合規(guī)性。

近期最新的研究中，模仿學(xué)習(xí)開始被應(yīng)用到自動攝影中，而RT2A[12]則是在T2A[11]的基礎(chǔ)上加入了強(qiáng)化學(xué)習(xí)的內(nèi)容，提出了一個獎勵函數(shù)來指導(dǎo)算法找到最佳拍攝策略并模仿導(dǎo)演對每個場景的相機(jī)選擇的決策過程，其實(shí)驗(yàn)結(jié)果表明，所提出的RT2A可以有效地模仿導(dǎo)演對鏡頭語言模式的使用。文獻(xiàn)[13]提出了一個基于強(qiáng)化學(xué)習(xí)的無人機(jī)的自動拍攝程序，可以實(shí)時跟隨移動的演員，同時根據(jù)鏡頭設(shè)計做出實(shí)時的決策，這些決策是基于通過強(qiáng)化學(xué)習(xí)得到的經(jīng)驗(yàn)得到的。Dang 等[14]為無人機(jī)攝影系統(tǒng)提出了一個端到端的模仿學(xué)習(xí)框架，提出了基于路徑分析的強(qiáng)化學(xué)習(xí)(PABRL)算法，由人物運(yùn)動信息、圖像構(gòu)圖特征和相機(jī)運(yùn)動矩陣得到人物運(yùn)動相關(guān)的美學(xué)拍攝策略，同時使用了一種注意力機(jī)制和一種長短期獎勵函數(shù)，分別增強(qiáng)運(yùn)動特征空間和生成軌跡的完整性。文獻(xiàn)[15]提出了一個集成的航拍系統(tǒng)，用于自動捕捉動作場景的電影鏡頭，通過模仿觀看主體運(yùn)動的演示來學(xué)習(xí)預(yù)測下一個相機(jī)的最佳視點(diǎn)。

然而對于演藝場景而言，其運(yùn)鏡要求更為專業(yè)，所得到的拍攝效果美學(xué)要求更高，場景也較為復(fù)雜?；谀_本驅(qū)動的智能拍攝仿真技術(shù)缺乏對于環(huán)境和攝像機(jī)的控制，虛擬環(huán)境下生成內(nèi)容實(shí)用性較差；基于真實(shí)視頻學(xué)習(xí)的數(shù)據(jù)驅(qū)動方式，忽略了鏡頭語言美學(xué)屬性的學(xué)習(xí)，得到的內(nèi)容無法有效體現(xiàn)構(gòu)圖和拍攝意圖。因此，本文在基于數(shù)據(jù)驅(qū)動的智能拍攝基礎(chǔ)上，通過美學(xué)評估來反應(yīng)鏡頭的藝術(shù)表征，并基于此技術(shù)研發(fā)了面向云演藝的智能拍攝系統(tǒng)。

3 智能拍攝系統(tǒng)設(shè)計與實(shí)現(xiàn)

3.1 系統(tǒng)整體框架設(shè)計

系統(tǒng)的框架圖如圖1 所示，前端為用戶操作的微信小程序，設(shè)計常用的按鈕、界面，用戶可以通過上傳運(yùn)鏡參考視頻來得到理想的運(yùn)鏡軌跡和虛擬仿真的效果視頻。后端分為核心算法、數(shù)據(jù)庫以及Unity 虛擬場景，前后端通過API 接口傳遞信息。后端算法模型部分是系統(tǒng)的核心，包含關(guān)節(jié)點(diǎn)提取、特征提取、相機(jī)運(yùn)動提取、相機(jī)軌跡預(yù)測和美學(xué)評價這五個模塊。前4個模塊根據(jù)用戶上傳參考視頻來預(yù)測合適的相機(jī)參數(shù)，并在虛擬環(huán)境中仿真，得到軌跡及輸出視頻，最后的美學(xué)評估網(wǎng)絡(luò)模塊則是對相機(jī)參數(shù)的仿真畫面進(jìn)行美學(xué)評分預(yù)測和主要構(gòu)圖模式判斷，并進(jìn)行拍攝指導(dǎo)，進(jìn)一步選擇最合適的機(jī)位；內(nèi)嵌數(shù)據(jù)庫用于存儲用戶信息、視頻數(shù)據(jù)；Unity 虛擬環(huán)境則是把算法模型的參數(shù)結(jié)果進(jìn)行仿真，得到更用戶友好的運(yùn)鏡軌跡和仿真視頻。最終，將經(jīng)過美學(xué)指導(dǎo)的仿真結(jié)果（相機(jī)運(yùn)動軌跡圖及虛擬相機(jī)拍攝畫面）返回前端小程序并呈現(xiàn)給用戶。

圖1 系統(tǒng)框架圖

3.2 后端機(jī)位計算算法

本節(jié)主要介紹智能拍攝的核心算法模型——基于Unity 虛擬環(huán)境的相機(jī)參數(shù)計算模型。如前文所述，該模型包括關(guān)節(jié)點(diǎn)提取、特征提取網(wǎng)絡(luò)、相機(jī)運(yùn)動提取、相機(jī)軌跡預(yù)測和美學(xué)評估等五個模塊。機(jī)位計算模型的結(jié)構(gòu)圖如圖2所示。

圖2 機(jī)位計算模型結(jié)構(gòu)圖

3.2.1關(guān)節(jié)點(diǎn)提取

該模塊首先將根據(jù)用戶所選擇的特定鏡頭切換方式或影片拍攝風(fēng)格在數(shù)據(jù)庫中選取合適的影片片段，或者直接使用用戶上傳的運(yùn)鏡參考視頻，然后使用DEKR 模型[16]提取其中的人物關(guān)節(jié)點(diǎn)信息。該模型采用了自底向上的方法，使用自適應(yīng)卷積激活關(guān)鍵區(qū)域的像素，進(jìn)而能夠聚焦人物關(guān)節(jié)點(diǎn)區(qū)域，返回其空間信息。

在構(gòu)建坐標(biāo)系時，本系統(tǒng)采用了復(fù)曲面坐標(biāo)系，即Toric 空間[10]。該空間是以兩個演員為參考點(diǎn)構(gòu)建的曲面坐標(biāo)系，相比起傳統(tǒng)的直角坐標(biāo)系，Toric 空間可以將相機(jī)和演員構(gòu)建在一個坐標(biāo)系中，避免了坐標(biāo)估計和轉(zhuǎn)換帶來的誤差，同時也更容易理解相機(jī)的運(yùn)動控制。但是缺點(diǎn)是只能受限于兩個人，不能多也不能少。

為了解除視頻人數(shù)的限制，我們將上述方法拓展到了多人，使得網(wǎng)絡(luò)能接受多人的視頻輸入，從中提取出兩個主要人物的關(guān)節(jié)點(diǎn)信息。通過人臉到屏幕中心距離和人臉大小來判斷出主要演員[17]，同時考慮人物的大小、距離屏幕中心的距離以及人物的清晰度，最終得到每個人的重要性分?jǐn)?shù)，選取分?jǐn)?shù)最高的兩名人物提取其關(guān)節(jié)點(diǎn)。

3.2.2特征提取網(wǎng)絡(luò)

得到兩個主要人物（A,B）關(guān)節(jié)點(diǎn)后，我們使用一個回歸網(wǎng)絡(luò)，即特征提取網(wǎng)絡(luò)[8]來提取相機(jī)特征c 和人物特征v，在Toric 空間中的相機(jī)、人物特征分別如下：

其中，pA和pB表示人物的屏幕位置，為二維信息，θ和φ是兩個參數(shù)角，直觀地表示兩個主要人物之間偏航角和俯仰角；dAB是兩個演員之間的3D距離，sA是直線AB 和演員A 肩膀正交向量的夾角，sAB=sA+sB代表了A 和B 的朝向的不同，M代表是否為主要人物，?5、?6分別表示5維和6維實(shí)數(shù)空間。。

將演員的骨骼關(guān)節(jié)點(diǎn)輸入特征提取網(wǎng)絡(luò)，即可提取出畫面中對應(yīng)的人物特征θ、φ和相機(jī)特征dAB、sA、sB、sAB。

3.2.3相機(jī)運(yùn)動提取

將運(yùn)鏡參考視頻的一段序列輸入相機(jī)運(yùn)動提取門控網(wǎng)絡(luò)，其中每一幀都包含之前提取的相機(jī)參數(shù)和人物信息，然后使用長短期記憶（Long Short-Term Memory ，LSTM）網(wǎng)絡(luò)將參考視頻逐幀輸入。網(wǎng)絡(luò)在LSTM 的基礎(chǔ)上還加入了多頭自注意力機(jī)制（head=3），在提升模型泛化能力的同時，也能更好地捕捉長距離的上下文信息。

選取最后一幀輸出，經(jīng)過Softmax 和全連接層得到一個和為1 的專家向量，即成功將相機(jī)運(yùn)動特征整合成一個專家向量，該專家向量為用戶選取的2D 視頻相機(jī)行為的壓縮表示。相機(jī)運(yùn)動提取模型結(jié)構(gòu)如圖3所示。

圖3 相機(jī)運(yùn)動提取模型結(jié)構(gòu)圖

3.2.4相機(jī)軌跡預(yù)測

相機(jī)軌跡預(yù)測模塊的設(shè)計參考文獻(xiàn)[9]，將相機(jī)運(yùn)動特征整合成一個專家向量(即相機(jī)行為壓縮向量)，送入到混合專家(MOE-Mixture of Experts)網(wǎng)絡(luò)中，網(wǎng)絡(luò)嘗試把樣例視頻識別為訓(xùn)練數(shù)據(jù)集中的一種或幾種相機(jī)行為的組合，賦予不同權(quán)重后送入預(yù)測網(wǎng)絡(luò)進(jìn)行相機(jī)運(yùn)動軌跡預(yù)測。

相機(jī)軌跡預(yù)測網(wǎng)絡(luò)由三個全連接層構(gòu)成，采用ELU 激活函數(shù)，輸入新場景的人物信息后，在專家向量和人物信息的控制下逐幀生成新場景的相機(jī)參數(shù)信息。最終輸出信息為Toric坐標(biāo)下5維參數(shù)：

其中，(xA,yA)、(xB,yB)表示兩個演員頭部在幀中的位置坐標(biāo)，取y 坐標(biāo)的平均值確保相機(jī)在坐標(biāo)系中保持水平。θ和φ分別表示相機(jī)在空間中的偏航角和俯仰角。將這些相機(jī)參數(shù)傳入Unity3D 虛擬環(huán)境中，通過腳本控制相機(jī)位置及運(yùn)動，仿真生成相應(yīng)的運(yùn)鏡軌跡圖和虛擬相機(jī)拍攝畫面。

3.2.5圖像美學(xué)質(zhì)量評價模型

圖像美學(xué)質(zhì)量評價模型可以輔助優(yōu)化攝像機(jī)參數(shù)計算，是系統(tǒng)中重要的一部分，其整體框架圖如圖4所示。虛擬場景運(yùn)鏡軌跡可能會有一些小誤差，帶來不好的觀演體驗(yàn)。因此，在計算生成攝像機(jī)參數(shù)后，在該參數(shù)下生成相應(yīng)的畫面，將該畫面輸入圖像美學(xué)質(zhì)量評價模型，對虛擬場景中各機(jī)位畫面進(jìn)行整體美學(xué)評分預(yù)測，選取平均得分最高、標(biāo)準(zhǔn)差較小的機(jī)位作為參考機(jī)位，以這種方式取代了以個人主觀為導(dǎo)向的美學(xué)判斷。其次，對參考機(jī)位畫面進(jìn)行構(gòu)圖評分預(yù)測和主要構(gòu)圖模式判斷。當(dāng)收到構(gòu)圖評分較低的反饋時，我們可以適當(dāng)調(diào)整攝像方向使畫面構(gòu)圖更加貼近主要構(gòu)圖模式，直到構(gòu)圖評分和畫面美學(xué)達(dá)到預(yù)期。

圖4 美學(xué)評估算法框架圖

本模塊使用MobileNetV2[18]作為提取視覺特征的骨干網(wǎng)絡(luò)。在整體美學(xué)預(yù)測模塊，參考了文獻(xiàn)[19]的網(wǎng)絡(luò)結(jié)構(gòu)。首先基于視覺特征提取網(wǎng)絡(luò)的輸出，構(gòu)建一個全連通圖來表示圖像的組成。在連通圖中，每個位置都被視為一個節(jié)點(diǎn)，將每兩個節(jié)點(diǎn)特征向量之間的余弦距離表示為圖像邊緣特征。由于在高維特征中可以捕捉到各種視覺特征，如銳度、色調(diào)、幾何形狀等，因此邊緣特征被認(rèn)為能夠表征圖像的構(gòu)圖特征。所有節(jié)點(diǎn)特征向量的平均值代表全局特征，全局特征可以描述各種各樣的美學(xué)特征。然后使用門單元GU將美學(xué)特征faes和構(gòu)圖特征fcom結(jié)合，賦予它們不同權(quán)重u,v 并進(jìn)行拼接操作，得到融合特征Saes。最后通過一個全連接層獲取圖像整體美學(xué)評分分布，根據(jù)評分分布可以計算圖像分?jǐn)?shù)均值，用于選取合適的參考機(jī)位。

在圖像構(gòu)圖模式預(yù)測模塊，輸入上一模塊選取的機(jī)位畫面，獲取全局特征圖，并對該畫面進(jìn)行顯著圖提取和最大值池化下采樣。然后，將全局特征圖和顯著圖送入顯著增強(qiáng)多模式池化（Saliency-augmented Multi-pattern Pooling, SAMP）[20]，得到圖像多模式（八種基本構(gòu)圖模式）權(quán)重和聚合特征fsamp。引入三分法、整體構(gòu)圖的平衡程度(Balancing Elements)、是否有主體物體(Object Emphasis)、重復(fù)與對稱這五個屬性作為屬性特征來補(bǔ)充構(gòu)圖特征[20]，將聚合特征fsamp分解成構(gòu)圖特征fcom和屬性特征fatt。再動態(tài)權(quán)衡fcom和fatt對構(gòu)圖評估的貢獻(xiàn)，得到融合特征ffused。

f′com和f′att分別代表動態(tài)權(quán)衡后的構(gòu)圖特征以及屬性特征。最后獲取圖像構(gòu)圖評分分布計算平均分。當(dāng)評分較低時，我們可以對機(jī)位方向進(jìn)行適當(dāng)?shù)卣{(diào)整，使圖像更貼合由最大模式權(quán)重對應(yīng)的基本構(gòu)圖模式。該操作使機(jī)位畫面構(gòu)圖評分增大，即更符合大眾審美。

其中八種構(gòu)圖模式如圖5 所示[20]，每個構(gòu)圖模式包含兩個或多個不重疊的分區(qū)，并為評估構(gòu)圖中質(zhì)量提供了單獨(dú)的視角。其中，模式1、2、6、7、8 與考慮對稱或徑向視覺平衡的對稱構(gòu)圖有關(guān)；模式3、4 涉及對角線構(gòu)圖；模式5與中心構(gòu)圖有關(guān)，該構(gòu)圖的主要對象被放置在圖像的中心。

圖5 八種基本構(gòu)圖模式示意圖

3.3 前端開發(fā)設(shè)計

前端小程序具體用戶交互邏輯結(jié)構(gòu)圖如圖6所示。

圖6 前端用戶交互結(jié)構(gòu)圖

前端部分主要采用首頁、功能選擇頁面、個人中心界面、結(jié)果展示頁面。其中包括視頻、圖像、文字等UI 設(shè)計和顯示。各頁面UI 原型設(shè)計圖如圖7所示。

圖7 前端小程序原型圖

首頁歡迎界面清晰地展示小程序的logo，底部欄包含三個頁面定位：首頁、素材庫以及用戶信息管理，在歡迎界面點(diǎn)擊START 按鈕，即可跳轉(zhuǎn)到功能選擇頁面。在功能選擇頁面中，用戶可以選擇上傳視頻、輸入文字指令、查看處理記錄或者查看三維場景。結(jié)果展示界面則清晰展示了4 項(xiàng)內(nèi)容：用戶上傳的運(yùn)鏡參考視頻/用戶輸入的文字指令、原始虛擬場景視頻、運(yùn)鏡軌跡圖和輸出的仿真視頻，便于用戶進(jìn)行對比。

3.4 前后端的信息交互

3.4.1數(shù)據(jù)庫設(shè)計

為了便于用戶查看任務(wù)進(jìn)程狀態(tài)以及之前的處理記錄及結(jié)果，生成自己的視頻素材庫，采用了MySQL 數(shù)據(jù)庫，設(shè)計了兩張表分別存儲視頻數(shù)據(jù)、任務(wù)數(shù)據(jù)，具體字段設(shè)置如表1、表2所示。

表1 視頻數(shù)據(jù)表

表2 任務(wù)數(shù)據(jù)表

3.4.2前端-后端接口設(shè)計

采用RESTful API 來設(shè)計前后端的接口，API 接口設(shè)計如圖8所示。

圖8 API接口示意圖

前端：用戶在小程序前端上傳視頻（先小程序端將視頻上傳對象存儲，然后將cloud://開頭的鏈接通過POST /v1/videos 接口上傳），即可在用戶數(shù)據(jù)庫中的獲取已有視頻（GET /v1/videos），用戶選擇要處理的視頻（POST /v1/tasks）。等待后端算法模型處理完后，或者點(diǎn)擊了刷新按鈕的流程，即可查看目前的處理情況和結(jié)果（結(jié)果視頻也是cloud://開頭的文件 GET /v1/tasks）以及服務(wù)器在線情況（GET /v1/servers）。

后端：定時攜帶“AFS-SERVER-ID”header 獲取小程序端傳來的任務(wù)（GET /v1/tasks all=0），獲取到后就占據(jù)想要處理的任務(wù)（POST /v1/tasks/）并獲取任務(wù)所需資源（GET /v1/tasks/），接著通過資源的COS 鏈接進(jìn)行下載，在經(jīng)過機(jī)位計算算法處理完后，就可以向前端小程序返回任務(wù)結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 系統(tǒng)實(shí)驗(yàn)開發(fā)環(huán)境

系統(tǒng)的開發(fā)環(huán)境如表3所示。

表3 智能拍攝系統(tǒng)開發(fā)環(huán)境表

4.2 機(jī)位計算模型對比實(shí)驗(yàn)

將機(jī)位計算模型相機(jī)運(yùn)動提取模塊中所采用的門控網(wǎng)絡(luò)（LSTM 加多頭自注意力機(jī)制（LSTM+sa3））與其他模型進(jìn)行性能的對比。計算預(yù)測的5 維參數(shù)的整體均方誤差 (Mean-Square Error，MSE)，將其作為評價指標(biāo)來對比各模型性能。MSE 的值越小，代表模型的性能越好，實(shí)驗(yàn)的結(jié)果見表4。為方便對比，各模型Epoch均取300。

表4 門控網(wǎng)絡(luò)模型性能比較表

表格中的se 表示在LSTM 之后加上SE（Squeeze Excitation）模塊，其中參數(shù)reduction設(shè)為2；sa1表示單頭自注意力機(jī)制，sa3表示3頭自注意力機(jī)制，sa9表示9頭自注意力機(jī)制；skip表示skip connection。

由表4 所示，將LSTM 替換成GRU 模型后模型性能反而下降，因此在本系統(tǒng)中采用LSTM 更為合適。而加入SE 模塊或skip 也對模型性能提升并無幫助。但加入自注意力機(jī)制后，MSE 降低，模型性能有所提升，故本系統(tǒng)的相機(jī)運(yùn)動提取門控網(wǎng)絡(luò)采取LSTM 加多頭自注意力機(jī)制（head=3），其誤差最小、性能較優(yōu)。

4.3 美學(xué)評估模型對比實(shí)驗(yàn)

4.3.1美學(xué)評價指標(biāo)

為了評估不同模型的性能，采用了4 個廣泛使用的指標(biāo)，即分類準(zhǔn)確率(Accuarcy，ACC)、推土距離(Earth Mover's Distance，EMD)損失、皮爾遜線性相關(guān)系數(shù) (Pearson Linear Correlation Coefficient，PLCC)和斯皮爾曼等級相關(guān)系數(shù) (Spearman's Rank-order Correlation Coefficient，SRCC)。其中，EMD[21]度量預(yù)測得分分布與真實(shí)得分分布之間的相似程度；PLCC 和SRCC[22]表示預(yù)測值和真實(shí)值之間的線性相關(guān)性。ACC、PLCC 和SRCC 值越大，性能越好；EMD 和MSE值越小，性能越好。

4.3.2對比實(shí)驗(yàn)結(jié)果

基于AVA數(shù)據(jù)集，將本系統(tǒng)所采用的美學(xué)評價模型與A-Lamp[23]和NIMA[21]模型進(jìn)行了ACC、EMD、PLCC、SRCC四個指標(biāo)的對比。算法性能對比實(shí)驗(yàn)的結(jié)果如表5所示。

表5 模型在AVA數(shù)據(jù)集上的性能比較表

可以看到，A-Lamp 在美學(xué)上的性能突出,而代價是大量的計算復(fù)雜度，因?yàn)樗枰~外的對象檢測器，而且輸入復(fù)雜，需要提取原始圖像的特征來附加輸入。而NIMA 的美學(xué)性能略遜一籌，這是因?yàn)樗诿缹W(xué)評價時沒有體現(xiàn)圖像的構(gòu)圖，而只提取了全局特征。

本系統(tǒng)所采用的美學(xué)評價模型在分類準(zhǔn)確率上看，和A-Lamp預(yù)測的效果比較接近，而實(shí)現(xiàn)過程的復(fù)雜度卻要更??；在損失函數(shù)上看，我們的模型雖然不如使用VGG16 的NIMA 和用inceptionV2 的NIMA，但是相比起這二者，我們的視覺特征提取網(wǎng)絡(luò)需要較少的參數(shù)，有著更精簡的訓(xùn)練過程。并且在其他三個指標(biāo)上，我們所使用的美學(xué)算法模型表現(xiàn)都優(yōu)于NIMA。

4.4 模型應(yīng)用測試

基于Unity 中傳大禮堂的虛擬環(huán)境，選定了多個不同的參考鏡頭視頻，通過機(jī)位參數(shù)計算模型，可以得到如圖9 所示的實(shí)驗(yàn)結(jié)果（包含預(yù)測的運(yùn)鏡軌跡和相應(yīng)生成的畫面）。

圖9 機(jī)位計算模型實(shí)驗(yàn)效果圖

同時對得到的輸出視頻進(jìn)行構(gòu)圖評分預(yù)測和主要構(gòu)圖模式判斷并進(jìn)行拍攝指導(dǎo)，部分指導(dǎo)結(jié)果如圖10、圖11所示。圖11中，左側(cè)(a)畫面的最主要構(gòu)圖為模式1（縱向?qū)ΨQ構(gòu)圖，該圖中地面和墻體剛好在中間部位有明顯的分界線，橙色線標(biāo)注），權(quán)重達(dá)到了0.6889，修改空間不大。因而，選擇權(quán)重占比第二的模式5（中心構(gòu)圖）給出調(diào)整意見：在該模式下將畫面中人物主體移到中心部位可能會提高構(gòu)圖質(zhì)量。結(jié)果顯示，模式5 權(quán)重占比提升，預(yù)測構(gòu)圖評分也增大了0.354，調(diào)整所得畫面更符合大眾審美。所以在攝像機(jī)機(jī)位參數(shù)計算模型（虛擬智能拍攝）的基礎(chǔ)上，可以使用美學(xué)評估的反饋來進(jìn)一步優(yōu)化。

圖10 不同拍攝效果和美學(xué)評分(均值±標(biāo)準(zhǔn)差)

圖11 美學(xué)評估攝像指導(dǎo)結(jié)果圖

4.5 系統(tǒng)前后端測試

4.5.1后端接口測試

使用Postman進(jìn)行后端接口測試，選擇請求方式并且輸入服務(wù)的外網(wǎng)地址、請求的參數(shù)或post的body內(nèi)容，點(diǎn)擊“send”發(fā)送請求，最后返回請求結(jié)果。后端API接口測試結(jié)果如表6所示，所有端口均可正常響應(yīng)請求。

表6 后端API接口測試表

4.5.2前端小程序測試

由圖12 小程序結(jié)果展示頁面所示的前后端聯(lián)動測試結(jié)果可以看出，用戶上傳運(yùn)鏡參考視頻后，小程序均能獲取到當(dāng)前任務(wù)且“處理成功”，并可以跳轉(zhuǎn)到結(jié)果顯示頁面，直觀清晰地向用戶展示最終效果。

圖12 小程序測試效果圖

5 結(jié)論

本文研發(fā)了一種基于機(jī)位計算的云演藝智能虛擬拍攝系統(tǒng)，僅通過真實(shí)參考視頻即可學(xué)習(xí)到相機(jī)運(yùn)動參數(shù)及風(fēng)格，并可將該運(yùn)鏡方式遷移到新的虛擬場景中，預(yù)測得到機(jī)位參數(shù)和運(yùn)鏡軌跡。本系統(tǒng)在采用基于數(shù)據(jù)驅(qū)動的智能拍攝（機(jī)位計算）基礎(chǔ)上，加入了美學(xué)評估技術(shù)，提升了鏡頭的藝術(shù)表現(xiàn)力。本文的研究可用于云演藝場景下的自動運(yùn)鏡，可為其提供實(shí)用性高的虛擬拍攝工具。此外，本文還對前端、后端、算法模型分別進(jìn)行了部署測試，測試結(jié)果驗(yàn)證了模型和算法的可行性和先進(jìn)性，且系統(tǒng)各部分較為獨(dú)立、有利于后續(xù)功能拓展。