UE5（虛幻引擎）平臺下的面部捕捉分析

張 浩

山東廣播電視臺 山東省 濟南市 250000

引言

在元宇宙不斷推進的大趨勢下，隨著科技的進步，虛擬現(xiàn)實技術(shù)得到快速發(fā)展。電視節(jié)目的創(chuàng)作高度依賴技術(shù)的發(fā)展和進步，虛擬主持人在大數(shù)據(jù)和技術(shù)的支持下所具備的穩(wěn)定性與廣播電視節(jié)目播報的高準確性要求相吻合，可以更好地進行新聞播報，同時可以在各類節(jié)目中增加亮點，因此有著較大的發(fā)展空間。虛擬主持人開發(fā)模式多樣，以山東廣電測試項目為例，本文介紹一種通過UE5（虛幻引擎）對虛擬主持人面部捕捉功能的分析探索。

1 前期軟硬件準備

1.1 軟件準備

此功能是基于UE（虛幻平臺）運行，即Epic Games 公司的渲染引擎。要使用UE（虛幻引擎）的面部捕捉，即MetaHuman 功能， 需要在UE4.26、UE4.27、UE5.0、UE5.1 等以上版本上運行，本項目測試基于UE5.0.3 版本上運行。

1.2 硬件準備

需要準備能夠運行UE5 的Windows 設備，本項目測試使用的設備為具有12th Gen Intel（R） Core （TM） i7- 12700H，32.0 GBRAM，NVIDIA GeForce RTX 3080 Ti Laptop GPU 的工作站、含有Face ID 的APPLE 移動設備。

2 MetaHuman功能分析

在使用UE （虛幻引擎）MetaHuman 插件功能時，需要了解此插件的使用要求和注意事項。在UE5（虛幻引擎）中使用面部捕捉需要借助MetaHuman Creator 進行云端編輯和導入。

2.1 MetaHuman Creator 使用要求

MetaHuman Creator 是UNREAL ENGINE 在2022 年推出的一款免費的云端工具，可以在直觀的環(huán)境中創(chuàng)建數(shù)字人類，如圖1 所示。利用MetaHuman Creator，可以自定義數(shù)字形象的發(fā)型、面部特征、身高、身體比例和其他特征。

圖1 MetaHuman Creator 介紹

MetaHuman Creator 在云中運行，通過像素流技術(shù)將畫面流送到瀏覽器，還需要Epic Games 賬戶才能創(chuàng)建和下載MetaHuman。

2.2 MetaHuman Creator 數(shù)據(jù)處理

在首次打開MetaHuman Creator 時，如圖2 所示，將會看到“預設（Presets）”庫。創(chuàng)建的每個MetaHuman 都會將“預設（Preset）”作為起點。從庫中選擇一個預設，然后點擊“創(chuàng)建選定項（Create Selected） ”按鈕開始自定義。

圖2 MetaHuman Creator 頁面

創(chuàng)建的所有MetaHuman 都會自動保存到“我的MetaHuman（My MetaHumans） ” 庫。 此外，還可以在Quixel Bridge 中下載它們。在MetaHuman Creator中編輯MetaHuman 時，更改會實時保存。點擊“刪除（Delete） ”按鈕，可以從“我的MetaHuman”庫中刪除MetaHuman。

2.3 MetaHuman 數(shù)據(jù)導出

可以通過兩種方法在Quixel Bridge 中導出MetaHuman。

一是通過MetaHuman 頭像導出，將光標放在方格上，然后點擊“導出（Export） ”按鈕（該按鈕顯示為藍色圓圈中的朝右黑色箭頭）。這會立即開始向當前虛幻引擎項目導出該Meta-Human，并且采用可用的最高品質(zhì)。

二是通過MetaHuman 信息面板導出， 選擇一個“ 質(zhì)量（quality） ”等級，然后點擊“添加（Add）”按鈕。下拉菜單只會顯示已經(jīng)生成并下載的資產(chǎn)的質(zhì)量。導出開始后，會看到進度指示條，請等待導出完成。如果這是第一次向該項目導出MetaHuman，如圖3 所示，虛幻引擎會提示啟用相關的設置和插件，在所有提示中點擊“啟用缺失內(nèi)容（Enable Missing）”。

圖3 UE5（虛幻引擎）設置頁面

啟用全部需要的設置和插件后，虛幻引擎右下角會提示重啟引擎。保存項目，如圖4所示，然后點擊“立即重啟（Restart Now）”。重新啟動虛幻引擎后，可以在“內(nèi)容瀏覽器（Content Browser） ”文件夾下找到下載的MetaHuman 文件。將“BP_Ada”藍圖從“內(nèi)容瀏覽器”中拖入“關卡視口”。

圖4 UE5（虛幻引擎）內(nèi)容頁面

3 LiveLink添加動畫

在移動設備上使用LiveLink來捕捉面部動畫并將其實時應用到虛幻引擎中的MetaHuman上。 除了捕捉面部動作，LiveLink 還會將頭部的旋轉(zhuǎn)發(fā)送到虛幻引擎，從而達到更自然的活動范圍。

3.1 LiveLink 使用設置

在移動設備上，從Apple App Store 下載并安裝“Live Link Face for Unreal Engine ”App。在虛幻編輯器的主菜單，找到“編輯（Edit）”里的“插件（Plugins）”并確保為項目啟用了以下插件：Live Link、Live Link Control Rig、Apple ARKit、Apple ARKit Face Support。

3.2 LiveLink 連接

找到電腦的IP 地址，需要改信息來配置IOS 設備和計算機上運行的虛幻引擎之間的連接。

在Apple 移動設備上打開“Live Link Face” App， 選擇“LiveLink”，添加目標，輸入電腦的“IPv4”地址。

確保LiveLink 正確連接，如圖5 所示，在虛幻引擎主菜單中，找到“窗口”“虛擬制片”“LiveLink”，打開配置窗口，可以看到APPLE 移動設備已在其中。

圖5 UE5（虛幻引擎）Live Link 頁面

3.3 配置MetaHuman 藍圖

如圖6所示，在“關卡視口”中，選中MetaHuman，在“細節(jié)（Details）”面板中，對Live Link部分進行配置。在“ARKit面部主體”選擇連接的Apple移動設備，勾選“使用ARKit面部”。

圖6 UE5（虛幻引擎）MetaHuman 細節(jié)面板

3.4 測試LiveLink

在Apple 移動設備上，打開LiveLink Face app 并將前置攝像頭對準面部，能夠看到追蹤網(wǎng)格覆蓋在臉上，并且會根據(jù)表情和頭部移動做出反應，為了達到最佳效果，確保面部不受任何頭發(fā)或眼鏡之類的配件所阻擋，并且面部有充分的光照。

建立好LiveLink 連接后，可以開始用“Sequencer”和“鏡頭試拍錄制器（Take Recorder）”為MetaHuman錄制面部動畫。

4 虛擬主持人應用

隨著虛擬人開發(fā)的進度明顯加快，根據(jù)相關公開資料不完全統(tǒng)計，如圖7 所示，國內(nèi)多家廣播電視臺都開發(fā)了自己的虛擬主持人。

圖7 各級廣播電視臺虛擬主持人統(tǒng)計

這些知名度較高的虛擬人中，按照是否仿真可以分為兩類：一類是仿真現(xiàn)有知名主持人，比如：北京廣播電視臺的“時間小妮”和央視頻的“AI王冠”；另一類是原生虛擬人，沒有仿真現(xiàn)有知名主持人。

4.1 北京廣播電視臺數(shù)字主持人

“時間小妮”擔任北京“接訴即辦”推廣大使，如圖8 所示，用媒體融合運營新模式助力政務服務標準化、精準化和便利化。

圖8 北京廣播電視臺虛擬主持人“時間小妮”

4.2 山東廣播電視臺虛擬主持人

春節(jié)期間，山東廣播電視臺首個超寫實數(shù)字主持人“海藍”給觀眾拜年，如圖9 所示，是底蘊深厚的齊魯文化與元宇宙新技術(shù)的一次成功碰撞，未來將應用于更多不同主題的融媒創(chuàng)意場景。

圖9 山東臺虛擬主持人“海藍”

4.3 央視虛擬主持人

2022 年兩會期間，央視網(wǎng)“小C”虛擬主持人首次亮相，如圖10 所示，它以一頭清爽干練的短發(fā)和高顏值示人，在《兩會C+真探系列直播節(jié)目》中擔任起了記者的角色。

圖10 央視虛擬主持人“小C”

直播過程中“小C”的面部表情、身體動作、服裝搭配均呈現(xiàn)出真實、流暢、自然的效果，并且支持與嘉賓實時交互，表情和動作管理延遲控制在秒級。直播中“小C”擬真程度高、面部表情豐富、全身動作靈活流暢，增加了用戶觀看的代入感，仿佛依舊是熟悉的“主持人”躍然于屏幕中央，帶領觀眾了解焦點議題，有效實現(xiàn)了現(xiàn)實世界的真人與數(shù)字世界的“小C”無縫交互。為用戶提供了線上線下一體化、在線在場相結(jié)合的全新體驗，為廣播電視運營新模式提供新樣本。

結(jié)束語

虛擬主持人作為時代發(fā)展的產(chǎn)物，利用它的技術(shù)優(yōu)勢在各類節(jié)目中嶄露頭角。其中不僅是技術(shù)與藝術(shù)、虛擬與現(xiàn)實、審美與使用的結(jié)合，也是對新技術(shù)的不斷嘗試和開發(fā)?；赨E5（虛幻引擎）中Meta-Human 平臺進行數(shù)字人類設計與使用，對于研發(fā)人員的設計想法更容易實現(xiàn)，其功能運行更加快捷和穩(wěn)定。