虛擬數(shù)字人在傳媒領(lǐng)域應(yīng)用探究

李昊 丁龍 宋佳

摘要：隨著類腦科學(xué)、深度學(xué)習(xí)、人工智能和計(jì)算機(jī)圖形學(xué)的快速發(fā)展，下一代互聯(lián)網(wǎng)的完整形態(tài)元宇宙整體架構(gòu)正趨于完善。作為元宇宙重要媒介的“虛擬數(shù)字人”的實(shí)際應(yīng)用價(jià)值和落地場景也在被逐步挖掘，越來越多的虛擬數(shù)字人被設(shè)計(jì)、制作和應(yīng)用在各種場景，小范圍驗(yàn)證了元宇宙生態(tài)實(shí)現(xiàn)的可能。文章在分析現(xiàn)有研究報(bào)告和相關(guān)案例的基礎(chǔ)上，明確虛擬數(shù)字人的內(nèi)涵，厘清與其他概念的混淆點(diǎn)，從真人驅(qū)動(dòng)和計(jì)算機(jī)驅(qū)動(dòng)兩個(gè)方向論述虛擬數(shù)字人的構(gòu)建過程，簡要介紹當(dāng)前虛擬數(shù)字人的產(chǎn)業(yè)鏈條，并以虛擬主播、虛擬主持人、虛擬偶像為典型案例闡述虛擬數(shù)字人在傳媒領(lǐng)域應(yīng)用的現(xiàn)狀，簡要分析現(xiàn)有不足和未來應(yīng)用前景，以期為虛擬數(shù)字人未來發(fā)展提供思路和參考。

關(guān)鍵詞：虛擬數(shù)字人；構(gòu)建過程；傳媒領(lǐng)域；應(yīng)用案例；發(fā)展前景

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-8883（2022）16-0001-03

課題項(xiàng)目：本論文為黑龍江省省屬高等學(xué)?；究蒲袠I(yè)務(wù)費(fèi)科研項(xiàng)目“教育新基建時(shí)代數(shù)字化學(xué)習(xí)資源整合模式創(chuàng)新與實(shí)現(xiàn)路徑研究”成果，項(xiàng)目編號(hào)：145109222；教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目“人工智能視域下的創(chuàng)客工作坊建設(shè)”研究成果，項(xiàng)目編號(hào)：202002030027

2021年10月，國家廣播電視總局印發(fā)的《廣播電視和網(wǎng)絡(luò)視聽“十四五”科技發(fā)展規(guī)劃》提到，要積極推動(dòng)虛擬主播、虛擬主持人在天氣預(yù)報(bào)、文藝科教、新聞報(bào)道等場景中的應(yīng)用，借助新技術(shù)創(chuàng)新節(jié)目形態(tài)，積極提升節(jié)目制作效率和智能化水平，提升觀眾和用戶的滿意度[1]。因此，虛擬數(shù)字人在政策和社會(huì)需求的雙重推動(dòng)下正加速向傳媒領(lǐng)域滲透。

傳播學(xué)專家麥克盧漢曾經(jīng)指出，“媒介本身即是內(nèi)容，所以媒介所產(chǎn)生的影響遠(yuǎn)遠(yuǎn)大于用這個(gè)媒介具體做的事情”。當(dāng)前虛擬數(shù)字人正廣泛應(yīng)用在元宇宙生態(tài)中，在其中承擔(dān)著制造、傳播信息的重任，是元宇宙中“人—物”和“人—人”之間信息傳遞的新型媒介和重要載體[2]。顯而易見，以虛擬數(shù)字人為代表的新型技術(shù)必將成為傳媒行業(yè)新一輪變革的起點(diǎn)和希望。因?yàn)檫@類技術(shù)具有更廣闊的應(yīng)用場景、更能降本提效，同時(shí)虛擬數(shù)字人的形象朝著智能寫實(shí)化的方向發(fā)展，交互性、功能性都大大增強(qiáng)，而內(nèi)容質(zhì)量和生產(chǎn)效率又有指數(shù)級(jí)的上升，可以說，傳媒行業(yè)即將迎來顛覆性的技術(shù)浪潮。

一、虛擬數(shù)字人概念內(nèi)涵

對(duì)于虛擬數(shù)字人目前官方尚無統(tǒng)一的概念，市面上也將其稱為數(shù)字人、虛擬人、虛擬形象，但筆者并不認(rèn)可這樣的描述。如果按現(xiàn)有案例對(duì)這幾種概念進(jìn)行解釋說明，則數(shù)字人偏向存在于數(shù)字世界，能夠完成基礎(chǔ)的對(duì)話交互[3]，如外賣平臺(tái)上的機(jī)器人客服；虛擬人則強(qiáng)調(diào)人物身份的虛擬，現(xiàn)實(shí)世界并不存在，如社交平臺(tái)上的虛擬網(wǎng)紅；虛擬形象一般指游戲中的人物，可以由現(xiàn)實(shí)中的人設(shè)計(jì)其造型、性格，如RPG（角色扮演類）游戲中的角色形象。而虛擬數(shù)字人具有前述幾者的特征，具體指的是存在于非現(xiàn)實(shí)世界中，由深度學(xué)習(xí)、類腦科學(xué)等技術(shù)疊加生產(chǎn)的一類智能體，目前主要以“擬人化+互動(dòng)性+智能化”三重標(biāo)準(zhǔn)來衡量虛擬數(shù)字人的智能程度，完整形態(tài)的虛擬數(shù)字人不僅能夠解決人類日常生活、學(xué)習(xí)、工作上的問題，還能給予人類完美的“情感陪伴”體驗(yàn)。

二、虛擬數(shù)字人構(gòu)建過程

目前虛擬數(shù)字人還處于基礎(chǔ)建設(shè)階段，主要有兩種構(gòu)建方式，分別是真人驅(qū)動(dòng)和計(jì)算驅(qū)動(dòng)[4]。

（一）真人驅(qū)動(dòng)的虛擬數(shù)字人

真人驅(qū)動(dòng)的構(gòu)建方式起步較早，最早應(yīng)用在影視特效制作中，指的是通過攝像機(jī)來捕捉現(xiàn)實(shí)人類的一舉一動(dòng)，再映射到虛擬形象上，這種方式實(shí)際上是“動(dòng)作捕捉+計(jì)算機(jī)3D建模”的結(jié)合應(yīng)用，由于圖形識(shí)別和人工智能技術(shù)的進(jìn)一步發(fā)展，現(xiàn)階段已經(jīng)不再需要通過復(fù)雜的傳感器來捕捉人物動(dòng)作和神情，只需要普通相機(jī)就可以獲取到精度非常高的信息，再通過計(jì)算機(jī)強(qiáng)大的算力構(gòu)建虛擬人物。真人驅(qū)動(dòng)的虛擬數(shù)字人構(gòu)建主要有以下幾個(gè)步驟。

第一，依據(jù)需求和使用場景設(shè)計(jì)虛擬數(shù)字人的理想形象，對(duì)動(dòng)作關(guān)鍵點(diǎn)進(jìn)行3D建模。

第二，對(duì)真人和虛擬數(shù)字人形象進(jìn)行關(guān)鍵點(diǎn)的一一綁定，關(guān)鍵點(diǎn)數(shù)量越多，虛擬數(shù)字人形象越逼真，最終效果也越真實(shí)。

第三，真人在特定環(huán)境下根據(jù)要求做出不同的肢體動(dòng)作、神態(tài)表情等，通過“圖像識(shí)別+攝像頭”進(jìn)行實(shí)時(shí)捕捉，完成形象數(shù)據(jù)采集。

第四，對(duì)虛擬數(shù)字人語音進(jìn)行數(shù)據(jù)訓(xùn)練，通過語音合成形成想要的語音。

第五，合成虛擬數(shù)字人的動(dòng)作、表情與語音，與現(xiàn)實(shí)人類互動(dòng)。

（二）計(jì)算驅(qū)動(dòng)的虛擬數(shù)字人

計(jì)算驅(qū)動(dòng)的虛擬數(shù)字人構(gòu)建過程相比于真人驅(qū)動(dòng)更為復(fù)雜，其原理是通過深度學(xué)習(xí)算法對(duì)真人的動(dòng)作、表情、聲音進(jìn)行建模，主要有以下幾個(gè)步驟。

第一，形象設(shè)計(jì)，這一步主要是通過多角度的攝像頭對(duì)真人形態(tài)、表演進(jìn)行打點(diǎn)掃描，可以按需求選擇全局掃描和局部掃描，重點(diǎn)是針對(duì)眼神、嘴唇、肢體動(dòng)作進(jìn)行數(shù)據(jù)采集。

第二，虛擬數(shù)字人的形象建模，可選擇基于真人的高還原度建?；蛘呤翘囟ㄌ摂M形象建模，基于真人的高還原度建模可以將真人的不同角度照片遷移到虛擬模型上，生成最終的虛擬形象；還可以設(shè)計(jì)動(dòng)漫類、游戲類虛擬形象，將真人視頻數(shù)據(jù)和虛擬形象匹配，完成虛擬形象的建模。

第三，通過深度學(xué)習(xí)算法訓(xùn)練各類驅(qū)動(dòng)模型，讓虛擬形象不斷吸收真實(shí)人物的唇形、語音、動(dòng)作、表情等數(shù)據(jù)，能夠高度復(fù)原人類骨骼、肌肉的細(xì)微變化，形成虛擬形象自身的驅(qū)動(dòng)模型，進(jìn)而能夠順暢自然地展現(xiàn)動(dòng)作和神情。

第四，以語音合成為底層技術(shù)，將事先準(zhǔn)備好的文本通過語音模型生成為對(duì)話語音，通過面部和唇部的驅(qū)動(dòng)模型與生成好的語音進(jìn)行匹配輸出，將語音和虛擬數(shù)字人的表現(xiàn)完美結(jié)合。

第五，通過計(jì)算機(jī)進(jìn)行在線或離線渲染，如果使用場景涉及系統(tǒng)專業(yè)知識(shí)且需要對(duì)話互動(dòng)，還要配合知識(shí)圖譜和語義理解進(jìn)行深度訓(xùn)練。

可以看出，兩種方式主要區(qū)別在于驅(qū)動(dòng)邏輯上，真人驅(qū)動(dòng)較為靈活，操作和流程稍微簡單一些，但普適性和傳播性不強(qiáng)。而計(jì)算驅(qū)動(dòng)的虛擬數(shù)字人，涉及的環(huán)節(jié)和技術(shù)較多，前期準(zhǔn)備更復(fù)雜，但是一旦訓(xùn)練的模型達(dá)到要求，那么渲染合成后將快速高效適用于不同場景。

三、虛擬數(shù)字人產(chǎn)業(yè)鏈全鏈條

（一）產(chǎn)業(yè)鏈上游

虛擬數(shù)字人產(chǎn)業(yè)鏈上游主要是具有核心技術(shù)的研發(fā)公司，它們是虛擬數(shù)字人整個(gè)產(chǎn)業(yè)鏈條的基礎(chǔ)，核心技術(shù)包括動(dòng)畫渲染技術(shù)、建模技術(shù)、采樣技術(shù)及與人工智能技術(shù)相關(guān)的算力升級(jí)、算法開發(fā)等?？梢赃@么說，核心技術(shù)能否取得突破性進(jìn)展，不僅影響產(chǎn)業(yè)下游的具體應(yīng)用場景能否落地，還對(duì)整體的研發(fā)成本和虛擬數(shù)字人的實(shí)際效果起到?jīng)Q定性作用，哪個(gè)領(lǐng)域找到了“虛擬數(shù)字人+傳統(tǒng)產(chǎn)業(yè)”有機(jī)結(jié)合的鑰匙，哪個(gè)領(lǐng)域就能率先完成場景創(chuàng)新。

（二）產(chǎn)業(yè)鏈中游

虛擬數(shù)字人的產(chǎn)業(yè)鏈中游主要是提供行業(yè)方案的平臺(tái)方，他們既是虛擬數(shù)字人在不同場景應(yīng)用落地的探索者和設(shè)計(jì)者，又是連接上游虛擬數(shù)字人技術(shù)研發(fā)企業(yè)和下游內(nèi)容生態(tài)構(gòu)建者的關(guān)鍵主體，主要負(fù)責(zé)人物形象的設(shè)計(jì)、基本運(yùn)營、品牌形象的維護(hù)等。各平臺(tái)將根據(jù)行業(yè)特色和業(yè)務(wù)方需要，完成虛擬數(shù)字人與具體場景或產(chǎn)業(yè)的融合方案，支持定制化的虛擬數(shù)字人形象和功能設(shè)計(jì)，目前在傳媒領(lǐng)域落地的虛擬主播、虛擬KOL取得的效果都非常不錯(cuò)。

（三）產(chǎn)業(yè)鏈下游

虛擬數(shù)字人的產(chǎn)業(yè)鏈下游主要是虛擬人實(shí)際的運(yùn)營方，是不同類別虛擬數(shù)字人內(nèi)容生態(tài)的創(chuàng)作者和構(gòu)建者。虛擬環(huán)境的內(nèi)容生態(tài)質(zhì)量、數(shù)字虛擬形象的IP運(yùn)營、現(xiàn)實(shí)環(huán)境的多重支持都將影響產(chǎn)業(yè)鏈下游的健康發(fā)展，因?yàn)檫@一環(huán)節(jié)不僅是呈現(xiàn)最終效果的一環(huán)，還是傳統(tǒng)行業(yè)與元宇宙技術(shù)緊密結(jié)合創(chuàng)新應(yīng)用的一環(huán)，能直觀感受到虛擬數(shù)字人與行業(yè)融合后的效果。

四、虛擬數(shù)字人在傳媒領(lǐng)域中的應(yīng)用案例

（一）虛擬主播

由聯(lián)通沃音樂文化有限公司推出的虛擬數(shù)字人主播“COCO”能夠根據(jù)不同場景完成不同的任務(wù)。在新聞報(bào)道方面，“COCO”能靈活切換中英粵三種語言報(bào)道新聞；在擔(dān)任視頻客服時(shí)，不僅能24小時(shí)在線，還能依據(jù)語義理解和知識(shí)問答庫實(shí)現(xiàn)實(shí)時(shí)有溫度的語音交互；在2022年全國兩會(huì)和北京冬奧會(huì)期間，“COCO”還及時(shí)播報(bào)和解讀了重要新聞和賽事[5]。類似“COCO”這類的虛擬主播還有央視網(wǎng)小C、人民日報(bào)果果、湖南衛(wèi)視小漾等。

需要特別提到的是，央視推出了全球首個(gè)能夠完成手語互動(dòng)的虛擬主播“小聰”，它是虛擬數(shù)字人在傳媒領(lǐng)域的一項(xiàng)重要突破，尤其是在視聽媒體中擁有廣泛的應(yīng)用價(jià)值。它的主要底層技術(shù)是深度學(xué)習(xí)和機(jī)器翻譯，小聰能夠基于《國家通用手語詞典》完成健全人與聽障者手語語言的翻譯，能夠比較準(zhǔn)確流暢地實(shí)現(xiàn)手控信息和非手控信息的表達(dá)，通過機(jī)器翻譯和內(nèi)部模型生成手語表征信息，包括面部表情、唇形變化、手部動(dòng)作等多個(gè)維度。

（二）虛擬主持人

虛擬主持人的代表之一是浙江衛(wèi)視推出的宋韻文化推廣人——“谷小雨”。作為浙江衛(wèi)視近期重點(diǎn)支持建設(shè)的虛擬主持人，谷小雨身上最明顯的特征就是完美結(jié)合了傳統(tǒng)文化和現(xiàn)代科技的優(yōu)勢，是兩個(gè)領(lǐng)域探索合作的優(yōu)秀案例[5]。在技術(shù)方面，谷小雨開創(chuàng)了國內(nèi)首個(gè)使用虛擬引擎在電視媒體AR舞臺(tái)應(yīng)用的先河，依托實(shí)時(shí)渲染技術(shù)和AI智能驅(qū)動(dòng)系統(tǒng)，谷小雨在具備交互、表達(dá)、感知能力的同時(shí)，還是一個(gè)擁有超過200萬面數(shù)的高精度寫實(shí)虛擬人。文化方面，谷小雨的形象不僅具有古典美，還融合當(dāng)下流行的潮流元素進(jìn)行了創(chuàng)新設(shè)計(jì)，如水墨長裙的印花服飾靈感源于南宋西湖圖，最終的舞臺(tái)效果一方面呈現(xiàn)了傳統(tǒng)文化底蘊(yùn)，另一方面向觀眾呈現(xiàn)了科技在傳媒領(lǐng)域的應(yīng)用潛力。

浙江衛(wèi)視還計(jì)劃推出不同類型的數(shù)字藏品，招募人才組建數(shù)字虛擬技術(shù)實(shí)驗(yàn)室，探索虛擬數(shù)字人在傳媒領(lǐng)域更多可以落地的應(yīng)用場景。目前，浙江衛(wèi)視已經(jīng)正式宣布成立數(shù)字虛擬工作室。

（三）虛擬偶像

由AI未來影像創(chuàng)作中心和中國聯(lián)通5G共同推出的虛擬數(shù)字人安未希是虛擬偶像的代表之一。安未希是通過自研的影像數(shù)字人系統(tǒng)，融合“實(shí)時(shí)動(dòng)捕技術(shù)+AI數(shù)字人生成技術(shù)”打造的，它的名字寓意為“未來充滿希望”，整體形象積極向上。安未希的人設(shè)定位為能歌善舞、多才多藝、熱愛自由的達(dá)人。安未希的核心能力是能夠進(jìn)行一定程度的音樂創(chuàng)作，以柔美空靈的嗓音征服了數(shù)以萬計(jì)的網(wǎng)民，在“深度學(xué)習(xí)+語義理解”技術(shù)的加持下，能夠完成作詞、作曲、演唱、跳舞等一系列活動(dòng)。事實(shí)證明，安未希這樣的虛擬偶像具有極高的商業(yè)價(jià)值，未來希望以更多元的方式觸達(dá)客戶[6]。

總體來看，在傳媒領(lǐng)域應(yīng)用的虛擬數(shù)字人可以歸為服務(wù)型虛擬人，相比之前的聊天機(jī)器人、數(shù)字助理，可以提供更好的擬人化服務(wù)，其優(yōu)勢在于通過人工智能和計(jì)算機(jī)建模等技術(shù)能夠更大范圍地承接垂直領(lǐng)域的社會(huì)工作，其服務(wù)型角色廣受線下客戶和網(wǎng)絡(luò)用戶的喜愛。

五、虛擬數(shù)字人在傳媒領(lǐng)域的發(fā)展前景

傳媒領(lǐng)域是重信息傳遞和感官體驗(yàn)的行業(yè)，虛擬數(shù)字人的出現(xiàn)正好強(qiáng)化了這兩個(gè)方面。傳統(tǒng)的新聞播報(bào)都是通過文字、語音、視頻形式來完成，缺乏沉浸式的交互體驗(yàn)，而虛擬數(shù)字人基于AI情感算法、多模態(tài)人機(jī)交互、類腦科學(xué)等技術(shù)，大大增強(qiáng)了信息傳遞和互動(dòng)過程的沉浸感。憑借智能化的虛擬數(shù)字人來傳遞信息，甚至是與人交流，將極具創(chuàng)新性和藝術(shù)性。同時(shí)，虛擬數(shù)字人的應(yīng)用將改變以往傳媒行業(yè)的采編發(fā)流程，其智能化、規(guī)模化的生產(chǎn)方式將促進(jìn)新的產(chǎn)業(yè)生態(tài)形成[7]。未來虛擬數(shù)字人的交互方式還會(huì)有多種衍變，使虛擬數(shù)字人可以擁有一次喚醒、多次交互的能力，其功能也逐漸完善，由簡單對(duì)話朝智能糾錯(cuò)、智能響應(yīng)、多輪對(duì)話的方向發(fā)展。隨著計(jì)算機(jī)視覺、人工智能和渲染技術(shù)的不斷發(fā)展，完全智能化的虛擬數(shù)字人將擁有全面的聽、說、讀、寫能力，將會(huì)在傳媒領(lǐng)域有更廣泛、更高效的應(yīng)用。

六、結(jié)語

未來，虛擬數(shù)字人將會(huì)在更多行業(yè)應(yīng)用，通過“虛擬數(shù)字人+應(yīng)用場景”的深度融合，使虛擬數(shù)字人也能走進(jìn)尋常百姓家，每個(gè)人都會(huì)有專屬的智能助手，信息的生產(chǎn)、傳遞方式將徹底改變，由之前的UGC（用戶生產(chǎn)內(nèi)容）向AIGC（人工智能生產(chǎn)內(nèi)容）轉(zhuǎn)變。所以，即便現(xiàn)在虛擬數(shù)字人的落地應(yīng)用還有法律、技術(shù)和模式方面的不足與缺陷，但仍要堅(jiān)信虛擬數(shù)字人發(fā)展前景一片光明。

參考文獻(xiàn)：

[1] 廣播電視和網(wǎng)絡(luò)視聽“十四五”科技發(fā)展規(guī)劃[EB/OL].國家廣播電視總局，http：//www.nrta.gov.cn/art/2021/10/8/art_113_58120. html，2022-07-16.

[2] 謝新水.虛擬數(shù)字人的進(jìn)化歷程及成長困境：以“雙重宇宙”為場域的分析[J].南京社會(huì)科學(xué)，2022（6）：77-87，95.

[3] 陸正蘭，趙勇.數(shù)字時(shí)代的身體意義：科幻電影中的三種虛擬人身體范式探析[J].福建師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2020（5）：116-124，171.

[4] 陳龍強(qiáng)，張麗錦.虛擬數(shù)字人3.0：人“人”共生的元宇宙大時(shí)代[M].北京：中譯出版社，2022：136-142.

[5] 2022年中國虛擬人產(chǎn)業(yè)商業(yè)化研究報(bào)告[R].艾媒咨詢，2022-04-01.

[6] 黃慎澤，王俊賢.人機(jī)交互技術(shù)在虛擬偶像中的應(yīng)用研究[J].傳媒，2021（16）：51-53.

[7] 王建華，蘇日古嘎.智媒時(shí)代深度合成技術(shù)的實(shí)踐與思考[J].中國記者，2020（10）：87-92.

作者簡介 李昊，碩士，助教，齊齊哈爾大學(xué)教師，研究方向：智慧教育、數(shù)字化資源開發(fā)。丁龍，本科，教授，齊齊哈爾大學(xué)教師，研究方向：智慧教育、STEAM教育。宋佳，博士，講師，齊齊哈爾大學(xué)教師，研究方向：智慧教育。