計(jì)算機(jī)角色動(dòng)畫(huà)制作中的可視媒體融合綜述

蘇玉慧

摘要：計(jì)算機(jī)角色動(dòng)畫(huà)在計(jì)算機(jī)游戲、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)仿真等多個(gè)領(lǐng)域有著深入的應(yīng)用，其主要包括可視媒體有圖像、視頻、三維模型等，傳統(tǒng)的單一可視媒體進(jìn)行計(jì)算機(jī)角色動(dòng)畫(huà)制作正逐漸被多種可視媒體融合的制作方法取代。文章對(duì)計(jì)算機(jī)角色動(dòng)畫(huà)制作中的可視媒體融合技術(shù)進(jìn)行了綜述。

關(guān)鍵詞：計(jì)算機(jī)角色動(dòng)畫(huà)；可視媒體；融合技術(shù)

隨著計(jì)算機(jī)角色動(dòng)畫(huà)制作的發(fā)展和應(yīng)用規(guī)模的逐漸擴(kuò)大，計(jì)算機(jī)角色動(dòng)畫(huà)制作還涉及計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)及機(jī)器學(xué)習(xí)等技術(shù)范疇，因此，其發(fā)展過(guò)程成為多種可視媒體融合的研究領(lǐng)域。

1可視媒體融合技術(shù)概述

在計(jì)算機(jī)角色動(dòng)畫(huà)制作中會(huì)涉及圖像、三維模型、視頻以及運(yùn)動(dòng)捕捉等多種數(shù)據(jù)的綜合處理，這些數(shù)據(jù)通過(guò)計(jì)算機(jī)的采集、編輯和壓縮的形式被制作成多媒體數(shù)據(jù)源的形式展現(xiàn)出來(lái)，并經(jīng)過(guò)相互之間的作用形成鮮明的動(dòng)畫(huà)角色，這就是可視媒體融合技術(shù)。

多視點(diǎn)圖像中提取的角色通過(guò)對(duì)側(cè)影信息的變形來(lái)實(shí)現(xiàn)個(gè)性化角色的轉(zhuǎn)變，再通過(guò)對(duì)運(yùn)動(dòng)數(shù)據(jù)的捕捉來(lái)實(shí)現(xiàn)角色模型的驅(qū)動(dòng)，以此建立具體的動(dòng)畫(huà)角色。這個(gè)過(guò)程中主要運(yùn)用了圖像、運(yùn)動(dòng)捕捉和三維模式。因此，不同的可視媒體所采用的融合技術(shù)是不相同的。

2可視媒體融合分類

計(jì)算機(jī)動(dòng)畫(huà)角色在應(yīng)用過(guò)程中呈現(xiàn)出跨度大和設(shè)計(jì)范圍廣等特點(diǎn)，各種動(dòng)畫(huà)角色的設(shè)置都需要建立在可視媒體的基礎(chǔ)上，下面對(duì)可視媒體的融合進(jìn)行分類研究。

2.1視頻融合

（1）多視點(diǎn)人體角色視頻合成三維角色動(dòng)畫(huà)：對(duì)動(dòng)畫(huà)角色進(jìn)行攝像機(jī)的同步，根據(jù)拍攝角色的輪廓、深度信息等對(duì)每一幀中的角色進(jìn)行重建，根據(jù)當(dāng)前視覺(jué)的多視點(diǎn)紋理來(lái)合成角色紋理，這樣就能夠得到三維角色動(dòng)畫(huà)而不是靜態(tài)的三維模型了。（2）角色動(dòng)畫(huà)片段生成：主要采用渲染的方式，實(shí)現(xiàn)了片段的編輯，生成角色所需要的動(dòng)畫(huà)。（3）視頻重組：分解和提取現(xiàn)有視頻組合相似的視頻片段，使其成為一個(gè)新的視頻，實(shí)現(xiàn)了有限視頻資源的利用，視頻重組技術(shù)在一些特殊動(dòng)畫(huà)角色上也有應(yīng)用，例如昆蟲(chóng)等，通過(guò)對(duì)原有視頻的重新組合和制作進(jìn)而形成新的視頻，保證各種片段之間的連續(xù)性，用戶通過(guò)對(duì)代價(jià)函數(shù)的運(yùn)用，實(shí)現(xiàn)了對(duì)角色運(yùn)動(dòng)軌跡的控制，進(jìn)而形成了嶄新的動(dòng)畫(huà)角色。

2.2圖像融合

（1）IBM構(gòu)建角色模型：以IBM科學(xué)技術(shù)為基礎(chǔ)，以定標(biāo)的方式實(shí)現(xiàn)相機(jī)模型的產(chǎn)生，在多視點(diǎn)圖像中建立三維角色，并將事先做好的圖像貼到事先做好的模型當(dāng)中，以便實(shí)現(xiàn)真實(shí)角色的還原。但是還有一點(diǎn)需要注意，就是定標(biāo)的過(guò)程中可能產(chǎn)生一定的誤差，因此，角色模型與真實(shí)事物也會(huì)存在一定的差異。（2）卡通畫(huà)制作輔助系統(tǒng)：分層化處理輸入的關(guān)鍵幀，將其分解，對(duì)相鄰的2個(gè)關(guān)鍵幀筆畫(huà)可以建立對(duì)應(yīng)關(guān)系，利用插值技術(shù)形成渡幀，進(jìn)而促進(jìn)動(dòng)畫(huà)的形成。（3）角色重用技術(shù)：采用背景分割的方式實(shí)現(xiàn)角色的提取，算出任意2幀之間的差異，最終得到距離矩陣，最后根據(jù)每一幀數(shù)據(jù)投影來(lái)形成連通圖，經(jīng)過(guò)畫(huà)師對(duì)連通圖起點(diǎn)終點(diǎn)計(jì)算最小路徑，從而構(gòu)成卡通角色動(dòng)畫(huà)，為了使動(dòng)畫(huà)更加平滑、完整，可以用插值的方式來(lái)生成過(guò)渡幀。

2.3三維模型融合

（1）實(shí)時(shí)插值技術(shù)：此技術(shù)以樣例為基礎(chǔ)，其插值方式有2種，一種是徑向基插值，一種是組合線性插值，這樣就實(shí)現(xiàn)了動(dòng)畫(huà)人物角色及人臉上的平滑過(guò)渡，在一些動(dòng)畫(huà)游戲的交互設(shè)計(jì)方面也有著重要的應(yīng)用。（2）人體模型變形技術(shù)：此技術(shù)也是以樣例為基礎(chǔ)，對(duì)人體表面的標(biāo)記點(diǎn)進(jìn)行掃面，能夠促進(jìn)動(dòng)畫(huà)角色骨架的形成，進(jìn)而形成動(dòng)畫(huà)樣本的參數(shù)，在參數(shù)空間內(nèi)進(jìn)插值就能夠得到動(dòng)畫(huà)角色模型，人體樣本子空間的建立的主要方法是PCA法，能夠?qū)崿F(xiàn)個(gè)性化人體角色的生成，樣本數(shù)據(jù)由多個(gè)人體模型來(lái)組成，這種模型的合成和變形技術(shù)主要生成的都是動(dòng)畫(huà)角色人物的靜態(tài)模型。（3）關(guān)節(jié)運(yùn)動(dòng)生成：當(dāng)前有許多研究指出可以利用逆向運(yùn)動(dòng)來(lái)生成關(guān)節(jié)運(yùn)動(dòng)，首先建立世界坐標(biāo)系，得出角色角的具體位置，通過(guò)偽逆矩陣來(lái)實(shí)現(xiàn)動(dòng)畫(huà)角色全身各項(xiàng)關(guān)節(jié)處的旋轉(zhuǎn)角度，進(jìn)而促進(jìn)關(guān)節(jié)運(yùn)動(dòng)的實(shí)現(xiàn)。

2.4運(yùn)動(dòng)捕獲數(shù)據(jù)融合

將已經(jīng)存在的運(yùn)動(dòng)數(shù)據(jù)作為輸入，對(duì)這些已經(jīng)存在的數(shù)據(jù)進(jìn)行處理，形成新的數(shù)據(jù)，這個(gè)過(guò)程就是運(yùn)動(dòng)捕獲數(shù)據(jù)融合的過(guò)程：（1）設(shè)定副詞空間：在此空間的多條坐標(biāo)軸都代表了不同的運(yùn)動(dòng)數(shù)據(jù)，可能是不同說(shuō)話風(fēng)格的數(shù)據(jù)，也可能是不同角色類型的數(shù)據(jù)。之后在每條坐標(biāo)中用手工標(biāo)注出預(yù)期相對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)樣本，最后對(duì)這些數(shù)據(jù)進(jìn)行插值處理，就能夠得到新的運(yùn)動(dòng)數(shù)據(jù)。（2）將原始數(shù)據(jù)投影到低維空間中：對(duì)其進(jìn)行參數(shù)化設(shè)置，這樣就可以在其中進(jìn)行草圖的勾畫(huà)，或?qū)θS人體姿態(tài)進(jìn)行操作，最后對(duì)這些原始運(yùn)動(dòng)數(shù)據(jù)進(jìn)行插值處理。（3）運(yùn)動(dòng)檢索：從運(yùn)動(dòng)數(shù)據(jù)庫(kù)中實(shí)現(xiàn)對(duì)數(shù)據(jù)的捕捉，對(duì)捕捉到的數(shù)據(jù)進(jìn)行檢索，得到數(shù)據(jù)存在的邏輯關(guān)系，實(shí)現(xiàn)參數(shù)化的空間設(shè)置，之后進(jìn)行差值處理，得到新的捕獲數(shù)據(jù)；（4）運(yùn)動(dòng)紋理：運(yùn)動(dòng)紋理有2層結(jié)構(gòu)，其是一種統(tǒng)計(jì)的模型，運(yùn)動(dòng)元素在底層結(jié)構(gòu)中設(shè)置，能夠表示出運(yùn)動(dòng)數(shù)據(jù)的相關(guān)片段，最后生成運(yùn)動(dòng)紋理的模型，從而實(shí)現(xiàn)具有真實(shí)感的人體三維數(shù)據(jù)。（5）多分辨率過(guò)濾：不同風(fēng)格的運(yùn)動(dòng)有著不同的頻率信號(hào)，多分辨率過(guò)濾法能夠?qū)⒏哳l信號(hào)和中低頻信號(hào)分開(kāi)。（6）獨(dú)立成分分析：通過(guò)此方法能夠生成真實(shí)感人體的運(yùn)動(dòng)數(shù)據(jù)，在原始高維人體運(yùn)動(dòng)數(shù)據(jù)中，對(duì)人體行為特點(diǎn)進(jìn)行抽取，建立ICA子空間，并根據(jù)插值操作，形成人體運(yùn)動(dòng)新數(shù)據(jù)的產(chǎn)生。

2.5視頻與三位模型融合

對(duì)動(dòng)畫(huà)角色和輸入的視頻動(dòng)畫(huà)進(jìn)行動(dòng)畫(huà)角色的融合，這個(gè)過(guò)程就稱為視頻與三維模型的融合。上文中提到以多視點(diǎn)視頻變形中性模型得到動(dòng)畫(huà)角色的方法，以此方法為基礎(chǔ)，對(duì)一段角色的運(yùn)動(dòng)進(jìn)行多視點(diǎn)拍攝，以其中的不同角度的角色側(cè)影為約束條件，將角色模型進(jìn)行投影，在各個(gè)視角顯示，利用能量函數(shù)對(duì)中性模型進(jìn)行變形，這樣就能夠使側(cè)影和投影的重疊最大，最后運(yùn)用時(shí)空的紋理技術(shù)進(jìn)行紋理信息的提取工作，制定動(dòng)畫(huà)角色。視頻的提取能夠?qū)崿F(xiàn)角色側(cè)影的提取，對(duì)中性的模型實(shí)現(xiàn)變形的特征。還能夠通過(guò)重建角色人臉的三維結(jié)構(gòu)從而得到個(gè)性化的人臉，重建的過(guò)程中主要重建的是人臉之間的距離。

通過(guò)濾波器預(yù)測(cè)將要跟蹤的特征的具體位置，之后完成特征的匹配，整個(gè)特征跟蹤的流程為：預(yù)測(cè)——修正——預(yù)測(cè)，人體模型中有多個(gè)部位，且每一個(gè)部位之間都存在一定的比例關(guān)系，以這些經(jīng)驗(yàn)知識(shí)為基礎(chǔ)就能夠恢復(fù)人體的三維運(yùn)動(dòng)。

通過(guò)對(duì)側(cè)影的方法的實(shí)施來(lái)計(jì)算人體運(yùn)動(dòng)情況，進(jìn)而得出一定的數(shù)據(jù)。首先需要進(jìn)行側(cè)影工作的提取，通過(guò)了解人體骨架結(jié)構(gòu)，在人體內(nèi)部做姿態(tài)搜索工作，得出最佳的姿態(tài)數(shù)據(jù)，用作恢復(fù)的結(jié)果，之后對(duì)角色進(jìn)行驅(qū)動(dòng)，從而獲得角色動(dòng)畫(huà)。

此外，還可以通過(guò)對(duì)人臉特征的運(yùn)動(dòng)方式的追蹤，進(jìn)而實(shí)現(xiàn)對(duì)人臉目標(biāo)的驅(qū)動(dòng)，得到動(dòng)畫(huà)角色的人臉動(dòng)畫(huà)。

在上述分析的可視媒體融合中，都是通過(guò)側(cè)影及運(yùn)動(dòng)的約束和對(duì)三維模型角色的驅(qū)動(dòng)來(lái)完成的，因此成為視頻與三維模型的融合。

2.6運(yùn)動(dòng)捕獲與三維模型融合

首先介紹一種運(yùn)動(dòng)重定向技術(shù)，將一個(gè)角色產(chǎn)生的所有數(shù)據(jù)在相同的結(jié)構(gòu)上重啟，保存運(yùn)動(dòng)動(dòng)作，保存原有運(yùn)動(dòng)角色的在時(shí)空條件上的約束，在重定的過(guò)程中要以此時(shí)空約束條件為基礎(chǔ)。

分析一種異構(gòu)角色之間的重定向技術(shù)，以運(yùn)動(dòng)樣例為基礎(chǔ)，提取關(guān)鍵字時(shí)，根據(jù)這個(gè)關(guān)鍵姿勢(shì)構(gòu)建動(dòng)畫(huà)角色的姿勢(shì)，最后對(duì)關(guān)鍵幀進(jìn)行相應(yīng)的插值就能夠得到所需要的目標(biāo)角色動(dòng)畫(huà)。

當(dāng)前還有比較流行的一種通過(guò)規(guī)定時(shí)空約束條件實(shí)現(xiàn)運(yùn)動(dòng)重用的過(guò)程，其主要以相應(yīng)的目標(biāo)函數(shù)為基礎(chǔ)，對(duì)相對(duì)應(yīng)的角色進(jìn)行求解，建立目標(biāo)角色動(dòng)畫(huà)。三維網(wǎng)絡(luò)模型與骨架架構(gòu)相互對(duì)應(yīng)，利用一種自動(dòng)識(shí)別技術(shù)對(duì)關(guān)節(jié)點(diǎn)位置、數(shù)量、結(jié)構(gòu)等進(jìn)行識(shí)別，實(shí)現(xiàn)對(duì)應(yīng)，最后通過(guò)對(duì)運(yùn)動(dòng)數(shù)據(jù)的捕捉，實(shí)現(xiàn)目標(biāo)動(dòng)畫(huà)角色的有機(jī)形成。

2.7圖像、三維模型以及運(yùn)動(dòng)捕獲數(shù)據(jù)三者的融合

先前所提到的都是2種可視媒體的融合，而圖像、三維模型以及運(yùn)動(dòng)捕獲三者可以進(jìn)行融合，最終生成目標(biāo)角色動(dòng)畫(huà)。首先，對(duì)人體角色進(jìn)行拍攝，拍攝時(shí)需要注意，要從4個(gè)正交方向分別拍攝，之后要提取側(cè)影，奠定角色側(cè)影模型側(cè)影與模型側(cè)影之間的緊密聯(lián)系，對(duì)兩者之間的聯(lián)系進(jìn)行深入的了解，實(shí)現(xiàn)對(duì)中性模型的約束。當(dāng)進(jìn)行文理映射時(shí)，會(huì)通過(guò)對(duì)運(yùn)動(dòng)中捕捉到的數(shù)據(jù)建立驅(qū)動(dòng)模型，形成動(dòng)畫(huà)角色。其中可以對(duì)變形中性模型進(jìn)行細(xì)致劃分，這樣得到的角色模型會(huì)更加精確，也就能夠驅(qū)動(dòng)模型來(lái)獲得效果更好的角色動(dòng)畫(huà)。以上分析的角色動(dòng)畫(huà)生成方法就融合了圖像、三維模型以及運(yùn)動(dòng)捕獲等3種可視媒體。

3結(jié)語(yǔ)

本文對(duì)可視媒體融合技術(shù)進(jìn)行了簡(jiǎn)單的闡述，具體對(duì)不同的融合類型進(jìn)行了綜述，首先分析了4種最基本的可視媒體生成角色動(dòng)畫(huà)的技術(shù)，之后介紹了視頻與三維模型融合技術(shù)、運(yùn)動(dòng)捕獲與三維模型和運(yùn)動(dòng)捕獲與三維模型融合技術(shù)的融合技術(shù)。