計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)在三維人體動(dòng)畫中的應(yīng)用研究

◆張卓群 曹鐘淼 王 慧

（1.河北工業(yè)大學(xué)國(guó)際教育學(xué)院 天津 300000；2.華北理工大學(xué)電氣工程學(xué)院 河北 063000；3.河北師范大學(xué)資源與環(huán)境科學(xué)學(xué)院 河北 050000）

近來，由于數(shù)字媒體處理科技的飛速發(fā)展，再加上計(jì)算機(jī)硬件成本的大大降低，使得計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)獲得了更加廣泛的普及和應(yīng)用，尤其是在三維人體動(dòng)畫方面，運(yùn)動(dòng)獲取裝置的普遍應(yīng)用令更多更具真實(shí)感的三維人體運(yùn)動(dòng)數(shù)據(jù)得以出現(xiàn)，并且可以被應(yīng)用到虛擬現(xiàn)實(shí)、動(dòng)畫生成、運(yùn)動(dòng)模擬等一系列領(lǐng)域中?，F(xiàn)如今，計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)中的數(shù)字角色、場(chǎng)景建模、交互式角色動(dòng)畫管理等內(nèi)容均在智能三維人體動(dòng)畫研究當(dāng)中獲得了廣泛運(yùn)用。下面我們對(duì)計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)技術(shù)在三維人體動(dòng)畫中的具體應(yīng)用進(jìn)行研究。

1 三維人體運(yùn)動(dòng)數(shù)據(jù)的獲取

借助運(yùn)動(dòng)捕獲科技創(chuàng)作三維人體動(dòng)畫的實(shí)質(zhì)為數(shù)據(jù)驅(qū)動(dòng)的動(dòng)畫制作方法之一，其具備數(shù)據(jù)獲取更便捷、更具真實(shí)性、精度更高、效率更高等諸多優(yōu)點(diǎn)，國(guó)外學(xué)者曾說過：選取特殊硬件設(shè)施實(shí)時(shí)獲取真實(shí)運(yùn)動(dòng)物體（譬如人類和動(dòng)物等）的三維運(yùn)動(dòng)數(shù)據(jù)，同時(shí)把它映射到提前構(gòu)建的三維模型之上，并最終生成動(dòng)畫序列，這就是運(yùn)動(dòng)捕獲這項(xiàng)技術(shù)的中心思想。

（1）基于統(tǒng)計(jì)學(xué)習(xí)的三維人體運(yùn)動(dòng)捕獲技術(shù)

由缺乏顯著特點(diǎn)或者標(biāo)志的視頻中恢復(fù)三維人體姿態(tài)是一個(gè)約束條件極為不足的優(yōu)化求解過程，解決此問題的可行性做法之一即為基于理論學(xué)習(xí)來取得并約束先驗(yàn)?zāi)Ｐ?。眾所周知，統(tǒng)計(jì)理論在計(jì)算機(jī)視覺領(lǐng)域當(dāng)中的運(yùn)用非常普遍，最近幾年也有不少專家把它引入到基于視頻的人體運(yùn)動(dòng)捕獲技術(shù)中進(jìn)行使用。此模式的基本思想為基于預(yù)先學(xué)習(xí)的先驗(yàn)理論對(duì)圖像或者視頻里的人體運(yùn)動(dòng)參數(shù)做出判斷，然而這和機(jī)器學(xué)習(xí)理論擁有同樣的問題，借助這一手段僅僅可以對(duì)事先學(xué)習(xí)過的特有姿態(tài)及運(yùn)動(dòng)類型獲取良好的恢復(fù)效果。國(guó)外學(xué)家Agarwal等人基于一組先前的人體側(cè)影圖像計(jì)算它局部形狀上下文的分布狀況，緊接著借助有關(guān)向量機(jī)構(gòu)構(gòu)建一個(gè)部分形狀上下文回歸函數(shù)用到三維人體姿態(tài)的判斷中。然而，此方法僅僅在簡(jiǎn)單的走路運(yùn)動(dòng)中被應(yīng)用，在擴(kuò)展到另外一些運(yùn)動(dòng)類型時(shí)回歸函數(shù)的構(gòu)建便十分煩瑣、不容易控制。

（2）基于視覺方法的三維人體運(yùn)動(dòng)捕獲技術(shù)

在20世紀(jì)末期，人類便提出了借助視覺方法由包括人體運(yùn)動(dòng)的圖像或視頻序列當(dāng)中提取所需的運(yùn)動(dòng)參數(shù)，目的是便于更深入、更全面地剖析人體運(yùn)動(dòng)。這一方法的主要優(yōu)點(diǎn)在于：成本較低、操作性較強(qiáng)、應(yīng)用范圍大等，其自始至終都是學(xué)術(shù)界的研究焦點(diǎn)。然而，由二維視頻中精確地恢復(fù)三維人體運(yùn)動(dòng)數(shù)據(jù)是一個(gè)挑戰(zhàn)性極強(qiáng)的課題。基于視覺方法，三維人體運(yùn)動(dòng)捕獲技術(shù)主要可分成基于特征跟蹤、基于模型匹配以及基于側(cè)影剖析這三大類人體運(yùn)動(dòng)捕獲技術(shù)?；谀Ｐ推ヅ湟约皞?cè)影剖析的人體運(yùn)動(dòng)捕獲技術(shù)，其根本理念為給定一個(gè)人體姿態(tài)的搜尋空間，在提取出的圖像特征和所構(gòu)建的模型二者間找出科學(xué)的匹配形式，從而實(shí)現(xiàn)三維人體運(yùn)動(dòng)姿態(tài)恢復(fù)的根本目的。其次，基于特征跟蹤的人體運(yùn)動(dòng)捕獲技術(shù)，它的根本理念為選取光流場(chǎng)跟蹤、點(diǎn)特征跟蹤等特征跟蹤方法由圖形或視頻序列中提取出二維人體運(yùn)動(dòng)參數(shù)，進(jìn)一步借助視覺原理來恢復(fù)三維人體運(yùn)動(dòng)參數(shù)序列。

2 運(yùn)動(dòng)數(shù)據(jù)的預(yù)處理

因?yàn)椴东@環(huán)境、誤差或?yàn)檫_(dá)到特定使用需求而捕獲的三維人體運(yùn)動(dòng)數(shù)據(jù)必須進(jìn)行一定的預(yù)處理之后才可以被運(yùn)用到三維人體動(dòng)畫的制作當(dāng)中，運(yùn)動(dòng)數(shù)據(jù)的預(yù)處理主要涵蓋了運(yùn)動(dòng)數(shù)據(jù)壓縮、關(guān)鍵幀的提取、運(yùn)動(dòng)序列分割及識(shí)別等一系列內(nèi)容。換言之，三維人體運(yùn)動(dòng)數(shù)據(jù)其實(shí)也是一類多媒體數(shù)據(jù)，所以在多媒體內(nèi)容研究工作中科學(xué)地借助機(jī)器學(xué)習(xí)技術(shù)是十分有必要的。舉例說明，如Ren等人借助PCA方法集中構(gòu)建了一組層次鮮明的低維局部線性模型，在處理丟失標(biāo)記點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)時(shí)，預(yù)先構(gòu)建的分類器會(huì)篩選適宜的局部線性模型對(duì)其進(jìn)行重建。另外，他們還提出了約減運(yùn)動(dòng)數(shù)據(jù)標(biāo)記法。再比如，在三維人體運(yùn)動(dòng)數(shù)據(jù)的分割、識(shí)別方面，Arikan等人基于一組手工標(biāo)注的訓(xùn)練樣本建立起支持向量機(jī)分類器用于人體運(yùn)動(dòng)序列的自動(dòng)標(biāo)注，這一方法同樣適用于人體運(yùn)動(dòng)序列的分割及識(shí)別。

3 運(yùn)動(dòng)數(shù)據(jù)重用技術(shù)

提高已有運(yùn)動(dòng)數(shù)據(jù)的重用性即為三維人體動(dòng)畫創(chuàng)作最關(guān)鍵的問題之一，尤其是運(yùn)動(dòng)捕獲裝置和人體運(yùn)動(dòng)數(shù)據(jù)庫的存在，給運(yùn)動(dòng)數(shù)據(jù)重用技術(shù)提供了充足的數(shù)據(jù)支持，從根本上講，此項(xiàng)技術(shù)不妨看作一類數(shù)據(jù)驅(qū)動(dòng)的運(yùn)動(dòng)生成技術(shù)，也恰恰是因?yàn)榇颂攸c(diǎn)，各類子空間研究、統(tǒng)計(jì)學(xué)習(xí)、流形學(xué)習(xí)等機(jī)器學(xué)習(xí)技術(shù)被廣泛地運(yùn)用其中，作用是對(duì)已有的三維人體運(yùn)動(dòng)數(shù)據(jù)做出全面科學(xué)的剖析，學(xué)習(xí)及指導(dǎo)新運(yùn)動(dòng)數(shù)據(jù)的生成。

當(dāng)中運(yùn)用最為普遍的即為PCA技術(shù)，比如說之前Alexa等人提出的借助主成分來表示動(dòng)畫序列。另外，也有一些專家提出了基于 PCA把原始運(yùn)動(dòng)數(shù)據(jù)投射至低維子空間，然后提取可量化高層運(yùn)動(dòng)參數(shù)，像運(yùn)動(dòng)速度等等。除此之外，借助內(nèi)外插值及時(shí)生成最新的走路運(yùn)動(dòng)數(shù)據(jù)，并可以擴(kuò)展到擁有各種各樣尺寸的角色模型上，最終生成動(dòng)畫序列。為了令運(yùn)動(dòng)數(shù)據(jù)的研究和生成環(huán)節(jié)更容易被控制和可視化，Shin等人把原始運(yùn)動(dòng)數(shù)據(jù)借助多尺度縮放技術(shù)投射至低維空間，同時(shí)對(duì)其進(jìn)行了參數(shù)化及可視化操作，如此一來，用戶便能夠在低維空間里面借助草圖的勾畫、對(duì)三維人體姿態(tài)的直接操作和關(guān)鍵幀的指定等手段對(duì)原始運(yùn)動(dòng)數(shù)據(jù)在空間、時(shí)間上做出編輯、合成等一系列操作。Mukai等人把運(yùn)動(dòng)插值作為預(yù)定義參數(shù)空間里的統(tǒng)計(jì)預(yù)測(cè)問題，同時(shí)基于泛克里格方法對(duì)應(yīng)參數(shù)空間里采樣點(diǎn)距離間的關(guān)聯(lián)，對(duì)特定參數(shù)值的插值做出了優(yōu)化，并且把參數(shù)空間內(nèi)特定的空間約束做出了更精確的估計(jì)和生成。

4 行為動(dòng)畫生成

計(jì)算機(jī)動(dòng)畫，尤其是三維人體動(dòng)畫研究工作中的一個(gè)關(guān)鍵即為實(shí)現(xiàn)智能化、自動(dòng)化的人體行為動(dòng)畫生成。部分專家人士借助對(duì)擁有自主決策能力的自治體的創(chuàng)建完成了這一目標(biāo)。也有一些專家通過行為模型的建立來指導(dǎo)虛擬角色行為動(dòng)畫的生成。像Conde等人借助增強(qiáng)學(xué)習(xí)理論對(duì)虛擬角色所處的虛擬環(huán)境作出了深入研究，并且對(duì)虛擬場(chǎng)景的層次架構(gòu)等進(jìn)行了剖析，在這一前提下，進(jìn)一步對(duì)虛擬角色在特定場(chǎng)景下漫游的真實(shí)感行為驅(qū)動(dòng)引擎進(jìn)行了構(gòu)建。再比如，在仿真訓(xùn)練當(dāng)中，F(xiàn)ernlund等人借助基于上下文推理及遺傳規(guī)劃算法對(duì)士兵在格斗中的技戰(zhàn)術(shù)行為規(guī)劃和生成模型進(jìn)行了深入研究，以此在戰(zhàn)斗仿真訓(xùn)練中自動(dòng)生成規(guī)范、合理的各類技戰(zhàn)術(shù)動(dòng)作。除了借助機(jī)器學(xué)習(xí)方法來生成自動(dòng)行為動(dòng)畫之外，還有部分專家借助視覺交互的手段來實(shí)時(shí)合成行為動(dòng)畫序列。比方說，Lee等提出的基于視覺交互運(yùn)動(dòng)序列的生成技術(shù)，由身穿緊身衣的人員做出表演，同時(shí)把跟蹤獲取到的側(cè)影圖像傳輸至系統(tǒng)當(dāng)作控制信號(hào)，進(jìn)一步從已有的三維人體運(yùn)動(dòng)數(shù)據(jù)庫里面搜索類似的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行合成。

5 結(jié)束語

綜上所述，盡管計(jì)算機(jī)動(dòng)畫隸屬于計(jì)算機(jī)圖形學(xué)的研究范疇，然而從技術(shù)手段而言，三維人體動(dòng)畫囊括了人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、認(rèn)知科學(xué)等諸多領(lǐng)域。目前，計(jì)算機(jī)視覺及機(jī)器學(xué)習(xí)理論正以一個(gè)迅猛的速度融入人體動(dòng)畫研究領(lǐng)域，而這也是未來三維人體動(dòng)畫研究領(lǐng)域的重要趨勢(shì)之一。計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)理論在三維人體動(dòng)畫中的廣泛運(yùn)用必然會(huì)在很大程度上推動(dòng)人體動(dòng)畫創(chuàng)作技術(shù)的進(jìn)步。