實景動畫拍攝系統(tǒng)研制

田　豐，宋　瑩，王　攀

(上海大學(xué) 上海電影學(xué)院，上海 200072)

?

實景動畫拍攝系統(tǒng)研制

田豐，宋瑩，王攀

(上海大學(xué) 上海電影學(xué)院，上海 200072)

為實現(xiàn)實景動畫拍攝系統(tǒng)，設(shè)計了一種基于嵌入式控制器的實體拍攝支架。針對國外拍攝機(jī)器人價格超高的問題，設(shè)計了低成本、簡便易用的實景動畫拍攝系統(tǒng)，完成了計算機(jī)端插件、通信接口、嵌入式控制器、運動控制支架。經(jīng)實際應(yīng)用，3DMAX中虛擬相機(jī)姿態(tài)導(dǎo)出精度和分辨率達(dá)到30 f/s(幀/秒)，實體相機(jī)旋轉(zhuǎn)方向和速率與虛擬相機(jī)保持完全同步，實景動畫系統(tǒng)同步虛擬相機(jī)和實體相機(jī)運動路后能獲得準(zhǔn)確影視內(nèi)容合成效果。

虛擬相機(jī)；實體相機(jī)；嵌入式系統(tǒng)；影視特效

1　實景動畫拍攝

隨著現(xiàn)代影視制作技術(shù)的飛速發(fā)展，影視特效合成是后期制作的關(guān)鍵步驟[1-7]。特殊拍攝與特效合成也是國內(nèi)影視信息學(xué)科關(guān)注的問題[8-10]。實景動畫制作合成是特殊拍攝與特效合成的關(guān)鍵技術(shù)之一。實景動畫技術(shù)為內(nèi)容展示帶來了一種全新表達(dá)方式，并在國內(nèi)外影視大片中成為后期制作的最流行手段?，F(xiàn)有特效鏡頭基本都以軟件三維跟蹤合成方式開展，而軟件跟蹤方式的約束條件過多：1)實拍畫面色彩不能過于豐富或單調(diào)，不然跟蹤點容易失聯(lián)；2)實拍攝像機(jī)運動不能過快，且受光干擾影響較大，否則也容易失聯(lián)；3)實拍鏡頭手持穩(wěn)定性較低，無法重復(fù)拍攝；4)三維跟蹤由完備的計算機(jī)視覺理論體系支撐，但受到相機(jī)分辨率的限制，距離較遠(yuǎn)處的跟蹤精度較低；5)無法提前設(shè)置人工拍攝的準(zhǔn)確路徑；6)反復(fù)人工標(biāo)記跟蹤的工作量大；7)虛擬相機(jī)跟隨實體相機(jī)，而無法實現(xiàn)實體相機(jī)跟隨虛擬相機(jī)。

近年來，拍攝機(jī)器人已在好萊塢影視節(jié)目制作中廣泛使用。“地心引力”拍攝中的Motion Control和光盒聯(lián)合拍攝給影迷留下深刻印象[11]。拍攝機(jī)器人已在國外數(shù)字制作中占有非常重要的作用，拍攝自動化、信息預(yù)覽、拍攝前規(guī)劃等能夠快速實現(xiàn)。重復(fù)拍攝和指令拍攝使得影視制作的質(zhì)量和效率大大提高。

拍攝機(jī)器人售價近千萬，而影視廣告市場迫切需要一類低成本、功能簡化的微型拍攝系統(tǒng)。本文為實現(xiàn)低成本實景動畫(虛實結(jié)合)拍攝系統(tǒng)開展了初步實驗，完成了整套單軸轉(zhuǎn)動拍攝支架系統(tǒng)，設(shè)計了基于3DMAX的控制插件和嵌入式控制器，最后完成了虛擬鏡頭同步控制實體相機(jī)的拍攝任務(wù)。

2　系統(tǒng)設(shè)計

2.1實景動畫系統(tǒng)運作總體流程

如圖1所示，實景動畫系統(tǒng)運作總體流程可分為4個模塊：1)計算機(jī)端插件；2)通信插件和電纜；3)嵌入式系統(tǒng)軟件；4)支架端。計算機(jī)端有虛擬相機(jī)運動設(shè)計、虛擬相機(jī)相對運動計算、虛擬相機(jī)數(shù)據(jù)保存等功能單元；通信插件和電纜有數(shù)據(jù)發(fā)送插件、USB轉(zhuǎn)串口傳輸電纜；嵌入式系統(tǒng)端有嵌入式系統(tǒng)數(shù)據(jù)存儲、運動數(shù)據(jù)與PWM數(shù)據(jù)解碼、PWM信號輸出等功能模塊；支架端有步進(jìn)電機(jī)驅(qū)動、支架同步旋轉(zhuǎn)等功能模塊。數(shù)據(jù)鏈路由虛擬相機(jī)端傳輸轉(zhuǎn)移到實體相機(jī)端，即把虛擬相機(jī)運動數(shù)據(jù)識別、保存、傳輸、解碼、發(fā)送到實體相機(jī)，實現(xiàn)了實體相機(jī)同步跟隨虛擬相機(jī)運動，本文完成跟隨單軸旋轉(zhuǎn)運動。

圖1　實景動畫系統(tǒng)運作總體流程

2.2硬件系統(tǒng)設(shè)計

如圖2所示，實景動畫拍攝系統(tǒng)由計算機(jī)、USB轉(zhuǎn)串口、JTAG、ARM控制器、5 V和24 V電源、控制線、步進(jìn)電機(jī)、驅(qū)動器、軸承、旋轉(zhuǎn)支架、攝像機(jī)等模塊和部件組成。計算機(jī)通過JTAG把計算機(jī)編寫的嵌入式軟件燒錄ARM控制器并能夠做單步調(diào)試；USB和RS-232通信接口把3DMAX或MAYA軟件內(nèi)部虛擬相機(jī)的運動路徑數(shù)據(jù)傳輸給ARM控制器；ARM控制器保存相機(jī)運動路徑，接受計算機(jī)運行指令后立即把運動編碼轉(zhuǎn)化為PWM信號；步進(jìn)電機(jī)接受PWM信號后根據(jù)細(xì)分編碼執(zhí)行步進(jìn)指令，保證每1/30 s內(nèi)與虛擬相機(jī)同步。

圖2　實景動畫拍攝支架結(jié)構(gòu)總體框架

如圖3a所示，JTAG連接ARM控制器，USB-RS-232連接計算機(jī)。如圖3b所示，步進(jìn)電機(jī)驅(qū)動軸承，軸承帶動拍攝支架旋轉(zhuǎn)。如圖3c所示，PWM控制線包括PWM信號線、DIR方向信號線、地線共3組。

圖3　實景動畫拍攝系統(tǒng)

ARM控制器采用STM32L152VBT6，128 kbyte片內(nèi)內(nèi)存和16 kbyte片內(nèi)RAM滿足數(shù)據(jù)存儲和拍攝系統(tǒng)運行要求，內(nèi)核包含超過6個可編程定時器計數(shù)器，可支持未來6軸實景動畫拍攝系統(tǒng)。本文試驗了單軸旋轉(zhuǎn)拍攝支架，故僅使用處理器內(nèi)部1路定時器計數(shù)器產(chǎn)生PWM信號。ARM控制器使用5 V供電，步進(jìn)電機(jī)驅(qū)動使用24 V供電。步進(jìn)電機(jī)驅(qū)動支持3.3 V電壓控制信號，故ARM控制器的3.3 V電壓能夠直接驅(qū)動步進(jìn)電機(jī)旋轉(zhuǎn)。

2.33DMAX數(shù)據(jù)輸出插件設(shè)計

3DMAX數(shù)據(jù)輸出插件是獲取虛擬相機(jī)運動數(shù)據(jù)并發(fā)送的關(guān)鍵模塊，其中包括初始化數(shù)據(jù)、解讀運動數(shù)據(jù)和保存發(fā)送數(shù)據(jù)模塊，如圖4所示。在初始化數(shù)據(jù)模塊中，首先插件獲取當(dāng)前虛擬相機(jī)的角度，其次新建運動數(shù)據(jù)文件，最后初始化至第1動畫幀；在解讀運動數(shù)據(jù)模塊中，首先插件累加動畫幀，其次判斷動畫是否結(jié)束，如有下列幀即獲取虛擬相機(jī)幀角度，清洗越界數(shù)據(jù)，識別運動方向，最后保存方向和旋轉(zhuǎn)角度數(shù)據(jù)；在保存發(fā)送數(shù)據(jù)模塊中，首先插件保存數(shù)據(jù)文件并關(guān)閉，接著從串口發(fā)送運動數(shù)據(jù)。

圖4　3DMAX數(shù)據(jù)輸出插件流程圖

其中解讀運動數(shù)據(jù)流程如下：

1)時間軸Time++。

2)如果Time<=TimeAll，那么繼續(xù)執(zhí)行運動數(shù)據(jù)解讀步驟3)，執(zhí)行；如果Time>TimeAll，就跳出循環(huán)，結(jié)束運動數(shù)據(jù)獲取。

3)獲取虛擬相機(jī)角度，當(dāng)前幀相機(jī)角度與初始化相機(jī)角度相減，獲得相對旋轉(zhuǎn)角度Rydelta。

4)在對1/30 s內(nèi)限定轉(zhuǎn)速的前提下清洗數(shù)據(jù)，如果Rydelta<-60，則Rydelta=Rydelta+360；如果Rydelta>60，則Rydelta=Rydelta-360；如果Rydelta>2.34，則提示超標(biāo)報錯；如果Rydelta<-2.34，則提示超標(biāo)報錯。

5)識別運動過方向，如果Rydelta<0，則方向WriteByte=255；否則WriteByte=254。

6)取絕對值保存運動數(shù)據(jù)temp=abs(Rydelta)×100，寫文件Writetemp，跳轉(zhuǎn)到步驟1)。

設(shè)時間軸時刻為Time，總時間為TimeAll，相對旋轉(zhuǎn)角度Rydelta，方向變量為WriteByte，被保存的運動數(shù)據(jù)為temp，保存文件名為Writetemp。

2.4嵌入式控制軟件設(shè)計

嵌入式系統(tǒng)是實體相機(jī)同步虛擬相機(jī)運動數(shù)據(jù)的核心模塊，其中包括嵌入式系統(tǒng)初始化、控制PWM使能和PWM輸出模塊，如圖5所示。在嵌入式系統(tǒng)初始化模塊中，首先初始化GPIO，其次初始化系統(tǒng)時鐘，初始化1組1/30 s中斷，初始化6組PWM定時器，最后程序進(jìn)入死循環(huán)；在控制PWM使能模塊中，首先串口中斷1獲取計算機(jī)端控制指令，包括接受數(shù)據(jù)并轉(zhuǎn)碼、使能PWM定時器1和關(guān)閉PWM定時器1；在PWM輸出模塊中，對PWM定時器1進(jìn)行1/30 s一次的轉(zhuǎn)碼數(shù)據(jù)更新。

圖5　嵌入式控制器軟件流程圖

接受旋轉(zhuǎn)角度數(shù)據(jù)并轉(zhuǎn)碼是為了實現(xiàn)旋轉(zhuǎn)角度與PWM定時器數(shù)值的轉(zhuǎn)換，達(dá)到步進(jìn)電機(jī)與虛擬相機(jī)同步旋轉(zhuǎn)的效果。設(shè)置步進(jìn)電機(jī)細(xì)分?jǐn)?shù)為128脈沖旋轉(zhuǎn)0.9°。設(shè)Y為定時器發(fā)出的脈沖數(shù)，n為步進(jìn)電機(jī)旋轉(zhuǎn)的角度，則其關(guān)系為

Y/128=n/0.9

(1)

ARM控制器系統(tǒng)時鐘為8 MHz，根據(jù)主時鐘設(shè)定中斷及定時器。設(shè)X為處理器內(nèi)部定時器的分頻數(shù)，30 f/s對應(yīng)每個時間周期為1/30 s，則X與Y的關(guān)系為

X=8 000 000/30×Y

(2)

把式(1)代入式(2)，則獲得定時器分頻數(shù)X與旋轉(zhuǎn)角度n的關(guān)系為

X=1 875/n

(3)

3　實驗

連接USB轉(zhuǎn)串口線、電源線、PWM控制信號線、嵌入式控制板、拍攝支架。如圖6所示，架設(shè)手機(jī)到支架上。

如圖7a，在3DMAX軟件中導(dǎo)入模型車，設(shè)定模型車運動軌跡，在適當(dāng)位置架設(shè)虛擬相機(jī)，設(shè)定虛擬相機(jī)

圖6　實體相機(jī)安裝

旋轉(zhuǎn)方向和速度。測量虛擬相機(jī)與桌面的角度，測量虛擬相機(jī)與模型車初始相對位置，按虛擬位置和角度等比例放置實體相機(jī)，使其相對角度和距離與虛擬相機(jī)一致。連續(xù)導(dǎo)出虛擬相機(jī)旋轉(zhuǎn)角度，下載數(shù)據(jù)到嵌入式控制板，下達(dá)控制指令，使實體相機(jī)也按照虛擬相機(jī)連續(xù)旋轉(zhuǎn)角度而運動，實體相機(jī)獲取如圖7b的連續(xù)影像，對圖7a連續(xù)渲染影像摳圖并疊加在圖7b上，最后合成圖7c的連續(xù)實景動畫影像。

圖7　合成過程

4　小結(jié)

針對拍攝機(jī)器人價格高昂的問題，設(shè)計了基于運動控制的實景動畫拍攝系統(tǒng)。經(jīng)實際的室內(nèi)應(yīng)用，實景動畫拍攝系統(tǒng)可單軸變速旋轉(zhuǎn)拍攝，動畫軟件中的虛擬相機(jī)和真實世界實體相機(jī)保持同步。實景動畫拍攝合成是特效制作的重點技術(shù)之一，它能夠應(yīng)用到先設(shè)置虛擬動畫再開展實景拍攝的特殊影視節(jié)目制作過程中，此項技術(shù)已應(yīng)用在裝備工業(yè)的富媒體制作過程中。在下一階段，本課題還能對拍攝系統(tǒng)進(jìn)行升級，擴(kuò)展到6自由度拍攝支架，滿足范圍內(nèi)任意運動路徑的拍攝任務(wù)。

[1]HANIKA J，DROSKE M，F(xiàn)ASCIONE L. Manifold next event estimation[J]. Computer graphics forum， 2015， 34(4)：87-97.

[2]NOWROUZEZAHRAI D， JOHNSON J， SELLE A， et al. A programmable system for artistic volumetric lighting[J]. ACM transactions on graphics (TOG)， 2011， 30(4)： 76-79.

[3]SEO J，IRVING G，LEWIS J P， et al. Compression and direct manipulation of complex blendshape models[J].ACM transactions on graphics， 2011，30(6)：61-64.

[4]劉毅.淺析計算機(jī)技術(shù)在電影后期處理中的應(yīng)用[J].視聽界廣播電視技術(shù)，2015(3)：115-118.

[5]胡軍民.數(shù)字特效在影視作品中的應(yīng)用[J].電子技術(shù)與軟件工程，2014(19)：193.

[6]魏良.全球影視后期特技制作發(fā)展趨勢淺析[J].大眾文藝，2011(7)：167.

[7]郭勁鋒.數(shù)字思維模式下電影與技術(shù)的互動[J].當(dāng)代電影，2015(6)：4-8.

[8]佟志強(qiáng)，劉波.立體電視中特效鏡頭合成的分析[J].電視技術(shù)，2010，34(3)：73-75.

[9]湛永松，陳顯軍，劉文兆.基于粒子系統(tǒng)的影視特效生成技術(shù)[J].電視技術(shù)，2009，33(9)：12-14.

[10]沈承祖，張文俊，張目.“時間凍結(jié)”數(shù)字影視特效拍攝系統(tǒng)[J].電視技術(shù)，2007，31(8)：97-99.

[11]《地心引力》：誕生記——逆天特效主宰一切[EB/OL].[2016-01-02].http：//107cine.com/stream/25582/.

田豐(1976— )，博士，碩士生導(dǎo)師，主要研究方向為電影技術(shù)；

宋瑩(1977— )，碩士，主要研究方向為3D特效技術(shù)；

王攀(1992— )，碩士生，主要研究領(lǐng)域為電影技術(shù)。

責(zé)任編輯：時雯

Development of live-action and virtual shooting system

TIAN Feng，SONG Ying，WANG Pan

(ShanghaiFilmAcademyinShanghaiUniversity，Shanghai200072，China)

To achieve the live-action and virtual shooting system， an entity shooting bracket based on embedded controller is designed. In the light of the problem of ultra-high price of shooting robot in foreign countries， a low cost， easy to use live-action and virtual shooting system is designed， the computer end plug， communication interface， embedded controller， motion control support are completed. By practical application， the accuracy and resolution of virtual camera pose reach 30 f/s， the rotation direction and speed of live-action camera remain completely synchronized with the virtual camera. After the live-action and virtual system synchronize the motion path of virtual camera and camera， the accurate video content synthesis effect is obtained.

virtual camera； live-action camera； embedded system； film special effects

TN871

ADOI：10.16280/j.videoe.2016.07.005

上海市科委“科技創(chuàng)新行動計劃”高新技術(shù)領(lǐng)域項目(14511108202)；2016年度上海大學(xué)電影學(xué)高峰學(xué)科項目

2016-01-10

文獻(xiàn)引用格式：田豐，宋瑩，王攀. 實景動畫拍攝系統(tǒng)研制[J].電視技術(shù)，2016，40(7)：20-23.

TIAN F，SONG Y，WANG P. Development of live-action and virtual shooting system [J].Video engineering，2016，40(7)：20-23.