藝卡智能移動(dòng)拍攝系統(tǒng)的研發(fā)與應(yīng)用

溫廣權(quán)

【摘要】 沈陽(yáng)廣電傳媒集團(tuán)研發(fā)的藝卡智能移動(dòng)拍攝系統(tǒng)（以下簡(jiǎn)稱藝卡）于2018年8月研發(fā)成功，10月在公共頻道200演播室試運(yùn)行，2018年9月廣電總局規(guī)劃院廣電計(jì)量檢測(cè)中心對(duì)該系統(tǒng)進(jìn)行了測(cè)試和驗(yàn)證。本文對(duì)藝卡涉及的相關(guān)技術(shù)、系統(tǒng)架構(gòu)及系統(tǒng)軟件進(jìn)行了詳述。藝卡的成功研發(fā)與應(yīng)用，為廣播電視制作智能化提升推進(jìn)提供有益的借鑒。

【關(guān)鍵詞】 演播室智能拍攝 精準(zhǔn)拍攝 拍攝主體跟蹤 無(wú)軌移動(dòng) 微距運(yùn)動(dòng)拍攝和動(dòng)態(tài)跟蹤拍攝

一.引言

目前，廣播電視節(jié)目制作已經(jīng)進(jìn)入一個(gè)全新的階段，廣電專用機(jī)器人在綜藝晚會(huì)、新聞演播間、體育賽事、VR制作等很多方面大顯身手。常見的專用機(jī)器人主要是軌道機(jī)器人。軌道機(jī)器人受軌道和線纜的限制，拍攝空間有限。且這些智能拍攝設(shè)備基本都是國(guó)外進(jìn)口，尚無(wú)具有完全自主知識(shí)產(chǎn)權(quán)的國(guó)產(chǎn)產(chǎn)品，一般價(jià)格較高，讓很多廣播電視臺(tái)和制作單位難以承受，導(dǎo)致技術(shù)推廣受限，應(yīng)用有限。

藝卡以國(guó)產(chǎn)機(jī)器人為攝像機(jī)承載載體，自主研發(fā)軟件控制系統(tǒng)，實(shí)現(xiàn)機(jī)器人智能拍攝，實(shí)現(xiàn)精準(zhǔn)拍攝、拍攝主體跟蹤、無(wú)軌移動(dòng)、微距運(yùn)動(dòng)拍攝和動(dòng)態(tài)跟蹤拍攝等功能。為實(shí)現(xiàn)廣播電視拍攝智能化，提高電視節(jié)目制播效率，對(duì)廣播電視行業(yè)科技進(jìn)步起到極大的推動(dòng)作用。

二.藝卡智能移動(dòng)拍攝系統(tǒng)涉及的相關(guān)技術(shù)

藝卡通過復(fù)合機(jī)器人和攝像機(jī)12個(gè)參數(shù)的協(xié)同控制實(shí)現(xiàn)精準(zhǔn)拍攝。本系統(tǒng)創(chuàng)造性的將復(fù)合機(jī)器人和攝像機(jī)組成一個(gè)完整的移動(dòng)拍攝系統(tǒng)，其中復(fù)合機(jī)器人由傳統(tǒng)的AGV機(jī)器人和機(jī)器臂機(jī)器人兩種工業(yè)機(jī)器人復(fù)合而成。在實(shí)現(xiàn)移動(dòng)拍攝時(shí)，要保持?jǐn)z像機(jī)在運(yùn)動(dòng)過程中對(duì)拍攝目標(biāo)主體的清晰度和合適的曝光度，需要AGV機(jī)器人、機(jī)器臂機(jī)器人、攝像機(jī)協(xié)同工作，機(jī)器人和機(jī)器臂的運(yùn)動(dòng)姿態(tài)與攝像機(jī)的光圈大小、焦距等參數(shù)有著緊密的關(guān)系，存在著極大的參數(shù)相關(guān)性，且這種參數(shù)相關(guān)性并非單一的相關(guān)，而是多參數(shù)相互交叉的復(fù)合相關(guān)。需要將多維度的參數(shù)進(jìn)行融合，建立統(tǒng)一、復(fù)雜的數(shù)學(xué)模型，設(shè)計(jì)協(xié)同并發(fā)算法才能實(shí)現(xiàn)精準(zhǔn)拍攝。在本系統(tǒng)中AGV具有直線運(yùn)動(dòng)、速度（加速度）、轉(zhuǎn)動(dòng)3個(gè)維度的參數(shù)；機(jī)器臂具有6個(gè)軸向的角度（角速度）6個(gè)維度的參數(shù)；攝像機(jī)主要具有焦距、光圈、推拉3個(gè)維度的參數(shù)，上述12個(gè)維度的參數(shù)經(jīng)過協(xié)同控制軟件模塊進(jìn)行統(tǒng)一協(xié)同控制，達(dá)到精準(zhǔn)拍攝，實(shí)現(xiàn)了人工拍攝無(wú)法達(dá)到的效果。

1.機(jī)械機(jī)構(gòu)單元實(shí)施方式

機(jī)械機(jī)構(gòu)是智能移動(dòng)機(jī)器人的骨架，由機(jī)器臂和AGV車對(duì)接而成。機(jī)械臂采用的型號(hào)是新松SR5CL型，為6軸機(jī)械臂，機(jī)械臂由本體和控制系統(tǒng)組成。本體包含電機(jī)、減速機(jī)等驅(qū)動(dòng)手臂運(yùn)動(dòng)的部件；控制系統(tǒng)保證機(jī)械臂的正確方向及承受由于工件的重量所產(chǎn)生的彎曲和扭轉(zhuǎn)的力矩。機(jī)械臂包括6個(gè)自由度，可實(shí)現(xiàn)機(jī)器人伸縮、旋轉(zhuǎn)和升降等動(dòng)作。AGV車使用新松倉(cāng)儲(chǔ)地標(biāo)感測(cè)智能車，有蔽障、路徑規(guī)劃的能力。

支撐機(jī)器人所有的模塊，動(dòng)力與驅(qū)動(dòng)單元為智能移動(dòng)機(jī)器人提供動(dòng)力來(lái)源；環(huán)境感知單元負(fù)責(zé)對(duì)周圍的環(huán)境進(jìn)行感知識(shí)別及各種參數(shù)的收集，然后通過轉(zhuǎn)換成控制模塊可以識(shí)別的光電信號(hào)，輸入到控制單元進(jìn)行數(shù)據(jù)處理；執(zhí)行機(jī)構(gòu)單元為智能移動(dòng)機(jī)器人執(zhí)行部分，能根據(jù)控制中心的命令執(zhí)行命令，完成任務(wù)；信息處理與控制單元作為整個(gè)機(jī)械系統(tǒng)的核心部分，將來(lái)自傳感器部分采集到的信息進(jìn)行集中匯總存儲(chǔ)，對(duì)所有信息分析、規(guī)劃、決策并輸出命令，使機(jī)器人有目的運(yùn)行。

2.操作系統(tǒng)

智能移動(dòng)拍攝系統(tǒng)的控制部分由沈陽(yáng)廣電傳媒集團(tuán)自主研發(fā)的“藝卡智能移動(dòng)拍攝遠(yuǎn)程控制系統(tǒng)”實(shí)現(xiàn)。遠(yuǎn)程控制系統(tǒng)從軟件架構(gòu)上可歸納為三個(gè)層面，底層為指令執(zhí)行層，主要向中間層反饋當(dāng)前拍攝系統(tǒng)狀態(tài)，并根據(jù)收到的指令執(zhí)行相應(yīng)動(dòng)作；中間層為協(xié)同控制層，根據(jù)系統(tǒng)輸入信息計(jì)算智能拍攝系統(tǒng)的控制指令，是軟件控制系統(tǒng)的核心部分；頂層為拍攝場(chǎng)景設(shè)計(jì)層，為操作人員提供軟件控制系統(tǒng)的人機(jī)交互界面，用于設(shè)計(jì)拍攝動(dòng)作，也可以根據(jù)預(yù)設(shè)值自動(dòng)生成機(jī)器人的拍攝動(dòng)作。

遠(yuǎn)程控制系統(tǒng)從實(shí)現(xiàn)功能上可劃分為5個(gè)模塊：人體檢測(cè)跟蹤模塊、機(jī)器人運(yùn)動(dòng)控制模塊、場(chǎng)景編排設(shè)計(jì)模塊、相機(jī)鏡頭控制模塊和主控模塊。人體檢測(cè)跟蹤模塊完成攝像機(jī)拍攝視頻中目標(biāo)人體位置的持續(xù)檢測(cè)和跟蹤；機(jī)器人運(yùn)動(dòng)控制模塊根據(jù)主控模塊的指令，控制調(diào)整機(jī)器人的拍攝角度，位置和運(yùn)動(dòng)軌跡；場(chǎng)景設(shè)計(jì)編排模塊根據(jù)預(yù)設(shè)拍攝需求自動(dòng)生成機(jī)器人的拍攝動(dòng)作，并根據(jù)拍攝動(dòng)作發(fā)送控制指令。相機(jī)鏡頭控制模塊根據(jù)收到的控制指令調(diào)整鏡頭的各項(xiàng)參數(shù)。主控模塊實(shí)現(xiàn)上述功能模塊的消息同步與協(xié)同控制，通過消息機(jī)制無(wú)延遲收發(fā)信息，使機(jī)器人完成拍攝任務(wù)，也為后續(xù)模塊升級(jí)和功能擴(kuò)展提供了接口。

3.主要功能特點(diǎn)

該系統(tǒng)具有精準(zhǔn)拍攝、拍攝主體跟蹤、無(wú)軌移動(dòng)、微距運(yùn)動(dòng)拍攝和動(dòng)態(tài)跟蹤拍攝等五大特點(diǎn)，是機(jī)器人技術(shù)和人工智能技術(shù)在廣電領(lǐng)域的創(chuàng)新應(yīng)用。

4.關(guān)鍵技術(shù)及創(chuàng)新點(diǎn)

（1）拍攝主體跟蹤技術(shù)

基于人工智能的拍攝主體識(shí)別技術(shù)，實(shí)現(xiàn)了精確聚焦的目標(biāo)跟蹤。

本系統(tǒng)創(chuàng)造性的將人工智能的理念和算法應(yīng)用到拍攝目標(biāo)識(shí)別中，能夠根據(jù)不同的目標(biāo)主體進(jìn)行輪廓識(shí)別，將識(shí)別的輪廓區(qū)域通過平面重心提取算法，提取拍攝主體的重心點(diǎn)后，AGV 和機(jī)器臂以此進(jìn)行高速修正，將攝像機(jī)聚焦到目標(biāo)重心，隨后計(jì)算出恰當(dāng)?shù)臄z像機(jī)焦距參數(shù)值，反饋至協(xié)同控制模塊，不斷調(diào)整機(jī)器人、攝像機(jī)，從而實(shí)現(xiàn)了精確聚焦的目標(biāo)跟蹤。

（2）精準(zhǔn)拍攝技術(shù)

使用高精度的移動(dòng)軌跡標(biāo)定技術(shù)，實(shí)現(xiàn)了同一軌跡多次高精度重復(fù)拍攝。

系統(tǒng)所使用的機(jī)器人和機(jī)器臂具有毫米級(jí)的精度，保證了攝相機(jī)拍攝點(diǎn)位的精度。在移動(dòng)拍攝的過程中，將攝像機(jī)的運(yùn)動(dòng)軌跡通過 12 個(gè)維度的參數(shù)進(jìn)行數(shù)學(xué)分割，分割成基于時(shí)間軸的切分點(diǎn)，同時(shí)對(duì)點(diǎn)間的參數(shù)變化進(jìn)行擬合算法標(biāo)定，即運(yùn)動(dòng)軌跡標(biāo)定。然后記憶存儲(chǔ)，存為拍攝場(chǎng)景。在每次同軌拍攝時(shí)，通過自動(dòng)定點(diǎn)復(fù)位和校正措施，從而實(shí)現(xiàn)毫米級(jí)的運(yùn)動(dòng)軌跡重復(fù)拍攝。

（3）動(dòng)態(tài)跟蹤拍攝技術(shù)

使用精簡(jiǎn)的目標(biāo)識(shí)別算法和閉環(huán)快速運(yùn)動(dòng)算法，實(shí)現(xiàn)了實(shí)時(shí)精準(zhǔn)拍攝。當(dāng)前的目標(biāo)識(shí)別算法比較復(fù)雜，需要的計(jì)算量比較大，本系統(tǒng)將多種目標(biāo)識(shí)別算法進(jìn)行融合，提出了基于輪廓優(yōu)先的識(shí)別策略，在已經(jīng)可以識(shí)別目標(biāo)主體時(shí)，就不再進(jìn)行復(fù)雜的算法，反之，當(dāng)基于輪廓算法不能識(shí)別時(shí)再輔以調(diào)用特征識(shí)別算法，從而達(dá)到迅速識(shí)別目標(biāo)主體的目的。在拍攝高速移動(dòng)目標(biāo)主體時(shí)，為了能夠?qū)崿F(xiàn)目標(biāo)跟蹤，采取了閉環(huán)控制的策略，通過不同圖像幀之間的目標(biāo)主體重心點(diǎn)的偏離修正實(shí)現(xiàn)了從時(shí)間軸上的閉環(huán)控制。這樣做的另外一個(gè)好處是還可以有效的克服攝像機(jī)運(yùn)動(dòng)時(shí)的拍攝目標(biāo)的重心抖動(dòng)。通過以上的兩個(gè)重要的算法結(jié)合其他的控制策略，實(shí)現(xiàn)了實(shí)時(shí)精準(zhǔn)拍攝。

（4）微距運(yùn)動(dòng)拍攝技術(shù)

研發(fā)了多維度協(xié)同控制算法，可實(shí)現(xiàn)拍攝避障、相機(jī)防抖、微距運(yùn)動(dòng)等高質(zhì)量拍攝。實(shí)際拍攝過程中，AGV 和機(jī)器臂有可能遇到障礙、道路不平、機(jī)器人運(yùn)動(dòng)慣性抖動(dòng)等現(xiàn)象，為解決上述問題，經(jīng)過深入分析和研究，本系統(tǒng)設(shè)計(jì)出一種多維度協(xié)同控制算法，在算法運(yùn)行的過程中，對(duì)AGV的障礙傳感器和攝像機(jī)拍攝主體重心的變化參數(shù)進(jìn)行實(shí)時(shí)計(jì)算后再作用于協(xié)同控制算法中的多維度的參數(shù)，對(duì)相應(yīng)的參數(shù)進(jìn)行修正和補(bǔ)償，有效的解決了障礙、抖動(dòng)，實(shí)現(xiàn)了高質(zhì)量拍攝。

5.具體實(shí)施方式

（1）通信接口實(shí)施方式：

系統(tǒng)需要與機(jī)器人和攝像機(jī)進(jìn)行通信，其通信接口和鏈接方式如下：

·軟件與復(fù)合機(jī)器人的接口：復(fù)合機(jī)器人采用機(jī)器人控制軟件（安裝到Windows平臺(tái)計(jì)算機(jī)），與移動(dòng)拍攝遠(yuǎn)程控制系統(tǒng)進(jìn)行通信，通信的方式使用TCP/IP協(xié)議（機(jī)器臂使用UDP方式，AGV采用TCP方式），使用Socket類編程，IP地址和端口號(hào)、應(yīng)用層的控制協(xié)議由新松提供；攝像機(jī)的控制接口使用RSC232-TCP/IP網(wǎng)關(guān)服務(wù)器，鏈接到新松機(jī)器人的無(wú)線路由上。

需要注意的是所有的IP地址都必須與AGV在同一個(gè)網(wǎng)段。

·軟件與攝像機(jī)的接口：軟件需要單獨(dú)使用TCP/IP通信接口與RSC232-TCP/IP網(wǎng)關(guān)服務(wù)器網(wǎng)關(guān)進(jìn)行通信。

（2）上位機(jī)協(xié)同控制模塊實(shí)施方式：

上位機(jī)主要完成設(shè)備狀態(tài)的感知分析和目標(biāo)跟蹤算法、路徑規(guī)劃和驅(qū)動(dòng)控制。其次，為了給場(chǎng)景平臺(tái)提供透明的場(chǎng)景，需要將場(chǎng)景的多維度參數(shù)使用協(xié)同運(yùn)動(dòng)規(guī)劃的算法轉(zhuǎn)化為設(shè)備的參數(shù)控制指令，需要根據(jù)目前狀態(tài)參數(shù)與規(guī)劃的場(chǎng)景計(jì)算出的不同維度的控制指令?？紤]到協(xié)同控制和機(jī)器人、攝像機(jī)的獨(dú)立性，上位機(jī)協(xié)同控制/感知模塊采用獨(dú)立進(jìn)程，與新松控制臺(tái)軟件和場(chǎng)景規(guī)劃軟件模塊之間使用TCP/IP接口，UDP封裝格式完成進(jìn)程之間的通信。參見圖3。

（3）人體跟蹤模塊實(shí)施方式：

采用位置變化速率和物體高速跟蹤相結(jié)合的方法。位置變化速率的方法實(shí)現(xiàn)對(duì)目標(biāo)人的跟蹤是建立在人體檢測(cè)算法的高速運(yùn)行的基礎(chǔ)之上。其原理是對(duì)于人物在視頻中的連續(xù)運(yùn)動(dòng)，就其人體中心位置的變化在前后幀中是連續(xù)的，也就是說(shuō)在畫面中選定跟蹤目標(biāo)后，在高速人體檢測(cè)過程中，目標(biāo)人的位置變化在前后幀中是連續(xù)的，所以通過連續(xù)的位置變化來(lái)判斷跟蹤目標(biāo)。使用位置變化的方法跟蹤目標(biāo)的算法結(jié)構(gòu)簡(jiǎn)單，速度快，但無(wú)法有效處理跟蹤目標(biāo)和其他目標(biāo)人交叉的情況，為了應(yīng)對(duì)這種情況，在人體跟蹤模塊中引入近些年來(lái)非常流行的相關(guān)和濾波算法，在跟蹤過程中，通過計(jì)算跟蹤目標(biāo)位置變化得出的跟蹤框和相關(guān)和濾波算法的跟蹤框的擬合程度來(lái)判斷該人物是否為跟蹤目標(biāo)，如果是跟蹤目標(biāo)，則更新目標(biāo)的位置信息，同時(shí)重新初始化相關(guān)和濾波跟蹤算法的模型。在人物存在交叉時(shí)，如果跟蹤目標(biāo)從其他人物前方交叉，則不受影響，如果其他人物從目標(biāo)前方交叉，短時(shí)間內(nèi)可以做到不受影響。參見圖4。

（4）協(xié)同計(jì)算、執(zhí)行控制模塊實(shí)施方式

使用不同的接口方式實(shí)現(xiàn)與攝像機(jī)、機(jī)器人（包含云臺(tái)）的鏈接；封裝機(jī)器人、攝像機(jī)兩種不同接口的通信協(xié)議。定義和實(shí)現(xiàn)對(duì)攝像機(jī)的多維度（如：攝像機(jī)的位置、姿態(tài)等）動(dòng)作驅(qū)動(dòng)控制，將上層送來(lái)的多維規(guī)劃信息與目前的狀態(tài)信息計(jì)算后，形成多維執(zhí)行單元的控制指令和參數(shù)。設(shè)備的參數(shù)感知包括：實(shí)時(shí)感知到設(shè)備的多維度（如攝像機(jī)的俯仰角度、水平角度、焦距等參數(shù)）狀態(tài)信息；將傳感器感測(cè)到的距離直接作用于人體目標(biāo)跟蹤軟件；多維輸入輸出的協(xié)同運(yùn)動(dòng)規(guī)劃，將視頻目標(biāo)跟蹤、路徑規(guī)劃、場(chǎng)景示例學(xué)習(xí)等來(lái)自于場(chǎng)景規(guī)劃層面的多維度軌跡，使用不同的場(chǎng)景模型進(jìn)行計(jì)算，然后做分維和轉(zhuǎn)維處理，傳輸給協(xié)同控制模塊，然后控制攝像機(jī)的位置、姿態(tài)。具體執(zhí)行狀態(tài)圖參見圖5。

（5）場(chǎng)景規(guī)劃軟件模塊實(shí)施方式：

主要有兩部分軟件，即人體跟蹤軟件和簡(jiǎn)單路徑規(guī)劃軟件。人體跟蹤軟件根據(jù)事先設(shè)定好的場(chǎng)景，感測(cè)到主播人的臉部信息，結(jié)合超聲波測(cè)量的攝像機(jī)與人的距離，調(diào)整攝像機(jī)的方位和其他參數(shù)，攝像機(jī)自動(dòng)跟蹤人體，包括人體的左右和上下移動(dòng)，人的行走。簡(jiǎn)單路徑規(guī)劃軟件，可以實(shí)現(xiàn)事先擬定的多維度攝像頭的軌跡參數(shù)，以促使按照設(shè)定的場(chǎng)景進(jìn)行拍攝。

采用的技術(shù)方案是：考慮到協(xié)議和場(chǎng)景的獨(dú)立性，場(chǎng)景規(guī)劃軟件模塊獨(dú)立的編程，其與協(xié)同控制模塊之間使用TCP/IP接口，UDP封裝格式完成進(jìn)程之間的通信。

三.結(jié)束語(yǔ)

由于AGV移動(dòng)系統(tǒng)可以遵循不同程序設(shè)定，實(shí)現(xiàn)同一平面內(nèi)的任意移動(dòng)，較傳統(tǒng)搖臂的底座固定和傳統(tǒng)移動(dòng)軌道的單一線性設(shè)定具有極大的空間優(yōu)勢(shì)，可以實(shí)現(xiàn)對(duì)演播室空間的高效利用，其本身具有較強(qiáng)的可移動(dòng)性，應(yīng)用場(chǎng)景更加廣泛。傳統(tǒng)搖臂或者軌道移動(dòng)拍攝場(chǎng)景，即便在優(yōu)秀攝像師的配合和操作下，也很難完成部分高難度動(dòng)態(tài)畫面追蹤拍攝。通過該系統(tǒng)的“場(chǎng)景編排+路徑規(guī)劃+人體跟蹤”，可以輕松完成以人物為中心的動(dòng)態(tài)畫面追蹤拍攝，極大拓展主播或其他拍攝對(duì)象的表現(xiàn)能力。六軸工業(yè)機(jī)械臂活動(dòng)靈活，臂展長(zhǎng)度可根據(jù)需求設(shè)定，較搖臂具有更大優(yōu)勢(shì)。機(jī)械系統(tǒng)的運(yùn)動(dòng)軌跡不僅可以實(shí)現(xiàn)在三維空間里任意設(shè)定，并且可以實(shí)現(xiàn)路徑的實(shí)時(shí)存儲(chǔ)、隨時(shí)調(diào)用，所有運(yùn)動(dòng)軌跡可以精確到毫米級(jí)別，遠(yuǎn)遠(yuǎn)超過人工操作精度。智能移動(dòng)拍攝系統(tǒng)具備全功能的遙控能力，支持多軸同時(shí)操作，機(jī)器人的前進(jìn)和后退、攝像機(jī)漂移、搖臂旋轉(zhuǎn)可以同時(shí)獨(dú)立完成，攝像師利用多軸同時(shí)操作，可以實(shí)現(xiàn)之前人力不能完成的攝像動(dòng)作，滿足影視制作設(shè)計(jì)、策劃對(duì)鏡頭提出的復(fù)雜要求，大幅提高制作的水平。B&P