基于樹莓派的六足機(jī)器人目標(biāo)跟蹤系統(tǒng)研究*

劉 東， 蔣 剛， 留滄海

(1.西南科技大學(xué) 制造科學(xué)與工程學(xué)院，四川 綿陽(yáng) 621010；2.成都理工大學(xué) 核技術(shù)與自動(dòng)化工程學(xué)院，四川 成都 610059；3.制造過程測(cè)試技術(shù)省部共建教育部重點(diǎn)實(shí)驗(yàn)室，四川 綿陽(yáng) 621010)

0 引 言

六足機(jī)器人因其具有較高的承載能力、地形適應(yīng)能力、運(yùn)動(dòng)靈活性、平穩(wěn)性等特性在諸多領(lǐng)域都有著廣泛的應(yīng)用前景[1]。目前主流的識(shí)別與跟蹤技術(shù)主要有兩個(gè)問題需要解決，首先，大多數(shù)的目標(biāo)識(shí)別與跟蹤都是通過攝像頭固定于三腳架上進(jìn)行拍攝[2]，因此監(jiān)控的場(chǎng)景非常局限，如果采用多攝像頭拍攝就會(huì)使得監(jiān)控成本大大提高；其次，目標(biāo)識(shí)別與跟蹤大多應(yīng)用于輪式機(jī)器人上，如果遇到路面凹凸不平，輪式機(jī)器人很難發(fā)揮作用[3,4]。為了解決機(jī)器人在凹凸不平的路面上穩(wěn)定運(yùn)行和視野局限的問題，研究者采用6足式機(jī)器人搭載攝像頭的方式進(jìn)行識(shí)別與跟蹤。當(dāng)背景是相對(duì)復(fù)雜的情況下，算法的實(shí)時(shí)性和準(zhǔn)確性的要求在實(shí)現(xiàn)上無(wú)法得到滿意結(jié)果[5,6]。在目標(biāo)識(shí)別與跟蹤上，許多研究者進(jìn)行了深入的研究，例如Henriques J F等人在2014年提出經(jīng)典的核相關(guān)濾波(kernelized correlation filtering，KCF)算法，對(duì)于相關(guān)濾波的求解方面，KCF算法將循環(huán)矩陣?yán)铼?dú)有的傅里葉空間對(duì)角化性質(zhì)簡(jiǎn)化到非線性空間中求解，進(jìn)而提升算法的運(yùn)行效率[7]。Kalal等人提出TLD(tracking-learning-detection)單目標(biāo)跟蹤算法，TLD是一種在視頻中對(duì)未知運(yùn)動(dòng)目標(biāo)進(jìn)行長(zhǎng)期跟蹤的算法結(jié)構(gòu)[8]。紀(jì)筱鵬等人提出通過輪廓特征結(jié)合Kalman濾波的方式進(jìn)行運(yùn)動(dòng)車輛的跟蹤，通過Kalman修正車輛在圖像中的質(zhì)心位置坐標(biāo)[9]。足式機(jī)器人在導(dǎo)航、監(jiān)控、多機(jī)協(xié)作、人機(jī)交互等領(lǐng)域應(yīng)用廣泛，然而傳統(tǒng)跟蹤算法準(zhǔn)確性較差、魯棒性不足。

本文設(shè)計(jì)了一種基于樹莓派的六足機(jī)器人目標(biāo)識(shí)別與跟蹤系統(tǒng)。在室外走廊、碎石路環(huán)境下，本文通過六足機(jī)器人搭載Kinect高清攝像頭對(duì)行人和目標(biāo)六足機(jī)器人進(jìn)行識(shí)別與跟蹤。

1 系統(tǒng)總體方案

監(jiān)控場(chǎng)景中存在的目標(biāo)六足機(jī)器人及行人如圖1所示。本文系統(tǒng)主要由Kinect V1高清攝像頭、樹莓派4B，STM32控制器、傳感器、舵機(jī)驅(qū)動(dòng)板、兩臺(tái)六足機(jī)器人組成，其中，Kinect高清攝像頭是圖像采集模塊，樹莓派4B為圖像處理模塊，STM32和舵機(jī)驅(qū)動(dòng)板等為控制模塊，兩臺(tái)六足機(jī)器人中其中一臺(tái)為載體，另一臺(tái)為待識(shí)別與跟蹤的目標(biāo)六足機(jī)器人如圖2所示。

圖1 監(jiān)控場(chǎng)景中的目標(biāo)六足機(jī)器人及行人

圖2 載體六足機(jī)器人和目標(biāo)六足機(jī)器人

系統(tǒng)通過Kinect V1高清攝像頭進(jìn)行環(huán)境圖像的采集，通過OpenCV進(jìn)行圖像預(yù)處理，將預(yù)處理結(jié)果通過串口通信把圖像和質(zhì)心坐標(biāo)信息傳遞給STM32，利用STM32控制舵機(jī)驅(qū)動(dòng)板來(lái)驅(qū)動(dòng)六足機(jī)器人進(jìn)行跟蹤，通過六足機(jī)器人檢測(cè)位置和角度的傳感器來(lái)采集機(jī)器人自身狀態(tài)，并將狀態(tài)信息傳遞回STM32，從而形成閉環(huán)控制，完成六足機(jī)器人對(duì)目標(biāo)的穩(wěn)定跟蹤。

六足機(jī)器人的目標(biāo)識(shí)別與跟蹤實(shí)驗(yàn)中，采用YOLO v3算法進(jìn)行目標(biāo)六足機(jī)器人及行人的檢測(cè)與識(shí)別，得到目標(biāo)跟蹤的質(zhì)心位置信息，結(jié)合Kalman濾波來(lái)預(yù)測(cè)和修正當(dāng)前時(shí)刻的位置，實(shí)現(xiàn)在室外環(huán)境下六足機(jī)器人的目標(biāo)識(shí)別與跟蹤要求。

2 六足機(jī)器人的識(shí)別與跟蹤

2.1 YOLO v3識(shí)別

在 2016 年，劉磊[10]提出了一種基于回歸的目標(biāo)識(shí)別算法名為YOLO[11]( you only look once)，通過兩年的不斷發(fā)展，在2018年提出了YOLO v3[12]算法。 YOLO v3 網(wǎng)絡(luò)檢測(cè)速度快，識(shí)別準(zhǔn)確率高，相較于YOLO v2算法在檢測(cè)與識(shí)別小物體方面上準(zhǔn)確率得到很大提升[13]。YOLO v3借鑒了殘差網(wǎng)絡(luò)結(jié)構(gòu)得到較深的網(wǎng)絡(luò)層次，并結(jié)合多尺度檢測(cè)，提升了較小物體檢測(cè)精度。YOLO v3 算法流程中將輸入圖像歸一化為416×416的大小，然后將整張圖像劃分成13×13 的網(wǎng)格， 如果目標(biāo)的中心落入其中某一網(wǎng)格中，則該網(wǎng)格負(fù)責(zé)預(yù)測(cè)和識(shí)別該目標(biāo)[14]，本文共采集6 000張不同環(huán)境下的目標(biāo)六足機(jī)器人和行人的RGB圖片作為數(shù)據(jù)庫(kù)，通過YOLO v3算法訓(xùn)練出一個(gè)特征信息良好的識(shí)別模型，圖3是室外環(huán)境下YOLO v3對(duì)目標(biāo)六足機(jī)器人及行人的識(shí)別效果圖。

圖3 目標(biāo)六足機(jī)器人及行人的識(shí)別效果

2.2 卡爾曼濾波跟蹤

卡爾曼濾波被廣泛應(yīng)用于無(wú)人機(jī)、自動(dòng)駕駛、衛(wèi)星導(dǎo)航等領(lǐng)域，卡爾曼濾波算法是一種非常高效的遞歸濾波算法[15]，其核心方程分為狀態(tài)方程和觀測(cè)方程，具有計(jì)算輕量，實(shí)時(shí)性高，能夠讓目標(biāo)跟蹤的定位信息更加準(zhǔn)確和高效，卡爾曼濾波的狀態(tài)方程

Xk=AXk-1+Wk-1

(1)

觀測(cè)方程

Zk=HXk+Vk

(2)

利用卡爾曼濾波跟蹤目標(biāo)六足機(jī)器人及行人，必須先要知道跟蹤目標(biāo)的初始時(shí)刻的位置坐標(biāo)X0=[x0,y0,vx,vy]。(x0,y0)為目標(biāo)在圖像中的質(zhì)心坐標(biāo)位置；vx和vy為目標(biāo)在x軸和y軸方向的初始速度。A為初始化下的狀態(tài)轉(zhuǎn)移矩陣，H為觀測(cè)矩陣，W為過程噪聲，V為觀測(cè)噪聲。為了對(duì)目標(biāo)實(shí)現(xiàn)穩(wěn)定跟蹤，通過卡爾曼濾波算法預(yù)測(cè)的目標(biāo)質(zhì)心位置X2與YOLO v3算法計(jì)算出的質(zhì)心位置X1的差值與設(shè)定的閾值T來(lái)修正目標(biāo)在圖像中的位置信息[16]。如果X1-X2

3 數(shù)據(jù)采集與處理

本文通過六足機(jī)器人搭載Kinect V1高清攝像頭在室外走廊、碎石路等背景下對(duì)目標(biāo)六足機(jī)器人及行人進(jìn)行圖片的采集，并將采集到的圖片作為原始數(shù)據(jù)集，目標(biāo)位于數(shù)據(jù)圖片任意位置且采集角度不固定。

為了提高模型對(duì)室外光照強(qiáng)弱、方向變化，陰影遮擋等影響下目標(biāo)檢測(cè)的魯棒性，需要對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，常見的數(shù)據(jù)擴(kuò)充方法有翻轉(zhuǎn)、角度旋轉(zhuǎn)、縮放和對(duì)比度變換等方法。本文通過翻轉(zhuǎn)操作將3 000張?jiān)紨?shù)據(jù)集擴(kuò)充2倍，最終數(shù)據(jù)庫(kù)共有6 000張圖片，其中隨機(jī)選擇4 800張作為訓(xùn)練集圖片，1 200張作為測(cè)試集圖片。將所有圖片大小進(jìn)行歸一化，通過OpenCV將尺寸大小統(tǒng)一設(shè)為416×416并進(jìn)行人工標(biāo)注。

本文采用可視化的圖像標(biāo)定工具LabelImg進(jìn)行標(biāo)注，通過LabelImg標(biāo)注軟件對(duì)不同背景下的目標(biāo)六足機(jī)器人及行人進(jìn)行人工標(biāo)注，將圖片中目標(biāo)六足機(jī)器人及行人框選出。圖4是室外環(huán)境下目標(biāo)六足機(jī)器人及行人的標(biāo)注示意圖，標(biāo)注完成一張圖片后會(huì)生成相對(duì)應(yīng)的.xml文件，之后利用YOLO v3算法訓(xùn)練數(shù)據(jù)集,并得到所需的目標(biāo)識(shí)別模型和跟蹤過程所需要的位置信息，并將其傳入到卡爾曼濾波進(jìn)行軌跡的預(yù)測(cè)。

圖4 目標(biāo)六足機(jī)器人及行人的標(biāo)注示意

4 實(shí)驗(yàn)驗(yàn)證與分析

實(shí)驗(yàn)測(cè)試六足機(jī)器人在移動(dòng)過程中對(duì)行人及目標(biāo)六足機(jī)器人的跟蹤性能，在室外背景復(fù)雜度適中的環(huán)境下進(jìn)行，六足機(jī)器人和目標(biāo)六足機(jī)器人的運(yùn)動(dòng)速度均控制在每幀15個(gè)像素以內(nèi)，行人行走速度控制在0.6 m/s，目標(biāo)六足機(jī)器人和行人在場(chǎng)景中隨機(jī)運(yùn)動(dòng)。軟件平臺(tái)使用PyCharm和OpenCV 3.4.2，深度學(xué)習(xí)使用TensorFlow框架。

為了使六足機(jī)器人的目標(biāo)識(shí)別與跟蹤能在室外環(huán)境下順利進(jìn)行，必須要克服檢測(cè)時(shí)發(fā)生的軌跡漂移問題。由于漂移軌跡的特點(diǎn)是首尾兩點(diǎn)距離較遠(yuǎn)，可以通過計(jì)算兩個(gè)端點(diǎn)的歐氏距離，并設(shè)置兩個(gè)端點(diǎn)的歐氏距離不能超過20來(lái)屏蔽首次檢測(cè)出現(xiàn)的軌跡漂移現(xiàn)象，通過改進(jìn)后的卡爾曼濾波器可以通過預(yù)測(cè)值準(zhǔn)確地修正目標(biāo)機(jī)器人及行人的質(zhì)心位置以達(dá)到穩(wěn)定跟蹤。圖5是YOLO v3結(jié)合卡爾曼濾波算法在室外環(huán)境下對(duì)目標(biāo)六足機(jī)器人的第30,60,90,120幀的跟蹤結(jié)果圖和對(duì)行人的第20,60,100,140幀的結(jié)果。圖5(a)是室外走廊下的跟蹤結(jié)果，圖5(b)是室外碎石路下的跟蹤結(jié)果圖，圖5(c)是室外行人的跟蹤結(jié)果。從圖5可以看出，當(dāng)YOLO v3結(jié)合Kalman濾波算法出現(xiàn)識(shí)別錯(cuò)誤時(shí)可通過Kalman濾波的預(yù)測(cè)值進(jìn)行修正，所以在不影響跟蹤實(shí)時(shí)性的前提下，還保證了跟蹤的準(zhǔn)確性。

圖5 目標(biāo)六足機(jī)器人及行人的跟蹤結(jié)果

表1對(duì)比分析了目標(biāo)跟蹤經(jīng)典算法(KCF,TLD)與YOLO v3結(jié)合Kalman濾波算法的跟蹤性能,v1表示在室外走廊下的目標(biāo)六足機(jī)器人，v2表示在室外碎石路下的目標(biāo)六足機(jī)器人，算法的實(shí)時(shí)性可以用每秒運(yùn)行的幀數(shù)來(lái)體現(xiàn)，從表1可以看出YOLO v3結(jié)合Kalman濾波算法在實(shí)時(shí)性上低于KCF算法，但也能滿足實(shí)時(shí)性的跟蹤要求，且YOLO v3結(jié)合Kalman濾波算法在室外環(huán)境下的準(zhǔn)確率相較于KCF和TLD算法都有較大的提高。

表1 不同算法下六足機(jī)器人的目標(biāo)跟蹤性能

中心位置誤差(center location error,CLE)是六足機(jī)器人目標(biāo)跟蹤精度的一個(gè)重要指標(biāo)，中心位置誤差是指目標(biāo)跟蹤框的中心位置和真實(shí)物體跟蹤框的中心位置兩者之間的歐氏距離的均值。

為了更準(zhǔn)確評(píng)估三種算法對(duì)于六足機(jī)器人的目標(biāo)跟蹤性能，對(duì)比了在室外環(huán)境下目標(biāo)跟蹤經(jīng)典算法和YOLO v3結(jié)合卡爾曼濾波算法跟蹤目標(biāo)六足機(jī)器人和行人的中心位置的誤差，如表2所示。中心位置誤差越小，跟蹤結(jié)果越準(zhǔn)確，從表中可以看出利用卡爾曼濾波的跟蹤算法的平均中心位置誤差相比于經(jīng)典跟蹤算法的平均中心位置誤差要低很多。

表2 不同算法下目標(biāo)跟蹤的中心位置誤差(CLE/像素)

5 結(jié)束語(yǔ)

六足機(jī)器人對(duì)環(huán)境的極強(qiáng)適應(yīng)性和穩(wěn)定性使目標(biāo)識(shí)別與跟蹤實(shí)驗(yàn)可以在室外相對(duì)復(fù)雜的環(huán)境下進(jìn)行，本文提出利用 YOLO v3結(jié)合卡爾曼濾波實(shí)現(xiàn)六足機(jī)器人室外環(huán)境下的目標(biāo)識(shí)別與跟蹤。實(shí)驗(yàn)對(duì)比分析了經(jīng)典跟蹤算法和利用YOLO v3結(jié)合卡爾曼濾波的跟蹤算法在準(zhǔn)確率、速度、中心位置誤差上的影響。在室外環(huán)境下進(jìn)行的六足機(jī)器人目標(biāo)識(shí)別與跟蹤實(shí)驗(yàn)在準(zhǔn)確率和魯棒性上優(yōu)勢(shì)明顯，但在實(shí)時(shí)性上相較傳統(tǒng)算法略差一些。后續(xù)研究將改進(jìn)算法提高六足機(jī)器人目標(biāo)識(shí)別與跟蹤的實(shí)時(shí)性以期提高六足機(jī)器人的智能化水平。