一種機(jī)器視覺的安防巡邏機(jī)器人系統(tǒng)設(shè)計(jì)

田 佳，劉泓濱，王 宇，桂 林

（1．昆明理工大學(xué)機(jī)電工程學(xué)院，云南 昆明 650000；2．廣東省智能制造研究所，廣東 廣州 510000）

1 引言

隨著國家的發(fā)展，我國城鎮(zhèn)人口越來越多，維護(hù)城市公共安全對保障市民正常生活具有重要作用，特別是人口流動(dòng)密集的公共場所，如：商業(yè)廣場、汽車站、火車站、飛機(jī)場和學(xué)校[1]。安防巡邏機(jī)器人則是一類能夠把檢測到的異?；蛘呶ｋU(xiǎn)情況信息實(shí)時(shí)反饋給客戶端的機(jī)器人，保障對現(xiàn)場環(huán)境的安全控制。傳統(tǒng)的安防設(shè)備主要是由各類固定的監(jiān)控?cái)z像頭組成。即使與安防工作人員配合工作，傳統(tǒng)的反方設(shè)備也存在以下幾個(gè)問題：

（1）攝像頭容易被不法分子損壞或遮蓋，且位置固定具有視覺盲點(diǎn)；

（2）監(jiān)控設(shè)備不能警示和目標(biāo)跟蹤；

（3）對已做出危險(xiǎn)行為的目標(biāo)，不能快速、直接地做出打擊并控制住現(xiàn)狀等。

安防巡邏機(jī)器人是由機(jī)器人作為運(yùn)動(dòng)載體，將固定的監(jiān)控系統(tǒng)動(dòng)態(tài)化，為避免了上述傳統(tǒng)安防系統(tǒng)的缺點(diǎn)，使安防監(jiān)控的區(qū)域更廣、方式更加靈活[2]。國內(nèi)國防科技技術(shù)大學(xué)研制的“ANBOT”，具有自主巡邏、智能監(jiān)控探測、遙控制暴、聲光報(bào)警、身份識別、自主充電等多種功能；國外美國硅谷的機(jī)器人安保公司Knightscope研發(fā)的K1、K3、K5和K7系列安防機(jī)器人有GPS 定位、激光掃描、沿指定線路巡邏或者任意自主行走和熱感應(yīng)等多項(xiàng)功能，并配備有監(jiān)控?cái)z像機(jī)、感應(yīng)器、氣味探測器和熱成像系統(tǒng)，連接手機(jī)可進(jìn)行數(shù)據(jù)傳送[3]。

但是，這類安防機(jī)器人不能識別出圖像中的異常狀態(tài)，并且無法很好實(shí)現(xiàn)與安保人員之間的系統(tǒng)工作。設(shè)計(jì)的安防巡邏機(jī)器人能夠靈活地按照規(guī)定路線自主巡航巡邏，通過機(jī)器視覺對檢測到的危險(xiǎn)目標(biāo)做出警示并跟蹤，對危險(xiǎn)目標(biāo)進(jìn)行遠(yuǎn)程控制打擊或自主打擊。該研究涉及機(jī)械結(jié)構(gòu)、自動(dòng)化控制、無線通訊、機(jī)器視覺技術(shù)等多方面內(nèi)容，在商業(yè)廣場、火車站、汽車站、飛機(jī)場和學(xué)校等復(fù)雜環(huán)境的安防巡邏工作中具有一定的應(yīng)用價(jià)值。

2 安防巡邏機(jī)器人的設(shè)計(jì)

我國安防機(jī)器人主要分為兩大類：軍用和民用。從功能上可分為：巡邏機(jī)器人、安保機(jī)器人、救援機(jī)器人等[4]。安防機(jī)器人的組成結(jié)構(gòu)可以概括為驅(qū)動(dòng)系統(tǒng)、傳感器系統(tǒng)、遠(yuǎn)程監(jiān)控系統(tǒng)、避障系統(tǒng)、安全防護(hù)系統(tǒng)、自主導(dǎo)航系統(tǒng)等，一個(gè)或者多個(gè)子系統(tǒng)構(gòu)成一個(gè)耦合系統(tǒng)。

2.1 系統(tǒng)框架設(shè)計(jì)

安防巡邏機(jī)器人系統(tǒng)主要采用主從式（C/S）構(gòu)架。智能終端作為客戶端，四輪移動(dòng)安防巡邏機(jī)器人作為服務(wù)器，其系統(tǒng)構(gòu)架示意，如圖1 所示。機(jī)器人通過工業(yè)USB 攝像頭動(dòng)態(tài)的采集視頻圖像，各類傳感器提取周圍環(huán)境信息，通過Internet 網(wǎng)絡(luò)WIFI 技術(shù)傳遞給國定或移動(dòng)客戶端[5-7]。客戶端根據(jù)機(jī)器人反饋回來的視頻和數(shù)據(jù)，可控制機(jī)器人的行為對“警示”目標(biāo)進(jìn)行重點(diǎn)觀察和追蹤，對已做出危險(xiǎn)行為的目標(biāo)進(jìn)行“投彈”或電擊打擊。該安防巡邏機(jī)器人包括遠(yuǎn)程檢測及控制系統(tǒng)、視頻采集系統(tǒng)、傳感器檢測系統(tǒng)、反恐打擊系統(tǒng)等。

圖1 系統(tǒng)構(gòu)架示意Fig.1 System Framework Gesture

2.2 系統(tǒng)硬件設(shè)計(jì)

機(jī)器人控制系統(tǒng)使用STM32F4 芯片作為控制器。主控板和各個(gè)驅(qū)動(dòng)元件之間的通信方式采用CAN 總線，分別接有電源模塊、直流電機(jī)驅(qū)動(dòng)模塊、視頻實(shí)時(shí)采集模塊、GPS 定位模塊、紅外傳感器、超聲波傳感器、防爆打擊組件等[8]。YB-SP 安防巡邏機(jī)器人硬件框架，如圖2 所示。機(jī)器人按照規(guī)定的計(jì)劃路線勻速運(yùn)動(dòng)，并主動(dòng)避開障礙。采用輪式移動(dòng)方式，L289N 直流電機(jī)驅(qū)動(dòng)板驅(qū)動(dòng)直流無刷減速電機(jī)，對四個(gè)獨(dú)立運(yùn)動(dòng)的麥克納姆輪進(jìn)行驅(qū)動(dòng)。麥克納姆輪全方位運(yùn)動(dòng)系統(tǒng)的輪組布局形式多種多樣，實(shí)現(xiàn)前行、橫移、斜行、旋轉(zhuǎn)及其組合等運(yùn)動(dòng)方式。視頻的采集通過小蟻高清1080P 網(wǎng)絡(luò)攝像頭實(shí)現(xiàn)，無線網(wǎng)絡(luò)通過串口通信與STM32芯片連接，實(shí)現(xiàn)智能終端如PC 遠(yuǎn)程查看視頻信息并及時(shí)傳送指令。機(jī)器人中多傳感器耦合，實(shí)現(xiàn)對環(huán)境參數(shù)檢測和現(xiàn)場警示，保證了系統(tǒng)檢測的準(zhǔn)確性，使機(jī)器人在執(zhí)行任務(wù)過程中更加自動(dòng)化、智能化[9]。YB-SP 安防巡邏機(jī)器人整體結(jié)構(gòu)，如圖3 所示。

圖2 YB-SP 安防巡邏機(jī)器人硬件框架Fig.2 YB-SP Security Patrol Robot Hardware Framework

圖3 YB-SP 安防巡邏機(jī)器人整體結(jié)構(gòu)Fig.3 Overall Structure of YB-SP Security Patrol Robot

3 機(jī)器人視覺系統(tǒng)

使用通用USB 攝像頭采集視頻圖像，通過Internet 網(wǎng)絡(luò)WIFI技術(shù)將數(shù)字信號傳輸?shù)娇蛻舳?。采用Python 語言進(jìn)行編程，結(jié)合OpenCV 函數(shù)庫對視頻圖像進(jìn)行目標(biāo)識別和跟蹤。經(jīng)典的技術(shù)路線是：目標(biāo)分割（Target Segmentation）、目標(biāo)檢測（Target Recognition）、目標(biāo)識別（Target Detection）、目標(biāo)跟蹤（Target Tracking）。采用 Faster-RCNN（Faster Region-based Convolutional Neural Networks）[10]目標(biāo)檢測識別方法對“危險(xiǎn)目標(biāo)”進(jìn)行檢測。

3.1 Faster R-CNN 目標(biāo)檢測算法

Faster R-CNN 目標(biāo)檢測算法是基于深度學(xué)習(xí)R-CNN 系列目標(biāo)檢測最好的方法，由兩大模塊組成：RPN（Region Proposal Network）候選區(qū)域提取模塊和Fast R-CNN（Fast Region-based Convolutional Neural Networks）檢測模塊[11]。其中，RPN 是全卷積神經(jīng)網(wǎng)絡(luò)，代替了之前的文獻(xiàn)[12-13]方法，通過end-to-end 的方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，生成高質(zhì)量的包含目標(biāo)的候選區(qū)域（regionproposals）；Fast R-CNN 則是對 RPN 提取的 proposals 進(jìn)行分類檢測，并修正候選區(qū)域的邊界框。其主要特點(diǎn)是：（1）輸入圖像大小不受任何限制，不影響性能；（2）真正實(shí)現(xiàn)了端對端（End toEnd）的目標(biāo)檢測框架；（3）提高了檢測精度和速度；（4）生成建議框僅需10ms。整體實(shí)現(xiàn)過程為：輸入圖片（Input Image）、RPN生成候選區(qū)域（Region Proposal）、CNN 特征提取、Softmax 分類、位置精修。Faster R-CNN 框架模型，如圖4 所示。

圖4 Faster R-CNN 框架模型Fig.4 Frame Model of Faster R-CNN

3.2 RPN 的整體結(jié)構(gòu)

RPN 的核心思想就是使用卷積神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生regionproposal，本質(zhì)上就是滑動(dòng)窗口。輸入一個(gè)任意尺寸的圖片作，在每個(gè)圖像位置輸出一個(gè)預(yù)測的objectboundingbox 和objectnessscore，同時(shí)這個(gè)網(wǎng)絡(luò)與原來的Fast R-CNN 共享convfeaturemap。

RPN 的整體結(jié)構(gòu)主要分為四個(gè)步驟：

（1）輸入圖片經(jīng)卷積網(wǎng)絡(luò)（例如：VGGNet 和ResNet）處理后，生成最后一個(gè)卷積層的feature map。

（2）在卷積層的featuremap 上進(jìn)行滑窗操作（slidingwindow），并生成特征向量，滑窗尺寸為 n×n（例如：3×3）。

（3）每個(gè)sliding window 位置的特征向量送入兩個(gè)并列的FC層做預(yù)測。該網(wǎng)絡(luò)具有兩個(gè)輸出任務(wù)分支：classification（cls）和regression（reg），其中，regression 分支輸出預(yù)測的邊界框boundingbox：（x，y，w，h）；classification 分支輸出一個(gè)概率值，表示 boundingbox 中是否包含object（classid=1），或者是background（classid=0）。

（4）根據(jù)分類的score 對region proposals 進(jìn)行非極大值抑制。

3.3 交替訓(xùn)練實(shí)現(xiàn)過程

同時(shí)訓(xùn)練RPN 和Fast R-CNN 兩個(gè)網(wǎng)絡(luò)。RPN 網(wǎng)絡(luò)訓(xùn)練，涉及groundtruth 和lossfunction 的問題。Fast R-CNN 的訓(xùn)練與原始Fast R-CNN 方法一樣，只是產(chǎn)生regionproposals 的方法由selectivesearch 變成了RPN 網(wǎng)絡(luò)。為實(shí)現(xiàn)共享卷積層featuremap，兩個(gè)網(wǎng)絡(luò)的交替訓(xùn)練流程如下：

（1）單獨(dú)訓(xùn)練RPN 網(wǎng)絡(luò)。使用在ImageNet 上預(yù)訓(xùn)練的模型初始化RPN 網(wǎng)絡(luò)參數(shù)，微調(diào)RPN 網(wǎng)絡(luò)。

（2）單獨(dú)訓(xùn)練Fast R-CNN 網(wǎng)絡(luò)。使用第一步RPN 網(wǎng)絡(luò)提取的regionproposal 訓(xùn)練Fast R-CNN 網(wǎng)絡(luò)，并用ImageNet 上預(yù)訓(xùn)練的模型初始化該網(wǎng)絡(luò)參數(shù)。

（3）再次訓(xùn)練RPN。使用第二步的Fast R-CNN 網(wǎng)絡(luò)重新初始化RPN，固定卷積層進(jìn)行微調(diào)，微調(diào)RPN 網(wǎng)絡(luò)。

（4）RPN 訓(xùn)練結(jié)果 region proposal 再次微調(diào) Fast-RCNN 網(wǎng)絡(luò)。固定網(wǎng)絡(luò)公共部分的參數(shù)，只更新Fast-RCNN 獨(dú)有部分的參數(shù)。

4 實(shí)驗(yàn)與分析

YB-SP 巡邏機(jī)器人通過機(jī)器人視覺，主要針對部分裸露在外的管制刀具等尖銳的危險(xiǎn)物品進(jìn)行識別檢測。本次實(shí)驗(yàn)主要是以水果刀和匕首作為研究目標(biāo)。

4.1 數(shù)據(jù)集制作與訓(xùn)練

刀類圖片數(shù)據(jù)庫的制作與訓(xùn)練中，采用VOC2007 數(shù)據(jù)集的格式。本次實(shí)驗(yàn)針對匕首、水果刀兩類刀具共計(jì)300 張圖片以00000x.jpg 的格式重命名，并手動(dòng)框選標(biāo)定目標(biāo)。制作好的數(shù)據(jù)集在win10 系統(tǒng)和GTX1050 的環(huán)境下對目標(biāo)特征迭代訓(xùn)練20000 次，再進(jìn)行檢測。目標(biāo)標(biāo)定，如圖5 所示。

圖5 目標(biāo)標(biāo)定Fig.5 Target Calibration

4.2 實(shí)驗(yàn)結(jié)果

隨機(jī)輸入具有目標(biāo)特征的圖片進(jìn)行檢測，輸入圖片分為兩類：（1）圖片中只包含背景和目標(biāo)；（2）圖片中包含背景和目標(biāo)且目標(biāo)被部分遮擋。其中，水果刀和匕首屬于以上兩種類型的圖片各50 張進(jìn)行測試，共計(jì)200 張照片。該實(shí)驗(yàn)結(jié)果能夠有效快速的對目標(biāo)進(jìn)行識別，識別時(shí)間在0.2s 左右。簡單環(huán)境識別結(jié)果，如圖6 所示；復(fù)雜環(huán)境識別結(jié)果，如圖7 所示。

圖6 簡單環(huán)境識別結(jié)果Fig.6 Simple Environment Identification Results

圖7 復(fù)雜環(huán)境識別結(jié)果Fig.7 Complex Environment Identification Results

該實(shí)驗(yàn)成功的實(shí)現(xiàn)了YB-SP 安防巡邏機(jī)器人在視覺模塊中對刀具識別功能，實(shí)驗(yàn)整體結(jié)果，如表1 所示。該方法屬于有監(jiān)督學(xué)習(xí)的識別方法，RPN 和Fast-RCNN 通過一種簡單的交替運(yùn)算優(yōu)化方法，實(shí)現(xiàn)在訓(xùn)練過程中共享卷積特征，使得建議候選框檢測幾乎不花費(fèi)時(shí)間，提高檢測效率。

表1 識別試驗(yàn)結(jié)果Tab.1 Identification Test Results

5 總結(jié)

設(shè)計(jì)的基于機(jī)器人視覺的安防巡邏機(jī)器人系統(tǒng)能夠?qū)⒁曨l圖像通過Internet 網(wǎng)絡(luò)WIFI 技術(shù)傳遞給客戶端，基于機(jī)器學(xué)習(xí)Faster-RCNN 機(jī)器視覺目標(biāo)識別檢測方法高效快速的識別目標(biāo)并做出警示。客戶端（控制端）人員可以通過智能手機(jī)或PC 終端遠(yuǎn)程查看視頻和環(huán)境情況，可對機(jī)器人進(jìn)行遠(yuǎn)程控制。實(shí)驗(yàn)結(jié)果表明，通過Faster R-CNN 算法對自制數(shù)據(jù)庫（水果刀和匕首）進(jìn)行RPN 網(wǎng)絡(luò)和Fast R-CNN 網(wǎng)絡(luò)交替訓(xùn)練，能對目標(biāo)進(jìn)行有效的識別，匕首正確率83%，水果刀正確率74%。后期我們將重點(diǎn)針對刀具的具體特點(diǎn)進(jìn)行進(jìn)行算法的改進(jìn)，并實(shí)現(xiàn)實(shí)時(shí)檢測與追蹤。該YB-SP 安防巡邏機(jī)器人打破傳統(tǒng)安防系統(tǒng)的局限性，協(xié)助工作人員進(jìn)行治安管理，具有識別效率高、可靠性高、拓展性強(qiáng)，具有廣泛的應(yīng)用前景。