一種基于ROS的人臉識(shí)別系統(tǒng)設(shè)計(jì)研究

蘇鵬飛 趙建文

摘? ?要：機(jī)器人操作系統(tǒng)是可以提供一系列程序庫(kù)和工具、幫助軟件開(kāi)發(fā)者實(shí)現(xiàn)創(chuàng)建機(jī)器人的軟件。功能包括設(shè)備驅(qū)動(dòng)、函數(shù)庫(kù)、硬件抽象、消息傳遞、可視化功能、軟件包等幾項(xiàng)內(nèi)容，可以為機(jī)器人技術(shù)整合和云計(jì)算提供有效的軟件框架。人臉識(shí)別是人機(jī)交互過(guò)程中必須具備的基本功能，在人臉識(shí)別過(guò)程中圖像的預(yù)處理、特征提取與匹配等都需要計(jì)算和數(shù)據(jù)的密切配合。文章在ROS機(jī)器人平臺(tái)上，設(shè)計(jì)并實(shí)現(xiàn)了人臉識(shí)別系統(tǒng)，經(jīng)過(guò)真實(shí)環(huán)境的一系列測(cè)試得出，大部分情況下達(dá)到在移動(dòng)機(jī)器人平臺(tái)下對(duì)人臉識(shí)別系統(tǒng)的要求。

關(guān)鍵詞：機(jī)器人操作系統(tǒng);人臉識(shí)別;設(shè)計(jì)研究

1? ? 人臉識(shí)別系統(tǒng)

人臉識(shí)別系統(tǒng)主要包含5大部分：人臉圖像采集、人臉檢測(cè)、圖像預(yù)處理、特征提取、圖像特征的匹配，實(shí)現(xiàn)過(guò)程流程如下。

人臉圖像→數(shù)據(jù)庫(kù)→人臉檢測(cè)→圖像預(yù)處理→特征提取→人臉特征→人臉特征匹配。

1.1? 人臉數(shù)據(jù)庫(kù)

人臉數(shù)據(jù)庫(kù)是指包含多張人臉圖像并且包含同一個(gè)人在不同時(shí)期的多張圖像集合形成的數(shù)據(jù)庫(kù)。所以在通常狀況下，年齡數(shù)據(jù)庫(kù)可以為年齡不變性的人臉識(shí)別提供訓(xùn)練和測(cè)試的基礎(chǔ)數(shù)據(jù)。人臉檢測(cè)是對(duì)得到的任意人臉圖像進(jìn)行的分析，借用某種算法去判斷圖像中的人臉是否可見(jiàn)、是否可用，確定人臉的范圍、角度、姿勢(shì)等信息，然后根據(jù)這些信息進(jìn)行人臉區(qū)域剪裁。圖像預(yù)處理是對(duì)人臉進(jìn)行統(tǒng)一歸整，配合矯正除燥的操作，把特征進(jìn)行提取和保證，是人臉識(shí)別的最主要步驟。

1.2? 特征提取

特征提取主要是利用特征向量對(duì)預(yù)處理后的圖像進(jìn)行表征，對(duì)于人臉識(shí)別的質(zhì)量高低有關(guān)鍵性影響，尤其是人臉的視覺(jué)信息多樣，必須經(jīng)過(guò)機(jī)器提取本質(zhì)特征，才可以進(jìn)行之后的識(shí)別分類(lèi)和判斷。人臉圖像特征匹配，是指對(duì)提取出的人臉圖像特征通過(guò)操作系統(tǒng)進(jìn)行相似度的對(duì)比評(píng)判，之后的對(duì)比相似度結(jié)果可以進(jìn)行人臉的最后識(shí)別[1]。還有一種方法就是通過(guò)分類(lèi)器，對(duì)人臉圖像特征進(jìn)行分類(lèi)，最終實(shí)現(xiàn)人臉識(shí)別。

2? ? 關(guān)于機(jī)器人操作系統(tǒng)的人臉識(shí)別系統(tǒng)總體設(shè)計(jì)

為保證機(jī)器人操作系統(tǒng)（Robot Operating System，ROS）中各功能之間的獨(dú)立性，本文在總框架下設(shè)計(jì)了3個(gè)節(jié)點(diǎn)，依次是：攝像頭驅(qū)動(dòng)程序節(jié)點(diǎn)、人臉檢測(cè)節(jié)點(diǎn)、人臉識(shí)別節(jié)點(diǎn)。根據(jù)之前節(jié)點(diǎn)與主題的論述理論基礎(chǔ)，我們?cè)跀z像頭驅(qū)動(dòng)程序camera_node節(jié)點(diǎn)進(jìn)行主題image_topic的發(fā)布，同時(shí)，人臉檢測(cè)節(jié)點(diǎn)detection_node也進(jìn)行image_topic主題發(fā)布，并訂閱image_topic主題。人臉識(shí)別節(jié)點(diǎn)recognition_node進(jìn)行result_topic主題發(fā)布，同時(shí)，需要對(duì)face_topic主題進(jìn)行訂閱，ROS節(jié)點(diǎn)通信示意如圖1所示。

圖1? ROS節(jié)點(diǎn)通信示意

攝像頭驅(qū)動(dòng)程序節(jié)點(diǎn)camera-node，這個(gè)節(jié)點(diǎn)利用opencv從USB攝像頭中會(huì)讀取到彩色圖像，之后發(fā)布到image_topic主題中。其中，opencv是一種云機(jī)器人系統(tǒng)，主要利用分布式計(jì)算技術(shù)和大數(shù)據(jù)進(jìn)行計(jì)算密集和數(shù)據(jù)密集型的計(jì)算任務(wù)，在系統(tǒng)中，也可以與所有客戶端之間共享信息，讓ROS在實(shí)際應(yīng)用中可以達(dá)到更佳的穩(wěn)定性和實(shí)時(shí)性。

3? ? 關(guān)于攝像頭驅(qū)動(dòng)程序節(jié)點(diǎn)設(shè)計(jì)

ROS圖像數(shù)據(jù)發(fā)布是依靠其自定義項(xiàng)下的sensor_msgs/Image等消息格式進(jìn)行的，其格式和傳統(tǒng)的opecv圖像處理格式相比存在不同。如果要查看ROS文本上的sensor_msgs/Image消息格式，可以用這個(gè)命令：rosmsgshowsensor_msgs/Image。ROS可以為文本提供C語(yǔ)言和Python兩種語(yǔ)言模式進(jìn)行公選，可以方便tensorflow與opencv的集成，在本文中是以Python作為基礎(chǔ)來(lái)完成的整體人臉識(shí)別系統(tǒng)的開(kāi)發(fā)。在ROS系統(tǒng)可以做成Python模塊封裝來(lái)支持Python的開(kāi)發(fā)。比如在rospy模塊，ROS提供了相關(guān)節(jié)點(diǎn)的創(chuàng)建，主題訂閱也有對(duì)應(yīng)的函數(shù)接口。類(lèi)似的在std_msgs.msg模塊，ROS封裝的String信息類(lèi)型可以匹配;sensor_msgs.msg模塊也相應(yīng)地含有ROS封裝的sensor_msgs/Image消息類(lèi)型。

在操作過(guò)程中，為了方便起見(jiàn)，會(huì)使用opencv來(lái)進(jìn)行數(shù)據(jù)圖像的操作，本文需要采用的是由ROS提供的cv_brige軟件包。在整個(gè)云機(jī)器人服務(wù)的系統(tǒng)中，云端主要通過(guò)3臺(tái)支持opencv接口的主機(jī)相連接構(gòu)成，ROS是核心樞紐環(huán)節(jié)。在服務(wù)系統(tǒng)之間有標(biāo)準(zhǔn)通用服務(wù)對(duì)接口，每一個(gè)組件可以看作其中一種服務(wù)，通俗講可以看作一個(gè)傳感器、執(zhí)行器等[2]。在客戶端可以連接云端設(shè)備，把手機(jī)、電腦機(jī)器人或者虛擬的機(jī)器人進(jìn)行連接。云機(jī)器人的服務(wù)系統(tǒng)可以同時(shí)對(duì)接多個(gè)機(jī)器人的應(yīng)用與服務(wù)，人臉識(shí)別、目標(biāo)跟蹤、SLAM等，ROS中的vison_opencv程序?？梢詾閛pencv提供通道，進(jìn)而實(shí)現(xiàn)將opencv中的多種人臉識(shí)別計(jì)算最終轉(zhuǎn)化為可供服務(wù)的客戶端調(diào)用模式。cv_bridge在opencv和ROS之間扮演的數(shù)據(jù)格式轉(zhuǎn)化的橋梁角色。

4? ? 關(guān)于人臉識(shí)別的節(jié)點(diǎn)設(shè)計(jì)

一項(xiàng)完整的人臉自動(dòng)識(shí)別系統(tǒng)在大體上可以分為部分人臉的捕捉檢測(cè)、面部特征提取，另一種說(shuō)法是還包含前兩部分合并，對(duì)人臉進(jìn)行分類(lèi)后形成的狹義人臉識(shí)別。計(jì)算機(jī)技術(shù)核科學(xué)發(fā)展日新月異，人臉識(shí)別的內(nèi)容也在不斷更新完善。人臉識(shí)別系統(tǒng)包括對(duì)于幾個(gè)特征器官的定位，也就是一張人臉上有顯著特征的五官，嘴巴、鼻子、眼睛區(qū)域相對(duì)應(yīng)的角點(diǎn)姿態(tài)、中心位置、偏轉(zhuǎn)頭時(shí)的傾斜角度、表情的綜合分析，把輸入的人臉進(jìn)行表情的分析和分類(lèi)后提取人臉圖像的顯著現(xiàn)相關(guān)特征，進(jìn)而判斷年齡、性別等信息。

4.1? 人臉識(shí)別的節(jié)點(diǎn)流程安排

本文的人臉識(shí)別主體為result_topic主題和recognition_node節(jié)點(diǎn)，ROS中sensor_msgs/Image消息格式用來(lái)發(fā)送MTCNN卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人臉和得到人臉圖像的detection_node節(jié)點(diǎn)到主題face_topic。關(guān)于人臉識(shí)別的節(jié)點(diǎn)必須訂閱相應(yīng)face_topic主題，進(jìn)而在該face_topic主題可以接受sensor_msgs/Image消息，再通過(guò)cv_brige轉(zhuǎn)換就可以打得到opencv的圖像格式，之后就可以根據(jù)本文設(shè)計(jì)的模型去完成人臉識(shí)別[3]。

4.2? 開(kāi)發(fā)環(huán)境

ROS本身提供的catkin工具可以幫助文本創(chuàng)建于編譯相關(guān)工程，有catkin_init_workspace、catkin_init_make等一系列構(gòu)建ROS的工程命令。在編譯ROS項(xiàng)目時(shí)，同時(shí)，還可以進(jìn)行啟動(dòng)腳本的形式啟動(dòng)多個(gè)節(jié)點(diǎn)，對(duì)開(kāi)發(fā)人員使用來(lái)說(shuō)非常方便實(shí)用。本文主要是在ROS Kinetic Kame版本上開(kāi)發(fā)設(shè)計(jì)實(shí)現(xiàn)的人臉識(shí)別系統(tǒng)。

5? ? 結(jié)語(yǔ)

本文是關(guān)于一種ROS的人臉識(shí)別系統(tǒng)設(shè)計(jì)研究，介紹了人臉識(shí)別系統(tǒng)的實(shí)現(xiàn)流程與步驟，關(guān)于ROS的人臉識(shí)別系統(tǒng)總體設(shè)計(jì)，在總框架下由3個(gè)重要節(jié)點(diǎn)分類(lèi)：攝像頭驅(qū)動(dòng)程序節(jié)點(diǎn)、人臉檢測(cè)節(jié)點(diǎn)、人臉識(shí)別節(jié)點(diǎn)、ROS的處理轉(zhuǎn)換過(guò)程和理論依據(jù)以及相應(yīng)的操作，進(jìn)而介紹在人臉檢測(cè)環(huán)節(jié)的理論節(jié)點(diǎn)安排和實(shí)踐計(jì)算方法，基本實(shí)現(xiàn)了閥值的合理調(diào)配和有效結(jié)果，從而使得與系統(tǒng)庫(kù)的人臉圖像準(zhǔn)確匹配。其中，卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用訓(xùn)練、提取特征等步驟，關(guān)系到人臉識(shí)別準(zhǔn)確率高低，重要意義不言而喻。其次，人臉檢測(cè)和圖像預(yù)處理從光照、噪聲的角度去優(yōu)化，可以為人臉圖像特征的提取提供必要保障。

[參考文獻(xiàn)]

[1]曹潔，李雪真，王進(jìn)花.基于自適應(yīng)特征融合的人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2018（1）：153-158.

[2]安峰.基于開(kāi)源操作系統(tǒng)ROS的機(jī)器人軟件開(kāi)發(fā)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2017（5）：27-29.

[3]周松鋒，戴曙光.改進(jìn)的PCA人臉識(shí)別算法研究[J].軟件導(dǎo)刊，2018（2）：15-18.

A face recognition system design based on ROS

Su Pengfei， Zhao Jianwen

（Xian University of Science and Technology， Xian 710032， China）

Abstract：Robot operating system is a software that can provide a series of libraries and tools to help software developers realize Robot creation. Features include device drivers， function libraries， hardware abstractions， messaging， visualization， software packages， etc， providing an effective software framework for robotics integration and cloud computing. Face recognition is a necessary basic function in human-computer interaction process. In face recognition process， image preprocessing， feature extraction and matching all need close coordination of computation and data. This paper designs and implements a face recognition system on the ROS robot platform. After a series of tests in the real environment， it meets the requirements of face recognition system on the mobile robot platform in most cases.

Key words：Robot Operating System; face recognition; design research