表情識(shí)別技術(shù)在鐵路售票窗口中的應(yīng)用

于存江 楊龍標(biāo) 丁笑穎 顏成偉 周?chē)?guó)寶

摘 要： 針對(duì)鐵路窗口售票服務(wù)質(zhì)量的問(wèn)題，提出一種售票窗口服務(wù)質(zhì)量的表情識(shí)別監(jiān)測(cè)系統(tǒng)。該系統(tǒng)通過(guò)售票窗口外側(cè)的攝像頭檢測(cè)到人臉圖像時(shí)，表情監(jiān)測(cè)系統(tǒng)每隔一定的時(shí)間就會(huì)通過(guò)安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，由表情識(shí)別監(jiān)測(cè)系統(tǒng)對(duì)圖像進(jìn)行處理和識(shí)別，將識(shí)別后的結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)?；诒砬樽R(shí)別技術(shù)的監(jiān)測(cè)系統(tǒng)在鐵路售票窗口的應(yīng)用，不僅能夠提高售票員的服務(wù)質(zhì)量，也能夠讓旅客在購(gòu)票的過(guò)程中體驗(yàn)到舒適感。

關(guān)鍵詞： 表情識(shí)別; 鐵路售票監(jiān)測(cè); 服務(wù)質(zhì)量

文章編號(hào)： 2095-2163（2021）03-0106-03 中圖分類(lèi)號(hào)：TP29 文獻(xiàn)標(biāo)志碼：A

【Abstract】Aiming at the problem of railway window ticketing service quality， this paper proposes an expression recognition monitoring system for ticket window service quality. When the system detects the face image through the camera outside the ticket window， the expression monitoring system will obtain the frame image information within the monitoring range through the camera installed in the ticket window at regular intervals. The image is processed and recognized， and the results of the recognition are statistically analyzed. The application of the monitoring system based on facial expression recognition technology in the railway ticket window could not only improve the service quality of the conductor， but also allow passengers to experience comfort during the ticket purchase process.

【Key words】 expression recognition; railway ticketing monitoring; service quality

0 引 言

近年來(lái)，人工智能的迅速發(fā)展不斷影響著科技工業(yè)的進(jìn)步，而人們的日常生活也不斷得到改善。鐵路作為人們外出旅行的重要交通方式，其服務(wù)質(zhì)量也受到越來(lái)越多的關(guān)注，因此一套完整有效的基于表情識(shí)別技術(shù)設(shè)計(jì)的售票窗口的監(jiān)測(cè)系統(tǒng)的研發(fā)已然成為各方矚目的熱點(diǎn)。該系統(tǒng)的成功研發(fā)則能夠解決人為監(jiān)督方式諸多弊端，例如浪費(fèi)人力、難以實(shí)現(xiàn)即時(shí)監(jiān)督，漏洞也較多，將在一定程度上有利于提升鐵路部門(mén)對(duì)旅客的服務(wù)質(zhì)量，從而使鐵路交通部門(mén)的服務(wù)體系建設(shè)邁上新高度。既能夠提高售票人員的服務(wù)水平，也能讓旅客出行時(shí)提高用戶(hù)體驗(yàn)，與此同時(shí)還減少了不必要的人力和物力的消耗[1]。

1 系統(tǒng)分析與設(shè)計(jì)

1.1 需求分析

該系統(tǒng)由安裝在售票窗口內(nèi)外兩側(cè)的雙攝像頭來(lái)進(jìn)行服務(wù)質(zhì)量的監(jiān)測(cè)。總地來(lái)說(shuō)，就是通過(guò)售票窗口外側(cè)的攝像頭檢測(cè)到人臉圖像，此時(shí)表情識(shí)別監(jiān)測(cè)系統(tǒng)將每隔一定時(shí)間就會(huì)通過(guò)安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，并由表情識(shí)別監(jiān)測(cè)系統(tǒng)對(duì)圖像加以識(shí)別與處理，再對(duì)處理后的結(jié)果進(jìn)行最終的數(shù)據(jù)統(tǒng)計(jì)。

表情檢測(cè)系統(tǒng)主要由4個(gè)模塊組成，分別是：售票員與旅客人臉圖像采集模塊、人臉檢測(cè)模塊、人臉表情識(shí)別模塊和數(shù)據(jù)統(tǒng)計(jì)模塊。當(dāng)有人通過(guò)窗口購(gòu)票時(shí)，該系統(tǒng)將利用售票窗口外側(cè)的攝像頭檢測(cè)到人臉圖像，每經(jīng)一定的時(shí)間間隔再通過(guò)窗口內(nèi)側(cè)的攝像頭來(lái)采集圖像，接著將對(duì)采集圖像進(jìn)行處理，基于此再進(jìn)行人臉檢測(cè)和人臉表情識(shí)別，最后可將識(shí)別后的結(jié)果數(shù)據(jù)保存起來(lái)，以此來(lái)考察售票員今天的服務(wù)工作質(zhì)量。

1.2 技術(shù)方案

人臉表情識(shí)別是一種生物特征識(shí)別技術(shù)?，F(xiàn)如今，表情識(shí)別技術(shù)不僅在安全、醫(yī)療、通信、汽車(chē)、機(jī)器人制造和教育等諸多領(lǐng)域中均獲得了快速發(fā)展，并取得了可觀研究成果[2]。Feng等人通過(guò)構(gòu)建表情特征LBP直方圖，實(shí)現(xiàn)了面部表情識(shí)別。Guo等人基于改進(jìn)LBP算子提出了完全局部二值算法CLBP，該算法取得了比LBP算子更好的識(shí)別率。王鎮(zhèn)利用改進(jìn)的梯度方向直方圖（HOG）來(lái)提取表情特征，該方法可以有效區(qū)分噪聲和表情信息[3]。

卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層和輸出層組成，這是一種端到端的學(xué)習(xí)架構(gòu)，直接從原始數(shù)據(jù)訓(xùn)練描述特征，同時(shí)也能處理大量的數(shù)據(jù)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的最熱門(mén)的研究方向之一[4]。

本系統(tǒng)通過(guò)使用計(jì)算機(jī)視覺(jué)的開(kāi)源工具包Keras、 OpenCv和深度學(xué)習(xí)主流框架TensorFlow相結(jié)合的方式實(shí)現(xiàn)系統(tǒng)核心部分、即人臉檢測(cè)和人臉表情識(shí)別功能，同時(shí)也包括售票員表情識(shí)別后信息的展示功能。

1.3 系統(tǒng)設(shè)計(jì)框架

本次研究將系統(tǒng)總體框架分為3部分，歸納為2層結(jié)構(gòu)。系統(tǒng)整體框架設(shè)計(jì)如圖1所示。

由圖1可知，數(shù)據(jù)采集層是通過(guò)窗口內(nèi)外兩側(cè)的攝像頭進(jìn)行圖像采集，這一層的主要功能是采集攝像頭覆蓋范圍內(nèi)的圖像信息;通過(guò)PC機(jī)上的表情識(shí)別監(jiān)測(cè)系統(tǒng)提取出人臉信息，進(jìn)行人臉檢測(cè)和人臉表情識(shí)別[5]，這就構(gòu)成了整個(gè)系統(tǒng)的服務(wù)層。

2 系統(tǒng)研究與設(shè)計(jì)

2.1 人臉圖像采集模塊

當(dāng)旅客站在售票窗口進(jìn)行咨詢(xún)或者買(mǎi)票時(shí)，表情識(shí)別監(jiān)測(cè)系統(tǒng)將會(huì)調(diào)用函數(shù)VideoCapture將售票窗口外的攝像頭拍攝到的畫(huà)面通過(guò)視頻流傳送到多幀圖像處理中，由此來(lái)進(jìn)行人臉圖像信息的檢測(cè)。而檢測(cè)后的人臉圖像信息會(huì)經(jīng)過(guò)haar特征的Adaboost分類(lèi)器的方法，當(dāng)調(diào)用detectMultiScale（）函數(shù)檢測(cè)到幀圖像中有人臉特征圖像時(shí)，表情識(shí)別監(jiān)測(cè)系統(tǒng)會(huì)每隔3 s即通過(guò)攝像頭來(lái)采集售票窗口內(nèi)的圖像，再將采集后的圖像經(jīng)過(guò)處理后進(jìn)行人臉檢測(cè)。當(dāng)表情識(shí)別監(jiān)測(cè)系統(tǒng)通過(guò)售票窗口外的攝像頭檢測(cè)不到人臉圖像信息時(shí)，表情識(shí)別監(jiān)測(cè)系統(tǒng)則停止這一每隔3 s通過(guò)售票窗口內(nèi)的攝像頭對(duì)圖像進(jìn)行采集的進(jìn)程。

2.2 人臉檢測(cè)模塊

將表情識(shí)別監(jiān)測(cè)系統(tǒng)采集回的售票窗口內(nèi)的圖像信息仍會(huì)通過(guò)haar特征的Adaboost分類(lèi)器的方法，調(diào)用detectMultiScale（）函數(shù)來(lái)檢測(cè)圖像中的有人臉圖像特征信息，再通過(guò)resize（）函數(shù)來(lái)提取臉部圖像。

2.3 人臉表情識(shí)別模塊

將表情識(shí)別監(jiān)測(cè)系統(tǒng)提取后的面部表情圖像信息，通過(guò)訓(xùn)練好的表情識(shí)別模型、并調(diào)用predict_proba（）函數(shù)來(lái)預(yù)測(cè)售票員的面部表情特征。再將識(shí)別后的信息進(jìn)行存儲(chǔ)統(tǒng)計(jì)。人臉表情識(shí)別模塊的設(shè)計(jì)流程如圖2所示。

該模塊是基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的人臉表情識(shí)別功能，而卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)需經(jīng)過(guò)如下步驟：加載數(shù)據(jù)到內(nèi)存、劃分?jǐn)?shù)據(jù)集、驗(yàn)證集、訓(xùn)練集、并歸一化數(shù)據(jù)，最終訓(xùn)練得到所需要的結(jié)果模型。卷積運(yùn)算的原理公式可寫(xiě)為：

2.4 數(shù)據(jù)統(tǒng)計(jì)模塊

將表情識(shí)別監(jiān)測(cè)系統(tǒng)識(shí)別后的面部表情圖像信息進(jìn)行存儲(chǔ)，例如：上班時(shí)間定為早8點(diǎn)，下班時(shí)間定為下午5點(diǎn)，表情識(shí)別監(jiān)測(cè)系統(tǒng)則會(huì)將今天識(shí)別到的信息進(jìn)行實(shí)時(shí)的單一存儲(chǔ)，下午5點(diǎn)下班后，表情檢測(cè)系統(tǒng)會(huì)進(jìn)行分類(lèi)統(tǒng)計(jì)，將生氣、厭惡、悲傷、恐懼等情緒處理成生氣狀態(tài)，將高興、驚訝、正常處理成高興狀態(tài)，而且利用如下公式：

來(lái)運(yùn)算得到服務(wù)質(zhì)量（差：0.00～0.59，良：0.60～0.89，優(yōu)：0.90～1.00），在此基礎(chǔ)上則可起到監(jiān)督作用，從而提高鐵路售票工作的服務(wù)質(zhì)量。

3 測(cè)試結(jié)果

本文將對(duì)表情識(shí)別監(jiān)測(cè)系統(tǒng)展開(kāi)測(cè)試來(lái)驗(yàn)證結(jié)果。在良好的實(shí)驗(yàn)條件下，采用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)，并將實(shí)驗(yàn)人員人臉置于攝像頭采集范圍內(nèi)，由此得到人臉圖像信息，無(wú)論是在光照、角度還是背景等參數(shù)上基本保持一致，測(cè)試結(jié)果可闡釋分述如下。

（1） 模擬售票窗口外側(cè)的攝像頭檢測(cè)到的旅客人臉圖像。視像效果如圖3所示。

（2）模擬售票窗口內(nèi)的攝像頭采集回的20幀人臉圖像信息，作為本系統(tǒng)的測(cè)試數(shù)據(jù)。視像效果如圖4所示。

（3）將上述的20幀圖像作為一天當(dāng)中統(tǒng)計(jì)的數(shù)據(jù)，識(shí)別結(jié)果輸出如圖5所示。

通過(guò)公式（2）可求得服務(wù)質(zhì)量為0.6（良）。

4 結(jié)束語(yǔ)

本項(xiàng)目旨在設(shè)計(jì)并實(shí)現(xiàn)針對(duì)售票窗口服務(wù)質(zhì)量的表情識(shí)別監(jiān)測(cè)系統(tǒng)。該系統(tǒng)利用了智能識(shí)別技術(shù)，通過(guò)售票窗口外側(cè)的攝像頭檢測(cè)到人臉圖像，并

每隔一定時(shí)間就會(huì)通過(guò)安裝在售票窗口內(nèi)的攝像頭獲取監(jiān)控范圍內(nèi)的幀圖像信息，再由該系統(tǒng)對(duì)圖像進(jìn)行處理和識(shí)別，最后對(duì)識(shí)別后的結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。該次研發(fā)系統(tǒng)易于實(shí)施，功能清晰，并且系統(tǒng)本身也有利于后續(xù)的維護(hù)與擴(kuò)展升級(jí)。本次研究成果對(duì)于提升鐵路交通部門(mén)的服務(wù)質(zhì)量，提供旅客的舒適出行體驗(yàn)有著重要現(xiàn)實(shí)意義。

參考文獻(xiàn)

[1] ?吳健新. 智能監(jiān)控系統(tǒng)中的人臉檢測(cè)與跟蹤研究[D]. 廈門(mén)：廈門(mén)大學(xué)，2006.

[2] 劉慶鵬. 基于ARM的嵌入式人臉識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D]. 長(zhǎng)春：長(zhǎng)春理工大學(xué)，2017.

[3] 程曦. 基于深度學(xué)習(xí)的表情識(shí)別方法研究[D]. 長(zhǎng)春：長(zhǎng)春工業(yè)大學(xué)，2017.

[4] 張杰. 基于GPU的大規(guī)模人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)，2017.

[5] 產(chǎn)文濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情和性別識(shí)別[D]. 合肥：安徽大學(xué)，2016.