基于深度學(xué)習(xí)的家庭異常監(jiān)控終端

郭子芊，陳江濤，麥偉健，寧 琳，劉佐濂

（廣州大學(xué) 電子與通信工程學(xué)院，廣東 廣州 510006）

0 引 言

隨著社會(huì)老齡化的不斷加劇，老齡人口比例上升，老人獨(dú)自在家的情況增多。而青壯年往往忙于工作，無暇照顧獨(dú)自在家的老人。獨(dú)自在家的老人面對(duì)非法入侵時(shí)往往不能及時(shí)響應(yīng)。此外，高齡老人由于身體機(jī)能的下降或自身疾病的影響，易在家中摔倒[1]。針對(duì)這類現(xiàn)象，設(shè)計(jì)一款基于深度學(xué)習(xí)的家庭異常監(jiān)控終端很有必要。該終端以樹莓派為核心控制系統(tǒng)，將監(jiān)控圖像數(shù)據(jù)上傳至服務(wù)器。服務(wù)器對(duì)圖像數(shù)據(jù)進(jìn)行人臉識(shí)別和摔倒檢測(cè)，判斷畫面中是否出現(xiàn)陌生人臉或是家庭成員不慎摔倒的情況，并將異常情況反饋至客戶端APP，向用戶發(fā)送報(bào)警信息，從而保護(hù)家庭成員的人身安全與家庭財(cái)產(chǎn)安全[2]。

1 系統(tǒng)總體硬件設(shè)計(jì)

監(jiān)控終端包括攝像頭模塊、樹莓派終端、云服務(wù)器、人臉識(shí)別算法、摔倒檢測(cè)算法和客戶端APP。總體架構(gòu)如圖1所示。

圖1 總體架構(gòu)

監(jiān)控終端采用樹莓派作為核心控制部分。樹莓派是一款基于ARM的微型電腦，其系統(tǒng)基于Linux，具有適配多種深度學(xué)習(xí)框架的特點(diǎn)，且滿足系統(tǒng)對(duì)數(shù)據(jù)傳輸能力的高要求，可保證圖像數(shù)據(jù)上傳的流暢性和穩(wěn)定性[3-4]。本監(jiān)控終端將攝像頭錄到的實(shí)時(shí)圖像經(jīng)樹莓派上傳至云服務(wù)器，確保信息傳輸?shù)母咝訹5]。服務(wù)器通過人臉檢測(cè)算法檢測(cè)圖像中是否出現(xiàn)人臉，若出現(xiàn)人臉則進(jìn)行人臉識(shí)別，判斷該人員身份，若為未知人員，則向客戶端APP發(fā)送報(bào)警信息。同時(shí)，服務(wù)器還會(huì)通過人體檢測(cè)算法檢測(cè)圖像中是否出現(xiàn)人體，若出現(xiàn)人體則進(jìn)行骨架提取和摔倒檢測(cè)，若有人員摔倒且在一定時(shí)間內(nèi)未站起，則向客戶端APP發(fā)送報(bào)警信息。

2 系統(tǒng)軟件設(shè)計(jì)

監(jiān)控終端軟件包括：人臉檢測(cè)算法、人臉識(shí)別算法、骨架提取算法和客戶端APP。軟件流程如圖2所示。

圖2 軟件流程

2.1 使用MTCNN網(wǎng)絡(luò)實(shí)現(xiàn)人臉檢測(cè)

受樹莓派硬件資源所限，樹莓派無法達(dá)到對(duì)人臉檢測(cè)的實(shí)時(shí)性與高準(zhǔn)確性要求，因此需要利用服務(wù)器強(qiáng)大的計(jì)算能力，構(gòu)建MTCNN網(wǎng)絡(luò)（多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)）進(jìn)行人臉檢測(cè)。

MTCNN算法采用級(jí)聯(lián)CNN結(jié)構(gòu)實(shí)現(xiàn)了多任務(wù)學(xué)習(xí)[6]。其網(wǎng)絡(luò)由P-Net、R-Net以及O-Net子網(wǎng)絡(luò)組成，這3個(gè)網(wǎng)絡(luò)中前者的輸出會(huì)作為后者的輸入。MTCNN網(wǎng)絡(luò)流程如圖3所示。

圖3 MTCNN網(wǎng)絡(luò)流程

2.1.1 P-Net

P-Net的主要目的是生成一些候選框，通過P-Net網(wǎng)絡(luò)對(duì)圖像金字塔上不同尺度圖像的每個(gè)12×12×3區(qū)域做人臉檢測(cè)。P-Net的輸入為12×12×3的RGB圖像，在訓(xùn)練時(shí)，網(wǎng)絡(luò)要判斷該12×12×3的圖像中是否存在人臉，并且給出人臉框的回歸和人臉關(guān)鍵點(diǎn)定位。在測(cè)試時(shí)，輸出只有N個(gè)邊界框的4個(gè)坐標(biāo)信息和score，這4個(gè)坐標(biāo)信息已使用網(wǎng)絡(luò)人臉框回歸進(jìn)行校正，score可以看做是分類的輸出，即人臉出現(xiàn)的概率。

2.1.2 R-Net

由于P-Net的檢測(cè)比較粗略，因此還需要使用R-Net做進(jìn)一步優(yōu)化。R-Net和P-Net類似，不過這一步的輸入是前面P-Net生成的邊界框，不論實(shí)際邊界框的大小，在輸入R-Net之前，都需要縮放到24×24×3，以排除大量的非人臉框。

2.1.3 O-Net

進(jìn)一步將R-Net得到的區(qū)域縮放到48×48×3，輸入O-Net。O-Net的結(jié)構(gòu)與P-Net類似，不同之處在于在測(cè)試輸出時(shí)多了關(guān)鍵點(diǎn)位置的輸出。輸入為48×48×3的圖像，輸出包含P個(gè)邊界框的坐標(biāo)信息，score以及關(guān)鍵點(diǎn)位置。

從P-Net到R-Net，再到O-Net，網(wǎng)絡(luò)輸入的圖像越來越大，卷積層的通道數(shù)越來越多，網(wǎng)絡(luò)深度隨之增加，人臉識(shí)別的準(zhǔn)確率越來越高。P-Net網(wǎng)絡(luò)的運(yùn)行速度最快，R-Net次之，O-Net運(yùn)行速度最慢。系統(tǒng)使用P-Net對(duì)初始圖像進(jìn)行過濾，之后將過濾后的結(jié)果交由R-Net進(jìn)行再次過濾，最后將結(jié)果交由O-Net識(shí)別，以降低需要判別的圖像數(shù)量，減少計(jì)算時(shí)間，得到準(zhǔn)確的人臉檢測(cè)結(jié)果。

2.2 基于FaceNet網(wǎng)絡(luò)的人臉識(shí)別

傳統(tǒng)基于CNN的人臉識(shí)別方法利用CNN的siamese網(wǎng)絡(luò)提取人臉特征，然后利用SVM等方法分類達(dá)到人臉識(shí)別的目的。FaceNet利用DNN學(xué)習(xí)從原始圖片到歐式距離空間的映射關(guān)系，直接使用兩種圖片的歐式距離來度量人臉相似度[7]。本文選用VGG16作為Deep Architecture構(gòu)建FaceNet。FaceNet網(wǎng)絡(luò)結(jié)構(gòu)[8]如圖4所示。

圖4 FaceNet網(wǎng)絡(luò)結(jié)構(gòu)

構(gòu)建好網(wǎng)絡(luò)后，將Center Loss作為損失函數(shù)，使用LFW （Labeled Faces in the Wild, LFW）人臉數(shù)據(jù)庫(kù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，借助反向傳播算法進(jìn)行梯度更新。多次迭代訓(xùn)練后，選取精度最高的模型作為實(shí)現(xiàn)模型。

FaceNet網(wǎng)絡(luò)模型會(huì)把人臉圖片處理成NumPy可識(shí)別的二進(jìn)制數(shù)據(jù)，該數(shù)據(jù)通過與人臉數(shù)據(jù)庫(kù)中所有數(shù)據(jù)進(jìn)行歐氏距離的計(jì)算，得到相應(yīng)距離值，該值越小，代表兩張人臉相似度越高。例如，當(dāng)特征距離小于1時(shí)，認(rèn)為是同一個(gè)人；當(dāng)特征距離大于1時(shí)，認(rèn)為是不同的人。本服務(wù)器實(shí)現(xiàn)人臉識(shí)別的流程：

（1）使用MTCNN進(jìn)行人臉檢測(cè)；

（2）將所檢測(cè)的人臉輸入FaceNet網(wǎng)絡(luò)中進(jìn)行處理，并與數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)比，判斷是否為同一人。

2.3 摔倒檢測(cè)

本系統(tǒng)使用基于Lightweight-Openpose+Fully Connection Layer的架構(gòu)進(jìn)行視頻流摔倒檢測(cè)。Lightweight-Openpose即輕量級(jí)Openpose架構(gòu)，速度相比原Openpose更快，但精度卻相差無幾，有利于提高監(jiān)測(cè)系統(tǒng)的實(shí)時(shí)性，同時(shí)使系統(tǒng)保持較高的識(shí)別準(zhǔn)確率。使用Fully Connection Layer對(duì)骨架圖片進(jìn)行摔倒識(shí)別，之后進(jìn)行輔助判斷，進(jìn)一步提高識(shí)別精度[9-10]。

2.3.1 構(gòu)建數(shù)據(jù)集（Fall/Normal）

Fall數(shù)據(jù)集如圖5所示。獲取從摔倒?fàn)顟B(tài)開始到結(jié)束的每一幀骨架圖作為Fall數(shù)據(jù)集，考慮到攝像頭位置的不同，F(xiàn)all數(shù)據(jù)集中包括摔倒時(shí)各角度的圖片幀，使系統(tǒng)魯棒性更優(yōu)。Normal數(shù)據(jù)集如圖6所示。Normal數(shù)據(jù)集包含了人體正常行走或其他非摔倒動(dòng)作的骨架圖。將該數(shù)據(jù)集按8∶1∶1的比例劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集，以進(jìn)一步訓(xùn)練網(wǎng)絡(luò)參數(shù)。

圖5 Fall數(shù)據(jù)集

圖6 Normal數(shù)據(jù)集

2.3.2 模型訓(xùn)練

為適應(yīng)不同的應(yīng)用場(chǎng)景，該系統(tǒng)設(shè)置了摔倒檢測(cè)閾值fall_threshold，取值范圍為[0，1]，閾值越低，摔倒敏感度就越高，但容易造成誤測(cè)，即查全率（Recall）較高；閾值越高，誤測(cè)比例會(huì)相應(yīng)降低，但容易造成漏測(cè)，即查準(zhǔn)率（Precision）較高。使用F1_score衡量該系統(tǒng)，取最大值對(duì)應(yīng)的參數(shù)組合作為最優(yōu)解?，F(xiàn)實(shí)生活中，可根據(jù)應(yīng)用場(chǎng)景自行選擇閾值。訓(xùn)練結(jié)果如圖7所示。

圖7 訓(xùn)練結(jié)果

摔倒檢測(cè)結(jié)果如圖8所示。本服務(wù)器實(shí)現(xiàn)摔倒檢測(cè)的流程：使用Lightweight-Openpose架構(gòu)進(jìn)行骨架檢測(cè)，再使用Fully Connection Layer對(duì)骨架圖片進(jìn)行摔倒識(shí)別，判斷是否摔倒。

圖8 摔倒識(shí)別結(jié)果

2.4 客戶端APP

當(dāng)家中出現(xiàn)陌生人或家庭成員不慎摔倒等異常情況時(shí)，服務(wù)器會(huì)將現(xiàn)場(chǎng)圖像傳輸至客戶端APP并發(fā)送報(bào)警信息，用戶可通過移動(dòng)端APP監(jiān)控家中情況?？蛻舳薃PP檢測(cè)、報(bào)警界面如圖9所示。

圖9 客戶端APP檢測(cè)、報(bào)警界面

3 結(jié) 語

本文設(shè)計(jì)的家庭異常監(jiān)控終端通過人臉檢測(cè)和摔倒識(shí)別技術(shù)，有效緩解了家庭安全問題，在監(jiān)測(cè)入戶區(qū)域和監(jiān)護(hù)家庭成員安全等方面均有良好的應(yīng)用前景。經(jīng)測(cè)試，本監(jiān)控終端能夠及時(shí)響應(yīng)家中出現(xiàn)陌生人或有人員摔倒等異常情況，并向客戶端APP發(fā)送報(bào)警信息，使得用戶能夠?qū)崟r(shí)掌握家中的異常情況，達(dá)到了預(yù)期設(shè)計(jì)效果。