基于樹莓派的人體跌倒檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

李奕煜，周天劍，羅回彬，丘偉航

（北京理工大學(xué)珠海學(xué)院計(jì)算機(jī)學(xué)院，珠海 519000）

0 引言

近年來，由于老人在家無人照顧，導(dǎo)致老人摔倒造成身體上的損傷甚至導(dǎo)致悲劇的事件時(shí)有發(fā)生。然而，現(xiàn)在市面上大部分的人體跌倒檢測(cè)設(shè)備都過于昂貴，且需要進(jìn)行復(fù)雜的安裝。本設(shè)計(jì)使用樹莓派+云臺(tái)的操作，使得價(jià)格更加親民，且安裝位置更加自由隨意，只需接上電源即可開機(jī)自行啟動(dòng)程序。本系統(tǒng)擁有很好的便捷性和易用性，成本低，在智能家居安防方面具有實(shí)用價(jià)值。

1 系統(tǒng)總體設(shè)計(jì)方案

系統(tǒng)總體設(shè)計(jì)如圖1所示，由樹莓派、攝像頭和通知系統(tǒng)組成。在環(huán)境中安裝樹莓派并啟動(dòng)后，樹莓派會(huì)開啟攝像頭檢索視野，樹莓派接收由攝像頭傳回的信息，處理完后會(huì)根據(jù)人影圖像進(jìn)行簡(jiǎn)化處理，再根據(jù)人體簡(jiǎn)化圖（見圖2）對(duì)關(guān)鍵點(diǎn)進(jìn)行跌倒計(jì)算，如果測(cè)量到的加速度高于我們假定的閾值，程序內(nèi)的算法將會(huì)提取這個(gè)人去計(jì)算特征，然后執(zhí)行基于SVM的分類器驗(yàn)證墜落。操控云臺(tái)模塊可以時(shí)刻對(duì)家庭中的指定人物進(jìn)行追蹤，做到時(shí)刻對(duì)家人健康進(jìn)行管控。云臺(tái)舵機(jī)控制部分，項(xiàng)目采用的云臺(tái)利用的是BST-AI拓展板，拓展板連接樹莓派的引腳進(jìn)行舵機(jī)控制。

圖1 樹莓派跌倒檢測(cè)系統(tǒng)框架

圖2 作者本人的人體簡(jiǎn)化特征圖

2 跌倒檢測(cè)算法

本項(xiàng)目跌倒檢測(cè)的流程是先通過攝像頭收集試驗(yàn)數(shù)據(jù)，再在環(huán)形緩沖區(qū)中存儲(chǔ)深度圖，接下來在樹莓派中判斷人物是否運(yùn)動(dòng)，若檢測(cè)到人物開始運(yùn)動(dòng)，則進(jìn)行前景提取，連接相關(guān)組件進(jìn)行下一步行為分析；此時(shí)再判斷場(chǎng)景是否發(fā)生了變換，若判斷質(zhì)心發(fā)生下降，則對(duì)標(biāo)識(shí)的人員進(jìn)行提取，根據(jù)特征點(diǎn)變化速度進(jìn)行墜落檢測(cè)后，再提取特征與跌倒分類器進(jìn)行分類，若檢測(cè)到跌倒則發(fā)出警報(bào)。圖3為跌倒檢測(cè)的大致流程圖。

圖3 跌倒檢測(cè)流程圖

2.1 算法概述

首先，獲取來自攝像頭捕獲圖像的運(yùn)動(dòng)數(shù)據(jù)。然后對(duì)數(shù)據(jù)進(jìn)行中值過濾，以抑制噪聲。在這樣的預(yù)處理后，深度圖被存儲(chǔ)在緩沖區(qū)中。提取深度參考圖像需要將數(shù)據(jù)存儲(chǔ)在循環(huán)緩沖區(qū)中，經(jīng)過訓(xùn)練后，便可以通過參考圖像提取到的相關(guān)特征來判斷人的行為。在下一步中，該算法會(huì)驗(yàn)證這個(gè)人是否是運(yùn)動(dòng)的。該操作基于加速度測(cè)量數(shù)據(jù)進(jìn)行，從而以較低的計(jì)算成本實(shí)現(xiàn)。當(dāng)這個(gè)人休息時(shí)，該算法會(huì)獲得新的數(shù)據(jù)。特別是，如果在一秒鐘內(nèi)沒有檢測(cè)到該人的移動(dòng)，就不會(huì)對(duì)深度參考圖進(jìn)行更新。如果人發(fā)生了運(yùn)動(dòng)，算法會(huì)提取前景。前景是通過從深度參考圖像中減去當(dāng)前的深度圖來確定的。

2.2 跌倒檢測(cè)流程

本項(xiàng)目首先進(jìn)行視頻流讀取，再依次進(jìn)行人物運(yùn)動(dòng)及跌倒等判斷，其跌倒檢測(cè)具體流程圖如3所示。

2.3 基于閾值的跌倒檢測(cè)

根據(jù)IMU設(shè)備獲取的數(shù)據(jù)，該算法表示有潛在的跌倒。該算法的流程如圖3所示，電位下降表示使用慣性設(shè)備的數(shù)據(jù)識(shí)別下降。采樣的加速度分量用于計(jì)算總和矢量（t），具體公式如下：

其中，A()，A()，A()分別是時(shí)間處，，，軸的加速度。（）包含動(dòng)態(tài)和靜態(tài)加速度分量，因此站立時(shí)等于重力加速度g；在摔倒過程中，加速度達(dá)到了6 g；而在下樓與上樓時(shí)，加速度達(dá)到了2.7 g。基于這類規(guī)律，我們的系統(tǒng)采用了一個(gè)基于閾值的跌倒檢測(cè)，然后根據(jù)深度圖像的分析對(duì)其進(jìn)行驗(yàn)證。如果（t）的值大于3 g，則系統(tǒng)開始提取人身，然后執(zhí)行負(fù)責(zé)有關(guān)跌倒的最終決策的分類器。

2.4 提取代表人物的深度圖像特征

為了使該系統(tǒng)適用于廣泛的場(chǎng)景，我們描述了一種用于更新深度參考圖像的快速方法?；趫?chǎng)景參考圖像檢測(cè)到該人，該場(chǎng)景參考圖像被預(yù)先提取然后更新。在深度參考圖像中，每個(gè)像素都取前一幀圖像中幾個(gè)像素值的中值，如圖4所示。在設(shè)置階段，我們收集了很多深度圖像，對(duì)于每個(gè)像素，我們從前一幀的圖像中組裝了一個(gè)像素值列表，然后對(duì)其進(jìn)行排序提取中值。

圖4 深度參考圖像提取

2.5 跌倒檢測(cè)分類器

本項(xiàng)目中我們采用了基于SVM的分類器，該分類器是一個(gè)由具有正?；顒?dòng)（行走、坐下、蹲下和躺下）的圖像組成的UR跌倒檢測(cè)數(shù)據(jù)集。從UR跌倒檢測(cè)數(shù)據(jù)集（URFD）中總共選擇了612張圖像以及其他圖像序列，這些圖像序列是在房間中記錄的。所選的圖像集由402個(gè)具有典型ADL的圖像組成，其中210幅圖像則描述一個(gè)人躺在地板上。整個(gè)UR墜落檢測(cè)數(shù)據(jù)集由30個(gè)圖像序列和30個(gè)墜落序列組成。

2.6 UR跌倒數(shù)據(jù)集詳情

UR跌倒數(shù)據(jù)集是國(guó)際上應(yīng)用最廣泛的跌倒數(shù)據(jù)集，該數(shù)據(jù)集包含了70個(gè)（30個(gè)跌倒+40個(gè)日常生活活動(dòng)）序列，創(chuàng)作者還將圖像分為深度圖像和RGB原始圖像，并附帶了同步數(shù)據(jù)和加速度數(shù)據(jù)。因此，通過在跌倒檢測(cè)分類器上進(jìn)行比對(duì)，就可以有效判斷跌倒行為是否發(fā)生，項(xiàng)目實(shí)測(cè)效果如圖5所示，項(xiàng)目實(shí)測(cè)的特征提取效果如圖6所示。

圖5 實(shí)際檢測(cè)摔倒圖

圖6 特征提取圖

3 通知系統(tǒng)

通過寫入訓(xùn)練集可以讓該跌倒檢測(cè)系統(tǒng)通過加載提示性動(dòng)作來對(duì)跌倒后的等級(jí)進(jìn)行評(píng)估，比如：當(dāng)樹莓派檢測(cè)到一個(gè)人摔倒時(shí)，會(huì)先發(fā)出警報(bào)來提示摔倒人員，看看他能不能自行起身。當(dāng)檢測(cè)到跌倒者發(fā)出來的安全信息時(shí)，則停止發(fā)出警報(bào)；若是人摔倒后無任何反應(yīng)，則接通急救電話并聯(lián)系摔倒者親屬，以做到及時(shí)通知，避免意外發(fā)生不能及時(shí)處理，導(dǎo)致事情無法挽回。在本項(xiàng)目中，我們系統(tǒng)采用的是語音識(shí)別模塊。由于CNN比較容易實(shí)現(xiàn)大規(guī)模并行化運(yùn)算，且CNN的加速運(yùn)算相對(duì)比較成熟，所以我們采用了比RNN更為精確的CNN卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)語音識(shí)別。在模型上，本項(xiàng)目采用的是CLDNN（卷積,LSTM,深度神經(jīng)網(wǎng)絡(luò)）模型，CLDNN中有兩層CNN的應(yīng)用。CNN和LSTM在語音識(shí)別任務(wù)中可以獲得比DNN更好的性能提升，對(duì)建模能力來說，CNN擅長(zhǎng)減小頻域變化，LSTM可以提供長(zhǎng)時(shí)記憶，所以在時(shí)域上有著廣泛應(yīng)用，而DNN適合將特征映射到獨(dú)立空間。

4 結(jié)語

本文設(shè)計(jì)的由樹莓派作為控制主板，在其中對(duì)實(shí)時(shí)輸入的視頻流進(jìn)行計(jì)算從而實(shí)現(xiàn)對(duì)于跌倒的檢測(cè)。本項(xiàng)目將跌倒檢測(cè)算法內(nèi)置于樹莓派開發(fā)板，可以處理、篩選關(guān)鍵信息后傳入服務(wù)器，減少服務(wù)器的運(yùn)算壓力。經(jīng)過測(cè)試，本系統(tǒng)能夠準(zhǔn)確識(shí)別并判斷跌倒行為的發(fā)生，實(shí)時(shí)傳輸?shù)囊曨l具有良好的實(shí)時(shí)性以及穩(wěn)定性。在算法上，我們采用了國(guó)外先進(jìn)的UR跌倒檢測(cè)數(shù)據(jù)集以及SVM分類器，通過閾值UFT方法取得了良好的效果，識(shí)別的準(zhǔn)確度達(dá)到90%。