基于光流法和卷積神經(jīng)網(wǎng)絡(luò)的跌倒行為檢測方法*

孫博文，祁 燕，楊大為

（沈陽理工大學(xué)信息科學(xué)與工程學(xué)院，沈陽110159）

1 引 言

隨著室內(nèi)攝像設(shè)備的普及，人們對智能視頻監(jiān)控的需求越來越高。跌倒行為識別作為智能監(jiān)控系統(tǒng)的一部分，可以在人體發(fā)生跌倒行為時及時報警來保障人身安全。目前室內(nèi)人體跌倒行為檢測方法可劃分為兩大類：第一類是基于傳感器的跌倒檢測方法，這類方法一般需要人體穿戴設(shè)備，設(shè)備上通常裝有傳感器，人體發(fā)生跌倒行為時傳感器會發(fā)出警報從而實現(xiàn)跌倒檢測。由于前一類方法需要佩戴傳感器設(shè)備，極為不便，于是出現(xiàn)了第二類方法：基于計算機視覺的檢測方法。基于計算機視覺的檢測法最大優(yōu)點是不需要穿戴任何傳感器設(shè)備，而是從視頻數(shù)據(jù)中挖掘出有用的信息并進行分析。視頻數(shù)據(jù)來源于安裝在室內(nèi)的監(jiān)控攝像機，采集人在室內(nèi)的各種活動信息，然后通過一系列算法識別人體的各種行為，進而檢測出跌倒行為[1]。在提取人體運動特征方面使用的方法可分為兩種：第一種方法選擇提取人體的3D 特征，劉李正提出了基于Kinect 相機的人體跌倒檢測算法研究[2]。提取人體3D 特征的方法在人體側(cè)向?qū)χ鴶z像設(shè)備時會影響檢測效果，于是又出現(xiàn)了第二種使用計算機視覺的方法，該方法從監(jiān)控攝像頭拍攝的視頻中提取特征。在呂艷等人提出的采用卷積神經(jīng)網(wǎng)絡(luò)的老年人跌倒檢測系統(tǒng)設(shè)計中，提取特征的方式選用了深度神經(jīng)網(wǎng)絡(luò)加分類器的組合[3]。

基于計算機視覺的檢測算法存在諸多優(yōu)勢，它不需要用戶時刻攜帶設(shè)備、不受使用環(huán)境的限制，而隨著當(dāng)今社會的發(fā)展，在很多地方都裝有監(jiān)控攝像頭，因此其應(yīng)用場景也更加廣泛[4]。

結(jié)合上述比較，在此對基于計算機視覺的檢測算法提出改進，使用光流法對監(jiān)控視頻進行預(yù)處理，并且修改卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的第一層，最后通過實驗驗證這一改進方法對提升模型預(yù)測準(zhǔn)確性的效果。

2 跌倒檢測方法新設(shè)計

在新設(shè)計中，將光流法和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合來實現(xiàn)對人體跌倒行為的檢測，其整體設(shè)計如圖1所示。首先監(jiān)控攝像頭拍攝的視頻經(jīng)過光流圖像生成器生成光流圖像；生成的光流圖像放入卷積神經(jīng)網(wǎng)絡(luò)（CNN）中進行特征提?。蛔詈笥煞诸惼鹘o出分析結(jié)果（跌倒行為還是非跌倒行為）。

2.1 光流法

光流是描述視頻序列中連續(xù)兩幀之間像素相對位移的矢量場。估計該矢量場的方法即稱為光流法，可用來獲得對象的運動特征[5]。

使用光流圖像作為模型的輸入數(shù)據(jù)可以消除背景環(huán)境對于跌倒行為檢測的影響。由于光流圖像只反映運動信息的特性，模型在提取特征時可以忽略背景環(huán)境的影響，從而加快模型的檢測速度和提升模型預(yù)測的準(zhǔn)確率。

圖2 顯示了由攝像頭拍攝到的人體跌倒行為動作序列，用光流圖像生成器對這一動作序列圖像進行處理，得到的光流圖如圖3 所示。如圖可見，光流圖像是通過灰度值的差異來反應(yīng)圖像中的瞬時運動速度，由此法可以消除背景環(huán)境的影響。

圖2 攝像頭拍攝的人體跌倒行為動作序列

圖3 跌倒行為動作序列生成的光流圖像

2.2 數(shù)據(jù)集

模型訓(xùn)練過程使用了三個數(shù)據(jù)集。其中URFD、UCF-101 為兩個公共數(shù)據(jù)集，分別針對人體日常行為與跌倒行為。兩者的數(shù)據(jù)量差異如表1 所示。

表1 不同數(shù)據(jù)集的數(shù)據(jù)量差異

UCF-101 數(shù)據(jù)集涵蓋了13320 個視頻，包含了101 種人類動作行為；URFD 僅包含30 個跌倒視頻和30 個日常行為視頻[6]。在訓(xùn)練模型的過程中由于輸入數(shù)據(jù)的正例與反例數(shù)量差距過大會極大影響訓(xùn)練效果。故此采用遷移學(xué)習(xí)的方法，以UCF-101 數(shù)據(jù)集預(yù)訓(xùn)練模型，使模型具有識別日常行為的能力后再加入URFD 數(shù)據(jù)集進行跌倒行為的訓(xùn)練。

除了使用兩個公共數(shù)據(jù)集外，在此制作了一個用于跌倒行為檢測的數(shù)據(jù)集。自制數(shù)據(jù)集由三位演員拍攝而成，共包含60 段視頻。其中30 段為跌倒視頻，30 段視頻日常行為視頻。在日常行為視頻中，為增加數(shù)據(jù)集的復(fù)雜性，增加了坐下、彎腰和深蹲等與跌倒行為極易混淆的日常行為，具體拍攝情況如圖4 所示。

圖4 自制數(shù)據(jù)集新增日常行為拍攝

2.3 跌倒行為模型訓(xùn)練

定義連續(xù)十張光流圖片為一個動作序列，如圖5 所示。這是考慮到大部分監(jiān)控攝像頭拍攝視頻的幀率為30 幀/s，設(shè)定光流圖像生成器中步長為10，即每隔10 幀生成一張光流圖像，連續(xù)十張光流圖像即涵蓋了3 秒的人體運動時間，而跌倒行為從發(fā)生到結(jié)束的持續(xù)時間一般為2～3 秒，這樣定義的運動序列可以完整地檢測到跌倒行為的發(fā)生。

圖5 動作序列定義

假設(shè)一段視頻被劃分為N 個光流圖像，那么會得到N-10+1 個動作序列，作為模型的輸入數(shù)據(jù)。

在損失函數(shù)方面，采用二元交叉熵函數(shù)作為模型的損失函數(shù)，該函數(shù)表示預(yù)測值與真實值之間的差值，以Lloss表示，定義如下：

新方案在原有二元交叉熵函數(shù)中增加了權(quán)值ωt與 ωp。ωt表示日常行為的權(quán)重，ωp表示跌倒行為的權(quán)重。

由于URFD 數(shù)據(jù)集跌倒行為視頻與日常行為視頻的數(shù)量差距不大，幫此預(yù)設(shè)ωt與ωp均為1。

在模型結(jié)構(gòu)方面，采用VGG-16 作為模型的結(jié)構(gòu)，但光流法的引入調(diào)整了VGG-16 的輸入層。傳統(tǒng)的VGG-16 輸入層接受的是 224×224×3 的 RGB圖像，新方案中的輸入層調(diào)整為接受224×224×20的光流圖像序列。其余各卷積層與傳統(tǒng)的VGG-16結(jié)構(gòu)一致。

在分類函數(shù)方面，跌倒檢測模型輸出結(jié)果為跌倒或非跌倒，使用softmax 函數(shù)，公式為：

Softmax 層可以把輸入的數(shù)據(jù)映射到0～1 之間的實數(shù)，并且歸一化保證和為1[7]，此處設(shè)置閾值為0.5，模型預(yù)測值小于閾值分類為跌倒行為，大于閾值分類為非跌倒行為。

3 實驗與結(jié)果分析

3.1 實驗指標(biāo)

為評價模型的準(zhǔn)確率，此處定義以下指標(biāo)：TP代表真正值，TN為真負(fù)值，F(xiàn)P為假正值，F(xiàn)N為假負(fù)值，其具體定義如表2 所示。

表2 實驗用到的效果指標(biāo)

定義sensitivity 為表示跌倒行為發(fā)生且被模型判定為跌倒行為的指標(biāo)，以Ssen表示，公式為：

定義specificity 為沒有發(fā)生跌倒行為且沒有被模型判定為跌倒行為的指標(biāo)，以Sspe表示，公式為：

定義precision 為準(zhǔn)確率，即檢查出的跌倒行為中有多少是準(zhǔn)確的，以Ppre表示，公式為：

在實驗結(jié)果中這一指標(biāo)的數(shù)值較低，這是由于跌倒模型要對跌倒行為極其重視（即如果發(fā)生了跌倒行為，一定要檢測出來否則會十分危險），模型為了達到較高的Sensitivity 值而犧牲了Precision。

定義accuracy 為模型整體上的分類效果，以Aacc表示，公式為：

3.2 實驗結(jié)果

為了驗證基于光流法和卷積神經(jīng)網(wǎng)絡(luò)的跌倒行為檢測方法是否可準(zhǔn)確檢測人體跌倒行為，設(shè)計如下實驗：

將URFD 數(shù)據(jù)集與自制數(shù)據(jù)集整合成新URFD數(shù)據(jù)集。為驗證更大數(shù)據(jù)集是否可以解決模型過擬合問題，設(shè)置不同數(shù)據(jù)集下的對比實驗，實驗結(jié)果如表3 所示。

表3 不同數(shù)據(jù)集下各指標(biāo)實驗結(jié)果對比

在新數(shù)據(jù)集下的實驗中，specificity、precision、accuracy 等實驗指標(biāo)均有所提升，大量數(shù)據(jù)集有助于模型取得更好的訓(xùn)練效果。模型在更大的新數(shù)據(jù)集下訓(xùn)練提升了模型的泛化能力，使得模型準(zhǔn)確率得到提升。

為驗證光流法是否可以提升跌倒檢測模型檢測的準(zhǔn)確率，做如下實驗：在使用相同數(shù)據(jù)集的條件下（均使用新數(shù)據(jù)集），對輸入數(shù)據(jù)分別使用光流法處理和無光流法處理。得到的對比結(jié)果如表4 所示。

表4 有無光流法實驗結(jié)果對比表

實驗結(jié)果顯示，使用光流圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)可以提升模型的specificity、precision、accuracy 數(shù)值，提升模型整體的判斷準(zhǔn)確率。

實驗又以新方法與Sven Kreiss 等人的PifPaf 方法[8]在URFD 數(shù)據(jù)集下做了對比試驗，實驗結(jié)果如表5 所示。

表5 新方法與PifPaf 法對比實驗結(jié)果

由表5 可見，新方法與Sven Kreiss 等人提出的PifPaf 方法在實驗結(jié)果上產(chǎn)生了較大差異。PifPaf 方法由兩個部分組成，其中Pif（Part intensity field）方法用來定位人體軀干位置；Paf（Part association field）方法用來將身體各部分相互關(guān)聯(lián)以形成完整的人體姿勢，包含17 個關(guān)節(jié)，每個關(guān)節(jié)由x 和y 坐標(biāo)以及置信度得分表示。Sven Kreiss 等人的方法precision達到了100%，證明其方法可以保證檢查出的跌倒行為確實均為跌倒行為。而新方法在sensitivity 數(shù)值上達到了100%，證明本法可以檢測出數(shù)據(jù)集中所有的跌倒行為?？紤]到現(xiàn)實生活中的情形，一旦人體發(fā)生跌倒行為而系統(tǒng)沒有檢測到，會導(dǎo)致很嚴(yán)重的后果，故此本方法在實際應(yīng)用中更加安全和可靠。

4 結(jié) 束 語

新設(shè)計一種檢測方法，采用光流和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式從監(jiān)控攝像頭拍攝的視頻中準(zhǔn)確檢測人體跌倒行為。用光流法預(yù)算理數(shù)據(jù)，消除了人體行為圖像的背景環(huán)境，簡化了信息的獲??；在卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練策略上采用遷移學(xué)習(xí)方法，加強了訓(xùn)練效果；自制了跌倒行為數(shù)據(jù)集，并將其與URFD 數(shù)據(jù)集結(jié)合為新數(shù)據(jù)集，解決了模型過擬合的問題；設(shè)置三組對比試驗，均顯示了本方法可在日常行為中檢測出跌倒行為并且有較好的準(zhǔn)確率，在實際使用時也更加安全。然而由于光流法的使用需要滿足亮度恒定不變的假設(shè)，因此在室內(nèi)環(huán)境亮度變化較大時會影響檢測效果，此問題在后續(xù)研究工作中有待進一步解決。