基于無(wú)線體域網(wǎng)的在線人體活動(dòng)識(shí)別

范長(zhǎng)軍,高 飛

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310013)

1 引 言

據(jù)2018年5月GSMA公布的“移動(dòng)經(jīng)濟(jì)”報(bào)告統(tǒng)計(jì)[1],2017年全球手機(jī)用戶人數(shù)已突破50億人大關(guān),其中智能手機(jī)用戶人數(shù)占比57%,預(yù)計(jì)到2025年這兩個(gè)數(shù)字將分別攀升至59億和77%.隨著智能手機(jī)的普及,以及計(jì)算能力的提升,普適感知應(yīng)用與服務(wù)得以迅速發(fā)展.一方面,手機(jī)中被嵌入越來(lái)越多的傳感器件,使其成為集感知、計(jì)算與通訊為一體的智能終端[2];另一方面,用戶往往隨身攜帶手機(jī),隨時(shí)隨地通過(guò)手機(jī)來(lái)實(shí)時(shí)檢測(cè)人的日常行為,能為人機(jī)交互提供不可或缺的及時(shí)反饋,為醫(yī)療保健或健康管理提供場(chǎng)景豐富的海量信息.基于智能手機(jī)的在線人體活動(dòng)感知和識(shí)別成為近年來(lái)國(guó)內(nèi)外的研究熱點(diǎn)[3,4].

現(xiàn)有相關(guān)工作大多僅采用手機(jī)上的加速度、陀螺儀等慣性傳感器進(jìn)行人體活動(dòng)識(shí)別[5].文獻(xiàn)[6]采用手機(jī)加速度和陀螺儀傳感器,通過(guò)特征提取、特征選擇以及數(shù)據(jù)融合來(lái)提高坐、站、躺、走、上樓、下樓六類(lèi)活動(dòng)的分類(lèi)準(zhǔn)確率和在線推理效率;文獻(xiàn)[7]開(kāi)發(fā)了一套手機(jī)應(yīng)用,用于在線進(jìn)行傳感數(shù)據(jù)的收集、訓(xùn)練和識(shí)別,靜止、走、騎摩托車(chē)三類(lèi)活動(dòng)的識(shí)別準(zhǔn)確率達(dá)90%以上.上述兩類(lèi)方法均取得了不錯(cuò)的效果,但感知范圍有限,在一定程度上限制了可識(shí)別的活動(dòng)種類(lèi).比如,當(dāng)把手機(jī)放在褲袋中時(shí),將很難捕捉喝茶、打字、吸煙等活動(dòng)涉及的手部運(yùn)動(dòng).

隨著MEMS技術(shù)的發(fā)展,智能手表、智能手環(huán)等可穿戴設(shè)備得以普遍使用,它們具有體積小、重量輕、非侵入、便于佩戴等特點(diǎn),內(nèi)置的加速度、陀螺儀、心率等傳感器,能有效輔助日?；顒?dòng)識(shí)別.文獻(xiàn)[8]用手腕處的加速度、角速度和磁場(chǎng)信息來(lái)檢測(cè)手部姿態(tài)和識(shí)別吸煙行為,文獻(xiàn)[9]通過(guò)腕部的加速度和角速度來(lái)識(shí)別吃飯動(dòng)作,此兩者都僅采用腕部慣性傳感數(shù)據(jù)專(zhuān)門(mén)識(shí)別特定類(lèi)型的活動(dòng);文獻(xiàn)[10]研究了智能手機(jī)和智能手表在人體活動(dòng)識(shí)別中分別所起的作用,識(shí)別了9類(lèi)活動(dòng),但是兩類(lèi)設(shè)備是獨(dú)立工作的;文獻(xiàn)[11]同時(shí)利用褲袋和手腕處的慣性傳感器來(lái)進(jìn)行日常活動(dòng)的識(shí)別,識(shí)別了更多種類(lèi)的活動(dòng)(13類(lèi)).上述工作均采用了傳統(tǒng)的機(jī)器學(xué)習(xí)算法,需要人工提取特征,并且沒(méi)有對(duì)在線識(shí)別的性能進(jìn)行評(píng)估.

針對(duì)以上問(wèn)題,設(shè)計(jì)了由智能手機(jī)和智能手環(huán)組成的體域網(wǎng),并在此基礎(chǔ)上實(shí)現(xiàn)了一套普適化的人體活動(dòng)在線識(shí)別系統(tǒng).首先,在Android智能手機(jī)上設(shè)計(jì)和開(kāi)發(fā)了通用的傳感數(shù)據(jù)采集系統(tǒng),以方便采集體域網(wǎng)內(nèi)各節(jié)點(diǎn)的傳感數(shù)據(jù);其次,設(shè)計(jì)了深度神經(jīng)網(wǎng)絡(luò)—DeepCIL,在傳感數(shù)據(jù)經(jīng)過(guò)預(yù)處理后,通過(guò)構(gòu)造帶有Inception結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶遞歸神經(jīng)網(wǎng)絡(luò)來(lái)提取其時(shí)空域特征,并結(jié)合兩類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)進(jìn)行數(shù)據(jù)融合,離線訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型;最后,對(duì)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化,并部署到智能手機(jī)上,在線實(shí)時(shí)識(shí)別人體活動(dòng).

2 人體活動(dòng)識(shí)別系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)總體設(shè)計(jì)

本文設(shè)計(jì)了一種適用于人體活動(dòng)識(shí)別的可擴(kuò)展的體域網(wǎng)系統(tǒng)框架,組成包括:可穿戴感知設(shè)備、智能移動(dòng)計(jì)算終端以及大數(shù)據(jù)分析云平臺(tái),系統(tǒng)的整體架構(gòu)如圖1所示.

圖1 系統(tǒng)框架圖Fig.1 Framework of the system

在體域網(wǎng)中,各類(lèi)可穿戴設(shè)備作為感知節(jié)點(diǎn),負(fù)責(zé)實(shí)時(shí)地采集用戶的體感信號(hào),如加速度、角速度等慣性數(shù)據(jù)以及心率等生理數(shù)據(jù).智能手機(jī)既是計(jì)算節(jié)點(diǎn),又承擔(dān)了感知節(jié)點(diǎn)和通信節(jié)點(diǎn)的角色:作為移動(dòng)計(jì)算終端,它負(fù)責(zé)對(duì)各節(jié)點(diǎn)的傳感信號(hào)進(jìn)行收集、預(yù)處理與分析識(shí)別;作為感知節(jié)點(diǎn),它可用于人體上下文運(yùn)動(dòng)感知,實(shí)現(xiàn)硬件資源的充分利用;在通信層面,手機(jī)既是體域網(wǎng)的匯聚節(jié)點(diǎn),又是與云平臺(tái)交互的接口.在網(wǎng)絡(luò)擁堵或電量有限時(shí),手機(jī)可以將收集的傳感數(shù)據(jù)暫存到本地,只將識(shí)別的結(jié)果發(fā)送至遠(yuǎn)端云平臺(tái),由云平臺(tái)作進(jìn)一步的處理,并及時(shí)返回處理結(jié)果.當(dāng)網(wǎng)絡(luò)通暢或電量充足時(shí),再將保存在本地的原始傳感數(shù)據(jù)上傳到云端,方便后續(xù)大數(shù)據(jù)平臺(tái)進(jìn)行歷史數(shù)據(jù)的分析與挖掘.該方法在本地移動(dòng)端即可得到識(shí)別的結(jié)果,及時(shí)準(zhǔn)確,且不受限于網(wǎng)絡(luò).

為了減輕用戶的負(fù)擔(dān)及增加系統(tǒng)的普適性,本文中體域網(wǎng)主要由智能手機(jī)和智能手環(huán)兩個(gè)節(jié)點(diǎn)組成.基于該系統(tǒng)框架,選用了谷歌Nexus 5x手機(jī),并采用Arduino開(kāi)源硬件開(kāi)發(fā)了可穿戴感知設(shè)備iWristIMU,以模擬智能手環(huán)的功能.iWristIMU的硬件組成主要包括一個(gè)Arduino主控板,一個(gè)九軸慣性傳感模塊,一個(gè)無(wú)線藍(lán)牙模塊,以及一套電源組件.其中,慣性傳感模塊采用的CMPS11具有I2C總線接口和TTL串行接口,內(nèi)置三軸加速度、三軸陀螺儀和三軸地磁儀,具有接口簡(jiǎn)單、感知精度高和支持多頻率輸出的優(yōu)點(diǎn),可以滿足人體活動(dòng)識(shí)別的要求.iWristIMU主要通過(guò)該傳感模塊捕捉人的手臂運(yùn)動(dòng),并通過(guò)無(wú)線藍(lán)牙模塊發(fā)送到手機(jī)上.

2.2 數(shù)據(jù)采集軟件及實(shí)驗(yàn)

基于以上系統(tǒng)框架,設(shè)計(jì)開(kāi)發(fā)了相應(yīng)的數(shù)據(jù)采集軟件iSomaticLog,并通過(guò)該軟件采集了一批數(shù)據(jù),以驗(yàn)證本文提出方法的有效性.iSomaticLog支持Android 4.0及以上版本的平臺(tái),能從智能手機(jī)內(nèi)置的各類(lèi)傳感器中采集數(shù)據(jù),包括加速度、陀螺儀、磁力計(jì)等慣性傳感器,以及GPS、光強(qiáng)、大氣壓等其他傳感器,也可接收由藍(lán)牙等無(wú)線網(wǎng)絡(luò)發(fā)送來(lái)的體域網(wǎng)其他節(jié)點(diǎn)的感知數(shù)據(jù).為了便于交互操作,為iSomaticLog設(shè)計(jì)了用戶友好的圖形化界面,當(dāng)需要標(biāo)記人體活動(dòng)類(lèi)型時(shí),可直接點(diǎn)選下拉菜單中的對(duì)應(yīng)項(xiàng),方便又快捷.此外,界面中還可實(shí)時(shí)顯示體域網(wǎng)各傳感節(jié)點(diǎn)的感知數(shù)據(jù).

圖2 數(shù)據(jù)采集軟件界面與采集實(shí)驗(yàn)設(shè)置Fig.2 UI of iSomaticLog and settings for the experiment

數(shù)據(jù)采集軟件iSomaticLog系統(tǒng)界面如圖2左圖所示,由三部分構(gòu)成:在第一部分中,當(dāng)選取人體活動(dòng)的類(lèi)型,并點(diǎn)擊開(kāi)始按鈕后,即開(kāi)始數(shù)據(jù)的采集工作,并得到樣本數(shù)據(jù)的標(biāo)簽;第二部分顯示了智能手機(jī)內(nèi)置傳感器感知到的部分?jǐn)?shù)據(jù),如GPS、角速度、磁場(chǎng)等;第三部分顯示了從智能手環(huán)傳遞來(lái)的慣性傳感數(shù)據(jù),包括角速度、加速度等,并且可通過(guò)點(diǎn)擊開(kāi)關(guān)按鈕的方式選擇是否連接智能手環(huán).

為了驗(yàn)證本文方法的有效性,進(jìn)行了模擬場(chǎng)景實(shí)驗(yàn).將Nexus 5x手機(jī)豎直放入右側(cè)褲子口袋中,頂端朝上,屏幕背對(duì)人體,iWristIMU戴在右手手腕處,各位穿戴者的佩戴方式保持一致,如圖2右圖所示.

表1 測(cè)試者的生理狀況統(tǒng)計(jì)
Table 1 Summary of participant′s physiological profiles

平均值最小值最大值年齡(歲)272432體重(kg)62.6348.977身高(m)1.711.561.83體質(zhì)指數(shù)21.3818.425.13

本試驗(yàn)由4名男性和2名女性共6人參與測(cè)試,表1統(tǒng)計(jì)了他們的年齡、身高、體重等基本生理狀況.這些測(cè)試者通過(guò)iSomaticLog采集并標(biāo)注了十二類(lèi)日?；顒?dòng)的傳感數(shù)據(jù),包括坐、站、上樓、下樓、走、跑、騎自行車(chē)、打字、寫(xiě)字、喝茶、吃飯、吸煙.其中,打字、寫(xiě)字、喝茶、吃飯,坐在桌前完成,吸煙在指定地點(diǎn)站著完成.在6名測(cè)試者中,僅有2人抽煙,有1人不喝茶,其他活動(dòng)每人均參與實(shí)驗(yàn).一次采集過(guò)程一個(gè)人一類(lèi)活動(dòng)至少持續(xù)1分鐘,6名測(cè)試者總共采集得到22.5小時(shí)的數(shù)據(jù),并且確保每類(lèi)活動(dòng)的數(shù)據(jù)不少于40分鐘.在測(cè)試時(shí),對(duì)數(shù)據(jù)進(jìn)行亂序排列和隨機(jī)抽取,以保證結(jié)果無(wú)偏.

3 人體活動(dòng)識(shí)別系統(tǒng)實(shí)現(xiàn)

3.1 傳感器數(shù)據(jù)預(yù)處理

采集的原始傳感數(shù)據(jù)一般不會(huì)直接用來(lái)識(shí)別人體活動(dòng),這樣難以保證識(shí)別的準(zhǔn)確率,主要是因?yàn)楹芏嘁蛩囟寄軐?dǎo)致信號(hào)質(zhì)量下降,其中高頻噪音和信號(hào)丟失最為常見(jiàn).

在人們自然的日?；顒?dòng)中,身體各部位的加速度、角速度等慣性信號(hào)主要維持在較低的頻率,但在這些信號(hào)從激勵(lì)、發(fā)生到檢測(cè)、傳輸?shù)戎T多環(huán)節(jié)中,它們都有可能受到環(huán)境中各類(lèi)高頻噪聲的污染.常用的解決方案是通過(guò)低通濾波器來(lái)將這些噪聲剔除,本文選用巴特沃斯(Butterworth)低通IIR數(shù)字濾波器來(lái)達(dá)到此目的.從圖3中可以看到,濾波后加速度信號(hào)的波形變得平滑,但關(guān)鍵細(xì)節(jié)仍在,且總體波形特征沒(méi)有受到影響.

圖3 Butterworth低通濾波Fig.3 Low pass Butterworth filter

此外,一方面,由于傳感器件運(yùn)行狀態(tài)不穩(wěn)定等各方面的原因,容易出現(xiàn)信號(hào)漂移與數(shù)據(jù)丟失問(wèn)題;另一方面,當(dāng)體域網(wǎng)擴(kuò)展新的傳感節(jié)點(diǎn)(比如心率)時(shí),其可配置的采樣頻率與慣性傳感器的未必一致,需要進(jìn)行數(shù)據(jù)對(duì)齊.這里采用線性插值的方法補(bǔ)全上述缺失的數(shù)據(jù),以保證感知數(shù)據(jù)的內(nèi)在模式不被改變.另外,不同類(lèi)型傳感器的輸出數(shù)值范圍往往差別很大,在經(jīng)過(guò)上述處理后,應(yīng)對(duì)各通道數(shù)據(jù)進(jìn)行歸一化.

各類(lèi)傳感信號(hào)是隨時(shí)間而持續(xù)產(chǎn)生的,以一定的頻率離散采樣可得到一個(gè)很長(zhǎng)的數(shù)據(jù)序列.為方便提取特征和進(jìn)行訓(xùn)練,需要把這些長(zhǎng)數(shù)據(jù)序列分割成若干具有相同長(zhǎng)度的重疊的窗口,也即加窗操作.此處,設(shè)置手機(jī)和手腕上慣性傳感器的采樣頻率為50Hz,并將滑動(dòng)窗口的長(zhǎng)度設(shè)為6s時(shí)長(zhǎng)的傳感序列樣本數(shù)——300,同時(shí)設(shè)置滑動(dòng)窗口的步進(jìn)時(shí)長(zhǎng)為1s(對(duì)應(yīng)50個(gè)樣本).

3.2 人體活動(dòng)識(shí)別算法分析

人體活動(dòng)識(shí)別主要通過(guò)監(jiān)督式學(xué)習(xí)算法實(shí)現(xiàn),更具體地,通過(guò)多元分類(lèi)算法實(shí)現(xiàn),故其關(guān)鍵在于設(shè)計(jì)與實(shí)現(xiàn)高效且準(zhǔn)確的分類(lèi)算法.

當(dāng)前的人體活動(dòng)識(shí)別研究常常采用樸素貝葉斯、決策樹(shù)、支持向量機(jī)等簡(jiǎn)單易用的分類(lèi)算法,算法的準(zhǔn)確性和效率極大地依賴于訓(xùn)練數(shù)據(jù)的特征工程.相關(guān)工作通常采用啟發(fā)式的方法,手動(dòng)提取用來(lái)表示活動(dòng)的各類(lèi)時(shí)域、頻域和時(shí)頻域等特征,并進(jìn)行特征選擇.目前常用的特征包括均值、方差、平均交叉率、FFT變換、能量(Energy)、軸間相關(guān)系數(shù)等.將一個(gè)滑動(dòng)窗口內(nèi)X軸的加速度值表示為X={x1,…,xi,…,xN},這里N=300,則舉例說(shuō)明如下:

1)均值:

(1)

2)方差:

(2)

3)平均交叉率:數(shù)據(jù)越過(guò)均值的次數(shù).

(3)

4)能量:Ak(k=1,2,…,N)代表數(shù)據(jù)序列的快速傅里葉變換系數(shù),則:

(4)

5)軸間相關(guān)系數(shù):xi,yi分別代表X,Y兩軸的加速度值,則:

corr(X,Y)=

(5)

特征工程因不同應(yīng)用領(lǐng)域要解決不同的問(wèn)題,或要使用不同的傳感器類(lèi)型,而各不相同,需要對(duì)應(yīng)領(lǐng)域的專(zhuān)家知識(shí)具體問(wèn)題具體分析.在現(xiàn)有人體活動(dòng)識(shí)別研究中,經(jīng)常存在多模態(tài)傳感數(shù)據(jù),比如加速度、角速度、磁場(chǎng)、心率等,不同類(lèi)型的數(shù)據(jù)往往需要提取不同的特征.與過(guò)去要從人工設(shè)計(jì)的特征開(kāi)始學(xué)習(xí)的傳統(tǒng)方法不同,近年來(lái)迅速發(fā)展的深度學(xué)習(xí)技術(shù)可從原始數(shù)據(jù)直接開(kāi)始學(xué)習(xí),實(shí)現(xiàn)了“端到端”的效果,又被稱為表示學(xué)習(xí)[12].卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在特征提取的全面性和表示能力方面都表現(xiàn)不俗,可用于提取多模態(tài)傳感數(shù)據(jù)的局部空間特征,并能通過(guò)疊加多個(gè)卷積層來(lái)提取更加抽象的活動(dòng)語(yǔ)義,以充分表示不同的活動(dòng).相較于CNN,長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory Network,LSTM)能有效提取數(shù)據(jù)內(nèi)在的時(shí)序關(guān)系,更善于建模喝茶、吸煙等具有長(zhǎng)時(shí)語(yǔ)義的活動(dòng).

為此,本文提出了一種新的深度神經(jīng)網(wǎng)絡(luò)DeepCIL,將CNN和LSTM整合到一個(gè)網(wǎng)絡(luò)框架內(nèi).先分別對(duì)不同模態(tài)傳感數(shù)據(jù)通過(guò)帶有Inception結(jié)構(gòu)的多個(gè)卷積層提取短時(shí)局部特征,再通過(guò)一個(gè)全連接層實(shí)現(xiàn)這些特征的整合,最后通過(guò)LSTM層來(lái)建模長(zhǎng)期時(shí)序關(guān)系,并進(jìn)行人體活動(dòng)的分類(lèi).

3.3 人體活動(dòng)識(shí)別算法設(shè)計(jì)

3.3.1 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)主要有卷積層和池化層兩類(lèi)基本結(jié)構(gòu),它們一般交替出現(xiàn),形成一個(gè)多層的深度網(wǎng)絡(luò).

在CNN中,每層的神經(jīng)元都僅與前一層中的部分?jǐn)?shù)據(jù)相連,通過(guò)與卷積核的卷積操作,局部感受野中的空間特征被提取出來(lái).不同的卷積核可以提取不同類(lèi)型的特征,對(duì)每一層數(shù)據(jù)通常會(huì)使用多個(gè)卷積核進(jìn)行卷積操作.卷積之后得到的數(shù)據(jù)稱之為特征映射(feature map),多個(gè)卷積核對(duì)應(yīng)多個(gè)特征映射.由于加速度等慣性傳感信號(hào)都是一維的數(shù)據(jù),因此采用一維的卷積核,對(duì)應(yīng)的卷積操作為:

(6)

ReLU:σ(x)=max(0,x)

(7)

在卷積層之后往往緊跟著池化層,以對(duì)得到的特征進(jìn)行二次提取,減少特征數(shù)量的同時(shí)保持特征的局部不變性.池化層計(jì)算式為:

(8)

式中:β表示池化權(quán)重系數(shù),fdown()表示采用的池化函數(shù),常用的池化函數(shù)有最大池化函數(shù)(如式(9))和平均池化函數(shù)(如式(10)),其中,k為池化核的大小.

fdown(a)=max(ai,j)i,j∈[0,k]

(9)

(10)

傳統(tǒng)CNN方法主要強(qiáng)調(diào)通過(guò)加深網(wǎng)絡(luò)層數(shù)來(lái)提高網(wǎng)絡(luò)特征處理能力,本文為其引入了結(jié)合Network in Network思想的Inception結(jié)構(gòu)[13].Inception結(jié)構(gòu)通過(guò)并聯(lián)不同尺度的卷積核來(lái)增加網(wǎng)絡(luò)寬度,獲取多模態(tài)傳感數(shù)據(jù)中的多種尺度特征,能有效地表征喝茶、吸煙等復(fù)雜活動(dòng).

圖4 CNN-Inception網(wǎng)絡(luò)層結(jié)構(gòu)Fig.4 Structure of CNN with Inception

以手機(jī)作感知節(jié)點(diǎn)為例,設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)層CNN-Inception的結(jié)構(gòu).選用其三軸加速度和三軸角速度作為訓(xùn)練樣本,并且為了避免傳感器朝向的變動(dòng)影響識(shí)別的效果,計(jì)算三軸加速度向量和三軸角速度向量的長(zhǎng)度作為輔助數(shù)據(jù)通道,因此共有3+3+2=8通道的訓(xùn)練數(shù)據(jù).傳感序列窗口長(zhǎng)度為300,則對(duì)應(yīng)輸入CNN的一個(gè)樣本的維度為(300×8).經(jīng)過(guò)“卷積—>池化”的三次交替迭代,將8通道數(shù)據(jù)進(jìn)行融合得到大小為(19×32)的特征映射.其中,選用的卷積核大小一律為2,池化窗口大小分別采用4、2、2,提取的濾波器數(shù)依次為16、32和32,具體如圖4所示.然后,在此基礎(chǔ)上分四路進(jìn)行數(shù)據(jù)的縮放,以實(shí)現(xiàn)Inception的功能,分別是:①卷積核大小為(1×1)的一維卷積操作;②先進(jìn)行窗口大小為(1×2)的平均池化,再做(1×1)的一維卷積;③先做(1×1)的卷積,再做(1×4)的卷積,均為一維;④先做(1×1)的卷積,再做(1×2)的卷積,均為一維.上述每一路均得到了大小為(19×32)的數(shù)據(jù),將這四路數(shù)據(jù)并聯(lián)起來(lái)即為CNN-Inception的輸出—大小為(19×128)的特征映射.可以看到,在③和④中數(shù)據(jù)維度經(jīng)過(guò)(19×32)->(19×16)->(19×32),實(shí)現(xiàn)了多尺度的特征提取.

在訓(xùn)練時(shí),采用了反向傳播的梯度下降算法對(duì)參數(shù)進(jìn)行調(diào)整,CNN特有的局部感受野和權(quán)值共享機(jī)制,將需訓(xùn)練的參數(shù)數(shù)量限制在一定范圍內(nèi),提高了訓(xùn)練性能.

3.3.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層設(shè)計(jì)

慣性傳感數(shù)據(jù)經(jīng)過(guò)CNN-Inception網(wǎng)絡(luò)層處理后得到的特征映射被輸入LSTM網(wǎng)絡(luò)層,以學(xué)習(xí)內(nèi)在的動(dòng)態(tài)時(shí)序特征.

在LSTM中,每個(gè)神經(jīng)單元的前一個(gè)時(shí)間點(diǎn)的激活值與權(quán)重系數(shù)相乘后又被加回到本時(shí)間點(diǎn)上,這為它施加了過(guò)去激活函數(shù)的影響,相當(dāng)于具有了記憶.LSTM的各個(gè)隱藏層由一系列存儲(chǔ)塊遞歸相連而成,一個(gè)存儲(chǔ)塊對(duì)應(yīng)一個(gè)記憶單元,每個(gè)記憶單元內(nèi)部包含三個(gè)門(mén):輸入門(mén)、輸出門(mén)和遺忘門(mén),分別具有對(duì)記憶單元進(jìn)行讀、寫(xiě)和復(fù)位的功能,以靈活控制不同記憶單元之間的信息傳遞.

一個(gè)LSTM記憶單元的狀態(tài)通過(guò)以下公式進(jìn)行更新:

it=σ(WiXt+Viht-1+bi)

(11)

ft=σ(WfXt+Vfht-1+bf)

(12)

ot=σ(WoXt+Voht-1+bo)

(13)

ct=ft?ct-1+it?tanh(WcXt+Vcht-1+bc)

(14)

ht=ot?tanh(ct)

(15)

其中,it,ft,ot,ct和ht分別代表輸入門(mén)、遺忘門(mén)、輸出門(mén)、控制單元和記憶單元在t時(shí)刻的輸出.bi,bf,bo,bc分別為對(duì)應(yīng)的偏置向量.Wi,Wf,Wo,Wc,Vi,Vf,Vo,Vc為權(quán)重矩陣.

設(shè)計(jì)LSTM網(wǎng)絡(luò)為兩個(gè)隱藏層的結(jié)構(gòu),每個(gè)隱藏層分別對(duì)應(yīng)一個(gè)LSTM單元,依次表示為L(zhǎng)STM-Cell1和LSTM-Cell2.輸入層傳入的數(shù)據(jù)和上一個(gè)時(shí)刻LSTM-Cell1的狀態(tài)輸出構(gòu)成了第一層LSTM-Cell1的輸入;同理,第二層LSTM-Cell2的輸入由LSTM-Cell1的計(jì)算輸出和上一時(shí)刻LSTM-Cell2的狀態(tài)輸出組成.具體參見(jiàn)圖5.

圖5 LSTM網(wǎng)絡(luò)層結(jié)構(gòu)Fig.5 Structure of the LSTM

CNN-Inception網(wǎng)絡(luò)結(jié)構(gòu)的批量輸出經(jīng)過(guò)轉(zhuǎn)置與形變后,通過(guò)一個(gè)全連接層進(jìn)行擬合,再被分割,轉(zhuǎn)換成LSTM容易處理的形式.針對(duì)上一小節(jié)的例子,設(shè)置LSTM隱藏層的節(jié)點(diǎn)數(shù)為60,序列長(zhǎng)度為19.在DeepCIL網(wǎng)絡(luò)中,兩個(gè)LSTM隱藏層之后緊跟一個(gè)全連接層,對(duì)提取的時(shí)空域特征進(jìn)行分類(lèi),得到各類(lèi)人體活動(dòng)的識(shí)別結(jié)果.

在訓(xùn)練模型時(shí),為達(dá)到訓(xùn)練效率和效果折中的目的,將傳感數(shù)據(jù)分批次進(jìn)行輸入.批大小作為超參數(shù),可多次賦值并測(cè)試效果來(lái)選定,本系統(tǒng)一律置為100.一次訓(xùn)練迭代包含前向及反向傳播兩個(gè)過(guò)程,每迭代一次參數(shù)隨之更新一次,直至準(zhǔn)確率及損失趨向于收斂.通過(guò)設(shè)置訓(xùn)練迭代的次數(shù)或終止的條件,最終可獲得穩(wěn)定的DeepCIL網(wǎng)絡(luò)模型.

3.4 人體活動(dòng)識(shí)別移動(dòng)端部署

由于智能手機(jī)的計(jì)算能力有限,并且可攜帶的電池容量有限,運(yùn)行在其上的軟件需要充分考慮性能因素.此外,為了增加用戶的體驗(yàn),以及滿足某些在線應(yīng)用的需求,實(shí)時(shí)性也是題中應(yīng)有之義.因此,在服務(wù)器端訓(xùn)練DeepCIL網(wǎng)絡(luò)模型,并將訓(xùn)練好的模型進(jìn)行轉(zhuǎn)換、優(yōu)化,部署到手機(jī)端,以實(shí)現(xiàn)算法對(duì)移動(dòng)終端硬件的支持.

本文基于Tensorflow[14]框架和Android系統(tǒng)來(lái)進(jìn)行人體活動(dòng)識(shí)別系統(tǒng)的移動(dòng)端部署.TensorFlow是谷歌研發(fā)的第二代人工智能開(kāi)源學(xué)習(xí)系統(tǒng),具有靈活性高、可移植性好等優(yōu)點(diǎn),能夠運(yùn)行在單個(gè)或多個(gè)CPU或GPU上.Tensorflow將神經(jīng)網(wǎng)絡(luò)的輸入、輸出和中間層以及各層節(jié)點(diǎn)間的運(yùn)算關(guān)系定義在內(nèi)部的一個(gè)靜態(tài)圖(Graph)上,并通過(guò)一個(gè)動(dòng)態(tài)會(huì)話(Session)執(zhí)行圖中的具體運(yùn)算.在服務(wù)器端,訓(xùn)練時(shí)可通過(guò)GPU來(lái)加速模型的訓(xùn)練過(guò)程,訓(xùn)練完成后Tensorflow自帶的工具可以將設(shè)計(jì)好的DeepCIL圖結(jié)構(gòu)以及訓(xùn)練得到的參數(shù)固化到一個(gè)二進(jìn)制文件中,并進(jìn)行前向推理的優(yōu)化,比如,刪除模型中輸入和輸出之間的非必要節(jié)點(diǎn),將批處理標(biāo)準(zhǔn)化運(yùn)算跟卷積權(quán)重進(jìn)行合并等,以節(jié)省計(jì)算時(shí)間;在移動(dòng)端,Android系統(tǒng)可方便地通過(guò)Gradle導(dǎo)入Tensorflow對(duì)應(yīng)的庫(kù),調(diào)用庫(kù)的API接口對(duì)實(shí)時(shí)感知的手機(jī)和手環(huán)上的慣性數(shù)據(jù)進(jìn)行推理,即可得到識(shí)別的結(jié)果.

為了便于與傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比,在Android移動(dòng)端同時(shí)引用了Weka[15]的Maven庫(kù),以方便調(diào)用常用的機(jī)器學(xué)習(xí)算法.Weka是基于Java環(huán)境的開(kāi)源機(jī)器學(xué)習(xí)及數(shù)據(jù)挖掘軟件,集成了大量分類(lèi)、回歸、聚類(lèi)等機(jī)器學(xué)習(xí)算法,并可方便地部署于Android平臺(tái).

基于以上設(shè)計(jì),在Android平臺(tái)上開(kāi)發(fā)了在線人體活動(dòng)識(shí)別軟件.該軟件可實(shí)時(shí)地收集體域網(wǎng)各節(jié)點(diǎn)的感知數(shù)據(jù),并進(jìn)行推理得到準(zhǔn)確的識(shí)別結(jié)果,目前可有效識(shí)別前文所述的十二類(lèi)人體活動(dòng).

4 實(shí)驗(yàn)分析

基于DeepCIL的人體活動(dòng)識(shí)別模型是在Ubuntu 16.04平臺(tái)上,由TensorFlow框架通過(guò)NVIDIA GTX 1080顯卡硬件加速訓(xùn)練得到的,而后被部署到谷歌Nexus 5x手機(jī)上.在訓(xùn)練過(guò)程中經(jīng)過(guò)多次賦值測(cè)試并篩選得到了相應(yīng)的學(xué)習(xí)速率、序列長(zhǎng)度和訓(xùn)練迭代次數(shù)等超參數(shù),分別為0.0001,300,100.

表2 傳感器類(lèi)別與佩戴位置對(duì)準(zhǔn)確率的影響
Table 2 Effect of number and position of sensors to accuracy

準(zhǔn)確率均值準(zhǔn)確率方差SA+P97.36%0.0048CA+P59.31%0.0140CA+W91.43%0.0096CA+P+W94.42%0.0093

首先,考慮傳感器數(shù)量與佩戴位置對(duì)人體活動(dòng)識(shí)別準(zhǔn)確率的影響.將十二類(lèi)活動(dòng)分為簡(jiǎn)單活動(dòng)(以SA表示):坐、站、走、跑、騎自行車(chē)、上樓、下樓,共七類(lèi);和復(fù)雜活動(dòng)(以CA表示):打字、寫(xiě)字、喝茶、吃飯、吸煙,共五類(lèi).分別采用手機(jī)(以P表示)和手環(huán)(以W表示)的三軸加速度和三軸角速度兩類(lèi)傳感數(shù)據(jù),并提取其均值、方差作為基本統(tǒng)計(jì)特征,通過(guò)Weka的樸素貝葉斯來(lái)進(jìn)行分類(lèi).每次實(shí)驗(yàn)隨機(jī)選取80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),10%作為驗(yàn)證數(shù)據(jù),剩下10%的數(shù)據(jù)作為測(cè)試數(shù)據(jù),重復(fù)上述過(guò)程10次,并計(jì)算各次分類(lèi)準(zhǔn)確率的均值和方差,如表2所示.

從實(shí)驗(yàn)結(jié)果可以看出,在僅采用手機(jī)上的慣性傳感數(shù)據(jù)的條件下,七類(lèi)簡(jiǎn)單活動(dòng)能夠被樸素貝葉斯算法準(zhǔn)確的區(qū)分,且分類(lèi)效果相對(duì)穩(wěn)定,而五類(lèi)復(fù)雜活動(dòng)的分類(lèi)準(zhǔn)確率并不理想,僅為59.31%;在僅采用手腕上的慣性傳感數(shù)據(jù)時(shí),五類(lèi)復(fù)雜活動(dòng)的分類(lèi)效果得到了很大程度的改善,可見(jiàn)對(duì)于這些人體活動(dòng)而言,手部的動(dòng)作更有區(qū)分度;當(dāng)同時(shí)采用手機(jī)和手腕上的慣性傳感數(shù)據(jù)時(shí),五類(lèi)復(fù)雜活動(dòng)的分類(lèi)效果進(jìn)一步提升,準(zhǔn)確率和穩(wěn)定性都維持在較好的水平.這說(shuō)明增加體域網(wǎng)傳感節(jié)點(diǎn),能夠有效的擴(kuò)展可識(shí)別的人體活動(dòng)種類(lèi);手環(huán)設(shè)備作為一個(gè)感知節(jié)點(diǎn),在某些類(lèi)別的活動(dòng)分類(lèi)中是必要的.

表3 特征組名與類(lèi)別
Table 3 Three group of extracted features

特征組名特征類(lèi)型簡(jiǎn)單特征(SF)均值,方差常用特征(MF)均值,方差,絕對(duì)偏差,平均交叉率,峰值間隔,能量,桶分布,軸間相關(guān)系數(shù)通用特征(CF)tsfresh[16]時(shí)序特征工具提取794個(gè)特征,并從中平均選擇得到423個(gè)特征

為了考察特征工程對(duì)人體活動(dòng)識(shí)別準(zhǔn)確率和效率的影響,進(jìn)行如下實(shí)驗(yàn).在五類(lèi)復(fù)雜活動(dòng)的基礎(chǔ)上,增加與之運(yùn)動(dòng)模式類(lèi)似的坐、走兩類(lèi)活動(dòng),針對(duì)這七類(lèi)活動(dòng),同時(shí)采用手機(jī)和手環(huán)上的三軸加速度和三軸角速度,并為這些數(shù)據(jù)各通道的每一窗口分別提取三組特征,如表3所示.

表4 特征工程對(duì)識(shí)別準(zhǔn)確率和效率的影響
Table 4 Effect of feature engineering to accuracy and efficience

準(zhǔn)確率/%特征耗時(shí)/ms推理耗時(shí)/msSF+NB86.970.550.13MF+NB88.4528.543.29CF+NB77.38(1,048)-DeepCIL-199.8708.41DeepCIL-298.4606.17

在移動(dòng)端,在線提取SF和MF特征,并通過(guò)訓(xùn)練好的樸素貝葉斯(以NB表示)模型在線分類(lèi),分別得到對(duì)應(yīng)的耗時(shí)和準(zhǔn)確率.CF僅在服務(wù)器端(CPU配置為Intel(R)Core(TM)i7-7740x)提取并計(jì)算耗時(shí).此外,在服務(wù)器端分別訓(xùn)練兩個(gè)DeepCIL模型,一個(gè)遵照前文設(shè)計(jì)的網(wǎng)絡(luò)參數(shù)(DeepCIL-1),另一個(gè)將所有隱藏層的節(jié)點(diǎn)數(shù)減半(DeepCIL-2),然后將兩個(gè)模型部署到移動(dòng)端,并計(jì)算推理耗時(shí)和準(zhǔn)確率.結(jié)果如表4所示.

從表4中可以看出,在僅有簡(jiǎn)單特征的情況下,移動(dòng)端特征提取和分類(lèi)預(yù)測(cè)的平均耗時(shí)分別為0.55ms和0.13ms,基本可以忽略,但分類(lèi)準(zhǔn)確率較低,僅為86.97%;采用啟發(fā)式的方法優(yōu)選得到MF特征后,分類(lèi)準(zhǔn)確率有了一定程度的提升,但耗時(shí)分別增加至28.54ms和3.29ms.由于啟發(fā)式的方法無(wú)法明確需要提取的特征種類(lèi),嘗試采用tsfresh提取并選擇得到的CA特征進(jìn)行分類(lèi),效果卻并不理想.一方面,準(zhǔn)確率僅為77.38%,明顯偏低;另一方面,特征提取在服務(wù)器平臺(tái)上的耗時(shí)已為1.048s,即便部署至移動(dòng)端也無(wú)法做到實(shí)時(shí)識(shí)別,而且特征數(shù)量的龐大也造成了移動(dòng)端的部署困難.采用本文設(shè)計(jì)的DeepCIL進(jìn)行端到端的人體活動(dòng)識(shí)別,無(wú)需人為設(shè)計(jì)特征工程,識(shí)別準(zhǔn)確率高達(dá)99.87%,移動(dòng)端平均耗時(shí)僅為8.41ms,能夠滿足在線日常活動(dòng)識(shí)別的實(shí)時(shí)性要求.對(duì)DeepCIL進(jìn)行壓縮,將網(wǎng)絡(luò)各隱層的節(jié)點(diǎn)數(shù)減半,耗時(shí)降至6.17ms,識(shí)別準(zhǔn)確率仍達(dá)98.46%.

表5 相關(guān)工作的分類(lèi)效果對(duì)比
Table 5 Results of activity recognition with different methods

(%)precisionrecallf1-scoreLSTM96.4296.4696.43DeepConvLSTM99.0198.9999.02DeepCIL99.3799.3599.36

目前,已有一些基于深度卷積神經(jīng)網(wǎng)絡(luò)或LSTM進(jìn)行人體活動(dòng)識(shí)別的研究,包括筆者前期基于LSTM的工作[17],以及DeepConvLSTM[18]等,分別采用上述方法對(duì)十二類(lèi)人體活動(dòng)傳感數(shù)據(jù)通過(guò)十折交叉驗(yàn)證進(jìn)行分類(lèi),并與本文方法進(jìn)行比較,結(jié)果如表5所示.從表中可以看出,在準(zhǔn)確率、召回率和f1-score三個(gè)指標(biāo)方面,本文方法均具有一定的優(yōu)勢(shì).究其原因,Inception優(yōu)化了CNN特征提取的性能和效果,LSTM進(jìn)一步挖掘出數(shù)據(jù)間的時(shí)序依賴,DeepCIL在時(shí)域和空域?qū)θ梭w活動(dòng)均有較好的表征.

圖6 DeepCIL測(cè)試數(shù)據(jù)混淆矩陣Fig.6 Confusion matrix for DeepCIL on test data

圖6為訓(xùn)練好的DeepCIL模型下測(cè)試數(shù)據(jù)集的混淆矩陣,從圖中可以看出,有0.06%的“吸煙”活動(dòng)對(duì)應(yīng)的傳感數(shù)據(jù)被誤分類(lèi)成“站著”,有0.07%的“吃飯”被誤分類(lèi)為“喝茶”.直觀上理解,吸煙是站著進(jìn)行的,而吃飯和喝茶都是坐著進(jìn)行的,并均伴有手部的動(dòng)作,因此較易出現(xiàn)混淆.

5 結(jié)束語(yǔ)

本文設(shè)計(jì)了由智能手環(huán)和智能手機(jī)組成的體域網(wǎng),并在此基礎(chǔ)上實(shí)現(xiàn)了一套普適化的人體活動(dòng)在線識(shí)別系統(tǒng).先在智能手機(jī)上基于Android平臺(tái)設(shè)計(jì)和開(kāi)發(fā)了一套通用的傳感數(shù)據(jù)采集系統(tǒng),并采集了實(shí)驗(yàn)所需的數(shù)據(jù);然后,設(shè)計(jì)了DeepCIL深度神經(jīng)網(wǎng)絡(luò),對(duì)預(yù)處理后的傳感數(shù)據(jù)進(jìn)行離線訓(xùn)練;最后,對(duì)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化,并部署到智能手機(jī)上,實(shí)現(xiàn)了在線人體活動(dòng)的識(shí)別.