利用多頭-連體神經(jīng)網(wǎng)絡實現(xiàn)障礙行為識別

馬 侖，劉 鑫，趙 斌，王瑞平，廖桂生，張亞靜

(1.長安大學 信息工程學院，陜西 西安 710064；2.西安電子科技大學 雷達信號處理國家重點實驗室，陜西 西安 710071)

隨著可穿戴設備的高速發(fā)展與普及，基于可穿戴傳感器采集數(shù)據(jù)對人類行為進行識別(Human Activity Recognition，HAR)展現(xiàn)出了巨大的研究價值[1]。具體來說，在不同身體部位佩戴多個可穿戴傳感器來感知行為信息，對采集到的數(shù)據(jù)進行預處理、特征提取及分類識別的數(shù)據(jù)處理框架?；诳纱┐鱾鞲袛?shù)據(jù)的HAR憑借其獨有的靈活性高、適應性強等特點，在醫(yī)療、健康監(jiān)測、軍事、安全應用等眾多領域得到了更廣泛的研究與應用[2]。另一方面，相比于普通人群，在臨床上被診斷為生理和心理層面有殘疾的(如自閉癥、抽搐等)及有特殊需要的人群，所表現(xiàn)出的障礙行為(自傷行為、破壞性行為和攻擊性等)的智能識別還鮮有研究報道。

筆者致力于探索利用可穿戴設備傳感器結(jié)合先進的人工智能技術對障礙人群的問題行為進行識別的數(shù)據(jù)處理方法。根據(jù)障礙行為的運動學特性(主要針對撞墻、打自己的頭部和抽搐等3種自傷行為，打他人1種傷害他人行為對比走路1種正常行為)，將MPU9250九軸傳感器分別佩戴在測試者的胸部周圍，手腕和腳踝采集行為數(shù)據(jù)。行為識別的關鍵在于特征提取，傳統(tǒng)機器學習方法過于依賴運動學專業(yè)領域知識，且提取特征需花費大量時間和精力。近年來，基于深度學習的方式逐漸受到更多的關注。其實驗步驟由5部分構(gòu)成，分別是數(shù)據(jù)采集，數(shù)據(jù)預處理，數(shù)據(jù)滑窗，特征提取和行為分類識別[1-2]，其中，數(shù)據(jù)處理和特征提取是筆者研究的重點。

針對特征提取步驟，文獻[3]采用單頭網(wǎng)絡結(jié)構(gòu)，首先通過長短時記憶網(wǎng)絡(Long Short-Term Memory，LSTM)提取序列時間特征，再通過卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks，CNN)進行特征提取，在3種數(shù)據(jù)集(UCI-HAR，WISDM，OPPORTUNITY)上均達到較高的識別率；文獻[4]采用多頭網(wǎng)絡結(jié)構(gòu)，將傳感器數(shù)據(jù)分別通過3個子網(wǎng)絡提取特征，其中子網(wǎng)絡均需通過卷積神經(jīng)網(wǎng)絡層，再通過雙向長短時記憶網(wǎng)絡(Bidirectional Long Short-Term Memory，BiLSTM)提取序列前后時間信息，在兩種數(shù)據(jù)集(WISDM，MHEALTH)上，該模型展現(xiàn)出良好的性能；文獻[5]針對行為識別中存在的弱監(jiān)督問題，利用孿生網(wǎng)絡進行特征提取，并通過均方誤差損失函數(shù)(Mean Squared Error，MSE)對比特征之間的相似度，在3種數(shù)據(jù)集(Daphnet Gait，WISDM，SBHAR)上驗證了孿生網(wǎng)絡在行為識別的弱監(jiān)督領域中具有有效性，其中孿生網(wǎng)絡具有兩個子網(wǎng)絡且子網(wǎng)絡之間共享權值。孿生網(wǎng)絡最早由BROMLEY等于1993年提出[6]，由于它具有度量輸入信號之間相似性及關聯(lián)性的特點而廣泛應用于人臉識別、語義相似度匹配等領域。另一方面，單頭網(wǎng)絡首先需對多傳感器數(shù)據(jù)進行融合，之后通過網(wǎng)絡提取特征，而數(shù)據(jù)級融合增大處理數(shù)據(jù)量，實時性差[7]，且不同數(shù)據(jù)經(jīng)融合后輸入神經(jīng)網(wǎng)絡會被映射到一個特征空間，使得多傳感器數(shù)據(jù)處理等同于單個傳感器數(shù)據(jù)處理，致使傳感器之間的關聯(lián)性被忽略；傳統(tǒng)多頭網(wǎng)絡由于子網(wǎng)絡之間不共享權值，因此各子網(wǎng)絡的結(jié)構(gòu)、超參數(shù)無需一致，相對于孿生網(wǎng)絡，在不共享權值的情況下，考慮到每個子網(wǎng)絡分別提取特征會增大訓練參數(shù)，不便于網(wǎng)絡在計算能力有限的平臺部署。

考慮到不同部位佩戴的傳感器為同質(zhì)傳感器，提取特定行為所采用的傳感器之間存在較強的相關性，因此筆者借鑒孿生網(wǎng)絡權值共享[8]的基本思路，即由3種傳感器數(shù)據(jù)輸入相同的子網(wǎng)絡中進行特征提取，之后進行特征融合。相對于單頭網(wǎng)絡，傳感器之間的信息能夠相互關聯(lián)，相對于傳統(tǒng)多頭網(wǎng)絡，可有效降低訓練參數(shù)。本實驗是單標簽多分類任務，標簽不存在缺失現(xiàn)象，最后通過softmax分類器進行分類。針對優(yōu)化器的選取問題，正常行為識別領域普遍采用Adam優(yōu)化器來更新網(wǎng)絡參數(shù)的方式，而障礙行為識別目前鮮有研究，因此采用AdamW優(yōu)化器與Adam優(yōu)化器進行對比分析，以此來選取該領域更為合適的優(yōu)化器。另外，考慮到了可穿戴設備傳感器的采集數(shù)據(jù)缺失問題，即通過數(shù)據(jù)預處理對缺失數(shù)據(jù)進行均衡。最后，鑒于文獻[3]和[4]的網(wǎng)絡在多種數(shù)據(jù)集上的出色表現(xiàn)，將采用其作為對比實驗。

綜上所述，筆者主要圍繞以下方面展開研究：① 針對障礙行為識別進行參考性實驗；② 提出多頭-連體神經(jīng)網(wǎng)絡，將傳感器的關聯(lián)性通過網(wǎng)絡來描述，并對比3種網(wǎng)絡證明障礙行為識別在監(jiān)督式學習中具有有效性；③ 引入AdamW優(yōu)化器，解決行為識別領域中常用的Adam優(yōu)化器所存在L2正則化效果不理想的問題。

1 模型搭建與優(yōu)化

1.1 多頭-連體神經(jīng)網(wǎng)絡

針對傳統(tǒng)行為識別融合多傳感器采集數(shù)據(jù)過程中，單頭網(wǎng)絡結(jié)構(gòu)在數(shù)據(jù)級融合數(shù)據(jù)量大，實時性差且傳感器之間的關聯(lián)性被忽略，多頭網(wǎng)絡結(jié)構(gòu)每個子網(wǎng)絡分別提取特征使訓練參數(shù)增大這一問題，筆者提出多頭-連體神經(jīng)網(wǎng)絡，網(wǎng)絡構(gòu)架如圖1所示?？紤]到傳感器數(shù)目與網(wǎng)絡構(gòu)架的內(nèi)在聯(lián)系，即3種傳感器之間的關聯(lián)特性需要通過神經(jīng)網(wǎng)絡來描述，該架構(gòu)首先采用特征級融合，使用3種子網(wǎng)絡分別處理不同部位的傳感器數(shù)據(jù)。進一步，由文獻[9]可知，深度、卷積、遞歸模型對于不同類型數(shù)據(jù)集的表現(xiàn)不同，其中，卷積模式更適合處理持續(xù)時間長且具有類周期性的動作。如上所述，障礙人士的實際行為具有長期重復性，如打頭，打人等行為需通過發(fā)力部位的反復運動來完成，抽搐依賴軀體的小幅度周期性運動，另一方面，卷積網(wǎng)絡具有平移不變性，有利于捕捉行為的重復特性，因此圖1中每個子網(wǎng)絡采用卷積模式提取深層特征。最后，針對傳感器之間存在內(nèi)在關聯(lián)性這一特點，參考傳統(tǒng)孿生網(wǎng)絡，3個子網(wǎng)絡需要同質(zhì)構(gòu)架來確保假設空間的一致性。每個子網(wǎng)絡由3層卷積層提取數(shù)據(jù)的非線性特征，再通過池化操作對每次提取的特征進行降維，并加入Dropout層防止過擬合，最后，將子網(wǎng)絡處理結(jié)果融合并通過全連接層進行分類識別。

如上所述，圖1所示網(wǎng)絡具有兩類權值共享：在子網(wǎng)絡層面，多傳感器數(shù)據(jù)需通過卷積模式提取數(shù)據(jù)特征，由于每個卷積核需對數(shù)據(jù)樣本沿時間軸進行特征提取構(gòu)成神經(jīng)元，因此每份數(shù)據(jù)樣本共享卷積核權重值，其次，卷積層需要通過多卷積核提取數(shù)據(jù)的不同特征，因此這種共享權重值的方式將會多次進行。由于卷積層具有權值共享的特點，神經(jīng)元之間采用局部連接的方式，在一定程度上減少了網(wǎng)絡訓練參數(shù)；同時，由于行為的進行依賴于身體各部位之間的協(xié)同，反映到傳感器層面，指不同傳感器之間的關聯(lián)性，反映到網(wǎng)絡架構(gòu)層面，指輸入信號的關聯(lián)性由每個子網(wǎng)絡構(gòu)架來度量，即在子網(wǎng)絡架構(gòu)相同的前提下，需保證子網(wǎng)絡之間的權值一致，意味著子網(wǎng)絡輸入與輸出之間的映射方式是一致的。網(wǎng)絡構(gòu)架層面的權值共享能夠進一步減少網(wǎng)絡參數(shù)，降低模型的復雜度。

1.2 模型優(yōu)化

1.2.1 貝葉斯優(yōu)化

基于圖1所示神經(jīng)網(wǎng)絡結(jié)構(gòu)，需要對如表1所示的10個超參數(shù)進行調(diào)參。首先，鑒于所調(diào)參數(shù)數(shù)目較多，不同超參數(shù)組合之間存在相關性；其次，神經(jīng)網(wǎng)絡的假設空間無法由具體函數(shù)來表征，因此采用貝葉斯優(yōu)化調(diào)參[10]。貝葉斯優(yōu)化首先需要初始化超參數(shù)，通過超參數(shù)來訓練神經(jīng)網(wǎng)絡，同時以測試集損失作為超參數(shù)的評估指標，并構(gòu)建關于超參數(shù)的高斯模型來對神經(jīng)網(wǎng)絡的代價損失函數(shù)建模。以增益期望(Expected Improvement，EI)在超參數(shù)搜索空間中找尋新的超參數(shù)，并再次訓練神經(jīng)網(wǎng)絡。多次重復這個過程直到貝葉斯優(yōu)化器修正好高斯模型。工作流程如圖2所示。通過修正高斯模型10次，貝葉斯優(yōu)化后得到每個超參數(shù)取值結(jié)果如表1所示。

表1 超參數(shù)設定

1.2.2 Adam優(yōu)化器與AdamW優(yōu)化器對比

深度學習領域存在諸多優(yōu)化器，不同優(yōu)化器均需要更新網(wǎng)絡參數(shù)，使之逼近最優(yōu)解，從而使代價損失函數(shù)最小化。其中Adam是目前較為普遍使用的優(yōu)化器，Adam優(yōu)化器使用動量作為參數(shù)的更新方向，而且可以自適應調(diào)整學習率，雖然Adam優(yōu)化器收斂速度快，但其存在L2正則化效果不理想以及過擬合的問題。而AdamW優(yōu)化器成功引入L2正則化，在一定程度上減少了過擬合現(xiàn)象。選用AdamW優(yōu)化器[11]，并與Adam優(yōu)化器進行對比，結(jié)果如圖3所示。

圖3(a)是驗證集損失對比，圖3(b)是驗證集準確率對比。Adam優(yōu)化器損失值在5個訓練迭代(epochs)內(nèi)降到0.2以下，但在隨后的30個epochs中反彈至0.2到0.4之間，在接下來的40到80個epochs中，損失值總體在0.3到0.7之間。隨著訓練次數(shù)的增大，損失值總體呈現(xiàn)增大的趨勢。而AdamW優(yōu)化器，在5個epoch內(nèi)降到0.2以下，隨著訓練次數(shù)的增大，損失值逐漸穩(wěn)定在0.2之間。分別對兩種優(yōu)化器下的網(wǎng)絡訓練10次，得到測試集準確率對比如圖4所示。綜合驗證集和測試集的表現(xiàn)，筆者采用AdamW優(yōu)化器進行后續(xù)研究。

2 實驗與分析

基于python3.7編寫代碼，在系統(tǒng)為Windows 64位，CPU為i5-10300H的計算機上執(zhí)行代碼。

2.1 實驗配置

文獻[12]在實驗者的不同部位(臀部，手腕，手臂，腳踝，腿部)放置5個加速度傳感器，來感知實驗者的日常行為，通過特征提取及分類器識別。結(jié)果表明，引入多個傳感器有助于行為識別，但考慮到實際情況，采樣過多傳感器會對受試者造成不便。文獻[13]將兩個MPU6050傳感器分別放置在實驗者的手腕和腳踝處，來感知10項日?；顒蛹?1項體育活動，通過特征提取及分類器識別，日常活動識別率達到約98.23%，體育活動的識別率達到約99.55%，說明傳感器位置布設和優(yōu)化的重要性和可行性。

參考上述文獻，同時考慮到如引言中所述，針對5種行為(撞墻、打自己的頭部和抽搐等3種自傷行為，打他人1種傷害他人行為對比走路1種正常行為)的運動學特征，即發(fā)力部位以及動作發(fā)生主要區(qū)域，采用3個MPU9250傳感器[14]分別布設于胸部(撞墻與抽搐的主要動作區(qū)域)、腕部(打人與擊打自己頭部的主要發(fā)力部位)和踝部(走路以及抽搐的主要動作區(qū)域)，如圖1所示。另一方面，各個行為的進行需協(xié)同不同身體部位[15]，比如打人，不僅需要手臂和腿部，軀體的平衡也需要協(xié)調(diào)，因此，多個傳感器之間具有明顯的關聯(lián)性。筆者提出的多頭-連體神經(jīng)網(wǎng)絡正是利用此關聯(lián)性將3個傳感器數(shù)據(jù)輸入相同的子網(wǎng)絡中進行特征提取，之后進行特征融合，在大幅減少訓練參數(shù)的基礎上提高分類準確率。

文中數(shù)據(jù)錄取于長安大學公共實驗教室，根據(jù)不同行為的頻率差異，如抽搐、打人相對于走路、撞墻更快，設定傳感器采樣頻率為20 Hz，每個動作均采集10 s。所提取每個傳感器數(shù)據(jù)有9類自由度，分別是三軸加速度(x-acceleration，y-acceleration，z-acceleration)，三軸磁強針(x-magnetometer，y-magnetometer，z-magnetometer)，三軸陀螺儀(x-gyroscope，y-gyroscope，z-gyroscope)。不同類型的數(shù)據(jù)相差較大，需進行預處理。預處理后的數(shù)據(jù)通過滑窗將數(shù)據(jù)分割，筆者采用窗口大小為80，為保證同一動作滑窗時不會間斷，采用重復滑窗為50%。

表2 傳感器數(shù)據(jù)量

2.2 數(shù)據(jù)集介紹

文中數(shù)據(jù)集來自36位志愿者，年齡在18～38歲之間，每個志愿者分別重復5種行為3次。理想情況下，依據(jù)傳感器采樣頻率為20 Hz以及動作采集時長為10 s，得到每種行為每次采集數(shù)據(jù)點是200個，每個人的每種行為有600(200×3)個數(shù)據(jù)點，總計每種行為21 600個數(shù)據(jù)點。實際數(shù)據(jù)量統(tǒng)計如表2所示。

2.3 數(shù)據(jù)預處理

2.3.1 數(shù)據(jù)均衡

從表2可以看出3種傳感器數(shù)據(jù)均存在缺失現(xiàn)象(數(shù)據(jù)記錄過程中的人為失誤及數(shù)據(jù)處理管道中的軟件bug)。其中，手腕位置和胸部的傳感器均缺少一次走路數(shù)據(jù)，腳踝位置的傳感器缺失一次撞墻數(shù)據(jù)和抽搐數(shù)據(jù)，3種不同位置的數(shù)據(jù)缺失將對神經(jīng)網(wǎng)絡的特征融合以及分類識別造成影響。由于缺失數(shù)據(jù)所占比例較小，采取上采樣方式進行數(shù)據(jù)均衡，合成少數(shù)類過采樣技術(Synthetic Minority Oversampling TEchnique，SMOTE)未能考慮非缺失數(shù)據(jù)的分布情況，僅對缺失數(shù)據(jù)進行擴充[16]，存在一定的盲目性，因此文中采取BorderlineSMOTE1算法[17]進行數(shù)據(jù)均衡，BorderlineSMOTE1算法將缺失數(shù)據(jù)依照位置分布劃分成3種類型：danger集，safe集，noise集，其中，noise集的最近鄰數(shù)據(jù)均為多數(shù)數(shù)據(jù)；safe集的最近鄰數(shù)據(jù)超過一半為少數(shù)數(shù)據(jù)；danger集的最近鄰數(shù)據(jù)超過一半為多數(shù)數(shù)據(jù)，只選取danger集數(shù)據(jù)進行上采樣。采樣公式如下：

hij=fi+rand(0，1)(fi-fij) ，

(1)

其中，fij是danger集數(shù)據(jù)fi的最近鄰，通過BorderlineSMOTE1得到的3種傳感器數(shù)據(jù)中，每種行為均有21 600 份數(shù)據(jù)點，將3種數(shù)據(jù)集中，后8人作為測試集，前28人中的80%作為訓練集，20%作為驗證集。前24人數(shù)據(jù)通過50%的重疊進行滑窗，為保證測試集數(shù)據(jù)不過擬合，只對后8人數(shù)據(jù)進行滑窗，不經(jīng)過重疊操作，得到訓練樣本有1 343份，驗證樣本有336份，測試樣本有299份。

2.3.2 數(shù)據(jù)標準化

為更好地分析數(shù)據(jù)分布和大小，需對傳感器數(shù)據(jù)進行可視化。由于篇幅原因，筆者節(jié)選每種傳感器數(shù)據(jù)的加速度數(shù)據(jù)(x-acceleration)，陀螺儀(x-gyroscope)，磁強針(x-magnetometer)數(shù)據(jù)，可視化結(jié)果如圖5所示。

由圖5可以看出，陀螺儀(x-gyroscope)數(shù)值較小，磁強針(x-magnetometer)數(shù)值較大，且數(shù)據(jù)呈現(xiàn)高斯分布，故采用標準化處理數(shù)據(jù)集[18]。求出訓練集數(shù)據(jù)的均值μij和方差σij。根據(jù)如下公式處理數(shù)據(jù)集：

(2)

其中i=1，2，3，是傳感器個數(shù)；j=1，2，…，9，是每類傳感器自由度數(shù)目。

標準化和非標準化后模型訓練10次得到的結(jié)果對比見圖6，可知標準化處理對網(wǎng)絡準確率影響比較大。

2.4 模型參數(shù)對比

為證實多頭-連體網(wǎng)絡的有效性，將其與基線網(wǎng)絡及文獻[3]的單頭網(wǎng)路和文獻[4]的傳統(tǒng)多頭網(wǎng)絡進行對比?；€網(wǎng)絡是單頭網(wǎng)絡，采用多頭-連體網(wǎng)絡的子網(wǎng)絡結(jié)構(gòu)，文獻[3]的網(wǎng)絡架構(gòu)由2個LSTM層，2個CNN層，1個最大池化層 (maxpooling)，1個全局池化層(Global_Average_Pooling，GAP)，1個批標準化(Batch Normalization，BN)，1個Dense層組成。文獻[4]提出MCBLSTM的網(wǎng)絡構(gòu)架，筆者引用該模型，為與多頭-連體網(wǎng)絡對比，采取與多頭-連體網(wǎng)絡相同的數(shù)據(jù)處理思路，即3種傳感器數(shù)據(jù)分別輸入子網(wǎng)絡進行特征提取，進而證明這種特征級融合對行為識別具有有效性，MCBLSTM的3個子網(wǎng)絡分別由3個CNN提取特征，經(jīng)最大池化降維，融合數(shù)據(jù)特征后由BiLSTM提取特征前后信息。模型訓練參數(shù)量如表3所示。

表3 4種模型的訓練參數(shù)

基線網(wǎng)絡總訓練參數(shù)比多頭-連體網(wǎng)絡多出約28.59%，文獻[3]所提出的模型總訓練參數(shù)比多頭-連體網(wǎng)絡少約14.49%，文獻[4]所提出的模型總訓練參數(shù)比多頭-連體網(wǎng)絡多出約92.22%。4種模型在驗證集上的表現(xiàn)如圖7所示。

從圖7可以看出，筆者提出模型的驗證集損失基本穩(wěn)定在0.2左右，其余模型均在0.2以上。在驗證集準確率上，筆者提出的模型相比其余模型表現(xiàn)更好。

2.5 模型評價指標

根據(jù)測試集在4種模型上的表現(xiàn)來評估網(wǎng)絡泛化能力，得到4種模型的混淆矩陣，如圖8所示。

從圖8可以看出，前2種單頭網(wǎng)絡均未能很好的識別走路動作，基線網(wǎng)絡走路的召回率約為67.7%，約有28.1%被誤識為打頭，文獻[3]的網(wǎng)絡走路的召回率約為83.3%，約有12.5%被誤識為打頭，相對基線網(wǎng)絡提高了約15.6%，但走路與打頭之間的混淆問題依舊存在。文獻[4]和筆者提出的網(wǎng)絡很好地解決了這一問題，但相對筆者提出的網(wǎng)絡，文獻[3]的網(wǎng)絡總訓練參數(shù)過大，導致模型復雜度較高，不便于網(wǎng)絡實際應用。4種模型的行為識別f1-score和準確率如表4所示。

表4 4種模型的行為識別f1-score和準確率 %

由表4可以看出，兩種單頭網(wǎng)絡的走路和打頭的f1-score均比較低，筆者提出的網(wǎng)絡很好的解決了這一問題，在5種行為上的f1-score均在0.920以上，網(wǎng)絡準確率約達到96.0%，比兩種單頭網(wǎng)絡分別提高了約6.1%和8.8%，比文獻[4]的網(wǎng)絡提高了約2.4%，說明筆者提出的算法對5種障礙行為的識別具有有效性。

3 結(jié)束語

筆者提出一種基于權值共享的多頭-連體神經(jīng)網(wǎng)絡，通過探討數(shù)據(jù)缺失、標準化、網(wǎng)絡超參數(shù)和優(yōu)化器的選擇來提高識別準確率。實驗結(jié)果表明，相對單頭網(wǎng)絡，筆者提出的模型明顯降低走路和打頭的混淆程度；相對傳統(tǒng)多頭網(wǎng)絡，筆者提出的模型明顯降低了網(wǎng)絡訓練參數(shù)，并在5種行為的f1-score上取得了良好的表現(xiàn)；筆者提出的網(wǎng)絡準確率均高于其余網(wǎng)絡，證明文中模型采用權值共享的方法可以降低行為之間的誤識程度，減少網(wǎng)絡訓練參數(shù)并提高準確率，因此筆者提出的模型是有意義的。

目前，由于障礙人士的行為具有明顯的重復性，在一定程度上限制了網(wǎng)絡模式的選擇。下一步將著重采集障礙人士具有非周期特性的行為數(shù)據(jù)，并對現(xiàn)有網(wǎng)絡的結(jié)構(gòu)進行調(diào)整，如加入循環(huán)神經(jīng)網(wǎng)絡或引入注意力機制，以期進一步完善障礙人士的行為識別。