• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于GRU-DRSN的雙通道人體活動識別

    2024-02-20 03:05:08邵小強原澤文楊永德劉士博李鑫韓澤輝
    科學技術與工程 2024年2期
    關鍵詞:支路特征提取準確率

    邵小強, 原澤文*, 楊永德, 劉士博, 李鑫, 韓澤輝

    (1.西安科技大學電氣與控制工程學院, 西安 710054; 2.西安市電氣設備狀態(tài)監(jiān)測與供電安全重點實驗室, 西安 710054)

    人體活動識別(human activity recognition,HAR)研究主要是通過不同設備(照相機、傳感器等)采集數據對行為進行識別分類。目前該技術應用領域十分廣泛,如智能家居、個人健康監(jiān)測、老年人防護、醫(yī)療診斷、異常行為檢測等[1]。目前主流的HAR技術主要分為基于視覺的HAR與基于傳感器的HAR?;谝曈X的HAR[2]是通過在特定的場景中布置攝像機采集視頻數據進行分析識別人體日常活動,其在特定的場景中有較好的識別效果。但也存在一些局限性,如易受到天氣、光照等環(huán)境因素影響,對環(huán)境要求較高,無法保證用戶隱私等?;趥鞲衅鞯腍AR是通過紅外、加速度、陀螺儀等傳感器來采集運動數據進行人類活動識別。傳感器可集成到手機、手表、背心等日常使用設備中,具有成本低、使用方便、不涉及用戶隱私等優(yōu)點[3],現已成為該領域研究熱點。

    早期的HAR以機器學習方法為主,需人工提取特征,且特征的選擇對識別的精度具有較大影響。Wu等[4]分析提取了傳感器數據的時域和頻域特征,使用KNN算法進行人體活動識別,準確率達到90.2%。Stisen等[5]選取均值、方差、熵和譜系數等作為特征,使用SVM算法實現了89%的識別精度。劉斌等[6]使用樸素貝葉斯、SVM、KNN、AdaBoost算法對6項人體活動(站立、靜坐、平躺、散步、下樓、上樓)進行識別研究,算法平均準確率分別為87.5%、88.3%、88.2%、92%。傳統(tǒng)機器學習方法無法提取復雜深層特征,且對特征選取要求較高,對于HAR問題仍有較大的提升空間。隨著深度學習的發(fā)展,眾多學者使用神經網絡模型對HAR問題進行研究,解決了機器學習模型無法提取復雜特征這一問題。Zeng等[7]通過CNN模型自動提取信號特征進行人體活動識別,其實驗結果表明CNN在HAR特征提取方面有較好的效果。范長軍等[8]設計了LSTM-RNN人體活動識別模型,通過對慣性信號和生理信號處理,對UCI數據集[9]中選取的6種活動(走路、上樓、下樓、坐、站、躺)達到了93.28%的準確度。吳海濤等[10]對CNN-GRU模型進行改良,在OPPORTUNITY數據集[11]中識別精度達到了94%。文獻[12]使用CNN提取數據特征并作為BiLSTM的輸入,進一步提取樣本的時序特征,實現CNN與BiLSTM的串行結合,該方法在DaLiAc公開數據集上中取得了良好的識別效果。

    然而,在HAR的相關研究中,很少有學者從并行角度考慮傳感器數據的特征提取。對人類活動時空關系的建模通常只單一考慮時間或空間維度,沒有充分考慮時空相關性的問題,導致建模不夠充分。大多數研究人員使用CNN、LSTM模型單獨進行識別,或者將CNN層提取的特征作為LSTM的輸入,采用串行方式進行識別。對此現提出一種融合CBAM的GRU-DRSN雙通道并行模型,利用并型式結構賦予兩條支路相同的優(yōu)先級,同時提取傳感器數據的空間和時序特征,再使用CBAM注意力機制獲得通道和空間的混合注意力信息,實現特征融合,最后通過Softmax層實現端對端的人體活動識別。

    1 實驗數據集及預處理

    1.1 WISDM數據集

    WISDM是由WISDM(Wireless Sensor Data Mining)實驗室發(fā)布的人體活動識別公開數據集[13],采集了36名志愿者在特定環(huán)境下活動的傳感器數據。受試者將手機置于褲子口袋中進行6種動作,利用智能手機中的三軸加速度傳感器采集數據,采樣頻率為20 Hz,數據集各動作樣本數如表1所示,使用0~5作為標簽分別代表6種人體動作。

    表1 WISDM數據集Table 1 WISDM dataset

    表2 不同窗口大小效果對比Table 2 Effect comparison of different window sizes

    表3 實驗環(huán)境配置Table 3 Experimental environment configuration

    1.2 預處理

    數據采集過程中由于硬件設備限制及干擾因素影響,所采信號會存在一些缺失值,本文研究使用線性插值法進行缺失值填補。為消除量綱對網絡模型訓練的影響,本文研究使用max-min歸一化方法對數據進行歸一化處理。本文模型的整體結構如圖 1所示。

    本文研究未使用傳統(tǒng)去噪方法進行數據降噪。傳統(tǒng)的信號去噪方法主要是依靠小波變換或傅里葉變換進行信號分解,將幅值接近0的噪聲去除,保留幅值較大的有用特征。傳統(tǒng)方法在降噪過程中會丟失掉許多重要的特征,且不同樣本噪聲選擇的去噪方法也不一樣,增加了系統(tǒng)的復雜性。對此本文研究使用深度殘差收縮網絡(deep residual shrinkage network,DRSN)將信號降噪與特征提取有效結合,提升了模型的泛化能力。

    模型輸入為具有連續(xù)時間序列特征的傳感器數據,通過兩條具有同等優(yōu)先級的支路進行特征提取,將不同維度的特征經過CBAM進行特征篩選,最終通過Softmax進行端對端的分類??紤]連續(xù)信號間的時序關系,文獻[14]指出采用滑動窗口法可以對HAR數據進行有效劃分,對于窗口大小的選擇,結合現實情況,以走路為例,將2~5步的加速度傳感器數據為一次樣本,采樣頻率為20 Hz,則滑動窗口范圍為[40,100],本文研究選取不同窗口大小進行多次實驗,結果如表 2所示,當窗口大小為80時,在較少增加單次識別時間的情況下,準確率最高。

    圖1 模型結構圖Fig.1 Structure of the model

    如圖 2所示,最終滑動窗口大小選擇80,相鄰窗口間重疊率為50%,即步長為40,輸入模型的單個樣本大小為(80,3)(三軸加速度傳感器),劃分后獲得26 888個樣本,將其隨機分為兩組,以7∶3的比例劃分訓練集和測試集。

    2 模型搭建

    從并行角度考慮傳感器數據特征提取,搭建了融合CBAM的GRU-DRSN人體活動識別模型,如圖 3所示。以三軸加速度傳感器數據作為樣本輸入,6種活動類型作為輸出,進行端對端的人體活動識別檢測。

    圖2 滑動窗口Fig.2 Sliding window

    圖3 GRU-DRSN-CBAM模型圖Fig.3 The model of GRU-DRSN-CBAM

    該模型分為三部分:預處理層、雙通道特征提取層和識別層。預處理層主要是對采集到的傳感器三軸加速度數據進行缺失值填補和歸一化操作。雙通道特征提取層分為兩條支路:上支路為空間特征提取層,由多尺度特征提取模塊和兩層DRSN模塊組成;下支路為時序特征提取層,由3個改進后的GRU模塊(“ResGRU”)組成。識別層包括CBAM注意力機制、GAP層及Softmax層。

    雙通道特征提取層的輸入為經預處理后的傳感器加速度信號,上支路通過多尺度特征提取模塊提取多個尺度的傳感器淺層特征信息,再通過DRSN挖掘其空間維度上的特征;下支路通過GRU更新門和重置門挖掘時間維度上的特征,引入殘差網絡思想改進GRU,進一步提取淺層時序特征,融合層將兩個維度的特征進行特征拼接,通過CBAM分配不同權重,再將其經過GAP層變?yōu)橐痪S特征數據,最后Softmax層進行歸類識別。

    2.1 空間特征提取支路

    本文搭建的空間特征提取層由多尺度特征提取模塊和兩個深度殘差模塊(residual shrinkage building unit with channel-wise thresholds,RSBU-CW)模塊組成。

    在深度學習中,增加網絡層數可以提高一定的網絡性能,但過多的網絡層數常常會導致梯度消失或爆炸,使得模型效果變差。何凱明等[15]提出了Resnet網絡,在卷積網絡中通過跳躍連接生成殘差模塊,有效緩解了深層網絡的梯度爆炸和消失問題。Zhao等[16]在Resnet的基礎上加入SE(squeeze and excitation)注意力機制和軟閾值函數,形成深度殘差收縮模塊。如圖 4所示為RSBU-CW模塊,通過框內子網絡可學習到一組閾值,為每個通道進行軟閾值化。圖4中C和W分別表示特征圖的通道數和寬度,在這個子網絡中,首先對特征圖x取絕對值,再GAP降維成一維向量A;隨后輸入兩個全連接層,輸出的神經元數量為輸入特征圖通道的數量z;隨后利用sigmoid激活函數將輸出歸一化得到系數a;最終閾值可以表示aA;然后對輸入x進行軟閾值化,恒等映射,可以有效提取復雜含噪數據的深層特征,該模型在高噪聲的故障診斷場景下取得了良好的效果。本文研究使用該模塊進行傳感器數據的空間特征提取,DRSN將信號降噪與特征提取有效結合,得到了較好的識別效果,一定程度上提高了模型的魯棒性和泛化能力。

    圖4 深度殘差收縮模塊Fig.4 Residual shrinkage building unit with channel-wise thresholds

    圖5 多尺度特征提取模塊Fig.5 Multi-scale feature extraction module

    圖6 GRU結構圖Fig.6 GRU structure diagram

    圖7 ResGRU結構圖Fig.7 ResGRU structure drawing

    圖8 CBAM結構框圖Fig.8 CBAM block diagram

    圖9 混淆矩陣Fig.9 Confusion matrix

    圖10 不同模型準確率對比Fig.10 Comparison of accuracy of different models

    圖11 不同模型損失對比Fig.11 Loss comparison of different models

    傳統(tǒng)層疊式網絡,往往是單一卷積層的堆疊,且每層只使用一個尺寸的卷積核。本文研究使用不同尺寸的卷積核來獲得不同尺度的特征,將多尺度特征作為DRSN支路的輸入,更大程度地綜合了模型淺層特征。為了加速模型運行速度、防止過擬合,在多尺度特征提取模塊后加入了BN層和Relu層。多尺度特征提取模塊如圖 5所示。

    2.2 時序特征提取支路

    本文研究中時序特征提取層,由3個改進的GRU模塊組成。

    長短時記憶網絡(long short term memory network,LSTM)[17]是特殊的RNN,它的提出解決了RNN的長期依賴問題。文獻[18]在確保精度的前提下簡化了LSTM結構,提出了GRU結構。GRU只包含兩個門:更新門和重置門,減少了LSTM的參數,降低了網絡的復雜度,提高了計算效率。目前眾多學者將其應用于預測和分類模型中,GRU結構如圖 6所示。

    GRU將LSTM的輸入門和遺忘門合并為更新門,用于決定忘記部分信息和添加新信息,GRU具體計算公式為

    rt=σ(wr[ht-1,xt]+br)

    (1)

    zt=σ(wz[ht-1,xt]+bz)

    (2)

    (3)

    (4)

    更新門用于決定有多少歷史信息傳遞到當前狀態(tài),很好地解決了循環(huán)神經網絡中長期記憶力不足,反向傳播中梯度消失、梯度爆炸等問題[19]。

    為充分考慮數據淺層特征,且避免因網絡加深引起的梯度消失或爆炸問題,本文研究將殘差網絡的思想引入GRU支路中,設計了殘差GRU模塊,將其命名為“ResGRU”,結構如圖 7所示,在GRU支路中引入了跨層連接,并將該連接輸出F(x)與GRU單元的輸入x進行特征求和操作,從而形成了殘差連接,實現了低層特征與深層特征融合。由于深度學習收斂速度較慢,故在模塊中加入BN層與Relu激活函數,用于加快網絡收斂速度,防止模型過擬合。

    2.3 識別層

    識別層包括CBAM注意力機制、GAP層及Softmax層。注意力機制來源于對人類視覺系統(tǒng)的研究,本質在于關注輸入信號中的關鍵信息,節(jié)省資源,快速獲得最有效的信息[20]。CBAM(convolutional block attention module)是一種同時關注空間和通道的輕量級卷積注意力模塊,由Woo等[21]首次提出,其增強了特征圖中的有用信息,削弱了無用信息,且對網絡參數的增加可以忽略不計[22]。CBAM包含CAM(channel attention module)和SAM(spartial attention module)兩個子模塊,分別為通道和空間上的注意力模塊,結構框圖如圖 8所示,由輸入、CAM、SAM、輸出4部分組成。

    本文研究在網絡模型末端使用CBAM進行雙通道特征融合處理,兼顧了不同通道和同一通道中不同位置特征的重要性,提高了模型的識別精度。使用全局平均池化(GAP)取代傳統(tǒng)的全連接層,極大地減少了模型參數量。將CBAM處理后的特征向量輸入GAP層,得到一維特征向量,再經過Softmax層輸出結果,公式為

    yi=Softmax(Wnct+bn)

    (5)

    式(5)中:Wn為CBAM后的權重向量;ct為經GAP層后的一維特征向量;bn為偏置;yi為標簽概率。

    對于人體活動識別這類多分類問題,本文研究采用多類別交叉熵損失函數,計算公式為

    (6)

    式(6)中:K為種類數量;P為正確值;Q為預測值;H為兩者間概率分布。

    同時使用Adam優(yōu)化器對網絡的權重矩陣進行梯度更新。其實現簡單、計算高效,適用于數據及參數較多的場景。

    3 實驗驗證

    3.1 實驗環(huán)境

    實驗編譯環(huán)境為Pycharm,基于Python3.8,使用深度學習庫Keras和TensorFlow來建立GRU-DRSN-CBAM模型。具體軟硬件環(huán)境配置如表 3所示。

    3.2 實驗參數設置

    本文所搭建的GRU-DRSN-CBAM模型如圖 3所示,將傳感器數據經預處理后輸入模型中進行訓練。為增強模型的魯棒性,本文對訓練集樣本進行隨機打亂。模型超參數設置:預處理階段:滑動窗口大小選擇80,步長40,訓練集和測試集比例為7∶3。網絡模型:上下支路具有相同的優(yōu)先級。上支路:三軸加速度傳感器數據(緯度:80×3)經過卷積核大小為3/5/7的卷積層,再通過兩層filter為64/128的DRSN模塊得到空間特征信息(緯度:80×128);下支路:三軸加速度傳感器數據(緯度:80×3)三層filter為32/64/128的ResGRU模塊得到時序特征信息(緯度:80×128);將不同支路提取的不同特征進行拼接(緯度:80×256),通過CBAM來關注不同特征通道和空間的注意力,再進行GAP變?yōu)?28×1的一維向量,通過Softmax實現6類活動的識別。

    3.3 結果分析

    將所提模型與傳統(tǒng)的機器學習模型KNN(K鄰近)、RF(隨機森林)和SVM(支持向量機)及前人所提深度學習模型CNN、LSTM-CNN和LSTM-GRU模型進行對比分析。采用準確率、召回率、F1分數作為模型評價指標,計算公式為

    (7)

    (8)

    (9)

    式中:PACC、Pre、F1分別為準確率、召回率、F1分數;Pt為活動M被模型正確識別的樣本數目;Pf為活動M被模型錯誤分類的樣本數目;Nf為活動M被模型錯分為其他類別的樣本數目。

    由于神經網絡具有一定的隨機性,因此進行多次實驗取平均值作為模型最終結果,實驗結果如表4~表6所示。

    表5 不同模型召回率Table 5 Different model recall rate

    表6 不同模型F1分數Table 6 F1 scores for different models

    從表4~表6可以看出,本文所提模型的3種評價指標得分均高于其他模型,其中平均準確率達到了97.6%,相較其他模型中的最優(yōu)模型GRU-CNN高出4.7%,召回率高出14%。本文模型對于6種活動識別均達到90%以上,對于較難識別的上下樓行為,精度分別為93%和97%,有了極大的提升。F1分數兼顧了準確率和召回率,能夠更加客觀全面地對比分析不同模型對不同人體活動類別的識別效果。如表6所示,本文模型的平均F1分數相較其他模型有了10%+的提升。

    綜上,證明了本文算法的優(yōu)越性。實驗中隨機選取本文模型對WISDM數據集進行一次評估,其混淆矩陣如圖 9所示。

    文獻[23]中使用CNN網絡對WISDM進行測試,當迭代次數達到3 000次時,準確率可達到92.7%,本文研究只需100次即可達到更高的準確率97.6%。文獻[24-25]針對HAR問題分別搭建了CNN-LSTM和CNN-GRU模型,使用WISDM數據集驗證,準確率為92.1%和93%,本文模型分別有了5.5%和4.6%的提升。為進一步驗證本文模型的優(yōu)越性,從準確率收斂和損失收斂速度兩方面進行評估。4種網絡模型均進行100次迭代,結果如圖 10和圖 11所示,本文模型的準確率和損失值收斂速度最快,且穩(wěn)定性好于其他3種模型。

    4 結論

    人體活動識別研究可以為人們的身體健康狀況提供客觀評價,在醫(yī)療診斷、老年人防護、智能家居、異常行為監(jiān)測等領域具有重大意義。本文提出一種基于GRU-DRSN的雙通道人體活動識別方法。該方法從并行角度提取原始傳感器數據的多維度特征,在空間特征提取支路使用深度殘差收縮網絡(DRSN)將信號降噪與特征提取有效結合,提升了模型的泛化能力;在時序特征提取支路使用本文設計的ResGRU模塊進行特征提取,通過CBAM進行多維度特征的有效篩選,最終實現了端對端的人體活動識別。在WISDM數據集上與傳統(tǒng)的機器學習模型KNN、RF和SVM及深度學習模型CNN、LSTM-CNN和LSTM-GRU模型進行仿真對比實驗,通過比較各模型的收斂速度,測試集上的分類性能、召回率、F1分數,得出以下結論。

    (1)DRSN網絡能夠實現數據降噪和特征提取的有效結合,自動除去與噪聲相關的特征,提升模型的泛化能力。

    (2)所提GRU-DRSN并行模型對人體活動的整體分類準確率達到97.6%,優(yōu)于傳統(tǒng)的機器學習模型KNN、RF和SVM及僅具有單一特征學習能力的深度學習模型CNN、串行深度學習模型LSTM-CNN和LSTM-GRU。

    (3)并行角度進行特征提取可以有效避免傳統(tǒng)串行模型因網絡深度加深引起梯度爆炸和消失問題。所提GRU-DRSN并行模型一定程度上解決了傳統(tǒng)機器學習方法特征提取和選擇困難、以往神經網絡模型提取特征單一且時空特征關系考慮不全面的問題。

    (4)研究中發(fā)現,可以考慮將HAR與行人航位推算(pedestrian dead reckoning,PDR)有效結合實現多運動狀態(tài)下的人員定位功能,這將是下一步研究工作的重點。

    猜你喜歡
    支路特征提取準確率
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
    2015—2017 年寧夏各天氣預報參考產品質量檢驗分析
    基于限流可行方案邊界集的最優(yōu)支路投切
    能源工程(2020年6期)2021-01-26 00:55:22
    基于Daubechies(dbN)的飛行器音頻特征提取
    電子制作(2018年19期)2018-11-14 02:37:08
    高速公路車牌識別標識站準確率驗證法
    Bagging RCSP腦電特征提取算法
    多支路兩跳PF協(xié)作系統(tǒng)的誤碼性能
    電信科學(2016年9期)2016-06-15 20:27:30
    利用支路參數的狀態(tài)估計法辨識拓撲錯誤
    基于MED和循環(huán)域解調的多故障特征提取
    德江县| 临澧县| 江门市| 屯留县| 梧州市| 饶河县| 本溪市| 舞钢市| 金寨县| 白城市| 景谷| 乌审旗| 云梦县| 吉安市| 华亭县| 永福县| 罗甸县| 资兴市| 乾安县| 恩施市| 阜宁县| 抚顺县| 新建县| 岳西县| 图们市| 澄迈县| 兴业县| 珠海市| 沙坪坝区| 临邑县| 济宁市| 河西区| 四会市| 莆田市| 盐池县| 建平县| 仁寿县| 武川县| 潜江市| 宁河县| 临海市|