基于多模態(tài)對(duì)比融合的動(dòng)作識(shí)別算法研究

摘要：基于多模態(tài)數(shù)據(jù)的動(dòng)作識(shí)別主要利用視覺(jué)、觸覺(jué)等多感官通道數(shù)據(jù)進(jìn)行人體姿態(tài)識(shí)別。由于不同模態(tài)數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)、采樣頻率差異性較大，多模態(tài)動(dòng)作數(shù)據(jù)在特征提取過(guò)程中，容易出現(xiàn)語(yǔ)義偏移問(wèn)題，影響了模型的識(shí)別效果。為解決上述問(wèn)題，文章提出了基于多模態(tài)對(duì)比學(xué)習(xí)的動(dòng)作識(shí)別模型（Multimodal Contrastive Fusion-based Action Recognition，MCFAR）。該模型將同一動(dòng)作的不同模態(tài)特征作為正樣本對(duì)，利用對(duì)比學(xué)習(xí)縮小正樣本對(duì)的空間距離，解決特征提取過(guò)程中的語(yǔ)義偏移問(wèn)題，實(shí)現(xiàn)各模態(tài)特征的語(yǔ)義對(duì)齊。在多種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性。

關(guān)鍵詞：動(dòng)作識(shí)別；多模態(tài)；對(duì)比學(xué)習(xí)；特征交互融合

中圖分類(lèi)號(hào)：TP183

文獻(xiàn)標(biāo)志碼：A

0 引言

人體動(dòng)作能夠清楚表達(dá)人自身行為意圖，不僅蘊(yùn)含了豐富的語(yǔ)義信息，更是在人機(jī)交互領(lǐng)域發(fā)揮著重要的作用?；诙嗄B(tài)數(shù)據(jù)的動(dòng)作識(shí)別通過(guò)視覺(jué)相機(jī)^［1］、聲波傳感器^［2］、可穿戴傳感器^［3］等多通道感官設(shè)備采集動(dòng)作數(shù)據(jù)并對(duì)其進(jìn)行計(jì)算、分析及識(shí)別，從而使計(jì)算機(jī)理解人類(lèi)行為意圖。因此，多模態(tài)動(dòng)作識(shí)別已經(jīng)成為人機(jī)交互研究的熱點(diǎn)，被廣泛地應(yīng)用于智能家居^［4］、工業(yè)控制^［5］以及健康醫(yī)療^［6］等領(lǐng)域。

根據(jù)采集動(dòng)作數(shù)據(jù)的設(shè)備類(lèi)型，可將動(dòng)作識(shí)別方法分為基于視覺(jué)、基于聽(tīng)覺(jué)和基于觸覺(jué)的動(dòng)作識(shí)別方法。借助于視頻數(shù)據(jù)的光流信息以及視覺(jué)特征，基于視覺(jué)的動(dòng)作識(shí)別方法能夠提取豐富的動(dòng)作語(yǔ)義信息；基于聽(tīng)覺(jué)的動(dòng)作識(shí)別方法通過(guò)聲波反射信號(hào)的相位變化，來(lái)檢測(cè)人體的運(yùn)動(dòng)距離，實(shí)現(xiàn)對(duì)人體動(dòng)作的識(shí)別檢測(cè)；基于觸覺(jué)的動(dòng)作識(shí)別方法使用可穿戴傳感器采集人體姿態(tài)及運(yùn)動(dòng)信息。然而，單一模態(tài)的動(dòng)作數(shù)據(jù)無(wú)法全方位描述人體姿態(tài)及運(yùn)動(dòng)信息，不同模態(tài)數(shù)據(jù)之間的異構(gòu)性導(dǎo)致了語(yǔ)義鴻溝，從而忽略了多模態(tài)數(shù)據(jù)之間的互補(bǔ)信息，進(jìn)而影響了動(dòng)作識(shí)別的效果。

常用于動(dòng)作識(shí)別的深度學(xué)習(xí)方法有卷積神經(jīng)網(wǎng)絡(luò)^［7］、循環(huán)神經(jīng)網(wǎng)絡(luò)^［8］以及圖神經(jīng)網(wǎng)絡(luò)^［9］。然而，常見(jiàn)的動(dòng)作識(shí)別模型容易受多模態(tài)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、采樣頻率差異性影響，在特征提取過(guò)程中出現(xiàn)語(yǔ)義偏移的問(wèn)題，從而影響模型的泛化性與魯棒性。因此，在進(jìn)行特征提取時(shí)，常見(jiàn)的動(dòng)作識(shí)別模型無(wú)法實(shí)現(xiàn)特征向量的語(yǔ)義對(duì)齊，從而產(chǎn)生了語(yǔ)義偏移現(xiàn)象。

針對(duì)以上問(wèn)題，本文提出了基于多模態(tài)對(duì)比融合的動(dòng)作識(shí)別模型MCFAR。首先，MCFAR從自監(jiān)督學(xué)習(xí)的角度創(chuàng)建了多模態(tài)對(duì)比學(xué)習(xí)模型，通過(guò)縮小同一動(dòng)作不同模態(tài)特征的空間距離，實(shí)現(xiàn)各模態(tài)特征的語(yǔ)義對(duì)齊；然后，MCFAR遵循特征融合的思路，利用跨模態(tài)注意力機(jī)制提取模態(tài)間的交互信息，提高模型識(shí)別精度。在多種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了本文所提方法的可用性及有效性。

1 研究方法

本文提出的基于多模態(tài)對(duì)比融合的動(dòng)作識(shí)別模型MCFAR主要包含以下3個(gè)部分：多模態(tài)對(duì)比學(xué)習(xí)、多模態(tài)特征交互及多模態(tài)特征融合，其研究框架如圖1所示。

1.1 多模態(tài)對(duì)比學(xué)習(xí)

多模態(tài)動(dòng)作數(shù)據(jù)容易受到自身噪聲、融合機(jī)制及訓(xùn)練策略等復(fù)雜場(chǎng)景的影響，導(dǎo)致其在訓(xùn)練過(guò)程中出現(xiàn)語(yǔ)義偏移的問(wèn)題，從而影響動(dòng)作識(shí)別的精度。因此，本文采用對(duì)比學(xué)習(xí)的方式，通過(guò)代理任務(wù)，聚合同一動(dòng)作不同模態(tài)的動(dòng)作特征，擴(kuò)大不同動(dòng)作的各模態(tài)數(shù)據(jù)距離，如公式（1）所示。

s（f（d），f（d⁺））lt;lt;s（f（d），f（d^-））（1）

其中，s（·）表示樣本距離，f（·）表示特征提取模型，d表示動(dòng)作數(shù)據(jù)，d⁺表示正樣本數(shù)據(jù)，d^-表示負(fù)樣本數(shù)據(jù)。

經(jīng)過(guò)特征提取器分別得到動(dòng)作特征向量f_v和f_t（f_v表示視覺(jué)特征，f_t表示觸覺(jué)特征），那么各模態(tài)之間的距離計(jì)算公式如公式（2）所示。

其中i，j∈{v，t}。因此，在特征進(jìn)行多模態(tài)對(duì)比學(xué)習(xí)過(guò)程中，同一動(dòng)作不同模態(tài)數(shù)據(jù)互為正樣本，不同動(dòng)作各模態(tài)數(shù)據(jù)互為負(fù)樣本，實(shí)現(xiàn)多模態(tài)動(dòng)作數(shù)據(jù)的特征對(duì)齊。此外，MCFAR通過(guò)多模態(tài)匹配任務(wù)充分挖掘多模態(tài)語(yǔ)義一致性信息，其損失函數(shù)如公式（3）所示。

其中， y_l^表示預(yù)測(cè)匹配結(jié)果，y_i表示真實(shí)匹配標(biāo)簽，n表示樣本數(shù)。

1.2 多模態(tài)特征交互融合

使用多模態(tài)對(duì)比學(xué)習(xí)在實(shí)現(xiàn)多模態(tài)動(dòng)作特征對(duì)齊時(shí)，往往忽略了各模態(tài)數(shù)據(jù)的交互信息。因此，MCFAR使用多模態(tài)特征交互模塊提取動(dòng)作特征的交互信息，利用多模態(tài)數(shù)據(jù)的互補(bǔ)性提升特征向量的表征能力。特征交互模塊采用跨模態(tài)交叉注意力機(jī)制實(shí)現(xiàn)同一動(dòng)作不同模態(tài)特征之間的深度交互，如圖2所示。

1.3 模型訓(xùn)練

經(jīng)過(guò)多模態(tài)交互融合模型得到的特征向量f_orth=（f¹_orth，f²_orth，…，fⁿ_orth）作為softmax層的輸入，計(jì)算每個(gè)動(dòng)作（動(dòng)作種類(lèi)數(shù)為n）的條件概率。最后使用max（）函數(shù)得到動(dòng)作分類(lèi)結(jié)果，即選擇softmax層中條件概率最大的類(lèi)別為動(dòng)作種類(lèi)。

使用交叉熵?fù)p失函數(shù)L_ce作為訓(xùn)練目標(biāo)，優(yōu)化動(dòng)作識(shí)別模型，如公式（4）所示。

其中，m表示動(dòng)作種類(lèi)數(shù)，n表示每批次訓(xùn)練樣本數(shù)?；诮徊骒?fù)p失函數(shù)，結(jié)合用于特征對(duì)齊的對(duì)比學(xué)習(xí)損失函數(shù)和模態(tài)匹配損失函數(shù)，MCFAR的訓(xùn)練目標(biāo)如公式（5）所示。

L=λ_ceL_ce+λ_mmL_mm+λ_mmcL_mmc（5）

其中，λ_ce、λ_mm和λ_mmc分別為L(zhǎng)_ce、L_mm和L_mmc的權(quán)重參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

CZU-MHAD數(shù)據(jù)集由5名男性志愿者通過(guò)微軟Kinect攝像機(jī)和可穿戴傳感器采集而成，包含2個(gè)同步數(shù)據(jù)模態(tài)：深度圖、可穿戴傳感數(shù)據(jù)。在數(shù)據(jù)采集過(guò)程中，每名志愿者按照動(dòng)作協(xié)議執(zhí)行22個(gè)動(dòng)作，每個(gè)動(dòng)作執(zhí)行8次。UTD-MHAD數(shù)據(jù)集由4名男性及4名女性通過(guò)微軟Kinect攝像機(jī)和可穿戴傳感器采集而成，包含了2個(gè)同步數(shù)據(jù)模態(tài)：深度圖、可穿戴傳感數(shù)據(jù)。在數(shù)據(jù)采集采集過(guò)程中，每名志愿者按照動(dòng)作協(xié)議執(zhí)行27個(gè)動(dòng)作，每個(gè)動(dòng)作執(zhí)行4次。數(shù)據(jù)集的具體描述如表1所示。

2.2 數(shù)據(jù)預(yù)處理與超參數(shù)設(shè)置

多模態(tài)數(shù)據(jù)的采樣頻率、存儲(chǔ)結(jié)構(gòu)存在很大的差異性，因此，在進(jìn)行實(shí)驗(yàn)之前要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在CZU-MHAD數(shù)據(jù)集中，將變長(zhǎng)的樣本數(shù)據(jù)轉(zhuǎn)化成大小為100×424×512的視覺(jué)模態(tài)數(shù)據(jù)和大小為2000×10×6的觸覺(jué)模態(tài)數(shù)據(jù)；在UTD-MHAD數(shù)據(jù)集中，將變長(zhǎng)的樣本數(shù)據(jù)轉(zhuǎn)化成大小為125×240×320的視覺(jué)模態(tài)數(shù)據(jù)和大小為326×6的觸覺(jué)模態(tài)數(shù)據(jù)。

在特征提取過(guò)程中，本文利用卷積神經(jīng)網(wǎng)絡(luò)獲取多模態(tài)數(shù)據(jù)的視覺(jué)特征和觸覺(jué)特征，通過(guò)1×1卷積層將特征映射為1×128征向量；模型訓(xùn)練過(guò)程中超參數(shù)設(shè)置如下：學(xué)習(xí)率learning_rate=0.005，訓(xùn)練次數(shù)epoch=100，批訓(xùn)練大小batch_size=32，梯度下降算法Adam。

本文選取MCAE、HTMCCA、HR-MSCNN、C²LSTM、DCNN-BiLSTM、SimCLR、CMC作為對(duì)比算法，驗(yàn)證所提方法的有效性，使用準(zhǔn)確率和混淆矩陣來(lái)評(píng)價(jià)動(dòng)作識(shí)別性能。

2.3 結(jié)果分析

實(shí)驗(yàn)結(jié)果表明，MCFAR在UTD-MHAD和CZU-MHAD數(shù)據(jù)集的表現(xiàn)效果均優(yōu)于最新方法，如表2所示。基于視覺(jué)模態(tài)的識(shí)別效果優(yōu)于基于觸覺(jué)模態(tài)的識(shí)別方法，可能由于基于視覺(jué)模態(tài)的動(dòng)作數(shù)據(jù)包含的語(yǔ)義信息多于基于觸覺(jué)模態(tài)的動(dòng)作數(shù)據(jù)。同時(shí)，有監(jiān)督學(xué)習(xí)方法的識(shí)別效果往往高于無(wú)監(jiān)督學(xué)習(xí)方法，可能原因在于無(wú)監(jiān)督學(xué)習(xí)的主要任務(wù)是學(xué)習(xí)具有良好表征能力的特征表達(dá)，而有監(jiān)督學(xué)習(xí)則是以標(biāo)簽數(shù)據(jù)為目標(biāo)，學(xué)習(xí)適應(yīng)訓(xùn)練數(shù)據(jù)集的模型，因此，MCAE、HTMCCA、HR-MSCNN、C²LSTM、DCNN-BiLSTM整體識(shí)別效果優(yōu)于SimCLR、CMC。然而，無(wú)監(jiān)督學(xué)習(xí)方法的魯棒性和普適性?xún)?yōu)于有監(jiān)督學(xué)習(xí)方法。

MCAE通過(guò)注意力機(jī)制捕捉動(dòng)作數(shù)據(jù)的時(shí)間依賴(lài)關(guān)系；HTMCCA利用梯度直方圖和時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)提取動(dòng)作數(shù)據(jù)的時(shí)空特征；HR-MSCNN構(gòu)建多流卷積神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別人體動(dòng)作；C²LSTM和DCNN-BiLSTM設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，長(zhǎng)短期記憶網(wǎng)絡(luò)作為分類(lèi)器的動(dòng)作識(shí)別架構(gòu)。但以上算法都忽略了各模態(tài)數(shù)據(jù)在特征提取過(guò)程中出現(xiàn)的語(yǔ)義偏移問(wèn)題。SimCLR和CMC利用對(duì)比學(xué)習(xí)方法實(shí)現(xiàn)動(dòng)作識(shí)別，往往忽略了各模態(tài)之間的潛在關(guān)聯(lián)信息，從而影響了動(dòng)作識(shí)別效果。因此，MCFAR能夠解決多模態(tài)特征的語(yǔ)義偏移問(wèn)題，增強(qiáng)各模態(tài)數(shù)據(jù)之間的特征交互與深度融合，進(jìn)而提高動(dòng)作識(shí)別精度。

為精確評(píng)價(jià)動(dòng)作識(shí)別模型的性能，本文采用混淆矩陣描述各類(lèi)動(dòng)作識(shí)別情況，如圖3所示。在UTD-MHAD數(shù)據(jù)集中，逆時(shí)針畫(huà)圓與順時(shí)針畫(huà)圓動(dòng)作、網(wǎng)球發(fā)球與網(wǎng)球揮桿動(dòng)作容易發(fā)生混淆；在CZU-MHAD數(shù)據(jù)集中，抓（右手）與錘（右手）動(dòng)作、左體轉(zhuǎn)與右體轉(zhuǎn)容易發(fā)生混淆。因此，動(dòng)作數(shù)據(jù)的時(shí)序信息以及難負(fù)樣本影響著動(dòng)作識(shí)別模型的效果。

2.4 消融實(shí)驗(yàn)

為驗(yàn)證MCFAR模型各部分的有效性，本文設(shè)計(jì)了消融實(shí)驗(yàn)來(lái)分析各模塊的性能，實(shí)驗(yàn)結(jié)果如表3所示。其中，MCFAR-w/o MCL表示MCFAR模型不包含多模態(tài)對(duì)比學(xué)習(xí)模塊，只使用多模態(tài)對(duì)比融合模塊，用于驗(yàn)證語(yǔ)義偏移對(duì)動(dòng)作識(shí)別的影響程度；MCFAR-w/o MIF表示MCFAR模型只使用多模態(tài)對(duì)比學(xué)習(xí)模塊，忽略了各模態(tài)特征之間的交互信息，用于驗(yàn)證模態(tài)信息交互性、互補(bǔ)性對(duì)動(dòng)作識(shí)別的影響程度。

多模態(tài)動(dòng)作數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)、采樣頻率存在差異性，導(dǎo)致動(dòng)作數(shù)據(jù)在特征提取過(guò)程中出現(xiàn)語(yǔ)義偏移問(wèn)題。因此，在動(dòng)作識(shí)別模型MCFAR中將用于語(yǔ)義對(duì)齊的多模態(tài)對(duì)比學(xué)習(xí)模塊去除以后，識(shí)別精度出現(xiàn)明顯的下降趨勢(shì)。同時(shí)，使用不同類(lèi)型數(shù)據(jù)刻畫(huà)同一動(dòng)作的運(yùn)動(dòng)軌跡，各數(shù)據(jù)之間存在潛在關(guān)聯(lián)交互信息。因此，在動(dòng)作模型MCFAR基礎(chǔ)上去除多模態(tài)交互融合模塊，導(dǎo)致模型識(shí)別效果降低。綜上所述，多模態(tài)數(shù)據(jù)特征的語(yǔ)義偏移問(wèn)題以及多模態(tài)數(shù)據(jù)之間的潛在關(guān)聯(lián)信息影響著模型識(shí)別的效果，MCFAR能夠有效解決以上問(wèn)題。

2.5 參數(shù)敏感度實(shí)驗(yàn)

本文采用卷積神經(jīng)網(wǎng)絡(luò)提取動(dòng)作數(shù)據(jù)的特征向量，然而不同層次的特征圖包含的語(yǔ)義信息存在著差異性。淺層特征往往關(guān)注數(shù)據(jù)的原始信息，而深層特征側(cè)重于數(shù)據(jù)的語(yǔ)義信息。因此，卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)影響著動(dòng)作識(shí)別的性能。經(jīng)過(guò)多次實(shí)驗(yàn)，圖4給出了不同網(wǎng)絡(luò)層數(shù)下的動(dòng)作識(shí)別精度。從圖中可以看出，隨著卷積神網(wǎng)絡(luò)層數(shù)的不斷增加，識(shí)別準(zhǔn)確率也逐漸提升。在UTD-MHAD數(shù)據(jù)集中，當(dāng)網(wǎng)絡(luò)層數(shù)取8時(shí)，動(dòng)作識(shí)別精度最高；在CZU-MHAD數(shù)據(jù)集中，當(dāng)網(wǎng)絡(luò)層數(shù)取5時(shí)，動(dòng)作識(shí)別精度最高。

3 結(jié)語(yǔ)

本文針對(duì)多模態(tài)動(dòng)作識(shí)別過(guò)程中的語(yǔ)義偏移問(wèn)題，提出了基于多模態(tài)對(duì)比融合的動(dòng)作識(shí)別模型MCFAR。該模型將同一動(dòng)作不同模態(tài)數(shù)據(jù)作為正樣本，通過(guò)構(gòu)建多模態(tài)對(duì)比學(xué)習(xí)模型實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)間的語(yǔ)義對(duì)齊。此外，MCFAR使用跨模態(tài)注意力機(jī)制完成多模態(tài)數(shù)據(jù)之間潛在關(guān)聯(lián)信息挖掘，結(jié)合向量正交融合方式完成多模態(tài)數(shù)據(jù)的深度融合。實(shí)驗(yàn)結(jié)果表明，MCFAR能夠有效地識(shí)別動(dòng)作，在UTD-MHAD數(shù)據(jù)集的識(shí)別準(zhǔn)確率為96.54%，在CZU-MHAD數(shù)據(jù)集的識(shí)別準(zhǔn)確率為98.72%，均優(yōu)于最新的識(shí)別算法。

本文方案仍存在一些不足的地方亟須改進(jìn)，在未來(lái)工作中，將會(huì)進(jìn)行以下研究：首先，實(shí)驗(yàn)結(jié)果表明，視覺(jué)模態(tài)的語(yǔ)義信息高于觸覺(jué)模態(tài)，因此充分挖掘不同模態(tài)數(shù)據(jù)之間的潛在均衡信息，能夠提升動(dòng)作識(shí)別精度。其次，不同模態(tài)的數(shù)據(jù)特征既具有關(guān)聯(lián)互補(bǔ)特性，也具有特異性，因此，利用特征解耦方法融合各模態(tài)互補(bǔ)信息，研究各模態(tài)獨(dú)特語(yǔ)義信息，能夠增強(qiáng)數(shù)據(jù)特征的表征能力。

參考文獻(xiàn)

［1］GENG T，ZHENG F，HOU X，et al．Spatial-temporal pyramid graph reasoning for action recognition［J］．IEEE Transactions on Image Processing，2022（8）：5484-5497.

［2］YANG Y，LI J，LI B，et al．MDHandNet：a lightweight deep neural network for hand gesture/sign language recognition based on micro-doppler images［J］．World Wide Web，2022（2）：1951-1969.

［3］QU Y，TANG Y，YANG X，et al．Context-aware mutual learning for semi-supervised human activity recognition using wearable sensors［J］．Expert Systems with Applications，2023（6）：119679-119691.

［4］ZAMIL M G H A L．Multimodal daily activity recognition in smart homes［C］//International Conference on Control，Decision and Information Technologies（CoDIT），April 5-7，2017，Barcelona（ES），Spain.2019：922-927.

［5］DE GEA FERNáNDEZ J，MRONGA D，GüNTHER M，et al．Multimodal sensor-based whole-body control for human-robot collaboration in industrial settings［J］．Robotics and Autonomous Systems，2017（94）：102-119.

［6］ISLAM M M，NOORUDDIN S，KARRAY F，et al．Multi-level feature fusion for multimodal human activity recognition in Internet of Healthcare Things［J］．Information Fusion，2023（94）：17-31.

［7］YUDISTIRA N，KAVITHA M S，KURITA T．Weakly-supervised action localization，and action recognition using global-local attention of 3D CNN［J］．International Journal Computer Vision，2022（8）：2349-2363.

［8］QI M，WANG Y，QIN J，et al．StagNet：An attentive semantic RNN for group activity and individual action recognition［J］．IEEE Transactions on Circuits and Systems for Video Technology，2019（2）：549-565.

［9］HAO X，LI J，GUO Y，et al．Hypergraph neural network for skeleton-based action recognition［J］．IEEE Transactions on Image Processing，2021（1）：2263-2275.

（編輯 王雪芬）

Research on action recognition algorithms based on multimodal contrastive fusion

XIA Sili

（Xuzhou Finance Branch， Jiangsu Union Technical Institute， Xuzhou 221008， China）

Abstract：Action recognition based on multimodal data primarily leverages multi-sensory channel data， such as visual and tactile information， for human pose identification. Due to significant disparities in the storage structures and sampling frequencies of different modalities， multimodal action data often encounters issues of semantic misalignment during feature extraction， which adversely affects the recognition performance of models. To address these challenges， we propose a Multimodal Contrastive Fusion-based Action Recognition （MCFAR） model. This model treats features from different modalities of the same action as positive sample pairs， utilizing contrastive learning to minimize the spatial distance between these pairs. By doing so， it resolves the issue of semantic misalignment in feature extraction， achieving semantic alignment across modalities. Experimental results on various datasets substantiate the effectiveness of the proposed method.

Key words：action recognition; multimodal; contrastive learning; feature interaction fusion