多模態(tài)情感視角：民航旅客異常行為預(yù)警研究

摘 要：通過構(gòu)建基于多模態(tài)情感計(jì)算的民航旅客異常行為預(yù)警模型，使用GEMEP語料庫(kù)中音視頻數(shù)據(jù)模擬旅客可能出現(xiàn)的異常行為，在對(duì)面部表情、肢體姿態(tài)和語音三模態(tài)數(shù)據(jù)識(shí)別后，采取賦予各模態(tài)情感識(shí)別模型權(quán)重和賦予各模態(tài)情感識(shí)別模型中不同情感權(quán)重兩種決策級(jí)融合方法，感知旅客生氣、厭惡、焦慮、害怕、悲傷等5類情感，并依據(jù)判定結(jié)果實(shí)現(xiàn)異常行為分級(jí)預(yù)警。研究發(fā)現(xiàn)，賦予各模態(tài)情感識(shí)別模型中不同情感權(quán)重的方法為最優(yōu)情感計(jì)算模型，能夠有效識(shí)別旅客存在潛在異常行為的相關(guān)情感，其整體識(shí)別準(zhǔn)確率達(dá)到了82.76%。其中，生氣、厭惡、焦慮、害怕、悲傷5類情感識(shí)別準(zhǔn)確率分別為81.9%、78.5%、81.3%、83.2%、81.7%。

關(guān)鍵詞：多模態(tài)數(shù)據(jù)；情感計(jì)算；航空安全；民航安檢；異常行為預(yù)警

中圖分類號(hào)：V35" " " " " "文獻(xiàn)標(biāo)識(shí)碼：A" " " " " " " " " " 文章編號(hào)：1007 - 9734 （2024） 03 - 0039 - 08

0 引 言

民航安全是民航業(yè)發(fā)展的關(guān)鍵環(huán)節(jié)。據(jù)民航行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)，我國(guó)2022年全行業(yè)運(yùn)輸航空公司完成運(yùn)輸飛行小時(shí)627.56萬小時(shí)，實(shí)現(xiàn)了247個(gè)空防安全月，民航安保取得了顯著的成績(jī)［1］。然而，目前國(guó)內(nèi)外還存在反恐防爆形勢(shì)嚴(yán)峻、空防安全意識(shí)不足、安保技術(shù)和方法欠佳等問題，航空安全仍面臨著不小的威脅與挑戰(zhàn)。國(guó)際上，航空安全主要分為機(jī)器、人素、組織3個(gè)航空安全歷程，隨著飛機(jī)自動(dòng)化程度和可靠性大幅提升，“人素”漸成為航空安全領(lǐng)域的研究重點(diǎn)，這里所提及的“人素”多指航空機(jī)組人員的人因差錯(cuò)［2］。除此之外，旅客的異常行為也是航空安全領(lǐng)域中“人素”的構(gòu)成之一。傳統(tǒng)民航安檢流程核心關(guān)注點(diǎn)在于旅客相關(guān)證件真?zhèn)尾轵?yàn)，是否攜帶違禁品、危險(xiǎn)品等物品類外顯指征，如若未涉及上述情況則視該旅客為“無威脅”的，便能夠通過安檢。但局限于旅客證件、行李物品等外顯相關(guān)指征還無法完全排除航空安全的潛在威脅，如在美國(guó)911事件中，劫機(jī)者在未攜帶違禁品、危險(xiǎn)品的“無威脅”認(rèn)定下順利登機(jī)，以至于造成重大航空安全事故。由此可見，在某種程度上民航安檢只針對(duì)物品類外顯指征的預(yù)防措施存在較大的局限性。因此，面向“人素”的異常行為識(shí)別走進(jìn)廣大學(xué)者的研究視野，通過監(jiān)控和分析個(gè)體的行為，以驗(yàn)證是否存在與正常行為模式不符的異常行為的過程，從而預(yù)警潛在威脅，彌補(bǔ)傳統(tǒng)民航安檢流程不足，進(jìn)而有效提升航空安全保障能力和水平。

現(xiàn)階段，有關(guān)旅客異常行為識(shí)別研究多聚焦于歸納異常行為關(guān)鍵特征進(jìn)行判斷，無論是人為眼睛觀察或是機(jī)器視覺訓(xùn)練，均建立在預(yù)定異常行為及其等級(jí)之上，一旦超出預(yù)定“規(guī)則”，將無法有效識(shí)別異常行為，從而造成航空安全疏漏。認(rèn)知是人們對(duì)某一事物的看法，同時(shí)也是情感產(chǎn)生的前提，而情感能夠影響人們的行為，使得人們表現(xiàn)出不同的行為模式［3］。人們的行為與其情感存在某種程度上的關(guān)聯(lián)，根據(jù)情感預(yù)測(cè)人的行為是可行的。同時(shí)，當(dāng)人們?cè)诟唢L(fēng)險(xiǎn)高壓力的環(huán)境下，如具有異常行為傾向的旅客進(jìn)行安檢時(shí)，便會(huì)產(chǎn)生不受思維控制的反映，從而映現(xiàn)其內(nèi)心情感的真實(shí)變化和狀態(tài)［4］。因此，本文提出基于旅客情感的異常行為預(yù)警模型，動(dòng)態(tài)調(diào)配算力資源、持續(xù)采集情感數(shù)據(jù)，在融合面部表情、肢體姿態(tài)、語音多模態(tài)計(jì)算旅客情感的基礎(chǔ)之上，判定旅客可能做出異常行為的預(yù)警等級(jí)，為匹配相應(yīng)的預(yù)警策略提供支持，以期幫助安保人員識(shí)別可能的安全威脅或潛在的飛行風(fēng)險(xiǎn)，確保民航安全的保障性和持續(xù)性。

1 相關(guān)研究現(xiàn)狀

1.1" 民航安檢工作現(xiàn)狀研究

目前，國(guó)內(nèi)外有關(guān)民航安檢領(lǐng)域的研究主要包括安檢流程、安檢人員和分類安檢三類。

安檢流程方面，學(xué)者多聚焦于使用建模仿真的方法。如常敏［5］借助Anylogic建立智能旅客安全檢查仿真模型，通過行李放置位、整理位以及輸送帶速度仿真判斷最優(yōu)智能旅檢通道布局參數(shù)；趙元棣［6］利用排隊(duì)理論建立單隊(duì)單服務(wù)臺(tái)和多隊(duì)多服務(wù)臺(tái)兩種安檢排隊(duì)模型，計(jì)算并比對(duì)各運(yùn)行指標(biāo)優(yōu)劣；?iroky［7］根據(jù)哈維爾機(jī)場(chǎng)真實(shí)數(shù)據(jù)參數(shù)，運(yùn)用排隊(duì)理論模擬安檢流程，實(shí)現(xiàn)航站樓客流過程可視化。

安檢人員方面，主要關(guān)注安檢人員的能力、心理和壓力等方面的研究。王永剛［8］通過調(diào)查問卷和層次分析獲取安檢員勝任力指標(biāo)及權(quán)重參數(shù)，并以此構(gòu)建安檢員勝任力評(píng)價(jià)模型。王霞［9］基于心理資本調(diào)節(jié)作用提出不安全感對(duì)安檢人員工作績(jī)效的影響，以此改善安檢人員工作績(jī)效管理模式。Thomas［10］從安檢人員壓力視角出發(fā)進(jìn)行研究，發(fā)現(xiàn)壓力誘導(dǎo)的皮質(zhì)醇在反應(yīng)性峰值時(shí)增加將反作用于安檢人員的安檢表現(xiàn)，提出緩解安檢人員壓力將有利于改善安檢效率和航空安全。

分類安檢方面，主要考慮旅客風(fēng)險(xiǎn)實(shí)現(xiàn)分級(jí)、分類、分流的安檢模式。滕昭旭［11］通過構(gòu)建暴恐分子與民航安檢部門的攻防序貫博弈模型，實(shí)現(xiàn)了基于易安檢模式的旅客分流安檢流程；馮文剛［12］基于民航數(shù)據(jù)庫(kù)和公安數(shù)據(jù)庫(kù)，通過構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練獲取旅客風(fēng)險(xiǎn)因素并對(duì)其進(jìn)行安檢分類；Bearth［13］認(rèn)為選擇性安全檢查能夠有效降低機(jī)場(chǎng)成本和等待時(shí)間，同時(shí)保持高安全性，但對(duì)所有乘客進(jìn)行篩查的傳統(tǒng)安全檢查更具威懾力。

1.2" 民航旅客異常行為研究

民航旅客的異常行為可以認(rèn)為是與常規(guī)旅客行為有所差異的行為特征，存在安全威脅或非法活動(dòng)的可能。為有效識(shí)別民航旅客異常行為，消除極端恐怖主義活動(dòng)威脅，已有多位學(xué)者針對(duì)民航旅客異常行為展開研究，主要包括基于設(shè)備監(jiān)測(cè)或視頻圖像的異常行為識(shí)別和基于實(shí)際案例的異常行為特征分析兩類。

在基于設(shè)備監(jiān)測(cè)或視頻圖像的異常行為識(shí)別方面，Gao等人［14］提出基于輪廓域邊緣檢測(cè)的民航旅客異常行為圖像識(shí)別方法，通過構(gòu)建監(jiān)控圖像識(shí)別總體模型實(shí)現(xiàn)異常行為的有效檢測(cè)；Zhang等人［15］提出一種結(jié)合表觀特征和深度特征的目標(biāo)跟蹤算法，為高性能機(jī)場(chǎng)智能視頻監(jiān)控系統(tǒng)的開發(fā)和實(shí)施提供參考；王燕青等人［16］借助眼動(dòng)儀采集航空安全員視覺特征數(shù)據(jù)，分析其視覺搜索特征對(duì)旅客異常行為識(shí)別的影響；常慶龍［17］開發(fā)了一種航站樓集群安全識(shí)別與預(yù)警原型系統(tǒng)，利用圖像處理算法和并行處理技術(shù)實(shí)現(xiàn)多路視頻條件下的旅客異常行為識(shí)別。

在基于實(shí)際案例的異常行為特征分析方面，許凌潔［18］通過分析我國(guó)1977年至2007年間55例劫機(jī)犯罪事件，構(gòu)建包含犯罪主體、犯罪條件和犯罪成本的PCC′預(yù)防模型；沈海濱［19］分析總結(jié)我國(guó)2000年至2019年間124起民航旅客異常行為案例，構(gòu)建民航旅客異常行為識(shí)別指標(biāo)體系；劉南男［20］針對(duì)我國(guó)各地273起非法干擾行為的數(shù)量、地域、性質(zhì)、行為方式等展開定量定性分析，通過梳理發(fā)生規(guī)律及其發(fā)展趨勢(shì)，提出遏制非法干擾行為建議。

綜上所述，現(xiàn)有民航安檢研究主要涉及流程、人員等方面，其中，有關(guān)旅客異常行為研究則多聚焦于視頻監(jiān)測(cè)和案例分析的方法開展，鮮有以旅客個(gè)人情感為參考要素預(yù)警異常行為的研究。人們的情感狀態(tài)能夠影響其個(gè)人行為，分析識(shí)別民航旅客的情感則能夠在一定程度上預(yù)測(cè)可能發(fā)生的異常行為。因此，本文提出了基于多模態(tài)情感計(jì)算的民航旅客異常行為預(yù)警模型，以期通過旅客面部表情、肢體姿態(tài)和語音三模態(tài)數(shù)據(jù)實(shí)現(xiàn)情感識(shí)別，從而對(duì)潛在的異常行為進(jìn)行預(yù)警。

2 民航旅客異常行為預(yù)警模型

構(gòu)建一個(gè)基于多模態(tài)情感計(jì)算的民航旅客異常行為預(yù)警模型應(yīng)包括情感數(shù)據(jù)采集、多模態(tài)情感驗(yàn)證、異常行為預(yù)警等方面，如圖1所示。如何確定民航旅客個(gè)人多模態(tài)情感的有效融合策略，實(shí)現(xiàn)精準(zhǔn)的情感計(jì)算，為旅客異常行為預(yù)警提供參考是本文的重點(diǎn)研究問題。因此，本文提出了融合面部表情、肢體姿態(tài)和語音三種模態(tài)的情感識(shí)別模型，在對(duì)各模態(tài)情感數(shù)據(jù)進(jìn)行識(shí)別后，采取權(quán)重分配的方法實(shí)現(xiàn)決策級(jí)融合，以此獲取旅客最終情感預(yù)測(cè)結(jié)果，從而判斷其是否具有潛在異常行為的風(fēng)險(xiǎn)和可能。

2.1" 情感數(shù)據(jù)采集

在民航安檢全流程中，旅客的情感數(shù)據(jù)能夠通過多種方式進(jìn)行表達(dá)。人的情感狀態(tài)往往能夠影響其自身的行為活動(dòng)，如在偽造謊言時(shí)產(chǎn)生的情緒會(huì)引發(fā)面部表情、無意識(shí)行為、語音特征、生理活動(dòng)等變化，通過捕獲這些行為活動(dòng)能夠分析旅客情感［21］。傳統(tǒng)安檢過程中，安檢員通過查驗(yàn)旅客證件、行李來判斷其是否能夠通過安檢，如若不是極其明顯的“神情慌張”或“舉止怪異”，在沒有受過專業(yè)培訓(xùn)的情況下很難觀察到旅客情感狀態(tài)并判斷其是否存在異常行為風(fēng)險(xiǎn)的可能?，F(xiàn)代化智慧機(jī)場(chǎng)在新一代技術(shù)和軟硬件設(shè)備的加持下，可以實(shí)現(xiàn)旅客多維度情感數(shù)據(jù)的有效采集。如借助超清攝像頭能夠?qū)ε抨?duì)等待安檢的旅客進(jìn)行面部表情和肢體姿態(tài)的定點(diǎn)持續(xù)采集，錄音設(shè)備能夠記錄每位旅客面對(duì)安檢員例行提問時(shí)所做出的言語回答中的語音特征，如“是否攜帶危險(xiǎn)品或違禁物品”“是否有健康狀況或癥狀等”，以此便能夠?yàn)榍楦凶R(shí)別提供原始數(shù)據(jù)。盡管包括心率、脈搏、眼動(dòng)等在內(nèi)的生理數(shù)據(jù)作為人類所表現(xiàn)出來的潛在反應(yīng)是最為真實(shí)的數(shù)據(jù)，且不易被偽造［22］。但面向機(jī)場(chǎng)安檢的常態(tài)化應(yīng)用場(chǎng)景中，生理數(shù)據(jù)的采集需要借助不同的監(jiān)測(cè)設(shè)備，局限性和侵入性較大，故不便使用此類數(shù)據(jù)進(jìn)行情感計(jì)算。因此，本研究從侵入性、干擾性、設(shè)備要求、可實(shí)現(xiàn)性等方面對(duì)情感數(shù)據(jù)采集方法進(jìn)行綜合考慮后，認(rèn)為面部表情、肢體姿態(tài)和語音特征三種模態(tài)更為合適。

2.2" 多模態(tài)情感融合

在多模態(tài)情感融合過程中，不同的數(shù)據(jù)融合方式將對(duì)民航旅客情感計(jì)算結(jié)果產(chǎn)生不同的影響。在旅客排隊(duì)等候安檢過程中，借助高清攝像頭分目標(biāo)定點(diǎn)持續(xù)采集面部表情和肢體姿態(tài)數(shù)據(jù)，采取常用于圖像數(shù)據(jù)識(shí)別處理的卷積神經(jīng)網(wǎng)絡(luò)分別提取表情和姿態(tài)特征，識(shí)別旅客個(gè)人情感，從而實(shí)現(xiàn)民航旅客異常行為初預(yù)警并作包含正常、低警戒、中警戒、高警戒狀態(tài)的四分級(jí)。其中，由于不同情感數(shù)據(jù)的識(shí)別精準(zhǔn)度差異會(huì)導(dǎo)致不同的融合識(shí)別結(jié)果以及不同情感數(shù)據(jù)對(duì)不同情感狀態(tài)識(shí)別效果也有所差異。因此，采取在兩種模態(tài)數(shù)據(jù)識(shí)別結(jié)果基礎(chǔ)上進(jìn)行決策級(jí)融合［23］的方式來實(shí)現(xiàn)情感計(jì)算。通過賦予各模態(tài)情感識(shí)別結(jié)果不同的權(quán)重，以加權(quán)求和的方法獲得不同的情感計(jì)算結(jié)果對(duì)比選優(yōu)。

其次，在安檢進(jìn)行時(shí)，安檢員針對(duì)不同旅客根據(jù)初預(yù)警分級(jí)反饋展開差異化檢查、提問，借助錄音設(shè)備記錄旅客在進(jìn)行回答時(shí)的語音特征用以后續(xù)情感分析。其中，初預(yù)警處于正常狀態(tài)的旅客可以例行檢查、提問；警戒程度越高，則采取更為嚴(yán)謹(jǐn)、詳細(xì)的安檢流程并將其列為重點(diǎn)監(jiān)控對(duì)象。與初預(yù)警一致，使用同樣的融合方法實(shí)現(xiàn)三模態(tài)數(shù)據(jù)的情感計(jì)算結(jié)果，以此作為最終情感參考并聯(lián)系異常行為做出預(yù)警。

2.3" 異常行為預(yù)警

異常行為預(yù)警是根據(jù)民航旅客安檢過程情感狀態(tài)的識(shí)別與分析結(jié)果，在人機(jī)協(xié)同機(jī)制的支持下，為安檢員提供與之相匹配的預(yù)警策略。已有研究發(fā)現(xiàn)，當(dāng)一個(gè)人在說謊時(shí)會(huì)引發(fā)一定的情感變化，且這種變化必然通過其行為外顯出來［24］?？赡艽嬖诋惓Ｐ袨轱L(fēng)險(xiǎn)的旅客在安檢過程中，因存在有目的地隱瞞、偽造有關(guān)信息或事實(shí)的動(dòng)機(jī)，難免會(huì)引起自身緊張、焦慮、害怕、厭惡等負(fù)面情緒的變化，或是過度抗拒安檢流程的正常進(jìn)行。因此，通過識(shí)別旅客安檢過程中的消極情感狀態(tài)并綁定風(fēng)險(xiǎn)預(yù)警可以為準(zhǔn)確判斷潛在的異常行為風(fēng)險(xiǎn)提供參考。本研究將可能蘊(yùn)含安全風(fēng)險(xiǎn)的生氣、厭惡、焦慮、害怕、悲傷5種負(fù)面情緒作為異常行為預(yù)警的判斷依據(jù)，同時(shí)考慮情感響應(yīng)程度以及專家和研究人員確定的每種預(yù)警程度所對(duì)應(yīng)的閾值，將其劃分為“高”“中”“低”“正?！?級(jí)程度，并據(jù)此反饋給安檢人員決定“是否做出應(yīng)對(duì)策略”以及“做出何種應(yīng)對(duì)策略”。與此同時(shí)，異常行為預(yù)警結(jié)果也可反饋給負(fù)責(zé)核查托運(yùn)行李的安檢人員，使其進(jìn)行有目標(biāo)性、針對(duì)性的重點(diǎn)檢查，協(xié)同防范安全風(fēng)險(xiǎn)事件發(fā)生。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1" GEMEP多模態(tài)語料庫(kù)

本研究采用的日內(nèi)瓦多模態(tài)情感描述（the Geneva Multimodal Emotion Portrayal，GEMEP）語料庫(kù)是在2011年IEEE國(guó)際會(huì)議上提供的一個(gè)數(shù)據(jù)集［25］。該語料庫(kù)由145段1s—2s的音頻視頻組成，每段視頻都包含有面部表情、肢體姿態(tài)和語音三個(gè)模態(tài)的信息，代表了18種情感（包括很少被研究的微妙情感），由10名專業(yè)演員（5名女性）在專業(yè)導(dǎo)演的指導(dǎo)下扮演。本研究只考慮每位演員扮演的包括生氣、厭惡、焦慮、害怕、悲傷5類情感數(shù)據(jù)視頻，部分視頻數(shù)據(jù)如圖2所示。

3.2" 多模態(tài)情感識(shí)別模型

3.2.1視頻數(shù)據(jù)識(shí)別模型

本研究采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻數(shù)據(jù)識(shí)別處理，通過提取演員面部表情和肢體姿態(tài)特征實(shí)現(xiàn)情感識(shí)別。借助OpenCV中的VideoCapture類每隔幾幀分割數(shù)據(jù)集中視頻流的面部表情和肢體姿態(tài)圖像。選取VGG16和ResNet50兩種模型作為已分割視頻數(shù)據(jù)識(shí)別處理的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，并通過對(duì)比實(shí)驗(yàn)評(píng)估它們的識(shí)別效果，以確定最佳的卷積神經(jīng)網(wǎng)絡(luò)。在VGG16模型中，經(jīng)過13次卷積、5次池化和3次全連接操作后，分別得到兩種模態(tài)情感分類的識(shí)別結(jié)果，詳細(xì)過程見圖3。而在ResNet50模型中，該模型包含STAGE0～STAGE4共5層卷積層，經(jīng)過49次卷積、2次池化和1次全連接操作后，得到情感分類的識(shí)別結(jié)果，詳細(xì)過程見圖4。

3.2.2音頻數(shù)據(jù)識(shí)別模型

本研究采用分層粒度和特征模型（Hierarchical Grained and Feature Model， HGFM）進(jìn)行音頻數(shù)據(jù)情感識(shí)別。首先，對(duì)GEMEP語料庫(kù)中相關(guān)情感音頻進(jìn)行降噪、音頻強(qiáng)度歸一化等預(yù)處理操作，逐幀分割并提取手工特征。其次，使用門控循環(huán)單元（Gated Recurrent Unit， GRU）對(duì)包含過零率（Zero Crossing Rate， ZCR）、（Mel-frequency Cepstral Coefficients， MFCC）、常數(shù)Q變換（Constant-Q Transform， CQT）的低維手工特征進(jìn)行編碼，將其映射到高維情感特征空間，并通過自注意力機(jī)制進(jìn)行加權(quán)，隨后再借助門控循環(huán)單元實(shí)現(xiàn)高維情感特征預(yù)測(cè)，從而在多次訓(xùn)練后獲取音頻數(shù)據(jù)情感識(shí)別結(jié)果。詳細(xì)過程參見圖5。

在該模型訓(xùn)練過程中，設(shè)定進(jìn)程數(shù)（Workers）為4，輸入維度為33，門控循環(huán)單元第一、二層隱藏單元維度（Encoder Hidden Size）均為300，全連接層維度為100，批處理量（Batch Size）為32，初始學(xué)習(xí)率（Learning Rate）為0.001（指數(shù)衰減，衰減系數(shù)為0.8），Dropout為0.5，損失函數(shù)為交叉熵?fù)p失函數(shù)（Cross Entropy Loss， CEL）、優(yōu)化器為Adam。最終，得到音頻數(shù)據(jù)識(shí)別精度為65.78%

3.3" 多模態(tài)情感數(shù)據(jù)融合

在多模態(tài)數(shù)據(jù)融合過程中，演員情感計(jì)算結(jié)果受所采用的融合方法所決定。本研究采取將三模態(tài)模型識(shí)別結(jié)果進(jìn)行決策級(jí)融合［47］的方式來實(shí)現(xiàn)情感計(jì)算，賦予面部表情、肢體姿態(tài)、語音情感數(shù)據(jù)識(shí)別模型不同的權(quán)重，以此通過加權(quán)求和的方法獲得不同情感計(jì)算模型的結(jié)果對(duì)比選優(yōu)。權(quán)重分配應(yīng)注意：（1）不同模態(tài)數(shù)據(jù)的識(shí)別精準(zhǔn)度差異會(huì)導(dǎo)致不同的融合識(shí)別結(jié)果；（2）不同模態(tài)數(shù)據(jù)對(duì)不同情感狀態(tài)識(shí)別效果也有所差異?；诖耍狙芯繉⒍嗄B(tài)數(shù)據(jù)融合的情感計(jì)算分為賦予各模態(tài)情感識(shí)別模型權(quán)重和賦予各模態(tài)情感識(shí)別模型中不同情感權(quán)重兩種方式。

假設(shè)面部表情、肢體姿態(tài)、語音三模態(tài)情感識(shí)別模型的輸出結(jié)果分別為oface、obody、ovoice，且每種模態(tài)輸出結(jié)果均含有5維信息：生氣、厭惡、焦慮、害怕、悲傷，每種情感在面部表情、肢體姿態(tài)、語音模態(tài)中的情感信息分別表示為i、 j、 k。[ijk] ，[i∈0，1，2，3，4j∈0，1，2，3，4k∈0，1，2，3，4] （1）

則多模態(tài)輸出結(jié)果的概率分布矩陣[P]可表示為：

[P]=[oface0obody0ovoice0oface1obody1ovoice1oface2obody2ovoice2oface3" " "obody3" " "ovoice3oface4" " "obody4" " "ovoice4] （2）

賦予各模態(tài)情感識(shí)別模型權(quán)重的計(jì)算結(jié)果為：

R=[λ1][×]oface+[λ2]obody+[λ3]ovoice （3）

式（3）中：[λ1]、[λ2]、[λ3]分別表示面部表情、肢體姿態(tài)、語音三模態(tài)情感識(shí)別模型的權(quán)重參數(shù)，且[λ1+λ2+λ3=1]；[R]表示融合模型的最終計(jì)算結(jié)果。

賦予各模態(tài)情感識(shí)別模型中不同情感權(quán)重的計(jì)算結(jié)果為：

[R=i=0i=4λ1oface i+][j=0j=4λ2obodyj+k=0k=4λ3ovoicek] （4）

式（4）中：[ofacei]表示面部表情情感識(shí)別模型中各維情感信息的輸出結(jié)果，[obodyj]表示肢體姿態(tài)情感識(shí)別模型中各維情感信息的輸出結(jié)果，[ovoicek]表示語音情感識(shí)別模型中各維情感信息的輸出結(jié)果。

4 實(shí)驗(yàn)結(jié)果

4.1" 視頻數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)模型選擇

經(jīng)過訓(xùn)練，基于VGG16和ResNet50卷積神經(jīng)網(wǎng)絡(luò)的面部表情識(shí)別模型和肢體姿態(tài)識(shí)別模型均得到了情感識(shí)別結(jié)果。過程中，設(shè)定以下主要參數(shù)來構(gòu)建和訓(xùn)練網(wǎng)絡(luò)：激活函數(shù)、損失函數(shù)、優(yōu)化器、批處理大小、迭代次數(shù)等。

通過模型訓(xùn)練，基于VGG16和ResNet50的面部表情識(shí)別模型和肢體姿態(tài)識(shí)別模型歷經(jīng)多次迭代優(yōu)化，兩個(gè)模型的損失函數(shù)都逐漸趨向于一個(gè)穩(wěn)定的值，表明它們?cè)谟?xùn)練數(shù)據(jù)上已經(jīng)取得了較好的擬合效果。識(shí)別結(jié)果如表1所示。

由表1可看出，在相同數(shù)據(jù)語料庫(kù)和訓(xùn)練參數(shù)的情況下，基于VGG16卷積神經(jīng)網(wǎng)絡(luò)的面部表情和肢體姿態(tài)識(shí)別準(zhǔn)確率均顯著高于ResNet50模型。同時(shí)，VGG16網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)潔實(shí)用，能夠通過加深網(wǎng)絡(luò)結(jié)構(gòu)提高特征提取能力，且超參數(shù)較少。因此，本研究采用VGG16實(shí)現(xiàn)面部表情和肢體姿態(tài)視頻數(shù)據(jù)的情感識(shí)別處理。

4.2 單模態(tài)情感識(shí)別結(jié)果

基于VGG16的視頻數(shù)據(jù)識(shí)別模型和基于分層粒度和特征模型的音頻數(shù)據(jù)識(shí)別模型在GEMEP多模態(tài)語料庫(kù)上對(duì)生氣、厭惡、焦慮、害怕、悲傷5類情感的識(shí)別結(jié)果如表2所示。

4.3" 多模態(tài)情感識(shí)別結(jié)果

多模態(tài)決策級(jí)融合是將面部表情、肢體姿態(tài)、語音識(shí)別模型的輸出結(jié)果乘以各自的權(quán)重，以期獲取最優(yōu)情感識(shí)別結(jié)果下的權(quán)重分布情況。

4.3.1賦予各情感識(shí)別模型權(quán)重

在賦予各情感識(shí)別模型權(quán)重中，為保證三個(gè)識(shí)別模型權(quán)重參數(shù)之和為1，我們?cè)?.1至0.8之間以0.1為固定步長(zhǎng)人為分配面部表情、肢體姿態(tài)和語音識(shí)別模型的權(quán)重，共得到36種權(quán)重分配結(jié)果，部分權(quán)重參數(shù)分配情況如表3所示。

隨后，分別計(jì)算36種不同權(quán)重參數(shù)在多模態(tài)情感決策級(jí)融合中的識(shí)別結(jié)果，以識(shí)別準(zhǔn)確率為衡量標(biāo)準(zhǔn)進(jìn)行排序。由于識(shí)別結(jié)果有36項(xiàng)，不宜全部展示，這里只羅列其中最優(yōu)的7種識(shí)別效果，如表4所示。

由表4可以看出，當(dāng)面部表情權(quán)重oface為0.4，肢體姿態(tài)權(quán)重obody為0.3，語音權(quán)重ovoice為0.3時(shí)，多模態(tài)情感決策級(jí)融合識(shí)別效果最佳，達(dá)到了80.12%。此外，當(dāng)oface、obody、ovoice權(quán)重分配相近或oface≥0.5時(shí)，其識(shí)別結(jié)果普遍優(yōu)于其他情況。

4.3.2賦予各情感識(shí)別模型中5類情感權(quán)重

基于上述多模態(tài)情感識(shí)別結(jié)果，以oface、obody、ovoice權(quán)重相近與oface≥0.5為前提條件賦予各情感識(shí)別模型5類情感權(quán)重。最終，得到最優(yōu)識(shí)別結(jié)果的權(quán)重參數(shù)分配情況，見表5。

通過觀察表5得出：當(dāng)面部表情識(shí)別模型中5類情感權(quán)重參數(shù)為0.4、0.6、0.3、0.5、0.5，肢體姿態(tài)識(shí)別模型中5類情感賦值權(quán)重參數(shù)為0.3、0.2、0.2、0.3、0.2，語音識(shí)別模型中5類情感權(quán)重參數(shù)為0.3、0.2、0.5、0.2、0.3時(shí)，該模型可達(dá)到82.76%的識(shí)別準(zhǔn)確率。

4.4" 實(shí)證分析

查驗(yàn)本研究各識(shí)別模型在GEMEP多模態(tài)語料庫(kù)結(jié)果得知，賦予各情感識(shí)別模型中5類情感權(quán)重的精度最高，是本研究中最優(yōu)情感計(jì)算模型，為82.76%；其次是賦予各情感識(shí)別模型權(quán)重，為80.12%；隨后便是基于面部表情、語音、肢體姿態(tài)的單模態(tài)情感識(shí)別模型，分別為72.52%、65.78%、64.35%。由此，選取賦予各情感識(shí)別模型中5類情感權(quán)重的方法對(duì)生氣、厭惡、焦慮、害怕、悲傷5類情感進(jìn)行識(shí)別，其識(shí)別精度混淆矩陣如圖6所示。

梳理上述全部結(jié)果可知：（1）基于多模態(tài)情感決策級(jí)融合的識(shí)別精度要高于基于單模態(tài)情感識(shí)別精度；（2）多模態(tài)情感決策級(jí)融合中賦予各情感識(shí)別模型中5類情感權(quán)重的方法要優(yōu)于賦予各情感識(shí)別模型權(quán)重；（3）三種單模態(tài)情感識(shí)別模型中，識(shí)別精度由高到低是面部表情、語音、肢體姿態(tài)；（4）最優(yōu)情感計(jì)算模型對(duì)生氣情感識(shí)別準(zhǔn)確率最高，其次是害怕、厭惡、悲傷，最后是焦慮情感。

5 結(jié) 語

本文從多模態(tài)情感視角出發(fā)，認(rèn)為人的情感與其行為具有密切聯(lián)系，通過構(gòu)建民航旅客異常行為預(yù)警模型，基于GEMEP多模態(tài)語料庫(kù)，實(shí)現(xiàn)旅客情感識(shí)別進(jìn)而預(yù)警異常行為，輔助安檢人員預(yù)防來自“人素”的安全威脅或非法活動(dòng)，以期為旅客安全、民航安全等提供保障。然而，本研究仍存在一些不足和尚待改善的地方。首先，本文只考慮了存在異常行為風(fēng)險(xiǎn)旅客的部分負(fù)面情感進(jìn)行識(shí)別并判定風(fēng)險(xiǎn)等級(jí)，但真實(shí)情況中可能存在其他負(fù)面情感或是正面情感的存在，未來將會(huì)綜合考慮更多情感維度與異常行為之間的潛在聯(lián)系。其次，本研究重心在于如何有效識(shí)別旅客的生氣、厭惡、焦慮、害怕、悲傷5類情感，并未詳細(xì)展開說明依據(jù)旅客風(fēng)險(xiǎn)等級(jí)做出何種相應(yīng)的預(yù)警策略。總體而言，本文提出的基于多模態(tài)情感計(jì)算的民航旅客異常行為預(yù)警模型，能夠有效判斷安檢過程中旅客情感狀態(tài)，加大安檢工作反恐篩查力度，進(jìn)一步降低航空安全事故發(fā)生的可能性。

參考文獻(xiàn)：

［1］2022年民航行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)［EB/OL］.（2023-05-10）［2023-10-7］.https：//www.gov.cn/lianbo/2023-05/10/content_5754810.htm.

［2］楊驍勇，張輝，劉尚豫，等.航空安全領(lǐng)域研究進(jìn)展可視化綜述［J］.交通信息與安全，2021，39（3）：8-16.

［3］蘇曉軼.高校鑄牢中華民族共同體意識(shí)的文化觀教育研究［J/OL］.中南民族大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版）：1-8［2023-09-20］.

［4］姚鴻勛，鄧偉洪，劉洪海等. 情感計(jì)算與理解研究發(fā)展概述 ［J］. 中國(guó)圖像圖形學(xué)報(bào)， 2022，27（6）：2008-2035.

［5］常敏，李光飛，吝特高，等.智能旅檢通道模式下機(jī)場(chǎng)旅客安檢效率研究［J］.中國(guó)民航大學(xué)學(xué)報(bào)，2022，40（4）：49-53.

［6］趙元棣，蔣曉蕾.機(jī)場(chǎng)航站樓安檢通道數(shù)量配置優(yōu)化方法研究［J］.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2017，47（20）：293-301.

［7］?IROKY J， HLAVSOVá P. Optimizing process of check-in and security check at airport terminals［C］//MATEC Web of Conferences. EDP Sciences， 2018， 236： 01003.

［8］王永剛，崔光豪，宋真真，等.機(jī)場(chǎng)安檢員勝任力評(píng)價(jià)研究［J］.安全與環(huán)境學(xué)報(bào)，2018，18（6）：2257-2263.

［9］王霞.基于心理資本的機(jī)場(chǎng)安檢員工作不安全感對(duì)工作績(jī)效的影響［J］.安全與環(huán)境學(xué)報(bào)，2021，21（1）：263-269.

［10］THOMAS L， SCHWANINGER A， HEIMGARTNER N， et al. Stress‐induced cortisol secretion impairs detection performance in x‐ray baggage screening for hidden weapons by screening novices［J］. Psychophysiology， 2014，51（9）：912-920.

［11］滕昭旭，馮文剛.基于易安檢的民航涉恐防暴序貫博弈模型［J］.鄭州航空工業(yè)管理學(xué)院學(xué)報(bào)，2022，40（6）：91-101.

［12］馮文剛，姜兆菲璠.基于民航旅客分級(jí)分類方法的差異化安檢和旅客風(fēng)險(xiǎn)演化研究［J］.數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2020，4（12）：105-119.

［13］BEARTH A， HOFER F， STOTZ T， et al. Increasing the deterrence of airport security checks by managing expectations through communication： a hypothetical scenario experiment［J］. Journal of Transportation Security， 2021（14）：275-289.

［14］YANFEI G， JUNJIE C， NING Z. Optimization of surveillance image recognition of civil aviation airport［J］. Recent Patents on Computer Science， 2017， 10（4）： 270-274.

［15］ZHANG D， QIAN X， ZHANG Y. Research on abnormal behavior target tracking algorithm in airport intelligent video surveillance［C］//2017 International Conference on Progress in Informatics and Computing （PIC）. IEEE，2017：154-158.

［16］王燕青，林育任，李甲等.航空安全員視覺搜索多重分形特征對(duì)旅客異常行為識(shí)別的影響［J］.安全與環(huán)境學(xué)報(bào)，2023，23（8）：2830-2835.

［17］常慶龍. 航站樓集群安全識(shí)別與預(yù)警關(guān)鍵技術(shù)研究［D］.南京：南京航空航天大學(xué)，2014.

［18］許凌潔.我國(guó)民航劫機(jī)犯罪的特征及PCC′預(yù)防模型研究［J］.社會(huì)科學(xué)研究，2009（1）：72-78.

［19］沈海濱，張妍.民航旅客異常行為識(shí)別指標(biāo)體系研究［J］.安全與環(huán)境學(xué)報(bào)，2020，20（4）：1397-1405.

［20］劉南男.當(dāng)前我國(guó)非法干擾民用航空安全事件研究［J］.中國(guó)人民公安大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2013，29（2）：24-30.

［21］趙宏潔，劉洪廣. 謊言識(shí)別技術(shù)在刑事偵查中的應(yīng)用與發(fā)展［J］.遼寧警察學(xué)院學(xué)報(bào)，2019，21（2）：62-67.

［22］趙國(guó)朕，宋金晶，葛燕，等.基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展［J］.計(jì)算機(jī)研究與發(fā)展，2016，53（1）：80-92.

［23］何俊，劉躍，何忠文.多模態(tài)情感識(shí)別研究進(jìn)展［J］.計(jì)算機(jī)應(yīng)用研究，2018，35（11）：3201-3205.

［24］方斌.基于行為分析的犯罪嫌疑人謊言識(shí)別［J］.中國(guó)刑警學(xué)院學(xué)報(bào)，2021，（2）：69-78.

［25］B?NZIGER T， MORTILLARO M， SCHERER K R. Introducing the Geneva Multimodal expression corpus for experimental research on emotion perception［J］. Emotion， 2012， 12（5）： 1161-1179.

責(zé)任編校：陳 強(qiáng)，裴媛慧

Multimodal Emotion Perspective： Research on Early Warning of Civil Aviation Passengers' Abnormal Behavior

FU Yonghua，SI Junyong

（Zhengzhou University of Aeronautics， Zhengzhou" 450046，China）

Abstract： This paper proposes a multimodal emotion computation method for aviation security screening， emphasizing the significance of safety in the aviation industry. The research establishes a model for alerting abnormal behavior among aviation passengers by integrating various emotional cues from passengers' multiple modes. Utilizing audiovisual data from the GEMEP corpus to simulate potential abnormal behaviors， the study focuses on facial expressions， body postures， and speech as three modalities for recognition. Post recognition， two decision-level fusion methods are employed： assigning weights to emotional recognition models for each modality and allocating different emotional weights within these models. This approach enables the detection of passengers' emotions such as anger， disgust， anxiety， fear， and sadness， facilitating a graded alert system for abnormal behavior. The research findings highlight that assigning different emotional weights within the emotional recognition models yields the optimal emotional computation model. This model effectively identifies relevant emotions indicating potential abnormal behavior among passengers， achieving an overall recognition accuracy of 82.76%. Specifically， the recognition accuracy for the emotions of anger， disgust， anxiety， fear， and sadness were 81.9%， 78.5%， 81.3%， 83.2%， and 81.7%， respectively.

Key words： multimodal data; affective computing; aviation security; civil aviation security inspection; early warning of abnormal behavior

收稿日期：2023-11-10

基金項(xiàng)目：河南省研究生教育改革與質(zhì)量提升工程項(xiàng)目：人機(jī)情感（YJS2023JC29）

作者簡(jiǎn)介：付永華，山東即墨人，副教授，研究方向?yàn)樾畔⒎?wù)。