神經(jīng)網(wǎng)絡(luò)在飛行疲勞檢測中的應(yīng)用綜述

沈 鋒，羅文田

（中國民用航空飛行學(xué)院航空工程學(xué)院，四川德陽 618307）

0 引言

國際民航組織認為飛行疲勞是一種因睡眠不足、晝夜節(jié)律紊亂、工作負荷過重等導(dǎo)致機組人員工作能力下降的狀態(tài)，會對航空安全造成一定影響［1］。在飛行過程中，長航線、多航段飛行以及不規(guī)律的跨時區(qū)飛行會使機組人員疲勞程度加深、機體恢復(fù)進程減慢，給飛行安全帶來極大隱患［2］。針對飛行疲勞問題，國際民航組織提出疲勞管理體系，各個國家在此基礎(chǔ)上制定了詳細的疲勞管理規(guī)章，對飛行疲勞進行了嚴格管控［3］。

飛行疲勞一般分為視疲勞、腦力疲勞、體力疲勞等。人體在長時間或高強度工作后會逐漸進入疲勞狀態(tài)，反應(yīng)速度、專注力、警覺度會迅速下降。在飛行過程中，尤其是多航程任務(wù)中，飛行員需要注意艙外視野區(qū)及艙內(nèi)各儀表信息狀態(tài)以便及時執(zhí)行飛行指令［4］，不僅會加深視疲勞和腦疲勞，還會產(chǎn)生體力疲勞。人體肌肉長時間處于收縮舒張的切換狀態(tài)或只處于收縮狀態(tài)下會導(dǎo)致肌肉疲勞，也屬于體力疲勞的一種。肌肉出現(xiàn)疲勞時，肌電信號會發(fā)生明顯變化，具體表現(xiàn)為肌電信號時域幅值增加，頻域頻譜發(fā)生左移。肌肉疲勞還會伴隨人體諸多物理、生理、化學(xué)信號改變，這些信號特征可以反映肌肉疲勞程度［5］。

由于民航領(lǐng)域的特殊性，針對管制員、乘務(wù)人員、飛行員的疲勞監(jiān)測研究相對較晚，大多數(shù)實驗只能在模擬狀態(tài)下展開，相應(yīng)的疲勞檢測方法也更傾向于精度較高的生理信號監(jiān)測。近年來，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法不斷創(chuàng)新，一些算法精度甚至媲美基于生理信號的方法。神經(jīng)網(wǎng)絡(luò)對人臉特征的提取和關(guān)鍵點的定位能力非常好，在檢測速度、精度、魯棒性和便捷性方面表現(xiàn)優(yōu)異。隨著樣本容量的提高以及訓(xùn)練硬件水平的提升，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法會越來越快速和準確。

1 傳統(tǒng)飛行疲勞檢測方法

1.1 客體檢測

人體疲勞程度是非連續(xù)變量，對于疲勞程度的評估一直處于量化模型的建立階段。睡眠調(diào)節(jié)的雙機制模型（Two-process Model of Sleep Regulation，TPMSR）是眾多疲勞相關(guān)生物模型的基礎(chǔ)，該模型由Borlely［6］于1982 年提出，此后許多疲勞模型均以雙機制模式為基本理論進行補充和擴展。采用生理信號對疲勞進行研究是一種直接測量方法，通過對受試者的腦電、心電、肌電、心率變異特征、皮膚電阻、激素含量進行分析［7］，可評估其疲勞程度，但直接測量方法會對受試者造成一定干擾，只能獲取模擬狀態(tài)或睡眠剝奪狀態(tài)下的疲勞狀態(tài)，不能反映受試者在真實工作狀態(tài)下的表現(xiàn)。因此，學(xué)者們嘗試采用間接手段進行疲勞測試。由于疲勞程度積累會造成生理機能下降，PVT 警覺度測試［8］、CFF 閃光融合測定［9］以及操作水平績效都能在一定程度上對疲勞狀態(tài)作出評估。一些特征檢測方法，例如眼瞼閉合度（perclos 值）、眨眼頻率、哈欠次數(shù)等也可作為疲勞程度的檢測手段。

1.2 主體檢測

與客體檢測思路不同，主體檢測是對受試者進行評估，首先記錄受試者的睡眠狀況，每隔一段時間就要求受試者填寫嗜睡表或疲勞檢查單［10］。該表形式簡單，只需受試者填寫當時的疲勞程度，也可通過面部表情、膝跳反應(yīng)等直接反映疲勞程度。

1.3 疲勞測量方法比較

直接檢測受試者的生理信號雖然精確度較高，但侵入性過強，對處于工作狀態(tài)的受試者干擾很大，且該方法成本很高，測試設(shè)備不易普及。一些間接測量方法雖然精度不高，但不具有侵入性，成本低廉，檢測速度也更快［11］。傳統(tǒng)飛行疲勞檢測方法比較見表1、表2。

2 基于神經(jīng)網(wǎng)絡(luò)的飛行疲勞檢測方法

2.1 視疲勞檢測

視疲勞又稱為眼疲勞，現(xiàn)代醫(yī)學(xué)認為其由眼部生理因素、環(huán)境、精神等因素共同導(dǎo)致。眼部因素主要為屈光不正，包括散光、近視和遠視。當環(huán)境光線過弱，所觀察物體對比度不足會引起睫狀肌工作超荷，引發(fā)視疲勞。此外，飛行人員眼球運動頻繁，處于持續(xù)緊張狀態(tài)，累積到一定程度將發(fā)生視疲勞［12］。

視疲勞是飛行人員常見癥狀之一［13］，因此對人眼狀態(tài)進行檢測是表征疲勞程度的理想方法。在特殊情況下，飛行人員需要佩戴眼鏡，包括近視矯正眼鏡和墨鏡，此時無法通過機器視覺方法檢測視疲勞，解決方法為在模型訓(xùn)練階段將佩戴墨鏡的數(shù)據(jù)集一起進行訓(xùn)練，檢測時將該種狀態(tài)下其他指標權(quán)重增加，或使用防濾相機采集訓(xùn)練數(shù)據(jù)。

Table1 Traditional flight fatigue detection methods表1 傳統(tǒng)飛行疲勞檢測方法

Table 2 Comparison of fatigue detection methods表2 疲勞檢測方法比較

人眼狀態(tài)的檢測前提為人臉檢測，不同環(huán)境下的人臉信息非常復(fù)雜，臉部移動、外部光線、非目標物遮擋都會影響人臉識別精度［14］。20 世紀90 年代誕生的主動形狀模型（Active Shape Model）可對人臉關(guān)鍵點進行檢測，進而形成特定形狀。在此基礎(chǔ)上，AAM（Active Appearance Model）算法融合人臉紋理特征進一步提高了檢測精度。2010 年，級聯(lián)姿勢回歸算法（Cascaded Pose Regression）［15］被提出，該方法通過回歸器不斷細化預(yù)測值，每一個回歸器級聯(lián)只需采用少量樣本便可進行訓(xùn)練預(yù)測，在特征提取方面可人工設(shè)計HOG、Harr、Sift 等特征對臉部進行檢測。例如，王劍楠等［16］采用基于Harr 特征的Adaboost 方法對人臉進行定位，之后使用ASEF（Average of Synthetic Exact Filters）算法對人眼初定位后，再采用灰度積分投影法進行二次精確定位；猶軼［17］使用神經(jīng)網(wǎng)絡(luò)檢測人眼，計算雙眼復(fù)雜度，結(jié)合perclos 準則選擇其中較高的復(fù)雜度進行飛行疲勞判定。

判定視疲勞程度的perclos 準則于20 世紀70 年代被提出，其理論基礎(chǔ)為人眼視線角度、眨眼頻率、瞳孔遮擋率等與駕駛?cè)藛T的疲勞程度具有相關(guān)性［18］。該方法被美國聯(lián)邦高速公路管理局相關(guān)專家認為是非接觸、實時的駕駛員疲勞評估方法，也是經(jīng)過實踐驗證、公認有效的疲勞判定準則。該準則在疲勞檢測領(lǐng)域運用廣泛，例如魯勝華［19］采用飛行員眼部數(shù)據(jù)對BP 神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，結(jié)合perclos準則對飛行員疲勞程度進行了融合判定。

perclos 準則認為人眼閉合程度與閉合時間在單位時間內(nèi)的比例能有效反映駕駛?cè)藛T的疲勞程度，共有3 個標準，分別為EM、p70、p80：①EM 標準認為當人眼瞳孔遮擋接近50%時即處于閉合狀態(tài)；②p70 認為當人眼瞳孔遮擋70%時即處于閉合狀態(tài)；③p80 認為人眼瞳孔遮擋80%時即為閉合狀態(tài)。雖然判斷標準不同，但原理相同，且單位時間內(nèi)眼睛閉合時長能判斷疲勞程度。

如圖1 所示，以p80 標準為例，在眼睛睜閉的T4-T1時間內(nèi)，當眼睛瞳孔閉合程度超過80%即認為閉合，則該時間段為T3-T2，perclos 比例計算公式為：

在采用機器視覺方法計算perclos 值時，需要將時間比換算成幀數(shù)比，即在單位時間內(nèi)閉眼幀數(shù)占總幀數(shù)的比值，計算公式為：

式中，Nc表示閉眼幀數(shù)，N表示單位時間內(nèi)的總幀數(shù)。

Fig.1 Degree of opening and closing of human eye pupil圖1 人眼瞳孔遮擋程度

大量研究表明，p80 準則最能反映駕駛?cè)藛T的疲勞程度［20-21］。

2.2 腦疲勞檢測

腦疲勞表現(xiàn)不易察覺，但會使人的注意力、記憶力和警覺度出現(xiàn)不同程度的下降，嚴重影響工作效率。研究表明，高強度用腦會導(dǎo)致大腦出現(xiàn)疲勞相關(guān)的α 波與β 波，極度困乏狀態(tài)下θ 波會明顯增加，α 波與β 波波長會增加［22］。基于此，裘旭益等［23］設(shè)計了基于高斯牛頓在線變分方法的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法，構(gòu)建了一種新型腦功率圖深度網(wǎng)絡(luò)模型，有效實現(xiàn)了飛行員疲勞狀態(tài)的監(jiān)測；儲銀雪等［24］通過分析腦電波頻域特征，運用深度稀疏自編碼網(wǎng)絡(luò)構(gòu)建飛行員疲勞識別模型，并與傳統(tǒng)結(jié)構(gòu)模型和單層稀疏自編碼網(wǎng)絡(luò)模型進行比較，結(jié)果顯示該模型具有更好的分類識別效果；羅映雪等［25］通過分析腦電波信號并計算其頻域瞬時值，提出基于Gamma 深度信念網(wǎng)絡(luò)的疲勞狀態(tài)分類算法，然后改進用于訓(xùn)練深度信念網(wǎng)絡(luò)的Gibbs 采樣算法，提出向上向下Gibbs 采樣以推斷網(wǎng)絡(luò)參數(shù)，結(jié)果表明該算法在識別準確率、穩(wěn)定性、迭代時間等方面表現(xiàn)優(yōu)異。

腦電信號的獲取方式直接影響分析精度，根據(jù)腦電極的放置方式可將其分為進入式（電極放在顱內(nèi)）、半進入式（電極放在顱內(nèi)大腦皮層外）和非進入式（電極放在頭皮處）等，其中進入式和半進入式對腦信號的采集效果較好，但技術(shù)要求較高，需要專業(yè)醫(yī)療保障。因此，一般疲勞檢測方法通常在腦皮層采集腦電信號，飛行員在飛行前或飛行后期佩戴腦電儀，分析其腦電特征和疲勞表現(xiàn)。該方法不具有實時性，成本高昂且不適宜進行商業(yè)推廣。

2.3 特征融合檢測

對人體疲勞特征進行融合檢測能提高疲勞識別精度。例如，在精確定位人臉特征點后，使用眼睛縱橫比（Eye Aspect Ratio，EAR）和嘴唇縱橫比（Mouth Aspect Ratio，MAR）可進行疲勞特征的識別，識別點見圖2、圖3，EAR、MAR 計算公式分別為：

Fig.2 Human eye markers圖2 人眼標記點

Fig.3 Mouth markers圖3 嘴標記點

人體疲勞時，頭部姿勢和行為會出現(xiàn)變化，使用基于卷積神經(jīng)網(wǎng)絡(luò)的openpose 模型進行姿勢識別，設(shè)定相關(guān)閾值，利用支持向量機將多種特征融合起來可進行疲勞檢測［26］，見圖4。

Fig.4 Human posture indentification圖4 人體姿勢識別

2.4 檢測效果比較

基于神經(jīng)網(wǎng)絡(luò)的視疲勞和腦疲勞檢測均取得了不錯效果，然而其缺點也很明顯。視疲勞檢測雖然快速便捷，但在頭部動作變化劇烈或有光線遮擋的情況下，精度容易受到干擾；腦疲勞檢測中的腦電信號需要進行濾波處理后才能進行時域和頻域分析，而且腦電信號提取復(fù)雜、成本高昂；多特征融合檢測的方法雖然較單一特征檢測方法更加精確，但也意味著模型需要處理的任務(wù)更多更復(fù)雜，檢測速度會大大降低。以上3 種檢測方法的詳細比較見表3。

Table 3 Comparison of detection methods表3 檢測方法比較

神經(jīng)網(wǎng)絡(luò)模型更新迭代快，更輕量、檢測效果更好的模型不斷產(chǎn)生。視疲勞、腦疲勞、多特征融合檢測方法均在不同階段運用到了神經(jīng)網(wǎng)絡(luò)，其總體檢測過程詳見圖5。其中視疲勞檢測過程中，神經(jīng)網(wǎng)絡(luò)主要用于人臉識別和人眼定位等步驟，例如MTCNN 網(wǎng)絡(luò)主要用于人眼定位和狀態(tài)判斷，在其基礎(chǔ)上增加定位網(wǎng)絡(luò)和狀態(tài)判定網(wǎng)絡(luò)，最終疲勞檢測準確率將高于單純的MTCNN 網(wǎng)絡(luò)。

3 飛行疲勞檢測方法展望

目前針對飛行人員的疲勞檢測往往需要依賴大型、高精度、專業(yè)化的醫(yī)療設(shè)備，無法滿足實時、非侵入性的需求。鑒于此，未來飛行疲勞檢測方法的發(fā)展趨勢為：①實時性。飛行疲勞檢測往往是飛行前或飛行后對飛行人員進行自評或器械檢測，不能在飛行狀態(tài)下進行快速檢測，對其疲勞狀態(tài)作出實時預(yù)警。使用輕量級神經(jīng)網(wǎng)絡(luò)能提高檢測速度，接近實時要求；②多融合性。單一疲勞狀態(tài)指標具有局限性，受到干擾后對精度影響較大，將多種疲勞判斷標準進行融合，利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)融合面部檢測和頭部姿態(tài)分析，使用級聯(lián)策略，在進行面部檢測的同時完成頭部姿態(tài)分析［27］，并加入眨眼頻率、哈欠次數(shù)、頭部姿勢等多項指標綜合判斷，可極大提高檢測精度；③非侵入性。在進行疲勞評定的同時不能對工作人員產(chǎn)生干擾，通過機器視覺技術(shù)或可穿戴化微型檢測設(shè)備可滿足該要求。

Fig.5 Process of detection圖5 檢測過程

4 結(jié)語

超負荷飛行、不規(guī)律跨時區(qū)飛行會使航空工作人員產(chǎn)生飛行疲勞，其對民航安全的威脅不容忽視。本文梳理了傳統(tǒng)飛行疲勞檢測方法的原理與特征，比較其優(yōu)缺點，并分析了神經(jīng)網(wǎng)絡(luò)在飛行疲勞檢測方法中的應(yīng)用，對于其他領(lǐng)域疲勞檢測方法遷移運用到飛行疲勞檢測中具有重要參考價值，可對飛行疲勞的檢測、量化、評估起到促進作用。