基于主觀評價的駕駛員疲勞狀態(tài)監(jiān)控系統(tǒng)測試方法

張 珊,石 蕊,劉文彬

[中汽研汽車檢驗中心（天津）有限公司,天津 300000]

0 引言

隨著汽車智能化的快速發(fā)展，駕駛員監(jiān)控系統(tǒng)的新車搭載率持續(xù)攀高，技術(shù)路線和監(jiān)控手段也時有革新，該系統(tǒng)顯著降低了因為駕駛員疲勞、分心導(dǎo)致的交通事故，有效地保證了交通安全。駕駛員監(jiān)控系統(tǒng)安裝于車內(nèi)，通過攝像頭及車輛運動行為等反饋的不同數(shù)據(jù)輸入監(jiān)控駕駛員的實時狀態(tài)，當(dāng)駕駛員注意力不集中時發(fā)出警告，甚至在駕駛員進(jìn)入無意識狀態(tài)時進(jìn)行干預(yù)控制車輛。

疲勞駕駛的場景測試方法有很多，《駕駛員注意力監(jiān)測系統(tǒng)性能要求及試驗方法》（GB/T 41797—2022）是基于睜閉眼和打哈欠（張閉嘴）的原理進(jìn)行制定的。該視覺檢測方案的優(yōu)勢在于定義清晰，重復(fù)性強。歐盟法規(guī)Driver Drowsiness and attention warning systems（DDAW，駕駛員嗜睡和注意力警告系統(tǒng)），基于駕駛員主觀感受來定義疲勞駕駛場景。

由于駕駛員監(jiān)控系統(tǒng)面對的駕駛員具有不相似的外貌和疲勞行為特征，且不同駕駛員對于危險駕駛的定義閾值也不盡相同，故駕駛員監(jiān)控系統(tǒng)需要具有較強的魯棒性和穩(wěn)定性，當(dāng)監(jiān)測到不同駕駛員的外貌及疲勞狀態(tài)時，發(fā)出正確的警告。

目前關(guān)于駕駛員監(jiān)控系統(tǒng)測試方法的研究較少：關(guān)于不同外貌的駕駛員篩選及自我疲勞狀態(tài)評價的培訓(xùn)較簡單，尚未梳理完善、合理的篩選及培訓(xùn)體系；駕駛員疲勞時表現(xiàn)和車輛動力學(xué)表現(xiàn)與駕駛員監(jiān)控系統(tǒng)性能的優(yōu)劣評價尚未建立合理聯(lián)系；涉及駕駛員監(jiān)控系統(tǒng)整體性能測試方法研究較少，特別是實車測試手段。

基于此，該研究提出基于多源數(shù)據(jù)深度學(xué)習(xí)的駕駛員疲勞狀態(tài)監(jiān)控系統(tǒng)測試方法，以解決目前測試駕駛員選擇的高隨機性、駕駛員疲勞程度評價的不穩(wěn)定以及測試方法流程不統(tǒng)一的難點問題。

1 駕駛員的選取

1.1 駕駛員疲勞特征

駕駛員疲勞會出現(xiàn)多種生理特征，從狀態(tài)來看，存在身體機能下降、眼睛發(fā)干、頻繁眨眼、心跳加快、視覺模糊、視力下降、注意力分散、視野逐漸變窄、漏/錯看信息情況增多、反應(yīng)遲鈍、動作僵硬、思維能力下降、頭腦糊涂等。其主要對外反映的視覺特征有駕駛員頭部的不自主晃動、頻繁眨眼、打哈欠等行為[1]。

通過計算機視覺技術(shù)，捕捉駕駛員的面部表情，包括眼睛、嘴巴、面部肌肉等，分析這些表情的特征，以判斷駕駛員是否處于疲勞狀態(tài)[2]。例如，可以通過檢測眼睛的閉合程度、嘴巴的張合程度等來判斷駕駛員的疲勞程度，如圖1~2 所示。

圖1 閉眼疲勞

圖2 打哈欠疲勞

1.2 試驗車輛的目標(biāo)客戶群體畫像

可從汽車銷售服務(wù)4S 店或其他宣傳銷售渠道獲取客戶信息及典型人群特征，若車輛目標(biāo)群體面向年輕女性，那么測試樣本的女性駕駛員占比可增加；若車輛目標(biāo)群體是貨車司機，那么測試樣本的男性職業(yè)司機占比可增加。

1.3 駕駛員篩選

多數(shù)駕駛員監(jiān)控系統(tǒng)利用攝像頭作為傳感器，拍攝駕駛員面部神態(tài)作為疲勞數(shù)據(jù)輸入。故選擇不同外貌、不同佩飾的駕駛員，有利于檢測系統(tǒng)的魯棒性；駕駛員的駕駛習(xí)慣和性別、年齡等有關(guān)，也會影響試驗結(jié)果[3]。選取駕駛員時可參考表1。

表1 駕駛員特征分布

應(yīng)確保篩選出的駕駛員不少于10 人，且表1 中同一特征的每個組別均有代表駕駛員（不同特征可重復(fù)）。測試樣本不包括駕駛員疲勞狀態(tài)監(jiān)控系統(tǒng)的研發(fā)人員。構(gòu)建的駕駛員庫中應(yīng)包含身高、體重、面部特征、困倦時的表現(xiàn)、駕駛風(fēng)格等信息。

對駕駛員進(jìn)行疲勞程度評級培訓(xùn)和測試，篩選出能夠準(zhǔn)確完成自我疲勞程度評級的駕駛員，構(gòu)建駕駛員數(shù)據(jù)庫。

1.4 駕駛員培訓(xùn)

將卡洛琳斯卡睡眠尺度表（KSS）[3]內(nèi)容（如表2所示）告知駕駛員，并觀看疲勞素材庫中的圖片和視頻，展示不同疲勞等級下駕駛員由清醒到困倦的神態(tài)及動作表現(xiàn)，使被培訓(xùn)者有更清晰的認(rèn)知。

表2 卡洛琳斯卡睡眠尺度表（KSS）

被培訓(xùn)者進(jìn)行一整天的自我練習(xí)，從早晨開始至晚上，每隔一段時間朗讀一篇文章并拍攝視頻記錄，同時對該時間段的自我疲勞程度進(jìn)行KSS 評級。由試驗員分別觀看被培訓(xùn)者的視頻，評估面部神態(tài)并對其疲勞程度進(jìn)行打分。若試驗員打分與被培訓(xùn)者打分的相關(guān)性系數(shù)較大，則認(rèn)為被培訓(xùn)者的評級準(zhǔn)確。

相關(guān)性系數(shù)r的計算如式（1）所示：

式中，i——培訓(xùn)視頻個數(shù)；n——視頻總數(shù)；j——試驗員數(shù)；k——試驗員總數(shù)；Xa,i——駕駛員a觀看不同視頻的疲勞等級打分；——駕駛員a觀看所有視頻的打分平均值；Yj,i——試驗員j觀看不同視頻的疲勞等級打分；——試驗員j觀看所有視頻的打分平均值。

2 實車道路試驗

2.1 測試設(shè)備

實車測試時，試驗車輛安裝慣性GPS 組合測試系統(tǒng)采集車輛的速度和位置信息；數(shù)據(jù)采集器采集車輛報警信號；眼動儀采集駕駛員面部特征信息。

Smarteye 眼動儀在前擋風(fēng)玻璃下的中控平臺上安裝3 個攝像頭，追蹤駕駛員在自然駕駛狀況下的左后視鏡到右后視鏡的視角范圍內(nèi)眼動數(shù)據(jù)（具體安裝位置根據(jù)車型調(diào)整）。安裝位置保證駕駛員面部位于攝像頭平面的視野范圍內(nèi)，眼動儀記錄的注視點和真實注視點相符，攝像機校準(zhǔn)后不能挪動位置。

圖3顯示，試驗設(shè)備系統(tǒng)由1 個智能攝像頭從后排面向前方拍攝，可以記錄試驗過程中的道路場景；前方三個攝像頭拍攝駕駛員面部信息。

圖3 基于視覺疲勞檢測設(shè)備系統(tǒng)

各路攝像頭采集到的駕駛員面部特征信息及車輛的速度、相對位置等也可通過設(shè)備界面實時監(jiān)控，如圖4 所示。

圖4 采集數(shù)據(jù)的回放界面

同時，駕駛員佩戴生理數(shù)據(jù)監(jiān)測設(shè)備需在駕駛員的腦部、頸部和手部貼傳感器獲取駕駛員的腦電、皮電和心電數(shù)據(jù)，結(jié)合測試過程中的眼動數(shù)據(jù)以及觀察面部表現(xiàn)，進(jìn)而計算獲取駕駛員心率[4]，對比駕駛員清醒和疲勞時的數(shù)據(jù)，作為駕駛員困倦的評判參考。

2.2 試驗道路

試驗線路為封閉道路試驗場，位于山東濟南市，原為高速公路的一段，規(guī)劃設(shè)計符合高速公路市政道路設(shè)計。試驗路線雙向總長約52 km，主體雙向四車道，有中央分隔帶，兩側(cè)有應(yīng)急車道，包含隧道、橋梁等場景，縱坡、彎道、長直線等場景豐富，如圖5 所示。

圖5 高速智能網(wǎng)聯(lián)測試基地

由于是在真實道路環(huán)境下的實車試驗，試驗過程有一定的危險。需要對試驗車輛安裝副駕剎車踏板等安全備份系統(tǒng)，并在副駕駛位配備安全員，若主駕駛位的駕駛員困倦難以控制車輛時，副駕安全員及時操作安全備份系統(tǒng)并接管車輛。

2.3 測試過程

駕駛員位于駕駛位置，調(diào)整座椅及坐姿；安全員位于副駕，副駕安裝制動踏板，要求安全員發(fā)現(xiàn)碰撞風(fēng)險時及時接管車輛；試驗員調(diào)試測試設(shè)備，記錄時間和天氣等。

車輛速度控制在70~130 km/h 范圍內(nèi)。駕駛員在駕駛過程中保持安靜，聽從試驗員安排，保證車輛及隨行人員安全，必要時配合副駕駛位安全員的操作，當(dāng)試驗員問詢時回復(fù)相應(yīng)狀態(tài)。

試驗開始時，試驗員會問詢一次駕駛員KSS 評級，若此時評級小于6 級，則要求駕駛員KSS 等級到達(dá)6 級時主動報備。當(dāng)駕駛員KSS 等級到達(dá)6 級后，試驗員每隔5 min 問詢一次駕駛員的KSS 評級[5]，并通過前方攝像機記錄面部特征。儀表處安裝數(shù)據(jù)采集器，采集報警圖標(biāo)及聲音。

當(dāng)駕駛員發(fā)生TP（真陽性，即駕駛員真實困倦且系統(tǒng)發(fā)出警告）事件，視為有效，終止試驗，下一名駕駛員進(jìn)行測試；若發(fā)生FN（假陰性，即駕駛員真實困倦但系統(tǒng)不發(fā)出警告）事件，最多重復(fù)2 次，視為有效，終止試驗，測試下一名駕駛員；當(dāng)駕駛員評級錯亂，剔除該次數(shù)據(jù)。

3 試驗結(jié)果分析

3.1 駕駛員敏感度及置信區(qū)間計算

使用全部測試后得到的有效數(shù)據(jù)，計算所有參與者的平均敏感度、敏感度標(biāo)準(zhǔn)差及90%置信區(qū)間的下限。

參與者的敏感度，如式（2）所示：

所有參與者的平均敏感度，如式（3）所示：

標(biāo)準(zhǔn)差（敏感度）如式4 所示：

式中，n(TP)——系統(tǒng)和駕駛員都正確地識別為困倦（真陽性）的事件總數(shù)；n(FN)——系統(tǒng)預(yù)報駕駛員不困倦，駕駛員困倦（假陰性）的事件總數(shù)。

3.2 試驗數(shù)據(jù)分析

參與測試的11 名駕駛員數(shù)據(jù)有效，相應(yīng)的個人敏感度、平均敏感度及敏感度結(jié)果90%置信區(qū)間的下限見表3。

表3 駕駛參與者敏感度計算

對于封閉試驗場，如平均敏感度＞45%，敏感度結(jié)果90%置信區(qū)間的下限＞22.5%時，則視為有效。表3計算結(jié)果顯示，該次試驗結(jié)果可信，被測試駕駛員可以良好地評價自身疲勞等級，且駕駛員監(jiān)控系統(tǒng)樣品通過測試，該試驗方法可行。

4 結(jié)語

該研究提出了基于主觀評價的駕駛員疲勞狀態(tài)監(jiān)控系統(tǒng)測試方法，細(xì)化考慮個人特征的駕駛員選擇方案，保證駕駛員樣本具有多樣性，充分測試了駕駛員監(jiān)控系統(tǒng)面對不同駕駛員時的魯棒性和穩(wěn)定性。

對駕駛員實施的KSS 培訓(xùn)及測試可以充分訓(xùn)練駕駛員的主觀疲勞評價能力，使其對自我疲勞程度有清晰的認(rèn)知。

實車試驗在考慮安全備份的基礎(chǔ)上獲取更真實的疲勞駕駛數(shù)據(jù)，充分測試駕駛員監(jiān)控系統(tǒng)的產(chǎn)品性能，有利于保障道路行車安全。