基于深度學(xué)習(xí)的多維疲勞駕駛檢測(cè)系統(tǒng)

王旭彬 韓毅 郭曉波

摘 要：針對(duì)機(jī)動(dòng)車(chē)駕駛員疲勞駕駛的檢測(cè)問(wèn)題，本文設(shè)計(jì)了一種基于深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)的多特征融合疲勞駕駛檢測(cè)系統(tǒng)。該系統(tǒng)基于Jetson Nano便攜式開(kāi)發(fā)板，使用目標(biāo)檢測(cè)框架YOLOV3對(duì)駕駛員進(jìn)行面部定位，而后進(jìn)行人臉多特征點(diǎn)提取、多維度特征融合分析，評(píng)估駕駛員狀態(tài)。該系統(tǒng)創(chuàng)新性地引入時(shí)間特征維度，對(duì)面部特征以時(shí)間維度進(jìn)行“預(yù)分析”和“趨勢(shì)化”的分析方法，極大地縮減了駕駛員個(gè)體差異對(duì)判別帶來(lái)的影響，達(dá)到了疲勞駕駛檢測(cè)的高置信、高精度。

關(guān)鍵詞：疲勞駕駛;深度學(xué)習(xí);人臉特征點(diǎn)檢測(cè)

中圖分類(lèi)號(hào)：TP391.41;U463.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2020）34-0017-04

Multidimensional Fatigue Driving Detection System Based on Deep Learning

WANG Xubin HAN Yi GUO Xiaobo

（Anyang Institute of Technology，Anyang Henan 455000）

Abstract： For fatigue driving detection， a multi-feature fusion fatigue driving detection method based on deep learning was proposed. The algorithm is based on the Jetson Nano portable development board， uses the target detection framework YOLOV3 to locate the driver， and then performs face landmarks extraction and multi-dimensional analysis to evaluate the driver's status. Innovatively proposes "pre-analysis" and "trend-analysis" methods， which greatly reduces the impact of individual driver differences on discrimination， and improves the confidence and precision of fatigue driving detection.

Keywords： fatigue driving;deep learning;face landmarks detection

疲勞駕駛是造成交通事故的重要原因之一。根據(jù)中國(guó)公安部交通管理局公布的數(shù)據(jù)顯示，2015年，我國(guó)由疲勞駕駛引起的交通事故占當(dāng)年交通事故總數(shù)的8.41%，死亡人數(shù)占當(dāng)年交通事故死亡人數(shù)的6.21%。頻繁發(fā)生的交通事故，嚴(yán)重危及人們的財(cái)產(chǎn)安全和生命安全。而對(duì)于駕駛員疲勞駕駛檢測(cè)，對(duì)相關(guān)檢測(cè)設(shè)備的準(zhǔn)確性、實(shí)時(shí)性要求高，難以通過(guò)傳統(tǒng)的電子警察、遠(yuǎn)程視頻人工監(jiān)控等手段檢測(cè)預(yù)警。當(dāng)前，缺乏一種硬性檢測(cè)手段來(lái)檢測(cè)駕駛員狀態(tài)以提醒其要停止駕駛。

準(zhǔn)確地檢測(cè)出駕駛員的疲勞狀態(tài)對(duì)提高交通安全具有重要的意義。近年來(lái)，相關(guān)研究逐漸增多。徐慧等針對(duì)疲勞駕駛的監(jiān)測(cè)問(wèn)題提出了一種基于人臉檢測(cè)和人臉多特征點(diǎn)提取的疲勞程度評(píng)估算法。該算法對(duì)人臉眨眼、打哈欠、瞌睡點(diǎn)頭等疲勞行為進(jìn)行識(shí)別，并根據(jù)疲勞行為發(fā)生的頻率進(jìn)行綜合疲勞評(píng)估，從而在移動(dòng)終端實(shí)現(xiàn)對(duì)疲勞駕駛行為的實(shí)時(shí)監(jiān)測(cè)和語(yǔ)音提醒[1]。張明明提出利用方向盤(pán)握力信號(hào)來(lái)檢測(cè)疲勞駕駛，通過(guò)同步檢測(cè)腦電信號(hào)和握力信號(hào)，利用BP神經(jīng)網(wǎng)絡(luò)方法建立基于握力信號(hào)的疲勞特征參數(shù)與基于腦電信號(hào)的疲勞程度值之間的聯(lián)系[2]。閆保中等通過(guò)眼部寬高比檢測(cè)人眼閉合程度，并提出將人眼視線方向應(yīng)用于疲勞駕駛檢測(cè)算法中，判斷注意力是否分散，以便在駕駛員陷入深度疲勞之前對(duì)其進(jìn)行預(yù)警[3]。

這些方案對(duì)個(gè)體差異未提出較好的解決方案，且其檢測(cè)并未對(duì)駕駛員的駕駛過(guò)程進(jìn)行分析。雖然在限定條件下能達(dá)到一定的精度，但在實(shí)際復(fù)雜多變的行車(chē)環(huán)境下，其準(zhǔn)確性和可靠性還存在問(wèn)題，難以達(dá)到預(yù)期要求。針對(duì)這一問(wèn)題，多特征信息融合方法將成為未來(lái)發(fā)展的方向。

目前，疲勞駕駛檢測(cè)系統(tǒng)遇到發(fā)展瓶頸：一是難以實(shí)現(xiàn)車(chē)載實(shí)時(shí)的檢測(cè)儀器及檢測(cè)設(shè)備的輕量化;二是檢測(cè)指標(biāo)不夠客觀，即特征單一，且個(gè)體差異明顯。本文設(shè)計(jì)的系統(tǒng)基于Jetson Nano便攜式開(kāi)發(fā)板，根據(jù)多維指標(biāo)特征，采用“預(yù)分析”方法針對(duì)不同駕駛員設(shè)置合適的評(píng)估指標(biāo)，進(jìn)而采用“趨勢(shì)化”對(duì)駕駛員的駕駛過(guò)程進(jìn)行分析。通過(guò)不同維度的分析對(duì)駕駛員狀態(tài)進(jìn)行評(píng)估，并保留分析過(guò)程以便取證，將疲勞駕駛檢測(cè)推向新的高度。

1 系統(tǒng)設(shè)計(jì)

機(jī)動(dòng)車(chē)駕駛員疲勞駕駛的檢測(cè)系統(tǒng)的主要目標(biāo)是快速準(zhǔn)確地識(shí)別疲勞狀態(tài)。系統(tǒng)采用模塊化設(shè)計(jì)，以增強(qiáng)其可擴(kuò)展性，通過(guò)改進(jìn)算法降低駕駛員個(gè)體面部差異對(duì)系統(tǒng)檢測(cè)結(jié)果的影響。

檢測(cè)系統(tǒng)的主要任務(wù)有三部分：一是通過(guò)攝像頭獲取駕駛員面部圖像，要準(zhǔn)確定位駕駛員面部，同時(shí)通過(guò)濾波減少車(chē)輛行駛中的震動(dòng)、攝像頭抖動(dòng)等圖像噪聲對(duì)系統(tǒng)的影響;二是駕駛員面部特征點(diǎn)的提取，系統(tǒng)得到裁剪后的駕駛員面部圖像，可實(shí)時(shí)提取面部多特征點(diǎn)，并存儲(chǔ)特征信息;三是對(duì)駕駛員駕駛狀態(tài)的分析評(píng)估，要針對(duì)駕駛員面部差異進(jìn)行自適應(yīng)化處理，動(dòng)態(tài)調(diào)整評(píng)估閾值，通過(guò)得到的特征點(diǎn)進(jìn)行多維信息融合分析，并給出有效可靠的評(píng)估結(jié)果。

2 系統(tǒng)結(jié)構(gòu)

本文設(shè)計(jì)的系統(tǒng)主要可分為三個(gè)模塊，即面部定位器、面部特征提取器及分析評(píng)估系統(tǒng)（如圖1所示）。系統(tǒng)通過(guò)攝像頭實(shí)時(shí)采集視頻數(shù)據(jù)，通過(guò)面部定位器裁剪駕駛員面部圖像，以作為面部特征提取器的輸入，最后分析評(píng)估系統(tǒng)將對(duì)特征點(diǎn)進(jìn)行分析處理，得出駕駛員狀態(tài)，實(shí)現(xiàn)疲勞駕駛檢測(cè)。

2.1 面部定位器

本系統(tǒng)基于目標(biāo)檢測(cè)框架YOLOv3，如圖2所示，以自采集車(chē)輛內(nèi)場(chǎng)景的駕駛員面部數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。YOLOv3并未采用池化的方法來(lái)縮小特征圖的尺寸，而是通過(guò)調(diào)整卷積核的步長(zhǎng)來(lái)達(dá)到縮小尺寸的效果，其中多層特征圖對(duì)于多尺度物體及小物體檢測(cè)是有利的。本文根據(jù)實(shí)際情況對(duì)YOLOv3進(jìn)行調(diào)優(yōu)，調(diào)整激活函數(shù)與預(yù)選框數(shù)量，得到適用于駕駛員跟蹤定位的神經(jīng)網(wǎng)絡(luò)模型，達(dá)到實(shí)時(shí)性與高準(zhǔn)確率。

檢測(cè)應(yīng)用結(jié)果如圖3所示。相比于傳統(tǒng)人臉檢測(cè)算法，經(jīng)過(guò)不同場(chǎng)景下測(cè)試，YOLOv3的魯棒性強(qiáng)，受外界因素如光照的影響較小，且可以實(shí)時(shí)進(jìn)行檢測(cè)，為后續(xù)操作提供便利。

2.2 面部特征提取器

本系統(tǒng)采用級(jí)聯(lián)回歸（Ensemble of Regression Trees，ERT），即基于梯度提高學(xué)習(xí)的回歸樹(shù)方法進(jìn)行面部特征點(diǎn)檢測(cè)[4-5]。將面部定位器裁剪的面部圖像使用Dlib庫(kù)中的人臉68特征點(diǎn)檢測(cè)，如圖4所示。

算法應(yīng)用結(jié)果如圖5所示，其檢測(cè)效果表現(xiàn)良好。

2.3 分析評(píng)估系統(tǒng)

2.3.1 疲勞駕駛“預(yù)分析”機(jī)制。為了降低駕駛員個(gè)體差異對(duì)系統(tǒng)檢測(cè)結(jié)果帶來(lái)的影響，提高檢測(cè)系統(tǒng)的穩(wěn)定性，提出“預(yù)分析”方法，引入時(shí)間維度，在開(kāi)始的一段時(shí)間內(nèi)對(duì)駕駛員的面部特征點(diǎn)進(jìn)行記錄分析，避免了單幀采集、分析、檢測(cè)圖像數(shù)據(jù)的不準(zhǔn)確性。

算法主要分析目標(biāo)為眼睛閉合時(shí)間占某一特定時(shí)間的百分率（PERLOCS）、眼部縱橫比（Eye Average Ratio，EAR）與嘴巴張開(kāi)程度（Mouth Average Ratio，MAR）。其中，眼部縱橫比主要用來(lái)描述眼睛睜開(kāi)程度。算法分別分析記錄該駕駛員的PERLOCS、EAR與MAR，將關(guān)鍵閾值PERLOCS_THRE設(shè)定為PERLOCS的120%～150%（疲勞時(shí)眼睛閉合時(shí)間會(huì)相應(yīng)變長(zhǎng)），記錄EAR與MAR變化曲線，設(shè)置判定駕駛員閉眼和打哈欠的關(guān)鍵閾值EAR_THRE和MAR_THRE，以判定閉眼和打哈欠。

不同駕駛員的眼部、嘴部大小不同，眨眼時(shí)間不同，這些差異往往會(huì)對(duì)算法判定帶來(lái)干擾。通過(guò)“預(yù)分析”動(dòng)態(tài)設(shè)定閾值取代固定閾值，可有效減少個(gè)體化差異對(duì)算法帶來(lái)的影響，可有效避免如在駕駛員受陽(yáng)光刺激瞇眼時(shí)判定閉眼、說(shuō)話唱歌時(shí)判定打哈欠等誤判行為。

2.3.2 疲勞駕駛識(shí)別。在疲勞時(shí)，最直觀的體現(xiàn)在于面部特征，如不自主地打哈欠、閉眼，同時(shí)伴有點(diǎn)頭、前傾頭部等動(dòng)作。

本文提出的算法以PERLOCS、EAR、MAR三個(gè)方面為主要目標(biāo)，以頭部姿態(tài)估計(jì)為輔，并結(jié)合“趨勢(shì)化”分析進(jìn)行疲勞駕駛狀態(tài)的綜合判別。

經(jīng)過(guò)“預(yù)分析”過(guò)程后，算法將記錄PERLOCS_THRE、EAR_THRE以及MAR_THRE三個(gè)閾值。在檢測(cè)過(guò)程中，算法將實(shí)時(shí)采集PERLOCS、EAR以及MAR與閾值進(jìn)行比較，同時(shí)進(jìn)行頭部姿態(tài)估計(jì)并記錄。若PERLOCS超過(guò)閾值200%以上或EAR低于閾值超過(guò)0.5 s，算法將判別駕駛員為疲勞狀態(tài);同時(shí)，算法會(huì)實(shí)時(shí)對(duì)駕駛員前15 s內(nèi)PERLOCS、EAR、MAR以及頭部姿態(tài)調(diào)出進(jìn)行分析，即PERLOCS是否有升高的趨勢(shì)，EAR是否有下降趨勢(shì)（隨機(jī)在區(qū)間內(nèi)取值分多次比較），頭部姿態(tài)是否有多次標(biāo)記為點(diǎn)頭或前傾，是否有MAR超過(guò)閾值（打哈欠）的記錄，綜合四個(gè)方面進(jìn)行趨勢(shì)化的分析，判定駕駛員是否疲勞。

3 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)基于便攜式開(kāi)發(fā)板Jetson Nano進(jìn)行實(shí)現(xiàn)，如圖6所示。該平臺(tái)擁有四核ARM Cortex-A57 MPCore處理器，GPU采用NVDIA Maxwell架構(gòu)，配有128個(gè)NVDIA CUDA核心，且整個(gè)模組僅有70 mm×45 mm。Jetson Nano提供472GFLOP，可用于快速運(yùn)行現(xiàn)代AI算法，并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)，同時(shí)可處理多個(gè)高分辨率傳感器，具有體積小、部署便捷、超低功耗以及性能強(qiáng)大的優(yōu)點(diǎn)，這使其成為計(jì)算密集型項(xiàng)目的理想的嵌入式平臺(tái)。

Jetson Nano配備了圖形加速的Ubuntu18.04操作系統(tǒng)，全新發(fā)布的JetPack 4.2 SDK為其提供了完整的桌面Linux環(huán)境支持，NVIDIA CUDA 工具包10.0，以及cuDNN 7.3和TensorRT等庫(kù)。該SDK還包括本機(jī)安裝的常用開(kāi)源機(jī)器學(xué)習(xí)框架，如TensorFlow、PyTorch、Caffe、Keras和MXNet，以及計(jì)算機(jī)視覺(jué)和機(jī)器人開(kāi)發(fā)的框架，如OpenCV和ROS。

將系統(tǒng)調(diào)整交換空間、分配GPU加速后移植至Jetson Nano平臺(tái)。Jetson Nano收到輸入視頻數(shù)據(jù)后，將首先采用面部定位器進(jìn)行駕駛員面部定位，再調(diào)用面部特征提取器進(jìn)行面部特征點(diǎn)提取，最后進(jìn)行特征點(diǎn)分析，給出評(píng)估結(jié)果。

4 系統(tǒng)試驗(yàn)驗(yàn)證

本文采用兩種方式進(jìn)行系統(tǒng)的可靠性及有效性驗(yàn)證：一是將搭載檢測(cè)系統(tǒng)的Jetson Nano部署至車(chē)輛內(nèi)，以實(shí)時(shí)檢測(cè)駕駛員的行為，如圖7所示;二是將在車(chē)輛停止時(shí)駕駛員模擬駕駛的視頻數(shù)據(jù)作為輸入數(shù)據(jù)，檢測(cè)分析駕駛員的疲勞狀態(tài)。對(duì)兩位駕駛員的駕駛情況進(jìn)行實(shí)時(shí)檢測(cè)（見(jiàn)圖8），結(jié)果如表1所示;對(duì)3段行車(chē)視頻進(jìn)行檢測(cè)，對(duì)比本系統(tǒng)與傳統(tǒng)計(jì)算機(jī)視覺(jué)方案的優(yōu)劣，結(jié)果如表2所示。

對(duì)于兩種形式的檢測(cè)，得益于深度學(xué)習(xí)的強(qiáng)抗干擾性、外界光照變化以及車(chē)輛抖動(dòng)的干擾因素并未影響系統(tǒng)的檢測(cè)。其中“預(yù)分析”以及“趨勢(shì)化”也有效避免了系統(tǒng)對(duì)駕駛員說(shuō)話、唱歌、受到光照刺激瞇眼睛以及揉眼睛等正常行為的誤判，達(dá)到了有效、可靠及高準(zhǔn)確率的檢測(cè)。

5 結(jié)語(yǔ)

本文采用深度學(xué)習(xí)YOLOv3目標(biāo)檢測(cè)框架與人臉特征點(diǎn)檢測(cè)方法、英偉達(dá)Jetson Nano開(kāi)發(fā)板為開(kāi)發(fā)平臺(tái)，結(jié)合“預(yù)分析”與“趨勢(shì)化”思路，通過(guò)多特征融合算法對(duì)疲勞駕駛進(jìn)行識(shí)別，能夠快速、精準(zhǔn)地檢測(cè)出駕駛員是否疲勞。識(shí)別算法基于深度學(xué)習(xí)對(duì)駕駛員面部進(jìn)行檢測(cè)，相比傳統(tǒng)算法效果更佳;使用級(jí)聯(lián)回歸進(jìn)行人臉特征點(diǎn)高精度檢測(cè);通過(guò)多特征融合進(jìn)行檢測(cè)，與單一特征相比具有更高的可信度與準(zhǔn)確率;“預(yù)分析”極大地縮小了個(gè)體差異帶來(lái)的影響，魯棒性好;“趨勢(shì)化”進(jìn)一步提高了疲勞駕駛過(guò)程化的準(zhǔn)確率。在實(shí)際測(cè)試中，該算法表現(xiàn)良好，判定準(zhǔn)確，為疲勞駕駛檢測(cè)提供了新的思路。但是，本文提出的算法并未對(duì)駕駛習(xí)慣進(jìn)行深入探究，今后需要進(jìn)一步探索與研究。

參考文獻(xiàn)：

[1]徐慧，朱振洋，肖穎健，等.基于人臉多特征點(diǎn)的疲勞駕駛檢測(cè)與應(yīng)用[C]//中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2019年第二十三屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集.2019.

[2]張明明.基于方向盤(pán)握力的疲勞駕駛檢測(cè)研究[D].鎮(zhèn)江：江蘇大學(xué)，2016：5.

[3]閆保中，王晨宇，王帥帥.基于人眼特征的疲勞駕駛檢測(cè)技術(shù)研究[J].應(yīng)用科技，2020（1）：47-54.

[4]許愛(ài)東，黃文琦，明哲，等.基于級(jí)聯(lián)網(wǎng)絡(luò)和殘差特征的人臉特征點(diǎn)定位[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2019（12）：2365-2371.

[5]張旭欣，王雪松.疲勞駕駛研究與預(yù)防最新進(jìn)展[J].汽車(chē)與安全，2019（4）：82-87.