基于機器視覺的疲勞駕駛檢測系統(tǒng)

謝豆 陳曉鳳 鄭嘉怡 劉文軍

摘 要：汽車保有量的持續(xù)增加為人們出行帶來了極大便利，同時因疲勞駕駛等不當行為引發(fā)的交通事故亦頻繁發(fā)生，嚴重威脅著廣大群眾的生命財產(chǎn)安全?？紤]到傳統(tǒng)的視頻監(jiān)控無法對此進行實時監(jiān)測與預警，針對這一情況，利用機器視覺和邊緣計算模型來實現(xiàn)對駕駛員駕駛行為的監(jiān)測和預警。文中給出了完整的系統(tǒng)架構設計和實現(xiàn)方案，可顯著降低交通事故發(fā)生的概率，具有很好的應用價值。

關鍵詞：機器視覺;邊緣計算;實時監(jiān)測;駕駛行為分析;疲勞駕駛檢測;實時顯示

中圖分類號：TP399文獻標識碼：A文章編號：2095-1302（2020）11-00-03

0 引 言

由《2019—2025年中國交通事故現(xiàn)場勘查救援設備行業(yè)市場專項調研及投資戰(zhàn)略研究報告》可知：每年發(fā)生的交通事故平均高達19萬起，其中每年因交通事故而死亡的人數(shù)達到6萬之多。事故的發(fā)生多因駕駛員疲勞駕駛等行為造成。據(jù)統(tǒng)計，截至2017年，我國六大省市民用汽車保有量超過1 000萬輛，機動車駕駛人數(shù)量達3.85億人，汽車駕駛人數(shù)超3.42億人。汽車產(chǎn)業(yè)的發(fā)展不僅有助于經(jīng)濟增長，更為人們的出行帶來了極大便利，但頻發(fā)的交通事故也為我國交通治理帶來巨大挑戰(zhàn)。

行車記錄儀和道路攝像頭等傳統(tǒng)的監(jiān)測方式普遍存在智能效果不足等弊端，容易造成存儲和計算資源的巨大浪費。通過機器視覺等新技術對駕駛員的疲勞駕駛等典型不當行為進行判定，從而規(guī)范駕駛員的駕駛行為，大大降低交通事故的發(fā)生概率?；跈C器視覺的駕駛行為分析受到了相關行業(yè)企業(yè)的關注[1-5]，其中文獻[2]給出了該領域的最新研究進展，文獻[3]和文獻[4]基于人臉識別和特征點給出了駕駛行為檢測解決方案。文獻[5]則采用人眼狀態(tài)信息的非接觸式方法給出疲勞駕駛識別方案。在產(chǎn)業(yè)界方面，諾思達公司提出使用機器視覺分析駕駛行為，其分析深入，模式多樣，但功能不夠豐富，設備費用成本較高，且易受駕駛環(huán)境的影響。此外，文獻[6]基于邊緣計算模式給出了視覺推理方面的相關探索。

本文根據(jù)實際需要，使用車載終端獲取車內(nèi)攝像頭的視頻數(shù)據(jù)，運用機器視覺技術對駕駛行為進行監(jiān)測和預警，采用邊緣計算模型對獲取的數(shù)據(jù)進行有效分析和利用。該模型將數(shù)據(jù)傳入就近設備進行分析，提醒駕駛員并反饋，以有效解決傳統(tǒng)方案中存在的高延遲、傳輸代價高、寬帶需求高等問題。此舉不僅減少了駕駛員因駕駛行為不當而引發(fā)的交通事故，更降低了交通管理難度，提高了運行效率。

1 總體方案

1.1 系統(tǒng)架構

基于機器視覺的駕駛行為監(jiān)測服務平臺分為邊緣端、云端兩大部分。駕駛行為分析平臺結構如圖1所示。

1.1.1 邊緣端

邊緣端硬件平臺包含攝像頭、數(shù)據(jù)處理終端、GPS單元、通信模塊以及邊緣計算服務器等。為傳統(tǒng)車輛環(huán)境下的攝像頭增加處理單元并與邊緣計算服務器交互，可解決車輛內(nèi)部多路攝像頭視頻流采集、編碼及協(xié)同工作等問題。該層負責駕駛行為視頻數(shù)據(jù)的采集、存儲，并提供硬件設備支撐。視頻設備開啟后，對司機的駕駛行為數(shù)據(jù)進行采集和預處理，并基于算法或預訓練模型進行邊緣端推理，必要時與邊緣服務器進行計算交互。

1.1.2 云平臺

邊緣端進行本地駕駛行為數(shù)據(jù)分析后，需要把分析結果、宏觀信息以及實時性要求低的其他分析任務上傳云端，借助處理性能更強的云服務器完成進一步分析。云平臺通過對計算、存儲和網(wǎng)絡資源進行池化整合，為應用服務提供支撐?；趯嶋H需要將計算結果推送至Web端展示，管理人員可以通過數(shù)據(jù)大屏、手機APP等方式查看，為運營管理、決策提供數(shù)據(jù)支持。同時，也可以通過語音等方式對駕駛員本人的不當駕駛行為進行實時預警。

1.2 系統(tǒng)功能模塊

本平臺以疲勞駕駛實時檢測為主要目標，具有駕駛行為數(shù)據(jù)采集、存儲、分析以及展示等功能，具體如圖2所示。

1.2.1 駕駛行為識別

基于視頻數(shù)據(jù)完成疲勞駕駛行為識別是本平臺的核心，實現(xiàn)思路如下：

（1）使用典型的視覺庫準確識別出人臉，并精確定位需要判斷的區(qū)域;

（2）借助視覺處理庫對圖片進行裁剪、縮放、灰度化、歸一化等預處理，提高識別準確率;

（3）抽象計算公式，通過算法完成特定行為的識別，如對眨眼、打哈欠等行為的識別。

1.2.2 違規(guī)警報

系統(tǒng)完成不當駕駛行為識別后，需要及時發(fā)出預警。基于邊緣分析設備的支持，系統(tǒng)對獲取的本地視頻進行分析。使用已經(jīng)訓練好的識別模型對司機的駕駛行為進行實時分析，當發(fā)現(xiàn)違規(guī)駕駛行為時，語言模塊會向司機發(fā)出語音警報，并將違規(guī)數(shù)據(jù)上傳至云平臺備份。系統(tǒng)的語音合成是基于HTTP請求的REST API接口，使用Python將設定好的文本轉換為特定格式的音頻文件，將合成的語音內(nèi)容嵌入邊緣設備腳本中用于及時對司機的違規(guī)駕駛行為進行報警。語音提示的音色與音量可由用戶通過硬件設備調節(jié)。

1.2.3 實時監(jiān)控

除了本地的行為識別和實時預警功能，系統(tǒng)可以通過后臺程序獲取車內(nèi)視頻流的地址，將處理后的視頻推送到前臺調用，并在Web端顯示。監(jiān)管人員無須安裝應用程序即可通過瀏覽器頁面查看車載終端實時上報的指標數(shù)據(jù)，特別是運營車隊，監(jiān)管部門能夠實時了解駕駛員的駕駛情況。系統(tǒng)不僅支持實時車內(nèi)視頻顯示，還可對司機的歷史違規(guī)情況進行查閱，實現(xiàn)了安全駕駛的準確監(jiān)控。

2 系統(tǒng)設計

2.1 疲勞駕駛檢測

疲勞駕駛預測流程如圖3所示。系統(tǒng)讀取視頻后，從視頻中跳幀讀取圖片，檢測到人臉后提取眼睛和嘴巴區(qū)域，并對該區(qū)域進行判斷，之后根據(jù)判斷情況給出相應的提示。參照文獻[1]，本系統(tǒng)根據(jù)眼睛縱橫比（Eye Aspect Ratio，EAR）以及嘴巴縱橫比（Mouth Aspect Radio，MAR）來判斷駕駛員是否存在疲勞駕駛行為。為提高檢測效率，系統(tǒng)對讀取的視頻采用跳幀方式提取圖片，并用Dlib模型提取人臉坐標的68個坐標點。從坐標軸中提取眼睛和嘴巴區(qū)域進行開合度計算。

公式（1）給出了EAR的計算方法，其中（P1， P2， ...， P6）為采用Dlib模型提取的人臉坐標點中眼睛的坐標。文獻[1]經(jīng)實驗得出，當產(chǎn)生困意時，眼睛開合度減小，當眼睛開合度小于設定的閾值（經(jīng)試驗，本系統(tǒng)的最佳閾值為0.275）且小于閾值的次數(shù)大于8（經(jīng)試驗，本系統(tǒng)的最佳閾值為8）時則認為駕駛員疲勞駕駛，系統(tǒng)將進行提示報警。同理，公式（2）中嘴巴縱橫比表示嘴巴的開合度，其計算方法也運用了同樣的原理。通過提取相應坐標點并計算嘴巴開合度，將它與設定的閾值（經(jīng)試驗，本系統(tǒng)的最佳閾值為0.65）進行對比，如果大于閾值，且哈欠的次數(shù)大于設定值，打哈欠的時間小于等于限值（600 ms），則表示駕駛員存在睡意。

2.2 邊云協(xié)同

車載端通過網(wǎng)絡與車內(nèi)外環(huán)境連接。車載端主要負責采集駕駛行為視頻數(shù)據(jù)，并進行預處理和本地推理，基于識別算法進行違規(guī)駕駛行為識別和報警。由于設備端計算資源不足，難以保證復雜識別任務的執(zhí)行和分析效率，因此選擇在公交站點等局部區(qū)域設置邊緣服務器，完成更為復雜任務的分析。設備端與邊緣服務器通過局域網(wǎng)絡連接，該模式有助于解決遠距離通信帶寬限制和隱私數(shù)據(jù)的保護等問題。邊云協(xié)同計算架構如圖4所示。

云端主要負責視頻數(shù)據(jù)的宏觀分析、離線分析、復雜計算以及查詢顯示等任務。云端支持海量設備的實時顯示以及對歷史數(shù)據(jù)進行備份等。邊云協(xié)同的做法發(fā)揮了邊緣側和云端各自的優(yōu)勢，不僅節(jié)約了傳輸成本，更大大提高了檢測效率，減少了數(shù)據(jù)與資源的浪費。

3 系統(tǒng)實現(xiàn)

圖5右側區(qū)域展示的為駕駛員違規(guī)駕駛行為的歷史記錄。

駕駛行為識別模塊采用Python作為開發(fā)語言，運用機器視覺對獲取的視頻數(shù)據(jù)進行處理和分析，以此來判斷駕駛員駕駛行為是否規(guī)范，并給出相應預警。云平臺端使用Java語言進行開發(fā)，通過消息組件實現(xiàn)可靠和并發(fā)的數(shù)據(jù)接收。Web端采用Spring MVC框架實現(xiàn)業(yè)務分離，提供簡單明了的顯示界面。圖5所示為駕駛行為分析系統(tǒng)可視化展示界面。圖5左側區(qū)域顯示接入車輛的車牌號;中間區(qū)域為各車輛所對應的攝像頭實時監(jiān)測畫面，如攝像機01檢測到駕駛員處于正常行駛狀態(tài)，攝像機02檢測出駕駛員疲勞駕駛，攝像機03對駕駛員是否抽煙進行判斷，攝像機04對畫面內(nèi)的人臉進行檢測。

4 結 語

針對疲勞駕駛識別應用的實際需求，本文給出了一種基于機器視覺和邊云協(xié)同架構的平臺設計與實現(xiàn)。首先，提供了系統(tǒng)的總體架構和主要功能模塊構成;然后，給出了系統(tǒng)設計的細節(jié)部分，其中包括疲勞駕駛行為識別算法、邊云協(xié)同架構等;最后，給出了疲勞檢測與預警系統(tǒng)的實現(xiàn)結果，通過界面演示了識別情況。初步應用表明，該系統(tǒng)適用于多種車輛場景，具有較高的準確率和響應效率，較好地滿足了實際需求。

參考文獻

[1] TEREZA S and CECH J. Real-Time Eye Blink Detection using Facial Landmarks [C]// In 21st Computer Vision Winter Workshop， February，2016.

[2] RAMZAN M，HIKMAT U K， SHAHID A，et al. A Survey on State-of-the-Art drowsiness detection techniques [J]. IEEE Access，2019（7）：61904-61919.

[3] CONSTANTIN L，F(xiàn)OSALAU C，ZET C，et al. Driver Monitoring Using Face Detection and Facial Landmarks [C]// 2018 International Conference and Exposition on Electrical And Power Engineering （EPE），October，2018.

[4]黃家才，曠文騰，毛寬誠.基于人臉關鍵點的疲勞駕駛檢測研究[J].南京工程學院學報（自然科學版），2017，15（4）：8-13.

[5]李建平，牛燕雄，楊露.基于人眼狀態(tài)信息的非接觸式疲勞駕駛監(jiān)測與預警系統(tǒng)[J].激光與光電子學研究進展，2015，52（4）：83-88.

[6] LI E，ZHOU Z，CHEN X. Edge Intelligence：On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy [C]// ACM SIGCOMM Workshop on Mobile Edge Communications，Budapest，Hungary，August 21-23，2018.

[7]朱文杰.基于機器視覺的物體識別與抓取控制系統(tǒng)[J].物聯(lián)網(wǎng)技術，2019，9（3）：37-38.

[8]王坤.基于機器視覺的疲勞駕駛檢測系統(tǒng)研究[D].杭州：杭州電子科技大學，2016.

[9]劉洪榛.基于機器視覺的疲勞駕駛檢測算法研究[D].廣州：華南理工大學，2012.

[10]岳翼.基于圖像識別的模擬駕駛疲勞檢測系統(tǒng)設計及實現(xiàn)[J].電子世界，2016，38（22）：69-70.