基于OV7670的疲勞駕駛預(yù)警系統(tǒng)

陸 曉，馮 桑，咼 騰，黃 超

（廣東工業(yè)大學(xué)，廣東 廣州 510006）

疲勞駕駛是交通事故的一個(gè)主要原因，如果能在疲勞產(chǎn)生的初期給駕駛員進(jìn)行預(yù)警提示，那么就會(huì)大大減少交通事故的發(fā)生。因此，在駕駛中實(shí)時(shí)監(jiān)測(cè)駕駛員的疲勞狀況成為當(dāng)前國(guó)內(nèi)外研究的熱點(diǎn)。目前，疲勞駕駛的檢測(cè)方法主要包括檢測(cè)駕駛員的生理特征，如腦電圖、眼電圖、心電圖等［1］，檢測(cè)駕駛員身體動(dòng)作特征，如眼部的動(dòng)作變化［2－3］、駕駛員頭部動(dòng)作與特征［4－6］、手部特征 （利用轉(zhuǎn)向盤上的傳感器檢測(cè)駕駛員對(duì)轉(zhuǎn)向盤施加的壓力，來判斷是否疲勞駕駛的安全裝置［7］）。其中，檢測(cè)駕駛員眼部特征的方法由于其直接、非接觸性等優(yōu)點(diǎn)，是目前被廣泛采用的方法。

1 基于人眼識(shí)別疲勞判斷理論基礎(chǔ)

1.1 PERCLOS方法介紹

PERCLOS（Percentage of Eyelid Closure Over the Pupil over time）是由卡內(nèi)基梅隆研究所提出的，指的是在一定的時(shí)間內(nèi)眼睛閉合所占的時(shí)間比例。在實(shí)際應(yīng)用過程中，眼睛閉合程度超過某一標(biāo)準(zhǔn)的時(shí)間占某一特定時(shí)間的百分比，表現(xiàn)出與駕駛疲勞程度較好的相關(guān)性。通過攝像頭獲取駕駛員眼睛閉合時(shí)間的數(shù)據(jù)，作為判斷駕駛員疲勞程度的依據(jù)。PERCLOS計(jì)算公式：

式中：P（t）——眼睛的開閉狀況；N——t時(shí)間內(nèi)采集到的有效幀數(shù)；T——疲勞評(píng)價(jià)系數(shù)。

當(dāng)眼睛閉合超過80%時(shí)P（t）=1，反之P（t）=0。如果PERCLOS大于40%，就認(rèn)為駕駛員處于疲勞狀態(tài)［8］。

1.2 人眼識(shí)別流程

準(zhǔn)確地識(shí)別人眼是判斷駕駛員疲勞狀況的關(guān)鍵環(huán)節(jié)。常用的人眼識(shí)別方法有：①模板匹配法：通過在輸入圖像上滑動(dòng)圖像塊，對(duì)實(shí)際的圖像塊和輸入圖像進(jìn)行匹配；②灰度投影法：利用人臉特征的灰度值差別和人臉的幾何分布關(guān)系確定人眼位置。

本文采取模板匹配與灰度投影結(jié)合的方法來進(jìn)行人眼的識(shí)別，先用模板匹配找出眼睛所在的區(qū)域，然后對(duì)人眼區(qū)域進(jìn)行灰度投影，得出人眼的開閉狀況。

2 硬件系統(tǒng)的總體設(shè)計(jì)

系統(tǒng)主要包括OV7670 CMOS攝像頭、FIFO存儲(chǔ)芯片AL422B、AVR單片機(jī)以及處理圖像的車載PC，硬件結(jié)構(gòu)如圖1所示。其中，攝像頭采用OV7670攝像頭，其靈敏度高，可以使用低電壓驅(qū)動(dòng)，具有標(biāo)準(zhǔn)的SCCB接口，支持VGA、YUV422、RGB565等格式輸出。AL422B作為FIFO存儲(chǔ)芯片，存儲(chǔ)采集到的圖像信息。AVR芯片ATMEGA16L設(shè)置攝像頭的工作參數(shù)，從AL422B讀取圖像數(shù)據(jù)并傳送到車載PC進(jìn)行處理。

系統(tǒng)上電后，首先由攝像頭采集圖像信息并將其存儲(chǔ)在Al422B存儲(chǔ)芯片中，然后由ATMEGA16L讀取圖像數(shù)據(jù)并將其傳送到車載PC，車載PC對(duì)圖像進(jìn)行處理，識(shí)別人眼的狀態(tài)，再根據(jù)PERCLOS方法判斷駕駛員的疲勞狀況，從而給出預(yù)警信息。

3 圖像采集

數(shù)字圖像采集中常用的有CMOS（Complementary Metal-Oxide-Semiconductor）與CCD（Charge Coupled Device）攝像頭，與CCD相比，CMOS具有靈敏度高、分辨率高、低功耗以及成本低廉等優(yōu)勢(shì)，所以本文采用CMOS攝像頭OV7670（圖2）。

3.1 OV7670的結(jié)構(gòu)及其工作原理

OV7670攝像頭是整個(gè)系統(tǒng)的最前端，其集成了一個(gè)640×480的感光陣列、幀 （行）控制電路、視頻時(shí)序產(chǎn)生電路、模擬信號(hào)處理電路、A／D轉(zhuǎn)換電路、數(shù)字信號(hào)輸出電路及寄存器SCCB編程接口。感光陣列得到原始的彩色圖像信號(hào)后，模擬處理電路完成諸如顏色分離與均衡、增益控制、gamma校正、白電平調(diào)整等主要的信號(hào)處理工作，最后可根據(jù)需要輸出多種標(biāo)準(zhǔn)的視頻信號(hào)。視頻時(shí)序產(chǎn)生電路用于產(chǎn)生行同步、場(chǎng)同步、混合視頻同步等多種同步信號(hào)和像素時(shí)鐘等多種內(nèi)部時(shí)鐘信號(hào)，外部控制器可通過SCCB總線接口設(shè)置或讀取OV7670的工作狀態(tài)、工作方式以及數(shù)據(jù)的輸出格式等，其SCCB控制時(shí)序如圖3所示。

其中，SCL為由主機(jī)發(fā)出的單向信號(hào)線，輸出時(shí)鐘信號(hào)，總線空閑時(shí)主機(jī)驅(qū)動(dòng)SCL為1，當(dāng)總線掛起時(shí)主機(jī)驅(qū)動(dòng)SCL為0；SDA為雙向數(shù)據(jù)傳輸線，既可以由主機(jī)驅(qū)動(dòng)也可以由從機(jī)驅(qū)動(dòng)。當(dāng)總線空閑時(shí)保持浮動(dòng)，狀態(tài)不固定 （0、1或三態(tài)高阻）。當(dāng)總線掛起時(shí)，驅(qū)動(dòng)SDA為0。為了不讓該總線產(chǎn)生未知的狀態(tài)，主機(jī)和從機(jī)必須保持SDA的電平。

圖4為OV7670、ATMEGA16L與AL422B的接線圖，HREF為行同步信號(hào)，VSYNC為場(chǎng)同步信號(hào)，SCL與SDA分別是SCCB總線的時(shí)鐘線與數(shù)據(jù)線。其中VSYNC為場(chǎng)同步信號(hào)，其下降沿表示一幀圖像的開始，HREF為行同步信號(hào)，高電平時(shí)表示一行的圖像數(shù)據(jù)開始輸出。一幀圖像開始后，僅當(dāng)HREF為高，PCLK上升沿時(shí)，數(shù)據(jù)為有效的像素值。對(duì)圖像數(shù)據(jù)的采集是通過中斷觸發(fā)的，這里用VSYNC、HREF、PCLK的上升沿觸發(fā)3個(gè)中斷。當(dāng)采集到VSYNC中斷時(shí)開始一幀圖像數(shù)據(jù)的采集，HREF中斷到來時(shí)開始采集一行圖像數(shù)據(jù)，一行數(shù)據(jù)采集完成后，等待下次HREF中斷，開始采集下一行數(shù)據(jù)，以此類推。對(duì)HREF中斷采集480次，就得到640×480像素點(diǎn)的一幀圖像的數(shù)據(jù)。

3.2 圖像緩存

由于OV7670產(chǎn)生的數(shù)據(jù)在速率上與接口電路不匹配，因此數(shù)據(jù)緩存必不可少。AL422B是Aver-Logic公司推出的一個(gè)存儲(chǔ)容量為393216字節(jié)×8位的FIFO存儲(chǔ)芯片。由于其所有的尋址、刷新等操作都由集成在芯片內(nèi)部的控制系統(tǒng)完成，因而使用非常簡(jiǎn)單。目前市場(chǎng)上的FIFO存儲(chǔ)體的存儲(chǔ)容量都較小，很難適應(yīng)視頻技術(shù)的高速發(fā)展，而AL422B的存儲(chǔ)空間為3M位，對(duì)于普通的視頻應(yīng)用綽綽有余，并且它加快了存取速度，因此可以在本系統(tǒng)中應(yīng)用。AL422B的內(nèi)部功能如圖5所示。

AL422B的寫時(shí)序如圖6所示。WCK為AL422B的寫入時(shí)鐘，周期最大為1000ns，最小為20ns，其上升沿時(shí)數(shù)據(jù)寫入，隨著該時(shí)鐘輸入，其內(nèi)部寫指針自動(dòng)增加。顯然，AL422B的速度足夠。

AL422B的讀時(shí)序如圖7所示。圖中RCK為AL422B的讀出時(shí)鐘，周期最大為1 000 ns，最小為20 ns。當(dāng)／RE和／OE有效時(shí)，在RCK上升沿?cái)?shù)據(jù)有效，隨著該時(shí)鐘輸入，其內(nèi)部的讀指針自動(dòng)增加。當(dāng)單片機(jī)的主頻為12 MHz，可以用單片機(jī)中的ALE／WR／RD合成RCK信號(hào)。再利用圖像芯片的數(shù)據(jù)輸出特性和單片機(jī)的中斷功能及AL422B的特點(diǎn)加以解決。對(duì)于容量問題，利用AL422B的大存儲(chǔ)容量 （3M位）就可以滿足要求。

3.3 下位機(jī)程序設(shè)計(jì)

下位機(jī)程序基于AVR Studio環(huán)境開發(fā)，運(yùn)行于AVR芯片ATMEGA16L［9］，主要實(shí)現(xiàn)配置OV7670工作參數(shù)，讀取并傳輸圖像數(shù)據(jù)的功能。首先對(duì)AL422B、OV7670進(jìn)行初始化，通過SCCB總線配置OV7670的寄存器，使其輸出RGB565格式圖像數(shù)據(jù)，存儲(chǔ)到緩存芯片AL422B，由ATMEGA16L將圖像數(shù)據(jù)傳送到車載PC，下位機(jī)程序流程如圖8所示。

4 系統(tǒng)調(diào)試與試驗(yàn)

采用幀率CMOS攝像頭OV7670采集駕駛員的臉部圖像，并以6s作為一個(gè)檢測(cè)周期 （時(shí)間取太短，誤警率會(huì)增加；時(shí)間取太長(zhǎng)，則不能及時(shí)報(bào)警），并每隔0.33 s取1幀圖像 （即每秒取3幀圖像）進(jìn)行疲勞檢測(cè)，每個(gè)檢測(cè)周期中包含18幀圖像。由于已經(jīng)實(shí)現(xiàn)了對(duì)駕駛員眼睛狀態(tài)的識(shí)別，則可以通過統(tǒng)計(jì)一個(gè)檢測(cè)周期內(nèi)，駕駛員眼睛閉合狀態(tài)的幀數(shù)和周期內(nèi)總的幀數(shù)，得到駕駛員的疲勞指數(shù)，即：PERCLOS=閉眼幀數(shù)／總幀數(shù)×100%。開眼幀與閉眼幀的二值圖與灰度投影如圖9所示。

根據(jù)前面介紹過的PERCLOS方法，當(dāng)PERCLOS大于指定閾值40%時(shí)，則判定駕駛員處于疲勞駕駛狀態(tài)，并給予駕駛員預(yù)警信息。

5 結(jié)束語(yǔ)

基于以上硬件與軟件的設(shè)計(jì)，實(shí)現(xiàn)了AVR單片機(jī)對(duì)CMOS攝像頭OV7670的配置，用AL422B存儲(chǔ)并轉(zhuǎn)發(fā)圖像數(shù)據(jù)，將圖像數(shù)據(jù)傳送到車載PC，并利用上位機(jī)軟件實(shí)現(xiàn)了圖像數(shù)據(jù)的處理。系統(tǒng)運(yùn)行良好，很好地識(shí)別了人眼的位置及狀態(tài)，并能夠根據(jù)圖像信息判斷駕駛員的疲勞狀態(tài)，給出有效的預(yù)警。

［1］Lin CT，Ko LW，Chung IF，et al.Adaptive EEG-based Alertness Estimation System by Using ICA-based Fuzzy Neural Networks［C］.IEEE Transactions on Circuits and Systems，2006，53（11）：2469-2476.

［2］Wang RB，Guo KY，Shi SM，et al.A monitoring method of driver fatigue behavior based on machine vision［C］. IEEE Symposium on Intelligent Vehicles，2003：110-113.

［3］D'Orazio T，Leo M，Guaragnella C，et al.A visual approach fordriverinattention detection［C］.Pattern Recognition，2007，40（8）：2341-2355.

［4］施樹明，金立生，王榮本，等.基于機(jī)器視覺的駕駛員嘴部狀態(tài)檢測(cè)方法［J］.吉林大學(xué)學(xué)報(bào)，2004，34（2）：232-236.

［5］Kithil PW，Jones RD，Jone M.Development of driver alertnessdetection systemsusingoverhead capacitive sensor array［C］.SAE Technical Paper Series，982292， SAEInternational，1998.

［6］Luis M，Nuevo J，Sotelo MA，et al.Real－time system for monitoring driver vigilance［C］.IEEE Transactions on Intelligent Transportation Systems，2006，7（1）：63－77.

［7］Thum CC，Mustafa MM，Hussain A，et al.Driver fatigue detection using steering grip force［C］.Student Conference on Research and Development SCOReD Proceedings， 2003：45－48.

［8］Brown，I.D.Pros Peets for technological countermeasures against driver fatigue.Accident Analysis and Prevention［J］.1997，29（4）：132－143.

［9］馬潮.AVR單片機(jī)嵌入式系統(tǒng)原理與應(yīng)用實(shí)踐［M］.北京：北京航空航天大學(xué)出版社，2011.