基于動態(tài)匹配模型的駕駛?cè)俗觳啃袨樽R別與分級預(yù)警*

付 銳，程文冬，張名芳，袁 偉，劉卓凡，郭艷君

(1.長安大學(xué)，汽車運(yùn)輸保障技術(shù)交通行業(yè)重點(diǎn)實(shí)驗(yàn)室，西安 710064； 2.長安大學(xué)汽車學(xué)院，西安 710064；3.西安工業(yè)大學(xué)機(jī)電工程學(xué)院，西安 710032)

?

2015188

基于動態(tài)匹配模型的駕駛?cè)俗觳啃袨樽R別與分級預(yù)警*

付 銳1，程文冬2,3，張名芳2，袁 偉2，劉卓凡2，郭艷君2

(1.長安大學(xué)，汽車運(yùn)輸保障技術(shù)交通行業(yè)重點(diǎn)實(shí)驗(yàn)室，西安 710064； 2.長安大學(xué)汽車學(xué)院，西安 710064；3.西安工業(yè)大學(xué)機(jī)電工程學(xué)院，西安 710032)

鑒于嘴部行為能夠反映出駕駛?cè)瞬煌木駹顟B(tài)，本文中提出了一種基于機(jī)器視覺的嘴部行為識別與精神狀態(tài)預(yù)警方法。首先采用改進(jìn)的高斯混合模型進(jìn)行光照自適應(yīng)的唇色分割。然后在嘴唇區(qū)域內(nèi)建立了基于灰度能量角點(diǎn)的嘴唇動態(tài)匹配模型，用于描述嘴部特征并提取動作參數(shù)。最終建立了嘴部行為的判別模式，實(shí)現(xiàn)了駕駛?cè)司駹顟B(tài)的分級預(yù)警。實(shí)驗(yàn)結(jié)果表明，動態(tài)匹配模型具有較高的嘴部特征匹配精度和動作適應(yīng)能力。算法能夠有效檢測“閉嘴”、“說話”和“打哈欠”行為，分心預(yù)警和疲勞預(yù)警的監(jiān)測精度分別為85.8%和92.9%。

嘴部行為；高斯混合模型；能量角點(diǎn)；動態(tài)匹配模型；分級預(yù)警

前言

基于機(jī)器視覺的駕駛?cè)嗣娌啃袨榕c狀態(tài)識別已成為安全輔助駕駛研究的重要內(nèi)容[1]。此項(xiàng)研究多集中于眼睛運(yùn)動與頭部姿態(tài)識別，例如監(jiān)測眼睛開啟度與眨眼頻率，結(jié)合PERCLOS等法則進(jìn)行疲勞預(yù)警[2]；建立眼睛運(yùn)動模型并結(jié)合頭部姿態(tài)來估計駕駛?cè)说年P(guān)注區(qū)域和駕駛意圖等[3]。事實(shí)上，嘴部行為特征也能夠反映駕駛?cè)说亩喾N精神狀態(tài)，例如文獻(xiàn)[4]中研究發(fā)現(xiàn)說話行為會削減駕駛?cè)藢煌ōh(huán)境的感知能力以及規(guī)避風(fēng)險的反應(yīng)速度；文獻(xiàn)[5]中認(rèn)為打哈欠直接反映出駕駛?cè)颂幱谄跔顟B(tài)，并將其作為重要的判別指標(biāo)引入疲勞駕駛監(jiān)測。針對駕駛?cè)俗觳啃袨榈膱D像識別與安全預(yù)警逐漸成為安全輔助駕駛技術(shù)的熱點(diǎn)課題，對提高車輛主動安全具有重要意義。

嘴部區(qū)域具有姿態(tài)的不確定性、行為表征的隱匿性、行為習(xí)慣的個體差異性，駕駛?cè)俗觳刻卣髯R別與行為理解成為異常精神狀態(tài)預(yù)警的瓶頸問題。嘴唇特征識別方法主要分為兩類：一是基于形狀結(jié)構(gòu)規(guī)則的機(jī)器學(xué)習(xí)方法，例如Adaboost算法[6]、主動表觀模型[7](AAM)等，此類方法將嘴唇重要特征表達(dá)為不相關(guān)低維向量的特征信息并抽象為數(shù)學(xué)模型，運(yùn)用控制點(diǎn)和曲線擬合逼近嘴部形態(tài)，此類方法對光照變化的魯棒性很強(qiáng)，但對駕駛?cè)穗S機(jī)性頭部姿態(tài)與嘴唇運(yùn)動的適應(yīng)能力較差，而且正負(fù)樣本的訓(xùn)練數(shù)量大；第二類為基于像素的特征識別方法，如唇色概率估計[8]、顯著邊緣檢測[9]、基于梯度的特征角點(diǎn)檢測[10]等，再通過合理的匹配模板還原嘴部特征，此類方法對頭部姿態(tài)與嘴唇動作的適應(yīng)性強(qiáng)，可獲取豐富的特征信息，缺點(diǎn)是對光照較為敏感，在復(fù)雜環(huán)境中的自適應(yīng)收斂能力較差。

基于上述分析，本文中提出一種基于動態(tài)匹配模型的駕駛?cè)俗觳刻卣髯R別方法，確保嘴唇檢測的光照魯棒性與動作適應(yīng)性，在此基礎(chǔ)上建立特征模型與嘴部行為的映射模型，實(shí)現(xiàn)駕駛?cè)水惓＞駹顟B(tài)預(yù)警。

1 總體方案

本文的整體方案如圖1所示。系統(tǒng)通過儀表盤內(nèi)的CCD攝像頭實(shí)時采集駕駛?cè)嗣娌繄D像，根據(jù)面部特征(皮膚、嘴唇和頭發(fā)等)的色度聚類特性，運(yùn)用改進(jìn)的高斯混合模型實(shí)現(xiàn)面部膚色識別與自適應(yīng)唇色分割。隨后在嘴唇粗區(qū)域內(nèi)建立基于灰度能量角點(diǎn)的嘴唇動態(tài)匹配模型，提取出能夠映射“閉嘴”、“說話”和“打哈欠”3類動作的隱匿性行為參數(shù)指標(biāo)。通過嘴部行為的模式識別建立駕駛?cè)水惓＞駹顟B(tài)的分級預(yù)警，用于監(jiān)測駕駛?cè)说恼ｑ{駛狀態(tài)、分心狀態(tài)與疲勞狀態(tài)。

2 自適應(yīng)唇色分割

監(jiān)控圖像中嘴唇目標(biāo)較小，在全局范圍內(nèi)直接檢測嘴唇的難度較大。剔除頭發(fā)、駕駛室背景等無意義的信息，降低動態(tài)光照的干擾是嘴唇準(zhǔn)確定位的關(guān)鍵。Adaboost和AAM等基于形狀規(guī)則與樣本學(xué)習(xí)的方法具有強(qiáng)大的目標(biāo)識別能力，但由于駕駛?cè)嗣娌烤哂卸喑叨?、多姿態(tài)、多干擾等特點(diǎn)，當(dāng)人臉與嘴唇的形狀規(guī)則跳出了訓(xùn)練樣本的表達(dá)范圍時，檢測容易失效。而基于色度信息與生理先驗(yàn)知識的面部特征識別方法對頭部姿態(tài)、部分遮擋等因素的容忍度很高，更適合駕駛?cè)嗣娌拷！１疚闹刑岢鲆环N基于高斯混合模型(Gaussian mixture model, GMM)[11]的“全局—膚色—唇色”分層局部搜索方法來實(shí)現(xiàn)嘴唇定位。

2.1 膚色與唇色估計

RGB圖像各分量中均含有亮度信息，易受到環(huán)境中光照的干擾。而HSI色彩空間[12]能夠很好地分離出光照不敏感分量，適用于復(fù)雜環(huán)境下的色度分割。如圖2所示，在H-S二維色度平面上，皮膚和嘴唇各自具有顯著的聚類特性，可采用GMM來進(jìn)行顏色概率估計。HSI-GMM算法流程如圖3所示。為實(shí)現(xiàn)精準(zhǔn)估計，面部像素的訓(xùn)練樣本分為4類：皮膚、嘴唇、低灰度區(qū)域(頭發(fā)、眼睛、鼻孔)與駕駛室背景。各類樣本的H和S向量作為特征訓(xùn)練集，再運(yùn)用高斯混合參數(shù)模型估計各類顏色概率密度：

(1)

2.2 自適應(yīng)唇色建模

光照變化容易致使嘴唇色度與飽和度的聚類分布發(fā)生漂移和畸變，傳統(tǒng)GMM唇色估計方法易導(dǎo)致漏檢、誤檢等問題，因此提升GMM光照自適應(yīng)能力成為嘴唇穩(wěn)定分割的關(guān)鍵。受到文獻(xiàn)[13]和文獻(xiàn)[14]的啟發(fā)，本文中針對2.1節(jié)中的μlip與Σlip進(jìn)行GMM自適應(yīng)參數(shù)迭代(adaptive parameter iteration, GMM-API)，當(dāng)唇色在H-S色度平面上發(fā)生漂移時，計算漂移狀態(tài)下的μlip與Σlip。按照μ±Σ原則建立初始矩形Rec1，中心為O1(H,S)，如圖4所示。設(shè)矩形Rec1內(nèi)像素的質(zhì)心為O1′(H,S)。由于O1(H,S)與O1′(H,S)并不重合，此時將矩形沿著O1至O1′方向進(jìn)行移動，移動后的矩形中心為O2。移動矢量為

(2)

3 嘴唇動態(tài)匹配模型

3.1 嘴唇特征點(diǎn)集

嘴唇特征模型是在關(guān)鍵特征點(diǎn)的基礎(chǔ)上建立的，本文中提出了嘴唇特征點(diǎn)集Clip的概念：

Clip={Pleft,Pright,Pupper,Plower}

(3)

式中：Pleft和Pright是左右嘴角點(diǎn)，由兩點(diǎn)距離確定嘴唇的寬度Dwidth；Pupper和Plower分別表示上嘴唇邊緣的最高點(diǎn)和下嘴唇邊緣的最低點(diǎn)，兩點(diǎn)距離定義了嘴唇的張開程度。嘴唇邊緣曲線可以由點(diǎn)集Clip進(jìn)行擬合。

3.2 基于能量信息的角點(diǎn)探測

當(dāng)前多數(shù)文獻(xiàn)根據(jù)全局灰度信息以及邊緣特征進(jìn)行嘴唇區(qū)域的特征匹配。雖然嘴唇具有較強(qiáng)的色度聚類性，但是在復(fù)雜光照環(huán)境下，嘴唇與皮膚的紋理特征并不顯著，單純依靠邊緣信息進(jìn)行嘴唇特征匹配并不理想。事實(shí)上，嘴唇區(qū)域還具有較明顯的灰度能量信息。圖6表示嘴唇區(qū)域灰度能量的3D分布，能量角點(diǎn)則位于局部能量域的最大值處。如果建立合理的局部窗口函數(shù)進(jìn)行能量域的梯度檢測，則嘴部特征可通過能量角點(diǎn)的形式進(jìn)行描述。與邊緣檢測方法相比，該方法能夠更充分地提取嘴唇紋理的梯度特征，所提取的嘴唇信息更為充分。

一般認(rèn)為嘴唇與膚色區(qū)域的紅色分量比較接近，但測試發(fā)現(xiàn)綠色分量更能突顯嘴唇的灰度能量信息。本文中首先在Green通道中采用多尺度Retinex法[15]進(jìn)行嘴唇粗區(qū)域的灰度增強(qiáng)，在此基礎(chǔ)上采用響應(yīng)函數(shù)R[16]來度量像素的灰度能量：

R=det(M)-kTrace2(M)

(4)

式中：k為權(quán)重系數(shù)；Trace為矩陣的跡，表示矩陣主對角線上所有元素之和；G為梯度積分的高斯平滑量；ω為高斯平滑函數(shù)；Ix和Iy表示Green通道中x與y方向的灰度梯度。當(dāng)灰度能量R大于設(shè)定閾值fT時，則認(rèn)為存在能量角點(diǎn)Pcorner：

(5)

角點(diǎn)的數(shù)量與嘴唇特征匹配效率密切相關(guān)。角點(diǎn)過少，會丟失有用的嘴部特征，帶來較大的匹配誤差；角點(diǎn)過多，則會降低匹配實(shí)時性。經(jīng)過實(shí)驗(yàn)測試，取G=2.5～2.8，k=0.05，fT=800，將角點(diǎn)數(shù)量控制在40個以內(nèi)，能夠較好地實(shí)現(xiàn)匹配速度和精度上的平衡。

3.3 特征角點(diǎn)匹配

嘴唇區(qū)域的能量角點(diǎn)整體上比較雜亂，因此需要根據(jù)生理先驗(yàn)知識進(jìn)行角點(diǎn)篩選與匹配，獲取圖像中最具表征意義的特征角點(diǎn)。匹配算法共分為3步。

步驟1：左右嘴角匹配。在含有q個角點(diǎn)的嘴部區(qū)域中，求得角點(diǎn)集質(zhì)心坐標(biāo)O(xO,yO)：

(6)

求得質(zhì)心O與任意一角點(diǎn)i的距離DOi。由于嘴唇的形狀近似于紡錘，產(chǎn)生最大距離的角點(diǎn)必然對應(yīng)著左嘴角或右嘴角，若將該點(diǎn)記作P1(x1,y1)，則

算例3的電動汽車SOC變化和調(diào)制功率變化曲線如圖11所示。由圖11可知,與算例2相比,算例3的電動汽車在設(shè)置的光伏功率波動區(qū)間,即在12:00～14:00之間開始放電,SOC下降較快,電動汽車的調(diào)制功率在12:00～14:00之間為正,以此來改善母線電壓質(zhì)量。

(7)

同理，距離P1最遠(yuǎn)角點(diǎn)的必為另一個嘴角P2(x2,y2)，P1與P2即為圖7中的Pleft與Pright。

步驟2:上下嘴唇特征點(diǎn)匹配。連接點(diǎn)Pleft與點(diǎn)Pright得直線L，其長度為嘴唇的寬度Dwidth。在其余的q-2個角點(diǎn)中，任一角點(diǎn)n與L的距離為

n=1,2,…,q-2

(8)

由于角點(diǎn)被直線L分割為上側(cè)和下側(cè)兩部分，則Dn集被分為Dupper和Dlower，見式(9)和式(10)。在Dupper集合中篩選出兩個最大值所對應(yīng)的角點(diǎn)，求其平均坐標(biāo)作為上嘴唇特征點(diǎn)Pupper。同理，可定位下嘴唇特征點(diǎn)Plower。Pupper與Plower沿垂直于直線L方向上的距離Dheight代表嘴唇張開的程度。

(9)

(10)

步驟3：上下嘴唇邊緣擬合。由于光照條件、圖像分辨率與設(shè)備抑噪性能的限制，運(yùn)用常規(guī)邊緣算子直接獲取的嘴唇輪廓并不完整。本文中在獲得特征點(diǎn)集Clip的基礎(chǔ)上，對上下嘴唇邊緣進(jìn)行NURBS[17]三次曲線擬合。NURBS曲線C表達(dá)式為

(11)

式中：ωi是對應(yīng)特征點(diǎn)集Clip-i的權(quán)重因子，通常ωi≥0；Ni,k(t)表示規(guī)范NURBS曲線的基函數(shù)。圖7中的兩條白色曲線即為NURBS擬合輪廓。

4 嘴部行為模式識別與預(yù)警方法

4.1 預(yù)警方案

4.2 “打哈欠”行為判據(jù)

相對于“說話”和“閉嘴”狀態(tài)，打哈欠時嘴唇的張開程度更大，持續(xù)時間更長，根據(jù)這些特征運(yùn)用嘴唇開啟度φ進(jìn)行判別：

(12)

式中：Dhi為上一節(jié)定義的上下嘴唇特征角點(diǎn)的像素距離；Dh0為閉嘴時上下嘴唇特征角點(diǎn)的距離初始值。本文中將初始3s緩存累積圖像中最小的25%個Dhi的平均值作為Dh0。若φ超過開啟度閾值φth，則駕駛?cè)丝赡艽嬖凇按蚬贰毙袨??？紤]到說話時有可能出現(xiàn)開啟度過大而誤判為“打哈欠”，本文中引入時間條件進(jìn)行二次判別：在φ≥φth的條件下開始計算幀數(shù)，若超過時間閾值Tth便判定為“打哈欠”，否則認(rèn)定為“其它”狀態(tài)。經(jīng)實(shí)驗(yàn)統(tǒng)計，定義φth=1.5，Tth=2s。

4.3 “說話”行為判據(jù)

說話時一部分嘴唇姿態(tài)近似于“閉嘴”，因此開啟度φ并不能作為識別“說話”的判據(jù)。但相對于“閉嘴”狀態(tài)，說話時開啟度φ更具有時序上的波動特性，因此，本文中采用樣本方差S2進(jìn)行評價：

(13)

5 實(shí)驗(yàn)結(jié)果分析

圖像采集裝置安裝在儀表盤內(nèi)，約25°仰視拍攝駕駛?cè)嗣娌?，圖像大小為1080×720，幀率為20fps。視頻分別在晴天、陰天、樹木與建筑遮擋的道路環(huán)境下進(jìn)行采集，確保樣本光照條件的多樣性，以充分驗(yàn)證唇色分割的光照魯棒性與動態(tài)匹配模型的有效性。測試對象為18名駕駛?cè)?12男6女)，在安全駕駛的前提下完成嘴部動作，獲得視頻樣本數(shù)量240組(共計358 032幀)，其中“閉嘴”、“說話”和“打哈欠”行為的樣本分別為77組、92組和71組。

5.1 唇色分割的魯棒性實(shí)驗(yàn)

針對不同光照與嘴部動作的圖像(共計9 215幀)進(jìn)行唇色分割實(shí)驗(yàn)。圖9為兩組唇色分割結(jié)果，第一組測試的光照均勻，第二組的光照變動頻繁。圖中A，B和C輪廓分別是由GMM-API，GMM和HSI恒定閾值3種算法實(shí)現(xiàn)的嘴唇分割，對比可見GMM-API算法對嘴唇輪廓的還原性更好。圖10為光照頻繁變動環(huán)境下的唇色面積檢測結(jié)果。GMM與HSI恒定閾值法檢測結(jié)果的波動性很大，而GMM-API具有自適應(yīng)收斂特性，能有效克服光照變化引起的唇色漂移，分割的唇色面積更為穩(wěn)定，這是本文中嘴部行為識別與預(yù)警準(zhǔn)確率較高的內(nèi)在原因之一。

5.2 特征點(diǎn)匹配實(shí)驗(yàn)

(14)

表1 匹配誤差i,e與匹配精確率ξi

5.3 嘴部行為模式識別與預(yù)警實(shí)驗(yàn)

實(shí)驗(yàn)針對“閉嘴”、“說話”和“打哈欠”行為的表征參數(shù)開展測試。圖12為6名駕駛?cè)朔謩e進(jìn)行“說話”和“打哈欠”的開啟度φ曲線，波動范圍分別為0.8～1.5和2～2.5，具有顯著的可分性?！按蚬贰背掷m(xù)時間均大于4s，由于設(shè)定時間閾值Tth來進(jìn)行二次判別，因此疲勞預(yù)警存在2s延遲。測試發(fā)現(xiàn)，φth和Tth是一對“此消彼長”的矛盾關(guān)系。提高開啟度閾值φth會相應(yīng)提高“說話”的識別率，但也會降低“打哈欠”識別的時間寬裕度，導(dǎo)致疲勞預(yù)警準(zhǔn)確率下降。而降低φth又會導(dǎo)致一些“說話”行為被認(rèn)定為“其它”，增加“正常駕駛”的誤警率。大量實(shí)驗(yàn)證明，φth=1.5，Tth=2s能夠最大程度上準(zhǔn)確識別“說話”和“打哈欠”行為。

針對240組行為樣本開展分類預(yù)警實(shí)驗(yàn)，同時采用其它文獻(xiàn)[8-10]的算法進(jìn)行對比測試，預(yù)警準(zhǔn)確率的統(tǒng)計見表2。文獻(xiàn)[8]中采用簡單的嘴唇色度分布與像素數(shù)量來識別“打哈欠”等動作，但未充分考慮個體差異性與嘴唇輪廓的紋理特性，因此在實(shí)際駕駛場景中的適應(yīng)性不足。文獻(xiàn)[9]中依據(jù)嘴唇面積與高寬比來識別嘴部動作，由于未引入嘴部動作的時域特性，故無法有效區(qū)分“說話”與“打哈欠”行為。文獻(xiàn)[10]中通過灰度水平投影結(jié)合二維Gabor濾波來識別嘴唇開閉狀態(tài)，該方法在動態(tài)光照的干擾下識別效果不佳。與上述方法相比，本文中算法有針對性地考慮了駕駛室光照干擾與嘴唇動作的幅頻特性，更適用于駕駛?cè)俗觳啃袨樽R別與分級預(yù)警。由于“打哈欠”行為在開啟度φ與時域空間上具有顯著的可識別特征，該行為的預(yù)警準(zhǔn)確率較高，達(dá)92.9%。而說話時嘴部動作隨機(jī)而復(fù)雜，發(fā)音方式和語速也有很大的個體差異，因此“說話”行為的預(yù)警率相對較低，為85.8%。

表2 預(yù)警準(zhǔn)確率

6 結(jié)論

以駕駛?cè)司駹顟B(tài)分級預(yù)警為目標(biāo)，提出了一種基于機(jī)器視覺的嘴部行為識別方法。首先在HSI色彩空間中運(yùn)用GMM分割膚色與唇色區(qū)域?？紤]動態(tài)光照的干擾，運(yùn)用GMM-API改進(jìn)算法進(jìn)行唇色的自適應(yīng)參數(shù)迭代，有效提高了嘴唇區(qū)域分割的完整性與準(zhǔn)確性。建立了基于灰度能量角點(diǎn)的嘴唇動態(tài)匹配模型，準(zhǔn)確描述左右嘴角與上下嘴唇特征點(diǎn)并有效提取嘴部運(yùn)動參數(shù)，在此基礎(chǔ)上建立嘴部行為的識別模式，實(shí)現(xiàn)駕駛?cè)司駹顟B(tài)的分級預(yù)警。實(shí)驗(yàn)結(jié)果表明，提出的嘴唇動態(tài)模型具有較高的特征匹配精度和魯棒的動作適應(yīng)能力，各特征點(diǎn)的匹配精度在85.8%以上。算法能夠有效檢測“閉嘴”、“說話”和“打哈欠”行為，分心預(yù)警和疲勞預(yù)警檢測精度分別達(dá)到85.8%和92.9%。在今后的研究中，擬將嘴部行為與眼睛運(yùn)動和頭部姿態(tài)等行為進(jìn)行信息融合，實(shí)現(xiàn)基于復(fù)合指標(biāo)的駕駛?cè)司駹顟B(tài)安全預(yù)警。

[1] 李克強(qiáng).汽車技術(shù)的發(fā)展動向及我國的對策[J].汽車工程,2009,31(11):1005-1016.

[2] 程文冬,付銳,袁偉,等.駕駛?cè)似诒O(jiān)測預(yù)警技術(shù)研究與應(yīng)用綜述[J].中國安全科學(xué)學(xué)報,2013,23(1):155-160.

[3] 成波,孟傳,張偉.基于機(jī)器視覺的駕駛員注意力狀態(tài)監(jiān)測技術(shù)研究[J].汽車工程,2009,31(12):1137-1140.

[4] Ishigami Y, Klein P M. Is a Hands-free Phone Safer Than a Handheld Phone?[J]. Journal of Safety Research,2009,40(2):157-164.

[5] Azim T, Jaffar M A, Mirza Anwar M. Fully Automated Real Time Fatigue Detection of Drivers Through Fuzzy Expert Systems[J]. Applied Soft Computing,2014(18):25-38.

[6] Hong S J, Sarang Khim, Phill Kyu Rhee. Efficient Landmark Localization Using Spatial-Contextual Adaboost Algorithm[J]. Journal of Visual Communication and Image Representation,2014,25(6):1366-1377.

[7] Lee S J, Park K R, Kim J.A Comparative Study of Facial Appearance Modeling Methods for Active Appearance Models[J]. Pattern Recognition Letters,30(14):1335-1346.

[8] Abtahi S, Hariri B, Shirmohammadi S. Driver Drowsiness Monitoring Based on Yawning Detection[C]. Instrumentation and Measurement Technology Conference (I2MTC),2011 IEEE,2011:1-4.

[9] 周云鵬,朱青,王耀南,等.面部多特征融合的駕駛員疲勞檢測方法[J].電子測量與儀器學(xué)報,2014,28(10):1140-1148.

[10] Fan X, Yin B C, Sun Y F. Yawning Detection for Monitoring Driver Fatigue[C]. Machine Learning and Cybernetics,2007 International Conference on, IEEE,2007,2:664-668.

[11] Kakumanu P, Makrogiannis S, Bourbakis N. A Survey of Skin-color Modeling and Detection Methods[J]. Pattern Recognition,2007,40(3):1106-1122.

[12] Ban Y, Kim S, Kim S, et al. Face Detection Based on Skin Color Likelihood[J]. Pattern Recognition,2014,47(4):1573-1585.

[13] Cheng Y Z. Mean Shift, Mode Seeking and Clustering[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE,1995:790-799.

[14] Cho K M, Jang J H, Hong K S. Adaptive Skin-Color Filter[J]. Pattern Recognition,2001,5(34):1067-1073.

[15] Kimme R , Elad M, Shaked D, et al. A Variational Framework for Retinex[J]. International Journal of Computer Vision,2003,52(1):7-23.

[16] Chen L, Lu W, Ni J, et al. Region Duplication Detection Based on Harris Corner Points and Step Sector Statistics[J]. Journal of Visual Communication & Image Representation,2013,24(3):244-254.

[17] Ding H, Hong Y. NURBS Curve Controlled Modeling for Facial Animation[J]. Computers & Graphics:2003,27(3):373-385.

漢地潤滑科技(中國)有限公司新品發(fā)布會盛大召開

2015年9月14日，漢地潤滑科技(中國)有限公司“傳承質(zhì)造 潤贏天下”新品發(fā)布會于北京嘉里大酒店順利召開。本次發(fā)布會昭示漢地潤滑油將傳承上游基礎(chǔ)油產(chǎn)業(yè)鏈的優(yōu)勢，以塑造“中國第四桶油”的宏大愿景，強(qiáng)勢打造高端潤滑產(chǎn)業(yè)鏈及世界知名潤滑油品牌。行業(yè)內(nèi)外的重量級嘉賓、媒體和合作伙伴等近200名來賓蒞臨現(xiàn)場、濟(jì)濟(jì)一堂，共同見證和開啟漢地潤滑油的新時代。

漢地潤滑科技(中國)有限公司一舉發(fā)布了14款新品，涵蓋氫勁、氫龍系列11款車用潤滑油，3款防凍液，宣告了漢地潤滑科技(中國)有限公司正式進(jìn)軍國內(nèi)潤滑油市場。

漢地潤滑科技(中國)有限公司旨在整合上、下游產(chǎn)業(yè)鏈，打造一個自有潤滑油產(chǎn)業(yè)鏈。漢地潤滑科技(中國)有限公司將依托領(lǐng)先的HYDROPURE氫純技術(shù)，牢牢把控潤滑油產(chǎn)品質(zhì)量，做好油，為渠道、為客戶提供最優(yōu)質(zhì)的產(chǎn)品及服務(wù)，打造最具價值的高端潤滑油品牌。在未來，漢地潤滑科技(中國)有限公司也將采取資本聯(lián)合方式，與國內(nèi)外的潤滑油品牌廠商進(jìn)行多種形式的合作，共享價值、共贏未來！

Driver Mouth Behavior Recognition and HierarchicalPrewarning Based on Dynamic Matching Model

Fu Rui1, Cheng Wendong2,3, Zhang Mingfang2, Yuan Wei2, Liu Zhuofan2& Guo Yanjun2

1.Chang’anUniversity,KeyLaboratoryofAutomotiveTransportationSafetyTechnology,MinistryofCommunication,Xi’an710064；2.AutomobileCollege,Chang’anUniversity,Xi’an710064； 3.SchoolofMechatronicEngineering,Xi’anTechnologicalUniversity,Xi’an710032

In view of that mouth behaviors can reflect different mental states of driver, a machine vision-based mouth behavior recognition and mental state prewarning method for driver is proposed in this paper. Firstly an improved Gaussian mixed model is adopted for light-adaptive lip segmentation. Then a dynamic matching model for lip region is proposed based on gray-scale energy corners to describe lip features and extract mouth movement parameters. Finally a discrimination pattern of mouth behavior is built to fulfill the hierarchical prewarning of driver’s mental states. Experimental results demonstrate that the dynamic matching model proposed has high matching accuracy in mouth features and strong adaptability to mouth movement. The algorithm can effectively detect the mouth behaviors of “closed”, “speaking” and “yawning”. The monitoring accuracies of distraction and fatigue prewarning reach 85.8% and 92.9% respectively.

mouth behaviors; Gaussian mixed model; energy corners; dynamic matching model; hierarchical prewarning

*長江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計劃項(xiàng)目(IRT1286)、國家自然科學(xué)基金(61374196和61473046)和中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金(2013G2221006，2013G1502060和2013G1502062)資助。

原稿收到日期為2014年9月25日，修改稿收到日期為2015年4月28日。