基于遷移學(xué)習(xí)的駕駛分心行為識(shí)別及模型解釋

周 揚(yáng), 張瑞賓

(1.西安航空學(xué)院車(chē)輛工程學(xué)院, 西安 710077； 2.長(zhǎng)安大學(xué)汽車(chē)學(xué)院, 西安 710064；3.桂林航天工業(yè)學(xué)院汽車(chē)與交通工程學(xué)院, 桂林 541004)

駕駛分心是導(dǎo)致交通事故的重要原因之一。在美國(guó),2017年有9%的致死事故與駕駛分心相關(guān), 3 166人因駕駛分心所導(dǎo)致事故而死亡[1]。在挪威, 2011—2015年發(fā)生的致死交通事故中有近1/3的事故與駕駛分心有關(guān),其中使用手機(jī)導(dǎo)致了2%～4%的致死事故,而其他分心行為如交談、操控車(chē)內(nèi)娛樂(lè)設(shè)施等導(dǎo)致了10%的致死事故[2]。因此研究駕駛分心識(shí)別對(duì)于減少交通事故、提高行車(chē)安全具有重要的意義。

為了研究方便,學(xué)者將駕駛分心分為4種基本類(lèi)型[3]，包括認(rèn)知分心(走神)、視覺(jué)分心(駕駛?cè)艘暰€離開(kāi)前方道路)、聽(tīng)覺(jué)分心(交談、聽(tīng)歌)以及動(dòng)作分心(手離開(kāi)方向盤(pán))。在實(shí)際情況下,駕駛?cè)说囊环N駕駛分心行為可能包括幾種分心類(lèi)型,比如發(fā)短信,就包含有視覺(jué)、認(rèn)知及動(dòng)作分心3種分心類(lèi)型。不同駕駛分心行為對(duì)行車(chē)安全會(huì)造成不同程度的影響,研究普遍認(rèn)為包含視覺(jué)分心的駕駛分心行為會(huì)導(dǎo)致更大的行車(chē)風(fēng)險(xiǎn)。Klauer等[4]采用100輛車(chē)的自然駕駛數(shù)據(jù)統(tǒng)計(jì)后發(fā)現(xiàn),駕駛?cè)艘曈X(jué)分心超過(guò)2 s將使事故風(fēng)險(xiǎn)增加2倍；而Fitch等[5]研究發(fā)現(xiàn)駕駛?cè)耸殖蛛娫?主要為動(dòng)作和認(rèn)知分心)對(duì)行車(chē)安全不存在顯著影響。

在駕駛分心識(shí)別的相關(guān)研究中,可按照所采用特征的不同分為基于車(chē)輛特征和基于駕駛?cè)颂卣?種類(lèi)型。前者不直接針對(duì)駕駛?cè)?而是間接通過(guò)駕駛?cè)瞬倏剀?chē)輛時(shí)的績(jī)效表現(xiàn)來(lái)識(shí)別分心。馬艷麗等[6]采用車(chē)速、加速度、車(chē)輛橫向位移等特征構(gòu)建了識(shí)別模型,對(duì)駕駛?cè)瞬倏v車(chē)載信息系統(tǒng)的判別準(zhǔn)確率達(dá)到89.86%；Li等[7]利用實(shí)車(chē)自然駕駛數(shù)據(jù)提取的駕駛?cè)艘曈X(jué)-動(dòng)作分心下的兩個(gè)敏感特征建立識(shí)別模型,模型的識(shí)別準(zhǔn)確率為93%?；隈{駛?cè)颂卣髯R(shí)別駕駛分心是更為直接的方法。文獻(xiàn)[8-9]中分別采用了駕駛?cè)搜蹌?dòng)特征實(shí)現(xiàn)了駕駛?cè)艘曈X(jué)分心及認(rèn)知分心的識(shí)別；Liu等[10]融合駕駛?cè)搜蹌?dòng)及頭動(dòng)特征,通過(guò)半監(jiān)督學(xué)習(xí)方法訓(xùn)練了認(rèn)知分心識(shí)別模型；Miyaji等[11]結(jié)合了駕駛?cè)搜蹌?dòng)、頭動(dòng)及心電特征并利用Adaboost算法建立識(shí)別模型,對(duì)駕駛?cè)私徽劶白鏊阈g(shù)引發(fā)的認(rèn)知分心識(shí)別準(zhǔn)確率達(dá)到89.8%和90.3%。

上述方法雖已被證明可有效識(shí)別駕駛分心,但仍面臨以下問(wèn)題:①僅能區(qū)分一種駕駛分心行為與正常駕駛,如區(qū)分視覺(jué)-動(dòng)作分心行為與專(zhuān)注駕駛,無(wú)法對(duì)多種駕駛分心行為及正常駕駛進(jìn)行分類(lèi)。由于駕駛?cè)瞬煌鸟{駛分心行為對(duì)行車(chē)安全會(huì)產(chǎn)生不同程度的影響,設(shè)計(jì)能夠區(qū)分多種分心行為的駕駛分心識(shí)別模型可為建立具有不同預(yù)警等級(jí)的駕駛分心預(yù)警系統(tǒng)提供基礎(chǔ)。②所依賴(lài)設(shè)備如眼動(dòng)儀、生理儀較為昂貴、侵入性強(qiáng)[12],不易在實(shí)車(chē)條件下應(yīng)用。雖然基于車(chē)輛特征的方法所依賴(lài)傳感器在當(dāng)前汽車(chē)上已有裝備,但由于該方法應(yīng)用的前提是駕駛?cè)酥苯硬倏剀?chē)輛,因此在當(dāng)前的輔助駕駛及未來(lái)的人車(chē)共駕情景下,無(wú)法應(yīng)用此方法進(jìn)行駕駛分心判別。

由于駕駛?cè)说某Ｒ?jiàn)駕駛分心行為具有不同的圖形特征,研究者開(kāi)始利用駕駛?cè)藞D像識(shí)別駕駛分心行為?；趫D像的方法僅需在車(chē)內(nèi)安裝攝像頭,易于實(shí)現(xiàn),隨著近年來(lái)計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,利用深度學(xué)習(xí)方法亦可準(zhǔn)確地實(shí)現(xiàn)圖像分類(lèi)。Hssayeni 等[13]對(duì)比了采用傳統(tǒng)人工設(shè)計(jì)特征構(gòu)建的支持向量機(jī)分類(lèi)模型與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)模型對(duì)多種駕駛行為的識(shí)別效果,發(fā)現(xiàn)前者的識(shí)別準(zhǔn)確率(27.7%)遠(yuǎn)低于CNN模型(84.6%)。徐丹等[14]采用CNN構(gòu)建駕駛?cè)朔前踩{駛行為識(shí)別模型,與先提取圖像方向梯度直方圖特征再進(jìn)行分類(lèi)的傳統(tǒng)方法相比,識(shí)別準(zhǔn)確率平均提高了3.62%。

訓(xùn)練CNN深度模型需要花費(fèi)大量時(shí)間來(lái)確定模型的最佳結(jié)構(gòu)、神經(jīng)元數(shù)量及其他參數(shù),一種更節(jié)省時(shí)間的方法是利用已在大型數(shù)據(jù)集中訓(xùn)練及驗(yàn)證的CNN模型進(jìn)行遷移學(xué)習(xí)。戎輝等[15]利用遷移學(xué)習(xí)對(duì)AlexNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào),實(shí)現(xiàn)了7種駕駛行為的識(shí)別,準(zhǔn)確率達(dá)到97.8%。Li等[16]利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)YOLO(you only look once)實(shí)現(xiàn)了對(duì)包括駕駛?cè)耸褂糜|摸屏、打手機(jī)及正常駕駛3種駕駛行為的判別,模型對(duì)應(yīng)的F1評(píng)分分別達(dá)到0.84、0.69、0.82。陳軍等[17]基于遷移學(xué)習(xí)方法提出了級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型,針對(duì)駕駛員駕駛分心行為進(jìn)行檢測(cè),準(zhǔn)確率可達(dá)93.3%。

CNN模型一般采用端對(duì)端的訓(xùn)練方式,在給定圖片及對(duì)應(yīng)類(lèi)別標(biāo)記的條件下,模型直接學(xué)習(xí)從圖片到類(lèi)別的映射關(guān)系,其黑箱性的特點(diǎn)決定了其存在解釋性較差的缺陷[18]。然而,研究人員及用戶需要了解模型判定類(lèi)別的依據(jù),據(jù)此才能建立對(duì)模型的信任。尤其是針對(duì)駕駛?cè)笋{駛分心行為的識(shí)別,若模型根據(jù)圖像中無(wú)關(guān)的特征來(lái)判別駕駛分心行為,則在實(shí)際應(yīng)用中可能造成大量誤判而導(dǎo)致駕駛?cè)岁P(guān)閉系統(tǒng)。

對(duì)CNN模型進(jìn)行可視化有助于解釋模型,近年來(lái)有大量研究采用如導(dǎo)向反向傳播[19]、反卷積[20]、基于梯度的類(lèi)激活映射[21](Grad-Cam)等神經(jīng)網(wǎng)絡(luò)可視化方法研究對(duì)CNN模型的分類(lèi)依據(jù)進(jìn)行解釋。在這些方法中,采用Grad-Cam方法可提取模型分類(lèi)時(shí)的重點(diǎn)關(guān)注區(qū)域(模型分類(lèi)時(shí)所主要依據(jù)的圖像區(qū)域),且不需要改變?cè)Ｐ徒Y(jié)構(gòu)。

基于上述分析,盡管已有部分研究基于CNN模型和遷移學(xué)習(xí)方法實(shí)現(xiàn)了駕駛行為的識(shí)別,然而現(xiàn)有研究中并未深入研究CNN模型的解釋,為此現(xiàn)基于遷移學(xué)習(xí)方法構(gòu)建駕駛分心行為判別模型,為提高模型的可解釋性,將結(jié)合Grad-Cam算法提取模型識(shí)別駕駛行為類(lèi)別時(shí)的重點(diǎn)關(guān)注區(qū)域并進(jìn)行可視化,據(jù)此分析模型是否學(xué)到了駕駛分心行為判別的關(guān)鍵特征，以期為構(gòu)建兼顧應(yīng)用性和解釋性的駕駛分心行為識(shí)別系統(tǒng)提供參考。

1 遷移學(xué)習(xí)方法

遷移學(xué)習(xí)方法可將已在任務(wù)A中所學(xué)的知識(shí)或技能轉(zhuǎn)移以應(yīng)用于新任務(wù)B中[22]。在應(yīng)用遷移學(xué)習(xí)方法時(shí),一般將已在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型部分層參數(shù)進(jìn)行固定,而只訓(xùn)練模型的最后1層或幾層參數(shù)。新模型可保留原訓(xùn)練模型已具備的能力,經(jīng)過(guò)訓(xùn)練的新模型亦可更好地完成新的任務(wù)。

選擇遷移學(xué)習(xí)方法構(gòu)建駕駛分心行為識(shí)別模型的原因在于:①訓(xùn)練包含大量參數(shù)的CNN深度模型需要大規(guī)模的標(biāo)注數(shù)據(jù)集,當(dāng)數(shù)據(jù)集規(guī)模較小時(shí),訓(xùn)練整個(gè)模型容易產(chǎn)生過(guò)擬合現(xiàn)象；②經(jīng)過(guò)預(yù)訓(xùn)練的深度CNN模型如AlexNet、VGG等已具備了檢測(cè)圖像中邊緣、紋理及物體等特征的能力[23],這些能力有助于識(shí)別駕駛?cè)说鸟{駛分心行為。

選擇VGG-16模型作為遷移學(xué)習(xí)源模型。VGG模型由Simonyan等[24]提出,在2014年ImageNet大規(guī)模圖像分類(lèi)與定位挑戰(zhàn)賽(ILSVRC2014)中取得優(yōu)異成績(jī),VGG模型根據(jù)所包含CNN層數(shù)量的不同可分為8、10、13、16 4種類(lèi)型。采用的VGG-16模型包含13個(gè)CNN層及3個(gè)全連接層(fully connected layer, FC)。由于原模型是識(shí)別ImagNet中所包含的1 000種類(lèi)別,為識(shí)別所采用數(shù)據(jù)集中所包含的6種駕駛行為,對(duì)原模型進(jìn)行如下修改:①刪除原模型中的FC層；②添加兩個(gè)新的FC層。輸出層包含6個(gè)神經(jīng)元,分別輸出6種駕駛行為所對(duì)應(yīng)的概率。為了研究不同數(shù)量神經(jīng)元的中間FC層對(duì)模型判別效果的影響,分別建立了包含64、128、256個(gè)神經(jīng)元中間層的模型結(jié)構(gòu),分別記為FC-64,FC-128、FC-256模型。

最終構(gòu)建的駕駛?cè)笋{駛分心行為判別模型結(jié)構(gòu)及各層參數(shù)如圖1所示,模型包含5個(gè)卷積塊(Convblock),各個(gè)卷積塊中的CNN層均采用3×3的卷積核,步長(zhǎng)大小設(shè)為1,每個(gè)卷積塊最后均進(jìn)行最大池化(Max pooling)操作,池化核大小為2×2,步長(zhǎng)設(shè)為2。除最后1層采用Softmax函數(shù)外,其他層之間均采用Relu作為激活函數(shù)。為減少過(guò)擬合,在FC層之間增加Dropout。

圖1 駕駛?cè)笋{駛分心行為識(shí)別模型結(jié)構(gòu)Fig.1 Framework of drivers’ inattentive driving behavior recognition model

2 模型重點(diǎn)關(guān)注區(qū)域提取

利用Grad-Cam方法提取模型在判別輸入圖片所屬類(lèi)別時(shí)的重點(diǎn)關(guān)注區(qū)域,以理解模型在分類(lèi)時(shí)的主要依據(jù),從而提高模型的解釋性。

CNN深度模型的整體結(jié)構(gòu)一般可分為2部分:第1部分為所有的卷積層,它們共同構(gòu)成了特征檢測(cè)器,其作用是分別檢測(cè)輸入圖像的不同層次特征,比如靠前的卷積層作用是檢測(cè)圖像的低層次特征如邊緣、紋理,而靠后的卷積層則負(fù)責(zé)檢測(cè)更高層次的特征,如物體、場(chǎng)景,越靠后的卷積層往往保留了更為豐富且與分類(lèi)更相關(guān)的特征,這些特征會(huì)在其后的FC層中消失,因此為了對(duì)CNN模型進(jìn)行解釋,一般對(duì)其最后1層卷積層的輸出特征進(jìn)行可視化[25]；第2部分為所有的FC層,其共同構(gòu)成了分類(lèi)器,作用是利用特征提取層檢測(cè)到的圖像特征進(jìn)行分類(lèi)。

Grad-Cam方法通過(guò)反向傳播計(jì)算模型的輸出對(duì)最后1層卷積層的導(dǎo)數(shù),再進(jìn)行全局平均以得出最后1層卷積層所輸出各特征圖(feature map)對(duì)于判定圖片類(lèi)別的重要性。具體計(jì)算方法為

(1)

(2)

(3)

3 試驗(yàn)驗(yàn)證

3.1 試驗(yàn)數(shù)據(jù)集

采用文獻(xiàn)[14]中所使用的state-farm駕駛?cè)诵袨閿?shù)據(jù)集進(jìn)行模型訓(xùn)練和驗(yàn)證。該數(shù)據(jù)集共包含10種駕駛行為,總計(jì)18 466張圖片。由于原數(shù)據(jù)集中的部分駕駛行為實(shí)際上均包含了同種駕駛分心類(lèi)型,如駕駛?cè)擞糜沂执螂娫捙c用左手打電話,這2種行為均包含了視覺(jué)、動(dòng)作及認(rèn)知3種分心類(lèi)型,對(duì)行車(chē)安全的影響基本相似,因此可以合并為1類(lèi)。對(duì)原數(shù)據(jù)集中的駕駛行為按照所包含的駕駛分心類(lèi)型進(jìn)行合并,具體合并方式如圖2所示。

圖2 數(shù)據(jù)集合并方式Fig.2 The way of dataset combination

3.2 模型訓(xùn)練

在PyTorch環(huán)境下訓(xùn)練模型,采用多分類(lèi)常用的交叉熵?fù)p失作為目標(biāo)函數(shù),通過(guò)隨機(jī)梯度下降方法訓(xùn)練模型,將學(xué)習(xí)率設(shè)為0.001,動(dòng)量設(shè)為0.9,采用分段學(xué)習(xí)率衰減方法,模型訓(xùn)練中每10回合將學(xué)習(xí)率衰減0.5倍。訓(xùn)練批量設(shè)為32,訓(xùn)練總回合數(shù)設(shè)為50。

將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,劃分比例為7∶1∶2。利用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練,在訓(xùn)練過(guò)程中,選擇驗(yàn)證集中準(zhǔn)確率最高的模型為最終模型。通過(guò)最終模型在測(cè)試集中的準(zhǔn)確率評(píng)估模型的泛化能力。

由于數(shù)據(jù)集中的原始圖片尺寸為480×640,而所采用的遷移學(xué)習(xí)原模型VGG-16的輸入尺寸為224×224,因此需首先對(duì)數(shù)據(jù)集中圖片進(jìn)行壓縮處理。另外,為了提高模型在實(shí)際應(yīng)用中的魯棒性,防止模型過(guò)擬合并加速模型訓(xùn)練過(guò)程,在訓(xùn)練時(shí)對(duì)訓(xùn)練集進(jìn)行預(yù)處理，如圖3所示。

圖3 圖像預(yù)處理步驟Fig.3 Image preprocessing procedures

圖4與圖5所示分別為采用上述訓(xùn)練參數(shù)及預(yù)處理方法對(duì)所構(gòu)建模型進(jìn)行訓(xùn)練時(shí)的損失及準(zhǔn)確率變化曲線。從圖4、圖5中可以看出,模型在訓(xùn)練過(guò)程中損失逐步下降,識(shí)別準(zhǔn)確率逐步提升,在訓(xùn)練大約35回合后,模型的損失、準(zhǔn)確率趨于穩(wěn)定。對(duì)包含不同數(shù)量神經(jīng)元中間層的模型分類(lèi)準(zhǔn)確率進(jìn)行對(duì)比后發(fā)現(xiàn),隨著神經(jīng)元數(shù)量的增加,模型在訓(xùn)練集中的分類(lèi)準(zhǔn)確率隨之提高,由于驗(yàn)證集圖片并未進(jìn)行上述的圖像預(yù)處理,因此驗(yàn)證集中的分類(lèi)準(zhǔn)確率變化較小。

圖4 模型訓(xùn)練中損失變化Fig.4 Change of loss during model training

圖5 模型訓(xùn)練中準(zhǔn)確率變化Fig.5 Chang of accuracy during model training

FC-64、FC-128、FC-256模型在訓(xùn)練集中的最高分類(lèi)準(zhǔn)確率分別為87.25%、90.90%、92.90%,隨著中間層神經(jīng)元數(shù)量的等比例增加,駕駛行為的識(shí)別準(zhǔn)確率分別提升了3.65%及2%,可見(jiàn)中間層神經(jīng)元數(shù)量對(duì)于模型準(zhǔn)確率的提高程度逐步減小。由于增加神經(jīng)元數(shù)量會(huì)使得模型訓(xùn)練時(shí)間延長(zhǎng),因此未嘗試?yán)^續(xù)增加神經(jīng)元數(shù)量,而選定中間層神經(jīng)元數(shù)量為256的FC-256模型為最終模型。

表1所示為選定模型在測(cè)試集中對(duì)各種駕駛行為的識(shí)別準(zhǔn)確率。模型對(duì)6種駕駛行為的平均判別準(zhǔn)確率為98.89%,可見(jiàn)模型已能夠準(zhǔn)確地識(shí)別不同類(lèi)型的駕駛分心行為。

表1 模型在測(cè)試集中的判別準(zhǔn)確率Table 1 Classification accuracy in the test set

3.3 重點(diǎn)關(guān)注區(qū)域可視化

采用Grad-Cam分別提取了所訓(xùn)練模型在識(shí)別數(shù)據(jù)集中的6類(lèi)駕駛行為時(shí)的重點(diǎn)關(guān)注區(qū)域,如圖6所示,圖中越明亮的區(qū)域?yàn)槟Ｐ痛_定圖片所屬類(lèi)別時(shí)更加重要的區(qū)域。

圖6 模型分類(lèi)時(shí)的重點(diǎn)關(guān)注區(qū)域Fig.6 Focused areas for classification of the model

從圖6中可以看出,所訓(xùn)練模型能夠定位出各類(lèi)駕駛行為的關(guān)鍵特征,模型根據(jù)這些關(guān)鍵特征判定駕駛行為所屬的類(lèi)別。由圖6(a)可見(jiàn),模型在判定正常駕駛時(shí)的重點(diǎn)關(guān)注區(qū)域?yàn)轳{駛?cè)说碾p臂或雙手,從圖中可以看出,駕駛?cè)苏ｑ{駛與其他相比最主要的特征即在于駕駛?cè)穗p臂向前、雙手與方向盤(pán)接觸；從圖6(b)與圖6(c)可明顯看出,模型識(shí)別出了駕駛?cè)耸殖质謾C(jī)的位置,據(jù)此判別看手機(jī)與打手機(jī)行為；在識(shí)別駕駛?cè)巳|西及調(diào)收音機(jī)行為時(shí)[圖6(d)],模型主要關(guān)注了駕駛?cè)说氖直奂懊娌繀^(qū)域,由圖中可看出駕駛?cè)苏{(diào)收音機(jī)及取東西時(shí),其主要特征為駕駛?cè)耸直厶幱趫D片右下側(cè)或駕駛?cè)耸直厶幱谧笙聜?cè)且面部偏向左側(cè)；在識(shí)別駕駛?cè)嘶瘖y、喝水行為時(shí)[圖6(e)],模型識(shí)別出了該種行為的關(guān)鍵特征,即駕駛?cè)耸植康膮^(qū)域；當(dāng)駕駛?cè)伺c他人交談時(shí),其面部會(huì)偏向一側(cè),由圖6(f)可見(jiàn),模型在識(shí)別交談行為時(shí)則主要關(guān)注駕駛?cè)说拿娌繀^(qū)域。

需要注意的是,由于所使用的數(shù)據(jù)集圖片均為被試駕駛同一輛汽車(chē),汽車(chē)的內(nèi)飾固定,因此所訓(xùn)練模型在識(shí)別某些駕駛行為時(shí)也依據(jù)了一些與該行為無(wú)關(guān)的特征,如在圖6(c)中,駕駛?cè)擞米笫执蚴謾C(jī)時(shí),由于左臂抬起,左臂對(duì)車(chē)門(mén)開(kāi)關(guān)的遮擋消失,因此模型在識(shí)別駕駛?cè)俗笫执蚴謾C(jī)時(shí)重點(diǎn)關(guān)注了左側(cè)車(chē)門(mén)開(kāi)關(guān)區(qū)域。要避免模型根據(jù)此類(lèi)無(wú)關(guān)特征判定駕駛分心行為,需進(jìn)一步豐富駕駛行為數(shù)據(jù)集,增加車(chē)輛的多樣性,或增加不同拍攝角度的圖片。

4 結(jié)論

(1)采用遷移學(xué)習(xí)方法,僅修改原模型FC層而固定卷積層參數(shù),可保留原模型的圖像特征檢測(cè)能力,如對(duì)輪廓、物體的檢測(cè),有助于實(shí)現(xiàn)駕駛分心行為的識(shí)別。

(2)采用端對(duì)端的模型訓(xùn)練方式使得CNN模型解釋性下降,利用Grad-Cam方法對(duì)CNN模型最后1層卷積層輸出的重要特征圖進(jìn)行可視化可有助于理解模型的分類(lèi)依據(jù)。

研究中所采用的駕駛行為數(shù)據(jù)集規(guī)模有限,后期將在實(shí)車(chē)條件下采集更多不同種類(lèi)、不同拍攝角度的駕駛行為圖片,以進(jìn)一步提高訓(xùn)練模型在實(shí)車(chē)條件下的魯棒性。