基于雙流全卷積網(wǎng)絡(luò)的駕駛員姿態(tài)估計(jì)方法

王 彬， 趙作鵬

(1. 中國礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 江蘇 徐州 221116； 2. 江蘇聯(lián)合職業(yè)技術(shù)學(xué)院 信息技術(shù)系， 江蘇 徐州 221008)

人體姿態(tài)估計(jì)是通過從給定的包含人體的圖片或視頻中檢測出人體關(guān)節(jié)點(diǎn)的位置信息和人體關(guān)節(jié)點(diǎn)之間的連接關(guān)系進(jìn)而得到人體姿態(tài)的方法.作為眾多人機(jī)交互的基礎(chǔ)，它主要應(yīng)用于動作識別、智能監(jiān)控、人體跟蹤、情緒猜測和醫(yī)療輔助等方面[1].

為了實(shí)現(xiàn)智能安全駕駛，現(xiàn)已產(chǎn)生了各種各樣的駕駛員輔助技術(shù)，例如,車輛輔助駕駛系統(tǒng)(advanced driver assistance systems，ADAS)通過安裝在車輛中的攝像頭獲取駕駛員和車況圖像信息，利用深度學(xué)習(xí)方法對人體姿態(tài)和車況進(jìn)行檢測和分析，其中以人體姿態(tài)為基礎(chǔ)的動作識別是實(shí)現(xiàn)智能安全駕駛的關(guān)鍵技術(shù).駕駛員姿態(tài)估計(jì)是人體姿態(tài)估計(jì)技術(shù)在智能安全駕駛中的應(yīng)用[2]，它不僅為人體行為識別提供依據(jù)，也為監(jiān)管機(jī)構(gòu)提供更加確切的駕駛員信息[3].

筆者使用遷移學(xué)習(xí)，通過在ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的VGG-19模型[4]中提取原始圖像特征，從而減少訓(xùn)練的總體工作量.該網(wǎng)絡(luò)使用沙漏結(jié)構(gòu)對特征圖進(jìn)行上采樣操作以過濾背景噪聲.最后將多個(gè)階段的特征圖進(jìn)行融合，保留原始輸入圖像的空間信息，提高預(yù)測精度.將提出的網(wǎng)絡(luò)架構(gòu)在COCO (common objects in context)數(shù)據(jù)集和車輛圖像數(shù)據(jù)集DDS(driver′s driving situation)與CMU Pose(Carnegie Mellon University pose)進(jìn)行對比試驗(yàn).

1 人體姿態(tài)估計(jì)研究

2D人體姿態(tài)估計(jì)算法從方法上可以分為傳統(tǒng)的基于圖形結(jié)構(gòu)的方法和基于深度學(xué)習(xí)的方法[5]2種.傳統(tǒng)姿態(tài)估計(jì)在特征提取上多采用人工設(shè)定的方法，設(shè)計(jì)2D人體部件檢測器進(jìn)行關(guān)節(jié)點(diǎn)檢測.由于人體姿態(tài)的靈活性，傳統(tǒng)姿態(tài)估計(jì)的部件檢測器對人體部件空間關(guān)系的表達(dá)能力有限.隨著應(yīng)用場景的增多，研究人員發(fā)現(xiàn)在復(fù)雜環(huán)境下此類算法很容易受到人體相似外觀物體的影響，無法準(zhǔn)確地識別目標(biāo).雖然WANG Y.等[6]提出將多個(gè)人體部件組合為一個(gè)整體的思想，通過構(gòu)建poselet模型嘗試避免背景噪聲的影響.由于人體結(jié)構(gòu)的復(fù)雜性和人體姿態(tài)的靈活性，傳統(tǒng)的人體姿態(tài)估計(jì)對人體部件的空間關(guān)系進(jìn)行建模的方法限制了模型的表達(dá)能力，在實(shí)際應(yīng)用中，這種算法難以準(zhǔn)確地表達(dá)圖像中的人體姿態(tài)，因此在算法精度上有著難以突破的上限.

基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法可以分為單人姿態(tài)估計(jì)和多人姿態(tài)估計(jì).其中單人姿態(tài)估計(jì)是在只有一個(gè)人的圖像中對姿態(tài)進(jìn)行關(guān)節(jié)點(diǎn)預(yù)測，而多人姿態(tài)估計(jì)對圖像中不確定數(shù)量的人體進(jìn)行姿態(tài)估計(jì)，不僅要對圖像中所有關(guān)節(jié)點(diǎn)進(jìn)行檢測，還要以個(gè)體為單位，對關(guān)節(jié)點(diǎn)進(jìn)行分類，多人姿態(tài)估計(jì)更切合實(shí)際場景的需求.多人姿態(tài)估計(jì)從方法上可以分為從上而下和從下而上2種方法.從上而下的方法先使用目標(biāo)檢測的算法對圖片中的人體進(jìn)行檢測，然后在每一個(gè)檢測框區(qū)域內(nèi)進(jìn)行單人姿態(tài)估計(jì)，這種算法的精度同時(shí)依賴于目標(biāo)檢測的精度和單人姿態(tài)估計(jì)的精度；從下而上的方法通過檢測圖像中所有人的關(guān)節(jié)點(diǎn)，使用匹配算法連接關(guān)節(jié)點(diǎn)，確定圖像中人體數(shù)目.

A. TOSHEV等[7]將人體姿態(tài)估計(jì)問題轉(zhuǎn)化為坐標(biāo)點(diǎn)回歸問題，基于深度學(xué)習(xí)方法對單人人體姿態(tài)進(jìn)行估計(jì)，以坐標(biāo)值為優(yōu)化目標(biāo)，直接回歸關(guān)節(jié)點(diǎn)的二維坐標(biāo)信息.該方法通過設(shè)計(jì)一個(gè)多階段的深度卷積網(wǎng)絡(luò)，在初始階段得到關(guān)節(jié)點(diǎn)的大致位置，輸出結(jié)果進(jìn)入下一個(gè)相同深度的卷積網(wǎng)絡(luò)，得到更準(zhǔn)確的關(guān)節(jié)點(diǎn)信息，通過多個(gè)階段的優(yōu)化輸出滿足條件的結(jié)果.相較之前提出的算法，該方法為人體姿態(tài)估計(jì)的研究開辟了新的道路，明顯提高了人體姿態(tài)估計(jì)的精度.但在后來的實(shí)際測試中人體關(guān)節(jié)定位結(jié)果并不是非常理想，由于沒有對人體各個(gè)關(guān)節(jié)間的結(jié)構(gòu)信息進(jìn)行建模，僅使用圖像中關(guān)節(jié)點(diǎn)直接回歸到精確坐標(biāo)點(diǎn)比較困難，使得模型對于多尺度的姿態(tài)估計(jì)泛化能力較弱.J. TOMPSON等[8]對模型進(jìn)行改進(jìn)，使用熱力圖描述各個(gè)關(guān)節(jié)點(diǎn)可能位置的概率分布情況，熱力圖描述了各個(gè)關(guān)節(jié)點(diǎn)在整幅圖像的各個(gè)像素點(diǎn)可能出現(xiàn)的概率，并在一定程度上反映了關(guān)節(jié)點(diǎn)間的空間信息，將這些關(guān)節(jié)點(diǎn)位置的概率分布進(jìn)一步精細(xì)化得到各個(gè)關(guān)節(jié)點(diǎn)的最終位置，最后通過池化層將學(xué)習(xí)得到的熱力圖合并到一個(gè)置信圖上，提高了關(guān)節(jié)點(diǎn)定位的魯棒性.T. PFISTER等[9]提出使用熱力圖估算圖像中每個(gè)像素接近真值的概率來確定每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，該工作的主要?jiǎng)?chuàng)新點(diǎn)是提出一種空間融合的方法，即將網(wǎng)絡(luò)的第3層和第7層的特征提取出來進(jìn)行卷積融合操作，用來提取關(guān)節(jié)點(diǎn)間的聯(lián)系并利用光流信息對相鄰幀的熱力圖進(jìn)行預(yù)測.

通過增大感受野使網(wǎng)絡(luò)能夠在原始圖像中學(xué)習(xí)到范圍更大的特征，這有利于得到目標(biāo)的上下文信息，即關(guān)節(jié)點(diǎn)在圖像中的空間關(guān)系.WEI S. E.等[10]構(gòu)建順序化的多階段級聯(lián)的深度神經(jīng)網(wǎng)絡(luò)，即卷積姿勢估計(jì)器(convolutional pose machines，CPM)，采用大卷積核不斷累加卷積操作，使網(wǎng)絡(luò)逐漸獲得大的感受野，利用不同尺度的特征圖表達(dá)各個(gè)關(guān)節(jié)點(diǎn)之間的空間關(guān)系，最終實(shí)現(xiàn)隱式學(xué)習(xí)關(guān)節(jié)點(diǎn)結(jié)構(gòu)信息的目的，同時(shí)使用中繼監(jiān)督對每一階段進(jìn)行監(jiān)督，避免梯度消失.

當(dāng)卷積核太大時(shí)，網(wǎng)絡(luò)的參數(shù)量也隨之增大，過于消耗計(jì)算資源.A. NEWELL等[11]提出沙漏網(wǎng)絡(luò)(stacked hourglass networks，SHNs)，適當(dāng)降低卷積核的尺寸，采用殘差模塊作為構(gòu)建Hourglass網(wǎng)絡(luò)的基礎(chǔ)模塊.Hourglass網(wǎng)絡(luò)模塊可以提取較高層次的特征，同時(shí)保留原始層次的信息.沙漏網(wǎng)絡(luò)的整體結(jié)構(gòu)是對稱的，網(wǎng)絡(luò)的前半部分通過卷積層和Max Pooling層對逐步縮小特征的分辨率得到高級特征(High-to-Low階段)，網(wǎng)絡(luò)在每個(gè)Max Pooling層處分叉，上下兩路在不同尺度空間提取特征.當(dāng)將特征縮放到最低的分辨率后，網(wǎng)絡(luò)開始進(jìn)行Up Sampling并與High-to-Low階段的特征信息進(jìn)行融合.

人體姿態(tài)估計(jì)作為計(jì)算機(jī)視覺的熱門課題，一直以來有大量的研究人員利用各種先進(jìn)方法去實(shí)現(xiàn)人體姿態(tài)估計(jì)，取得了顯著的成就.但由于圖像視角、光線變化和遮擋等其他因素的影響，使基于圖像的人體姿態(tài)估計(jì)仍然面臨著各種挑戰(zhàn).

1) 復(fù)雜的背景信息.無論是室內(nèi)還是室外的圖像，除了人體以外仍存在大量的背景信息，在這些背景信息里可能存在與人體形狀或膚色相似的物體，特別是在駕駛室內(nèi)由于車窗反光會倒映出部分人體畫面，導(dǎo)致誤檢測.

2) 光照的干擾.在真實(shí)環(huán)境里，圖片受光線強(qiáng)度和角度的影響，導(dǎo)致最終信息的展示效果差異很大.在過于強(qiáng)烈或過于微弱的光線下，拍攝到的照片由于曝光或亮度太低而無法展示準(zhǔn)確的圖形和顏色信息，而且在各種不同的光線角度下，物體往往會變得陌生而難以辨別.光照變化問題在計(jì)算機(jī)視覺的各種領(lǐng)域都面臨著挑戰(zhàn)，特別是人臉識別、行人檢測和動作識別等.

3) 衣著變化.隨著潮流的發(fā)展，人類的衣服款式、造型和顏色日漸豐富，這為人體姿態(tài)估計(jì)的研究帶來了困難，比如圖像中的人員是否帶有面具或帽子，另類的服裝造型會使人體外部輪廓發(fā)生巨大的改變，穿裙子和穿褲子對于辨別下肢關(guān)節(jié)點(diǎn)的難度各不相同，而衣服上的人像圖案往往會使模型誤判人體數(shù)目，這些情況都會在不同程度上降低算法最終呈現(xiàn)出來的效果.

4) 遮擋問題.遮擋問題一直以來都是人體姿態(tài)估計(jì)所面臨的重要挑戰(zhàn)，因?yàn)槿梭w的靈活性和環(huán)境的復(fù)雜性，極大概率會發(fā)生自我遮擋和其他遮擋的問題.所謂自我遮擋就是個(gè)體的身體部位對自身關(guān)節(jié)點(diǎn)的遮擋，包括雙手抱胸、雙手背后、向下彎腰、雙腿或雙手交叉以及捂臉等行為，特別是在運(yùn)動過程中基本上會出現(xiàn)自遮擋情況.而其他遮擋包括物體對關(guān)節(jié)的遮擋和人體之間的遮擋，在大型集會中由于人員密集，除了建筑對人體的遮擋以外，人們在互動的過程中相互遮擋.在發(fā)生遮擋問題時(shí)，被遮擋部位的信息將會從圖像上消失，對此需要算法有強(qiáng)大的聯(lián)系上下文能力，通過對全局信息的學(xué)習(xí)最后相對準(zhǔn)確地得到被遮擋關(guān)節(jié)點(diǎn)的位置.針對這個(gè)問題，研究人員往往通過擴(kuò)大網(wǎng)絡(luò)結(jié)構(gòu)感受野的方法來解決.

5) 拍攝角度.由于攝像頭擺放位置的不同，使得最終獲取到的人物信息在圖像上展示的結(jié)果有很大的差異性，而且不同角度拍攝同一物體的結(jié)果甚至?xí)a(chǎn)生自遮擋情況，例如從上往下拍攝人體，圖片中頭部會顯得很大，腿卻顯得很短，甚至最終圖像得到頭頂信息而不包含下肢身體信息；從下往上拍攝效果與前者剛好相反.同時(shí)由于角度的變化，圖像中人體部位的尺度也會發(fā)生變化.

現(xiàn)代交通行業(yè)日益趨向自動化，出于安全考慮，實(shí)時(shí)掌控汽車內(nèi)部駕駛員和乘客的情況對駕駛員狀態(tài)做出正確評估具有重要意義.汽車內(nèi)部由于空間局限、光線變化、駕駛員及乘客衣著變化和遮擋等問題，使現(xiàn)有算法在實(shí)際環(huán)境的測試結(jié)果并不理想.如何有效過濾背景噪聲對算法造成的影響和如何提高對被遮擋關(guān)節(jié)點(diǎn)的檢測是駕駛員姿態(tài)估計(jì)研究迫切需要解決的問題.

2 基于雙流全卷積網(wǎng)絡(luò)的構(gòu)建

由于駕駛室環(huán)境的復(fù)雜性，對駕駛員關(guān)節(jié)點(diǎn)的檢測往往會受到駕駛員衣著變化和光線變化的影響，使現(xiàn)有算法在車載圖像上測試結(jié)果出現(xiàn)精度不理想和關(guān)節(jié)點(diǎn)之間的連接丟失等問題.因此，筆者基于全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)構(gòu)建一個(gè)雙流多階段的網(wǎng)絡(luò)(fully convolutio-nal network fusion,FCNf)，同時(shí)預(yù)測關(guān)節(jié)點(diǎn)位置信息和關(guān)節(jié)點(diǎn)之間的連接信息，F(xiàn)CNf網(wǎng)絡(luò)總體框架如圖1所示.對特征圖進(jìn)行上采樣和下采樣操作并融合不同層的輸出特征圖，增強(qiáng)網(wǎng)絡(luò)提取關(guān)鍵信息的能力.制作與COCO數(shù)據(jù)集格式相同的駕駛員姿態(tài)數(shù)據(jù)集(DDS數(shù)據(jù)集).將FCNf算法分別在COCO數(shù)據(jù)集和DDS數(shù)據(jù)集上與其他先進(jìn)算法進(jìn)行對比試驗(yàn)，驗(yàn)證算法的有效性.

圖1 FCNf網(wǎng)絡(luò)的總體框架圖

2.1 FCN算法原理

LONG J.等[12]提出一種新型卷積神經(jīng)網(wǎng)絡(luò)——全卷積神經(jīng)網(wǎng)絡(luò)，由于FCN能夠?qū)D像進(jìn)行端對端、像素對像素的訓(xùn)練且輸入圖像可以是任意大小，所以被廣泛應(yīng)用到語義分割的領(lǐng)域.

簡單的卷積神經(jīng)網(wǎng)絡(luò)在卷積層后面往往會通過全連接層得到固定長度的特征向量，然后會使用類似于Softmax等函數(shù)對結(jié)果進(jìn)行分類，因此CNN(convolutional neural networks)只能輸入固定尺寸的圖像.而FCN可以輸入任意尺寸的圖片，網(wǎng)絡(luò)在最后使用反卷積層替換全連接層，對特征圖進(jìn)行上采樣，然后模型會對恢復(fù)到輸入時(shí)原始尺寸大小的圖像的每一個(gè)像素產(chǎn)生預(yù)測值，并逐個(gè)像素地分類.FCN通過上、下采樣的策略還可以保留圖像中的空間信息.

通過將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中的全連接層換作相同維度的卷積核進(jìn)行卷積操作就轉(zhuǎn)化成為了一個(gè)簡單的FCN.將CNN中的全連接層換成了卷積層，即可得到一個(gè)簡單的FCN，這樣分類網(wǎng)絡(luò)就可以輸出熱力圖.

2.2 遷移學(xué)習(xí)

隨著基礎(chǔ)特征提取網(wǎng)絡(luò)性能的提升，近幾年大多數(shù)網(wǎng)絡(luò)都會對在ImageNet數(shù)據(jù)集上訓(xùn)練好的分類網(wǎng)絡(luò)進(jìn)行微調(diào)，作為新網(wǎng)絡(luò)的backbone，常用到的分類網(wǎng)絡(luò)有VGGNet和ResNet.充足的數(shù)據(jù)是深度卷積神經(jīng)網(wǎng)絡(luò)能夠訓(xùn)練成功的關(guān)鍵要素之一，但收集和標(biāo)注數(shù)據(jù)需要耗費(fèi)大量的人力和時(shí)間，因此將在其他公共數(shù)據(jù)集上訓(xùn)練得到的模型遷移到一個(gè)新的任務(wù)中是非常有意義的.

隨著卷積層深度的增加，卷積層提取到的特征具有更加抽象的意義，即淺層卷積層提取更加通用的特征，而深層卷積層則提取到更加全面、有針對性的特征.所以在面對關(guān)聯(lián)性不大的數(shù)據(jù)集合場景時(shí)，可以只用最開始的幾層卷積層，其他層重新訓(xùn)練，而對于相似度高的情況，則可以直接使用整個(gè)網(wǎng)絡(luò).

本研究將提取VGG-19的前13層為整體網(wǎng)絡(luò)的提取輸入的圖像特征，另外為了調(diào)整特征輸出維度，在該網(wǎng)絡(luò)的最后添加卷積層Conv4_3A和Conv4_4A，調(diào)整最終輸出特征圖的維度，如表1所示.

表1 本研究使用的VGG-19網(wǎng)絡(luò)結(jié)構(gòu)表

表1中：Conv為卷積層,后面的序號為層數(shù)；Max Pooling(MP)為最大池化層.這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)一共包括15層，其中卷積層的卷積核大小都是3*3.另外，公開的姿態(tài)估計(jì)訓(xùn)練數(shù)據(jù)集COCO等所包含的圖像都是以日常生活中的人為主體.由于本研究是針對駕駛環(huán)境，與公共數(shù)據(jù)集相比，人體結(jié)構(gòu)一致，所以不用改變輸出類型和網(wǎng)絡(luò)的輸出層，將網(wǎng)絡(luò)先在公開數(shù)據(jù)集上進(jìn)行訓(xùn)練，隨后保持網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重不變，再在新的數(shù)據(jù)集上進(jìn)行第2次訓(xùn)練，微調(diào)權(quán)重使其更加適應(yīng)駕駛環(huán)境.

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

FCNf網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中： US為上采樣層；BN為批規(guī)范層.網(wǎng)絡(luò)在每個(gè)階段的后面對損失函數(shù)進(jìn)行中繼監(jiān)督，防止梯度消失.

圖2 FCNf網(wǎng)絡(luò)結(jié)構(gòu)示意圖

將FCN1與FCN2并聯(lián)得到FCNf，該網(wǎng)絡(luò)可以同時(shí)對關(guān)節(jié)點(diǎn)位置信息和關(guān)節(jié)點(diǎn)之間的連接進(jìn)行預(yù)測得到圖像中每個(gè)像素對于關(guān)節(jié)點(diǎn)的置信度，即每個(gè)像素可能是關(guān)節(jié)點(diǎn)k的概率值.在FCN1和FCN2中設(shè)置High-to-Low和Low-to-High的沙漏結(jié)構(gòu)，使特征圖被處理為非常低的分辨率后通過上采樣操作回到特征圖的原始大小，提取更為有效的特征信息.FCN1和FCN2學(xué)習(xí)并融合不同尺度下的特征圖信息，得到豐富的空間信息.

在第1階段(FCN1-stage1、FCN2-stage1)，F(xiàn)CN1和FCN2經(jīng)過多層卷積核為3*3的卷積層后，通過Max Pooling操作使特征圖尺寸減半，在達(dá)到最小分辨率后，使用上采樣恢復(fù)特征圖到原始大小.WEI S. E.等[10]通過試驗(yàn)發(fā)現(xiàn)，隨著感受野的增大，預(yù)測準(zhǔn)確率上升，其中增大感受野的方式包括：① 增大池化層(Pooling)步長，但是會損失較多信息降低精度；② 增大卷積核，相應(yīng)地會增大參數(shù)量；③ 增加卷積層.綜上，自第2階段(FCN1-stage2、FCN2-stage2)開始采用卷積核為7*7的卷積層擴(kuò)大感受野，適當(dāng)加深網(wǎng)絡(luò)層數(shù)并且在每一個(gè)stage中添加上、下采樣操作，通過這樣的設(shè)計(jì)提高網(wǎng)絡(luò)的學(xué)習(xí)效率.

3 試 驗(yàn)

3.1 數(shù)據(jù)集

采用多人人體姿態(tài)估計(jì)使用的數(shù)據(jù)集COCO.COCO數(shù)據(jù)集是微軟2014年制作的數(shù)據(jù)集，COCO競賽是計(jì)算機(jī)視覺領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一.COCO數(shù)據(jù)集包括20萬張圖片，25萬個(gè)關(guān)節(jié)點(diǎn)，每人有17個(gè)關(guān)節(jié)點(diǎn)，包括鼻子(Nose)、左眼(Left_eye)、右眼(Right_eye)、左耳(Left_ear)、右耳(Right_ear)、左肩膀(Left_shoulder)、右肩膀(Right_shoulder)、左肘(Left_elbow)、右肘(Right_elbow)、左手腕(Left_wrist)、右手腕(Right_wrist)、左臀(Left_hip)、右臀(Right_hip)、左膝蓋(Left_knee)、右膝蓋(Right_knee)、左腳踝(Left_ankle)、右腳踝(Right_ankle).標(biāo)簽中每一個(gè)keypoint表示1個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)，它由長度為3的數(shù)組(x，y，v)表示，其中：x和y表示關(guān)節(jié)點(diǎn)的坐標(biāo)值；v作為一個(gè)標(biāo)志符，取值為0、1和2.當(dāng)v=0時(shí)，表示圖像中沒有該關(guān)節(jié)點(diǎn)；v=1時(shí)，表示該關(guān)節(jié)點(diǎn)存在，但是被遮擋；v=2時(shí)，表示該關(guān)節(jié)點(diǎn)在圖像中存在并可見.COCO數(shù)據(jù)集部分?jǐn)?shù)據(jù)展示如圖3所示.

圖3 COCO數(shù)據(jù)集展示

制作針對駕駛環(huán)境的數(shù)據(jù)集——DDS數(shù)據(jù)集，部分?jǐn)?shù)據(jù)展示如圖4所示.數(shù)據(jù)均來自江蘇比特達(dá)車輛監(jiān)控平臺，根據(jù)駕駛室環(huán)境的密閉性、局限性和拍攝難度大等問題，數(shù)據(jù)統(tǒng)一采集來自駕駛員右側(cè)攝像頭的圖像，因?yàn)檫@一角度更能全面展示人員在駕駛室內(nèi)的姿態(tài)狀態(tài)，可以避免忽略駕駛員下半身的姿態(tài)，比如翹腿和盤腿等危險(xiǎn)姿態(tài).搜集了3 300張、1 280×720像素的圖片，其中2 640張作為訓(xùn)練集，再從訓(xùn)練集中另取500張作為驗(yàn)證集，剩下的660張作為測試集.

圖4 DDS數(shù)據(jù)集部分實(shí)例

3.2 試驗(yàn)設(shè)置

使用深度學(xué)習(xí)框架keras作為試驗(yàn)平臺，設(shè)備的系統(tǒng)為Ubuntu16.04，具有GeForce GTX 1080Ti，Intel Core i7，8 GB RAM.使用 ImageNet分類任務(wù)上提前訓(xùn)練好的VGG-16模型作為特征提取網(wǎng)絡(luò).模型一共6個(gè)stage，設(shè)置輸入圖片大小為368×368×3.在訓(xùn)練階段，使用隨機(jī)梯度下降優(yōu)化算法(stochastic gradient descent，SGD)對參數(shù)θ進(jìn)行優(yōu)化，其中學(xué)習(xí)率設(shè)置為2×10-5，動量參數(shù)設(shè)置為0.9.

3.3 性能評價(jià)指標(biāo)

使用微軟COCO數(shù)據(jù)集提出的精度度量標(biāo)準(zhǔn)OKS(object keypoint similarity)作為性能評價(jià)指標(biāo)，計(jì)算公式如下：

式中：di為每個(gè)對應(yīng)的標(biāo)簽真值與檢測到的關(guān)鍵點(diǎn)之間的歐式距離；s為目標(biāo)尺度；ki為常數(shù)，用于控制關(guān)鍵點(diǎn)i的衰減情況；δ為將可見點(diǎn)選出來進(jìn)行計(jì)算的函數(shù)；vi為地面真值的可見性標(biāo)志.

3.4 試驗(yàn)結(jié)果與分析

采用Fast-RCNN、CMU Pose(Carnegie Mellon University pose)、FCNf，在公共數(shù)據(jù)集COCO上進(jìn)行性能對比試驗(yàn)，結(jié)果如表2所示.其中：mAP為平均準(zhǔn)確度；AP@0.50為OKS=0.50時(shí)，AP的得分；AP@0.75為OKS=0.75時(shí)，AP的得分；APm為針對中等尺度目標(biāo)的得分；APl為針對大尺度目標(biāo)的得分；AR為平均召回率，是OKS=0.50,0.55,…,0.95時(shí)的平均得分.

表2 在數(shù)據(jù)集COCO上的性能比較 %

在數(shù)據(jù)集COCO上，CMU Pose的平均準(zhǔn)確度(mAP)達(dá)到61.8%；FCNf的平均準(zhǔn)確度(mAP)達(dá)到了64.5%，比CMU Pose更有效.2種算法的試驗(yàn)結(jié)果對比如圖5所示.

圖5 2種算法在COCO數(shù)據(jù)集上的可視化對比

從圖5可以看出，提出的算法(FCNf)能更好地克服光線變化的問題，并在一定程度上減少了關(guān)節(jié)點(diǎn)的錯(cuò)誤檢測.

為了更好地評估FCNf的性能，在DDS數(shù)據(jù)集上與Fast-RCNN、CMU Pose進(jìn)行性能對比試驗(yàn)，結(jié)果如表3所示.

表3 在DDS測試集上的性能比較 %

網(wǎng)絡(luò)中通過將不同尺度的特征與上下文語義信息融合在一起，有效提高關(guān)節(jié)點(diǎn)的檢測精度.從表3 可以看出：提出的算法在車載數(shù)據(jù)集上的精度得到了提高，F(xiàn)CNf 的AR比CMU Pose的高1.2%，比Fast-RCNN的高約4.8%；FCNf在DDS上的平均準(zhǔn)確度(mAP)為78.4%，F(xiàn)CNf 的平均準(zhǔn)確度(mAP)比CMU Pose的高4.3%，比Fast-RCNN的高5.8%.

從DDS測試集中選取4組具有代表性的圖片，并使用CMU Pose與FCNf進(jìn)行對比分析，結(jié)果如圖6、7所示.

圖6 CMU Pose在DDS測試集上的可視化結(jié)果

從圖6a、7a可以看出，CMU Pose對左腿有漏檢現(xiàn)象，并且在背景中出現(xiàn)了一些誤檢點(diǎn)，而FCNf對左腿沒有出現(xiàn)漏檢現(xiàn)象.從圖6b、7b、6d、7d可以看出，當(dāng)室內(nèi)環(huán)境變得更加復(fù)雜時(shí)，相比CMU Pose而言，F(xiàn)CNf可以準(zhǔn)確地檢測出關(guān)節(jié)點(diǎn)的位置，減少了在背景中對虛假關(guān)節(jié)點(diǎn)的檢測現(xiàn)象.從圖6c、7c可以看出，F(xiàn)CNf不僅可以準(zhǔn)確檢測出靠近窗口的左臂的關(guān)節(jié)點(diǎn)以及它們之間的連接信息，而且可以在光照變化條件下有效地過濾背景信息.在復(fù)雜環(huán)境和光照條件下，F(xiàn)CNf比CMU Pose對DDS圖像的處理更高效.

從圖7可以看出，F(xiàn)CNf算法可以有效減少非目標(biāo)區(qū)域的誤判，準(zhǔn)確地標(biāo)記出圖像中未被遮擋的人體關(guān)節(jié)位置.

圖7 FCNf在DDS測試集上的可視化結(jié)果

為了驗(yàn)證FCNf的魯棒性，從Kaggle Community中提取State Farm駕駛員檢測數(shù)據(jù)集中的部分駕駛員右側(cè)圖片.采用CMU Pose和FCNf進(jìn)行試驗(yàn)，對比結(jié)果如圖8所示，CMU Pose的檢測結(jié)果出現(xiàn)細(xì)節(jié)丟失和錯(cuò)誤判斷，然而FCNf 可以更準(zhǔn)確地檢測圖像中未被遮擋的關(guān)節(jié)點(diǎn)，并有效地過濾掉背景噪音，這表明FCNf模型具有更好的魯棒性.

圖8 2種算法在Kaggle Community的State Farm駕駛員檢測數(shù)據(jù)集上的試驗(yàn)結(jié)果對比

4 結(jié) 論

提出了一種基于雙流全卷積神經(jīng)網(wǎng)絡(luò)的駕駛員人體姿態(tài)估計(jì)方法.為了增強(qiáng)網(wǎng)絡(luò)提取特征圖關(guān)鍵信息的能力，在2個(gè)分支中設(shè)置沙漏狀的網(wǎng)絡(luò)結(jié)構(gòu)，并將不同網(wǎng)絡(luò)層得到的特征圖進(jìn)行融合.試驗(yàn)結(jié)果表明，該方法對人體關(guān)節(jié)點(diǎn)的正確識別率高，可以在一定程度上減少非目標(biāo)區(qū)域?qū)z測結(jié)果的影響.通過采集車載平臺上的數(shù)據(jù)對算法進(jìn)行訓(xùn)練，使得試驗(yàn)效果與車載環(huán)境更貼切.未來如何將算法移植到硬件設(shè)備中投入使用并保持較高的準(zhǔn)確率是研究的重點(diǎn).