面向無人車安全的行人姿態(tài)估計

朱常杰 冉浩祥 何大鵬 重慶交通大學(xué)

1 介紹

無人車技術(shù)成為近年交通行業(yè)研究熱點，目前無人車技術(shù)的研究分為2 種思路：一種是以單車為智能體，解決單車對環(huán)境的感知；另一種是車路協(xié)同為主的無人車技術(shù)。這兩種無人車技術(shù)都將行人檢測作為智能汽車外部環(huán)境感知中的核心技術(shù)之一。當(dāng)前行人檢測主要通過計算機(jī)視覺技術(shù)來判斷圖像或者視頻序列中是否存在行人并給予定位，但這類方法只能夠檢測到行人的2D 位置，而無法判斷識別行人3D 姿態(tài)，其應(yīng)用受到一些限制。

在無人駕駛技術(shù)領(lǐng)域，如能實時檢測到行人3D 姿態(tài)，并對人體姿態(tài)信息進(jìn)行快速判斷識別(如行人打車、揮手等典型動作、交警指揮動作等)，則能有效提升無人駕駛汽車的智能化水平。

針對這一需求，本文采用一種面向無人駕駛的交通行人姿態(tài)檢測和估計方法，該方法利用人體多種參數(shù)信息，采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和人體形狀模型(SMPL)從圖像中自動估計人體3D 姿態(tài)，主動識別人體行為狀態(tài)。利用分層式優(yōu)化實時計算求解行人的3D 姿態(tài)，能夠無人車對行人姿態(tài)判斷的準(zhǔn)確性、實時性要求，有力保證無人車行駛安全。

2 相關(guān)工作

2.1 訓(xùn)練數(shù)據(jù)集的準(zhǔn)備

關(guān)于人體姿態(tài)估計的研究目前主要側(cè)重于人體肢體動作研究與人體朝向研究兩類。其中，人體肢體動作研究側(cè)重于動作分析，通過獲得人體四肢的關(guān)節(jié)點的信息并利用DCNN 網(wǎng)絡(luò)學(xué)習(xí)人體部位的條件概率分布及其在空間的分布關(guān)系。但此方法對圖片清晰度要求較高，且由關(guān)節(jié)點信息訓(xùn)練得到關(guān)于人體朝向的信息較為困難。在實際的行車過程中，由于路況等原因，車輛的抖動是無法避免的，且高速行進(jìn)中的車輛需要針對遠(yuǎn)處的行人提前做出預(yù)判，則由攝像頭獲得的圖像質(zhì)量并不高，行人在圖片中尺寸較小。故對行人的預(yù)測則需要主要由人體的朝向進(jìn)行預(yù)測。針對上述情況，本文聚焦于人體朝向研究，將大量低分辨率的人體姿態(tài)灰度圖片作為數(shù)據(jù)集進(jìn)行訓(xùn)練預(yù)測。

當(dāng)行人在朝著一個方向移動時，根據(jù)其身體的姿勢與轉(zhuǎn)向我們往往能判斷他的下一步行動意圖。對于人的姿態(tài)識別估計，本文將人的朝向分為8 個方向，每個方向范圍為45 度，從而將人的姿態(tài)問題變成一個分類問題。這樣能較為準(zhǔn)確的預(yù)測行人的行動方向。

圖1 8 種不同行人姿態(tài)

如上圖所示，將人體正面朝向從0 度到360 度以45 度為間隔分為8 類，代表了人體的8 種行走特征，并以0—7 的標(biāo)簽對應(yīng)。本文使用20000 張人體姿態(tài)灰度圖片，根據(jù)圖片中人體的姿態(tài)朝向，將人體分至對應(yīng)的8 個文件夾，同一文件夾的圖片具有統(tǒng)一的特征并對應(yīng)同一標(biāo)簽值。最后編寫Matlab 腳本文件，將各個圖片的路徑與標(biāo)簽值讀入excel 中，以便CNN 網(wǎng)絡(luò)根據(jù)路徑與標(biāo)簽值進(jìn)行訓(xùn)練。

3 卷積神經(jīng)網(wǎng)絡(luò)

本文利用CNN 對行人方向進(jìn)行分類，圖1 顯示了8 種不同的行人身體朝向。首先將數(shù)據(jù)集進(jìn)行分類，進(jìn)行監(jiān)督學(xué)習(xí)，然后將其將其分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。然后將訓(xùn)練數(shù)據(jù)規(guī)范化為一樣的大小、進(jìn)行歸一化，最后將其送入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。然后對測試數(shù)據(jù)集進(jìn)行同樣的操作，送入訓(xùn)練好的分類器中，系統(tǒng)框圖如圖2 所示。

圖2 CNN 系統(tǒng)框圖

CNN 是一個層次化的結(jié)構(gòu)，每一層都有輸入向量和輸出向量。除去輸入層之外，結(jié)構(gòu)中主要有卷積層、池化層、dropout 層、全連接層和SoftMax 層。

卷積層中卷積操作就是一個濾波的過程，每一個卷積核都可以提取一定的特征。假設(shè)輸入圖像維度為濾波器維度為卷積步長為s，padding 大小為p，那么輸出維度可以計算為：

池化層通過降低空間分辨率對輸入向量進(jìn)行采樣。我們采用的是最大池化，即取局部接受域中值最大的點。表示大小為的池化結(jié)果，其中包含對應(yīng)區(qū)域的最大值。

為了消除梯度消失的情況，我們采用的是Relu 函數(shù)，其表達(dá)式為：

為了解決里神經(jīng)網(wǎng)絡(luò)存在的訓(xùn)練時間長和過擬合問題，我們引進(jìn)了dropout。Dropout 就是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時候，按照一定的比例丟棄一些神經(jīng)元來進(jìn)行訓(xùn)練。

我們參考Raza 設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計的CNN 結(jié)構(gòu)如圖3 所示。輸入層圖像尺寸為64×64×1，1 表示圖像為單通道圖像，從RGB 三通道中隨機(jī)選擇一個通道。

圖3 CNN 分層結(jié)構(gòu)

我們一共使用了5 個卷積層，其卷積核大小如下：C1 到C5 的卷積核尺寸分別為11×11,9×9,7×7,5×5,3×3。卷積層C1 到C5 的步長均為1。我們采用的是最大池化操作。池化層中P1是3×3 的池化操作，而P2 到P4 使用2×2 的池化操作。

為了避免過擬合，在全連接層之前應(yīng)用dropout 層D。層R1 和R2 使用ReLU 變換來引入線性映射的非線性。最后應(yīng)用SoftMax層進(jìn)行預(yù)測。

4 結(jié)果和討論

由于設(shè)備不足以支撐如此大的計算量，我們到網(wǎng)上租用了GPU云平臺來訓(xùn)練模型。其配置為酷睿i5，顯卡為TITAN XP，顯存大小為12G，內(nèi)存也為12G。我們對數(shù)據(jù)集進(jìn)行小批量的訓(xùn)練，每批為256。學(xué)習(xí)率選擇為8e-5,L2 正則化參數(shù)和dropout 參數(shù)分別為4e-4、0.9。我們所選的epoch 為50，在訓(xùn)練過程中，模型在40 個epoch 已經(jīng)收斂了。

表1 混淆矩陣