人機混駕環(huán)境下基于深度學習的車輛切入*

郭景華，何智飛，羅禹貢，李克強

（1. 廈門大學航空航天學院，廈門 361005；2. 清華大學車輛與運載學院，北京 100084）

前言

當今，國內(nèi)外掀起了一股自動駕駛汽車的發(fā)展浪潮，無論是傳統(tǒng)車企還是互聯(lián)網(wǎng)公司，都把目光聚焦于自動駕駛領域。美國勒克斯研究公司的一項報告顯示，預計到2030年全球范圍內(nèi)將售出1.2 億輛自動駕駛汽車，這表明在未來很長一段時間內(nèi)，自動駕駛車輛將長期在人工駕駛車輛與自動駕駛車輛混合的交通環(huán)境下運行。人機混駕環(huán)境下，由于人工駕駛車輛駕駛?cè)说鸟{駛風格的差異與人類意圖的不確定性，無人駕駛車輛難以準確地預測人工駕駛車輛的行為，從而造成交通系統(tǒng)安全隱患的存在。據(jù)一項調(diào)查顯示，90%以上的車禍是由人為錯誤造成的，而變道一直被認為是造成交通事故的主要因素之一。如果能夠準確預測周圍車輛的切入軌跡便可以提前規(guī)劃安全的行駛路徑，從而有效減少交通事故的發(fā)生。

近年來主流的軌跡預測方法是基于數(shù)據(jù)驅(qū)動的軌跡預測。Schreier 等提出了一種基于動態(tài)貝葉斯網(wǎng)絡的長期軌跡預測方法。Laugier 等使用隱馬爾可夫模型和高斯過程進行短期預測。Wiest等提出了一種基于高斯混合模型的概率軌跡預測方法。這些預測模型屬于經(jīng)典機器學習范疇，它們有著一些難以克服的缺點，模型非常雜，容易受到外部環(huán)境的影響，較長時域的軌跡預測精度較低，預測效果有待提升。

隨著人工智能的快速發(fā)展，基于深度學習的軌跡預測方法被廣泛使用并取得較好的效果。長短期記憶（LSTM）網(wǎng)絡作為循環(huán)神經(jīng)網(wǎng)絡的一類，對于時間序列問題的處理非常有效，因此被廣泛用于軌跡預測。Xing等提出了一種基于LSTM 的個性化聯(lián)合時間序列建模方法來預測聯(lián)網(wǎng)車輛的軌跡。Messaoud等基于LSTM 的編碼器解碼器框架提出了一種采用多注意力頭機制來強調(diào)相鄰車輛的作用以提高軌跡的預測精度。Xie 等提出了一種結(jié)合了卷積神經(jīng)網(wǎng)絡和LSTM 網(wǎng)絡的模型進行軌跡預測。然而，目前關于鄰車切入場景下的研究較少，且多數(shù)集中在意圖預測。且現(xiàn)有研究大多數(shù)使用國外的公開數(shù)據(jù)集，針對我國自然駕駛數(shù)據(jù)集相關的研究并不多，不同地域的交通狀況可能造成預測結(jié)果的差異。

綜上所述，本文中以車輛切入軌跡為研究對象，提出了基于深度學習的改進型Bi-LSTM軌跡預測模型。采用符合我國道路狀況的自然駕駛數(shù)據(jù)集來進行訓練和測試，該數(shù)據(jù)集包含了國內(nèi)多個省市的人工駕駛車輛行駛數(shù)據(jù)，有助于人機混駕環(huán)境下對車輛軌跡的研究。首先，對采集的大規(guī)模數(shù)據(jù)集進行預處理，使用Savitzky-Golay 濾波器平滑數(shù)據(jù)集噪聲，并根據(jù)準則提取車輛切入片段，建立車輛切入數(shù)據(jù)集。其次，考慮車輛的相互作用以提高模型的預測效果，提出改進型Bi-LSTM軌跡預測模型。最后，分別在自然駕駛數(shù)據(jù)集和NGSIM 數(shù)據(jù)集上進行試驗，與其它模型進行對比，驗證了所提出預測模型的有效性。

1 車輛切入數(shù)據(jù)集的建立

1.1 自然駕駛數(shù)據(jù)

本文中采用的數(shù)據(jù)集為“中國汽研自然駕駛數(shù)據(jù)研究（CAERI-NDS）”項目采集的自然駕駛數(shù)據(jù)。該項目在國內(nèi)多個省市進行了大規(guī)模的駕駛數(shù)據(jù)采集，自2017年年底到現(xiàn)在已累計采集10 萬km 級的自然駕駛數(shù)據(jù)。試驗車配置的數(shù)據(jù)采集設備有攝像機、毫米波雷達和GPS 等傳感器，可以獲取到自車行駛數(shù)據(jù)、周圍目標車輛信息等，采樣頻率為25 Hz。自車行駛數(shù)據(jù)由車輛的CAN總線獲取，包括自車的速度、加速度、轉(zhuǎn)向盤轉(zhuǎn)角等；周圍目標車輛的信息由攝像頭、雷達等采集，包括目標車輛的速度、加速度和與自車的間距等。

1.2 數(shù)據(jù)預處理

為了降低后續(xù)的運算成本，首先對試驗數(shù)據(jù)進行降采樣，采樣頻率降低一倍。駕駛數(shù)據(jù)在采集的過程中難免會受到一些特殊因素的影響，如光環(huán)境條件的影響和設備條件的影響等。這些因素可能會導致采集數(shù)據(jù)的不完整或不準確，從而對試驗造成不可預測的后果。所以在利用數(shù)據(jù)之前，必須對數(shù)據(jù)集中存在的缺失值和噪聲等問題進行加工處理。

由于車輛軌跡具有時間特性，所以結(jié)合最近鄰填補法和插值法對缺失值進行填補。針對駕駛數(shù)據(jù)集中存在的噪聲，對其進行濾波處理。Savitzky-Golay 濾波器是一種在時域內(nèi)基于多項式最小二乘法擬合的方法，在濾波的同時可確保信號的形狀和寬度不變，被廣泛應用于數(shù)據(jù)的平滑去噪。本文中采用Savitzky-Golay 濾波器對自然駕駛數(shù)據(jù)的噪聲進行濾波處理，其表達式為

式中：()為處理后的數(shù)據(jù)，= -，…，0，…，；為總的誤差平方和；()為未經(jīng)處理的數(shù)據(jù)；≤2；= 0，1，2，…，。

圖1 所示為數(shù)據(jù)集中車輛的速度和加速度濾波前后的效果?？梢钥闯鲞^濾之后的數(shù)據(jù)變得更加的平滑。

圖1 濾波效果

1.3 車輛切入場景片段提取

車輛的切入時機和切入速度等受目標車道上車輛（主車）的影響。車輛切入場景主要包含主車道上的一個主車和相鄰車道上想要切入主車道的一個目標車輛。圖2 所示為人機混駕環(huán)境下車輛切入場景示意圖，黃色AV 表示主車道上的無人駕駛車輛，藍色HV 表示可能切入主車道的人工駕駛車輛；此時，藍色HV 未來軌跡的不確定性可能使黃色AV 生成錯誤的決策，造成車輛碰撞。

圖2 人機混駕環(huán)境下車輛切入場景

基于上述定義的切入場景，從自然駕駛數(shù)據(jù)集中提取符合條件的切入場景片段相關數(shù)據(jù)。首先定義坐標系以確定切入目標車輛和主車的位置，以主車輛所在車道的中心線為基準作縱軸，以垂直于縱軸的方向作橫軸，過歷史觀測序列中第一個時間步主車所在軌跡點作垂線垂直車道中心線，以垂點為坐標系的原點，以沿車輛前進的方向為縱軸正方向。以面向車輛前進方向的左側(cè)為橫軸的正方向。通過采集數(shù)據(jù)可先確定主車的坐標，之后再根據(jù)主車與目標車輛的相對距離確定目標切入車輛的坐標位置。建立的坐標系如圖3所示。

圖3 軌跡片段坐標系

Deo 等提出車輛變道包括準備階段和穩(wěn)定階段，若車輛在時刻處于換道點，定義時間區(qū)間±4 s上的軌跡為變道狀態(tài)；受此啟發(fā)，并設定若提取軌跡片段最后一個時間節(jié)點落入時間區(qū)間±3.2 s 內(nèi)，則該軌跡片段記為切入場景片段。選取每7.2 s 的切入軌跡片段作為一個訓練樣本，其中將前4 s的數(shù)據(jù)作為歷史軌跡數(shù)據(jù)，后3.2 s的數(shù)據(jù)作為未來軌跡數(shù)據(jù)，樣本的一個時間步長為0.08 s。根據(jù)所建立的坐標系提取切入場景片段，提取準則如下。

（1）計算每個時間步的車輛位移，舍去一個時間步內(nèi)位移大于3 m 的車輛軌跡；由于研究的是切入場景，并重點關注車輛的橫向位移，故舍去一個時間步內(nèi)橫向位移大于0.2 m的車輛軌跡。

（2）根據(jù)歷史軌跡信息預測未來軌跡需要足夠長度的軌跡片段信息，在此舍去持續(xù)時間不足10 s的軌跡片段。

（3）求出切入車輛軌跡和車道線的交點，將其定為切入點，然后沿時間軸方向采樣40 個時間步，沿時間軸反方向采樣129 個時間步（至少要滿足50 個時間步，以符合切入場景片段的定義），將這個時段的車輛軌跡定為一個切入場景片段。

1.4 車輛切入數(shù)據(jù)集

由上述的切入場景片段提取準則，共提取了543 個場景片段。采用滑動時窗的方法提取指定長度的序列，以最大限度地利用所提供的數(shù)據(jù)。設定滑動時間窗口為0.4 s，從每個片段第一個時間點開始，每次更新時向后滑動5 個采樣點。設截取序列的長度為，即每次滑動提取的序列都有-5個采樣點的信息，提取示意圖如圖4 所示。采用上述方法對所有軌跡進行軌跡片段的提取，取90，即每個序列包含90個軌跡點。從切入場景片段中篩選出7092 個樣本序列，同時從自然駕駛數(shù)據(jù)集中篩選了4321 個車道保持的樣本序列。從切入場景類型數(shù)據(jù)集中隨機選取4321 個序列，使兩者數(shù)量比為1∶1。將這共8642 個序列作為整個數(shù)據(jù)集，并用z-score方法對其進行歸一化：

圖4 序列提取

式中：為歸一化之前的原始數(shù)據(jù)；ˉ為原始數(shù)據(jù)的均值；為原始數(shù)據(jù)的標準差；x為歸一化之后的數(shù)據(jù)。

在試驗中，共選擇了11 個特征作為輸入，同時選擇在預測目標車輛軌跡點的縱向和橫向坐標共2 個特征作為輸出。將上述經(jīng)歸一化處理后的樣本序列作為整個數(shù)據(jù)集，為了方便觀察訓練過程，按8∶1∶1 的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集。

2 切入軌跡預測模型

2.1 輸入特征

車輛切入軌跡預測模型的輸入特征的選取對于預測的準確性來說是至關重要的。對于目標車輛的短期未來軌跡預測而言，它的歷史軌跡特別是靠近當前時間點的部分具有更有效的信息特征。另一方面，車輛之間存在相互作用，周圍車輛的行為也會對目標車輛的未來運動軌跡造成影響。因此，選取的輸入特征包含以下兩個部分。

（1）目標車輛的信息：目標車輛的縱向坐標、橫向坐標、速度和加速度，車輛相對于自車的方向角和方向角速度。

（2）相互作用的信息：目標車輛與自車的相對縱向距離、相對橫向距離、相對縱向速度、相對橫向速度、相對縱向加速度。

因此，輸入特征的信息可表示為

其中

式中：t為觀測歷史序列的時間長度，為4 s；T為目標車輛的信息；I為目標車輛與自車相互作用的信息；x、y分別為目標車輛的縱向坐標和橫向坐標；v為目標車輛的速度；a為目標車輛的加速度；θ和˙分別為目標車輛相對于自車的方向角和方向角速度；Δx和Δy分別為目標車輛與自車的相對縱向距離和橫向距離；Δv和Δv分別為目標車輛與自車的相對縱向速度和相對橫向速度；Δa為目標車輛與自車的相對縱向加速度。

2.2 LSTM 模型結(jié)構(gòu)

循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）是重要神經(jīng)網(wǎng)絡模型之一，它常被用來處理有關時序的數(shù)據(jù)。長短期記憶網(wǎng)絡（long short term memory，LSTM）是RNN 的一個改進模型，它早在1997年就被提出來了，主要是用來彌補RNN 無法處理長期依賴問題的缺陷。因此LSTM 較RNN 在實際應用場合中有著更多的應用。LSTM 引入門控機制來約束信息的流動以此來保留有用的關聯(lián)信息。細胞狀態(tài)是LSTM 的關鍵，它代表著某個時刻存儲的信息，表示細胞狀態(tài)的這條線水平穿過單元的頂部。一個LSTM 單元主要由輸入門、遺忘門和輸出門這3個門控單元組成：輸入門決定要添加哪些信息；遺忘門決定丟棄和保留哪些歷史信息；輸出門決定要輸出信息的哪些部分。LSTM 的單元結(jié)構(gòu)如圖5所示。

圖5 LSTM單元結(jié)構(gòu)

LSTM具體的數(shù)學表達式為

2.3 改進型Bi-LSTM 模型

單向LSTM 根據(jù)前面多個時刻的輸入來預測下一刻的輸出，但很多情況下預測需要由前面的若干個時刻輸入和后面若干個時刻輸入共同來決定。雙向長短期記憶（bi-directional long short term memory，Bi-LSTM）在LSTM 模型的基礎上添加一個LSTM 反向?qū)?，把前向和反向的隱藏層向量拼接（concat）起來，它最后的輸出是前向?qū)雍头聪驅(qū)釉诿總€時刻的綜合輸出。因此它可以充分利用上下文的信息，來提高時間序列預測結(jié)果的準確性。其網(wǎng)絡結(jié)構(gòu)如圖6所示。

圖6 LSTM單元結(jié)構(gòu)圖

Bi-LSTM模型輸出的數(shù)學表達式可表達為

式中：y為時刻的輸出；h 為前向?qū)覮STM 在時刻的輸出；h為反向?qū)覮STM在時刻的輸出。雖然LSTM 能克服RNN 存在的梯度消失的問題，但是在深層網(wǎng)絡中梯度消失仍然存在。在神經(jīng)網(wǎng)絡能收斂的前提下，隨著網(wǎng)絡深度的增加，會出現(xiàn)一種退化問題，也就是當網(wǎng)絡變得越來越深時，訓練的準確率會趨于平緩，但訓練誤差會變大。為了解決這種退化的現(xiàn)象，殘差網(wǎng)絡（residual network，ResNet）被提出。受ResNet 的啟發(fā)，引入快捷連接，將輸入層的信息通過1 層全連接層傳輸?shù)胶罄m(xù)層，以此來減少梯度消失和網(wǎng)絡退化的問題。

最終的改進型LSTM 車輛切入軌跡預測模型主要由4 個部分組成：輸入層、Bi-LSTM 層、全連接層和輸出層。歷史軌跡輸入信息由輸入層輸入，通過Bi-LSTM 層進行預測獲得預測結(jié)果，再把預測結(jié)果結(jié)合從輸入層通過1 層全連接層直接傳輸?shù)男畔⒔Y(jié)合起來，經(jīng)過RELU 激活函數(shù)變換，最后通過1 層全連接層進行線性映射，由輸出層獲得輸出結(jié)果，將輸出結(jié)果反歸一化后獲得預測位置坐標。

Bi-LSTM 層數(shù)為3，Dropout 率設為0.3，每層隱藏單元數(shù)為256。訓練采用Adam 優(yōu)化器，學習率設為0.001。模型如圖7 所示，RELU 是常用的激活函數(shù)。

圖7 改進型Bi-LSTM網(wǎng)絡

模型輸出的表達式可表達為

式中：為當前時刻；t為預測未來序列的時間長度；x、y分別為時刻目標車輛的縱向坐標和橫向坐標。

3 驗證與分析

3.1 試驗設置

本文采用平均位移誤差（average displacement error，ADE）和 最 終 位 移 誤 差（final displacement error，F(xiàn)DE）來評價軌跡預測模型。ADE 表示預測窗口中所有預測位置與實際位置的平均歐式距離（mean euclidean distance，MED），F(xiàn)DE 表示預測軌跡末端的最終預測位置與對應的真實位置之間的平均歐式距離。ADE 和FDE 的值越小，預測效果越好。公式為

為了驗證本文提出的預測模型的效果，使用4種網(wǎng)絡與其進行對比，比較各個模型的性能。

（1）LSTM：采用長短期記憶網(wǎng)絡進行軌跡預測。

（2）門控循環(huán)單元（gated recurrent unit，GRU）：RNN 的變種，是為了解決長期記憶和反向傳播中的梯度等問題而提出來的，從結(jié)構(gòu)上來說，GRU 只有兩個門（update gate 和reset gate），它的表現(xiàn)類似于LSTM。GRU的參數(shù)更少，計算成本更低。

（3）Bi-LSTM：雙向LSTM網(wǎng)絡。

（4）Bi-GRU：雙向GRU網(wǎng)絡。

（5）改進型Bi-LSTM：即本文所提出的方法。

通過對比上述幾種模型，來驗證所提出模型的有效性。設置相同的超參數(shù)以便進行對比，如表1所示。

表1 超參數(shù)

3.2 模型訓練及對比

采用1.4 節(jié)獲得數(shù)據(jù)集進行試驗驗證。利用訓練集訓練模型，利用驗證集觀察訓練過程，最后在測試集上對模型進行評估。

損失函數(shù)采用均方誤差（mean squared error，MSE）函數(shù)。使用ReduceLROnPlateau 方法來調(diào)整學習率。當模型訓練過程中的驗證損失值連續(xù)20 個epoch 都沒有降低時，就將學習率調(diào)整為原先的10%，直至學習率低于10時模型停止訓練。用50個時間步長的歷史數(shù)據(jù)來預測未來40 個時間步長的位置。圖8 顯示了各模型在訓練過程中的損失變化趨勢。由300 個epoch 訓練可得：改進型Bi-LSTM收斂速度最快且訓練損失值最低。在最初的100 個epoch 中，各模型的訓練損失值迅速下降，之后進入緩慢收斂階段。

圖8 各模型在訓練過程中的損失變化

驗證結(jié)果如表2 所示。對比評價指標可知，GRU 和Bi-GRU 模型的表現(xiàn)最差，LSTM 和Bi-LSTM模型次之，這表明了LSTM 模型的預測效果比GRU模型更好；雙向模型的評價指標總體小于單向模型，這表明了雙向模型具有更好的預測效果；改進型Bi-LSTM的ADE值和FDE值最小，其中ADE值低于1 m，預測效果最佳。

表2 各模型的評價指標

為進一步驗證本文模型對最終車輛位置的預測能力，繪制了不同時域范圍內(nèi)車輛FDE 的對比圖，如圖9所示。

圖9 各模型不同預測時域FDE值對比

由圖可見：各模型的FDE 值隨預測時域延長而增大，這表明預測時域越長，車輛的最終位置偏差越大；改進型Bi-LSTM 的FDE 值在全時域范圍內(nèi)都小于其他模型，且在3.2 s處的FDE值不到2 m，比其他模型在0.8 s 處的FDE 值還要低，這表明改進型Bi-LSTM對車輛位置的預測能力最好。

為了更直觀地了解切入軌跡預測效果，本文中分別對比了各模型在向左切入和向右切入兩個場景下的預測軌跡，如圖10所示。

從圖10 可以看出，對于切入軌跡的預測結(jié)果而言，預測軌跡的質(zhì)量因模型而異。在兩種切入情況下，改進型Bi-LSTM與真實軌跡最為貼合，這表明本文提出的改進型Bi-LSTM能得到比其他模型更加精準的軌跡。

圖10 切入軌跡預測

3.3 NGSIM 數(shù)據(jù)集驗證

為了測試所提出模型的魯棒性能，本文中還采用美國聯(lián)邦公路管理局NGSIM 項目的車輛軌跡數(shù)據(jù)，選取其中的US-101 數(shù)據(jù)集進行對比試驗。US101 是加利福尼亞州洛杉磯的好萊塢高速公路，檢測路段的數(shù)據(jù)通過高空攝像機采集獲取，采樣頻率為10 Hz，數(shù)據(jù)集提供了車輛的速度、加速度、位置坐標、車道信息等。從數(shù)據(jù)集中提取換道軌跡片段和車道保持片段生成試驗數(shù)據(jù)集，按8∶1∶1 的比例拆分為訓練集、驗證集和測試集。模型訓練之后采用測試集驗證，驗證結(jié)果見表3、圖11 和圖12。

由表3 可得，改進型Bi-LSTM 的ADE 值和FDE值分別為1.366和2.318 m，表明改進型Bi-LSTM 同樣具有最小的ADE值和FDE值。從圖11可以看出，在全時域范圍內(nèi)，NGSIM 數(shù)據(jù)集的FDE 值和自然駕駛數(shù)據(jù)集的FDE 值上升趨勢相同，改進型Bi-LSTM的FDE值仍然小于其他模型。

圖11 各模型不同預測時域內(nèi)FDE的對比

表3 各模型的評價指標

從圖12 可以看出，改進型Bi-LSTM 的預測結(jié)果與真實軌跡的重合度最高，在所有模型中表現(xiàn)最好。

圖12 切入軌跡預測

綜上可知，本文所提出的改進型Bi-LSTM 能較好地適應數(shù)據(jù)集差異所帶來的影響，在NGSIM 數(shù)據(jù)集上同樣具有優(yōu)勢，具有較好的魯棒性。

4 結(jié)論

本文中設計了車輛切入場景提取準則，從自然駕駛數(shù)據(jù)中提取出符合條件的車輛切入場景片段，采用滑動時窗的方法從上述提取出的切入場景片段進行篩選并生成數(shù)據(jù)集，利用此數(shù)據(jù)集對所提出的模型進行訓練和測試。考慮了自車對前方切入車輛未來狀態(tài)的影響，結(jié)合Bi-LSTM 網(wǎng)絡善于學習利用上下文信息的優(yōu)點和in-out 快捷連接有效減少梯度消失和網(wǎng)絡退化的能力，提出了一種人機混駕環(huán)境下基于深度學習的改進型Bi-LSTM模型來預測車輛的切入軌跡的方法。通過試驗結(jié)果的對比分析，可證明所提出的方法大幅改善了對切入車輛軌跡的預測效果，具有較高的應用價值。