基于深度學(xué)習(xí)的大學(xué)生無人駕駛方程式賽車循跡控制研究*

谷賀，黃鶴，謝釗，丁慧祥，吳海峰，溫衛(wèi)剛

基于深度學(xué)習(xí)的大學(xué)生無人駕駛方程式賽車循跡控制研究*

谷賀，黃鶴，謝釗，丁慧祥，吳海峰，溫衛(wèi)剛

（合肥工業(yè)大學(xué)汽車與交通工程學(xué)院，安徽 合肥 230000）

大學(xué)生無人駕駛方程式大賽（FSAC）是一項(xiàng)旨在吸引更多的優(yōu)秀青年投身于新技術(shù)造車領(lǐng)域的比賽。賽車在電動方程式賽車基礎(chǔ)上增加了攝像頭、激光雷達(dá)、等傳感器，并通過制動和轉(zhuǎn)向系統(tǒng)的改裝，進(jìn)行賽道循跡控制。傳統(tǒng)方法基于圖像處理技術(shù)，很難通過擬合中心線的方式進(jìn)行跟蹤控制，為此提出基于深度學(xué)習(xí)的端對端循跡控制方法，首先對圖像數(shù)據(jù)采集及駕駛模擬器駕駛數(shù)據(jù)的收集，提出采用端對端CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并最終在硬件環(huán)臺架上驗(yàn)證了所提出方法的有效性。

智能汽車；深度學(xué)習(xí)；無人駕駛；卷積神經(jīng)網(wǎng)絡(luò)

前言

大學(xué)生無人駕駛方程式賽車比賽目前感知方案大多采用的是攝像頭和雙差分GPS方式。賽車需要識別賽道兩側(cè)錐桶并完成自動駕駛。感知系統(tǒng)工作前預(yù)先對攝像頭進(jìn)行標(biāo)定，感知系統(tǒng)工作時(shí)，工控機(jī)對相機(jī)實(shí)時(shí)采集的圖片進(jìn)行識別處理，經(jīng)算法處理后能得到錐桶相對于車輛的準(zhǔn)確位置和顏色信息，進(jìn)而擬合出行駛區(qū)域邊界線和理想行駛軌跡線為控制部分提供的信息。經(jīng)過比賽，我們發(fā)現(xiàn)八字繞環(huán)及高速識別追蹤測試項(xiàng)目中錐桶識別到循跡控制還存在一些如藍(lán)色錐桶被誤識為地面，強(qiáng)光照下紅色錐桶被識別成黃色錐桶，以及錐桶數(shù)目過少無法規(guī)劃行駛軌跡、而導(dǎo)致期望軌跡規(guī)劃困難等問題，影響著比賽成績。為此，項(xiàng)目成員在廣泛調(diào)研基礎(chǔ)上，提出了基于深度學(xué)習(xí)的循跡控制系統(tǒng)并用臺架模擬期望提高無人車隊(duì)比賽成績。

1 深度學(xué)習(xí)循跡控制模型

1.1 總體結(jié)構(gòu)

模型由感知層，算法層，控制層三部分組成。并通過臺架進(jìn)行數(shù)據(jù)訓(xùn)練。感知層采集必要的圖像數(shù)據(jù)。算法層通過Python及Caffe搭建訓(xùn)練用模型，先通過離線訓(xùn)練的方法，在安裝有Nvidia Geforce顯卡的工控電腦里增加數(shù)據(jù)標(biāo)簽并訓(xùn)練，以達(dá)到效果。待算法驗(yàn)證基本功能后，通過實(shí)際的攝像頭采集臺架模擬系統(tǒng)的動畫數(shù)據(jù)，移植到實(shí)時(shí)運(yùn)算平臺TX2運(yùn)行，并通過CAN總線與轉(zhuǎn)向系統(tǒng)進(jìn)行通訊?？刂茖影ㄒ呀?jīng)環(huán)臺架和睿智二代車的轉(zhuǎn)向系統(tǒng)。

圖1 項(xiàng)目方案整體框架

1.2 比賽工況建模（高速循跡、8字繞環(huán)）

建模工具采用Carsim軟件對賽道進(jìn)行建模，通過仿真車輛實(shí)現(xiàn)對車輛各性能的分析和預(yù)測。模型構(gòu)建根據(jù)無人駕駛方程式大賽要求，本文中的有關(guān)循跡控制理論，可在比賽中諸多環(huán)節(jié)中得以充分應(yīng)用，并以8字繞環(huán)測試、高速循跡追蹤測試兩大典型環(huán)節(jié)為例闡述建模原理。

（1）8字繞環(huán)測試

8字環(huán)形道路：兩個(gè)同心圓呈現(xiàn)8字排列，兩圓心距離為18.25m，內(nèi)圓直徑15.25m，外圓直徑21.25m，內(nèi)外圈之間是3m的賽道，且在內(nèi)圓、外圓、入口、出口間隔布置錐桶。

首先為道路線形的構(gòu)建，將道路分為4段：進(jìn)口直線賽道，右端環(huán)形賽道，左端環(huán)形賽道，出口直線賽道。根據(jù)要求設(shè)置好直線道路的長度以及環(huán)形道路的半徑和角度。其次，設(shè)置錐桶排列。由要求，計(jì)算各錐桶和立柱的坐標(biāo)，輸入表格生成對應(yīng)位置的錐桶和立柱。再次，對道路特征、道路不平度以及摩擦系數(shù)等細(xì)節(jié)的輔助設(shè)置。最后，對道路模型適用性驗(yàn)證。

（2）高速循跡追蹤測試

試驗(yàn)場包括直道、定半徑彎、發(fā)夾彎、復(fù)合賽道等基本形式，總長約0.5km，每車完成兩圈。

首先進(jìn)行道路線形構(gòu)建，在規(guī)定的長度內(nèi)，將各個(gè)基本賽道形式合理排布，設(shè)計(jì)出如下形式賽道，每圈共分為14段，比賽中賽車行駛2圈。其次，對道路特征、道路不平度以及摩擦系數(shù)等細(xì)節(jié)的輔助設(shè)置。最后，對道路模型適用性驗(yàn)證使該道路模型能滿足比賽道路要求。

圖2 高速循跡和8字繞樁道路線形

1.3 CNN網(wǎng)絡(luò)

神經(jīng)元：神經(jīng)網(wǎng)絡(luò)由大量的節(jié)點(diǎn)（或稱“神經(jīng)元”）相互連接而成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激活函數(shù)。每兩個(gè)節(jié)點(diǎn)之間的連接代表加權(quán)值，稱之為權(quán)重。不同的權(quán)重和激活函數(shù)，則會導(dǎo)致神經(jīng)網(wǎng)絡(luò)不同的輸出。

神經(jīng)網(wǎng)絡(luò)：將單個(gè)神經(jīng)元組織在一起，便形成了神經(jīng)網(wǎng)絡(luò)。圖5是一個(gè)三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最左邊的多個(gè)神經(jīng)元稱之為輸入層，最右邊的神經(jīng)元稱之為輸出層（上圖中輸出層只有一個(gè)神經(jīng)元），中間的多個(gè)神經(jīng)元叫隱藏層。圖4為三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測模型可以識別一張圖片的多個(gè)物體，并可以定位出不同物體。該模型有兩大方法：1.一階段檢測器 2.兩階段檢測器。一階段檢測器直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，速度快但精度低。兩階段檢測器首先產(chǎn)生候選區(qū)域，然后對候選區(qū)域分類，速度慢但精度高。本研究選用Faster R-CNN算法（二階段檢測器）。

實(shí)現(xiàn)步驟：1.對整張圖片輸進(jìn) CNN，得到 feature map。2.卷積特征輸入到 RPN，得到候選框的特征信息。3.對候選框中提取出的特征，使用分類器判別。4.對于屬于某一特征的候選框，用回歸器進(jìn)一步調(diào)整其位置。

本文使用Detectron訓(xùn)練平臺進(jìn)行訓(xùn)練。首先是train_ net.py，即 detectron 用來訓(xùn)練網(wǎng)絡(luò)的文件。以下為模型訓(xùn)練流程圖。

圖4 模型訓(xùn)練流程圖

2 硬件在環(huán)臺架搭建

仿真采用轉(zhuǎn)向和制動控制，需要用到轉(zhuǎn)向系統(tǒng)和制動系統(tǒng)的硬件化，試驗(yàn)臺方案包括制動系統(tǒng)，轉(zhuǎn)向系統(tǒng)，控制系統(tǒng)，上位機(jī)軟件系統(tǒng)四個(gè)主要部分。

實(shí)時(shí)主機(jī)的運(yùn)行程序是需要在上位機(jī)編寫完成，然后部署到實(shí)時(shí)主機(jī)運(yùn)行，上位機(jī)和實(shí)時(shí)主機(jī)用TCP/IP實(shí)時(shí)通信，實(shí)時(shí)主機(jī)將數(shù)據(jù)與上位機(jī)實(shí)時(shí)共享。上位機(jī)程序用LabVIEW編程，每個(gè)程序塊單獨(dú)作為一個(gè)循環(huán)，其軟件程序間的數(shù)據(jù)交互如圖所示。

訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)來自于由比賽規(guī)則規(guī)定的轉(zhuǎn)彎半徑為4組半徑為30米，25米，12米， 28米和直道自由組合的仿真賽道。由車隊(duì)的賽車手在臺架上操縱方向盤獲得。最后驗(yàn)證訓(xùn)練出來的端對端控制的有效性，并建立一個(gè)仿真賽道進(jìn)行仿真。

圖5 軟件系統(tǒng)圖

3 仿真分析

端對端控制的位置偏差曲線如下：

圖6 前饋-反饋控制下位置偏差曲線

圖7 方向盤轉(zhuǎn)角變化曲線

由上圖知，賽車高速行駛的過程中，位置偏差在-0.15m至0.17m內(nèi)波動，峰值出現(xiàn)在入彎時(shí)刻，在直線行駛過程中，偏差保持穩(wěn)定，偶爾出現(xiàn)較小的震蕩過程；方向盤轉(zhuǎn)角在第一個(gè)彎道處基本保持-23度，第二個(gè)彎基本保持18度，震蕩幅度小，變化平穩(wěn)，因此本文提出的方法具有良好的控制效果。

4 總結(jié)

本文提出基于深度學(xué)習(xí)的端對端循跡控制方法，首先對圖像數(shù)據(jù)采集及駕駛模擬器駕駛數(shù)據(jù)的收集，提出采用端對端CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并最終在硬件在環(huán)臺架上驗(yàn)證了所提出方法的有效性。

[1] 李德毅.網(wǎng)絡(luò)時(shí)代人工智能研究與發(fā)展[J].智能系統(tǒng)學(xué)報(bào),2009,4 (01):1-6.

[2] 朱茂桃,邵長征,王國林.基于CarSim的路面模型重構(gòu)及車輛平順性仿真分析[J].機(jī)械設(shè)計(jì)與制造,2010(10):78-80.

[3] 邵長征.CarSim三維虛擬路面重構(gòu)及仿真分析[D].江蘇大學(xué),2010.

[4] 侯海霞.深度學(xué)習(xí)在目標(biāo)檢測中的應(yīng)用[J].中國新通信,2018,20 (10):184.

Research on self-driving equation track Control of College students based on in-depth Learning*

Gu He, Huang He, Xie Zhao, Ding Huixiang, Wu Haifeng, Wen Weigang

( Institute of Automotive and Traffic Engineering, Hefei University of Technology, Anhui Hefei 230000 )

Formula Student Autonomous China (FSAC) is a competition designed to attract more talented young people to the field of building cars with new technologies. The car adds cameras, lidar, sensors and other sensors to the formula e car, and tracks track control through modifications to the braking and steering systems. Traditional method based on image processing technology, it is hard to track control, by means of the center line of the fitting is proposed based on deep learning of end-to-end tracking control method, first of all, the image data collection, data acquisition and driving simulator driving with end-to-end network (CNN) is proposed for training, and ultimately in hardware platform on the effectiveness of the proposed method was verified.

intelligent car; in-depth learning; self-driving; convolution neural network

U471.15

A

1671-7988(2019)13-32-03

U471.15

A

1671-7988(2019)13-32-03

谷賀（1997-），男，黑龍江黑河人，本科生，就讀于合肥工業(yè)大學(xué)汽車與交通工程學(xué)院；黃鶴，博士，講師，就職于合肥工業(yè)大學(xué)，研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車控制設(shè)計(jì)。

合肥工業(yè)大學(xué)2018年省級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目資助（項(xiàng)目編號：2018CXCYS241）。

10.16638/j.cnki.1671-7988.2019.13.012