一種基于EdgeBoard的無人駕駛交通信息識別系統(tǒng)設(shè)計

劉靖宇 劉延飛 叢銘智 顧祎陸 何展博

（火箭軍工程大學(xué) 陜西省西安市 710025）

1 引言

近年來，隨著人工智能領(lǐng)域特別是深度學(xué)習(xí)的飛速發(fā)展，基于深度學(xué)習(xí)的圖像識別與檢測技術(shù)也取得相應(yīng)突破。特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[1]的應(yīng)用，更是使目標檢測方法取得了長足的發(fā)展，目前在無人駕駛領(lǐng)域中圖像的目標檢測方法主要分為兩類：一類是將目標檢測分成兩部分進行的二階段檢測，典型代表是R-CNN[2]系列，其檢測準確度較高，但費時較長；另一類是基于回歸的一階端到端檢測，典型代表是SSD、YOLO[3]。此類方法處理速度較快，但其檢測精度較二階段檢測相比有所下降。本文結(jié)合兩類方法優(yōu)點為一體，在嵌入式Arduino 處理器平臺上采用多線程組織+FCN+YOLOv3-Tiny 軟件算法，設(shè)計了一款集數(shù)據(jù)采集、數(shù)據(jù)模型構(gòu)建、端到端循跡、目標檢測、無人駕駛策略為一體的系統(tǒng)，能夠同時對道路車道線和多種交通標志做出實時判斷和決策，從而實現(xiàn)智能駕駛[4-6]。

2 系統(tǒng)的總體設(shè)計思路

系統(tǒng)的總體功能設(shè)計架構(gòu)如圖1 所示。硬件系統(tǒng)還有主機處理子系統(tǒng)和底盤控制子系統(tǒng)。主機處理模塊由嵌入式計算機、EdgeBoard 深度學(xué)習(xí)計算卡和道路信息采集攝像頭組成，功能如圖1 中左側(cè)端對端循跡模塊和交通標志物檢測模塊實現(xiàn)。底盤控制子系統(tǒng)由Arduino Mega2560 微控制板加電機驅(qū)動板組成，外部接有直流電機、編碼器、超聲波和紅外等傳感器，完成圖1 右側(cè)對底盤電機的控制。

百度大腦EdgeBoard 深度學(xué)習(xí)計算卡作為系統(tǒng)的決策與控制中心，是整車架構(gòu)的核心，負責(zé)對采集到的圖片數(shù)據(jù)進行處理，分別提取車道線圖片數(shù)據(jù)和交通標志物圖片數(shù)據(jù)的圖像特征，計算得到車道線識別模型和標志物檢測模型。以兩個深度學(xué)習(xí)模型為基礎(chǔ)構(gòu)建小車系統(tǒng)子模塊，即端到端循跡模塊和交通標志物檢測模塊，用來分析實時圖片特征，得到道路曲率類型和交通標志物的類別與位置信息，這些信息傳遞到?jīng)Q策與控制中心后促使控制單元形成諸如小車轉(zhuǎn)角變化、停車、減速慢行等控制指令，進而通過USB 轉(zhuǎn)串口模塊將指令發(fā)送給Arduino 下位機。底盤控制子系統(tǒng)接收指令后，結(jié)算為四個驅(qū)動信號，驅(qū)動4 個電機差速轉(zhuǎn)動，實現(xiàn)加減速、轉(zhuǎn)彎、掉頭等功能，后輪的兩個電機配有AB 相編碼器，可測出電機目前轉(zhuǎn)速，形成反饋信息以便于對系統(tǒng)施加PID 控制。

3 系統(tǒng)的軟件實現(xiàn)與分析

3.1 多線程系統(tǒng)架構(gòu)

圖1：小車總體架構(gòu)圖

圖2：多線程系統(tǒng)運行過程

如果同時運行圖像的采集、處理以及兩個模型的預(yù)測，會使得系統(tǒng)程序單次運行過慢，從而導(dǎo)致自動駕駛小車控制周期延長，使得小車的控制指令出現(xiàn)滯后，影響小車的正常行駛。針對此問題設(shè)計小車程序運行的多線程系統(tǒng)架構(gòu)，使用Python3 中的threading 標準庫[7]，充分利用多核計算資源，將實時圖片的采樣保存、端到端循跡模塊的預(yù)測和交通標志物檢測模塊的預(yù)測設(shè)置為3 個并行的線程，線程1 負責(zé)圖片的采集、預(yù)處理，并對采集到的圖片取樣保存；線程2 利用線程之間資源共享的特性，根據(jù)道路曲率信息進行端到端循跡；線程3 遵循同樣原則得到圖像數(shù)據(jù)，檢測圖中的交通標志物并框選出標志物具體位置。多線程運行過程如圖2 所示。

3.2 基于FCN的端到端循跡模塊設(shè)計與分析

為了不使小車偏離車道，需要實時獲取道路曲率信息提供給決策與控制中心，以形成控制指令，結(jié)合車道線圖像數(shù)據(jù)信息進行圖像預(yù)處理和FCN 算法預(yù)測賽道信息。在圖像預(yù)處理算法方面，使用逆透視變換算法將車道線的圖像從小車的攝像頭視角變換到俯視視角，在一定程度上可以校正圖像的梯形畸變[8]，增強了對環(huán)境的適應(yīng)性。經(jīng)逆透視變換的圖像仍為彩色圖像，以Mat 類存儲，為BGR 顏色空間，尋找合適的顏色通道閥值將其轉(zhuǎn)換為HSV 顏色空間，調(diào)整顯示效果更方便實現(xiàn)圖像分割，最終通過圖像二值化分割出了車道線的曲率特征[9-10]，如圖3 所示。

圖3：原始圖像與預(yù)處理操作后的圖像對比

圖4：設(shè)計的道路端對端循跡模塊的道路預(yù)測FCN 網(wǎng)絡(luò)結(jié)構(gòu)

圖5：改進后的YOLOv3-Tiny 網(wǎng)絡(luò)結(jié)構(gòu)

圖6：交通標志物檢測模型的檢測結(jié)果

每一張經(jīng)過最終二值化處理的圖片都唯一對應(yīng)一種道路曲率類型值，將車道線圖片與相應(yīng)的道路曲率類型值輸入FCN 中進行訓(xùn)練，得到模型參數(shù)，形成端到端循跡模塊，并基于此對攝像頭采集到的圖片進行車道線提取并預(yù)測當(dāng)前道路曲率類型，為后續(xù)的決策與控制提供依據(jù)，本文設(shè)計的FCN 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，6 個卷積層的卷積核個數(shù)分別為16，32，64，128，32，1。前4 個卷積層后分別添加了步長為2 的池化層，實現(xiàn)四次降采樣，使得卷積層能夠提取到更高級的特征，也意味著圖像的尺寸被降低至原圖的0.125倍，在保證車道線特征不丟失的情況下減少了后續(xù)車道線檢測的計算量，使得程序運行的實時性進一步提升。

3.3 交通標志物檢測設(shè)計

對交通標志物數(shù)據(jù)集圖像進行預(yù)處理縮放到256×256 尺寸后，送入改進的YOLOv3-Tiny 網(wǎng)絡(luò)進行推理，經(jīng)過2 個不同尺度（8×8，16×16）的輸出通道直接得到包含目標框、目標置信度和框內(nèi)物體類別在內(nèi)的特征圖，根據(jù)網(wǎng)絡(luò)模型輸出的置信度對檢測結(jié)果進行非極大值抑制（Non-Maximum Suppression，NMS）[11]和分類識別，得到輸出結(jié)果。本文在YOLOv3-Tiny 網(wǎng)絡(luò)的不同部分增加了特定的卷積層（如圖5 中虛線框所示）進行改進。

為了使網(wǎng)絡(luò)模型預(yù)測的物體位置更加準確，改進后的YOLOv3-Tiny 網(wǎng)絡(luò)采用維度聚類分析方法優(yōu)化檢測框的位置與大小，再使用非極大值抑制算法對高度重疊的候選框按照分類器類別得分由高到低的順序進行排序，選擇得分最高的候選框并逐個計算其與其他候選框的IOU 值，設(shè)定閥值以去除IOU 值大于閥值且得分較低的檢測框，循環(huán)篩選過程直到確定最終的檢測框[12]。算法檢測結(jié)果如圖6 所示。

4 結(jié)論

在自動駕駛小車的整體框架下，兩個系統(tǒng)子模塊同時處理圖像信息傳遞給決策與控制單元，形成控制指令，通過底層Arduino 實現(xiàn)PID 閉環(huán)控制，使得車體穩(wěn)定運行，相比于單線程自動駕駛系統(tǒng)具有更快的響應(yīng)速度和更準確的控制精度。小車體現(xiàn)的在不同道路曲率類型和多種交通標志物條件下進行準確控制的功能，表現(xiàn)了其作為人工智能領(lǐng)域產(chǎn)品的可靠性，能夠完成較為復(fù)雜的多任務(wù)駕駛需求，具有廣闊的應(yīng)用前景。