基于ARM和深度學(xué)習(xí)的智能行人預(yù)警系統(tǒng)

劉佳麗，黃世震，，何恩德

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州350116；2.福州大學(xué) 微電子集成電路重點(diǎn)實(shí)驗(yàn)室，福建 福州350002)

0 引言

交通安全問題已成為當(dāng)前亟待解決的社會(huì)問題之一，尤其在交通環(huán)境下很多行人的注意力因集中在智能手機(jī)上而不注意周圍是否有車輛威脅自身安全，往往造成悲劇的發(fā)生,故如何降低該類交通事故的發(fā)生率已成為急需要考慮的問題。

HOG(Histogram of Oriented Gradient)提出被檢測的目標(biāo)輪廓能夠被光強(qiáng)梯度和邊緣分布描述，SVM(Support Vector Machines)為二分類模型并可進(jìn)行回歸分析，通過將兩種方法結(jié)合，使用HOG方法檢測目標(biāo)物體的邊緣信息并提取特征SVM方法對目標(biāo)物體區(qū)域進(jìn)行篩選[1]實(shí)現(xiàn)了道路行人的檢測；當(dāng)今目標(biāo)檢測算法蓬勃發(fā)展，文獻(xiàn)[2]中提出了一種基于改進(jìn)的YOLOV3檢測算法大大提高了對行人檢測的精度并通過降低算法的復(fù)雜性和簡化模型解決了長距離和小體積物體難以檢測到的問題；文獻(xiàn)[3]中提出了一種依據(jù)上下文信息和行人高寬比的特點(diǎn)改進(jìn)的SSD行人檢測方法，通過改進(jìn)模型的整體框架和縱橫比，生成淺層語義特征信息和深層語義特征信息以檢測目標(biāo)行人，提高了檢測精度；HOG+SVM方法雖然能成功進(jìn)行行人檢測，但是對遮擋物體檢測準(zhǔn)確率極低以及不能完成對目標(biāo)車輛的檢測；基于YOLOV3網(wǎng)絡(luò)模型檢測的準(zhǔn)確率很高，但是檢測速度慢，不能達(dá)到實(shí)時(shí)性檢測的要求；SSD屬于輕量級檢測模型，對于較大目標(biāo)的檢測可以滿足要求，但對小目標(biāo)物體(如較遠(yuǎn)處的車輛)的檢測精度低且速度慢。

近年來，隨著計(jì)算機(jī)圖形處理器計(jì)算性能的不斷提升和計(jì)算機(jī)視覺物體檢測新算法的不斷涌現(xiàn)[4]，為交通場景中的行人以及車輛檢測提供了技術(shù)支持。文獻(xiàn)[5]中提出使用HOG提取目標(biāo)物體的邊緣與SVM技術(shù)對訓(xùn)練模型進(jìn)行二分類相結(jié)合的方法，該模型使用大量數(shù)據(jù)測試后得出該方法使檢測速度與檢測精度綜合提升，在行人檢測問題的處理中實(shí)現(xiàn)了重大突破。隨著目標(biāo)檢測算法的快速發(fā)展，逐漸將行人車輛的檢測與目標(biāo)檢測結(jié)合?，F(xiàn)階段的目標(biāo)檢測有兩類方法：一類是兩階段的目標(biāo)檢測模型，代表為R-CNN模型，首先生成可能包含目標(biāo)物體的候選框，然后再使用卷積操作對候選框中的目標(biāo)物體進(jìn)行分類[6]；另一類為一階段模型，代表為YOLO系列和SSD系列，利用回歸的處理方式對目標(biāo)物體進(jìn)行檢測，即該神經(jīng)網(wǎng)絡(luò)模型對輸入圖像進(jìn)行一次前向計(jì)算，預(yù)測出全部目標(biāo)物體的位置類別以及置信度。文獻(xiàn)[7]中提出了Fast R-CNN神經(jīng)網(wǎng)絡(luò)模型，在R-CNN的基礎(chǔ)上Fast R-CNN引入了與SSPnet相同的池化方法，以區(qū)域推薦和特征提取作為模塊設(shè)計(jì)并以PASCAL VOC作為數(shù)據(jù)集進(jìn)行訓(xùn)練。與HOG+SVM方法對比，平均檢測精度(Mean Average Precision，MAP)由35.1%提升至53.7%；YOLO系 列 模 型 從YOLOV1發(fā) 展 到 了YOLOV5。YOLOV1[8]基于GoogleNet的基本架構(gòu)采用24個(gè)卷積操作最后連接兩個(gè)全連接層作為模型的檢測頭，使用98個(gè) 邊 界 框(bounding boxes，bbox)預(yù)測7×7個(gè)目標(biāo)物體。YOLOV1雖然檢測速度較快，但相比于其他目標(biāo)檢測模型檢測精度并不高。YOLOV2[9]基于darknet網(wǎng)絡(luò)框架，將YOLOV1的7×7的卷積結(jié)構(gòu)優(yōu)化為3×3和1×1的深度可分離卷積結(jié)構(gòu)，使提取特征更加精確同時(shí)提高了模型的非線性。為了解決YOLOV1的檢測精度的問題，引入了R-CNN模型的錨框概念并采用定位預(yù)測的方法大大提高了網(wǎng)絡(luò)性能和精度，缺點(diǎn)在小目標(biāo)物體的檢測中YOLOV2的檢測精度很低。YOLOV3[10]是基于darknet 53的模型框架并將池化層更改為下采樣層的方法以減少特征的損失。下采樣層分為了三個(gè)分支分別預(yù)測大、中、小目標(biāo)物體，檢測精度和速度有了明顯的提升。在本文提出的行人車輛檢測系統(tǒng)中必須滿足兩點(diǎn)要求：(1)檢測精度高并且檢測速度快，滿足實(shí)時(shí)性檢測的需求；(2)能夠?yàn)檩p量級的網(wǎng)絡(luò)模型部署至開發(fā)板。為了解決上述問題：(1)采用單目攝像頭人工采集的數(shù)據(jù)集進(jìn)行標(biāo)注并分析；(2)對目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分析優(yōu)化訓(xùn)練并部署至NCNN平臺進(jìn)行測試，根據(jù)評估標(biāo)準(zhǔn)選擇更適用于該系統(tǒng)的網(wǎng)絡(luò)模型；(3)將模型移植至開發(fā)板對道路車輛以及行人進(jìn)行實(shí)時(shí)性的識別，對車輛進(jìn)行測速并對人行道上的行人進(jìn)行實(shí)時(shí)安全警告。

1 YOLO-fastest算法原理

YOLO-fastest模型以darknet為基本框架，是輕量級通用目標(biāo)檢測算法YOLO的改進(jìn)版，具有模型小、檢測速度快與易于部署等優(yōu)點(diǎn)，能夠用PyTorch、TensorFlow、Keras、Caffe等 機(jī) 器 學(xué) 習(xí) 庫 實(shí) 現(xiàn)。構(gòu) 成 該模型的基本結(jié)構(gòu)由“卷積+歸一化+Leaky激活函數(shù)”組成。主干網(wǎng)絡(luò)部分由74個(gè)卷積層構(gòu)成并且采用隨機(jī)丟棄和張量相加對特征圖進(jìn)行處理。檢測頭包括分類、回歸和檢測。下采樣層分別為16倍下采樣和32倍下采樣，通過調(diào)整感受野故對不同尺寸目標(biāo)物體的識別結(jié)果較精確。最終的輸出為感受野較大的10×10×75尺寸預(yù)測大目標(biāo)的物體和感受野較小的20×20×75尺寸預(yù)測小目標(biāo)的物體。

1.1 深度可分離卷積

深度可分離卷積是將標(biāo)準(zhǔn)卷積拆解為深度卷積和逐點(diǎn)卷積在計(jì)算的過程。傳統(tǒng)的卷積結(jié)構(gòu)在每次的卷積操作都會(huì)考慮到所有通道使參數(shù)量大大增加,故使用深度可分離卷積操作解決該問題。先對每一通道的區(qū)域進(jìn)行卷積計(jì)算,再進(jìn)行通道間的信息交互，實(shí)現(xiàn)了通道內(nèi)卷積和通道間卷積完全分離[11]。YOLO-fastest網(wǎng)絡(luò)引入深度可分離卷積操作減少模型參數(shù)量，增加了網(wǎng)絡(luò)深度，能更好地對特征進(jìn)行提取，極大降低了模型參數(shù)量以及計(jì)算量，從而提高檢測速率[2]。

1.2 反殘差結(jié)構(gòu)

深度殘差結(jié)構(gòu)為何凱明等人在文獻(xiàn)[11]中提出的基本網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)全部采用相同大小的卷積核使用卷積步長取代池化，全連接層替換成平均池化層減少了參數(shù)量，解決梯度消失問題并加深了網(wǎng)絡(luò)結(jié)構(gòu)[12]。在YOLO-fastest模型中由于使用了大量的深度可分離卷積結(jié)構(gòu)使網(wǎng)絡(luò)參數(shù)減少。故將反殘差結(jié)構(gòu)引入到Y(jié)OLO-fastest模型中即在深度分離卷積之前添加一層1×1卷積結(jié)構(gòu)，因此解除了深度分離卷積對網(wǎng)絡(luò)模型的限制。

2 實(shí)驗(yàn)設(shè)計(jì)

為了確保該系統(tǒng)的性能更好、檢測精度更高，故對學(xué)校門口人流量密集的地區(qū)采集真實(shí)交通環(huán)境下道路車輛以及行人圖片，并進(jìn)行人工標(biāo)注。分別對主流的目標(biāo)檢測模型YOLOV3、YOLO-fastest、YOLOV4-tiny、MobilenetV3-ssd進(jìn)行實(shí)驗(yàn)對比與分析評估，完成模型剪枝、微調(diào)以及優(yōu)化。采用標(biāo)注和分析完成的數(shù)據(jù)集對以上神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將訓(xùn)練完成的網(wǎng)絡(luò)模型轉(zhuǎn)換為NCNN模型并進(jìn)行模型量化處理以及部署至NCNN平臺，最后將模型部署至Atlas200 DK開發(fā)板進(jìn)行實(shí)時(shí)檢測。

2.1 數(shù)據(jù)集

2.1.1 數(shù)據(jù)集采集

目標(biāo)檢測的結(jié)果與數(shù)據(jù)集的準(zhǔn)確性密切相關(guān)，若數(shù)據(jù)集的精度較低或者噪聲干擾較多將造成檢測結(jié)果準(zhǔn)確率低，并影響系統(tǒng)的整體性能。該實(shí)驗(yàn)采用的數(shù)據(jù)集為普通單目攝像頭采集白天光線較好的交通場景圖像，標(biāo)注類別分為三類：行人、機(jī)動(dòng)車、非機(jī)動(dòng)車。其中汽車、卡車、公交車等較大型車輛分類為機(jī)動(dòng)車，摩托、電動(dòng)車等為非機(jī)動(dòng)車，在人行道以及其兩側(cè)的人為行人，并采用labling進(jìn)行標(biāo)注并對數(shù)據(jù)集進(jìn)行分析。本文共使用了1 500張交通圖片，測試集隨機(jī)選擇150張，訓(xùn)練集為1 350張。

2.1.2 數(shù)據(jù)集分析

對數(shù)據(jù)集中每一類別的目標(biāo)框個(gè)數(shù)進(jìn)行分析，其中標(biāo)簽分別為Vehicle、Non-Motor Vehicle、pedestrian的目標(biāo)框個(gè)數(shù)占比如圖1所示。在數(shù)據(jù)集標(biāo)注文件中的bbox的格式為(xmin，ymin，xmax，ymax)，其中(xmin，ymin)表示目標(biāo)左上角坐標(biāo)以及(xmax，ymax)表示右下角坐標(biāo)。對bbox的高寬比進(jìn)行可視化分析，結(jié)果如圖2所示,高寬比在0.3～0.5范圍內(nèi)的目標(biāo)為行人類別，在0.5～1.3范圍內(nèi)的目標(biāo)為非機(jī)動(dòng)車類別，在1.3～4.0范圍內(nèi)的目標(biāo)為機(jī)動(dòng)車類別。

圖1 目標(biāo)框個(gè)數(shù)分析

圖2 bbox高寬比分析

2.2 速度檢測

本文旨在通過目標(biāo)檢測算法識別交通場景的行人以及車輛，從而對斑馬線上的行人進(jìn)行安全提醒，當(dāng)車輛的速度高于設(shè)定速度閾值時(shí)，顯示危險(xiǎn)信號以提醒行人注意安全。在完成目標(biāo)檢測的基礎(chǔ)上，對目標(biāo)車輛進(jìn)行定位測速以及安全警告。本文采用文獻(xiàn)[13]中的方案對視頻車輛測速。

(1)通過目標(biāo)檢測的網(wǎng)絡(luò)模型得到目標(biāo)物體的中心坐標(biāo)，則兩幀視頻間隔時(shí)間內(nèi)目標(biāo)車輛行駛的距離為式(1)：

其中，xi為t時(shí)刻的目標(biāo)物體的坐標(biāo)，Δt為兩幀之間的時(shí)間間隔，檢測示意圖見圖3。xi(t-Δt)為上一幀目標(biāo)物體的坐標(biāo)，檢測示意圖見圖4。

圖3 t-Δt時(shí)刻檢測圖

圖4 t時(shí)刻檢測圖

(2)通過進(jìn)行相機(jī)標(biāo)定獲得映射矩陣，將攝像頭捕捉到的車輛兩幀之間行駛的距離轉(zhuǎn)換為實(shí)際距離Ti。相機(jī)標(biāo)定示意圖如圖5所示，映射矩陣見

圖5 相機(jī)標(biāo)定示意圖

式(2)。h為攝像頭距地面的高度，Oc為相機(jī)坐標(biāo)系，OW為真實(shí)世界坐標(biāo)系，φ為道路平面與Zc軸的夾角，θ代ZWOWZc構(gòu)成的平面與YW軸的夾角。

(3)最終計(jì)算實(shí)際速度見式(3)。

3 實(shí)驗(yàn)

本文訓(xùn)練以及實(shí)驗(yàn)環(huán)境的詳細(xì)設(shè)置如下：CUDA版本為10.2，CUDNN版本為9.0，CPU配置為R7-4800H，開發(fā)板為Atlas200 DK，軟件環(huán)境為Ununtu18.04，顯卡配置為NVIDIAGTX-1650Ti，PyTorch版本為1.6.0。開發(fā)板實(shí)物圖見圖6。

圖6 Atlas200 DK實(shí)物圖

3.1 訓(xùn)練參數(shù)設(shè)置

分別對YOLO-fastest、YOLOV4-tiny、YOLOV3、Mobil enetV3-ssd進(jìn) 行 訓(xùn) 練。YOLO-fastest在 訓(xùn) 練 過程中對部分參數(shù)進(jìn)行調(diào)整以達(dá)到更好的訓(xùn)練結(jié)果。輸入圖片像素為320×320×3，并對其進(jìn)行圖像增強(qiáng)，飽和度與曝光變化分別設(shè)置為1.5和1.5，色調(diào)變化范圍為0.1。每次迭代基于飽和度、曝光、色調(diào)產(chǎn)生新的訓(xùn)練圖片。初始學(xué)習(xí)率設(shè)置為0.001，根據(jù)訓(xùn)練進(jìn)程減小至0.000 1使損失函數(shù)更好地收斂，權(quán)值衰減設(shè)置為0.005以避免過擬合。YOLOV4-tiny、YOLOV3、MobilenetV3-ssd的輸入圖片像素為416×416×3、416×416×3、300×300×3，其他設(shè)置與YOLOfastest一致。

3.2 實(shí)驗(yàn)結(jié)果

將訓(xùn)練完成的YOLOV4-tiny、YOLOV3、MobilenetV3-ssd，YOLO-fastest神經(jīng)網(wǎng)絡(luò)模型分別部署至開發(fā)板上進(jìn)行實(shí)時(shí)檢測，以檢測速度、MAP與模型大小作為評估標(biāo)準(zhǔn)。最終選擇的神經(jīng)網(wǎng)絡(luò)模型既要滿足檢測精度的要求又滿足檢測速度的要求，能夠完成對交通場景下的實(shí)時(shí)性行人車輛檢測并提醒行人危險(xiǎn)的到來。從表1中可以觀察到Y(jié)OLO-fastest的平均檢測精度為96.1%，檢測速度為33 f/s，模型大小為1.2 MB。MobilenetV3-ssd同樣是輕量級神經(jīng)網(wǎng)絡(luò)模型，檢測精度相當(dāng)，但檢測速度為6 f/s，明顯慢于YOLO-fastest，并且模型大小為10.2 MB，也要大于YOLO-fastest，與YOLOV4-tiny和YOLOV3相比，雖然平均檢測精度相對較低，但也滿足該系統(tǒng)對檢測精度的要求，檢測速度有了很大的提升，模型大小也遠(yuǎn)遠(yuǎn)小于其他兩種模型，完全達(dá)到了對實(shí)時(shí)性和輕量型的要求。檢測原圖與效果圖對比如圖7、圖8所示。

圖7 待檢測原圖

圖8 YOLO-fastest檢測效果圖

表1 網(wǎng)絡(luò)模型性能對比

4 結(jié)論

該實(shí)驗(yàn)提出的智能行人預(yù)警系統(tǒng)分析并對比了主流的目標(biāo)檢測算法，選取了更輕量、檢測速度更快的YOLO-fastest模型并將其部署至NCNN平臺上，最終移植至開發(fā)板實(shí)現(xiàn)實(shí)時(shí)性檢測并回饋給行人危險(xiǎn)信號，平均精度為96.1%，檢測速度達(dá)到33 f/s。

該文雖然做到了實(shí)時(shí)性的行人檢測，但未充分考慮到天氣的影響，如陰天、雨天、霧天等極端天氣造成檢測的準(zhǔn)確率降低的情況，將考慮使用遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型對該極端情況進(jìn)行處理，遷移學(xué)習(xí)可以很好地解決雨天數(shù)據(jù)集難以采集的問題。