基于深度學(xué)習(xí)的多步驟道路遺留物檢測方法?

侯 銳 唐振民

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

交通運(yùn)輸部在2020 年5 月12 日發(fā)布了中華人民共和國2019年交通運(yùn)輸行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)［1］，其中顯示截至2019 年末全國公路總里程達(dá)到501.25萬公里，相比去年增長了16.6 萬公里，公路密度達(dá)52.21 公里/百平方公里，汽車保有量為2.62 億輛，全國高速公路年平均日交通量突破27000 輛，而在這些輝煌的數(shù)字下，公路交通安全問題也不斷顯現(xiàn)，2019 年我國車禍死亡人數(shù)為52388 人，而其中道路遺留物是影響交通安全，造成交通隱患的重要因素。道路遺留物指的是道路上存在的影響道路交通暢通、存在交通安全隱患的障礙物［2］。《公路法》規(guī)定道路管理部門有對道路進(jìn)行維修保養(yǎng)的義務(wù)，而通過人力對于大規(guī)模的道路進(jìn)行檢查是低效的，因此設(shè)計(jì)道路遺留物的圖像自動檢測方法勢在必行。

現(xiàn)如今對于遺留物的檢測大多是對于背景不變的監(jiān)控視頻中遺留物檢測方法，對這種靜態(tài)背景的遺留物檢測，基本是采用背景差分得到靜止目標(biāo)物體，并通過相應(yīng)的識別決策排除駐留的行人確定遺留物［3～4］，葉立仁等［5］則針對復(fù)雜環(huán)境下的遺留物，提出了將局部更新的混合高斯模型和幀差分結(jié)合的方法提取前景，并設(shè)定物體可靜止的最長時(shí)間，對達(dá)到最長時(shí)間的物體進(jìn)行行人檢測，去除行人后的靜止物體則為遺留物，不具備實(shí)時(shí)檢測的效果。而張瑞林等［6］提出了一種基于改進(jìn)的YOLOv2神經(jīng)網(wǎng)絡(luò)的遺留物檢測算法，結(jié)合殘差網(wǎng)絡(luò)大大提高了檢測小體積遺留物的性能，大大提高了復(fù)雜環(huán)境下的遺留物檢測的魯棒性和準(zhǔn)確性。而上文提到的研究都是對于監(jiān)控中的遺留物檢測，確定遺留物的方法是建立在視頻監(jiān)控中的背景不會變化，通過幀間圖像運(yùn)算可幫助確定遺留物的位置，而道路上遺留物檢測的背景是會隨著檢測車的前進(jìn)而變化的，并且需要一定的抗干擾能力，不能將非路面上的遺留物作為道路遺留物處理，這都對道路遺留物檢測方法提出了各種各樣的挑戰(zhàn)。

阮雅端［7］等在2017 年提出了第一種路面上遺留物的檢測方法，通過道路攝像頭對采集路面信息，基于深度卷積網(wǎng)絡(luò)檢測路面遺留物。具體實(shí)現(xiàn)過程是通過道路攝像頭的固定劃定視頻窗口中的感興趣的路面區(qū)域，并對該區(qū)域進(jìn)行網(wǎng)格劃分，將各網(wǎng)格輸入Deep-CNN 網(wǎng)絡(luò)訓(xùn)練得到路面-非路面識別模型，并將非路面網(wǎng)格通過連通性進(jìn)行組合，得到整個(gè)物體，再次采用Deep-CNN 網(wǎng)絡(luò)訓(xùn)練得到車輛、遺留物和行人的識別模型，即可標(biāo)記遺留物。該方法開拓了一種新的對于道路遺留物檢測的思路，但仍存在許多問題，我們對于遺留物的檢測不固定于某一段道路，因此對于感興趣路面的分割應(yīng)實(shí)現(xiàn)自動化，而非路面網(wǎng)格的組合在應(yīng)用上復(fù)雜度高，并且組合得到的圖像并不規(guī)整，最后得到的遺留物區(qū)域標(biāo)注也并不絕對準(zhǔn)確，因此本文將提出一個(gè)基于深度學(xué)習(xí)的多步驟結(jié)合的道路遺留物的檢測方法：數(shù)據(jù)通過檢測車在不同道路上的行駛過程中進(jìn)行采集，首先采用全卷積網(wǎng)絡(luò)對輸入圖像進(jìn)行對需檢測的道路區(qū)域的分割，分割的結(jié)果應(yīng)盡量保留需檢測區(qū)域的所有路面信息，包括車輛、行人、路面和遺留物，以保證遺留物的完整性，然后將分割好的圖片輸入通過RetinaNet 算法或YOLOv3網(wǎng)絡(luò)訓(xùn)練得到的車輛行人檢測模型，進(jìn)而將路面信息中的車輛和行人去除，此時(shí)我們分割的路面信息中僅包含路面和遺留物，此時(shí)可對其進(jìn)行網(wǎng)格劃分，將各網(wǎng)格輸入通過支持向量機(jī)進(jìn)行圖像分類構(gòu)建路面-遺留物分類模型中，最后將定為遺留物的網(wǎng)格標(biāo)記在原圖中作為輸出。具體實(shí)現(xiàn)流程圖如圖1所示。

圖1 道路遺留物檢測流程圖

2 路面信息分割

圖像分割是指將圖像中具有獨(dú)特性質(zhì)的區(qū)域劃分出來并從中提起感興趣目標(biāo)的過程，是計(jì)算機(jī)視覺領(lǐng)域的重要方向，是圖像處理的核心環(huán)節(jié)［8］，而基于深度學(xué)習(xí)的圖像分割在2015 年Jonathan Long 等［9］提出全卷積網(wǎng)絡(luò)的語義分割后開始成為炙手可熱的研究方向，全卷積網(wǎng)絡(luò)FCN也是本文用于路面分割訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)。

FCN是一個(gè)端到端的、點(diǎn)對點(diǎn)的針對語義分割訓(xùn)練網(wǎng)絡(luò)，對圖像進(jìn)行像素級的分類，相比于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）FCN將最后的壓平（Flatten）進(jìn)入固定神經(jīng)元的全連接層改為了卷積操作，由于沒有了全連接層的輸入層神經(jīng)元個(gè)數(shù)限制，因此可接受不同尺寸的輸入圖像，也不再要求訓(xùn)練圖像和測試圖像尺寸一致，因此FCN 網(wǎng)絡(luò)的實(shí)現(xiàn)過程是輸入待處理圖像后經(jīng)過多次卷積和池化（Pooling）操作后，再進(jìn)行卷積操作，最后得到標(biāo)記好的輸出。

本文構(gòu)建FCN 網(wǎng)絡(luò)結(jié)構(gòu)是基于VGG19 網(wǎng)絡(luò)模型建立。VGG 的提出證明了網(wǎng)絡(luò)深度對網(wǎng)絡(luò)的效率會產(chǎn)生影響，因此相比于AlexNet，VGG分別采用連續(xù)的兩個(gè)或三個(gè)3×3 的卷積核代替了5×5 卷積核和7×7 卷積核，從而保證了具有相同感受野的條件下，提升了網(wǎng)絡(luò)的深度，進(jìn)而提高了網(wǎng)絡(luò)的性能。VGG19中共構(gòu)建了16個(gè)卷積層、4個(gè)池化層和3 個(gè)全連接層，激活函數(shù)采用線性整流函數(shù)（Rectified Linear Unit，ReLU），為構(gòu)建FCN 網(wǎng)絡(luò)結(jié)構(gòu)須將全連接層替換為卷積層，為得到和原圖一樣大小的稠密像素預(yù)測，需要進(jìn)行上采樣，可通過反卷積操作實(shí)現(xiàn)，其中訓(xùn)練參數(shù)設(shè)置如表1 所示，并定義交叉熵的平均值作為損失函數(shù)用于評價(jià)網(wǎng)絡(luò)的指標(biāo)，模型的訓(xùn)練損失函數(shù)和驗(yàn)證損失函數(shù)隨迭代次數(shù)變化輸出如圖2、圖3所示。

表1 訓(xùn)練參數(shù)設(shè)置

圖2 路面分割模型訓(xùn)練損失函數(shù)輸出

圖3 路面分割模型驗(yàn)證損失函數(shù)輸出

3 車輛-行人目標(biāo)檢測

目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域核心問題之一，其目的是能將我們需要檢測的目標(biāo)物體從復(fù)雜環(huán)境圖像中自動識別出來，并輸出物體的類別、位置等信息?，F(xiàn)如今我們主要將基于深度學(xué)習(xí)的目標(biāo)檢測分為一階段檢測（One-Stage）和兩階段檢測（Two-Stage），區(qū)別在于兩階段檢測會先生成候選區(qū)域，再通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本分類，而一階段檢測直接再網(wǎng)絡(luò)中提取特征預(yù)測物體的類別和位置。本文取UA-DETRAC 車輛數(shù)據(jù)集和Caltech Pedestrian Dataset 行人數(shù)據(jù)集，通過YOLO 和RetinaNet 兩個(gè)一階段檢測方法訓(xùn)練車輛-目標(biāo)檢測模型。

3.1 YOLO

YOLO 是Joseph Redmon 等［10］于2015 年提出的一階段的目標(biāo)檢測網(wǎng)絡(luò)。其核心思想是基于單種神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的一階段算法代替生成感興趣區(qū)域和目標(biāo)檢測相結(jié)合的兩階段算法，直接在輸出層回歸候選框的位置和類別。YOLO 采用預(yù)定義候選區(qū)的方法將圖片劃分為S×S 個(gè)網(wǎng)格，每個(gè)網(wǎng)格預(yù)測出兩個(gè)邊框，共2×S 個(gè)候選框，基本覆蓋整個(gè)圖片，YOLO 以降低平均精度均值（Mean Average Precision，mAP）為代價(jià)提升了時(shí)間效率。

YOLOv1 網(wǎng)絡(luò)設(shè)計(jì)了24 個(gè)卷積層和兩個(gè)全連接層，其檢測結(jié)果精度較低，易定位不準(zhǔn)，對密集的小物體檢測效果差。于是Joseph Redmon等繼續(xù)提出了YOLOv2 模型［11］，采用了新的網(wǎng)絡(luò)結(jié)構(gòu)Darknet-19，包括19 個(gè)卷積層和5 個(gè)最大池化層，在分類任務(wù)中進(jìn)行聯(lián)合訓(xùn)練并結(jié)合wordtree 等方式大大擴(kuò)展了YOLOv2的檢測種類，速度也更快，但YOLOv2 的檢測準(zhǔn)確率稍差，檢測小物體和近距離物體的效果較差。YOLOv3［12］繼續(xù)做出了一些嘗試性改進(jìn)，在YOLOv2 基礎(chǔ)上引入了殘差塊，并增加了網(wǎng)絡(luò)深度，YOLOv3還加入了特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）架構(gòu)實(shí)現(xiàn)了多尺度檢測。YOLO 的演變是保持速度優(yōu)勢的同時(shí)仍不斷改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，到Y(jié)OLOv3 已能兼顧速度和準(zhǔn)確率。

3.2 RetinaNet

RetinaNet在2018年由Girshick Ross［13］等提出，其網(wǎng)絡(luò)主要由殘差網(wǎng)絡(luò)Resnet、FPN 和兩個(gè)FCN 的子網(wǎng)絡(luò)構(gòu)成，并提出Focal Loss 用于解決類別不均衡問題。

其中殘差網(wǎng)絡(luò)Resnet 在2015年被提出［14］，2016年繼續(xù)進(jìn)行改進(jìn)［15］，Resnet核心思想在于在網(wǎng)絡(luò)中加入了直連通道，使得下一層神經(jīng)網(wǎng)絡(luò)不用學(xué)習(xí)整個(gè)輸出，只需要學(xué)習(xí)上一層的殘差。Resnet中殘差學(xué)習(xí)模塊主要分為兩層和三層的兩種結(jié)構(gòu)，如圖4 所示，Resnet 比較常用的有50-layer，101-layer，152-layer，本文將采用50-layer。改進(jìn)后的Resnet在上千層的網(wǎng)絡(luò)中仍具有較好的表現(xiàn)。

圖4 兩層和三層的殘差學(xué)習(xí)模塊

經(jīng)過兩種算法應(yīng)用于分割后的路面信息圖像中，發(fā)現(xiàn)在訓(xùn)練測試過程中，RetinaNet 保持了高性能和高準(zhǔn)確率，但速度較慢，YOLOv3 在中等或大尺寸的物體上檢測準(zhǔn)確度較差，故采用RetinaNet算法。

4 路面-遺留物分類器

本階段需要解決的問題是從分割好的且僅含遺留物和路面信息的圖像中提取遺留物信息，因此首先將圖像進(jìn)行網(wǎng)格劃分，例如實(shí)驗(yàn)中我們待檢測的圖像大小為4000×3000，則可以設(shè)定網(wǎng)格大小為100×100，通過提取有用的路面信息網(wǎng)格并進(jìn)行分類是在最后需要完成的任務(wù)。

圖像分類問題是計(jì)算機(jī)視覺領(lǐng)域核心中的基礎(chǔ)問題，其任務(wù)是對于輸入的圖像可自動識別圖像的類別。本次實(shí)驗(yàn)中網(wǎng)格二分類任務(wù)我們將采用支持向量機(jī)完成。

支持向量機(jī)是Vapnik 等［16］提出的一種機(jī)器學(xué)習(xí)方法，是一類按監(jiān)督學(xué)習(xí)（supervised learning）方式對數(shù)據(jù)進(jìn)行二元分類的廣義分類器［17］，其決策邊界是對學(xué)習(xí)樣本求解最大邊距超平面。SVM 的分類性能受到諸多因素影響，其中核函數(shù)的選擇和誤差懲罰參數(shù)C 的取值最為關(guān)鍵，而其參數(shù)選擇問題實(shí)質(zhì)是一個(gè)優(yōu)化問題，本文將采用K 交叉驗(yàn)證（k-Cross Validation）和網(wǎng)格搜索法（Grid Search）進(jìn)行支持向量機(jī)的參數(shù)選擇［18］，在實(shí)驗(yàn)中將劃定受試者工作特征曲線（Receiver Operating Characteristic，ROC）以及曲線下面積（Area Under Curve，AUC）指標(biāo)來評價(jià)該分類模型。

K 交叉驗(yàn)證實(shí)現(xiàn)過程是將數(shù)據(jù)集等比分成K份，其中一份作為測試數(shù)據(jù)，其余作為訓(xùn)練數(shù)據(jù)，這樣進(jìn)行K 次實(shí)驗(yàn)后得到均方誤差作為參數(shù)選擇指標(biāo)。網(wǎng)格搜索是對于核函數(shù)采用徑向基函數(shù)（Radial Basis Function，RBF）時(shí)懲罰因子C 和核函數(shù)參數(shù)gamma采用定長的變化步長依次進(jìn)行訓(xùn)練，進(jìn)而確定最優(yōu)參數(shù)組合。輸出的參數(shù)選擇組合對應(yīng)的得分指標(biāo)如表2 所示，故采用第一組和第四組參數(shù)組合進(jìn)行后續(xù)分類實(shí)驗(yàn)。

表2 SVM參數(shù)組合得分

在二分類問題中樣本類別僅分為正例（Positive，P）和反例（Negative，N），預(yù)測成功記為T，預(yù)測失敗記為F，則TP 表示預(yù)測成功為正例，F(xiàn)P 表示預(yù)測為正例，真實(shí)類別為反例，TN 和FN 同樣理解。由此定義真陽率（True Positve Rate，TPR）和假陽率（False Positve Rate，F(xiàn)PR）的計(jì)算方式如式（1）和式（2）所示。

ROC 曲線圖有兩個(gè)維度，橫軸表示FPR，縱軸表示TPR，ROC曲線上每個(gè)點(diǎn)反映著對同一信號刺激的感受性，因此也被稱為感受性曲線。AUC 是ROC 曲線下的面積［19］，介于0.1 和1.0 之間，作為一個(gè)可直觀評價(jià)分類器，AUC越接近1.0，檢測方法真實(shí)性越高。本次實(shí)驗(yàn)中采用最佳參數(shù)組合時(shí)的兩組參數(shù)對應(yīng)的ROC 曲線和其AUC 值（圖中area 的值）如圖5和圖6所示。

圖5 C=1，gamma=0.001的ROC曲線圖

圖6 C=10，gamma=0.0001的ROC曲線圖

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中采集了多種不同路段的道路遺留物圖像，并設(shè)置了不同的遺留物，并設(shè)置訓(xùn)練、驗(yàn)證和測試圖像比例接近于6∶2∶2，實(shí)驗(yàn)結(jié)果采用FCN 作為路面分割網(wǎng)絡(luò)，RetinaNet 用于車輛-行人檢測，選用C=1，gamma=0.001 的采用徑向基函數(shù)的支持向量機(jī)用于網(wǎng)格分類，最后對相連的網(wǎng)格進(jìn)行連通區(qū)域合成，相鄰的網(wǎng)格確定為相近的遺留物同時(shí)框選出來。三組待測試的道路遺留物圖像經(jīng)過多步驟結(jié)合的道路遺留物檢測各步驟輸出結(jié)果如圖7所示。

采取了三組具有不同特征的遺留物路段的圖像進(jìn)行測試，圖7自上而下為1～3組，第一組是在下午三點(diǎn)左右陰天天氣在國道路面上和路面范圍外同時(shí)設(shè)置遺留物所攝圖像，在檢測的車道上無車輛，因此第三階段與第二階段的圖像一致，遺留物體積較小但仍然檢測成功，說明該方法對與小體積遺留物的檢測是有效的。第二組圖像是上午十一點(diǎn)左右晴天在城市道路路面上設(shè)置兩組遺留物所攝圖像，此時(shí)恰碰檢測路面有車輛和駐足的行人，因此在第三階段將其去除，根據(jù)結(jié)果可以發(fā)現(xiàn)，多組遺留物的檢測并不會在實(shí)驗(yàn)中帶來麻煩。第三組圖像是下午五點(diǎn)左右在學(xué)校的道路路面設(shè)置兩組遺留物，建筑物遮擋造成一定的路面色差，根據(jù)結(jié)果可以發(fā)現(xiàn)仍然準(zhǔn)確可靠。

本次實(shí)驗(yàn)共測試了287 張不同路段不同時(shí)間點(diǎn)的道路遺留物圖像，路面分割準(zhǔn)確度達(dá)到98%，車輛-行人檢測準(zhǔn)確率達(dá)97%，網(wǎng)格分類得分為0.96，準(zhǔn)確度高。單張圖像在路面分割階段平均耗時(shí)0.64s，車輛-行人檢測去除階段平均耗時(shí)0.40s，在網(wǎng)格搜索分類整合階段耗時(shí)10.61s。

6 結(jié)語

本文提出了一種基于深度學(xué)習(xí)的多步驟結(jié)合的道路遺留物檢測方法。首先通過全卷積網(wǎng)絡(luò)分割出待檢測路段的所有路面信息圖，再結(jié)合Reti-Net算法檢測其中的車輛、行人信息并從圖中去除，最后對圖像進(jìn)行網(wǎng)格劃分并通過支持向量機(jī)分類，并對相鄰的分類后的遺留物網(wǎng)格進(jìn)行整合，將整合后的坐標(biāo)框選于原圖像中進(jìn)行輸出。在采集多路段的圖像的實(shí)驗(yàn)中顯示，本文所提出的方法能有效的解決不同環(huán)境背景下不同路面的道路遺留物檢測問題，在復(fù)雜路面環(huán)境下保持了高可靠性和穩(wěn)定性，對于道路遺留物的檢測問題有很好的參考價(jià)值和應(yīng)用潛力。