基于普適性和特適性融合的交通檢測方法研究

鮑日湧, 張康宜, 林 毅, 連培昆

(福建農林大學 交通與土木工程學院, 福州 350002)

0 引言

隨著智能交通系統(tǒng)的快速發(fā)展,交通目標檢測技術顯得尤為重要. 高效準確的交通檢測不僅關系到道路交通管理決策的科學性,也是智能駕駛等新技術實現的基礎[1]. 傳統(tǒng)的交通檢測算法主要基于特定場景的需求進行繁瑣的手工設計,往往不具有通用性,當圖像的場景或者識別的角度變化時,容易導致效果不佳,難以適應復雜多變的交通場景執(zhí)行車輛檢測任務[2-3]. 近年來隨著深度學習技術的快速發(fā)展,基于計算機視覺結合深度學習的交通檢測方法取得了很大的進展,并逐漸成為該領域的主流方法. 這種基于圖像處理的方法可避免傳統(tǒng)硬件傳感器車流檢測的弊端,不受天氣條件的影響. 相比傳統(tǒng)車輛檢測方法,它具有更強的魯棒性以及更廣的適用場景. 目前主流的目標檢測算法代表有YOLO系列[4-5]、SSD系列[6]等單階段檢測算法和RCNN[7]、Fast RCNN[8]等兩階段檢測算法. 盡管兩階段檢測算法檢測精度更高,但其效率較低,計算耗時更長. 而單階段檢測算法更簡單高效,可在一階段直接提取特征并輸出目標類別和位置,計算速度更快,算力要求也更低. 因此,目前大部分交通目標檢測任務仍以使用單階段算法為主,且有大量的學者在YOLO檢測算法的基礎上改進得到不錯的效果. 李珣等[9]等通過對道路場景的分析,改進了YOLO-voc網絡模型,改善了道路車輛目標檢測率低及魯棒性差的問題;胡習之等[10]通過融合Camshift與YOLOv4的車輛檢測算法,根據哈希值來選擇不同的檢測方式的方法,在檢測速度方面得到了明顯的改善;蒲玲玲等[11]提出了1種基于動態(tài)IOU閾值的非極大值抑制算法,解決了車輛相互遮擋問題,提高了算法的跟蹤精度;鄺先驗等[12]通過在YOLOv5s網絡基礎上添加卷積注意力模塊,同時加深網絡主干的方法,以提高在車輛目標小與遮擋較多復雜場景的檢測精度;袁小平等[13]以YOLOv4算法框架結構作為基礎,提出改進注意力機制的多尺度特征,提取融合檢測網絡. 在保證基本的實時性的基礎上,更適用于復雜交通場景下的混合目標檢測任務;董天天等[14]提出了1種基于AlexNet融合改進的 YOLOv3 網絡模型,不同天氣狀況使用不同方法去除干擾,大大提升了在復雜天氣條件下的檢測精度. 雖然相比改進前在檢測精度方面有所提升,但其在部分特定場景的表現仍有空間. 如,對于有大量非機動車且無機非分離、地面受到陽光反射、交通流比較擁堵的道路和視頻遠處行駛的車輛,上述方法大多存在著誤檢、漏檢等檢測精度不足的問題. 除此之外,官方提供的YOLOv5預訓練模型對于一些特定的交通場景,也存在著誤檢、漏檢的情況. 例如,使用官方的模型識別電動摩托車時,通常只能識別到車上的人,一定程度上影響了數據的精準性. 同時,使用特定場景制作的數據集所訓練出來的模型也僅在特定的交通場景表現理想,對其他交通場景的適應性較差. 針對上述問題,本文通過對數據集的預處理,加入公共數據集與特定場景標定的數據集進行融合,在此基礎上使用官網提供的預訓練模型遷移學習并進行測試及性能比較,驗證模型檢測的精準率和魯棒性.

1 基于普適性和特適性需求融合的交通檢測模型設計

1.1 YOLOv5網絡結構

YOLOv5是在YOLOv4的基礎上改進新思路,具有速度更快、檢測精度更高、文件更小等特點. YOLOv5網絡主要分為輸入端、骨干網絡、頸部網絡、頭部網絡4個部分. 輸入端采用Mosaic數據增強的方法,這種方法采用4張圖片,隨機縮放、裁剪、排布的方式進行拼接,可提高數據的多樣性,特別是隨機縮放增加了很多小目標,讓網絡的魯棒性更好. YOLOv5將自適應錨框計算嵌入到代碼中,每次訓練不同的數據集都有初始設定長框的錨框. 在開始訓練時自適應計算訓練集中的最佳錨框值. 自適應圖片縮放,因為不同的圖片長寬也不相同,因此需要將原始圖片統(tǒng)一縮放到1個標準尺寸. 自適應圖片縮放技術盡量保持高寬比,缺的用灰邊補齊達到固定的尺寸,再輸入到網絡中進行檢測. 骨干網絡主要是用來提取特征的網絡,其作用就是提取圖片中的信息,以供后面的網絡使用. 由Focus結構,CSP結構組成,其中Focus結構最重要的是切片,將圖像切片后變成特征圖,再經過卷積核進行卷積操作. 而CSP將之前所有層的輸出特征連接起來,作為下一層的輸入,最大化網絡層間的寬度,由梯度信息結合的思想,讓高網絡層間的寬度和稀疏連接來提升網絡的學習能力. 頸部網絡采用FPN+PAN結構,FPN是自上向下的1個特征金字塔,把高層的強語義特征傳遞下來,但是FPN中間經過多層的網絡后,底層的目標信息已經非常模糊,因此PAN又加入了自底向上的路線將低層的定位特征傳遞上去,彌補并加強了定位信息. 頭部網絡擁有3種不同尺寸的特征圖像,根據各特征生成預測框進行非極大值抑制,保留局部類別置信度較高的預測框.

圖1 YOLOv5網絡結構

1.2 普適性結構設計

1.2.1 數據處理部分

圖像數據集的質量直接影響著車輛識別模型的性能好壞,當前常用的數據集有PASCAL VOC2012、KITTI和COCO數據集等,本文普適性結構設計選用的是COCO2017數據集,COCO 2017數據集是 1個常用的大型圖像數據集,其圖像均采集自真實場景,類別較為豐富,且每張圖像不僅有邊界框標注,還有分割標注,以及圖像描述的文本標注,它的圖像和標注真實反映復雜場景,是測試算法泛化能力的好基準,也是訓練和評價算法的重要資源. COCO數據集中的圖像分為訓練集118 287張、驗證集5 000張和測試集40 670張,一共有80個類別.

1.2.2 結構設計部分

YOLOv5的普適性結構部分主要是針對模型整體而言,目的是提高模型的泛化能力和魯棒性. 首先采用預訓練權重可提高模型的泛化能力和魯棒性. 在實際應用中,不同的數據集可能存在一些相似之處,通過使用預訓練權重,可更好地利用這些相似之處,從而減少對數據集的依賴,提高模型的泛化能力. 同樣地,使用凍結主干網絡則保持了底層特征提取網絡的權重不變,僅更新后面的檢測頭部網絡. 這將大大減輕對大量標注數據的需求,避免模型過度擬合當前數據集. 凍結主干網絡具體實現代碼見圖2. 在訓練過程中使用隨機梯度下降法,以優(yōu)化參數調整并提高預測性能. 該方法能快速找到損失函數的局部最小值,從而加快訓練進程,比較適用于大型數據集,同時設置回調函數,記錄驗證集上性能最佳的模型參數,以保證檢測性能.

圖2 凍結主干網絡代碼實現

1.3 特適性結構設計

1.3.1 數據處理部分

有限的數據集,想要獲得1個效果較好的模型比較困難,因為數據量的不足很容易導致模型過擬合. 為了解決這個問題,使用遷移學習的思路. 首先使用在大型的公開數據集上預訓練的模型,然后再在自建較小的數據集進行微調. 因此本文使用的是交叉口視頻數據,這些視頻拍攝于不同時段的卡口,包含多樣化的場景和車輛,對這些圖像進行了手工標注. 標注工具采用Darklabel開源軟件的2.4版本. 標注后的數據與COCO數據集合并在一起,作為遷移學習所需的數據集. 相比于從零開始訓練,遷移學習可充分利用COCO數據集上預訓練好的模型,并使用額外標注數據進行微調,使模型更好地適應目標場景. 同時,不同視角、不同時段所拍數據的多樣性,也為模型泛化提供了支持. 在有限數據條件下,這種方式可獲得1個效果更佳的模型.

1.3.2 結構設計部分

YOLOv5的特適性結構部分主要是針對模型的檢測能力和性能而言,目的是提高模型的檢測精度和魯棒性. 在檢測中,同一目標可能會出現許多大小不同的預測框、很多冗余的預測框,通過NMS操作可刪除冗余檢測的結果. YOLOv5算法中原有的NMS中,IoU是唯一的篩選規(guī)則,缺點是會將相鄰的檢測框的分數均強制歸零. 由于測試場景會出現很多重疊的現象,在篩選2個靠近的物時有可能就直接篩選掉另外1個物體的篩選框,導致漏檢的情況,從而影響檢測精度. 因此本文使用DIoU-NMS算法[15],代替經典的NMS算法,DIoU-NMS在NMS的基礎上,不僅考慮了相鄰兩預測框重疊的部分,還考慮了相鄰2個預測框中心點間距離的問題見式(1):

(1)

式中,si為當前類別的得分;IoU為預測框和真實框的交并比;HDIOU為DIOU損失函數的懲罰項;α為預測框中分數最高的那個框;Bi為相比較的邊界框;ε為NMS的閾值;ρ2(b,bgt)為預測框和真實框中心點的歐拉距離;c為預測框和真實框最小外接框的對角線長度.

2 數據分析

2.1 場景介紹

在普適性場景中,常見的車輛檢測場景包括城市道路、高速公路、收費站、停車場等. 這些場景中車輛行駛暢順、車速相對較快且車輛密集有序,比較容易進行車輛檢測. 然而,特殊場景則比較復雜. 例如含有摩托車的城市道路場景. 這類場景的車輛不僅包括普通的機動車,還包括摩托車和電動車等,這些車輛的速度和大小都存在較大差異,因此需要更為復雜的車輛檢測算法和技術. 此外,特殊場景還包括交通擁堵嚴重的路段、夜間光線昏暗的路段以及雨霧等惡劣天氣條件下的路段. 這些場景中的車輛行駛速度緩慢,車輛密度大,需要更為高效的算法和技術才能準確地進行車輛檢測.

2.2 數據集

本文自定義的數據集類別設定了5類檢測目標:行人、摩托車、小汽車、公交車、貨車. 為了減少訓練時間,通過代碼將COCO數據集80個類別中非本文需要的75個類別的數據刪除后,只保留部分相關圖片共計13 541張. 但是COCO2017中并沒有摩托車這一類別,而需要檢測的視頻中摩托車占大部分,因此就需要加入大量的摩托車數據集,通過采集交叉路口固定機位所拍攝的視頻,選用了3 581張圖片制作人工數據集. 最終的總數據集一共有 17 122張圖片,部分數據集圖片見圖3.

圖3 部分數據示意圖

其中人工數據集使用的是Darklabel2.4多目標跟蹤標注工具標定,Darklabel支持對視頻進行半自動化跟蹤框選,大大減輕了人工標注量. 在標注過程中,通過加載目標監(jiān)控視頻,利用Darklabel繪制并跟蹤標定目標框,輸出標定文件. Darklabel可生成多類別多目標的矩形邊界框,輸出格式支持Pascal VOC標準的XML文件,保證了數據格式與COCO數據集的一致性. 最后將準備好的數據集放入模型中訓練,選取指標最優(yōu)的模型進行結果分析. 具體實驗過程設計見圖4.

圖4 實驗流程設計

2.3 實驗環(huán)境與評價指標

模型的訓練和測試操作系統(tǒng)為:Ubuntu22.04、CPU為Intel? Xeon? Silver 4216、GPU為Tesla T4 16G、Python 3.8、PyTorch1.6. 為了避免在訓練過程中破壞骨干網絡的特征提取能力,同時可加快訓練速度. 訓練時利用框架提供的接口,將主干層的前10層凍結住,保持前幾層不變,這將大大加快了訓練模型的速度. 本次部分網絡超參數設定如表1所示.

表1 訓練參數設置

在目標檢測中,對模型的性能評價指標[16]包括查準率(Precision)、召回率(Recall)、平均精確率(AP)、均值平均精確率(mAP)見式(2)～(4):

(2)

(3)

(4)

式中,TP為真樣本被識別為真的數量,即被正確識別的車輛目標;FN為真樣本沒有被識別出來的數量,即被漏檢的車輛目標;FP為假樣本被識別為真的數量,即被誤檢的車輛目標;n為總類別的數量.

2.4 實驗結果分析

本次實驗一共進行100輪訓練,每10輪次保存 1個訓練模型,最后輸出均值平均精確率的變化情況,見圖5. 均值平均精確率的指標從0.839逐步提高到0.901,整體上呈現穩(wěn)步上升的趨勢. 在前 15輪,模型性能進步最快,均值平均精確率從0.839提高到峰值0.893. 此后指標仍有波動上升,但速度開始放緩,大多數輪次保持在0.89～0.90這個區(qū)間. 特別是在最后20輪左右,均值平均精確率指標基本穩(wěn)定在0.901上下浮動,說明模型訓練已經進入穩(wěn)定期. 從整個過程可看出,均值平均精確率指標與訓練輪次之間呈現出典型的機器學習訓練曲線分布,在早期快速上升后逐漸達到飽和.

圖5 均值平均精確率(mAP)

2.5 與其他模型對比分析

為了驗證本文提出模型的優(yōu)勢,在YOLOv5預訓練模型基礎上融合預處理的COCO數據集和特殊場景人工數據集后微調訓練出來的模型YOLOv5-A與其他常見模型[17-18]在同一數據集下進行對比,測得實驗結果見表2.

表2 測試結果

由表2可看出YOLOv5-A相比于YOLOv3-tiny、YOLOv4、YOLOv5查準率分別提高了9.4%、11.2%、5.4%;召回率分別提高了12.8%、15%、6.4%;均值平均精確率分別提高了8.9%、10.9%、5.0%;分析可知,本文提出的YOLOv5-A對比其他常見模型均有所提升,檢測速度也高于大多數模型,其FPS可達到 44 FPS. 這說明YOLOv5-A模型不僅可保證高精度的檢測性能、滿足不同應用場景的檢測需求、實現對多類別目標的準確識別,還具有很強的實時檢測能力. 其檢測速度和精度的協(xié)同提升使其泛化能力強,可適應更廣域的交通環(huán)境,完成復雜條件下的多類別交通目標檢測與識別.

為了更直觀地對比改進后模型的檢測效果,選取復雜情況的道路進行測試,識別效果對比見圖6,可看出YOLOv5檢測算法會將摩托車上的人一并識別出來,還會把小汽車誤識別為貨車,這將導致在最后進行交通流統(tǒng)計的時候會產生很大的干擾,而改進后的模型YOLOv5-A不僅準確的檢測出,而且對其進行了正確的分類,因此在復雜道路情況下改進后的模型的表現更好.

圖6 識別效果對比

3 結束語

本文基于普適性和特適性需求融合的交通檢測方法研究,以改善針對于特殊交通工具類型的場景適應性較差問題. 通過對模型的普適性與特適性架構的設計,首先在預處理的COCO數據集上添加大量特殊交通工具類型的樣本數據集,其次在YOLOv5預訓練模型上遷移學習,通過凍結主干網絡提升訓練速度,并使用DIoU-NMS算法代替經典的NMS算法,從而提升檢測效果. 實驗結果表明,YOLOv5-A對于復雜場景的識別相比于YOLOv3-tiny、YOLOv4、YOLOv5的平均準確率均值mAP分別提高了8.9%、10.9%、5.0%,且在不同的場景下依然具有良好的魯棒性,優(yōu)于同類型模型的檢測效果,并且其實時性也能達到車輛檢測的要求.