基于YOLO和卷積模糊神經(jīng)網(wǎng)絡(luò)的智能交通監(jiān)控系統(tǒng)

摘要 隨著城市化進(jìn)程的加快，城市之間通行的車輛數(shù)量顯著增加，帶來了諸如交通擁堵、車輛種類繁多等問題。為解決交通問題，道路數(shù)據(jù)的收集至關(guān)重要。文章開發(fā)了一種基于YOLO和卷積模糊神經(jīng)網(wǎng)絡(luò)（CFNN）的智能交通監(jiān)控系統(tǒng)，能夠記錄道路上的交通流量和車輛類型信息。在該系統(tǒng)中，首先使用YOLO進(jìn)行車輛檢測，并結(jié)合車輛計(jì)數(shù)方法計(jì)算交通流量。接著，提出了用于車輛分類的兩種有效模型（CFNN和Vector-CFNN）及網(wǎng)絡(luò)映射融合方法。實(shí)驗(yàn)結(jié)果表明，該方法在北京理工大學(xué)的公開數(shù)據(jù)集上達(dá)到了90.45%的準(zhǔn)確率；在GRAM-RTM數(shù)據(jù)集上，CF-YOLO和VCF-YOLO車輛分類方法的平均精度和F1得分達(dá)到99%，優(yōu)于其他方法；在實(shí)際道路上，CF-YOLO和VCF-YOLO方法不僅在車輛分類上具有很高的F1得分，而且在車輛計(jì)數(shù)方面也表現(xiàn)出色。因此，提出的智能交通監(jiān)控系統(tǒng)適用于實(shí)際環(huán)境中的車輛分類和計(jì)數(shù)。

關(guān)鍵詞 YOLO；卷積模糊神經(jīng)網(wǎng)絡(luò)；智能交通；監(jiān)控

中圖分類號 U495 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2024）22-0020-03

0 引言

道路交通監(jiān)控是一個重要的研究課題。通過分析道路上的車輛類型和交通流量，可以了解當(dāng)前的交通狀況，并向交通管理部門提供可操作的信息。這些信息有助于這些部門做出決策，改善人們的生活質(zhì)量。例如在節(jié)假日，可以使用道路交通流量信息向駕駛員推薦替代路線，從而將交通分流到不擁堵的區(qū)域。此外，如果大卡車經(jīng)常使用某條道路，可以安裝路邊警告以提醒駕駛員，減少交通事故的發(fā)生。并且，還可以利用特定車輛的類型和顏色識別來追蹤犯罪嫌疑人的車輛。上述應(yīng)用均依賴于道路監(jiān)控系統(tǒng)收集的信息進(jìn)行分析。

近年來，許多研究者使用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）系列模型解決車輛檢測問題[1]。R-CNN通過區(qū)域提議網(wǎng)絡(luò)（RPN）提取目標(biāo)位置，并使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）對其進(jìn)行分類。雖然該架構(gòu)提高了分類的準(zhǔn)確性，但由于使用了大量參數(shù)，執(zhí)行速度較慢，因此不適合實(shí)時檢測。房鑫等人[2]使用密集連接塊替代網(wǎng)絡(luò)中的殘差塊，解決了小目標(biāo)的漏檢問題；Asim等人[3]將自適應(yīng)網(wǎng)絡(luò)模糊推理系統(tǒng)應(yīng)用于分類問題，相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，取得了更高的分類準(zhǔn)確率；Lin等人[4]使用區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行了工具磨損預(yù)測，效果顯著。此外，還有一些研究者使用局部遞歸功能鏈接模糊神經(jīng)網(wǎng)絡(luò)[5]和Takagi-Sugeno-Kang型模糊神經(jīng)網(wǎng)絡(luò)[6]解決了系統(tǒng)辨識和預(yù)測問題，均取得了良好效果。

為了克服這些問題，該文提出了一種基于YOLO和卷積模糊神經(jīng)網(wǎng)絡(luò)（CFNN）的智能交通監(jiān)控系統(tǒng)。該系統(tǒng)不僅能夠?qū)崟r檢測和分類車輛，還能夠有效地統(tǒng)計(jì)交通流量。與傳統(tǒng)方法相比，該系統(tǒng)通過YOLO和CFNN技術(shù)的有效結(jié)合，極大地提高了車輛檢測的準(zhǔn)確性和分類效率。

1 基于CF-YOLO的智能交通監(jiān)控方法

該部分介紹了所提出的智能交通監(jiān)控系統(tǒng)，其具備三個主要功能：（1）車輛檢測；（2）車輛計(jì)數(shù)；（3）車輛分類。首先，通過交通攝像頭實(shí)時獲取道路圖像。接著，使用提出的改進(jìn)YOLOv4-tiny模型（mYOLOv4-tiny）進(jìn)行車輛檢測。為了避免同一車輛在不同幀中被重復(fù)記錄，系統(tǒng)引入了一個計(jì)數(shù)算法，用于跟蹤車輛。在這一過程中，系統(tǒng)為同一輛車在不同幀中分配相同的身份標(biāo)識符（ID）。在執(zhí)行計(jì)數(shù)算法之前，系統(tǒng)會通過篩選目標(biāo)車輛的虛擬檢測區(qū)域以減少計(jì)算負(fù)擔(dān)。最終，系統(tǒng)對通過虛擬檢測區(qū)域的車輛進(jìn)行計(jì)數(shù)和分類，并收集信息以供后續(xù)分析。

1.1 使用改進(jìn)YOLOv4-tiny進(jìn)行車輛檢測

傳統(tǒng)的YOLOv4-tiny是一個簡化的輕量化網(wǎng)絡(luò)，使用卷積層和最大池化層提取物體特征。此外，YOLOv4-tiny通過上采樣層和連接層合并特征，并擴(kuò)展特征信息，以進(jìn)一步提升檢測效果。與其他YOLO和SSD方法相比，YOLOv4-tiny具有更快的檢測速度。然而，由于大幅度簡化了網(wǎng)絡(luò)架構(gòu)，其檢測精度低于YOLO和SSD方法。

為了提高檢測精度，該文設(shè)計(jì)了一個改進(jìn)版的YOLOv4-tiny（mYOLOv4-tiny），具有用于車輛檢測的三個輸出，如圖1所示。改進(jìn)YOLOv4-tiny網(wǎng)絡(luò)架構(gòu)總共使用了二十四個卷積層和三個最大池化層，最終使用了三個預(yù)測尺度：25×15，50×30和100×60。在該系統(tǒng)中，mYOLOv4-tiny模型僅用于檢測車輛對象。

1.2 車輛計(jì)數(shù)方法

上述YOLO目標(biāo)檢測方法可以從單張圖片中識別車輛及其位置信息。然而，在實(shí)際的交通應(yīng)用中，輸入的是連續(xù)的圖像幀，不同幀中檢測到的車輛彼此獨(dú)立。因此，同一車輛可能會被多次計(jì)數(shù)，導(dǎo)致車輛信息錯誤。為了解決這一問題，必須為檢測到的車輛配置ID以防止重復(fù)計(jì)數(shù)。在該系統(tǒng)中，添加了一個對象計(jì)數(shù)方法，以關(guān)聯(lián)和匹配不同圖像幀中檢測到的車輛，并判斷是否為新增車輛。該方法使用由檢測方法獲取的上一幀車輛位置信息，通過卡爾曼濾波器預(yù)測當(dāng)前幀中的車輛位置，其主要由兩個步驟組成：預(yù)測和更新。其中，預(yù)測的計(jì)算公式如下：

x ? ? k=Ax ? k?1+Buk?1 （1）

P? k=APk?1AT+Q （2）

式中，x ? ? k——當(dāng)前時刻的狀態(tài)向量；P? k——當(dāng)前時刻的協(xié)方差矩陣；x ? k?1——上一時刻的狀態(tài)向量；Pk?1——上一時刻的協(xié)方差矩陣；A——狀態(tài)轉(zhuǎn)移矩陣；B——控制矩陣；uk?1——控制輸入；Q——過程噪聲協(xié)方差。

根據(jù)卡爾曼增益對預(yù)測數(shù)據(jù)進(jìn)行更新，其計(jì)算公式如下：

Kk=P? kHT（HP? kHT+R）?1 （3）

式中，Kk——卡爾曼增益；H——觀測矩陣；R——觀測噪聲協(xié)方差。

接著，計(jì)算卡爾曼濾波器估計(jì)的當(dāng)前位置與實(shí)際檢測到的車輛位置之間的重疊率（IoU）作為距離代價，最后應(yīng)用匈牙利算法匹配車輛，實(shí)現(xiàn)車輛的準(zhǔn)確跟蹤。

1.3 使用CFNN進(jìn)行車輛分類

通過前述方法，車輛的位置信息可以從完整圖像中進(jìn)行確定，接著對車輛進(jìn)行分割。收集車輛類型信息，對分割后的車輛圖像進(jìn)行分析，并生成分類結(jié)果。若需要增加新的信息項(xiàng)，則不必重新訓(xùn)練YOLO模型，因此其擴(kuò)展性優(yōu)于傳統(tǒng)方法，且類別擴(kuò)展后的訓(xùn)練時間顯著減少。為了實(shí)現(xiàn)車輛分類，該文提出了兩種CFNN模型：CFNN和Vector-CFNN。首先，卷積層用于從圖像中提取特征，而最大池化層則用于壓縮這些特征以減少計(jì)算量。然后，使用交互式堆疊方法增加模型深度以完成多種形狀特征組合，并添加一個特征融合層降低特征維度并整合信息。最后，融合后的特征信息被送入模糊神經(jīng)網(wǎng)絡(luò)（FNN）進(jìn)行分類，得到車輛類型的分類結(jié)果。

為了減少傳統(tǒng)CNN模型中存在的冗余參數(shù)，該文提出了一種Vector-CFNN模型，其結(jié)構(gòu)圖如圖2所示。該模型的架構(gòu)與CFNN類似，但用兩層向量核卷積層替代了傳統(tǒng)的卷積層，以進(jìn)一步減少模型參數(shù)數(shù)量和計(jì)算復(fù)雜度。

2 實(shí)驗(yàn)結(jié)果

BIT-Vehicle數(shù)據(jù)集包含9 850張車輛圖像，所有圖像均是在高速公路上不同的時間和地點(diǎn)使用2臺攝像機(jī)拍攝的不同亮度、比例和顏色的車輛圖像，數(shù)據(jù)集涵蓋六種類型車輛，包括公交車、小型巴士、小型貨車、轎車、運(yùn)動型多用途車（suv）和卡車。每類車輛隨機(jī)選取200張圖像進(jìn)行訓(xùn)練和測試，共計(jì)2 400張圖像分別作為訓(xùn)練集和測試集，實(shí)驗(yàn)進(jìn)行10次取平均值。實(shí)驗(yàn)結(jié)果如表1所示，在網(wǎng)絡(luò)映射融合法下，CFNN和Vector-CFNN模型的準(zhǔn)確率分別為90.20%和90.45%，比全局池化和通道池化的方法更優(yōu)。

為了全面評估所提出的CF-YOLO和VCF-YOLO方法的性能，使用GRAM-RTM（M-30）數(shù)據(jù)集將它們與先進(jìn)的目標(biāo)檢測方法（包括RetinaNet、SSD、YOLOv4和YOLOv4 tiny）進(jìn)行了性能比較。GRAM-RTM（M-30）數(shù)據(jù)集包含7 520幀（800×480分辨率，30 FPS），記錄了包括大型卡車、卡車、轎車、面包車和摩托車等多種車輛類型。訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的比例為8：2，即80%（6 016幀）用于訓(xùn)練，20%（1 504幀）用于測試。訓(xùn)練過程首先是車輛檢測模型（mYOLOv4-tiny），隨后是分類模型（CFNN和Vector-CFNN），實(shí)驗(yàn)結(jié)果如表2所示。結(jié)果顯示，CF-YOLO、VCF-YOLO和YOLOv4的mAP高達(dá)99%；CF-YOLO和VCF-YOLO在F1分?jǐn)?shù)上優(yōu)于其他模型。

由表2可知，經(jīng)典模型Retinanet與SSD的準(zhǔn)確率均較高，但略低于該文提出的方法，且檢測速度遠(yuǎn)低于該文所提出的方法。相比于傳統(tǒng)YOLOv4-tiny模型，盡管檢測速度更快（291 FPS），但其F1和mAP低于其他模型。相比之下，CF-YOLO和VCF-YOLO在檢測速度超過70 FPS的同時，也在評估指標(biāo)上表現(xiàn)優(yōu)異。

為了驗(yàn)證系統(tǒng)在實(shí)際環(huán)境中的有效性，將所提出的智能交通監(jiān)測系統(tǒng)應(yīng)用于實(shí)際道路中，其架構(gòu)在該實(shí)驗(yàn)中，使用兩個實(shí)際的道路交通視頻評估所提出的車輛計(jì)數(shù)方法。在被測試的監(jiān)測道路上實(shí)現(xiàn)了兩個功能，即車輛分類和交通流量計(jì)算。在評估中，將所提出的車輛流量計(jì)數(shù)結(jié)果除以人工計(jì)數(shù)結(jié)果，以確定車輛計(jì)數(shù)的準(zhǔn)確性。所提出的智能交通監(jiān)測系統(tǒng)能很好地完成車輛分類和計(jì)數(shù)。

3 結(jié)論

該文提出了一種智能交通監(jiān)測系統(tǒng)，其結(jié)合了YOLOv4-tiny模型和計(jì)數(shù)方法，用于交通流量統(tǒng)計(jì)和車輛類型分類。通過引入融合方法和FNN設(shè)計(jì)了所提出的CFNN和Vector-CFNN，它們不僅可以有效減少網(wǎng)絡(luò)參數(shù)的數(shù)量，還能提高分類準(zhǔn)確率。在BIT數(shù)據(jù)集上，所提出的網(wǎng)絡(luò)映射融合方法優(yōu)于常用的池化方法，可以有效地整合圖像特征并提高分類準(zhǔn)確率，網(wǎng)絡(luò)映射融合法比池化法識別準(zhǔn)確率提高了3.59%～5.92%。在GRAM-RTM數(shù)據(jù)集上，與目前最先進(jìn)的目標(biāo)檢測方法（Retinanet、SSD、YOLOv4和YOLOv4 tiny）相比，所提出的CF-YOLO、VCF-YOLO具有較高的mAP率、準(zhǔn)確的計(jì)數(shù)精度、實(shí)時的車輛計(jì)數(shù)和分類能力（超過30 FPS）。在實(shí)際的道路交通場景中，所提出的CF-YOLO和VCF-YOLO方法在車輛分類方面取得了較高的F1分?jǐn)?shù)，且在車輛計(jì)數(shù)方面具有較高的準(zhǔn)確率。總之，該文提出的CFNN和Vector-CFNN模型不僅具有良好的車輛分類效果，而且相對于其他模型具有較少的參數(shù)。因此，所提出的模型適用于硬件性能有限環(huán)境的信息分析。

參考文獻(xiàn)

[1]Zhang W.， Zheng Y.， Gao Q.， et al. Part-aware region proposal for vehicle detection in high occlusion environment[J]. IEEE Access， 2019（7）：100383-100393.

[2]房鑫，陳兵旗，彭書博，等.基于改進(jìn)YOLOv4的前方車輛檢測方法[J].傳感器與微系統(tǒng)，2024（10）：155-159.

[3]Asim Y.， Raza B.， Malik A. K.， et al. A hybrid adaptive neuro-fuzzy inference system （ANFIS） approach for professional bloggers classification[J]. In Proc. 22nd Int. Multitopic Conf. （INMIC）， 2019：1-6.

[4]Lin C.-J.， Jhang J.-Y.， Chen S.-H.， et al. Using an interval type-2 fuzzy neural network and tool chips for flank wear prediction [J]. IEEE Access， 2020（8）： 122626-122640.

[5]Yeh J.-W.， Su S.-F. Efficient approach for RLS type learning in TSK neural fuzzy systems[J]. IEEE Trans. Cybern.， 2017（9）： 2343-2352.

[6]Lin C.-J.， Lin C.-H.， Jhang J.-Y. Dynamic system identification and prediction using a self-evolving Takagi–Sugeno–Kang-type fuzzy CMAC network[J]. Electronics， 2020（4）： 631.