基于車載視覺傳感器的多目標(biāo)檢測跟蹤技術(shù)研究

摘" 要：汽車在現(xiàn)代社會生活中扮演著舉足輕重的角色，其極大地便利人們的出行，但與此同時，也引發(fā)諸如環(huán)境污染和交通擁堵等社會問題。為應(yīng)對這些挑戰(zhàn)，國內(nèi)外學(xué)者正積極投身于無人駕駛技術(shù)的研究。其中，車輛與行人檢測技術(shù)是無人駕駛技術(shù)的關(guān)鍵環(huán)節(jié)，但鑒于車輛與行人特征的多樣性，使用單一的特征提取和分類方法進行檢測變得異常困難。然而，深度學(xué)習(xí)的目標(biāo)檢測方案憑借其復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，成功攻克這一難題，因此備受國內(nèi)外學(xué)者的關(guān)注。該文旨在通過深入剖析基于深度學(xué)習(xí)的目標(biāo)檢測以及基于SORT的多目標(biāo)跟蹤原理，為車載視覺傳感器的研發(fā)創(chuàng)新提供有益的參考和啟示。

關(guān)鍵詞：車載視覺傳感器;多目標(biāo)檢測;跟蹤技術(shù);無人駕駛;車輛與行人檢測

中圖分類號：TP391" " " 文獻標(biāo)志碼：A" " " " " 文章編號：2095-2945（2025）02-0110-05

Abstract： Automobiles play a pivotal role in modern social life. They greatly facilitate people's travel， but at the same time， they also cause social problems such as environmental pollution and traffic congestion. In order to meet these challenges， domestic and foreign scholars are actively engaged in the research of driverless technology. Among them， vehicle and pedestrian detection technology is a key link in driverless technology. However， given the diversity of vehicle and pedestrian characteristics， it has become extremely difficult to detect using a single feature extraction and classification method. However， the deep learning target detection scheme has successfully overcome this problem with its complex neural network structure， so it has attracted the attention of scholars at home and abroad. This paper aims to provide useful reference and inspiration for the research and development and innovation of vehicle-mounted vision sensors by in-depth analysis of target detection based on deep learning and multi-target tracking based on SORT.

Keywords： vehicle-mounted vision sensors; multi-target detection; tracking technology; driverless driving; vehicle and pedestrian detection

目前，目標(biāo)檢測和跟蹤的實現(xiàn)手段主要包括車載硬件檢測和基于圖像的檢測方案。雖然車載硬件檢測方法在檢測精度上具有一定優(yōu)勢，但由于其成本高昂，難以實現(xiàn)大規(guī)模普及。相對而言，基于圖像的檢測方案雖然在檢測效果上稍遜一籌，但其成本較低，易于普及，且技術(shù)更新迭代較為便捷。因此，全球的研究人員都在致力于在基于圖像的檢測技術(shù)上取得突破，以期為智能交通系統(tǒng)的發(fā)展貢獻力量。

1" 基于深度學(xué)習(xí)的目標(biāo)檢測

1.1" 傳統(tǒng)的目標(biāo)檢測方法

1.1.1" 區(qū)域選擇

傳統(tǒng)的目標(biāo)檢測面臨的主要挑戰(zhàn)在于目標(biāo)位置的不確定性。因此，傳統(tǒng)方法常采用滑動窗口策略，在整個圖像上選取不同尺寸的窗口以覆蓋可能的目標(biāo)區(qū)域。盡管這種方法能夠覆蓋到目標(biāo)區(qū)域，但同時也產(chǎn)生了大量無意義的窗口，這無疑增加了后續(xù)特征提取的復(fù)雜性和計算負擔(dān)，對整體性能產(chǎn)生了負面影響。

1.1.2" 特征提取的重要性與挑戰(zhàn)

特征提取在目標(biāo)檢測中扮演著至關(guān)重要的角色，其質(zhì)量的優(yōu)劣直接關(guān)乎后續(xù)特征分類的準(zhǔn)確性。盡管傳統(tǒng)的目標(biāo)檢測算法在特征提取方面已經(jīng)取得了一些進展，如采用SIFT、HOG等人工設(shè)計的特征提取方法，但這些方法仍然面臨著應(yīng)對不同目標(biāo)尺寸和多變背景的挑戰(zhàn)。因此，如何設(shè)計一種更加高效、魯棒的特征提取方法，以適應(yīng)復(fù)雜多變的目標(biāo)檢測任務(wù)，仍是當(dāng)前研究領(lǐng)域的重點。

1.1.3" 特征分類的現(xiàn)狀與局限性

在特征提取完成后，特征分類是確定目標(biāo)類型和位置的關(guān)鍵步驟。傳統(tǒng)的分類器，如SVM、Adaboost等，在特征分類方面發(fā)揮了一定的作用。然而，由于傳統(tǒng)目標(biāo)檢測算法在區(qū)域選擇和特征提取方面存在時間復(fù)雜度高、魯棒性差等問題，這些算法往往難以滿足實時檢測的需求。因此，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，越來越多的研究者開始探索基于深度學(xué)習(xí)的目標(biāo)檢測算法，以克服傳統(tǒng)算法的局限性，提高目標(biāo)檢測的準(zhǔn)確性和實時性。

1.2" 基于深度學(xué)習(xí)的目標(biāo)檢測方法

1.2.1" VGG-Net

VGG-Net是由牛津大學(xué)在2014年研發(fā)的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其核心特色在于利用大量3×3的小型卷積核，構(gòu)建出一個具有19層深度的網(wǎng)絡(luò)架構(gòu)。在當(dāng)年的ILSVRC（國際計算機視覺識別競賽）中，VGG-Net憑借其卓越性能，成功奪得了定位項目的冠軍以及分類項目的亞軍，這一成果充分證明了網(wǎng)絡(luò)深度的增加可以有效提升檢測識別的效果。

1.2.2" ResNet

ResNet最大的創(chuàng)新之處在于其使用了殘差結(jié)構(gòu)解決了網(wǎng)絡(luò)加深所導(dǎo)致的梯度消失問題，其深度達到了驚人的152層，獲得了2015年ILSVRC分類任務(wù)的冠軍，殘差模塊模型如圖1所示。

1.2.3" R-CNN

R-CNN的突出貢獻在于其首次將深度學(xué)習(xí)技術(shù)引入到目標(biāo)檢測領(lǐng)域，顯著提升了pascal VOC 2007數(shù)據(jù)集上的平均精度均值，增幅高達30%。然而，其檢測流程中的每一步都需要進行獨立的預(yù)訓(xùn)練，并涉及提取近2 000個候選區(qū)域的特征，使得整個檢測過程變得相對復(fù)雜和繁瑣，難以達到實時檢測的要求。

1.2.4" Fast R-CNN

相較于R-CNN，F(xiàn)ast R-CNN采用了全連接層設(shè)計，將分類與邊界框回歸任務(wù)整合到網(wǎng)絡(luò)輸出層中，從而簡化了訓(xùn)練過程，此外其引入了感興趣區(qū)域池化層，有效減少了候選區(qū)域特征提取的計算量，提升了檢測速度。然而，由于仍然依賴選擇性搜索算法來提取候選區(qū)域，F(xiàn)ast R-CNN的檢測流程并非完全的端到端，因此在實時性方面仍有待提升。

1.3" 基于YOLO的目標(biāo)檢測

YOLO算法以出色的檢測速度著稱，其標(biāo)準(zhǔn)模型能實現(xiàn)每秒45幀的快速檢測，而簡化版本更是達到了驚人的每秒155幀。然而，由于YOLO算法并未采用預(yù)先提取候選目標(biāo)區(qū)域的策略，其檢測精度相較于R-CNN系列算法略顯不足。相關(guān)性能的對比情況已在表1中詳細列出。

從表1中可以看出，相較于Fast R-CNN，YOLO算法的檢測速度是其90倍，而經(jīng)過優(yōu)化的YOLO算法更是將檢測速度提升至Fast R-CNN的300多倍。鑒于此，YOLO算法的核心挑戰(zhàn)在于如何在保持其卓越檢測速度的同時，進一步提升檢測精度。具體比較數(shù)據(jù)如圖2所示。

如圖2所示，YOLOv2相較于YOLO在檢測精度和速度方面均有所提升，已基本滿足車載視頻目標(biāo)檢測需求。YOLOv2的檢測精度為76.8%，F(xiàn)PS為67幀，相較于YOLO的檢測精度為63.4%和FPS為45幀，均有所提升。TinyYOLO的檢測精度為57.1%，F(xiàn)PS為207幀，相較于YOLO的檢測精度63.4%和FPS為45幀，檢測精度有所下降，但FPS大幅提升。

1.4" YOLO的網(wǎng)絡(luò)結(jié)構(gòu)

YOLO網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)是DarkNet，這是一個根據(jù)GooLeNet架構(gòu)進行自定義的網(wǎng)絡(luò)。與GooLeNet不同的是，DarkNet沒有采用inception module，而是巧妙結(jié)合了1×1和3×3卷積層。在這里，3×3卷積層負責(zé)從輸入數(shù)據(jù)中提取關(guān)鍵特征，而1×1卷積層則用于對提取的特征進行壓縮，從而優(yōu)化網(wǎng)絡(luò)性能。

在檢測器網(wǎng)絡(luò)的最后一層，為了準(zhǔn)確輸出目標(biāo)的類別和位置信息，需要對預(yù)測框的長和寬進行歸一化處理，確保這些值落在0到1的范圍內(nèi)。至于激活函數(shù)的選擇，除了最后一層采用線性激活函數(shù)以保留預(yù)測值的原始范圍外，其他網(wǎng)絡(luò)層均使用了滲漏糾正線性函數(shù)。這種激活函數(shù)有助于增強網(wǎng)絡(luò)的非線性表示能力，同時減少梯度消失的問題，從而提高網(wǎng)絡(luò)的訓(xùn)練效率和性能，表達式如下

φ（x）=x，xgt;0

0.1x，else。（1）

目標(biāo)檢測器檢測過程大致如下：①將輸入的圖像做歸一化處理;②使用神經(jīng)網(wǎng)絡(luò)進行回歸預(yù)測;③輸出預(yù)測結(jié)果。

YOLO網(wǎng)絡(luò)首先將輸入的圖像劃分為S×S個網(wǎng)格單元，隨后對每個單元進行預(yù)測，生成B個候選邊框。這些預(yù)測涵蓋了邊框中目標(biāo)的具體位置信息（包括x、y坐標(biāo)，寬度w和高度h），目標(biāo)存在的置信度（這一置信度反映了YOLO目標(biāo)檢測器對于邊框內(nèi)是否包含目標(biāo)的信任程度），以及目標(biāo)的分類識別概率。在目標(biāo)類別數(shù)量為C（假設(shè)C=2）的情況下，將得到S×S×B個目標(biāo)預(yù)測窗口，以及相應(yīng)的S×S×B×（5+C）個預(yù)測參數(shù)。這些參數(shù)隨后經(jīng)過處理，去除冗余的預(yù)測窗口，最終確定并輸出檢測到的目標(biāo)。每個網(wǎng)格單元內(nèi)是否存在目標(biāo)的概率表示為Pr（object）。若單元內(nèi)存在目標(biāo)，則Pr（object）=1;若不存在，則Pr（object）=0。目標(biāo)置信度的計算公式則基于這一概率以及其他相關(guān)因素得出。

Confidence=Pr（object）×IOU，（2）

式中：IOU=網(wǎng)絡(luò)生成的范圍框/樣本標(biāo)注的目標(biāo)框。假設(shè)每個網(wǎng)格單元預(yù)測了C個條件類別概率Pr（Class i|Object），將條件概率和預(yù)測框的置信度相乘得到每個單元是否含有目標(biāo)的概率，這個值量化地表示了單元內(nèi)出現(xiàn)類別的可能性以及預(yù)測框與目標(biāo)的匹配程度，公式如下

Pr（Class i|Object）×Pr（object）×IOU= Pr（Class i）×IOU。 （3）

1.5" 基于YOLO的目標(biāo)檢測結(jié)果分析

圖3顯示的是基于YOLO的目標(biāo)檢測視頻圖片，具體效果如下。

基于YOLO的目標(biāo)檢測算法在保持實時性的同時，展現(xiàn)了出色的檢測精度，尤其在識別道路上的車輛和行人方面表現(xiàn)優(yōu)異。然而，在通過KMplayer進行逐幀查看目標(biāo)檢測結(jié)果的過程中，可以觀察到一個現(xiàn)象：當(dāng)檢測目標(biāo)被遮擋時，會發(fā)生漏檢的情況。具體來說，即使車輛在視頻的前后幀中均被成功檢測到，但在某些中間幀中卻出現(xiàn)了未被檢測到的現(xiàn)象。這種目標(biāo)的漏檢現(xiàn)象在被檢測目標(biāo)被遮擋時尤為常見，其會對最終的檢測結(jié)果產(chǎn)生顯著影響，導(dǎo)致檢測精度和性能有所下降。

2" 基于SORT的多目標(biāo)跟蹤

2.1" 基于SORT的多目標(biāo)跟蹤的優(yōu)勢

衡量一個算法在目標(biāo)跟蹤中的性能，需要引入一個評判指標(biāo)。MOT16是MOT Challenge系列在2016年發(fā)布的衡量多目標(biāo)檢測跟蹤方法標(biāo)準(zhǔn)的數(shù)據(jù)集，相較于上一代數(shù)據(jù)集，MOT16的行人數(shù)量更多。該數(shù)據(jù)集的主要作用是利用數(shù)據(jù)來準(zhǔn)確評估各種跟蹤算法的性能，并推動符合標(biāo)準(zhǔn)的新評價指標(biāo)的產(chǎn)生。

本文對MOT數(shù)據(jù)集上不同跟蹤算法的性能進行了對比，包括MOTA、MOTP、MT、ML、ID、FM、FP、FN和Runtime等指標(biāo)，這些算法在MOTA（平均目標(biāo)跟蹤精度）和MOTP（平均目標(biāo)跟蹤成功率）2項指標(biāo)上均有不錯的表現(xiàn)，其中KDNT算法在這2項指標(biāo)上位列第一。此外，從MT（首次跟蹤成功率）和ML（跟蹤丟失率）2項指標(biāo)來看，KDNT算法也表現(xiàn)出較高的水平。然而，僅從這些指標(biāo)來評價算法的優(yōu)劣還不夠全面，還需考慮算法的實時性，即在實際應(yīng)用中，算法能否高效地運行并對目標(biāo)進行實時跟蹤。例如SORT算法在Runtime（運行時間）指標(biāo)上表現(xiàn)較差，這是因為SORT算法需要在每幀圖像中進行目標(biāo)檢測和跟蹤，計算量較大，因此運行時間較長。相比之下，EAMTT、NOMT和KDNT算法的Runtime指標(biāo)要優(yōu)于SORT，說明它們在實時性方面具有優(yōu)勢。值得注意的是，SORT和EAMTT算法運行頻率為60 Hz和12 Hz，而NOMT和KDNT算法運行頻率分別為3 Hz和0.7 Hz。這意味著，在保證跟蹤性能的同時，KDNT算法具有更高的運行效率，可以在較低的頻率下完成目標(biāo)跟蹤任務(wù)。

2.2" SORT算法結(jié)構(gòu)與分析

SORT跟蹤算法的核心構(gòu)成包含目標(biāo)檢測、卡爾曼濾波和匈牙利算法3大組件。該算法通過整合目標(biāo)檢測器的輸出結(jié)果與卡爾曼濾波器的預(yù)測值，并利用匈牙利算法進行IOU匹配，從而得出3種結(jié)果：無匹配軌跡、未匹配檢測以及已匹配軌跡。對于無匹配軌跡，系統(tǒng)直接進行刪除處理;對于未匹配檢測，則創(chuàng)建新的軌跡;對于已匹配軌跡，則通過卡爾曼濾波器進行更新，并繼續(xù)參與后續(xù)的預(yù)測與匹配流程。

2.2.1" 目標(biāo)檢測

SORT跟蹤算法融合了目標(biāo)檢測與目標(biāo)跟蹤的先進方法。其中，目標(biāo)檢測的關(guān)鍵任務(wù)是精準(zhǔn)定位目標(biāo)，并利用邊界框（bbox）將目標(biāo)區(qū)域標(biāo)記出來。在SORT算法的實際應(yīng)用中，雖然原本采用了Faster R-CNN算法進行目標(biāo)檢測，但考慮到實時性需求，本文選擇使用性能更優(yōu)的YOLO算法來完成目標(biāo)檢測任務(wù)。此外，相關(guān)研究也表明，目標(biāo)跟蹤的效果與目標(biāo)檢測的性能密切相關(guān)，因此選擇合適的目標(biāo)檢測算法對于提升整體跟蹤效果至關(guān)重要。

2.2.2" 卡爾曼濾波跟蹤算法

卡爾曼濾波的狀態(tài)方程基于線性隨機差分方程，通過整合系統(tǒng)上一個狀態(tài)的估計值與當(dāng)前時刻的測量值，求解出當(dāng)前狀態(tài)的最優(yōu)解。以目標(biāo)邊界框為例，假設(shè)已知前t-1時刻的邊界框信息，現(xiàn)需要求解t時刻的準(zhǔn)確邊界框bboxo。此時，有2種途徑：一是利用數(shù)學(xué)模型預(yù)測t時刻的邊界框bboxp;二是直接通過目標(biāo)檢測算法得到t時刻的測量邊界框bboxm?？柭鼮V波的作用便是將這2種信息融合起來，求得t時刻的最優(yōu)邊界框bboxo。簡而言之，卡爾曼濾波作為一種有效的去噪技術(shù)，能夠在目標(biāo)檢測的基礎(chǔ)上進一步提升目標(biāo)位置的精確度。

2.2.3" 匈牙利算法

匈牙利算法是由庫恩于1955年提出的一種經(jīng)典匹配算法，其靈感來源于匈牙利數(shù)學(xué)家康尼格關(guān)于獨立零元素的定理。該算法的核心思想在于，通過對矩陣的任意行列進行加減運算，可以在不改變最優(yōu)分配方案的前提下簡化計算過程。為了更直觀地理解匈牙利算法的工作原理，可以借助一個5×5的方陣進行演示。通過該算法的應(yīng)用，同時可以有效地解決目標(biāo)跟蹤過程中的匹配問題，提高跟蹤的穩(wěn)定性和準(zhǔn)確性。

在目標(biāo)跟蹤中，SORT算法將卡爾曼濾波預(yù)測得到的結(jié)果和目標(biāo)檢測算法檢測到的內(nèi)容，來更新當(dāng)前狀態(tài)，并用匈牙利算法進行匹配，得到相應(yīng)跟蹤結(jié)果。

3" 結(jié)束語

綜上所述，本文通過對多種目標(biāo)檢測方法的對比分析，發(fā)現(xiàn)盡管這些方法在目標(biāo)檢測的精確度上能夠滿足本文的需求，但在實時性方面卻存在明顯的不足。然而，以YOLO為代表的基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測算法在這方面展現(xiàn)出了卓越的性能，其出色的實時性表現(xiàn)引起了各國研究人員的廣泛關(guān)注。

參考文獻：

[1] 劉志霞，王煒，仇煥龍.基于相機與激光雷達融合多目標(biāo)檢測算法研究[J].中國汽車，2024（4）：36-42.

[2] 李爽，張瀟巍，譚旭，等.基于深度學(xué)習(xí)的樹木根系探地雷達多目標(biāo)參數(shù)反演識別[J].北京林業(yè)大學(xué)學(xué)報，2024，46（4）：103-114.

[3] 楊勇軍，肖志文，常明，等.基于Prewitt算子和Radon變換的雷達高速微弱目標(biāo)檢測[J].電光與控制，2024，31（6）：101-104，111.

[4] 張茜.基于神經(jīng)網(wǎng)絡(luò)算法的多目標(biāo)檢測追蹤系統(tǒng)設(shè)計[J].軟件，2024，45（3）：80-82.

[5] 郭志浩.融合位置注意力的無人機影像多目標(biāo)檢測方法[J].工程勘察，2024，52（3）：61-67.

[6] 王田，程嘉翔，劉克新，等.多視覺傳感器協(xié)同弱小目標(biāo)檢測[J].指揮與控制學(xué)報，2024，10（1）：9-18.

[7] 黃思德，黃榮軍，張巖坤，等.基于監(jiān)控視頻的交通事故自動識別算法[J].公路交通科技，2024，41（1）：169-176.

第一作者簡介：鮮茂森（1989-），男，碩士，講師，汽車維修高級技師。研究方向為汽車檢測與維修。