改進(jìn)的KCF算法在車輛跟蹤中的應(yīng)用

(西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，西安 710000)

0 引言

隨著我國(guó)汽車行業(yè)的不斷發(fā)展，國(guó)民生活水平的不斷的提高，汽車已成為人們?nèi)粘５拇焦ぞ?。隨之而來(lái)的是交通事故的頻發(fā)，以及帶來(lái)的巨大的人身傷害和經(jīng)濟(jì)損失，導(dǎo)致交通事故已經(jīng)成為全球性安全問(wèn)題之一。因此，智能交通系統(tǒng)(intelligent transportation system，ITS) 作為解決方案被提出并且得到了快速發(fā)展?；谝曨l的車輛跟蹤技術(shù)已經(jīng)逐漸成為智能交通系統(tǒng) ITS[1]以及智能交通管理技術(shù)的關(guān)鍵技術(shù)之一。近年來(lái)，研究人員針對(duì)車輛跟蹤問(wèn)題提出了很多優(yōu)秀的跟蹤方法。Wang[2]等人通過(guò)引入多特征融合方法，同時(shí)利用混合高斯模型體現(xiàn)運(yùn)動(dòng)目標(biāo)的顏色分布，然后 加入空間信息，將運(yùn)動(dòng)目標(biāo)的多種外表所能觀察到的特征進(jìn)行了相應(yīng)的組合，最終獲得更為精確的目標(biāo)分析模型。張彤[3]等人提出了一種改進(jìn)的Mean-Shift自適應(yīng)跟蹤算法，通過(guò)運(yùn)動(dòng)目標(biāo)的歷史信息預(yù)測(cè)下一幀目標(biāo)的位置來(lái)優(yōu)化 Mean-Shift跟蹤算法，該算法具有良好的實(shí)時(shí)性和魯棒性。Chang[4]等人提出了一種基于車輛部分側(cè)面的實(shí)時(shí)車輛跟蹤方法。該方法采用AdaBoost算法訓(xùn)練不同的弱分類器組成強(qiáng)分類器，通過(guò)Kalman濾波預(yù)測(cè)車輛的每一部分在圖像中的位置，重新定位跟蹤窗口。該方法在車輛存在部分遮擋，光照強(qiáng)弱變化的條件下，能夠有效提高跟蹤的效率和準(zhǔn)確性。Uchimura[5]等人針對(duì)遮擋情況下的車輛跟蹤，提出一種基于分塊的車輛跟蹤算法。該算法將目標(biāo)車輛以可重疊的方式劃分為若干大小一致的子塊，在分塊的基礎(chǔ)上實(shí)現(xiàn)車輛跟蹤。建立了馬爾可夫隨機(jī)場(chǎng)描述子塊之間的關(guān)系，利用歐氏距離定義塊的鄰域，并基于塊的直方圖構(gòu)建能量函數(shù)，最后利用模擬退火法對(duì)能量函數(shù)進(jìn)行優(yōu)化，以對(duì)遮擋區(qū)域進(jìn)行分割。單玉剛[6]等人針對(duì)多目標(biāo)粘連的問(wèn)題,提出了區(qū)域運(yùn)動(dòng)相似性分割方法和相似度關(guān)聯(lián)矩陣的解決方案。首先采用背景差法進(jìn)行運(yùn)動(dòng)檢測(cè)，經(jīng)過(guò)形態(tài)學(xué)濾波和合并處理提取當(dāng)前幀中運(yùn)動(dòng)目標(biāo)區(qū)域，然后對(duì)檢測(cè)出含有粘連運(yùn)動(dòng)目標(biāo)區(qū)域分別采用基于區(qū)域運(yùn)動(dòng)一致性分割算法進(jìn)行車輛粘連分割，取得較好分割效果，具有很好的魯棒性和適用性。Gao[7]等人還提出了一種基于YcbCr顏色空間的陰影分割算法并采用自動(dòng)粒子濾波算法對(duì)車輛進(jìn)行跟蹤，跟蹤效果具有很強(qiáng)的魯棒性。

目前常用的車輛跟蹤算法包括基于車輛的輪廓、特征、模型、區(qū)域的跟蹤算法[8-12]。 但是在復(fù)雜道路場(chǎng)景下，相似車輛之間的干擾、嚴(yán)重遮擋、旋轉(zhuǎn)及尺度變換一直是車輛跟蹤的難點(diǎn)。因此，基于視頻的車輛跟蹤算法仍需要改進(jìn)。

1 KCF跟蹤器

KCF[13]跟蹤器是以嶺回歸為核心，在線訓(xùn)練的一個(gè)判別式分類器。該跟蹤器的跟蹤效果與跟蹤速度表現(xiàn)都十分亮眼，之所以有這么好的效果，得益于作者使用循環(huán)樣本矩陣作為分類器的訓(xùn)練樣本。然后根據(jù)循環(huán)矩陣可以離散傅里葉對(duì)角化的特性提高了跟蹤器的性能。

1.1 樣本生成

KCF跟蹤器的訓(xùn)練樣本都是在線產(chǎn)生的，初始化跟蹤目標(biāo)區(qū)域?yàn)檎龢颖?，然后根?jù)循環(huán)矩陣?yán)碚摲謩e左乘，右乘置換矩陣進(jìn)行圖像的循環(huán)移位得到負(fù)樣本集合。記目標(biāo)樣本為向量x=[x1,x2,…,xn-1,xn],x循環(huán)移位可得循環(huán)矩陣X，即:

(1)

根據(jù)循環(huán)矩陣的性質(zhì)可將其離散傅里葉變換(DFT)矩陣對(duì)角化為：

(2)

其中:F是用來(lái)計(jì)算DFT的常量矩陣；H表示矩陣共軛轉(zhuǎn)置； “^”表示一個(gè)向量的傅里葉變換，下文將不在說(shuō)明。

1.2 分類器的訓(xùn)練

分類器的訓(xùn)練就是在損失函數(shù)最小的情況下獲的嶺回歸的最優(yōu)解，并且循環(huán)矩陣的性質(zhì)可以簡(jiǎn)化嶺回歸的解。線性嶺回歸目標(biāo)函數(shù)為：

(3)

其中:λ是控制過(guò)度擬合的正則化參數(shù)，f為基樣本的線性組合，即：

f(xi)=wTxi

(4)

嶺回歸的閉式解為：

w=(XHX+λI)-1XHy

(5)

其中:I為單位矩陣，也是循環(huán)矩陣，由式(2)的性質(zhì)可得：

(6)

在非線性回歸的情況下引入了核函數(shù)，把低維空間的計(jì)算映射到高維核空間。假設(shè)樣本的非線性映射函數(shù)為φ(x)，則：

f(z)=wTφ(z)

(7)

根據(jù)Representer定理得嶺回歸的最優(yōu)解：

w=∑iαiφ(xi)

(8)

將(7)和(8)代入(3)式可得核空間的嶺回歸的解為：

α=(K+λI)-1y

(9)

其中:K=C(Kxx)=φ(X)φ(X)T為所有樣本之間的核相關(guān)矩陣；α為系數(shù)αi的向量。由K是循環(huán)矩陣,可得(8)式頻域下的解為：

(10)

其中:kxx是核相關(guān)矩陣K的第一行。

1.3 快速檢測(cè)

待檢測(cè)樣本集，是由上一幀的預(yù)測(cè)區(qū)域和由其循環(huán)移位得到的樣本集合zj=Pjz，P為置換矩陣。

對(duì)輸入圖像塊z,KCF算法中的分類器響應(yīng)為：

f(zj)=αTφ(X)φ(zj)

(11)

由分類器輸出最大值的樣本區(qū)域作為新目標(biāo)區(qū)域,由zj判斷目標(biāo)移動(dòng)的位置。

定義Kz是候選圖像塊和訓(xùn)練樣本之間的的核矩陣，即：

Kz=φ(X)φ(z)T

(12)

由于Kz是循環(huán)矩陣，由(2)式的性質(zhì)得到各個(gè)候選圖像塊在頻域的響應(yīng)為:

(13)

對(duì)式(13)做離散傅里葉逆運(yùn)算，即可獲得待檢測(cè)樣本的響應(yīng)矩陣。采用線性內(nèi)插法更新模型參數(shù),即:

(14)

(15)

2 多尺度改進(jìn)

KCF算法理論上屬于一種密度集抽樣檢測(cè)，利用循環(huán)矩陣的性質(zhì)在傅氏空間中使用離散傅里葉矩陣進(jìn)行對(duì)角化,將復(fù)雜的卷積運(yùn)算轉(zhuǎn)化為簡(jiǎn)單的頻域相乘,優(yōu)化了算法在整個(gè)跟蹤過(guò)程的性能。但是KCF算法依賴循環(huán)矩陣，當(dāng)車輛發(fā)生尺度變化時(shí)，初始化的矩陣不能根據(jù)實(shí)際情況自適應(yīng)地改變大小。這會(huì)導(dǎo)致分類模型的偏移、特征丟失，最終導(dǎo)致跟蹤車輛漂移。所以，本文提出引入一個(gè)在線學(xué)習(xí)且獨(dú)立于位置濾波器的快速分類尺度空間跟蹤器，實(shí)現(xiàn)快速地尺度估算。

2.1 特征金字塔

在KCF算法已經(jīng)估算出車輛位置的情況下，在該位置提取訓(xùn)練樣本的S層主成分分析(PCA)-HOG特征金字塔。假設(shè)當(dāng)前目標(biāo)幀大小為P×R，尺度大小為S，提取目標(biāo)大小為αnP×αnR的窗口標(biāo)記為Jn。其中α表示一個(gè)尺度因子，n的取值范圍如下：

(16)

2.2 尺度降維

(17)

其中:λs為正則化參數(shù)。

有這么一個(gè)單詞，看上去跟我意思相反，但是如果把我們放在一起，卻是個(gè)絕佳搭配。你能幫我找到這個(gè)詞嗎？把它填到橫線上吧。我們放在一起又是什么意思呢？選一選，把對(duì)應(yīng)的中文寫(xiě)在方框里。

(18)

(19)

其中:l∈{1,…,d}表示特征維度。

(20)

(21)

3 遮擋處理機(jī)制

核相關(guān)濾波算法在目標(biāo)跟蹤中,速度和準(zhǔn)確度方面具有明顯的優(yōu)勢(shì)。但在跟蹤過(guò)程中并不涉及運(yùn)動(dòng)目標(biāo)的狀態(tài)信息，當(dāng)運(yùn)動(dòng)車輛發(fā)生嚴(yán)重遮擋時(shí)，就會(huì)破壞分類模型，最終導(dǎo)致跟蹤失敗。因此，本文提出融合Kalman濾波器的跟蹤機(jī)制，當(dāng)目標(biāo)車倆發(fā)生嚴(yán)重遮擋時(shí)，由kalman濾波器預(yù)測(cè)本幀圖像中的目標(biāo)車輛位置，再由核相關(guān)濾波器檢測(cè)預(yù)測(cè)坐標(biāo)周圍的窗口，利用檢測(cè)結(jié)果校準(zhǔn)kalman濾波器。最終得到本幀圖像中目標(biāo)車輛的位置。

3.1 kalman濾波算法

kalman濾波算法的核心思想：以最小均方誤差為最佳估計(jì)準(zhǔn)則，根據(jù)系統(tǒng)的狀態(tài)空間向量模型，利用前一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測(cè)值，從而預(yù)測(cè)出當(dāng)前時(shí)刻目標(biāo)可能出現(xiàn)的位置。

kalman濾波分為兩部分：一個(gè)是狀態(tài)方程、另一個(gè)是觀測(cè)方程分別為：

xk=Akxk-1

(22)

(23)

其中:vk、Hk、zk表示k時(shí)刻測(cè)量噪聲、測(cè)量矩陣、測(cè)量矢量；xk-1表示k-1時(shí)刻的狀態(tài)矢量。則狀態(tài)轉(zhuǎn)移矩陣A、初始誤差估計(jì)P0、觀測(cè)矩陣H分別為:

(24)

式中,Δt=tk-tk-1。

系統(tǒng)預(yù)測(cè)過(guò)程：

(25)

(26)

(27)

式中,Pk表示預(yù)測(cè)誤差估計(jì)；Kk表示增益系數(shù)矩陣。

系統(tǒng)狀態(tài)校準(zhǔn)過(guò)程：

(28)

Pk=(1-KkHk)Pk

(29)

式中,zk表示k時(shí)刻由核相關(guān)濾波器檢測(cè)的車輛位置中心點(diǎn)坐標(biāo)。

3.2 遮擋處理

采用文獻(xiàn)[16]的遮擋判別算法：

1)獲取核相關(guān)濾波器最大響應(yīng)值max和該最大響應(yīng)值目標(biāo)車輛的位置坐標(biāo)pos；

2)獲取pos周圍滿足大于λ1·max的所有的位置posi；

3)獲取所有posi點(diǎn)到pos的歐式距離responsei；

其中:λ1為遮擋閾值，λ2為面積因子；height、width分別為檢測(cè)樣本的高度和寬度。

如果目標(biāo)車輛未受到遮擋，則繼續(xù)使用核相關(guān)跟蹤算法進(jìn)行目標(biāo)車輛的跟蹤。如果目標(biāo)車輛被局部遮擋，則核相關(guān)濾波算法輸出結(jié)果將不在可信。則使用上一幀圖像中目標(biāo)車輛的狀態(tài)信息來(lái)初始化卡爾曼濾波器的狀態(tài)向量，xk= [xk,yk,xk′,yk′]T，其中(xk,yk)為目標(biāo)車輛位置的中心坐標(biāo)，(xk′,yk′)為目標(biāo)車輛位置中心坐標(biāo)的變化速度。采用卡爾曼濾波器的預(yù)測(cè)方程預(yù)測(cè)目標(biāo)車輛在本幀圖像中的位置。當(dāng)目標(biāo)車輛被嚴(yán)重遮擋時(shí)，則不能利用核相關(guān)濾波器輸出結(jié)果校準(zhǔn)卡爾曼濾波器預(yù)測(cè)結(jié)果。所以，設(shè)Δd表示核相關(guān)濾波器的檢測(cè)坐標(biāo)與卡爾曼波器的預(yù)測(cè)坐標(biāo)的歐式距離。正常情況下，Δd比較小，設(shè)參數(shù)δ，當(dāng)Δd<δ時(shí)，正常校準(zhǔn)。當(dāng)Δd>δ時(shí)，停止卡爾曼濾波器預(yù)測(cè)結(jié)果校準(zhǔn)，直接根據(jù)卡爾曼濾波器預(yù)測(cè)坐標(biāo)進(jìn)行跟蹤。

4 自適應(yīng)模板更新

為了提高跟蹤算法在復(fù)雜情況下的魯棒性,相關(guān)濾波器每幀都會(huì)更新目標(biāo)模板，以及時(shí)適應(yīng)目標(biāo)表觀特征的變化。但是，目標(biāo)模板的更新過(guò)程只基于當(dāng)前幀，且學(xué)習(xí)率參數(shù)不能自適應(yīng)地變化。當(dāng)目標(biāo)車輛發(fā)生遮擋時(shí)，模板將丟失目標(biāo)車輛的特征，導(dǎo)致跟蹤失敗。所以，當(dāng)目標(biāo)車輛被遮擋時(shí)，希望適當(dāng)降低學(xué)習(xí)率可以一定程度上減少更新誤差。因此，當(dāng)目標(biāo)車輛被遮擋時(shí)，提出一種自適應(yīng)更新學(xué)習(xí)率參數(shù)的方法。

(30)

其中:μ為調(diào)節(jié)系數(shù)。新的學(xué)習(xí)率參數(shù)為：

(31)

當(dāng)目標(biāo)車輛被遮擋時(shí)，使用新的學(xué)習(xí)率參數(shù)進(jìn)行模板更新。新的學(xué)習(xí)率η′與遮擋程度成反比，當(dāng)目標(biāo)車輛被完全遮擋時(shí)，學(xué)習(xí)率η′趨于0，則不更新模板。相比于傳統(tǒng)模板更新方式，當(dāng)目標(biāo)車輛被遮擋時(shí)，可以自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率參數(shù)，提高了模板的自適應(yīng)更新能力。

5 實(shí)驗(yàn)參數(shù)及結(jié)果分析

實(shí)驗(yàn)的硬件平臺(tái)是A8-4500 M，主頻1.9 GHz，4 G內(nèi)存計(jì)算機(jī)，軟件采用VS 2013與OpenCV 3.1.0編程環(huán)境。實(shí)驗(yàn)中傳統(tǒng)KCF算法的參數(shù)保持不變。學(xué)習(xí)因子η為0.02，高斯核標(biāo)準(zhǔn)差σ為0.5，正則化參數(shù)λ為0.000 1。本文參數(shù)設(shè)置如下：一維尺度相關(guān)濾波器正則化參數(shù)λs為0.01，學(xué)習(xí)因子η為0.025。遮擋閾值λ1為0.8，面積因子λ2為0.3，調(diào)節(jié)系數(shù)μ為0.85。本文選取兩種不同情況下的道路車輛監(jiān)控視頻進(jìn)行實(shí)驗(yàn)。視頻1為目標(biāo)車輛有尺度變化，視頻2為目標(biāo)車輛有遮擋和旋轉(zhuǎn)。

5.1 尺度自適應(yīng)對(duì)比試驗(yàn)

利用視頻1進(jìn)行尺度自適應(yīng)對(duì)比試驗(yàn)，試驗(yàn)結(jié)果部分截圖如圖1所示。圖中上，下兩行分別表示改進(jìn)前跟蹤算法和改進(jìn)后跟蹤算法的試驗(yàn)結(jié)果。從圖中可以清楚地看到視頻中的汽車由遠(yuǎn)及近時(shí)，汽車的尺寸逐漸變大，改進(jìn)后算法的跟蹤窗口可以精確地隨著目標(biāo)車輛的尺寸變化而變化。

圖1 尺度自適應(yīng)試驗(yàn)結(jié)果對(duì)比

5.2 遮擋對(duì)比試驗(yàn)

利用視頻2進(jìn)行遮擋對(duì)比試驗(yàn)，試驗(yàn)結(jié)果如圖2所示。圖中上，下兩行分別表示改進(jìn)前跟蹤算法和改進(jìn)后跟蹤算法的實(shí)驗(yàn)結(jié)果。從圖中可以清楚地看到目標(biāo)車輛在圖2(b)中被其他車輛嚴(yán)重遮擋之后，改進(jìn)前跟蹤算法失去了目標(biāo)車輛，不能繼續(xù)進(jìn)行跟蹤；改進(jìn)后跟蹤算法借助遮擋處理機(jī)制及模板自適應(yīng)更新在受到嚴(yán)重遮擋，部分遮擋之后仍然可以跟蹤目標(biāo)車輛，跟蹤效果良好。此外改進(jìn)后算法的跟蹤速度可以達(dá)到60.5幀/s，雖然遮擋情況下會(huì)影響跟蹤的速度但依然大于制式24幀/s，可以滿足實(shí)時(shí)性的要求。

圖2 遮擋試驗(yàn)結(jié)果對(duì)比

5.3 跟蹤性能對(duì)比

圖3 數(shù)據(jù)集Car1試驗(yàn)結(jié)果對(duì)比

圖4(a)為改進(jìn)前算法的跟蹤誤差曲線，圖4(b)為改進(jìn)后算法的跟蹤誤差曲線。車輛在第190幀(圖3(a))駛?cè)腙幱皡^(qū)域之前兩種算法的跟蹤效果都很好，但是在車輛駛?cè)腙幱皡^(qū)域之后改進(jìn)前算法的跟蹤誤差明顯增大，并且沒(méi)有進(jìn)行修正；改進(jìn)后算法能夠一直保持良好的跟蹤效果。

圖4 跟蹤誤差對(duì)比

6 結(jié)束語(yǔ)

鑒于核相關(guān)濾波算法的時(shí)效性,本文對(duì)KCF算法進(jìn)行改進(jìn),使之應(yīng)用到復(fù)雜道路場(chǎng)景下的車輛跟蹤。(1) 采用快速分類尺度空間跟蹤器(fDSST)的尺度估計(jì)方法，進(jìn)行尺度降維，相比于文獻(xiàn)[14]的尺度估計(jì)方法速度提高了一倍。(2) 增加遮擋處理機(jī)制，通過(guò)遮擋判斷，融合kalman濾波器進(jìn)行預(yù)測(cè)跟蹤。(3) 在目標(biāo)被遮擋情況下，自適應(yīng)調(diào)節(jié)學(xué)習(xí)率參數(shù)。實(shí)驗(yàn)表明本文方法具有較好的跟蹤效果,并且可以保證跟蹤的穩(wěn)定性與及時(shí)性。但跟蹤速度相比于傳統(tǒng)KCF有所降低，下一步的計(jì)劃是在不影響跟蹤效果的同時(shí)，提高跟蹤速度。