范玲瑜,王世明,張 超,丁 玲,胡冠華
(北方自動控制技術(shù)研究所,太原 030006)
未來信息化條件下作戰(zhàn),確保武器系統(tǒng)的快速決策和精確打擊能力尤為關(guān)鍵。光電跟蹤系統(tǒng)的全天候、動態(tài)獲取目標(biāo)信息、高精度、抗干擾等特點,能夠?qū)崿F(xiàn)多目標(biāo)系統(tǒng)的識別與跟蹤,從而為作戰(zhàn)指揮、武器控制與火力打擊分配提供依據(jù)[1]。視頻跟蹤技術(shù)是實現(xiàn)高精度光電跟蹤的先決條件,視頻跟蹤器也是光電跟蹤系統(tǒng)的關(guān)鍵部件之一。而現(xiàn)代作戰(zhàn)過程中,復(fù)雜的場景與高精度、智能化的需求使得圖像目標(biāo)的檢測與跟蹤成為難題,復(fù)雜場景下的視頻跟蹤技術(shù)亟需研究[2]。
目標(biāo)跟蹤的主要任務(wù)是在視頻圖像中目標(biāo)被識別的基礎(chǔ)上,將不同幀中的同一目標(biāo)進行連續(xù)追蹤的過程。傳統(tǒng)跟蹤系統(tǒng)采用時域模板匹配的算法,通過與目標(biāo)模板匹配的過程實現(xiàn)目標(biāo)跟蹤。但是在面對戰(zhàn)場環(huán)境復(fù)雜、目標(biāo)隱蔽性高的環(huán)境下,該算法極易丟失跟蹤目標(biāo)。為了提高復(fù)雜背景下運動目標(biāo)的跟蹤能力,本文采用了基于在線學(xué)習(xí)的相關(guān)濾波器(KCF)視頻目標(biāo)跟蹤技術(shù)。
基于相關(guān)濾波器的跟蹤器而言,可以通過快速傅里葉變換在頻域中計算相關(guān)操作;并且可以通過快速傅里葉逆變換將相關(guān)響應(yīng)轉(zhuǎn)換到空域上。該算法引入循環(huán)結(jié)構(gòu)并給出了一種密集采樣的策略,首先,通過單個圖像塊學(xué)習(xí)目標(biāo)的RLS分類器,然后利用循環(huán)矩陣以及核函數(shù)對其進行求解,從而得到核相關(guān)濾波器,最后,通過計算核相關(guān)濾波器響應(yīng)的最大值來確定目標(biāo)位置[3]。下面對基于核相關(guān)濾波器目標(biāo)跟蹤的相關(guān)理論知識的簡要介紹。
在本文應(yīng)用的KCF跟蹤算法中,選取目標(biāo)大小為m*n的圖像作為跟蹤目標(biāo),將此目標(biāo)作為跟蹤樣本進行訓(xùn)練,并采用密集采樣的方式遍歷搜索范圍內(nèi)的圖像并且進行SVM分類。由于采用密集采樣的方式,采樣的數(shù)據(jù)量大,采樣樣本多,計算量相較于隨機采樣有很大的增加。為了解決計算量的問題,引入循環(huán)矩陣,并使用FFT進行計算。假設(shè)一個圖像目標(biāo)為x,通過利用循環(huán)移位來獲得樣本xi,其中i∈{0,…,m-1}*{0,…,n-1},那么樣本 x 可以表示成一個d*1的向量,特征樣本就可以表示為:
其中:P 為式(2)所示的 d*d 循環(huán)矩陣,i=0,1,…,d-1。
線性分類器的表達式為f(x)=
其中:yi為樣本xi期望的輸出為一個固定的正則化參數(shù)[4]。
利用循環(huán)矩陣可以將原本低維空間的樣本映射到高維,這樣可以豐富樣本的特征信息,提高分類性能。在本算法中,利用核函數(shù)為將樣本x映射到高維特征空間φ(x),那么式(3)的解就可以表示為輸入的線性組合,見式(4):
其中:bi為變換系數(shù)。
采用核方法的RLS有簡單的閉合的解,由此得到b:
核矩陣K為循環(huán)矩陣,將其變換到頻域可得解為:
其中:F-1表示離散傅立葉反變換[6]。
因此,對于新采樣的訓(xùn)練樣本zi,分類器的輸出相應(yīng),其中為上一幀學(xué)習(xí)的跟蹤樣本模型,則在頻域上有:
由于戰(zhàn)場地理環(huán)境復(fù)雜,目標(biāo)在運動的時候經(jīng)常會被遮擋。由于遮擋的存在,目標(biāo)在遮擋一定程度下容易丟失,由于采用核相關(guān)濾波器跟蹤算法無法解決丟失之后目標(biāo)繼續(xù)重檢的問題,因此,需要設(shè)計額外的算法來完成目標(biāo)重新出現(xiàn)之后的檢測。
本文提出了基于粒子濾波及灰度直方圖的目標(biāo)重檢算法。該算法通過計算當(dāng)前粒子與丟失前樣本粒子的灰度直方圖匹配程度來有效找出丟失的目標(biāo)。
粒子濾波算法是一種基于全局隨機的搜索方法,適用于隨機的非線性的查找、檢測、跟蹤目標(biāo),在學(xué)術(shù)研究以及工程實踐中有著廣泛的應(yīng)用[9]。
粒子濾波的簡要過程如下:
1)初始化粒子。K-0時刻,在一定的搜索區(qū)域內(nèi)初始化粒子,且每一個粒子權(quán)值相等每一個粒子可以表示為
4)估計有效樣本的個數(shù),當(dāng)有效樣本數(shù)量小于一定門限,進行重采樣,否則不予理會。
5)跳入2)步,進行持續(xù)檢測,直到滿足條件后跳出[10-12]。
灰度直方圖是對一副圖片中灰度的分布情況進行的統(tǒng)計,將圖像像素點的大小按照一定的統(tǒng)計規(guī)則,對每一個像素按照像素值的大小進行統(tǒng)計分布,找出每一個灰度區(qū)域像素值出現(xiàn)頻率的分布特征。
概率密度函數(shù)為:
概率分布函數(shù)為:
如果一幅圖片中含有n個像素,在某一個灰度范圍內(nèi)包含的像素個數(shù)為nk,則概率密度函數(shù)為,概率分布函數(shù)為
當(dāng)目標(biāo)被完全遮擋,跟蹤器無法跟蹤的情況下,系統(tǒng)開始進入重檢階段。首先,系統(tǒng)會記錄丟失前目標(biāo)的具體位置以及圖像特征。接下來在丟失地點附近,按照粒子的權(quán)重進行粒子的隨機撒子。最后計算每一個粒子和丟失前目標(biāo)的匹配程度(0.0~1.0)。當(dāng)匹配值超過0.95的經(jīng)驗值時,認(rèn)定系統(tǒng)重新檢測到目標(biāo),則跳出重檢過程繼續(xù)開始跟蹤。如果匹配值未超過0.95門限時,則將各個匹配值歸一化,將歸一化的權(quán)值賦給每一個粒子的權(quán)值,用于下一步粒子的更新預(yù)測,直到檢測到有粒子和丟失前目標(biāo)的匹配程度大于門限時為止。
圖1 系統(tǒng)硬件設(shè)計圖
此平臺為FPGA+DSP架構(gòu),從視覺傳感器輸出信號通過PAL制式標(biāo)準(zhǔn)接口進入FPGA中,F(xiàn)PGA將待處理數(shù)據(jù)通過高速接口傳輸給DSP(TMS320C6455)處理器進行圖像處理,同時輸出視頻信號給監(jiān)視器便于人眼觀察。外部通信接口為RS422與火控計算機或指揮控制中心實現(xiàn)信息交互。在系統(tǒng)內(nèi)部,DSP和 FPGA通過 SPI、GPIO、EMIF三者相連,用于輸出圖像數(shù)據(jù),工作指令等信號。DSP外擴DDR存儲器,F(xiàn)PGA外擴SDRAM存儲器用于存放圖像。
目標(biāo)跟蹤算法需要對每一幅圖像進行處理并實時輸出結(jié)果,當(dāng)系統(tǒng)檢測到運動目標(biāo)并接到外來指令進入跟蹤狀態(tài)之后,系統(tǒng)會初始化跟蹤算法并開始跟蹤指定目標(biāo)。如果跟蹤算法能夠正常跟蹤目標(biāo),則標(biāo)志位flag就保持為1,如果目標(biāo)丟失則置為0。如果flag為0,在下一幅圖像到來時,跟蹤算法就會利用保存的目標(biāo)模板對此圖像中目標(biāo)丟失時的附近區(qū)域進行搜索,尋找目標(biāo)。如果重新捕獲目標(biāo),跟蹤算法繼續(xù)進行跟蹤,如果未找到,則等待下一幅圖像到來時繼續(xù)搜索,而且如果累計搜索的圖像數(shù)量num大于150(3 s),系統(tǒng)就會退出跟蹤狀態(tài),轉(zhuǎn)為等待狀態(tài)。如圖2所示為目標(biāo)跟蹤系統(tǒng)軟件流程圖。
圖2 系統(tǒng)軟件設(shè)計流程圖
為了驗證算法的正確性以及實用性,對系統(tǒng)進行了如下的測試。
圖3為模擬復(fù)雜環(huán)境下的系統(tǒng)測試圖片。坦克由右向左前進。前兩張圖片中,坦克在前進的路上沒有遮擋,系統(tǒng)進行穩(wěn)定的跟蹤,如圖3(a)、圖3(b)所示。當(dāng)前方有障礙物完全遮擋住坦克時,系統(tǒng)丟失目標(biāo),并且在丟失目標(biāo)的附近開始進行尋找,如圖3(c)所示。當(dāng)坦克重新出現(xiàn)在視場范圍內(nèi)時,系統(tǒng)重新捕獲到坦克目標(biāo),進行跟蹤,如圖3(d)所示。
下頁圖4為本系統(tǒng)的真實場景測試圖片。在復(fù)雜的戰(zhàn)場環(huán)境條件下,裝甲車從圖片的右邊開始向左邊行駛,圖 4(a)、圖 4(b)表示系統(tǒng)處于穩(wěn)定的跟蹤狀態(tài)。當(dāng)有障礙物(手)遮擋時,目標(biāo)完全丟失,此時無法進行下一步的跟蹤。當(dāng)手拿開時,目標(biāo)裝甲車?yán)^續(xù)出現(xiàn)在視野中,本系統(tǒng)利用上文提出的算法重新檢測出目標(biāo)。
圖3 仿真復(fù)雜環(huán)境下的測試
圖4 真實環(huán)境下的系統(tǒng)測試
本文針對復(fù)雜戰(zhàn)場環(huán)境下裝甲目標(biāo)的跟蹤問題,提出了在線學(xué)習(xí)的相關(guān)濾波器視頻跟蹤算法,實現(xiàn)了復(fù)雜場景下目標(biāo)的實時、準(zhǔn)確跟蹤;提出了一種基于粒子濾波和灰度直方圖的目標(biāo)丟失重檢算法,實現(xiàn)了在目標(biāo)完全遮擋之后對于丟失目標(biāo)的重檢;設(shè)計了基于DSP和FPGA的視頻跟蹤器系統(tǒng),通過實驗驗證,該系統(tǒng)能夠很好地滿足戰(zhàn)場環(huán)境對視頻跟蹤器的需求。