基于 Android的自學(xué)習(xí)視覺跟蹤系統(tǒng)設(shè)計(jì)?

袁 辰 張 林 林元根 宛 函

（1.中國(guó)船舶重工集團(tuán)公司第七二三研究所 揚(yáng)州 225000）（2.東南大學(xué) 南京 210000）

基于 Android的自學(xué)習(xí)視覺跟蹤系統(tǒng)設(shè)計(jì)?

袁 辰1張 林2林元根1宛 函1

（1.中國(guó)船舶重工集團(tuán)公司第七二三研究所 揚(yáng)州 225000）（2.東南大學(xué) 南京 210000）

智能移動(dòng)設(shè)備的快速發(fā)展，使其應(yīng)用到越來越多的方面，目標(biāo)跟蹤便是其中之一。但是，智能移動(dòng)平臺(tái)性能較低、內(nèi)存資源少，限制了目標(biāo)跟蹤算法的應(yīng)用。因此論文提出了一種TLD目標(biāo)跟蹤算法的優(yōu)化方法。使其能夠在搭載An?droid系統(tǒng)的智能手機(jī)上實(shí)時(shí)運(yùn)行。通過提出了三種方法提高TLD算法檢測(cè)模塊的效率，提高了TLD算法的實(shí)時(shí)性。并將改進(jìn)算法集成到Android應(yīng)用中，運(yùn)行在Android智能手機(jī)上。實(shí)驗(yàn)表明，改進(jìn)后的TLD算法在主流智能手機(jī)上平均幀率在10fps以上，達(dá)到實(shí)時(shí)性要求。并保證了目標(biāo)跟蹤的準(zhǔn)確性。

TLD；目標(biāo)跟蹤；OpenCV

1 引言

隨著近些年來智能設(shè)備的飛速發(fā)展，搭載An?droid的智能手機(jī)在市場(chǎng)上贏得了消費(fèi)者的認(rèn)可。同時(shí)，一些著名的科技公司，也開發(fā)了后移動(dòng)端時(shí)代能夠替代手機(jī)的產(chǎn)品，諸如Google的Google Glass、微軟的Hololens。在與智能設(shè)備進(jìn)行交互的過程中，通過計(jì)算機(jī)視覺技術(shù)讓人與智能設(shè)備的交互過程之中解放了雙手，也不局限于通過觸覺感知交互，人機(jī)交互過程變得豐富多彩。視覺跟蹤技術(shù)是這個(gè)環(huán)節(jié)中重要的組成部分，而將復(fù)雜的視覺跟蹤算法移植到移動(dòng)智能設(shè)備也就成為了關(guān)注的目標(biāo)。首先需要面對(duì)的問題是移動(dòng)設(shè)備的計(jì)算資源相較于PC十分有限，如何能夠在有限的計(jì)算資源下保證視覺跟蹤的實(shí)時(shí)性是一個(gè)難題。其次視覺跟蹤算法本身復(fù)雜程度就很高，通常在PC端都不能夠達(dá)到很好的實(shí)時(shí)性，要想移植到移動(dòng)設(shè)備上更是需要對(duì)算法進(jìn)行優(yōu)化。本文選擇對(duì)捷克大學(xué)的Zdenek Kalal提出的一種視覺跟蹤算法 TLD［1］進(jìn)行改進(jìn)，并將其集成到Android應(yīng)用中，運(yùn)行在智能手機(jī)上，構(gòu)成自學(xué)習(xí)視覺跟蹤系統(tǒng)，使得移動(dòng)端也可以實(shí)時(shí)準(zhǔn)確地跟蹤目標(biāo)。

2 TLD目標(biāo)跟蹤算法

如圖1所示，TLD視覺跟蹤算法是由跟蹤（Tracking）、學(xué)習(xí)（Learning）和檢測(cè)（Detection）三個(gè)重要模塊組成，它們相輔相成，相互協(xié)作共同完成特定目標(biāo)跟蹤的任務(wù)。跟蹤模塊以相鄰視頻幀之間物體的運(yùn)動(dòng)速度有限且被跟蹤目標(biāo)可見為前提條件，金字塔LK光流法［2］的前后向跟蹤器作為TLD的跟蹤模塊對(duì)目標(biāo)進(jìn)行跟蹤。如果跟蹤目標(biāo)在視頻流中被遮擋或者消失，必然引起跟蹤模塊的跟蹤失?。?］。檢測(cè)模塊由方差分類器、集成分類器［4］和最近鄰分類器組成的級(jí)聯(lián)分類器構(gòu)成［1］，用于對(duì)當(dāng)前視頻幀中的所有掃描窗口進(jìn)行檢測(cè)、分類，找到與之前訓(xùn)練結(jié)果相比最匹配的窗口作為跟蹤目標(biāo)。如果在當(dāng)前視頻幀中，跟蹤模塊跟蹤成功，則對(duì)跟蹤模塊和檢測(cè)模塊兩個(gè)結(jié)果進(jìn)行綜合輸出置信度更高的結(jié)果。如果跟中模塊跟蹤失敗，則輸出檢測(cè)模塊的結(jié)果。學(xué)習(xí)模塊根據(jù)跟蹤模塊的結(jié)果和檢測(cè)模塊的結(jié)果，依照結(jié)構(gòu)性特征產(chǎn)生新的正樣本和負(fù)樣本。從而對(duì)在線模型進(jìn)行更新，進(jìn)而實(shí)現(xiàn)對(duì)檢測(cè)模塊訓(xùn)練，使得檢測(cè)模塊能夠?qū)崟r(shí)地檢測(cè)跟蹤目標(biāo)的最近特征［5］。

檢測(cè)模塊的作用是在當(dāng)前視頻幀中尋找跟蹤目標(biāo)。通過掃描窗口從視頻幀左上角橫向蛇形滑動(dòng)到右下角，檢測(cè)模塊利用這種方式來遍歷整個(gè)視頻幀。然后對(duì)每個(gè)滑動(dòng)的窗口進(jìn)行檢測(cè)，找出含有目標(biāo)的滑動(dòng)窗口。在TLD算法中，在第一幀中要確定跟蹤的目標(biāo)。利用第一幀中確定的跟蹤目標(biāo)邊界框的大小，用下面的參數(shù)變換出滑動(dòng)窗口的大?。撼叨鹊目s放比是1.2，水平步長(zhǎng)是視頻序列幀寬度的10%、垂直步長(zhǎng)是視頻序列幀高度的10%，最小的邊界框的大小是20像素。然后，在當(dāng)前幀中橫向蛇形掃描當(dāng)前幀，這個(gè)設(shè)置對(duì)于一個(gè)QVGA圖像（分辨率為240*320）大約產(chǎn)生50000個(gè)掃描窗口。

因?yàn)橛写罅康倪吔缈蛞辉u(píng)估，為保證每一個(gè)邊界框都要高效、正確的分類，TLD檢測(cè)模塊使用了一個(gè)級(jí)聯(lián)分類器，其主要由方差分類器、集成分類器以及最近鄰分類器三部分組成。檢測(cè)模塊框架圖，如圖2所示。

每個(gè)掃描窗口依次通過三個(gè)分類器，如果分類器接受該掃描窗口則讓其進(jìn)入下一級(jí)分類器，否則將其丟棄不予處理。通過這種方式，可以快速準(zhǔn)確地將目標(biāo)區(qū)域標(biāo)定出來。

3 TLD算法實(shí)時(shí)性研究

3.1 原始TLD效率缺陷

利用PC對(duì)常用視頻實(shí)例進(jìn)行實(shí)際測(cè)試，測(cè)試結(jié)果如下表1所示。

表1 PC下TLD算法測(cè)試結(jié)果

根據(jù)表1所示，檢測(cè)模塊有最長(zhǎng)的處理時(shí)間。檢測(cè)模塊需要遍歷整個(gè)視頻幀并采用級(jí)聯(lián)分類器進(jìn)行檢測(cè)，處理一幀圖像這些都需要很長(zhǎng)的時(shí)間。并且檢測(cè)模塊與學(xué)習(xí)模塊兩者相互影響，檢測(cè)模塊的檢測(cè)結(jié)果會(huì)拿來在學(xué)習(xí)模塊中對(duì)檢測(cè)模塊的分類器進(jìn)行訓(xùn)練。如果檢測(cè)模塊檢測(cè)物體比較困難需要較長(zhǎng)時(shí)間，那么學(xué)習(xí)模塊對(duì)于檢測(cè)器的訓(xùn)練也會(huì)相應(yīng)需要較多時(shí)間。所以在TLD算法中，對(duì)于檢測(cè)模塊進(jìn)行優(yōu)化就能同時(shí)影響學(xué)習(xí)模塊，從而可以將算法整體的實(shí)時(shí)性提高。

如前文所述，現(xiàn)在智能手機(jī)攝像頭采集的至少800萬像素（分辨率3264*2448）圖像來說，每秒需要處理的掃描窗口相當(dāng)之多。所以，如何處理如此多的掃描窗口，是提高TLD算法檢測(cè)模塊效率的關(guān)鍵。本文主要從減少級(jí)聯(lián)分類器需要處理的掃描窗口和優(yōu)化級(jí)聯(lián)分類器兩個(gè)角度進(jìn)行算法優(yōu)化個(gè)改進(jìn)。

3.2 輸入分辨率調(diào)整

從物體跟蹤角度講最重要的是跟蹤物體本身是否有足夠的特征可以提取。所以本文采取的策略是把輸入視頻幀的分辨率降低，從而獲得更少的掃描窗口。

首先，將3264*2448或者更高的分辨率統(tǒng)一降低到320*240。將圖像從高分辨率降低為320*240僅僅將圖像的細(xì)節(jié)進(jìn)行了舍棄，對(duì)于目標(biāo)主體還是會(huì)保留比較完整的細(xì)節(jié)。這樣就能將掃描窗口總數(shù)限制在50000個(gè)以內(nèi)。

其次，考慮如果跟蹤目標(biāo)在視頻幀中占圖像面積比例較大，跟蹤目標(biāo)本身具有較多的特征可以提取，因此比較容易從視頻幀中識(shí)別出來，這樣還可以再次降低圖像的分辨率。如此就可以再一次把掃描窗口數(shù)量降低。假設(shè)跟蹤目標(biāo)的寬度像素?cái)?shù)和高度像素?cái)?shù)分別為W和H。

當(dāng)s≥τ時(shí)，表示跟蹤目標(biāo)占視頻幀面積比例較大，可以適當(dāng)降低視頻幀圖像分辨率。當(dāng)s＜τ時(shí)，表示跟蹤目標(biāo)占視頻幀面積比例較小，如果降低視頻幀圖像分辨率可能導(dǎo)致目標(biāo)無法正確識(shí)別，應(yīng)該保持視頻幀當(dāng)前分辨率。根據(jù)實(shí)際測(cè)試，τ值確定在0.5比較合適。即物體占到視頻幀的一半面積時(shí)，可以進(jìn)一步降低圖像分辨率。

3.3 增加前景分類器

級(jí)聯(lián)分類器［5］的第一級(jí)是一個(gè)方差分類器。方差分類器的原理很簡(jiǎn)單，但對(duì)于50000個(gè)掃描窗口的每個(gè)像素點(diǎn)進(jìn)行計(jì)算，這擁有不小的計(jì)算量。在方差分類器之前再添加一個(gè)計(jì)算不復(fù)雜的分類器。要求該分類器不通過對(duì)每個(gè)像素點(diǎn)的復(fù)雜計(jì)算就能夠有效的提取興趣目標(biāo)的信息。本文提出這個(gè)所要添加的分類器為前景分類器。

前景分類器的作用是從序列圖像中將運(yùn)動(dòng)區(qū)域從背景圖像中提取出來［6］。幀差法前景分類器通過對(duì)前后兩幀的灰度圖相減，通過對(duì)結(jié)果的處理可以得到兩幀之中運(yùn)動(dòng)區(qū)域。該方法相比于方差分類器計(jì)算簡(jiǎn)單，檢測(cè)速度快。而且具有不需考慮背景緩慢變化的影響，適用于實(shí)時(shí)性要求較高的應(yīng)用環(huán)境的特點(diǎn)。

幀差法計(jì)算簡(jiǎn)單的同時(shí)也帶來了缺點(diǎn)。如果物體內(nèi)部的灰度比較均勻，相鄰幀差可能在目標(biāo)重疊部分形成較大空洞，嚴(yán)重時(shí)造成分割結(jié)果不連通，不利于進(jìn)一步的物體分析與識(shí)別。針對(duì)這個(gè)缺陷，本文通過 OpenCV［7］中的第三方庫(kù) Cvblobs［8］解決。該庫(kù)可以在二值圖像里尋找連通域，并能夠執(zhí)行連通域分析與特征提取。

通過幀差法處理的圖像，再經(jīng)過Cvblobs庫(kù)處理，可以得到一個(gè)有著一個(gè)或多個(gè)獨(dú)立的前景區(qū)域的圖像。由于，跟蹤目標(biāo)是一個(gè)在視頻流中的運(yùn)動(dòng)的區(qū)域，所以，肯定屬于前景的一部分，即在這幾個(gè)獨(dú)立的前景區(qū)域中肯定會(huì)有一個(gè)包含跟蹤目標(biāo)［9］。

經(jīng)過上述討論，流程圖如圖3所示。

3.4 動(dòng)態(tài)調(diào)整方差分類器閾值

方差分類器檢測(cè)目標(biāo)需要計(jì)算滑動(dòng)窗口的方差。方差分類器將掃描窗口的所有像素點(diǎn)灰度值的方差與初始目標(biāo)圖像塊所有像素點(diǎn)灰度的方差進(jìn)行對(duì)比。如果掃描窗口的所有像素點(diǎn)灰度值的方差小于初始目標(biāo)圖像塊所有像素點(diǎn)灰度的方差的50%，這個(gè)圖像塊將不會(huì)通過方差分類器。因此在TLD算法中方差分類器的閾值是一個(gè)常數(shù)。但是，在視頻流中跟蹤目標(biāo)不可能保持初始狀態(tài)一直不變。如果此時(shí)方差分類器仍然使用固定常數(shù)來篩選掃描窗口，就不可避免的出現(xiàn)錯(cuò)誤的篩選。

因此，本文采用將上一次跟蹤目標(biāo)的所有像素點(diǎn)的灰度值和之前跟蹤目標(biāo)的所有像素點(diǎn)的平均灰度值集合起來考慮，作為方差分類器的閾值。每次跟蹤目標(biāo)有新的形態(tài)，就將其加權(quán)與之前的閾值共同更新為新閾值。這樣的話，可以針對(duì)跟蹤目標(biāo)現(xiàn)在的狀態(tài)排除掉更多的掃描窗口，為后面分類器保留下更準(zhǔn)確的待篩選目標(biāo)，減少了后續(xù)的計(jì)算量，就大大提高了檢測(cè)模塊的工作效率［10］。

本文利用學(xué)習(xí)模塊中的正訓(xùn)練樣本集實(shí)現(xiàn)上文所提到的方案。學(xué)習(xí)模塊會(huì)根據(jù)跟蹤目標(biāo)狀態(tài)的改變，實(shí)時(shí)的更新正訓(xùn)練樣本集。因此，選擇正樣本訓(xùn)練集中的樣本來更新方差分類器的閾值，會(huì)得到更加接近跟蹤目標(biāo)的掃描窗口，并排除更多的無效窗口。

動(dòng)態(tài)更新方差分類器閾值的公式如下：

其中，Tn是第n次計(jì)算的方差分類器閾值，Dn是最近加入正樣本訓(xùn)練集的樣本的所有像素點(diǎn)灰度值的方差，Tn-1是前n-1次的閾值。新加入正樣本訓(xùn)練集的樣本能夠更好的體現(xiàn)跟蹤目標(biāo)當(dāng)前的狀態(tài)，所以這部分擁有了更大的權(quán)值。同時(shí)，閾值也應(yīng)該能夠體現(xiàn)跟蹤目標(biāo)之前的狀態(tài)。因此，最終權(quán)值分配結(jié)果如上公式。經(jīng)過多次試驗(yàn)驗(yàn)證，0.6和0.4的權(quán)值分配能夠達(dá)到一個(gè)很好的效果。

4 系統(tǒng)測(cè)試結(jié)果與分析

4.1 測(cè)試硬件平臺(tái)

基于Android的自學(xué)習(xí)視覺跟蹤系統(tǒng)測(cè)試所使用的硬件是搭載了Android系統(tǒng)的智能手機(jī)，測(cè)試所用的手機(jī)配置如表2所示。

表2 測(cè)試手機(jī)配置

4.2 測(cè)試結(jié)果與分析

4.2.1 實(shí)時(shí)性測(cè)試結(jié)果與分析

首先，進(jìn)行兩部手機(jī)對(duì)于兩個(gè)測(cè)試物體跟蹤時(shí)每幀處理時(shí)間的對(duì)比與分析。

測(cè)試手機(jī)1針對(duì)兩個(gè)測(cè)試物體的測(cè)試結(jié)果，如表3、表4所示。

表3 測(cè)試手機(jī)1測(cè)試物體1的處理時(shí)間

表4 測(cè)試手機(jī)1測(cè)試物體2的處理時(shí)間

測(cè)試手機(jī)2針對(duì)兩個(gè)測(cè)試物體的測(cè)試結(jié)果，如表5和6所示。

表5 測(cè)試手機(jī)2測(cè)試物體1的處理時(shí)間

表6 測(cè)試手機(jī)2測(cè)試物體2的處理時(shí)間

測(cè)試手機(jī)1同測(cè)試手機(jī)2數(shù)據(jù)對(duì)比可知，具有測(cè)試手機(jī)2處理時(shí)間同測(cè)試手機(jī)1相比用時(shí)更短。因?yàn)闇y(cè)試手機(jī)2具有計(jì)算能力更強(qiáng)大的CPU，所以手機(jī)CPU的計(jì)算能力決定著系統(tǒng)每幀處理時(shí)間的用時(shí)長(zhǎng)短，計(jì)算能力強(qiáng)用時(shí)短。

測(cè)試物體1同測(cè)試物體2數(shù)據(jù)對(duì)比可知，具有測(cè)試物體1同測(cè)試物體2相比在跟蹤模塊上用時(shí)更長(zhǎng)，而在檢測(cè)模塊和學(xué)習(xí)模塊上用時(shí)更短。因?yàn)闇y(cè)試物體1具有更明顯的特征，在每一幀中符合中值跟蹤法計(jì)算標(biāo)準(zhǔn)的特征點(diǎn)就越多，所以跟蹤模塊就需要更長(zhǎng)的計(jì)算時(shí)間。而測(cè)試物體2因?yàn)樘卣鬏^少更不容易被級(jí)聯(lián)分類器檢測(cè)出來，所以檢測(cè)模塊用時(shí)更長(zhǎng)。檢測(cè)模塊的任務(wù)重，導(dǎo)致學(xué)習(xí)模塊需要訓(xùn)練的時(shí)間也會(huì)變長(zhǎng)。所以，實(shí)測(cè)物體2在檢測(cè)模塊和學(xué)習(xí)模塊的用時(shí)要比實(shí)測(cè)物體1長(zhǎng)。同時(shí)通過2個(gè)物體每幀總處理時(shí)間對(duì)比可知，盡管測(cè)試物體1在跟蹤模塊用時(shí)更長(zhǎng)，但是在檢測(cè)模塊和學(xué)習(xí)模塊用時(shí)更長(zhǎng)的測(cè)試物體2的每幀總處理時(shí)間更長(zhǎng)。

其次，選取兩部手機(jī)跟蹤測(cè)試物體開始的30s數(shù)據(jù)，繪出折線圖。

測(cè)試手機(jī)1針對(duì)兩個(gè)測(cè)試物體的測(cè)試結(jié)果，如圖4所示。

測(cè)試手機(jī)2針對(duì)兩個(gè)測(cè)試物體的測(cè)試結(jié)果，如圖5所示。

由圖4同圖5對(duì)比可知，測(cè)試手機(jī)2運(yùn)行幀率高于測(cè)試手機(jī)1。測(cè)試手機(jī)2的CPU性能起到了很大的作用。

由圖4中測(cè)試物體1同測(cè)試物體2以及圖5中測(cè)試物體1同測(cè)試物體2對(duì)比可知，測(cè)試物體1的幀率會(huì)稍稍高于測(cè)試物體2，且測(cè)試物體2的幀率波動(dòng)會(huì)比測(cè)試物體1更大。前面展示的表3、表4、表5和表6的對(duì)比說明了測(cè)試物體1每幀處理用時(shí)會(huì)低于測(cè)試物體2。而且上面的測(cè)試討論中也說過因?yàn)闇y(cè)試物體2在檢測(cè)模塊和學(xué)習(xí)模塊上耗時(shí)更多，檢測(cè)模塊和學(xué)習(xí)模塊的工作效率會(huì)明顯影響系統(tǒng)的實(shí)時(shí)性。如果檢測(cè)模塊在某一時(shí)刻能夠快速檢測(cè)出物體則該時(shí)刻幀率會(huì)有明顯提高，所以測(cè)試物體2的幀率的波動(dòng)比測(cè)試物體1要大。

由上面從整體和某時(shí)刻的兩組針對(duì)實(shí)時(shí)性的測(cè)試可知，系統(tǒng)如果運(yùn)行在CPU計(jì)算能力更強(qiáng)的硬件上能夠具有較好的實(shí)時(shí)性表現(xiàn)［10］。測(cè)試物體的特征會(huì)影響系統(tǒng)的實(shí)時(shí)性［11］，并且通過數(shù)據(jù)分析再次證明了前文所討論的檢測(cè)模塊決定著整個(gè)系統(tǒng)的實(shí)時(shí)性表現(xiàn)。

根據(jù)幀率圖可知，系統(tǒng)運(yùn)行在搭載當(dāng)今主流CPU的手機(jī)上幀率能夠達(dá)到10fps以上，最高可達(dá)15fps。因此系統(tǒng)能夠基本滿足實(shí)際應(yīng)用所需的實(shí)時(shí)性要求。

4.3.2 準(zhǔn)確性測(cè)試結(jié)果與分析

主要進(jìn)行三項(xiàng)測(cè)試用來證明系統(tǒng)能夠適應(yīng)各種不同變化準(zhǔn)確跟蹤目標(biāo)，分別為遮擋測(cè)試、消失測(cè)試和形變測(cè)試［12］。測(cè)試詳細(xì)結(jié)果以及分析如下。

第一項(xiàng)，遮擋測(cè)試。對(duì)測(cè)試物體進(jìn)行短時(shí)遮擋看系統(tǒng)能否及時(shí)作出判斷。測(cè)試物體1和測(cè)試物體2的測(cè)試結(jié)果，如圖6和圖7所示。

由圖6和圖7可知，在跟蹤目標(biāo)被短時(shí)遮擋后系統(tǒng)能夠正確判斷當(dāng)前幀中沒有跟蹤目標(biāo)存在，并且跟蹤目標(biāo)重新出現(xiàn)在圖像幀中時(shí)系統(tǒng)能夠及時(shí)發(fā)現(xiàn)跟蹤目標(biāo)繼續(xù)進(jìn)行跟蹤。所以系統(tǒng)能夠有效的克服跟蹤目標(biāo)被遮擋的情況。

第二項(xiàng)，消失測(cè)試。讓測(cè)試物體移出視頻幀的邊緣然后再移動(dòng)回來看系統(tǒng)能否及時(shí)作出判斷。測(cè)試物體1和測(cè)試物體2的測(cè)試結(jié)果，如圖8和圖9所示。

由圖8和圖9可知，在跟蹤目標(biāo)移出視頻幀后系統(tǒng)能夠正確判斷當(dāng)前幀中沒有跟蹤目標(biāo)存在，并且跟蹤目標(biāo)整體重新出現(xiàn)在視頻幀中時(shí)系統(tǒng)能夠及時(shí)發(fā)現(xiàn)跟蹤目標(biāo)繼續(xù)進(jìn)行跟蹤。所以系統(tǒng)能夠有效的克服跟蹤目標(biāo)消失的情況。

第三項(xiàng)，形變測(cè)試。移動(dòng)手機(jī)觀察測(cè)試物體在當(dāng)前幀中變大，變小和發(fā)生形變時(shí)系統(tǒng)統(tǒng)能否及時(shí)作出判斷。測(cè)試物體1和測(cè)試物體2的測(cè)試結(jié)果，如圖10和圖11所示。

由圖10和圖11可知，在跟蹤目標(biāo)變大、變小以及發(fā)生形變時(shí)系統(tǒng)能夠?qū)崟r(shí)的做出響應(yīng)及時(shí)的進(jìn)行目標(biāo)跟蹤。這主要依賴于系統(tǒng)的學(xué)習(xí)模塊可以實(shí)時(shí)的訓(xùn)練檢測(cè)器發(fā)現(xiàn)跟蹤目標(biāo)的最新狀態(tài)。所以系統(tǒng)能夠有效地克服跟蹤目標(biāo)發(fā)生形變的情況。

由上面三項(xiàng)關(guān)于系統(tǒng)準(zhǔn)確性的定性測(cè)試的結(jié)果可知，本系統(tǒng)可以有效克服長(zhǎng)時(shí)間目標(biāo)跟蹤過程中目標(biāo)出現(xiàn)的遮擋、消失以及形變的情況，能夠準(zhǔn)確有效地跟蹤目標(biāo)。

5 結(jié)語

本文對(duì)TLD算法提出了改進(jìn)和優(yōu)化方法，通過改進(jìn)檢測(cè)模塊的效率，提高了TLD算法的效率。依據(jù)實(shí)時(shí)性和準(zhǔn)確性的測(cè)試結(jié)果，可以說明系統(tǒng)能夠正確識(shí)別物體并進(jìn)行目標(biāo)跟蹤，取得良好的跟蹤效果。系統(tǒng)在跟蹤過程中跟蹤目標(biāo)出現(xiàn)遮擋、消失以及形變等情況，仍然能夠及時(shí)地做出反應(yīng)。在物體重新出現(xiàn)后，系統(tǒng)能夠及時(shí)地識(shí)別跟蹤目標(biāo)并繼續(xù)進(jìn)行跟蹤。系統(tǒng)運(yùn)行在搭載當(dāng)今主流CPU的手機(jī)上幀率能夠達(dá)到10fps以上，最高可達(dá)15fps。滿足手機(jī)應(yīng)用場(chǎng)景所需的實(shí)時(shí)性要求。

［1］Kalal Z，Mikolajczyk K，Matas J．Tracking-Learning-De?tection［M］.IEEE Computer Society，2012：3-6.

［2］Baker S，Matthews I．Lucas-Kanade 20 Years On：A Uni?fying Framework［J］.International Journal of Computer Vi?sion，2004，56（3）：221-255.

［3］Kalal Z，Mikolajczyk K，Matas J．Forward-Backward Er?ror：Automatic Detection of Tracking Failures［C］//Interna?tional Conference on Pattern Recognition，ICPR 2010，Is?tanbul，Turkey，23-26 August．DBLP，2010：2756-2759.

［4］Breiman L．Random forest［J］.Machine Learning，2001，45（1）：5-32.

［5］Kalal Z，Matas J，Mikolajczyk K．P-N learning：Bootstrap?ping binary classifiers by structural constraints［C］//Com?puter Vision and Pattern Recognition． IEEE，2010：49-56.

［6］趙宏偉.Android NDK開發(fā)環(huán)境實(shí)現(xiàn)與應(yīng)用［J］.電腦知識(shí)與技術(shù)，2010（35）：10055-10057

［7］曾敏，王澤勇，羅林，等.基于OpenCV的安卓Camera應(yīng)用設(shè)計(jì)與實(shí)現(xiàn)［J］.信息技術(shù)，2015，（8）：195-198

［8］席志紅，楊傳東，趙趕超，等.基于Android的TLD目標(biāo)跟蹤算法優(yōu)化與移植［J］.電子科技，2016 ，29（11）：130-133

［9］張京超.稀疏多頻帶信號(hào)壓縮采樣方法研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2014

［10］張琦.大容量高保真海底管道超聲檢測(cè)數(shù)據(jù)處理技術(shù)研究［D］.上海：上海交通大學(xué)，2008.

［11］龔小彪.基于TLD框架的目標(biāo)跟蹤算法研究［D］.成都：西南交通大學(xué)，2014.

［12］江博.基于Kalman的TLD目標(biāo)跟蹤算法研究［D］.西安：西安科技大學(xué)，2013.

Design of Self-Learning Visual Tracking System Based On Android

YUAN Chen1ZHANG Lin2LIN Yuangen1WAN Han1
（1.723 Research Institute，CSIC，Yangzhou 225000）（2.Southeast University，Nanjing 210000）

With the rapid development of mobile devices，it has been applied to more and more fields.Object tracking is one of them.However，mobile devices have lower computing power and less memory resources，which limits the application of target tracking algorithms.Therefore，this paper proposes an optimization method for TLD target tracking algorithm.Three methods are pro?posed to improve the efficiency of TLD algorithm.And the improved algorithm is integrated into the Android application and run on the Android smart phone.Experiments show that the improved TLD algorithm has more than 10fps while running on the mainstream smart phones，and achieves real-time requirements.And the improved algorithm also guarantees the accuracy of target tracking。

TLD，target tracking，OpenCV

TP18

10.3969/j.issn.1672-9730.2017.11.024

Class Number TP18

2017年5月6日，

2017年6月24日

袁辰，男，助理工程師，研究方向：電子對(duì)抗。張林，男，研士，助理工程師，研究方向：深度學(xué)習(xí)。林元根，男，碩士，工程師，研究方向：電磁場(chǎng)與微波技術(shù)。宛函，男，助理工程師，研究方向：電子對(duì)抗。