利用ELM-AE和遷移表征學(xué)習(xí)構(gòu)建的目標(biāo)跟蹤系統(tǒng)

楊 政，鄧趙紅+，羅曉清，顧 鑫，王士同

1.江南大學(xué) 人工智能與計算機(jī)學(xué)院，江蘇 無錫214122

2.江蘇北方湖光光電有限公司，江蘇 無錫214035

隨著科學(xué)技術(shù)的發(fā)展，目標(biāo)跟蹤的應(yīng)用領(lǐng)域也越加廣泛。例如車輛監(jiān)控、行為識別、醫(yī)療診斷系統(tǒng)。且作為視覺領(lǐng)域的核心課題之一，目標(biāo)跟蹤已經(jīng)有了多年的研究歷史。早期的目標(biāo)跟蹤技術(shù)，采用原始的人工獲取的特征，如紋理、光流、色彩等。雖然這些特征可以很好地表示當(dāng)前的跟蹤目標(biāo)，但是在處理目標(biāo)消失、遮擋等情況時無法達(dá)到令人滿意的效果。后來隨著基于判別式跟蹤器的發(fā)展，目標(biāo)跟蹤器的性能有了很大的提高。

判別式跟蹤器通常把跟蹤過程轉(zhuǎn)變?yōu)橐粋€特征學(xué)習(xí)和分類的過程。通過特征學(xué)習(xí)來優(yōu)化復(fù)雜圖像特征，使目標(biāo)與背景的特征更容易區(qū)分，然后利用分類器來區(qū)分目標(biāo)和背景。判別式跟蹤器可以充分利用目標(biāo)與背景的相關(guān)信息，因此表現(xiàn)得更加魯棒。如基于CNN 的跟蹤器。但是這類跟蹤器大多數(shù)都沒有考慮到跟蹤過程中目標(biāo)與背景的變化。

面對上述問題，特別是跟蹤過程中的目標(biāo)變化問題，遷移學(xué)習(xí)算法（transfer learning，TL）在特征學(xué)習(xí)上具有一定的優(yōu)勢，并且在近期的目標(biāo)跟蹤器中也多有應(yīng)用，例如基于boosting的遷移目標(biāo)跟蹤器,該方法通過遠(yuǎn)離當(dāng)前幀的目標(biāo)數(shù)據(jù)改善接近當(dāng)前幀的目標(biāo)數(shù)據(jù)的方式優(yōu)化分類器。另外Gao 等提出了基于高斯過程回歸遷移的跟蹤方法。該方法同樣是通過遷移學(xué)習(xí)改善分類器的方式，而不同的是，該方法將遠(yuǎn)離當(dāng)前幀中的目標(biāo)數(shù)據(jù)作為輔助目標(biāo)樣本，然后對接近當(dāng)前幀的目標(biāo)數(shù)據(jù)進(jìn)行加權(quán)處理。利用輔助目標(biāo)樣本與當(dāng)前目標(biāo)樣本對當(dāng)前幀的候選樣本的狀態(tài)進(jìn)行最終估計。然而這些方法均沒有考慮到目標(biāo)跟蹤過程中相鄰幀之間的源域與目標(biāo)域可能產(chǎn)生的突變因素。因此，遷移學(xué)習(xí)在目標(biāo)跟蹤中的應(yīng)用依然有廣闊的研究空間。

另外，近幾年的研究表明，極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）在圖片特征學(xué)習(xí)上不僅有更快的學(xué)習(xí)速度，而且具有更好的泛化能力，因此在目標(biāo)跟蹤中也多有應(yīng)用。例如Liu 等提出的用于視覺跟蹤的多任務(wù)極限學(xué)習(xí)機(jī)，該方法采用一個共同訓(xùn)練框架來優(yōu)化兩個手動制作的特征提取器。但這種特征提取和優(yōu)化策略增加了時間成本，因此可能不適用于需要高時效性的目標(biāo)跟蹤應(yīng)用。

基于上述問題，本文提出一種新的特征學(xué)習(xí)方法。該方法利用ELM 自編碼器（ELM autoencoder，ELM-AE）作為特征學(xué)習(xí)的主體，然后利用基于最大均值化差異（maximum mean discrepancy，MMD）的遷移表征學(xué)習(xí)（transfer representation learning，TRL）來使特征提取器能夠更加適應(yīng)目標(biāo)跟蹤過程中的特征變化。作為一種新型的圖片特征學(xué)習(xí)算法，ELM-AE可以快速地進(jìn)行圖像的特征學(xué)習(xí)。在視覺跟蹤中，ELM-AE也取得了很好的效果。但是，對于目標(biāo)跟蹤過程中目標(biāo)變化的問題，文獻(xiàn)[16]僅僅采用在線順序極限學(xué)習(xí)（online sequential extreme learning machine，OS-ELM）在線學(xué)習(xí)的方式來解決。并沒有充分考慮到目標(biāo)變動前后的特征變化。而本文所提的基于ELM-AE和TRL的自適應(yīng)特征學(xué)習(xí)模型在應(yīng)對這一問題時顯然更加具有優(yōu)勢。

本文的主要貢獻(xiàn)歸納如下：

（1）為目標(biāo)跟蹤系統(tǒng)構(gòu)建一個新的特征學(xué)習(xí)模型。該模型利用ELM-AE對圖像的特征學(xué)習(xí)能力進(jìn)行目標(biāo)和背景特征的學(xué)習(xí)，并且利用TRL 對目標(biāo)變動的適應(yīng)能力來解決目標(biāo)跟蹤過程中目標(biāo)與背景不斷變化的特點。因此，該模型可以為跟蹤器的分類模型提供一個緊湊且具有良好特征表達(dá)能力的特征信息，提高分類模型的分類效率。

（2）根據(jù)目標(biāo)跟蹤的過程設(shè)計一套包含運(yùn)動模型、特征模型、分類模型的跟蹤器。其中，運(yùn)動模型主要負(fù)責(zé)以下三項工作：①估計目標(biāo)狀態(tài)；②維護(hù)樣本隊列；③視頻幀的跳轉(zhuǎn)（即視頻播放）。特征模型主要負(fù)責(zé)對目標(biāo)樣本和背景樣本的特征學(xué)習(xí)。分類模型主要負(fù)責(zé)對從特征模型中學(xué)到的新特征進(jìn)行分類。

1 相關(guān)工作

1.1 基于ELM的自編碼器

與傳統(tǒng)的ELM神經(jīng)網(wǎng)絡(luò)類似，ELM-AE同樣具有高效的泛化性能。然而不同的是，ELM-AE的連接權(quán)重負(fù)責(zé)學(xué)習(xí)從隨機(jī)隱藏層特征空間到輸入數(shù)據(jù)的轉(zhuǎn)換，即如下式所示：

1.2 遷移表征學(xué)習(xí)

根據(jù)文獻(xiàn)[19]的研究，遷移表征學(xué)習(xí)通常由兩個關(guān)鍵約束構(gòu)成：（1）源域和目標(biāo)域的分布匹配；（2）目標(biāo)域的幾何性質(zhì)和源域的判別信息。其表達(dá)式可以總結(jié)為以下方程：

其中，第一項表示源域與目標(biāo)域在特征映射下的分布距離，第二項則表示將包含目標(biāo)域數(shù)據(jù)和源域數(shù)據(jù)在遷移的過程中損失最小化。且損失函數(shù)表達(dá)如下：

對于式（4）中關(guān)于分布距離的算法，是本文在文獻(xiàn)[19]的基礎(chǔ)上改進(jìn)而來，該部分內(nèi)容將在第3.2 節(jié)中進(jìn)行詳細(xì)描述。

1.3 高斯樸素貝葉斯分類器

其中，()為類先驗概率，其表示形式如下列公式所示：

其中，n表示訓(xùn)練樣本中屬于第類樣本的個數(shù)，表示訓(xùn)練樣本的個數(shù)。

由于目標(biāo)跟蹤中圖片特征的屬性是連續(xù)的，式（6）中的(x|)可以用下列高斯概率密度函數(shù)表示：

最后，目標(biāo)跟蹤器就可以依據(jù)所有候選樣本的信任分?jǐn)?shù)以及候選樣本的狀態(tài)信息估計出當(dāng)前幀中的目標(biāo)狀態(tài)。

2 基于ELM-AE遷移表征學(xué)習(xí)的目標(biāo)跟蹤器

本章將主要對所提跟蹤器TEA-OT（object tracker based on ELM-AE transfer representation learning）的結(jié)構(gòu)進(jìn)行詳細(xì)的描述。跟蹤器的整體框架如圖1 所示。從圖1中可以看出：運(yùn)動模型主要負(fù)責(zé)視頻幀的切換工作、目標(biāo)定位工作以及源域和目標(biāo)域樣本的維護(hù)工作；特征模型主要負(fù)責(zé)圖像特征的學(xué)習(xí)工作；分類模型主要負(fù)責(zé)對共享特征子空間中的源域和目標(biāo)域進(jìn)行訓(xùn)練和分類工作。

2.1 生成樣本模型

由圖1可知，本文所提跟蹤器的樣本模型的更新是圍繞著目標(biāo)所在的位置進(jìn)行的。在基于圖像塊的判別式跟蹤器中，源域中的正負(fù)樣本通常是在當(dāng)前幀（即第幀）中選取。其規(guī)則如圖2（a）所示。圖中的紅色框為當(dāng)前幀中的目標(biāo)位置。此時需要特別注意的是：在目標(biāo)跟蹤中，若當(dāng)前幀為第一幀，則目標(biāo)的位置通常由手動或自動的方式給出。而在其他幀中，則由跟蹤器依據(jù)上一幀中的源域樣本對當(dāng)前幀中目標(biāo)域的樣本進(jìn)行目標(biāo)分類，然后獲得目標(biāo)的估計位置。假設(shè)目標(biāo)的中心點坐標(biāo)為，源域中正負(fù)樣本的中心點坐標(biāo)分別為、，那么源域中正樣本的選取范圍為0 ＜‖-‖≤的一個圓形區(qū)域。其中，‖ ‖· 表示兩點間的距離。為預(yù)設(shè)值，根據(jù)經(jīng)驗判斷，當(dāng)=max(,)×0.1 時效果最好。、分別為目標(biāo)框的寬度和高度。而源域中的負(fù)樣本的選取范圍為≤‖-‖≤的環(huán)形區(qū)域。同上，、為預(yù)定值，且根據(jù)經(jīng)驗估計當(dāng)=max(,)×0.65,=max(,)×0.75 時效果最好。

圖1 TEA-OT的框架圖Fig. 1 Framework diagram of TEA-OT

圖2 源域與目標(biāo)域的樣本選取Fig. 2 Sample selection of source domain and target domain

對于目標(biāo)域中的候選樣本來說，其生成規(guī)則如圖2（b）所示。圖中的紅色框為第幀中目標(biāo)的估計位置。由于目標(biāo)跟蹤過程中，相鄰幀中目標(biāo)和背景的位置和形態(tài)變化不大，可以在第+1 幀，以目標(biāo)在上一幀中位置的附近生成候選樣本。假設(shè)候選樣本的中心點為，則候選樣本的選取范圍為0 ＜‖-‖≤的一個圓形區(qū)域，且=max(,)×0.5。與源域樣本不同的是，為了使跟蹤器適應(yīng)目標(biāo)尺度的變化，還為候選樣本框的寬度()和高度（）分別設(shè)計了如下變化范圍：

其中，、分別為上一幀中估計目標(biāo)的寬和高。另外，由于不是每一幀中目標(biāo)的尺度都會發(fā)生變化，因此，只取其中20%的樣本為尺度變化樣本，其他80%的樣本為上一幀中目標(biāo)的原尺度下的樣本。

2.2 基于ELM-AE遷移表征學(xué)習(xí)的特征模型

假設(shè)ELM的隱藏層節(jié)點數(shù)為，然后利用第2.1節(jié)中獲得的源域數(shù)據(jù)，根據(jù)式（1）、式（2）學(xué)習(xí)ELMAE的輸出權(quán)重矩陣，其表達(dá)式如下：

再根據(jù)式（3）分別將源域和目標(biāo)域轉(zhuǎn)化到ELMAE特征空間，如以下表達(dá)所示：

其中，n=n+n表示源域中樣本的數(shù)量。(·)、和均與式（2）中相同。

通常TRL假設(shè)在新的特征空間中兩個域之間的分布距離最小。而MMD 常常被用作遷移表征學(xué)習(xí)過程中的分布距離測度方法。另外，由于目標(biāo)跟蹤應(yīng)用對實時性的要求，需要偽標(biāo)簽的條件概率分布顯然不適合。因此本文只選用MMD 邊緣概率分布匹配作為兩個域之間分布距離的表達(dá)形式。令() 和() 分別表示兩個域的邊緣分布，即MMD的經(jīng)驗估計可以表達(dá)為以下公式：

其中，表示特征映射，H 表示再生核希爾伯特空間（reproducing kernel Hilbert space，RKHS），最小化式（14）就是最小化在特征映射下，源域與目標(biāo)域的分布距離。而TRL的目的就是為了學(xué)習(xí)這個特征映射。而在基于ELM-AE 的遷移表征學(xué)習(xí)方法中，映射就是基于ELM的特征自編碼器。利用ELMAE 映射得到的新特征空間，兩個域之間的邊緣分布的經(jīng)驗MMD可以表示如下：

對于ELM-AE特征空間中的一個源域樣本a和目標(biāo)域樣本a，其學(xué)習(xí)后的新特征可表達(dá)如下：

最后，通過n維輸出ELM-AE進(jìn)行變換，可以將遷移表征學(xué)習(xí)后的源域和目標(biāo)域數(shù)據(jù)表示為下列矩陣形式：

對于上述連接權(quán)重，可以通過最小化以下公式來優(yōu)化：

結(jié)合式（4）、式（5）、式（19），基于ELM-AE 的遷移表征學(xué)習(xí)可表示為如下方程：

其中，式（20）中引入的tr()2-morn正則化項，用于避免過擬合。、、、分別表示2-norm 正則項、判別信息保留項、幾何性質(zhì)保留項和邊緣分布匹配項的正則化參數(shù)。采用拉格朗日優(yōu)化方法，可得如下拉格朗日優(yōu)化公式：

在目標(biāo)跟蹤領(lǐng)域中，目標(biāo)與背景通常隨時間而漸變，這是需要遷移表征學(xué)習(xí)發(fā)揮優(yōu)勢的典型場景。而本文所提的特征模型正是基于ELM自編碼器的遷移表征學(xué)習(xí)。相比于原始目標(biāo)和背景圖片中的復(fù)雜特征，特征模型的TRL-ELM-AE 學(xué)習(xí)能力將為分類器提供緊湊且易于鑒別的特征。如圖3所示，首先，本文所提的特征模型需要在原始圖片特征的基礎(chǔ)上進(jìn)行ELM-AE 特征映射，利用ELM-AE 對圖片特征的學(xué)習(xí)能力對原始特征做初步處理，然后通過TRL 進(jìn)行特征遷移，從而使源域和目標(biāo)域的數(shù)據(jù)更容易被分類器學(xué)習(xí)和分類。

圖3 TRL-ELM-AE特征提取模型Fig. 3 TRL-ELM-AE feature extraction model

雖然經(jīng)過TRL-ELM-AE 學(xué)習(xí)得到的共享特征，比原特征更加緊湊且易于表達(dá)，但是其計算復(fù)雜度不能滿足實時跟蹤的需求。通過對大量目標(biāo)跟蹤場景的觀察不難發(fā)現(xiàn)一個特點：在時間很小的范圍內(nèi)，目標(biāo)與背景的變動并沒有想象中的大。因此可以假設(shè)目標(biāo)和背景的圖像塊在相鄰幀中分布也是近似的。進(jìn)而可以假設(shè)，在相鄰幀中從ELM-AE 中學(xué)到的自編碼特征也是近似的。從而也可以假設(shè)，在TRL-ELM-AE 特征模型中，可以利用上一幀中學(xué)到的連接權(quán)重矩陣，對當(dāng)前幀的目標(biāo)域進(jìn)行特征學(xué)習(xí)。通過大量的實驗驗證，在連續(xù)使用10 次或者目標(biāo)和背景有突變的情況下，通過舊的連接權(quán)重矩陣學(xué)到的目標(biāo)域和源域之間的特征分布已經(jīng)不足以為分類器提供良好的分類信息。此時應(yīng)當(dāng)更新源域樣本并利用TRL-ELM-AE特征模型學(xué)習(xí)新的連接權(quán)重矩陣。對于目標(biāo)與背景的突變準(zhǔn)則可以利用TRL-ELM-AE 中源域與目標(biāo)域的分布距離判定，其判定規(guī)定如下：

2.3 所提跟蹤器的分類模型

根據(jù)TRL-ELM-AE 學(xué)習(xí)所得的新特征的特性，本文選擇高斯樸素貝葉斯分類器作為分類模型的核心。

2.4 樣本更新策略

在跟蹤過程的初期，由于樣本數(shù)量無法滿足跟蹤的要求，因此，在最初的5幀中全部需要通過TRLELM-AE 特征模型學(xué)習(xí)源域和目標(biāo)的特征信息。等源域的樣本數(shù)量到達(dá)1 000后（其中正樣本500，負(fù)樣本500），將根據(jù)2.2.2 小節(jié)中介紹的復(fù)用策略進(jìn)行特征學(xué)習(xí)。另外，如何在跟蹤過程中降低甚至避免過多的噪音對于跟蹤器來說同樣非常重要。而一個合適的樣本更新策略可以有效地降低過時樣本對特征模型和分類模型產(chǎn)生的影響。針對這一問題，本文在源域樣本隊列中采用了3個樣本子集，包括固定正樣本子集、動態(tài)樣本子集、動態(tài)負(fù)樣本子集。另外為了確保樣本更新的準(zhǔn)確度，本文還設(shè)定了一個合格目標(biāo)棧。對于目標(biāo)跟蹤而言，唯一確定的正樣本集只能在第一幀中產(chǎn)生，因此將第一幀中產(chǎn)生的正樣本作為固定樣本子集。對于和來說，其維護(hù)的時機(jī)則由所提跟蹤器的特征模型發(fā)送更新請求，并由運(yùn)動模型從中找出最近的合格目標(biāo)并依據(jù)其在所在幀中的位置。在合格目標(biāo)所在幀中，按照2.1 節(jié)中的規(guī)則生成新的正負(fù)樣本，然后按照先進(jìn)先出（first input first output，F(xiàn)IFO）原則進(jìn)行隊列維護(hù)。

對于合格目標(biāo)棧來說，首先需要按照分類模型提供的置信度分?jǐn)?shù)估計目標(biāo)在第幀中位置并將其從視頻幀中提取出來。然后，對提取出的目標(biāo)進(jìn)行合格度評估。如果為合格目標(biāo)，則按照后入先出（last in first out，LIFO）原則放入，否則只對估計位置進(jìn)行顯示處理。然后，跳轉(zhuǎn)到下一幀，根據(jù)跟蹤器的跟蹤過程進(jìn)行新一幀的目標(biāo)跟蹤。

另外，根據(jù)目標(biāo)跟蹤的特性，真正的目標(biāo)只在第一幀中被指出。然后，目標(biāo)也會隨著時間的變動而改變，因此采用以下方式作為合格目標(biāo)的判定標(biāo)準(zhǔn)：

若(x)≤（是預(yù)定值，文中設(shè)定為0.8），則判定x是一個合格的估計目標(biāo)，并放入中。

基于以上分析，本文所提出的跟蹤器，不僅考慮到原有目標(biāo)的狀態(tài)，也考慮了目標(biāo)后期的改變，因此本文所提出的跟蹤器對于目標(biāo)外觀和背景的改變具有良好的適應(yīng)能力。

2.5 算法描述

根據(jù)第2.2 節(jié)的總體描述，本文所提跟蹤器算法的具體流程如算法1所述。

TEA-OT

目標(biāo)在每一幀中所在的位置信息，視頻所有幀，核心算法參數(shù)，生成樣本框所需的參數(shù)。

輸出：目標(biāo)跟蹤的精確度、覆蓋率、幀率。

3 實驗結(jié)果和分析

本次實驗采用OTB中所提的OPE（one-pass evaluation）模式，即根據(jù)手動或自動的方式給出的目標(biāo)位置初始化第一幀，然后運(yùn)行跟蹤算法并計算跟蹤結(jié)果。且本文所用的實驗數(shù)據(jù)是從OTB50和OTB100所提供的100 個視頻序列中隨機(jī)選擇的30 個視頻。且覆蓋了OTB所提的關(guān)于目標(biāo)跟蹤任務(wù)所面臨的11項挑戰(zhàn)場景。其中包括：照度變化（illumination variation，IV）、比例變化（scale variation，SV）、遮擋（occlusion，OCC）、變形（deformation，DEF）、運(yùn)動模糊（motion blur，MB）、快速運(yùn)動（fast motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（in-plane rotation，IPR）、平面外旋轉(zhuǎn)（out-of-plane rotation，OPR)、目標(biāo)消失(out-of-view，OV)、背景雜波（background clutters，BC）、低分辨率（low resolution，LR）。在每個對目標(biāo)跟蹤視頻場景的實驗中，將對每一組參數(shù)進(jìn)行5 次實驗。根據(jù)實驗結(jié)果對所提跟蹤器的參數(shù)進(jìn)行分析。然后將表現(xiàn)較好的參數(shù)結(jié)果與現(xiàn)有經(jīng)典算法進(jìn)行比較。

3.1 實驗設(shè)置

實驗所用電腦以及系統(tǒng)環(huán)境如下：（1）CPU，英特爾Core i9-7900X@3.30 GHz；（2）內(nèi)存，DDR4 32 GB；（3）操作系統(tǒng)，Windows 10 Enterprise 64 位；（4）集成開發(fā)環(huán)境（IDE），Matlab R2019a。

本文主要采用如下兩種評價指標(biāo)：

（1）平均像素誤差（average pixel error，APE）根據(jù)預(yù)測目標(biāo)（bounding-box）中心位置與真實位置（groundtruth）的像素距離作為誤差值，該值越大，說明誤差越大。通常距離閾值的取值范圍為{|1 ≤≤50,∈}。

（2）平均重疊率（average overlap rate，AOR）根據(jù)預(yù)測目標(biāo)框與真實目標(biāo)框的重疊程度（overlap score，OS）作為誤差判斷的標(biāo)準(zhǔn)，重疊程度越小，說明誤差越大。而重疊程度的計算方式如下：

其中，表示預(yù)測目標(biāo)框，表示正式目標(biāo)框，| |· 表示相應(yīng)區(qū)域像素點個數(shù)。且所有成功估計目標(biāo)的幀占所有幀的百分比即為成功率（success rate，SR）。SR的取值范圍一般為{∈:0 ≤≤1}。

另外，在本文算法參數(shù)分析時，主要使用APE作為評價指標(biāo)。在算法對比分析時，將對跟蹤器的兩種實驗指標(biāo)分別分析，以驗證本文算法的優(yōu)越性。

本文所提跟蹤算法參數(shù)主要涉及如下三方面：（1）樣本框相關(guān)參數(shù)；（2）閾值類參數(shù)；（3）特征模型算法相關(guān)參數(shù)。樣本框參數(shù)和閾值類參數(shù)已經(jīng)在文章相關(guān)位置給出預(yù)定值的經(jīng)驗估計。對于特征模型的相關(guān)參數(shù)將進(jìn)行如下設(shè)定：

根據(jù)文獻(xiàn)[14]的研究，當(dāng)式（12）中的2-morn正則化項=10 時ELM-AE對于圖像的特征學(xué)習(xí)效果最佳。根據(jù)文獻(xiàn)[8]的研究，當(dāng)式（20）中的特征維度數(shù)n=[10,20]，2-morn 項正則化參數(shù)=[1,10]，幾何信息項=[0.1,1.0]，判別信息保留項=0.1 時，所學(xué)習(xí)到的遷移特征在分類器中起到了最好的分類效果。在此基礎(chǔ)上，為了驗證以ELM-AE 和TRL 為基礎(chǔ)的特征模型對圖像特征的學(xué)習(xí)能力，分別對ELMAE 的隱藏層節(jié)點數(shù)和TRL 中源域與目標(biāo)域之間分布距離的最大均值化差異正則項（即特征遷移程度）做出如下參數(shù)設(shè)置：

3.2 實驗分析

為了說明所提特征模型的優(yōu)勢，本文將原復(fù)雜圖像特征、ELM-AE 特征和TRL-ELM-AE 特征進(jìn)行如下對比實驗。

首先，以O(shè)TB 中的BlurCar 視頻序列為基礎(chǔ)，根據(jù)2.1節(jié)的樣本生成方式，分別從跟蹤過程中隨機(jī)抽取500 個正樣本圖像塊，500 個負(fù)樣本圖像塊作為訓(xùn)練樣本。同時，抽取200 個候選樣本圖像塊，并通過人工標(biāo)注的方式對200個候選樣本進(jìn)行標(biāo)注，作為測試樣本。再根據(jù)1.1 節(jié)和2.2 節(jié)的方式和3.1 節(jié)中的參數(shù)設(shè)置分別對訓(xùn)練樣本和測試樣本進(jìn)行ELM-AE特征和TRL-ELM-AE 特征映射。最后，計算測試樣本中的正負(fù)樣本與訓(xùn)練樣本中的正樣本之間的平均距離。以此觀察測試樣本中的正負(fù)樣本與訓(xùn)練樣本中正樣本在3個不同特征空間中的特征差異性，如圖4 所示。在圖4 中，橙線為測試樣本中的負(fù)樣本與訓(xùn)練樣本中的正樣本之間的平均歐氏距離，藍(lán)線為測試樣本中的正樣本與訓(xùn)練樣本中的正樣本之間的平均歐氏距離。圖4（a）為原圖像特征空間，圖4（b）為ELM-AE 特征空間，圖4（c）為TRL-ELM-AE 特征空間。從圖4可以清晰地看出，在ELM-AE特征空間中大部分測試樣本中的正負(fù)樣本與訓(xùn)練樣本中的正樣本的差異要明顯高于原圖像特征，但是依然有很多樣本的特征差異并不明顯。然而在TRL-ELM-AE特征空間中，特征差異要明顯高于前兩個特征空間，這說明在TRL-ELM-AE特征空間中的正負(fù)樣本特征更加具有區(qū)分性。雖然歐氏距離只是特征相似性的粗略評判標(biāo)準(zhǔn)，其依然能夠某種程度地證實所提特征模型的優(yōu)越性。另外，所提跟蹤器的樣本提取模塊是從相鄰幀中逐步提取所需的樣本，其中包含了最近幀中目標(biāo)和背景的不同狀態(tài)。因而，在TRL-ELMAE特征模型中也包含對相鄰幀中目標(biāo)和背景的不同特征。因此，所提跟蹤器對目標(biāo)跟蹤過程中的特征變化也做到了充分考慮。另外，三個不同特征空間的分類結(jié)果如圖5所示。從分類結(jié)果也可看出TRLELM-AE 特征模型相比于ELM-AE 特征和原圖像特征更加具有優(yōu)勢。

圖4 特征差異性對比圖Fig. 4 Diagram of feature difference comparison

圖5 分類精確度對比圖Fig. 5 Comparison diagram of classification accuracy

對于的參數(shù)分析，本文采取固定=400 的策略，其結(jié)果如圖6 所示。從中可以看出，本文所提跟蹤器在面對照度變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、背景雜波（BC）、低分辨率（LR）時，均有不錯的表現(xiàn)。但是，并不是遷移程度越高其APE 就越高。在大部分的跟蹤場景中，當(dāng)＞1 時，APE 均有不同程度的下滑，且跟蹤器的不穩(wěn)定程度有所上升。另外，從圖6（k）中可以看出，當(dāng)=2時跟蹤器對低分辨率（LR）的表現(xiàn)最佳。從圖6（a）（j）中可以看出，當(dāng)=2時跟蹤器對照度變化（IV）、背景雜波（BC）的表現(xiàn)最佳。從圖6（i）中可以看出，當(dāng)=2時跟蹤器對目標(biāo)消失（OV）的表現(xiàn)最佳。從圖6（b）～（h）中可以看出，當(dāng)=2時跟蹤器對比例變化（SV）、遮擋（OCC）、變形（DEF）、運(yùn)動模糊（MB）、快速運(yùn)動（FM）、平面內(nèi)旋轉(zhuǎn)（IPR）、平面外旋轉(zhuǎn)（OPR）的跟蹤效果最好。從圖6（l）的綜合情況中可以看出，對于所有OTB 所提的視頻跟蹤挑戰(zhàn)場景，當(dāng)=[2,2]時跟蹤器的穩(wěn)定性和準(zhǔn)確性都有不錯的表現(xiàn)。另外，由于跟蹤器的FPS 變化與的關(guān)系并不大，這里不再做具體的分析。

圖6 特征遷移程度的參數(shù)分析Fig. 6 Parameter analysis of feature transfer degree

對于隱藏層節(jié)點數(shù)的分析，本文同樣采取固定=2的策略。其FPS變化如表1所示。從中可以看出，隨著隱藏層節(jié)點數(shù)的增加，F(xiàn)PS 呈現(xiàn)下降的趨勢。另外，隱藏層節(jié)點數(shù)對APE 的影響則如圖7 所示。從圖中可以看出，在大部分的挑戰(zhàn)場景中，跟蹤器的APE是隨著節(jié)點數(shù)的增加而增加的。

圖7 ELM-AE隱藏層節(jié)點數(shù)的參數(shù)分析Fig. 7 Parameter analysis of the number of ELM-AE hidden layer nodes

表1 不同隱藏層節(jié)點數(shù)L 對FPS的影響Table 1 Influence of different hidden layer nodes L on FPS

3.3 算法對比

為了對本文提出的目標(biāo)跟蹤算法的性能進(jìn)行驗證，本節(jié)將所提跟蹤器TEA-OT 與經(jīng)典跟蹤器算法ALSA（visual tracking via adaptive structural local sparse appearance model）、CSK（exploiting the circulant structure of tracking-by-detection with kernels）、CT（real-time compressive tracking）、SCM（robust object tracking via sparsity-based collaborative model）、KCF（tracking with kernelized correlation filters）、EAO（visual tracking with extreme learning machine framework）進(jìn)行比較。且對比算法的實驗結(jié)果均是在與本文所提跟蹤器相同的實驗環(huán)境下得到的。

本文所提算法與其他算法的APE圖如圖8所示，AOR圖如圖9所示。從圖8可以看出，本文所提跟蹤器在比例變化（SV）、遮擋（OCC）、變形（DEF）、平面外旋轉(zhuǎn)（OPR）、目標(biāo)消失（OV）等目標(biāo)跟蹤挑戰(zhàn)場景中的平均像素誤差優(yōu)于其他算法。從圖9可以看出，本文所提跟蹤器在比例變化（SV）、遮擋（OCC）、變形（DEF）、運(yùn)動模糊（MB）、快速運(yùn)動（FM）、平面外旋轉(zhuǎn)（OPR）、目標(biāo)消失（OV）、低分辨率（LR）等目標(biāo)跟蹤挑戰(zhàn)場景中的平均重疊率優(yōu)于其他算法。且在其他的挑戰(zhàn)場景中，本文所提跟蹤器與其他的經(jīng)典算法的差距也不是很大，因此在總體精確度和重疊率均值中，本文所提的跟蹤器依然能達(dá)到最好的跟蹤結(jié)果。尤其是相比Deng等所提的基于ELM-AE和OSELM的跟蹤器來說，本文所提的跟蹤器，在目標(biāo)跟蹤過程中的優(yōu)勢更加明顯。綜上所述，本文所提的跟蹤器相比其他算法，對目標(biāo)特征變化的適應(yīng)能力更加顯著。進(jìn)而對復(fù)雜環(huán)境下的單目標(biāo)跟蹤擁有更好的自適應(yīng)性。

圖8 平均像素誤差對比圖Fig. 8 Average pixel error comparison chart

圖9 平均重疊率對比圖Fig. 9 Average overlap rate comparison chart

從3.2 節(jié)的參數(shù)分析可以看出，針對不同的視頻跟蹤挑戰(zhàn)場景應(yīng)當(dāng)使用不同的參數(shù)組合?；谶@一點，在本節(jié)的算法對比中，針對不同的目標(biāo)跟蹤挑戰(zhàn)場景將選取以下9 種參數(shù)組合進(jìn)行第三次補(bǔ)充跟蹤實驗：n=10，=10，=0.1，=[2,2,2]，=[200,400,700]。然后，針對不同的挑戰(zhàn)場景，選取表現(xiàn)最好的參數(shù)組合，再與其他算法進(jìn)行對比。由于文章篇幅所限，本文利用OTB中Blurboy視頻序列進(jìn)行跟蹤器適應(yīng)能力展示。該視頻序列包含了OTB所提11項挑戰(zhàn)中的比例變化（SV）、變形（DEF）、運(yùn)動模糊（MB）、快速運(yùn)動（FM）、平面內(nèi)旋轉(zhuǎn)（IPR）共計五項挑戰(zhàn)。如圖10所示，圖10（a）～圖10（g）中的邊框和軌跡線分別表達(dá)了不同算法在目標(biāo)和場景變換過程中的目標(biāo)大小變化規(guī)律和目標(biāo)運(yùn)動軌跡。另外，以由淺到深的漸變色來表示第187 幀到第196 幀之間的目標(biāo)變化，從圖中可以清晰地看出不管是目標(biāo)的尺寸還是運(yùn)動軌跡，相較于其他算法本文所提跟蹤器都具有一定的優(yōu)越性。

圖10 在復(fù)雜變化場景中目標(biāo)跟蹤器的適應(yīng)性展示Fig. 10 Adaptive display of target tracker in complex changing scenes

4 結(jié)論和展望

根據(jù)動態(tài)目標(biāo)跟蹤的特點，本文結(jié)合了ELM-AE對圖像特征的學(xué)習(xí)能力和TRL對變動特征的適應(yīng)能力，提出一種新的、有效的特征學(xué)習(xí)算法，即TRLELM-AE 算法。然后，通過TRL-ELM-AE 的特征自適應(yīng)學(xué)習(xí)，進(jìn)一步結(jié)合目標(biāo)的識別和狀態(tài)估計策略，提出了一種魯棒的目標(biāo)跟蹤器，即TEA-OT。其次，基于圖像塊的目標(biāo)跟蹤過程實際上是一個區(qū)分目標(biāo)與背景的二分類問題。針對這一個問題，本文采用高斯樸素貝葉斯算法實現(xiàn)了一個高效、穩(wěn)定的分類模型。通過對OTB所提的11項視頻目標(biāo)跟蹤挑戰(zhàn)場景的大量實驗和分析，有效地驗證了本文所提的跟蹤器的魯棒性。但是，本文所提的跟蹤器仍然有一些方面需要改進(jìn)，比如基于MMD 的遷移表征學(xué)習(xí)。雖然通過最小化源域與目標(biāo)域之間的分布距離可以使目標(biāo)域中的目標(biāo)與背景的特征具有更好的可鑒別性，但是MMD不可避免地給跟蹤器帶來了一定的計算量。因此，如何在保持TRL對源域與目標(biāo)域進(jìn)行特征自適應(yīng)學(xué)習(xí)的同時保證其實時性是值得深入探討的問題。這也是下一步將要進(jìn)行研究的問題之一。