李福進(jìn) 李軍 宮海洋
摘要:針對(duì)粒子濾波目標(biāo)跟蹤過(guò)程中初始化和權(quán)值退化的數(shù)據(jù)處理情況,在粒子濾波框架下提出一種基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法。以仿生學(xué)為基礎(chǔ),在目標(biāo)跟蹤過(guò)程中引入稀疏子空間和卷積神經(jīng)網(wǎng)絡(luò)。首先,利用稀疏子空間模型篩選出與目標(biāo)狀態(tài)相似度較高的候選區(qū)域進(jìn)行后續(xù)跟蹤處理,減少冗余計(jì)算并降低跟蹤的復(fù)雜性;然后,將稀疏子空間輸出用作卷積神經(jīng)網(wǎng)絡(luò)的輸入,并利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像數(shù)據(jù)處理的優(yōu)點(diǎn)進(jìn)行目標(biāo)跟蹤的數(shù)據(jù)處理;最后,通過(guò)對(duì)目標(biāo)數(shù)據(jù)的不斷更新來(lái)減少目標(biāo)表觀變化的影響。實(shí)驗(yàn)表明,該算法能夠更好地處理目標(biāo)跟蹤中的目標(biāo)遮擋、運(yùn)動(dòng)模糊、光流與尺度變化,提高算法的準(zhǔn)確性和數(shù)據(jù)處理能力。
關(guān)鍵詞:稀疏子空間;卷積神經(jīng)網(wǎng)絡(luò);粒子濾波;目標(biāo)跟蹤;相異系數(shù)矩陣
中圖分類(lèi)號(hào):TP18 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1674-5124(2019)07-0122-06
收稿日期:2018-05-16;收到修改稿日期:2018-07-08
基金項(xiàng)目:國(guó)家自然科學(xué)基金(61203343);河北省自然科學(xué)基金(E2014209106);河北省高等學(xué)??茖W(xué)技術(shù)研究青年基金項(xiàng)目(QN2016102,QN2016105)
作者簡(jiǎn)介:李福進(jìn)(1957-),男,河北唐山市人,教授,碩士生導(dǎo)師,博士,主要研究方向是智能控制與智能儀表。
0 引言
目標(biāo)跟蹤是用來(lái)估計(jì)視頻中所標(biāo)記的目標(biāo)狀態(tài)過(guò)程。以圖像處理技術(shù)為核心,在計(jì)算機(jī)視覺(jué)領(lǐng)域中目標(biāo)檢測(cè)、目標(biāo)跟蹤、目標(biāo)識(shí)別、三維重建、姿態(tài)估計(jì)等一直是非常熱門(mén)的研究方向。2013年,Wang等[1-2]針對(duì)目標(biāo)跟蹤準(zhǔn)確性問(wèn)題提出LDSs算法,通過(guò)聚類(lèi)和噪音壓制的一系列方法,在UCF體育和電影數(shù)據(jù)方面有很大提高。2014年,張才千等[3]提出了基于目標(biāo)跟蹤的粒子群粒子濾波算法,通過(guò)粒子群實(shí)現(xiàn)粒子優(yōu)化使大部分粒子移動(dòng)到密集分布區(qū)域,通過(guò)實(shí)驗(yàn)驗(yàn)證了粒子的濾波能力有明顯提高。2014年,許倫輝等[4]提出一種改進(jìn)粒子濾波對(duì)人物跟蹤的應(yīng)用,在粒子濾波的基礎(chǔ)上提出融合權(quán)值繁衍和遺傳算法相結(jié)合,使得算法以相對(duì)少的計(jì)算量得到更高的準(zhǔn)確度,較好地解決粒子濾波算法中初始化與重采樣過(guò)程帶來(lái)的誤差問(wèn)題。2015年,許婉君等[5]提出顯著性模型和稀疏編碼結(jié)合來(lái)檢測(cè)遙感圖像,將特征矩陣作為訓(xùn)練對(duì)象來(lái)形成模型,并構(gòu)建GBVS,SR,SDS,F(xiàn)T,WSCR顯著圖。當(dāng)前比較流行的LRSP算法[6]在2016年由陳蕓等提出,改進(jìn)了傳統(tǒng)算法,提高對(duì)大尺度目標(biāo)進(jìn)行跟蹤的準(zhǔn)確性。
針對(duì)目標(biāo)跟蹤的魯棒性和準(zhǔn)確性,本文提出一種基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法研究,仿照人眼視覺(jué)神經(jīng)系統(tǒng)[7],能快速有效地定位重要的目標(biāo)并進(jìn)行分析,通過(guò)聚類(lèi)映射數(shù)據(jù)并學(xué)習(xí)分類(lèi)器,粒子濾波用于實(shí)現(xiàn)在線(xiàn)跟蹤目標(biāo)。在實(shí)驗(yàn)環(huán)節(jié),將本文所提出的跟蹤算法與相關(guān)的跟蹤算法的跟蹤性能對(duì)比,通過(guò)定量和定性分析,驗(yàn)證算法的有效性。
1 粒子的稀疏子空間表示
人類(lèi)視覺(jué)的認(rèn)知能力非常強(qiáng),其注意機(jī)制可以在惡劣的環(huán)境下準(zhǔn)確識(shí)別和跟蹤目標(biāo)。人類(lèi)視覺(jué)系統(tǒng)研究的主要目的是讓計(jì)算機(jī)模擬人的思維活動(dòng)以?xún)?yōu)化算法提高精度與效率,在復(fù)雜環(huán)境中做出一定的決策。有研究[8-9]表明,人類(lèi)視覺(jué)被某個(gè)物體所吸引時(shí),只有少量的神經(jīng)元被激活,大多數(shù)神經(jīng)元?jiǎng)t處于睡眠狀態(tài)。這表明當(dāng)觀察目標(biāo)時(shí),可用少量的神經(jīng)元來(lái)對(duì)目標(biāo)進(jìn)行表示。稀疏表示受人類(lèi)視覺(jué)系統(tǒng)的工作特點(diǎn)啟發(fā),是信號(hào)處理領(lǐng)域的熱點(diǎn)之一,廣泛應(yīng)用于模式識(shí)別[10-11]。
稀疏即是將高維空間數(shù)據(jù)映射到低維空間中,已知源數(shù)據(jù)X={x1,x2,…,xM}和目標(biāo)數(shù)據(jù)Y={y1,y2,…,yN),利用度量標(biāo)準(zhǔn)計(jì)算源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的相似性。假設(shè)D為一相異矩陣,D=[d1,d2,…,dM]T,D里的每個(gè)列向量均為相異系數(shù)矩陣,即:式中M、N分別為源數(shù)據(jù)和目標(biāo)數(shù)據(jù)中元素的個(gè)數(shù);di,j示xi與yj相似程度,用歐氏距離計(jì)算,di,j值越小說(shuō)明相似程度越高,在實(shí)際中的跟蹤效果越好。稀疏子空間建模為:假設(shè)存在一個(gè)概率矩陣Z∈RM×NZ中的元素zi,j與元素di,j一一對(duì)應(yīng),用相異性矩陣D求解概率矩陣Z,通過(guò)以下優(yōu)化問(wèn)題求解:式中‖.‖p表示‖l‖p范數(shù);I(t)表示指示函數(shù),當(dāng)t=0時(shí),函數(shù)值為0,否則值為1;λ>0,為平衡前兩項(xiàng)約束的參數(shù);ωj>0,是懲罰因子;ej∈[0,1],表示yj是奇異元素的概率。公式(2)可以通過(guò)乘數(shù)交替方向算法求解。當(dāng)源數(shù)據(jù)中的xi對(duì)應(yīng)的系數(shù)矢量zi滿(mǎn)足max(zi)>μ‖zi‖1,則xi為子集合中的元素,文中μ取值為0.2。目標(biāo)數(shù)據(jù)Y中yj可以用子集合中的元素稀疏表示:
δyj=argmaxzi,j,i∈{l1,…,lC}(3)式中δyj∈[1,…K]表示目標(biāo)數(shù)據(jù)Y中yj的類(lèi)別,K為聚類(lèi)中心數(shù)量;C為子集合中元素的數(shù)量。子集合的類(lèi)別定義為系數(shù)矢量的最大值所對(duì)應(yīng)的目標(biāo)數(shù)據(jù)的類(lèi)別。通過(guò)式(2)和式(3)可將候選區(qū)域聚類(lèi)同時(shí)將目標(biāo)數(shù)據(jù)分配類(lèi)別,使得后續(xù)處理中冗余計(jì)算降低并減少計(jì)算的復(fù)雜度。
2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
卷積神經(jīng)網(wǎng)絡(luò)(CNN)[12-13]是由貓的視覺(jué)系統(tǒng)得到啟發(fā)發(fā)展而來(lái),只有部分鄰層神經(jīng)元鏈處于興奮狀態(tài),神經(jīng)元的感知區(qū)域只感知局部而不是整個(gè)圖像。CNN具有3個(gè)重要的思想架構(gòu)分別為:局部區(qū)域感知,權(quán)重共享,空間或時(shí)間上的采樣。
局部區(qū)域感知就是提取局部特征并得到某特征的空間分布。CNN的每一層通過(guò)多個(gè)特征map構(gòu)成,每一層都能得到不同層級(jí)的表達(dá)式。權(quán)值策略的應(yīng)用降低預(yù)訓(xùn)練參數(shù),模型抗干擾能力和泛化作用進(jìn)一步提高。采樣的目的主要是混淆特征的具體位置,對(duì)變形和扭曲的圖片進(jìn)行識(shí)別。
卷積神經(jīng)網(wǎng)絡(luò)由卷積層提取出局部基本特征,由池化層進(jìn)行組合構(gòu)成更加抽象的特征,最后產(chǎn)生可以對(duì)圖片對(duì)象直觀描述的特征。圖1為卷積神經(jīng)網(wǎng)絡(luò)的示例圖。
將卷積網(wǎng)絡(luò)學(xué)習(xí)得到的第1層特征輸出,如圖2所示,圖中包括不同朝向與不同頻率的邊緣特征與顏色特征。
卷積層經(jīng)過(guò)池化過(guò)程處理進(jìn)入池化層,池化層計(jì)算窗口無(wú)重疊,Toolbox計(jì)算池化用卷積(conv2(A,K,'valid'))來(lái)實(shí)現(xiàn),卷積核大小為2X2,元素為原來(lái)1/4,刪除計(jì)算結(jié)果中的重疊部分,如圖3所示。
通過(guò)全連接層,將卷積后的圖片轉(zhuǎn)化成向量形式,每個(gè)像素作為神經(jīng)元節(jié)點(diǎn)。卷積層和池化層對(duì)圖像數(shù)據(jù)的交替處理,大大提高了多維數(shù)據(jù)的處理能力。
3 粒子濾波框架
在本節(jié)中,基于上述外觀模型,在粒子濾波的框架下,提出了一種基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)跟蹤算法?;舅枷胧菍⒒贑NN的稀疏子空間外觀模型有效地融入到粒子濾波框架中,該框架通過(guò)Monte Carlo采樣實(shí)現(xiàn)遞歸貝葉斯濾波。粒子濾波器主要是通過(guò)隨機(jī)采樣得到相關(guān)權(quán)重的粒子表示后驗(yàn)密度,粒子的權(quán)重決定了粒子的重要性。
粒子濾波器有兩個(gè)主要部分:1)狀態(tài)模型:根據(jù)以前的粒子生成候選樣本;2)觀察模型:計(jì)算候選樣本的權(quán)值。給定對(duì)象對(duì)應(yīng)時(shí)間的所有觀測(cè)值y1:t=[y1,…,yt],基于粒子濾波器的跟蹤系統(tǒng)的目的是估計(jì)p(xt|y1:t),它是目標(biāo)狀態(tài)的后驗(yàn)密度,用貝葉斯理論后驗(yàn)概率p(xt|y1:t)可以表示為
P(xt|y1:t)∝p(yt|xt)∫p(xt|xt-1)p(xt-1|y1:t)dxt-1(4)其中p(xt| xt-1)是狀態(tài)模型,P(Ytl xt)是觀測(cè)模型。積分的計(jì)算通過(guò)蒙特卡羅采樣在粒子濾波器中進(jìn)行。也就是說(shuō)后驗(yàn)概率p(xt由一組粒子和相關(guān)的權(quán)重表示。最后,在t時(shí)刻最優(yōu)對(duì)象狀態(tài)xt*可以通過(guò)最大后驗(yàn)估計(jì)來(lái)確定:式中xt=(ptx,pty,ωt,ht),表示包括水平坐標(biāo)、垂直坐標(biāo)、寬度和高度在內(nèi)的對(duì)象狀態(tài)參數(shù)。
p(xt|xt-1)=N(xt:xt-1,∑)(6)其中∑是對(duì)角協(xié)方差矩陣,對(duì)角元素是相應(yīng)參數(shù)的相應(yīng)變化。對(duì)于每個(gè)狀態(tài)xt,將圖像塊標(biāo)準(zhǔn)化為32×32像素的對(duì)應(yīng)圖像塊?;谔岢龅南∈枳涌臻g的卷積神經(jīng)網(wǎng)絡(luò)計(jì)算似然函數(shù)p(yt|xt)模型:
p(yt|xt)= exp(dt)(7)
目標(biāo)狀態(tài)表觀由于會(huì)受到光流、視角和障礙物形變等不可抗因素的影響,隨著時(shí)間的推移首幀信息形成的目標(biāo)模型已不能適應(yīng)當(dāng)前的變化,可能導(dǎo)致跟蹤的失敗。為了捕獲外觀變化,似然函數(shù)需要隨時(shí)間適應(yīng)稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)外觀模型更新,以達(dá)到良好的跟蹤效果。為使得跟蹤方法更加有效,在實(shí)驗(yàn)時(shí)每過(guò)5幀進(jìn)行一次判斷,置信度最大的粒子小于設(shè)定的閾值T(0.75)時(shí)進(jìn)行更新,權(quán)重計(jì)算方法采用文獻(xiàn)[10]中的方式。在每次更新時(shí),保留首幀指定的目標(biāo)模板,降低漂移現(xiàn)象的產(chǎn)生。實(shí)驗(yàn)結(jié)果表明,此更新方法與本文提出的基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)合,能夠準(zhǔn)確捕捉表觀變化,獲得更加準(zhǔn)確的結(jié)果。
4 實(shí)驗(yàn)過(guò)程及結(jié)果分析
4.1 跟蹤過(guò)程的流程圖與實(shí)驗(yàn)步驟
實(shí)驗(yàn)步驟:
初始化階段(t=1):
1)在基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)模型中預(yù)訓(xùn)練數(shù)據(jù);
2)手動(dòng)獲取第1幀的目標(biāo)標(biāo)簽;
3)采集正負(fù)樣本分別記為得到相應(yīng)的模板;
4)調(diào)整每個(gè)模板的大小為32×32;
5)微調(diào)模型中的預(yù)訓(xùn)練正負(fù)樣本;
6)初始化粒子濾波的目標(biāo)狀態(tài)和權(quán)重
7)設(shè)置相似度閾值T。
跟蹤階段:t=2:N
1)預(yù)測(cè):for i=1,…,N1生成xti~p(xt|xt-1i);
2)可靠性估計(jì):for i=1,…,N1,得到ωti=ωt-1ip(yt|xti):
3)檢測(cè)目標(biāo)的最優(yōu)狀態(tài)xt*并賦予粒子最大的權(quán)重;
4)重采樣:歸一化權(quán)重并計(jì)算歸一化權(quán)重的協(xié)方差,如果該方差超過(guò)設(shè)定閾值則用最大權(quán)重的粒子替換最小權(quán)重的粒子。
5)當(dāng)t為5的整數(shù)倍時(shí),判斷相似度大小,若相似度值小于設(shè)定的值T時(shí),則進(jìn)行模板的更新。
目標(biāo)跟蹤流程如圖4所示。首先獲取第一幀圖像,通過(guò)粒子濾波器進(jìn)行粒子的采樣和分類(lèi),將基于CNN的稀疏子空間外觀模型有效地融入到粒子濾波框架中,根據(jù)N的值判斷相似度對(duì)模板進(jìn)行更新。
4.2 實(shí)驗(yàn)結(jié)果與分析
仿真實(shí)驗(yàn)在Intel(R)COre(TM)i3-2310M CPU@2.10GHz電腦配置下通過(guò)對(duì)http://cvlab.hanyang.ac.kr/tracker_benchmark視頻數(shù)據(jù)庫(kù)的視頻序列進(jìn)行Matlab仿真完成。用以驗(yàn)證本文提出基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法。meanshift算法是一種具有一定代表性的經(jīng)典目標(biāo)跟蹤算法,基于IVT的目標(biāo)跟蹤算法在以往的證明中效果相對(duì)最優(yōu),為驗(yàn)證算法的有效性,比較了meanshift目標(biāo)跟蹤算法和基于IVT的目標(biāo)的仿真結(jié)果。仿真結(jié)果如圖5和圖6所示。在設(shè)置參數(shù)時(shí),將文中測(cè)試閾值設(shè)置為0.75,通過(guò)大于閾值的部分可以反映跟蹤效果。實(shí)驗(yàn)設(shè)計(jì)包括目標(biāo)尺寸變化和短期目標(biāo)遮擋下的目標(biāo)跟蹤。通過(guò)定性和定量分析跟蹤算法證明了該算法在整體跟蹤性能方面的優(yōu)越性。
定性分析:
實(shí)驗(yàn)1:圖5中黑色線(xiàn)框?yàn)楸疚乃惴ǎG色框?yàn)閙eanshift跟蹤算法,藍(lán)色框?yàn)榛贗VT跟蹤算法,在沖浪者視頻序列中,角色的上半身被選擇作為跟蹤目標(biāo),并且目標(biāo)的初始位置是x5=(27713560120)。主要特點(diǎn)是目標(biāo)位置在場(chǎng)景中變化和旋轉(zhuǎn)并伴有尺度變化,選取1375幀,實(shí)驗(yàn)結(jié)果包含了視頻幀中的50,90,170,240幀。
實(shí)驗(yàn)2:圖6黑色線(xiàn)框是本文的算法,綠色框是meanshift目標(biāo)跟蹤算法,藍(lán)色線(xiàn)框基于IVT目標(biāo)跟蹤算法,在所選擇的視頻序列中,選取人臉為目標(biāo),并且目標(biāo)的初始位置為x0=(120557595)。主要特點(diǎn)是隨著照明強(qiáng)度發(fā)生變化對(duì)目標(biāo)追蹤的影響。選取視頻1~350幀,實(shí)驗(yàn)結(jié)果包含了視頻幀中的50,90,170,240幀。仿真結(jié)果表明,該算法在復(fù)雜條件下追蹤效果最好。
4.3 定量分析
圖7~圖9分別是本文算法與IVT目標(biāo)跟蹤和meanshift目標(biāo)跟蹤算法跟蹤過(guò)程中的穩(wěn)定曲線(xiàn)。在Matlab中用tic與toc口令計(jì)算對(duì)同一個(gè)視頻序列(為節(jié)約時(shí)間只計(jì)算前350幀)進(jìn)行跟蹤的時(shí)間,圖7用時(shí)18.1172s,圖8用時(shí)24.6273s,圖9用時(shí)28.7644s。根據(jù)實(shí)驗(yàn)時(shí)間本文算法在時(shí)間上得到提高,證明跟蹤的快速性得到改善。在受到外部干擾的情況下,根據(jù)穩(wěn)定曲線(xiàn)圖分析,本文算法的波動(dòng)幅度最小,證明穩(wěn)定性得到提高。
圖10為根據(jù)對(duì)比參數(shù)準(zhǔn)確度A和中心誤差E得到的仿真圖。式中n(p)表示中心位置點(diǎn)小于設(shè)定閾值p的幀數(shù);Nf為總幀數(shù),本文中取值為350;XC和YC為實(shí)際和跟蹤結(jié)果的中心坐標(biāo)。由圖可以看出,該算法在準(zhǔn)確度和中心誤差方面優(yōu)于其他兩種算法。
5 結(jié)束語(yǔ)
本文在粒子濾波框架下提出一種基于稀疏子空間的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤算法。該算法可以較好地處理局部遮擋、光照變化和尺度變化的影響,有著對(duì)多樣本數(shù)據(jù)處理速度的優(yōu)越性能,增強(qiáng)濾波模板目標(biāo)和背景的分類(lèi)能力。在復(fù)雜情況下,相比于meanshift目標(biāo)跟蹤算法和IVT的目標(biāo)跟蹤算法進(jìn)行了仿真驗(yàn)證和分析。稀疏子空間模型對(duì)候選區(qū)域進(jìn)行跟蹤處理后,可縮短運(yùn)算時(shí)間,減少計(jì)算量,具有較好的目標(biāo)跟蹤效果。當(dāng)出現(xiàn)遮擋,光照和背景干擾的問(wèn)題,卷積神經(jīng)網(wǎng)絡(luò)能很好地克服外界帶來(lái)的干擾,準(zhǔn)確進(jìn)行跟蹤,從而驗(yàn)證了算法的魯棒性和準(zhǔn)確性,在目標(biāo)的識(shí)別和跟蹤應(yīng)用中具有一定實(shí)用價(jià)值。
參考文獻(xiàn)
[1]WANG H,YUAN C,LUO G,et al.Action recognition usinglinear dynamic systems[J].Pattern Recognition,2013,46(6):1710-1718.
[2]YANG S,YUAN C,WAN(;H,et al.Combining sparseappearance features and dense motion features via random forest for action detection[C]//IEEE International Conferenceon Acoustics:IEEE,2013.
[3]張才千,葛磊,韓東.基于目標(biāo)跟蹤的粒子群粒子濾波算法研究[J].計(jì)算機(jī)仿真,2014,31(8):392-396.
[4]許倫輝,叢曉野.改進(jìn)粒子濾波對(duì)人物跟蹤的應(yīng)用[J].計(jì)算機(jī)仿真,2014,31(1):344-347.
[5]許婉君,侯志強(qiáng),余旺盛,等.基于顏色和空間信息的多特征融合目標(biāo)跟蹤算法[J].應(yīng)用光學(xué),2015,36(5):755-761.
[6]陳蕓,吳飛,荊曉遠(yuǎn),等.魯棒低秩稀疏表示的在線(xiàn)目標(biāo)跟蹤[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(4):1062-1066.
[7]趙二群.視覺(jué)神經(jīng)系統(tǒng)仿生模型及其應(yīng)用研究[D].長(zhǎng)沙:湖南大學(xué),2014.
[8]HINAULT T,DUFAU S,LEMAIRE P.Strategy combinationin human cognition:a behavioral and ERP study inarithmetic[J].Psychonomic Bulletin&Review,2015,22(1):190-199.
[9]OLSHAUSEN B A,F(xiàn)IELD D J.Natural image statistics andefficient coding[J].Network,2009,7(2):333.
[10]王保憲,趙保軍,唐林波,等.基于雙向稀疏表示的魯棒目標(biāo)跟蹤算法[J].物理學(xué)報(bào),2014(23):174-184.
[11]YIN H.Sparse representation with learned multi-scaledictionary for image fusion[J].Neurocomputing,2015,148(148):600-610.
[12]DONG C,CHEN C L,HE K,et al.Image super-resolutionusing deep convolutional networks[J].IEEETransactions onPattern Analysis and Machine Intelligence,2016,38(2):295-307.
[13]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Imagendclassification with deep convolutional neural[C]//Advances inNeural Information Processing Systems,2012.
(編輯:莫婕)