基于特征融合的復(fù)雜場景多目標(biāo)跟蹤算法研究

摘要：在復(fù)雜地物類型背景條件下，多目標(biāo)跟蹤算法通常表現(xiàn)出目標(biāo)識別與跟蹤能力較差問題，特別在被其它地物遮擋后目標(biāo)跟蹤丟失更嚴(yán)重。提出一種改進的基于多源特征提取與特征融合的多目標(biāo)跟蹤算法。為提高目標(biāo)在復(fù)雜背景下的空間分辨力，充分利用對異類物體判別能力較強的高層特征和針對同類不同物體判別能力較強的淺層特征，提高復(fù)雜背景下地物目標(biāo)的識別能力。同時，為了解決物體被遮擋后導(dǎo)致跟蹤算法丟失目標(biāo)問題，利用濾波器獲得追蹤目標(biāo)的空間尺度大小，提高跟蹤算法的準(zhǔn)確性與可靠性。實驗表明，多目標(biāo)跟蹤算法識別目標(biāo)的準(zhǔn)確性可達87.5%，誤差在±2.31%左右，具有良好的尺度估計效果。

關(guān)鍵詞：機器視覺;特征融合;目標(biāo)跟蹤;尺度估計;運動檢測

DOI： 10. 11907/rjdk.191604

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP312

文獻標(biāo)識碼：A

文章編號：1672-7800（ 2020）004-0046-04

Research on Multi-target Tracking Algorithm for Complex Background

Based on Feature Fusion

WANG Zhi-yu1.2

（l.College of Computer Science arzd Engineering ， .Sh.andong Univer.sity of Scie，zce and Tech.nology ，

Qingda0 2665 90 ， Ch.ina ;

2. Huangrlao District Ch.inese Medicine. Hospital， Qingda0 266500 . Clzina ）

Abstract： In the context of conlplex object types， multi-target tracking algorithrus usually show poor target recognition and targettracking ability， especially after being occluded by other objects， u-hich will lead to the loss of tracking sef targets. A multi-fargettracking algorithm for rnulti-source feature extraction and feature fusion is proposed in order to improve the spatial resolving power of'neural networks. iuake f'ull use of' different depth f'eatures and high-level f'eatures that have strong discriminative ability for heteroge-neous objects and discriminate against different objects of the same kind. Strong shallow features and multi-source fusion for featuresare fully used to improve the recognition of ground objects. At the same time. in order to solve the problem that the tracking algorithmloses the target after the object is occluded. the scale filter is used to calculate the spatial scale of the target， and the performance ofthe iuulti-target tracking algorithm is improved. Field experiments show， that multi-target tracking algorithm can achieve target accura-cy of 87.5% ， error rate is +2.31% . and the algorithm has good scale estimation effect.Key Words ： machine vision ; feature fusion ; target tracking; scale estimation ;motion detection

O 引言

深度卷積神經(jīng)網(wǎng)絡(luò)可以提取并表達目標(biāo)的深層特征，被廣泛用于提高目標(biāo)追蹤算法的準(zhǔn)確性，適用于運動目標(biāo)軌跡不斷變化情況。但卷積預(yù)算過程中大量的矩陣操作導(dǎo)致計算量較大，影響多目標(biāo)追蹤的時效性，為此學(xué)者進行了相關(guān)研究。如周奇等…利用多特征進行輪船運動目標(biāo)的跟蹤和軌跡獲取;李寧寧等[2]利用基于中心對比的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)特定目標(biāo)的跟蹤算法;馮樂樂等[3]基于連續(xù)幀神經(jīng)網(wǎng)絡(luò)實現(xiàn)行人的白動檢測。這些算法都有效利用了卷積神經(jīng)網(wǎng)絡(luò)強大的多尺度特征表達能力，但神經(jīng)網(wǎng)絡(luò)高層卷積層輸出特征尺寸較小，使用高層特征進行目標(biāo)跟蹤時受各種外界因素的影響[5-6]較大，難以達到理想效為解決此問題，通過局部裁剪方式。[7]計算前一幀圖像的預(yù)測結(jié)果作為當(dāng)前幀的中心，根據(jù)濾波框架位置裁剪出一塊略大于目標(biāo)尺寸的局部區(qū)域，通過圖像采樣處理，輸入到卷積神經(jīng)網(wǎng)絡(luò)。利用基于紋理和空間信息的多特征融合算法，通過目標(biāo)的多尺度高層特征提高目標(biāo)識別的準(zhǔn)確性。

針對復(fù)雜場景圖像局部裁剪引起的運動目標(biāo)跟蹤丟失等問題。[8-9]，本文提出一種改進的基于深度卷積特征融合的多目標(biāo)跟蹤算法，利用多尺度融合特征提高目標(biāo)的空間分辨能力和目標(biāo)識別能力。

1 算法流程及步驟

傳統(tǒng)的目標(biāo)檢測和跟蹤算法普遍利用梯度“0。、紋理llll和邊緣[12]等特征，在分離圖像前景和背景基礎(chǔ)上，采用特定模型在待檢測圖像中進行特征匹配。但是，這類方法通常實現(xiàn)起來比較復(fù)雜[13-14]，并且容易受到外界環(huán)境因素和目標(biāo)自身形態(tài)變化的影響。在場景不受限制的條件下，人T設(shè)計的特征較難適應(yīng)各種動態(tài)變化[15];在實際應(yīng)用場景下，由于背景的復(fù)雜性和多樣性，造成運動目標(biāo)檢測效果不佳。

本文針對復(fù)雜背景下多目標(biāo)跟蹤問題，利用深度卷積模型VGG19，采用濾波器提取目標(biāo)區(qū)域的多層次深度卷積特征，設(shè)計了改進的多目標(biāo)跟蹤算法，主要包含目標(biāo)定位、目標(biāo)尺度計算和模型更新。本文提出的目標(biāo)跟蹤算法框架如圖1所示。

1.1 定位階段

1.1.1 局部檢測模型

利用裁剪的目標(biāo)局部區(qū)域，對多尺度目標(biāo)圖像的深層特征進行特征提取和特征融合，通過改進的反卷積層，上采樣處理Conv5輸出特征圖，使其與Conv4層的特征圖尺寸大小相同。用兩個特征圖構(gòu)造一個疊加的高層特征圖，提取高層深度特征，得到局部檢測模型的預(yù)測輸出結(jié)果。

使用第一幀圖像進行訓(xùn)練。在局部檢測模型給定的目標(biāo)框周圍，沿著目標(biāo)框邊緣進行裁剪，將裁剪得到的局部區(qū)域圖像拉伸至VGG19網(wǎng)絡(luò)的輸入尺寸，并輸入到網(wǎng)絡(luò)得到特征圖，輸出預(yù)測追蹤目標(biāo)在熱度圖上對應(yīng)的每個點出現(xiàn)的概率大小。

計算損失函數(shù)，實現(xiàn)局部檢測網(wǎng)絡(luò)訓(xùn)練。

其中，M，為局部檢測模型輸出，M2為目標(biāo)熱度圖，它符合二維高斯分布，采用隨機梯度下降法進行模型參數(shù)的訓(xùn)練。

計算前一幀圖像預(yù)測的目標(biāo)位置，并以該位置為中心進行目標(biāo)局部區(qū)域的圖像裁剪。根據(jù)追蹤目標(biāo)的預(yù)測熱度圖，計算概率最大的位置為當(dāng)前數(shù)據(jù)幀預(yù)測目標(biāo)所在位置。

1.1.2 全局搜索模型

在目標(biāo)檢測過程中，物體的遮擋、光照、陰影以及背景對象的移動等因素都會影響目標(biāo)檢測和識別精度[16-17].本文使用Faster RCNN算法作為全局檢測模型，對目標(biāo)框聚類分析，計算得到目標(biāo)區(qū)域的權(quán)值。若超過設(shè)定的目標(biāo)識別閾值，則將權(quán)值最高點作為目標(biāo)新位置，繼續(xù)利用局部檢測模型進行特定目標(biāo)的識別與跟蹤，如圖2所示。

本文設(shè)計了一種區(qū)域生成網(wǎng)絡(luò)優(yōu)化策略：①區(qū)分目標(biāo)與背景類型，采取二分類標(biāo)簽判定策略：背景標(biāo)簽為O，目標(biāo)標(biāo)簽為1;②采樣區(qū)域生成網(wǎng)絡(luò)，生成一系列帶有權(quán)值的矩形區(qū)域框。

若局部檢測模型特征圖輸出的最高值大于給定閾值，則作為檢測目標(biāo)位置。此時，將整張圖像輸入到全局檢測網(wǎng)絡(luò)中，預(yù)測出一組帶有權(quán)值的矩形候選框，獲得權(quán)值最高的候選區(qū)域。如果矩形框的權(quán)值大于給定閾值，則將其中心作為當(dāng)前數(shù)據(jù)幀目標(biāo)所在位置，繼續(xù)利用局部檢測網(wǎng)絡(luò)并跟蹤目標(biāo)。

1.2計算目標(biāo)尺度

在追蹤目標(biāo)對象過程中，不但要預(yù)測給定目標(biāo)的當(dāng)前位置，還要計算目標(biāo)的尺度大小，獲得目標(biāo)在整幅圖像中的候選區(qū)域[18]。

在確定目標(biāo)對象位置后，首先以該位置為中心截取不同尺度大小的候選區(qū)域，然后將這些圖片拉伸至同樣大小[19]，根據(jù)目標(biāo)框提取不同尺度的特征構(gòu)造輸出。在跟蹤過程中，通過不斷訓(xùn)練和迭代確定目標(biāo)對象位置，利用計算尺度濾波器的響應(yīng)最大值獲取當(dāng)前幀目標(biāo)框。

1.3 模型更新

在目標(biāo)對象追蹤運動過程中，外觀有可能會發(fā)生漸變現(xiàn)象[20-21]。為提高目標(biāo)追蹤效率并避免丟失追蹤目標(biāo)對象，要不斷更新局部檢測模型和尺度濾波器。

根據(jù)熱度圖的最大響應(yīng)值，如果權(quán)值大于閾值，則認(rèn)為局部檢測模型可以對當(dāng)前圖片進行準(zhǔn)確檢測[22]。利用當(dāng)前數(shù)據(jù)幀預(yù)測的目標(biāo)框作為局部檢測模型的輸入，通過不斷迭代更新局部檢測模型。

在目標(biāo)對象跟蹤過程中，算法對目標(biāo)的運動模糊無法進行有效識別，因此該算法不適合對全局檢測模型進行更新。

2 特征融合方法

本文沒計一種改進的多目標(biāo)跟蹤特征融合方法，主要流程如下：①針對視頻中的每一幀圖像，識別特定目標(biāo)與背景信息，分出待識別的目標(biāo)信息;②提取目標(biāo)的邊緣與紋理特征，建立特征直方圖并進行相似性度量;③計算特征相似性度量值，針對計算結(jié)果進行目標(biāo)圖像的深層特征融合;④針對視頻中的每一幀圖像進行處理，構(gòu)建特征融合匹配矩陣。

目標(biāo)特征融合方法算法流程如下：

輸入：視頻、圖像

輸出：特征融合匹配矩陣

detect video target

get N frames foreground image

for i=l.2.…….N do

extract edge features

generate HSV spatial color histogram

calculate similaritv M

//汁算目標(biāo)和候選目標(biāo)的匹配度

extract texture fratures

generate HSV spatial color histogram

calculate similarity M

extract texture fratures

add fusion feature matching ll特征融合

end for

return feature matching matrix

3 實驗結(jié)果及分析

為檢驗?zāi)繕?biāo)跟蹤算法的工作效率，結(jié)合實際環(huán)境中的復(fù)雜地物背景，選取視頻序列進行測試，主要考慮光照變化、尺度變化、背景雜亂、目標(biāo)遮擋、快速運動等因素。

3.1 步行實驗

本實驗是一種基于連續(xù)幀的行人檢測，利用連續(xù)數(shù)據(jù)幀提取視頻序列的時間和空間特征，提高遮擋行人檢測能力?；谛腥藱z測在時間上的持續(xù)性，采用目標(biāo)跟蹤算法進行行人檢測，預(yù)測行人位置，評估行人檢測結(jié)果，提高行人被遮擋情況下的識別與跟蹤能力。

本次實驗先后出現(xiàn)3個行人步行狀態(tài)的跟蹤目標(biāo)，如圖3所示。從圖3（a）第523幀目標(biāo)出現(xiàn)在場景中開始，一直追蹤行人在馬路上行走過程，直到圖3（g）和圖3（h）行人被大樹遮擋，目標(biāo)追蹤丟失。本實驗場景較為復(fù)雜，算法判別給定目標(biāo)與背景的準(zhǔn)確性達到87.5%以上，誤差在±2.31%左右。

3.2 快速運動實驗

跟蹤該物體一直到視頻播放結(jié)束，如圖4所示。由于加強了尺度估計，算法在平均重疊率和平均中心點誤差方面表現(xiàn)較好。目標(biāo)特征從圖片部分區(qū)域獲得，超出采樣區(qū)域或目標(biāo)背景中其它物體遮擋，則裁剪得到的圖片中沒有目標(biāo)物，導(dǎo)致目標(biāo)跟蹤算法失敗。 4 結(jié)語

在計算機視覺領(lǐng)域的復(fù)雜場景環(huán)境中，目標(biāo)在運動過程中經(jīng)常會發(fā)生被遮擋、背景雜波干擾和目標(biāo)形變等情況，造成多目標(biāo)對象跟蹤算法識別效果不佳，當(dāng)目標(biāo)被其它物體遮擋時，容易發(fā)生目標(biāo)跟蹤丟失問題。

本文針對視頻監(jiān)控環(huán)境中的運動目標(biāo)檢測和跟蹤問題，提出一種改進的基于多源特征提取和特征融合的多目標(biāo)跟蹤算法。在目標(biāo)比例發(fā)生變化的情況下，利用跟蹤框更新機制，自適應(yīng)調(diào)整跟蹤框尺寸大小，以適應(yīng)目標(biāo)比例變化。充分利用目標(biāo)的多尺度特征進行特征融合，提高目標(biāo)對象的判別能力。

經(jīng)過現(xiàn)場實驗驗證，本文提出的多目標(biāo)跟蹤算法能夠較好地判別給定目標(biāo)，跟蹤準(zhǔn)確性有一定程度提高。但該算法針對目標(biāo)外觀特征提取不穩(wěn)定，利用目標(biāo)狀態(tài)特征構(gòu)造多目標(biāo)外觀特征的稀疏表示模型有利于提高目標(biāo)跟蹤的準(zhǔn)確性，下一步將針對該問題進行深入研究。

參考文獻：

[1]周奇基于多特征的輪船運動目標(biāo)跟蹤及軌跡獲取方法[D].北京：北方工業(yè)大學(xué)，2018.

[2]李寧寧.基于中心對比卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法研究[D].北京：北京郵電大學(xué)，2018.

[3]馮樂樂基于連續(xù)幀卷積神經(jīng)網(wǎng)絡(luò)的行人檢測方法研究[D]北京：北京工業(yè)大學(xué)，2017.

[4]尹宏鵬，陳波.基于視覺的目標(biāo)檢測與跟蹤綜述[J].自動化學(xué)報， 2016. 42（ 10）： 1466-1489.

[5] 閔召陽，趙文杰基于卷積神經(jīng)網(wǎng)絡(luò)檢測的多鏡頭多目標(biāo)跟蹤算法[J]艦船電子工程，2017，37（12）：25-28，38.

[6] 孫皓，孫顯.一種高分辨率遙感圖像艦船檢測方法研究[J].測繪 科學(xué)，2013，38（5）：112-116.

[7]李明杰，劉小飛基于粒子濾波和背景減除的多目標(biāo)檢測與跟蹤算法[J].計算機應(yīng)用研究，2018，35（8）：2506-2509.

[8]王國坤.復(fù)雜背景下基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2018

[9]顧蘇杭，陸兵.基于輪廓和ASIFT特征的目標(biāo)檢測與跟蹤算法[J].計算機仿真，2017，34（6）：266-271，339

[10]丁冉冉基于步態(tài)識別的人體目標(biāo)檢測與跟蹤[D].北京：北京交通大學(xué)，2017.

[II]周雅基于目標(biāo)檢測與加權(quán)混合特征的目標(biāo)跟蹤算法[J].科技通報，2017，33（ 4）：138-143

[12]汪宏異，郝群.一種抗遮擋抗干擾的目標(biāo)檢測跟蹤方法研究[J]光學(xué)技術(shù)，2016，42（ 4）：376-379，384.

[13]郭毓，蘇鵬飛基于Faster R-CNN的機器人目標(biāo)檢測及空間定位[J].華中科技大學(xué)學(xué)報（自然科學(xué)版），2018，46（12）：55-59.

[14]陳飛，章東平.基于多尺度特征融合的Faster-RCNN道路目標(biāo)檢測[J].中國計量大學(xué)學(xué)報，2018，29（4）：393-397

[15]楊磊，龐芳.基于低秩一稀疏聯(lián)合表示的視頻序列運動目標(biāo)檢測[J].系統(tǒng)仿真學(xué)報，2018，30（12）：4693-4702

[16]曹雯雯.基于多特征融合的稀疏表示目標(biāo)追蹤方法的研究[D].南京：南京郵電大學(xué)，2018.

[17] 陳瑩瑩，房勝，李哲.加權(quán)多特征外觀表示的實時目標(biāo)追蹤[J].中國圖象圖形學(xué)報，2019，24（2）：291-301.

[18]孫海宇，陳秀宏.聯(lián)合外形響應(yīng)的深度目標(biāo)追蹤器[J].智能系統(tǒng)學(xué)報，2018（6）：1-8.

[19]孫曉霞，龐春江基于全巷積對稱網(wǎng)絡(luò)的目標(biāo)尺度自適應(yīng)追蹤[J].激光與光電子學(xué)進展，2019，56（1）：242-250

[20]張偉東，趙建偉基于特征選擇與時間一致性稀疏外觀模型的目標(biāo)追蹤算法[J]模式識別與人工智能，2018，31（3）：245-255.

[21] 李厚彪，樊慶宇基于自適應(yīng)同時稀疏表示的魯棒性目標(biāo)追蹤[J].電子科技大學(xué)學(xué)報，2018，47（1）：1-12.

[22]趙中楠，王健基于多源協(xié)同感知的目標(biāo)追蹤優(yōu)化模型[J].北京理工大學(xué)學(xué)報，2017，37（11）：1137-1143.（責(zé)任編輯：杜能鋼）

收稿日期：2019-04-25

基金項目：山東省自然科學(xué)基金項目（ ZR2018BFOOI）

作者簡介：王志余（1967-），男，山東科技大學(xué)計算機學(xué)院碩士研究生、黃島中醫(yī)醫(yī)院工程師，研究方向為機器視覺、高性能計算、深度

學(xué)習(xí)。