基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)算法研究綜述

李琴 王靖

摘要：基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)技術(shù)當(dāng)中，對(duì)目標(biāo)進(jìn)行視頻跟蹤是最基本的技術(shù)之一，正確的檢測(cè)到基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤，是準(zhǔn)確地對(duì)視頻每幀圖像序列的基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤進(jìn)行跟蹤的關(guān)鍵所在。因此，基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)技術(shù)的質(zhì)量標(biāo)準(zhǔn)，直接影響到基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的好壞。本文主要介紹基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)常用的三種方法，并對(duì)不同的方法進(jìn)行對(duì)比研究，分析其優(yōu)缺點(diǎn)，希望對(duì)視頻跟蹤檢測(cè)算法的深入研究提供一點(diǎn)幫助。

關(guān)鍵詞：深度學(xué)習(xí);視頻跟蹤;算法

中圖分類號(hào)： TP3? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）16-0187-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 前言

視頻和圖像處理的基礎(chǔ)是基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)，基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)的準(zhǔn)確度是高層次的處理工作是否能順利進(jìn)行的直接因素，需要高準(zhǔn)確度的檢查行為主要包括三個(gè)，第一個(gè)是對(duì)后期的目標(biāo)的跟蹤準(zhǔn)確度，第二個(gè)是對(duì)目標(biāo)的識(shí)別準(zhǔn)確度，第三個(gè)是對(duì)場(chǎng)景理解的準(zhǔn)確度。雖然我們常見(jiàn)的基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)方法多種多樣，但由于目標(biāo)通常速度是時(shí)變的而且隨著時(shí)間改變的路徑和速率是無(wú)規(guī)律的，這也是這種檢測(cè)技術(shù)的難點(diǎn)之所在。再加上檢測(cè)時(shí)外部信息的干擾，有太多的噪音夾雜在目標(biāo)特征之中，所以，基于深度學(xué)習(xí)的視頻目標(biāo)檢測(cè)的準(zhǔn)確度很難得到保證，是一個(gè)亟待解決的問(wèn)題。

根據(jù)拍攝器材與基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤之間運(yùn)動(dòng)狀態(tài)的不同，基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè)方法通常被分成兩大類，第一類是在動(dòng)態(tài)背景下對(duì)目標(biāo)的檢測(cè)，第二類是靜態(tài)背景下對(duì)目標(biāo)的檢測(cè)，當(dāng)錄像儀器不動(dòng)，只有檢測(cè)目標(biāo)移動(dòng)，這就是靜態(tài)背景下的基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤檢測(cè);而動(dòng)態(tài)背景下的運(yùn)動(dòng)檢測(cè)是指拍攝器材在監(jiān)視過(guò)程中運(yùn)動(dòng)，被檢測(cè)的物體在錄像儀器的鏡頭下也在移動(dòng)，使得對(duì)物體的跟蹤變的復(fù)雜多變。現(xiàn)在通常使用的靜態(tài)背景對(duì)目標(biāo)的檢測(cè)的方法有三種：第一種是光流法（0ptica1 f1ow），第二種是幀差分法（frame difference）第三種是背景差分法（backgr0und subtracti0n）。由于其各自的實(shí)現(xiàn)原理不同，其使用的場(chǎng)合也有所不同。

2 視頻目標(biāo)跟蹤檢測(cè)的常用方法

2.1 目標(biāo)跟蹤方法概述

近年來(lái)，由于國(guó)家對(duì)科研項(xiàng)目的重視，使得基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤技術(shù)也迅速的發(fā)展，在基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤領(lǐng)域國(guó)內(nèi)外專家學(xué)者都進(jìn)行了大量的研討學(xué)習(xí)，許多目標(biāo)跟蹤的算法被提了出來(lái)。一般情況，根據(jù)特定的情況適用于對(duì)應(yīng)的特定方法，跟蹤的對(duì)象不同、適用場(chǎng)合的不同也就有了多種不同的分類方法，按照拍攝器材在跟蹤過(guò)程中運(yùn)動(dòng)狀態(tài)的不同，可以分為靜態(tài)背景下的目標(biāo)跟蹤和動(dòng)態(tài)背景下的目標(biāo)跟蹤;按照跟蹤拍攝器材數(shù)量的不同可分為單設(shè)備跟蹤和多設(shè)備跟蹤，如圖1所示。

2.2 視頻目標(biāo)跟蹤檢測(cè)的常用方法

1）光流法

早在二十世紀(jì)五十年代Gibs0n就提出了光流的概念，這一概念的意思是當(dāng)物體運(yùn)動(dòng)時(shí)，拍攝出來(lái)的畫面的每一個(gè)像素點(diǎn)的瞬時(shí)移動(dòng)速度就稱為光流。為了從序列圖像中近似計(jì)算出圖像的運(yùn)動(dòng)場(chǎng)，進(jìn)而研究光流場(chǎng)。所以，計(jì)算光流場(chǎng)是光流法的主要作用，也就是在合適的平滑約束性條件下，按照?qǐng)D像序列的時(shí)空梯度估算運(yùn)動(dòng)場(chǎng)，通過(guò)對(duì)運(yùn)動(dòng)場(chǎng)的變化進(jìn)行分析，對(duì)基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤和場(chǎng)景進(jìn)行分割。

在監(jiān)視場(chǎng)景中目標(biāo)發(fā)生移動(dòng)，灰度模式運(yùn)動(dòng)在物體表面形成這就是光流場(chǎng)，以假設(shè)目標(biāo)的灰度梯度基本恒定為基礎(chǔ)是這種方法最主要的特征。光流指的是灰度圖像的表面運(yùn)動(dòng)，基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的三維速度矢量反應(yīng)在成像平面上的投影實(shí)際上是光流中所包含的基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的信息，其反映了在圖像中的瞬時(shí)變化。光流法的工作流程，首先對(duì)所在環(huán)境中目標(biāo)的結(jié)構(gòu)與運(yùn)動(dòng)狀態(tài)的關(guān)系進(jìn)行分析，然后對(duì)圖形灰度隨時(shí)間的變化進(jìn)行分析，最后實(shí)現(xiàn)目標(biāo)檢測(cè)[33]。使用光流法的最大好處在于錄像設(shè)備是否運(yùn)動(dòng)對(duì)拍攝結(jié)果沒(méi)有影響，不需要考慮目標(biāo)的背景環(huán)境信息。但是光流法也有它的不足之處，即計(jì)算量龐大，算法復(fù)雜且耗時(shí)，很難實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)檢測(cè)，并且環(huán)境其他影響較大，抗噪差，因此實(shí)現(xiàn)起來(lái)很復(fù)雜，在實(shí)時(shí)監(jiān)控很難應(yīng)用。

2）幀間差分法

兩幀差法，又叫幀差分法。在連續(xù)的兩幀到三幀的圖像里，將檢測(cè)目標(biāo)的灰度閾值化，然后提取圖像當(dāng)中檢測(cè)目標(biāo)所在的運(yùn)動(dòng)范圍，以此檢測(cè)基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤。因?yàn)橹挥脵z測(cè)相鄰幀圖像之間的差異，所以是一種簡(jiǎn)單實(shí)用的方法。一方面，計(jì)算量不大，另一方面，實(shí)時(shí)性很強(qiáng)，再有就是在檢測(cè)中使用廣泛 [34]。

當(dāng)錄像設(shè)備處于不動(dòng)時(shí)，拍攝出視頻圖像，然后在視頻圖像里取出連續(xù)的序列，對(duì)第一幀圖片[fk（x，y）]以及第二幀幀圖片[fk-1（x，y）]做兩個(gè)處理，第一個(gè)是平滑噪處理，第二個(gè)是幀差法處理，也就是用第一幀圖片[fk（x，y）]減去第二幀圖片[fk-1（x，y）]，得到二值圖像[Dk（x，y）]。公式表示如下：

對(duì)相同環(huán)境下所拍攝的連續(xù)兩幀圖像進(jìn)行差分處理，就得到了差分圖像Dk（x，y），這時(shí)候由于是相同的背景，所以進(jìn)行查分時(shí)，連續(xù)的兩幀圖像的灰度是不會(huì)改變的，所以兩張圖像的差分圖像去掉了背景圖像，而背景灰度和基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤有很大的不同，且在相鄰兩幀圖像中的位置也不一樣，所以基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤在兩幀圖像相減后就很明顯了。幀差分法的最大好處在于，外界的光線發(fā)生改變時(shí)對(duì)這種方法進(jìn)行檢測(cè)的效用影響很小，對(duì)動(dòng)態(tài)條件下的檢測(cè)結(jié)果穩(wěn)定有效，在基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的變化明顯時(shí)跟蹤效果很好。其中，T的選擇可根據(jù)經(jīng)驗(yàn)獲得。若T選取的太大，可能出現(xiàn)較大的空洞甚至漏檢的檢測(cè)目標(biāo)，若T選取太小，對(duì)于運(yùn)動(dòng)變化較慢的目標(biāo)檢測(cè)的將會(huì)出現(xiàn)大量噪聲，影響準(zhǔn)確性。但是同時(shí)，因其對(duì)圖像中目標(biāo)入侵能夠快速判別，所以也得到了廣泛的應(yīng)用。幀間差法原理圖如圖2所示。

3）背景差分法

背景差分法，又名背景減除法，基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的檢測(cè)是對(duì)比圖像序列中當(dāng)前圖片和背景模型圖片。這個(gè)方法是在視頻上建立背景圖像的像素模型，設(shè)定閾值，對(duì)比每幀圖像和背景圖像，將兩幅圖像像素差別大于閾值的像素點(diǎn)看作是基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤，像素差別小于閾值的像素點(diǎn)看作是背景。該方法需要考慮背景模型的表示方法，初始化以及背景模型更新的方法等。

采用背景差分法對(duì)其進(jìn)行差分處理，得到的圖像是二值圖像[Mk（x，y）]，在這個(gè)二值圖像里，白色的區(qū)域表示檢測(cè)到的前景，黑色區(qū)域代表背景。

首先，背景模型[Bk（x，y）]是通過(guò)圖像進(jìn)行統(tǒng)計(jì)建模后得到的，將當(dāng)前幀圖像[fk（x，y）]與背景幀圖像[Bk（x，y）]相減，比較相減后圖像中的像素值與閾值T，如果說(shuō)圖像的像素值比閾值要小一些，就說(shuō)明這是背景像素，如果說(shuō)圖像的像素值比閾值要大一些，就說(shuō)明是目標(biāo)像素，這樣就成功的檢測(cè)出了目標(biāo)像素，再將其二值化，再用形態(tài)學(xué)處理二值化以后的目標(biāo)圖像提高被檢測(cè)出的圖像的質(zhì)量[2]。背景差分法的主要特點(diǎn)有兩個(gè)，一個(gè)是這種方法能夠提供全面的目標(biāo)特征，第二個(gè)是這種方法對(duì)目標(biāo)的位置進(jìn)行提取的速度和精度就很高。本課題通過(guò)對(duì)上述幾種方法的對(duì)比，在基于深度學(xué)習(xí)的視頻目標(biāo)跟蹤的檢測(cè)中最后決定采用背景差分法進(jìn)行檢測(cè)。

使用背景差分法做目標(biāo)圖像跟蹤檢測(cè)首要的工作是將背景模型建立起來(lái)，方法多種多樣，其中，用得最多是高斯背景模型里的自適應(yīng)背景模型，高斯背景模型有兩種類型，一種單高斯模型，另一種是多高斯模型。對(duì)于模型的選擇主要遵循以下原則：第一，如果背景點(diǎn)的顏色很集中，應(yīng)該使用單高斯模型;第二，如果像素點(diǎn)離散度高就應(yīng)該使用多高斯模型，共同描述圖像模型需要多個(gè)分布模型。但是背景環(huán)境的信息都能通過(guò)圖像模型反映出來(lái)，所以這種方法只適合應(yīng)用在背景變化較小的場(chǎng)景中，如圖3所示。

3 結(jié)論

本文介紹的幾種跟蹤方法各有優(yōu)缺點(diǎn)，對(duì)于雜波下的目標(biāo)跟蹤，基于神經(jīng)網(wǎng)絡(luò)的算法是一種最優(yōu)選擇的算法，它有很好的跟蹤效果，其缺點(diǎn)是需要經(jīng)過(guò)大量訓(xùn)練，運(yùn)算任務(wù)繁重將對(duì)計(jì)算機(jī)造成一定的計(jì)算負(fù)擔(dān)。總體來(lái)說(shuō)，現(xiàn)在的目標(biāo)跟蹤方法下特定算法應(yīng)用與特定問(wèn)題是相對(duì)應(yīng)的，只要是在復(fù)雜變化的跟蹤場(chǎng)景下算法的適應(yīng)能力就會(huì)變得很差。

參考文獻(xiàn)：

[1] 戴鳳智，魏寶昌，歐陽(yáng)育星，金霞.基于深度學(xué)習(xí)的視頻跟蹤研究進(jìn)展綜述[J/OL].計(jì)算機(jī)工程與應(yīng)用：1-14[2019-0403].http：//kns.cnki.net/kcms/detail/11.2127.tp.20191644.016.html.

[2] 吳潤(rùn)澤.基于學(xué)習(xí)、檢測(cè)的目標(biāo)穩(wěn)定跟蹤[D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院光電技術(shù)研究所），2018.

[3] 周輝.基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法研究[D].電子科技大學(xué)，2018.

【通聯(lián)編輯：張薇】