基于機(jī)器視覺的運(yùn)動(dòng)目標(biāo)檢測(cè)算法綜述

張冬梅 武杰 李丕丁

摘要：近年來(lái)，機(jī)器視覺技術(shù)的發(fā)展越來(lái)越迅速，對(duì)視覺圖像信息的智能處理也成為了研究重點(diǎn)，基于人工智能算法和資源構(gòu)架的運(yùn)動(dòng)目標(biāo)檢測(cè)算法作為機(jī)器視覺領(lǐng)域的核心技術(shù)，在很多領(lǐng)域中發(fā)揮著關(guān)鍵性作用，具有重要的研究意義，本文首先對(duì)運(yùn)動(dòng)的目標(biāo)檢測(cè)過(guò)程中所用到的相關(guān)圖像處理方法進(jìn)行了描述，包括圖像的預(yù)處理、分割、特征提取等方法。其次描述了這幾年來(lái)常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，即光流法、幀間差分法、背景差分法。簡(jiǎn)單分析了方法原理、對(duì)比了3個(gè)方法的優(yōu)缺點(diǎn)，并介紹了這幾個(gè)算法的適用場(chǎng)景。

關(guān)鍵詞： 機(jī)器視覺技術(shù); 圖像預(yù)處理; 圖像分割; 特征提取; 運(yùn)動(dòng)目標(biāo)檢測(cè)

【Abstract】 In recent years， The development of machine vision technology is more and more rapid， and the intelligent processing of visual image information has also become a research focus. The motion target detection algorithm based on artificial intelligence algorithm and resource architecture is the core technology in the field of machine vision， which plays an important role in many fields and has great research significance. This paper first describes the related image processing methods used in the detection of moving target， including image preprocessing， segmentation and feature extraction. Secondly， the paper describes the moving target detection algorithms commonly used in recent years ， including optical flow method， interframe difference method and background difference method. Finally， the paper briefly analyzes the corresponding theories， compares the advantages and disadvantages of the three methods and introduces the applicable scenarios of these algorithms.

【Key words】 ?machine vision; image preprocessing; image segmentation; feature extraction; ?moving target detection

0 引 言

機(jī)器視覺是一個(gè)可以自動(dòng)獲取有關(guān)目標(biāo)圖像，并對(duì)所得圖像的各種特征進(jìn)行分析、處理及對(duì)結(jié)果做出解釋，從而得到有關(guān)目標(biāo)的某種認(rèn)識(shí)來(lái)做出決策的系統(tǒng)。運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)是機(jī)器視覺系統(tǒng)的功能之一，是指在序列圖像中檢測(cè)出變化區(qū)域并將運(yùn)動(dòng)目標(biāo)從背景圖像中提取出來(lái)的過(guò)程，該項(xiàng)研究旨在通過(guò)檢測(cè)出視頻圖像序列中與攝像頭發(fā)生相對(duì)移動(dòng)的運(yùn)動(dòng)物體，為后續(xù)目標(biāo)的提取和跟蹤提供具有說(shuō)服力的數(shù)據(jù)源。運(yùn)動(dòng)目標(biāo)檢測(cè)算法通常面向于特定的應(yīng)用場(chǎng)景，目前還沒有一個(gè)通用的算法能適用于所有場(chǎng)合，也就是說(shuō)每個(gè)算法都有其一定的應(yīng)用范圍。即使這些檢測(cè)算法在同一環(huán)境下工作，也是各有優(yōu)缺點(diǎn)。運(yùn)動(dòng)目標(biāo)檢測(cè)算法從應(yīng)用對(duì)象的角度來(lái)看，主要分為2種：光流法和圖像相鄰幀間的差分算法。其中，基于圖像相鄰幀間的差分算法還可以分為幀差法和背景相減法。

1 機(jī)器視覺圖像預(yù)處理

通常情況下，因?yàn)橛泻芏嘣肼暤母蓴_和條件上的限制，運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)獲取的圖像不能直接在視覺系統(tǒng)中使用，而是先要進(jìn)行圖像預(yù)處理來(lái)提高所獲取的圖片的質(zhì)量。圖像預(yù)處理的目的是消除圖像中無(wú)用的噪聲來(lái)改善有用信息的可檢測(cè)性，通常包含著灰度化、幾何變換、圖像增強(qiáng)這幾個(gè)流程[1]，主要方法有平均值法、最大值法、加權(quán)平均值法和分量法[1]。其中，圖像幾何變換通過(guò)圖像平移、圖像鏡像、圖像轉(zhuǎn)置、圖像旋轉(zhuǎn)、圖像縮放等幾何變換對(duì)采集的圖像進(jìn)行處理[1]，用于修正圖片采集儀器位置的隨機(jī)誤差和采集系統(tǒng)中的系統(tǒng)誤差。圖像增強(qiáng)可分為空域法和頻域法[1]。目前使用較多的是空域法，空域法大致可分為3種類型，分別為：灰度變換、用于消除噪聲的各類平滑方法以及用于增強(qiáng)邊緣的各類銳化方法。其中，灰度變換是在圖像的單個(gè)像素上操作的，通過(guò)點(diǎn)運(yùn)算來(lái)改變圖像像素的灰度值;而平滑和銳化都是通過(guò)圖像濾波來(lái)進(jìn)行操作的。圖像濾波可分為線性濾波和非線性濾波[2-3]。因?yàn)榉蔷€性濾波既可以保護(hù)圖像細(xì)節(jié)又可以去除噪聲，所以成為了當(dāng)前圖像濾波方法中的研究熱點(diǎn)。非線性濾波最常用的方法有Kalman濾波和粒子濾波。Kalman濾波簡(jiǎn)單易實(shí)現(xiàn)，具有良好的魯棒性[4]，被普遍應(yīng)用在機(jī)器視覺跟蹤領(lǐng)域 。雖然粒子濾波算法[5]可以作為解決SLAM問題的有效手段，但是仍然存在需要用大量的樣本數(shù)量、樣本貧化、樣本數(shù)量的自適應(yīng)采樣策略等問題，是當(dāng)前該算法的研究重點(diǎn)。圖像的預(yù)處理在機(jī)器視覺圖像目標(biāo)識(shí)別的過(guò)程中起到了重要的作用。

2 機(jī)器視覺圖像分割

圖像分割是指利用顏色、灰度、紋理和空間幾何等特征把圖像分成若干個(gè)特定的區(qū)域，使這些特征在同一塊區(qū)域里顯示出相似性或者相同性，但是在不同的區(qū)域又顯示出明顯的差異性。圖像分割是機(jī)器視覺中對(duì)圖像目標(biāo)自動(dòng)識(shí)別的關(guān)鍵步驟，其分割后的圖像質(zhì)量對(duì)后面圖像分析處理有著重要的影響。如何快速、精確地把目標(biāo)從復(fù)雜的圖像中分割出來(lái)是國(guó)內(nèi)外學(xué)者一直以來(lái)的研究重點(diǎn)[2]。圖像分割的常用方法有區(qū)域分割法、閾值分割法、邊緣檢測(cè)法[6]。近年來(lái)還提出了深度學(xué)習(xí)分割法[7]，其基本思想是通過(guò)建立神經(jīng)網(wǎng)絡(luò)，對(duì)樣本進(jìn)行訓(xùn)練來(lái)達(dá)到分割的目的。但是該方法也有一定不足，就是需要對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練、沒有一個(gè)通用的網(wǎng)絡(luò)結(jié)構(gòu)。

3 機(jī)器視覺特征提取

在機(jī)器視覺圖像目標(biāo)識(shí)別研究中，特征提取對(duì)目標(biāo)識(shí)別的精確度和速度有著重要的影響。目前，圖像特征提取的方法主要可分為顏色特征、形狀特征、空間關(guān)系特征和紋理特征[8]。其中，顏色特征提取[9]是一種全局特征，用來(lái)描述圖像或者圖像的區(qū)域相對(duì)應(yīng)的景物的表面性質(zhì)。該方法適用于描述難以進(jìn)行自動(dòng)分割的圖像。其缺點(diǎn)是對(duì)圖像的區(qū)域的方向、尺寸等變化不敏感，對(duì)于圖像中目標(biāo)的局部特征不能很好地檢索到[9]。形狀特征提取能夠利用圖像中某個(gè)有用的目標(biāo)來(lái)檢索[10]，但是卻缺乏完好的數(shù)學(xué)模型，目標(biāo)發(fā)生形變時(shí)檢索得到的結(jié)果不可靠[11-12]，對(duì)目標(biāo)進(jìn)行全面描述時(shí)對(duì)計(jì)算時(shí)間和存儲(chǔ)量的要求比較高。空間關(guān)系特征的提取能夠加強(qiáng)對(duì)圖像的內(nèi)容的描述及區(qū)別能力，其缺點(diǎn)是對(duì)圖像目標(biāo)的尺度變化、反轉(zhuǎn)、旋轉(zhuǎn)較敏感。此外在實(shí)際應(yīng)用中，為了更好地檢索到目標(biāo)，除空間關(guān)系特征外，還需與其他特征相結(jié)合。圖像紋理特征提取可以有效地描述區(qū)域性的特征，與此同時(shí)，紋理特征還具有旋轉(zhuǎn)不變性，抗噪抗干擾能力也較強(qiáng)[13-14]。但其缺點(diǎn)是可能受到光照和反射的影響，紋理偏差可能隨圖像分辨率發(fā)生變化而變大。圖像特征提取方法的提取效率較高，因此近年來(lái)圖像特征提取方法吸引了國(guó)內(nèi)外眾多學(xué)者的高度關(guān)注，并得到了廣泛應(yīng)用。但是還存在一些問題，比如系統(tǒng)的計(jì)算較復(fù)雜、沒有統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)。

4 基于機(jī)器視覺的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

4.1 幀間差分法

幀間差分法對(duì)時(shí)間上連續(xù)的2幀或若干個(gè)幀圖像進(jìn)行差分運(yùn)算，不同幀對(duì)應(yīng)的像素點(diǎn)相減，判斷灰度差的絕對(duì)值，當(dāng)絕對(duì)值超過(guò)一定閾值T時(shí)，即判斷為現(xiàn)運(yùn)動(dòng)目標(biāo)，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)功能。

幀間差分法的優(yōu)點(diǎn)是受緩慢變化的背景和光線的影響較小，能根據(jù)幀序列的移動(dòng)來(lái)較快的適應(yīng)。該算法簡(jiǎn)單易實(shí)現(xiàn)，程序設(shè)計(jì)也不復(fù)雜，整體來(lái)說(shuō)運(yùn)動(dòng)目標(biāo)檢測(cè)的靈敏度比較高。但經(jīng)過(guò)分析可知，其缺點(diǎn)主要是檢測(cè)位置并不準(zhǔn)確，目標(biāo)運(yùn)動(dòng)速度過(guò)快、相鄰幀間的目標(biāo)運(yùn)動(dòng)位移比較大時(shí)會(huì)影響運(yùn)動(dòng)目標(biāo)區(qū)域的定位以及運(yùn)動(dòng)目標(biāo)特征參數(shù)的準(zhǔn)確提取[15]。另外，閾值的選擇對(duì)檢測(cè)結(jié)果有直接影響，一般情況下會(huì)決定目標(biāo)檢測(cè)的范圍。特別地，若閾值是預(yù)先定義而非自適應(yīng)得到的，則會(huì)增加差分圖像中的噪聲點(diǎn)和運(yùn)動(dòng)目標(biāo)點(diǎn)的誤判率。雖然幀間差分法可能無(wú)法提取完整的目標(biāo)圖像，但該方法計(jì)算量小、簡(jiǎn)單快速、易于優(yōu)化[16]。因此被廣泛應(yīng)用。

4.2 背景差分法

背景差分法是指通過(guò)當(dāng)前的幀圖像減去背景圖像來(lái)獲取運(yùn)動(dòng)區(qū)域的方法。和幀間差分法相似，其基本思想是用不同圖像的差分運(yùn)算來(lái)提取運(yùn)動(dòng)目標(biāo)區(qū)域。但是與幀間差分法不同的是，背景減法是將當(dāng)前幀圖像與一個(gè)連續(xù)更新的背景模型相減，在差分圖像中提取運(yùn)動(dòng)目標(biāo)，而不是將當(dāng)前幀圖像與相鄰幀圖像相減。背景差分法流程如圖2所示。

背景差分法進(jìn)行目標(biāo)檢測(cè)主要包括4個(gè)步驟：背景建模、背景更新、目標(biāo)檢測(cè)和后期處理。其中，背景建模和背景更新是核心與關(guān)鍵。背景模型的建立將直接影響到目標(biāo)檢測(cè)的效果。背景建模是指通過(guò)數(shù)學(xué)方法，構(gòu)建一種可以表示“背景”的模型。獲取背景的最好方法是在沒有運(yùn)動(dòng)目標(biāo)的情況下獲取一幀靜態(tài)的圖像作為背景，但在現(xiàn)實(shí)生活中，由于光照變化、天氣變化、目標(biāo)運(yùn)動(dòng)陰影等諸多因素的影響，這種情況卻很難實(shí)現(xiàn)。

背景差分法計(jì)算上較為簡(jiǎn)單，容易實(shí)現(xiàn)[17]。 在實(shí)際運(yùn)用時(shí)，依據(jù)實(shí)際情況來(lái)確定閾值，從結(jié)果中可以直接看出運(yùn)動(dòng)目標(biāo)的大小、位置等信息，能夠獲得較準(zhǔn)確的運(yùn)動(dòng)目標(biāo)信息。該算法可以用于固定背景或目標(biāo)運(yùn)動(dòng)速度緩慢變化的情況，其核心是場(chǎng)景靜態(tài)背景圖像的準(zhǔn)確獲取。缺點(diǎn)是容易受到外部因素的干擾，例如背景的變化、光照的變化[18]都會(huì)影響最終的檢測(cè)結(jié)果。

4.3 光流法

光流法是指圖像中圖案的移動(dòng)速度，屬于二維瞬時(shí)速度場(chǎng)的范圍。運(yùn)動(dòng)目標(biāo)的光流法檢測(cè)的原理為：首先，對(duì)圖像中每個(gè)像素的一個(gè)速度矢量進(jìn)行初始化，形成圖像運(yùn)動(dòng)場(chǎng);其次，在運(yùn)動(dòng)中的一個(gè)特定的時(shí)刻里，根據(jù)投影關(guān)系對(duì)圖像區(qū)域的點(diǎn)圖進(jìn)行映射;最后，根據(jù)圖像中每個(gè)像素的速度矢量的特點(diǎn)，對(duì)其進(jìn)行動(dòng)態(tài)分析。在此過(guò)程中，若圖像中無(wú)運(yùn)動(dòng)目標(biāo)，則整個(gè)圖像區(qū)域的光流矢量會(huì)呈現(xiàn)出不斷變化的趨勢(shì);若有運(yùn)動(dòng)目標(biāo)，圖像中背景和運(yùn)動(dòng)目標(biāo)存在相對(duì)運(yùn)動(dòng)，從而導(dǎo)致相鄰背景的速度矢量與運(yùn)動(dòng)目標(biāo)所形成的速度矢量存在差異，如此以來(lái)即可檢測(cè)到運(yùn)動(dòng)物體及其位置。在實(shí)際運(yùn)用中，光流法的計(jì)算量非常大，對(duì)噪聲免疫力差，不能用于實(shí)時(shí)處理[19]。

分析表1可知，幀間差分法的優(yōu)點(diǎn)是對(duì)光線強(qiáng)度變化不敏感;缺點(diǎn)是對(duì)快速運(yùn)動(dòng)的目標(biāo)提取的目標(biāo)區(qū)域很大;可能提取不到緩慢移動(dòng)的目標(biāo)邊界，簡(jiǎn)而言之就是對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)是不精確，易出現(xiàn)“空洞”;并主要適用于動(dòng)態(tài)環(huán)境[18]。背景差分法易受光線變化、運(yùn)動(dòng)陰影[15]和外部條件引起的場(chǎng)景變化的影響，但是在提取目標(biāo)時(shí)更為準(zhǔn)確。光流法檢測(cè)運(yùn)動(dòng)目標(biāo)無(wú)需預(yù)先知道任何與場(chǎng)景有關(guān)的信息[21]，可以直接應(yīng)用在攝像機(jī)移動(dòng)下的目標(biāo)檢測(cè)和跟蹤。但是，該方法的不足就是計(jì)算非常復(fù)雜，對(duì)噪聲免疫力差，使其無(wú)法應(yīng)用于實(shí)時(shí)處理。

針對(duì)上述3種傳統(tǒng)方法的不足，國(guó)內(nèi)外學(xué)者已提出了諸多改進(jìn)算法，例如背景相減法結(jié)合幀差法、混合高斯模型、單個(gè)高斯模型、基于統(tǒng)計(jì)的方法等[16]。雖然如此，但到現(xiàn)在為止卻仍未推出一種可適用于任何場(chǎng)景、任何情況的通用算法。

5 結(jié)束語(yǔ)

目前，運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)已廣泛應(yīng)用在日常生活、工業(yè)、軍事、醫(yī)療、農(nóng)業(yè)等方面，因而現(xiàn)已成為學(xué)界的研究熱點(diǎn)。但是到目前為止還未給出一個(gè)統(tǒng)一的目標(biāo)檢測(cè)算法。隨著時(shí)代的發(fā)展，運(yùn)動(dòng)目標(biāo)檢測(cè)算法的應(yīng)用越來(lái)越多，其復(fù)雜性也不斷提升，需要解決的問題也在增多。所以應(yīng)該把基于機(jī)器視覺的目標(biāo)檢測(cè)算法的研究與算法理論、新技術(shù)相結(jié)合，這樣運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)將會(huì)發(fā)展得更快速、更精確。

參考文獻(xiàn)

[1] Joaming. 圖像處理之預(yù)處理方法[EB/OL]. [2018-08-28]. https：//blog.csdn.net/joaming/article/details/82146604.

[2]張中良. 基于機(jī)器視覺的圖像目標(biāo)識(shí)別方法綜述[J]. 科技與創(chuàng)新，2016（14）：32.

[3]王靖，李少華，謝守勇. 基于機(jī)器視覺的目標(biāo)識(shí)別方法研究[J]. 西南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，40（6）： 130.

[4]HOUTEKAMER P L，MITCHELL H L. A sequential ensemble Kalman filters for atmospheric data assimilation[J]. Monthly Weather Review，2001，129（1）：123.

[5]王法勝，魯明羽，趙清杰，等. 粒子濾波算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2014，37（8）：1679.

[6]侯紅英，高甜，李桃. 圖像分割方法綜述[J]. 電腦知識(shí)與技術(shù)，2019，15（5）：176.

[7]王秋萍，張志祥，朱旭芳. 圖像分割方法綜述[J]. 信息記錄材料，2019，20（7）：12.

[8]王志瑞，閆彩良. 圖像特征提取方法的綜述[J]. 吉首大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，32（5）：43.

[9]LI P. An adaptive binning color model for mean shift tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology，2008，18（9）：1293.

[10]CLAUSI D A. Comparison and fusion of co-occurrence，Gabor and MRF texture for clasification of SAR sea ice imagery [J]. Atmosphere Oceans，2001，39（4）：183.

[11]RANGAYYAN R M，EI-FARAMAWY N M，LEO DE-SAUTELS J E，et al.Measures of acutance and shape for classification of breast tumors [J]. IEEE Transactions on Medical Imaging，1997，16（6）：799.

[12]LIANG Shen，RANGAYYAN R M，LEO DESAULTELS J E.Detection and classification of mammographic calcification [J]. International Journal of Pattern Recognition and Artificial Intelligence，1993，7（6）：1403.

[13]OHANIAN P P，DUBES R C.Performance evaluation for four classes of textural features [J]. Pattern Recognition，1992，25（8）：819.

[14]CLAUSI D A，YUE B. Comparing co-occurrence probabilities and Markov random fields for texture analysis of SAR sea ice imagery [J]. IEEE Transactions on Geoscience and Remote Sensing，2004，42（1）：215.

[15]王慧. 運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法綜述[J]. 電腦知識(shí)與技術(shù)，2018，14（24）：194.

[16]常向魁. 視頻運(yùn)動(dòng)目標(biāo)跟蹤算法研究[D]. 開封：河南大學(xué)，2007.

[17]程愛靈，黃昶，李小雨. 運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究綜述[J]. 信息通信，2017（1）：12.

[18]彭艷芳. 視頻運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D]. 武漢：武漢理工大學(xué)，2010.

[19]MISHRA S K， BHAGAT K S. Human motion detection and video surveillance using MATLAB[J]. International Journal of Scientific Engineering and Research （IJSER） ，2014，3（7）： 154.

[20]CHO H， RYBSKI P E， BAR-HILLEL A， et al. Real-time pedestrian detection with deformable part models[C]//2012 IEEE ?Intelligent Vehicles Symposium （IV）. Alcala de Henares， Spain：IEEE， 2012：1035.

[21]朱宏. 基于視頻序列的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)研究[D]. 成都：西南交通大學(xué)，2008.

[22]KANKANHALLI M S，MEHTRE B M，WUR K.Cluster-based color matching for image retrieval[J]. Pattern Recognition，1996，29（4）：701.

[23]LIANG Shen，RANGAYYAN R M，LEO DESAUTELS J E. Application of shape analysis to mammo-graphic calcification [J]. IEEE Transactions on Medical Imaging，1994，13（2）：263.