基于改進(jìn)三幀差分法對監(jiān)控視頻中行人目標(biāo)檢測

莫丹雷 楊瑞兆 吳偉 甘永進(jìn) 龍妹

摘? 要：行人是交通系統(tǒng)中的主要參與者，所以監(jiān)控視頻中的行人目標(biāo)檢測對智能交通系統(tǒng)的研究和應(yīng)用有著重要的意義。由于場景的動態(tài)變化使得行人目標(biāo)的檢測變得相當(dāng)困難，有效檢測出監(jiān)控視頻中行人目標(biāo)是解決這個問題的關(guān)鍵。本文對比幀差法、光流法、背景相減法、三幀差法等幾種常用檢測算法的效果，最終采用三幀差法結(jié)合形態(tài)學(xué)技術(shù)對監(jiān)控視頻中行人目標(biāo)檢測，能較好地填充行人目標(biāo)的部分“空洞”。實驗結(jié)果表明：改進(jìn)的算法能較清晰，較完整地檢測出視頻中行人目標(biāo)，檢測效果良好。

關(guān)鍵詞：監(jiān)控視頻? 行人目標(biāo)檢測? 三幀差法? 形態(tài)學(xué)技術(shù)

中圖分類號：TP391.1 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2021）02（c）-0138-05

Pedestrian Target Detection in Surveillance Video Based on Improved Three-frame Difference Method

MO Danlei? YANG Ruizhao*? WU Wei? GAN Yongjin? ?LONG Mei

（School of Physics and Telecommunication Engineering， Yullin Normol University， Yulin， Guangxi Zhuang Autonomous Region， 573000 China）

Abstract： Pedestrians are the main participants in the transportation system， so the detection of pedestrian targets in surveillance video is of great significance to the research and application of intelligent transportation systems. This article compares the effects of several common detection algorithms such as frame difference method， optical flow method， background subtraction method， and three frame difference method. Finally， the three-frame difference method combined with morphological technology is used to detect the pedestrian target in the surveillance video， which can better fill in the part of the pedestrian target hole. The experimental results show that the improved algorithm can detect pedestrians in surveillance video clearly and completely， and the detection effect is good.

Key Words： Surveillance video; Pedestrian target detection; Three frame difference method; Morphological technique

1? 引言

行人目標(biāo)檢測就是檢測圖像或者視頻序列中是否包含行人目標(biāo)，并根據(jù)檢測出的行人得出其大小和位置信息，是目前計算機視覺領(lǐng)域的研究熱點之一[1]。常用的目標(biāo)檢測方法主要有兩幀差法、背景差分法、光流法、Vibe算法和三幀差分法等[2]。兩幀差法是最為常用的運動目標(biāo)檢測和分割方法之一，其基本原理就是在視頻序列相鄰兩幀采用基于像素的時間差分通過二值化來提取圖像中的運動目標(biāo)，其具有較好的實時性、算法簡單、計算量小等特點。但存在著對環(huán)境噪聲較為敏感，對閾值的選擇要求高，對比較大的、顏色相似的運動目標(biāo)容易在目標(biāo)內(nèi)部產(chǎn)生空洞，無法完整地提取運動目標(biāo)[3]。背景差分法是一種有效的運動目標(biāo)檢測算法，但是背景差分法必須要有背景圖像，并且背景圖像必須隨著光照或外部環(huán)境的變化而實時更新，因此背景差分法的關(guān)鍵是背景建模及其更新，盡管目前已有多背景建模方法，但是在檢測目標(biāo)需要更長的時間，因此實時性降低了。光流法主要是通過計算光流場，根據(jù)圖像序列的時空梯度估算運動場，通過分析運動場的變化對運動目標(biāo)和場景進(jìn)行檢測和分割，雖然光流法不需要預(yù)先知道場景的任何信息就能夠檢測到運動目標(biāo)，但存在噪聲、多光源和遮擋等因素時，會對光流場分布的計算結(jié)果造成嚴(yán)重的影響，并且光流法計算復(fù)雜，很難實現(xiàn)實時處理。Vibe是一種典型的運動目標(biāo)檢測算法，但是這種方法存在對鬼影消除速度緩慢以及對全局光線變化的抗干擾能力差等缺點[4-6]。三幀差分法是在兩幀差分法不能魯棒性地檢測到完整的運動目標(biāo)上進(jìn)行改進(jìn)的，能較好、較快地檢測出圖像序列中運動目標(biāo)，但是檢測出的目標(biāo)仍然存在著內(nèi)部“空洞”的現(xiàn)象，需要進(jìn)一步的處理[7]。

針對以上檢測算法存在的問題，本文采用了三幀差分法結(jié)合形態(tài)學(xué)技術(shù)對監(jiān)控視頻中行人目標(biāo)的檢測。該改進(jìn)的算法能較好地填充行人目標(biāo)的部分“空洞”，實驗結(jié)果表明：改進(jìn)的算法能較清晰較完整地檢測出視頻中行人目標(biāo)，檢測效果良好。

2? 傳統(tǒng)的三幀差分法檢測行人目標(biāo)

傳統(tǒng)的三幀差分法是在兩幀差法基礎(chǔ)上改進(jìn)的，在一定程度上優(yōu)化了運動物體雙邊，更適用與物體移動速度較快的情況，比如道路上車輛的智能監(jiān)控[8]。其算法如圖1所示。

首先，用Fn+1、Fn和Fn-1表示視頻序列中的第n+1幀、第n幀和第n-1幀的圖像，然后對這三幀圖像進(jìn)行灰度化處理，用Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）表示處理后的灰度圖，接著利用式（1）求出Fn+1與Fn的差分圖像Dn+1和Fn-1與Fn的差分圖像Dn，接著利用式（2）對所得的差分圖像Dn+1和差分圖像Dn進(jìn)行與運算，得到目標(biāo)前景圖像D'n，進(jìn)一步地對D'n進(jìn)行二值化處理，最終得到檢測的目標(biāo)。

（1）

（2）

3? 改進(jìn)后的三幀差分法檢測行人目標(biāo)

3.1 二值化處理

在數(shù)字圖像處理中，處理灰度圖的計算量要小于處理彩色圖像，而二值圖像的計算復(fù)雜度更低于前兩種，因此，二值化處理在數(shù)字圖像較為關(guān)鍵。一幅圖像包括目標(biāo)、背景及噪聲，想要直接提取出目標(biāo)物體，通常采用灰度變換閾值化操作。常用的圖像閾值化有經(jīng)典的OTSU、固定閾值、雙閾值等操作[9]。本文采用式（3）進(jìn)行二進(jìn)制固定閾值化操作。

（3）

其中，thresh是預(yù)先設(shè)定的閾值，當(dāng)灰度值src（x，y）大于預(yù)設(shè)的閾值時，將灰度值設(shè)定為255，將低于thresh值設(shè)定為0，完成該閾值處理操作。

基于環(huán)境的變化，場景中光線動態(tài)變化，會對檢測造成一定的影響，而三幀差分法中，二值化處理時采用的是固定的閾值，由于同一場景下，設(shè)定不同的閾值都會對檢測結(jié)果造成影響，例如當(dāng)閾值設(shè)定過小，差分圖像中的噪聲難以消除;閾值設(shè)定過大，差分圖像中目標(biāo)部分信息被掩蓋。因此，固定的閾值無法適應(yīng)場景中光線變化，從而給檢測結(jié)果造成一定的影響。本文在二值化處理上按照式（4）加入了判別條件，首先，假設(shè)場景中光照變化較小，式（4）中光照變化值趨向于零，接著，假設(shè)場景中光照變化較大，公式4中光照變化值增大，使得式（4）中的判別條件自適應(yīng)值增大，就可以進(jìn)一步的抑制了光照變化對運動目標(biāo)檢測結(jié)果的影響。

（4）

其中，NA為檢測目標(biāo)區(qū)域像素，λ是光照抑制系數(shù)，A是圖像幀，T是設(shè)定的閾值，是圖像中光照變化值。

3.2 形態(tài)學(xué)技術(shù)

傳統(tǒng)的三幀差分法中，由于相鄰兩幀的圖像有重疊部分，使得檢測到的目標(biāo)存在空洞現(xiàn)象。經(jīng)過閱讀文獻(xiàn)，利用式（5）形態(tài)學(xué)閉操作能較好填充目標(biāo)區(qū)域的離散小空洞和分散部分，能夠排除小型黑洞，消除低于臨近點的孤立點，可以平滑物體輪廓，彌合較窄的間斷和細(xì)長的溝壑，消除小孔洞[10-11]。

（5）

從式（5）中可以看出，形態(tài)學(xué)閉操作首先是用結(jié)構(gòu)元素B對A進(jìn)行膨脹，接著進(jìn)行腐蝕，最后達(dá)到消除目標(biāo)空洞的目的。

3.3 本文算法具體方法

由以上的分析可知，本文采用改進(jìn)的算法實驗步驟如下。

（1）首先，按照式（6）對視頻序列中連續(xù)的第n+1幀、第n幀和第n-1幀的圖像進(jìn)行灰度化處理，得到灰度圖像Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）。

（6）

其中，Gray（i，j）表示灰度圖像，R（i，j）、G（i，j）和B（i，j）為彩色圖像中的紅、綠和藍(lán)三個分量。

（2）接著，按照圖2，對步驟（1）中得到的灰度圖像Fn+1（i，j）、Fn（i，j）和Fn-1（i，j）分別做差分運算處理，得到差分圖像Dn+1和差分圖像Dn。

（3）接著對步驟（2）得到的差分圖像Dn+1和差分圖像Dn進(jìn)行高斯濾波去噪處理。

（4）接著按照圖2，對去噪后的差分圖像Dn+1和差分圖像Dn進(jìn)行與運算，得到目標(biāo)前景圖。

（5）接著，對檢測到的目標(biāo)前景圖進(jìn)行判別和二值化處理，得到檢測目標(biāo)。

（6）最后，對檢測到的目標(biāo)進(jìn)行形態(tài)學(xué)閉操作，消除目標(biāo)中空洞，提取到完整的目標(biāo)。

4? 實驗結(jié)果及分析

本次采用的視頻序列是自制錄制的視頻，從錄制的視頻中可以看到場景有比較復(fù)雜。本實驗檢測視頻序列中的行人目標(biāo)，將傳統(tǒng)的三幀差分法和本文改進(jìn)后的算法進(jìn)行對比。實驗效果如圖3。

從實驗結(jié)果圖中，我們可以看出傳統(tǒng)的三幀差法檢測行人目標(biāo)效果圖（m），檢測目標(biāo)內(nèi)部存在著“空洞”，甚至是人的上半部分和下半部分發(fā)生了分離，使得檢測結(jié)果不夠完整，圖像信息缺失。從本文改進(jìn)的算法中可以看到行人目標(biāo)效果圖（n），檢測行人目標(biāo)是比較完整的，較好的解決了傳統(tǒng)三幀差分法檢測目標(biāo)“空洞”的問題。因此，本文采用的三幀差法結(jié)合形態(tài)學(xué)技術(shù)的檢測算法能較清晰、較完整地檢測出監(jiān)控視頻中行人目標(biāo)，檢測效果良好。

5? 結(jié)語

本文針對視頻序列中行人目標(biāo)檢測方法進(jìn)行研究，采用了三幀差分法結(jié)合形態(tài)學(xué)技術(shù)設(shè)計了一種對視頻序列中行人目標(biāo)檢測方法。該方法能夠較好的克服了傳統(tǒng)三幀差分法檢測行人目標(biāo)“空洞”的問題，并且能在光照變化等因素影響下準(zhǔn)確的檢測出行人目標(biāo)。通過與傳統(tǒng)三差分法的檢測效果進(jìn)行對比可知，基于三幀差分法結(jié)合形態(tài)學(xué)閉操作技術(shù)的檢測方法的檢測效果更好，較好的適用于機器人視覺和道路上車輛的智能監(jiān)控。

參考文獻(xiàn)

[1] 蘇劍臣，李策，楊峰.基于邊緣幀差和高斯混合模型的行人目標(biāo)檢測[J].計算機應(yīng)用研究，2018，35（4）：1246-1249.

[2] 孫清濤，趙欣悅，張曉萌.基于改進(jìn)三幀差法的微小目標(biāo)運動軌跡檢測方法研究[J].裝備制造技術(shù)，2019（3）：135-137.

[3] 趙柏山，鄭茂凱，張帆.基于幀差與背景差分的改進(jìn)目標(biāo)識別算法[J].通信技術(shù)，2018，51（11）：2733-2739.

[4] 方嵐，于鳳芹.去除鬼影及陰影的視覺背景提取運動目標(biāo)檢測算法[J].激光與光電子學(xué)進(jìn)展，2019，56（13）：71-78.

[5] 譚玉枚.一種快速行人檢測與跟蹤方法[J].科技視界，2020（15）：34-36.

[6] 趙巍，蔣銘.復(fù)雜場景行人檢測技術(shù)研究[J].電視技術(shù)，2020，44（5）：43-45，50.

[7] Hou Jianbin， Li Baoguo. Swimming target detection and tracking technology in video image processing. 2021， 80.

[8] 傅莉，王一淼，黃全軍.基于改進(jìn)三幀差分法的運動車輛目標(biāo)檢測[J].科技風(fēng)，2020（29）：69-70.

[9] 謝敏.基于視頻監(jiān)控的快速行人檢測算法[J].無線電工程，2020，50（10）：835-838.

[10] 韓冠南.基于機器視覺的客流量統(tǒng)計系統(tǒng)研究[D].西安：西京學(xué)院，2020.

[11] 陳媛，蔡曉燕.改進(jìn)的幀間差分運動目標(biāo)檢測算法研究[J].現(xiàn)代計算機，2019（33）：41-44.