高速運(yùn)動(dòng)目標(biāo)特征關(guān)聯(lián)檢測(cè)模型仿真

葉裴雷,張大斌

(1. 廣東白云學(xué)院大數(shù)據(jù)與計(jì)算機(jī)學(xué)院,廣東 廣州 510450;2. 華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院,廣東 廣州 510642)

1 引言

隨著科技的進(jìn)步以及人類安全防范意識(shí)的增強(qiáng),視頻監(jiān)控系統(tǒng)逐漸應(yīng)用于社會(huì)的各種場(chǎng)所中。運(yùn)動(dòng)目標(biāo)檢測(cè)的精度和效率是視頻監(jiān)控系統(tǒng)智能化程度評(píng)價(jià)的依據(jù)[1],研究人員將克服環(huán)境干擾的運(yùn)動(dòng)目標(biāo)檢測(cè)方法作為研究目標(biāo),在運(yùn)動(dòng)目標(biāo)檢測(cè)研究中提出了一些有效的方法及模型,但對(duì)高速運(yùn)動(dòng)目標(biāo)檢測(cè)方法的研究還存在一些不足,因此,研究高速運(yùn)動(dòng)目標(biāo)檢測(cè)方法具有重要意義。

辛元雪[2]等人首先劃分圖像,統(tǒng)計(jì)圖像塊的特性,根據(jù)統(tǒng)計(jì)結(jié)果構(gòu)建核密度估計(jì)模型,利用該模型獲得圖像的前景區(qū)域,提取像素點(diǎn)在前景區(qū)域中的紋理特征直方圖,采用概率模型在直方圖匹配的基礎(chǔ)上完成背景更新,實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè),由于圖像中存在雜點(diǎn),導(dǎo)致該方法的目標(biāo)檢測(cè)質(zhì)量較差。譚熊[3]等人將視頻序列輸入卷積神經(jīng)網(wǎng)絡(luò)中,提取目標(biāo)的運(yùn)動(dòng)特征,并對(duì)其展開光流計(jì)算,將小位移子網(wǎng)格引入卷積神經(jīng)網(wǎng)絡(luò)中,檢測(cè)圖像中存在的目標(biāo),該方法檢測(cè)結(jié)果的AP指標(biāo)和mAP指標(biāo)較低,存在目標(biāo)檢測(cè)精度低的問題。左軍輝[4]等人采用GMM完成視頻圖像的背景建模,將小波半閾值函數(shù)引入數(shù)學(xué)形態(tài)學(xué)中用于消除視頻圖像中存在的噪聲,并通過自適應(yīng)背景更新方法完成目標(biāo)檢測(cè),該方法檢測(cè)目標(biāo)所需的時(shí)間較長(zhǎng),存在目標(biāo)檢測(cè)效率低的問題。

為了解決上述方法中存在的問題,提出基于深度學(xué)習(xí)的高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型設(shè)計(jì)方法。

2 高速運(yùn)動(dòng)目標(biāo)檢測(cè)

2.1 陰影檢測(cè)與去除

2.1.1 陰影判斷

在高速運(yùn)動(dòng)過程中采集的視頻圖像容易存在陰影[5],為了提高目標(biāo)檢測(cè)精度,采用光照評(píng)估方法對(duì)圖像展開陰影判斷。

用mb表示亮像素在視頻圖像中的數(shù)量,構(gòu)成亮像素集合Db,用md表示暗像素在視頻圖像中的數(shù)量,構(gòu)成暗像素集合Dd,設(shè)Rb、Rd分別代表Db、Dd對(duì)應(yīng)的能量值,其計(jì)算公式如下

(1)

式中,mj代表的是像素在集合Dj內(nèi)的數(shù)量;ri代表的是像素i對(duì)應(yīng)的能量值,可通過下式計(jì)算得到

(2)

式中,Mj描述的是像素I在運(yùn)動(dòng)圖像中的鄰域集合;m表示鄰域像素?cái)?shù);Ii表示像素I的密度值。

經(jīng)調(diào)查發(fā)現(xiàn),陰影與運(yùn)動(dòng)目標(biāo)在圖像中擁有不同的亮度,前者通常低于后者,因此,可通過亮度能量值Rb判斷視頻圖像中運(yùn)動(dòng)目標(biāo)的可視程度。

當(dāng)運(yùn)動(dòng)場(chǎng)景為白天等高亮級(jí)環(huán)境時(shí),存在陰影的概率較低,即場(chǎng)景中陰影的亮度值較低。當(dāng)場(chǎng)景屬于霧天、雨天和晚上等低亮級(jí)環(huán)境時(shí),目標(biāo)在場(chǎng)景中較為模糊,難以辨識(shí)[6,7]。設(shè)置參數(shù)Ad=md/mb,其主要目的是衡量亮像素與暗像素在運(yùn)動(dòng)圖像中的尺寸,當(dāng)能量值Rb太大或太小且參數(shù)Ad的值較小時(shí),此時(shí)陰影的亮度級(jí)較小,可忽略不計(jì),另一種情況是場(chǎng)景的尺寸遠(yuǎn)高于陰影的尺寸,滿足上述條件時(shí),判斷視頻圖像中不存在陰影,不需要對(duì)其展開陰影檢測(cè)。

2.1.2 陰影檢測(cè)與消除

當(dāng)亮度條件保持不變時(shí),非陰影區(qū)域和陰影區(qū)域內(nèi)相同物體的色調(diào)基本不存在差異,物體在陰影區(qū)域內(nèi)的色彩變化很小或不發(fā)生變化,通過上述分析,陰影圖像F(i,j)可通過當(dāng)前圖與背景圖得到[8,9],根據(jù)陰影灰度值對(duì)應(yīng)的柱狀圖和目標(biāo)灰度值對(duì)應(yīng)的柱狀圖判斷視頻圖像中陰影灰度值的分布范圍,設(shè)置閾值Tm和寬泛閾值TM,通過下述公式分割視頻圖像中的陰影區(qū)域T(i,j)

(3)

陰影檢測(cè)與去除的具體流程如圖1所示。

圖1 陰影檢測(cè)與去除流程圖

2.2 目標(biāo)區(qū)域檢測(cè)

2.2.1 興趣點(diǎn)檢測(cè)與冗余點(diǎn)剔除

在目標(biāo)形變、光線變化和目標(biāo)遮擋情況下像素級(jí)時(shí)空興趣點(diǎn)檢測(cè)具有較多優(yōu)點(diǎn)[10],因此,在興趣點(diǎn)檢測(cè)基礎(chǔ)上確定目標(biāo)區(qū)域。

通過剔除興趣點(diǎn)中存在的冗余點(diǎn)以提高目標(biāo)檢測(cè)的準(zhǔn)確度和效率,將變換高斯核函數(shù)尺度因子引入實(shí)際目標(biāo)區(qū)域檢測(cè)過程中[11],構(gòu)建濾波器,通過濾波器卷積處理視頻圖像序列,獲得尺度空間不同的圖像序列

Z(x,y,?)=H(x,y,?)?I(x,y)

(4)

式中,I(x,y)代表的是輸入圖像;Z(x,y,?)代表的是尺度空間;H(x,y,?)代表的是高斯核函數(shù),其中,x,y代表的是像素在圖像中的坐標(biāo),?代表的是尺度因子,其表達(dá)式如下

(5)

在圖像多尺度檢測(cè)過程中設(shè)置如下自相關(guān)矩陣Q

(6)

設(shè)置角點(diǎn)響應(yīng)函數(shù)T,其表達(dá)式如下

T=det[ν(x,y,?1,?D)]-βtrace2[ν(x,y,?1,?D)]

(7)

式中,β代表的是強(qiáng)度抑制因子,其在區(qū)間[0.04,0.06]內(nèi)取值。

由局部檢測(cè)結(jié)果可知,尺度容易受到角點(diǎn)位移的影響,因此圖像中會(huì)產(chǎn)生較多冗余點(diǎn),且冗余點(diǎn)之間存在相似的特征結(jié)構(gòu)。

通過下述過程抑制圖像中存在的背景點(diǎn)

1)采用高斯濾波函數(shù)處理不存在陰影的視頻幀,獲得對(duì)應(yīng)的尺度空間Z(x,y,?),設(shè)置梯度加權(quán)因子Δ?,其計(jì)算公式如下

Δ?=|cos[?(x,y)-?(x-w,y-h)]|

(8)

式中,?(x,y)、?(x-w,y-h)表示點(diǎn)(x,y)、(x-w,y-h)處圖像對(duì)應(yīng)的灰度值;w代表的是水平方向抑制范圍的距離;h代表的是垂直方向抑制范圍的距離。

2)篩選視頻圖像中的興趣點(diǎn),設(shè)V?,β(x,y)代表的是興趣點(diǎn)在視頻圖像中對(duì)應(yīng)的響應(yīng),其表達(dá)式如下

(9)

式中,V?(s,y)代表的是角點(diǎn)幅度。

建立候選點(diǎn)在運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)過程中的尺度矩陣L(x,y)和響應(yīng)矩陣Q(x,y),令L(x,y)=0、Q(x,y)=0。針對(duì)矩陣中存在的點(diǎn),結(jié)合強(qiáng)度抑制因子和梯度加權(quán)因子控制其數(shù)量,在可控范圍內(nèi)控制興趣點(diǎn)的數(shù)量變化。

3)抑制視頻圖像中存在的局部興趣點(diǎn),根據(jù)非極大值抑制思想設(shè)置響應(yīng)矩陣Q(x,y),用矩陣Q(x,y)抑制視頻圖像中存在的局部興趣點(diǎn)。

2.2.2 抑制時(shí)空雜點(diǎn)

采用尺度選擇算法[12]優(yōu)化視頻圖像中的興趣點(diǎn),抑制時(shí)空雜點(diǎn)。

背景點(diǎn)即為視頻圖像中的靜態(tài)興趣點(diǎn),通過下述公式對(duì)其展開抑制操作

(10)

2.3 高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型

采用基于深度學(xué)習(xí)的深度特征網(wǎng)絡(luò)提取目標(biāo)區(qū)域的特征[13,14],網(wǎng)絡(luò)訓(xùn)練基于數(shù)據(jù)集完成,提取目標(biāo)區(qū)域區(qū)分度較高的信息,數(shù)據(jù)集由不同角度拍攝的運(yùn)動(dòng)目標(biāo)構(gòu)成,可以保證深度特征網(wǎng)絡(luò)提取運(yùn)動(dòng)目標(biāo)不同角度的特征,基于深度學(xué)習(xí)的深度特征網(wǎng)絡(luò)具體結(jié)構(gòu)參數(shù)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

結(jié)合余弦距離[15]和DeepSort算法,通過下式計(jì)算不同幀特征之間的相似度d(i,j)

(11)

采用匈牙利算法[16,17]融合目標(biāo)特征信息與目標(biāo)運(yùn)動(dòng)信息

vi,j=κd(2)(i,j)+(1-κ)d(1)(i,j)

(12)

式中,d(1)(i,j)代表的是馬氏距離;d(2)(i,j)代表第j個(gè)運(yùn)動(dòng)目標(biāo)與第i個(gè)跟蹤軌跡之間存在的余弦距離;κ代表的是數(shù)據(jù)關(guān)聯(lián)過程中兩種信息的影響因子;vi,j代表的是融合處理后獲得的信息。

采用匈牙利算法構(gòu)建的高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型[18,19]如下

(13)

式中,xi,j代表的是第j個(gè)跟蹤框與第i個(gè)檢測(cè)框的匹配結(jié)果對(duì)應(yīng)的二進(jìn)制數(shù)值。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證基于深度學(xué)習(xí)的高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型設(shè)計(jì)方法的整體有效性,需要對(duì)其展開如下測(cè)試。實(shí)驗(yàn)所用圖像均來自The MNIST Database數(shù)據(jù)庫(http:∥yann.lecun.com/exdb/mnist/),在該數(shù)據(jù)庫中抽取部分運(yùn)動(dòng)圖像用于目標(biāo)檢測(cè)效果驗(yàn)證。

1)目標(biāo)檢測(cè)質(zhì)量

圖像質(zhì)量直接決定了高速運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果的精度,采用基于深度學(xué)習(xí)的高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型設(shè)計(jì)方法、文獻(xiàn)[2]方法和文獻(xiàn)[3]方法采集高速運(yùn)動(dòng)目標(biāo)的圖像,采集結(jié)果如圖2所示。

圖2 不同方法的目標(biāo)檢測(cè)效果對(duì)比

由圖2可知,運(yùn)動(dòng)目標(biāo)1為跑步的人,運(yùn)動(dòng)目標(biāo)2為奔跑的豹子,運(yùn)動(dòng)目標(biāo)3為急救車,運(yùn)動(dòng)目標(biāo)4為高速運(yùn)動(dòng)的足球。采用所提方法檢測(cè)圖像中的高速運(yùn)動(dòng)目標(biāo)時(shí)圖像清晰度較高,可清晰地觀察到圖像中的運(yùn)動(dòng)目標(biāo),運(yùn)用文獻(xiàn)[2]方法檢測(cè)時(shí)圖像中存在陰影,運(yùn)用文獻(xiàn)[3]方法檢測(cè)時(shí)圖像中存在雜點(diǎn)。通過上述測(cè)試可知,所提方法的目標(biāo)檢測(cè)質(zhì)量較高,因?yàn)樗岱椒▽?duì)圖像展開了相關(guān)預(yù)處理,首先消除了圖像中存在的陰影,其次剔除了圖像中存在的雜點(diǎn),提高了圖像的整體質(zhì)量和清晰度。

2)檢測(cè)精度

將AP和mAP作為指標(biāo)測(cè)試所提方法、文獻(xiàn)[2]方法和文獻(xiàn)[3]方法的目標(biāo)檢測(cè)精度,上述指標(biāo)的計(jì)算公式如下

(14)

(15)

式中,p代表的是精度;C代表的是目標(biāo)類別數(shù)量;r代表的是召回率。

上述方法的檢測(cè)精度測(cè)試結(jié)果如圖3所示。

圖3 不同方法的目標(biāo)檢測(cè)精度

由圖3可知,隨著圖像數(shù)量的增加,三種方法的AP值和mAP值不斷提升,但在相同圖像數(shù)量下所提方法的AP和mAP均高于其它方法,表明所提方法具有良好的目標(biāo)檢測(cè)精度。

3)檢測(cè)效率

在上述測(cè)試環(huán)境中,測(cè)試所提方法、文獻(xiàn)[2]方法和文獻(xiàn)[3]方法的檢測(cè)效率,測(cè)試結(jié)果如圖4所示。由圖4可知,所提方法檢測(cè)運(yùn)動(dòng)目標(biāo)所需的時(shí)間最少,驗(yàn)證所提方法較高的目標(biāo)檢測(cè)效率。

圖4 不同方法的檢測(cè)時(shí)間

4 結(jié)束語

計(jì)算機(jī)技術(shù)在科技發(fā)展的背景下不斷進(jìn)步,被用于處理各種視頻信息和圖像信息,高速運(yùn)動(dòng)目標(biāo)檢測(cè)在計(jì)算機(jī)視覺領(lǐng)域中一直屬于重要研究?jī)?nèi)容,目前高速運(yùn)動(dòng)目標(biāo)檢測(cè)方法存在圖像目標(biāo)檢測(cè)質(zhì)量差,目標(biāo)檢測(cè)精度低和檢測(cè)效率低的問題。提出基于深度學(xué)習(xí)的高速運(yùn)動(dòng)目標(biāo)檢測(cè)模型設(shè)計(jì)方法,該方法首先對(duì)目標(biāo)圖像展開相關(guān)預(yù)處理,其次通過深度學(xué)習(xí)提取目標(biāo)特征,最后構(gòu)建目標(biāo)檢測(cè)模型,解決并改進(jìn)了當(dāng)前方法的不足,可將其應(yīng)用于高速運(yùn)動(dòng)目標(biāo)檢測(cè)領(lǐng)域中。