基于DM8168的哨位安全智能視頻分析系統(tǒng)

田瑞娟,雷雨能

(西南自動(dòng)化研究所，四川 綿陽(yáng) 621000)

?

【信息科學(xué)與控制工程】

基于DM8168的哨位安全智能視頻分析系統(tǒng)

田瑞娟,雷雨能

(西南自動(dòng)化研究所，四川 綿陽(yáng) 621000)

設(shè)計(jì)了一種基于DM8168嵌入式平臺(tái)的多路視頻輸入的哨位安全智能視頻分析系統(tǒng)，并采用灰度與光流雙模型的背景建模與更新，實(shí)現(xiàn)了對(duì)人員闖入、遺留物檢測(cè)，并對(duì)哨兵異常行為識(shí)別；試驗(yàn)表明：系統(tǒng)的檢測(cè)精度高，虛警率較低，系統(tǒng)性能穩(wěn)定、實(shí)時(shí)性好；本系統(tǒng)在哨位安防監(jiān)控中得到了很好的應(yīng)用，有效提升了哨位對(duì)安全威脅的預(yù)警能力，滿(mǎn)足武警、公安部隊(duì)哨位智能設(shè)備的應(yīng)用需求。

DM8168；哨位安全；視頻分析；背景建模

哨兵是哨位職責(zé)的執(zhí)行者，承擔(dān)著保護(hù)目標(biāo)安全的神圣使命，因此極易成為恐怖分子和黑惡勢(shì)力攻擊的對(duì)象。最近幾年國(guó)內(nèi)外針對(duì)哨兵被襲的惡性事件屢有發(fā)生，給哨兵帶來(lái)極大的生命安全威脅。如中國(guó)重慶和沈陽(yáng)發(fā)生的兩起哨兵遇襲的惡性案件、印度兵營(yíng)被襲擊事件等等[1]。

目前哨位安全主要靠哨兵進(jìn)行“人防”，提高哨兵的敵情觀念、增強(qiáng)哨兵的防范意識(shí)等手段來(lái)實(shí)現(xiàn)。由于受限于哨兵視線(xiàn)、注意力等多方面的限制，安全預(yù)警能力普遍較低，因此迫切需要采用先進(jìn)的技術(shù)手段對(duì)安全威脅進(jìn)行主動(dòng)識(shí)別[1-3]，及時(shí)提醒哨兵進(jìn)行處置。通過(guò)“人防”加“技防”，有效提高哨兵的快速反應(yīng)能力和處理突發(fā)事件的能力，充分保障哨位及目標(biāo)的安全。

哨位安全智能視頻分析系統(tǒng)是以保障哨位安全為目的，通過(guò)智能視頻分析技術(shù)對(duì)哨位一定范圍內(nèi)的威脅人群或威脅物品進(jìn)行智能檢測(cè)、識(shí)別、預(yù)警，對(duì)哨兵出現(xiàn)的異常行為進(jìn)行檢測(cè)和預(yù)警。

本文的哨兵安全智能視頻分析系統(tǒng)采用基于TMS320DM8168為核心的數(shù)字視頻處理器。在該處理器上實(shí)現(xiàn)對(duì)哨位區(qū)域的多路視頻進(jìn)行采集、處理、傳輸。系統(tǒng)可根據(jù)監(jiān)控區(qū)域的具體情況設(shè)置非規(guī)則的虛擬警戒區(qū)域和虛擬警戒線(xiàn)，自動(dòng)對(duì)警戒區(qū)域內(nèi)入侵人員進(jìn)行檢測(cè)，對(duì)出現(xiàn)的可疑滯留物進(jìn)行檢測(cè)，以及對(duì)哨兵出現(xiàn)的異常狀態(tài)檢測(cè)。

1 DM8168處理器介紹

DM8168嵌入式硬件平臺(tái)為T(mén)I公司的達(dá)芬奇架構(gòu)視頻處理器。TMS320-DM8168是TI Davinci系列數(shù)字多媒體處理芯片，是一款基于DSP+ARM架構(gòu)的高性能、高集成度、超低功耗的高清圖象處理器芯片[4-5]，集成了4個(gè)內(nèi)核和多個(gè)外設(shè)和總線(xiàn)接口，包括11C674x DSP，主頻可達(dá)1 GHz，處理能力可達(dá)8 000/6 000MIPS/MFLOPS；22Cortex A8 ARM，主頻可達(dá)1.2 GHz；33VPSS M3，用于控制高清視頻處理子系統(tǒng)HDVPSS，負(fù)責(zé)接收從TVP5158的數(shù)據(jù)總線(xiàn)進(jìn)來(lái)的視頻圖像，并進(jìn)行預(yù)處理如濾波、反交疊、融合以及圖像顯示等功能；44VIDEO M3，用于MPEG、H264、VC-1、AVS等格式的編解碼。

2 系統(tǒng)硬件組成

哨位安全智能視頻分析系統(tǒng)以DM8168處理器為核心，在其外圍擴(kuò)展存儲(chǔ)器、電源轉(zhuǎn)換、以太網(wǎng)接口、視頻接口等設(shè)備。其系統(tǒng)框圖如圖1。

在系統(tǒng)中視頻輸入接口采用TVP5158，支持16路D1圖像輸入，通過(guò)4片TVP5158共可輸入16路D1視頻。

DM8168的視頻輸出形式包括： 1個(gè)HDMI視頻輸出接口，4個(gè)標(biāo)清DAC視頻輸出接口，3個(gè)高清DAC視頻輸出接口；并提供了兩個(gè)高清數(shù)字視頻接口。

DM8168 處理器ARM A8運(yùn)行于linux系統(tǒng)下，而VPSS M3、VIDEO M3、C674x DSP運(yùn)行于TI的BIOS系統(tǒng)下，各核共享DDR內(nèi)存，相互之間可通過(guò)信號(hào)量和郵箱、內(nèi)存共享機(jī)制進(jìn)行同步控制和數(shù)據(jù)傳遞。應(yīng)用開(kāi)發(fā)基于TI公司的DVRRDK開(kāi)發(fā)工具包，目前使用版本為3.0.0.0。DVRRDK中，各軟件處理單元包裝為L(zhǎng)INK，并賦予相應(yīng)的輸入輸出控制參數(shù)。在本系統(tǒng)的LINK鏈接，應(yīng)用從視頻端口輸入，視頻幀送至DSP進(jìn)行分析處理，處理幀經(jīng)壓縮再送至A8處理器，A8就可經(jīng)網(wǎng)絡(luò)將視頻流和分析數(shù)據(jù)送出。

自行開(kāi)發(fā)的智能視頻分析處理應(yīng)用程序通過(guò)NFS服務(wù)器下載到ARM文件系統(tǒng)中。通過(guò)配置BIOS地址，系統(tǒng)上電后，自動(dòng)將哨位智能視頻處理程序加載到DSP核運(yùn)行。

3 視頻分析處理與效果驗(yàn)證

DSP接收ARM A8的視頻數(shù)據(jù)后，根據(jù)ARM發(fā)送的指令對(duì)相應(yīng)的視頻流進(jìn)行虛擬警戒闖入、遺留物檢測(cè)，以及哨兵的行為分析等視頻處理。為保證實(shí)時(shí)性兼顧DSP處理能力，DSP每間隔2幀圖像處理1次視頻。

3.1 灰度與光流雙模型的背景建模

在哨位安全智能視頻分析系統(tǒng)中多為針對(duì)固定攝像機(jī)進(jìn)行視頻分析，因此，背景建模與更新是進(jìn)行虛擬警戒與遺留物檢測(cè)的基礎(chǔ)。

1) 灰度背景模型。本文采用均值法建立灰度背景模型,Pi(x,y)表示第i幀(i∈[1,n])點(diǎn)(x,y)的灰度值，m(x,y)表示點(diǎn)(x,y)的背景模型，灰度背景模型如：

2) 區(qū)分靜止背景和運(yùn)動(dòng)背景。Bi(x,y)表示第i幀(i∈[1,n])點(diǎn)(x,y)是否靜止背景：

TH為閾值，目前TH值的確定主要靠經(jīng)驗(yàn)。區(qū)分靜止背景與運(yùn)動(dòng)背景后，用灰度背景模型表示靜止背景。

3) 光流背景模型。令x={x1,x2,…,xn}表示用來(lái)訓(xùn)練的n個(gè)樣本，xt(t∈[1,n])包括時(shí)刻t像素的灰度信息、鄰域內(nèi)的灰度信息以及時(shí)刻t-1對(duì)應(yīng)像素的灰度信息與其鄰域內(nèi)的灰度信息；c={u,v,w}表示每個(gè)像素的光流背景模型，u,v,w如下式：

u=(umin,umax,u-diffmin,u-diffmax)

v=(vmin,vmax,v-diffmin,v-diffmax)

w=(wmin,wmax,w-diffmin,w-diffmax)

光流背景模型為

u=(mint{ut}, maxt{ut}, mint{u-difft}, maxt{u-difft}}

v=(mint{vt}, maxt{vt}, mint{v-difft}, maxt{v-difft}}

w=(mint{wt}, maxt{wt}, mint{w-difft}, maxt{w-difft}}

c={u,v,w},其中：t∈[1,n]。mint{xt}, maxt{xt}分別表示N幀樣本中的最小值和最大值。

4) 背景更新策略?；叶缺尘澳Ｐ透虏呗詾?/p>

mt(x,y),mt+1(x,y)分別表示當(dāng)前幀與下一幀點(diǎn)(x，y)的背景模型，P(x,y)表示當(dāng)前幀點(diǎn)(x，y)的灰度值，a∈(1,n)是更新率，按經(jīng)驗(yàn)設(shè)定。

光流背景模型更新只針對(duì)背景運(yùn)動(dòng)速度變化。目標(biāo)檢測(cè)期間，為每個(gè)像素創(chuàng)建2個(gè)隊(duì)列，分別記錄最近N幀為前景的次數(shù)和速度信息。

Z(t)表示u,v,w在0的鄰域范圍內(nèi)的次數(shù),FG(t)表示被判定為前景的次數(shù)，k，r表示背景更新閾值，主要依靠經(jīng)驗(yàn)確定。

軟件流程如圖2所示。

圖2 視頻分析處理流程

3.2 虛擬警戒區(qū)與虛擬警戒線(xiàn)闖入檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)是虛擬警戒闖入檢測(cè)的核心，針對(duì)固定攝像機(jī)的視頻分析，基于背景模型與更新的運(yùn)動(dòng)目標(biāo)檢測(cè)[6-7]是比較適合的視頻處理方法。本文采用灰度與光流雙模型的背景建模與更新方法對(duì)檢測(cè)區(qū)域的視頻分析，建立灰度背景模型，區(qū)分靜止背景與運(yùn)動(dòng)背景，用該模型描述靜止背景；建立光流背景模型描述運(yùn)動(dòng)背景，然后檢測(cè)目標(biāo)。

在離哨兵一定距離的區(qū)域可進(jìn)行相應(yīng)的非規(guī)則警戒區(qū)域或警戒線(xiàn)設(shè)置，一是在哨兵視線(xiàn)盲區(qū)進(jìn)行設(shè)置，報(bào)警提醒哨兵對(duì)闖入情況的關(guān)注，二是哨兵的非接觸安全區(qū)域，對(duì)區(qū)域內(nèi)靠近哨兵的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[8-9]，闖入虛擬警戒目標(biāo)進(jìn)行預(yù)警。在一路視頻中可設(shè)置多個(gè)警戒區(qū)和警戒線(xiàn)，進(jìn)行不同級(jí)別的預(yù)警，相應(yīng)地可接入不同的報(bào)警設(shè)備進(jìn)行相應(yīng)的警告，如語(yǔ)音、強(qiáng)聲等預(yù)警手段。實(shí)驗(yàn)表明：當(dāng)闖入目標(biāo)的成像像素大于5×8像素，對(duì)比度大于8% 時(shí)，報(bào)警準(zhǔn)確率達(dá)到95%以上。分析處理效果如圖3所示。

圖3 虛擬警戒檢測(cè)效果

其中圖3(a)中設(shè)置了一條警戒線(xiàn)和一個(gè)非規(guī)則的警戒區(qū)，當(dāng)有人員出現(xiàn)在視場(chǎng)中，并接近警戒區(qū)域一定距離時(shí)，對(duì)該運(yùn)動(dòng)目標(biāo)進(jìn)行綠線(xiàn)框標(biāo)識(shí)，但不報(bào)警；圖3(b)(c)中對(duì)碰觸警戒線(xiàn)或闖入警戒區(qū)的目標(biāo)進(jìn)行紅線(xiàn)框標(biāo)識(shí)并報(bào)警，若在一定時(shí)間內(nèi)目標(biāo)遠(yuǎn)離警戒線(xiàn)和警戒區(qū)，系統(tǒng)根據(jù)設(shè)置的規(guī)則自動(dòng)銷(xiāo)警。

3.3 遺留物檢測(cè)

炸藥、爆炸裝置、易燃易爆的液體逐漸成為了恐怖分子一種恐怖襲擊武器，通過(guò)圖像處理難以進(jìn)行檢測(cè)與識(shí)別，而視頻作為輔助手段可實(shí)現(xiàn)對(duì)類(lèi)似爆炸物的靜止遺留物進(jìn)行檢測(cè)，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)人群中出現(xiàn)的可疑遺留物品的預(yù)警，而規(guī)避流動(dòng)的人群對(duì)檢測(cè)的影響。

遺留物檢測(cè)則是在背景建模與更新中，對(duì)出現(xiàn)的無(wú)運(yùn)動(dòng)軌跡的非背景的靜止目標(biāo)進(jìn)行檢測(cè)。與運(yùn)動(dòng)目標(biāo)檢測(cè)規(guī)則略有區(qū)別，需要多幀連續(xù)視頻的運(yùn)動(dòng)特征判斷。由于進(jìn)行了實(shí)時(shí)背景更新，系統(tǒng)適應(yīng)晝夜變化。實(shí)驗(yàn)表明，當(dāng)遺留物成像像素大于5×5，對(duì)比度大于8%時(shí)，檢測(cè)精度大于90%。視頻分析處理效果如圖4所示。

圖4 遺留物檢測(cè)效果

圖4(a)對(duì)劃定虛擬警戒區(qū)內(nèi)的非背景目標(biāo)進(jìn)行檢測(cè)，具有運(yùn)動(dòng)特征的目標(biāo)不報(bào)警，圖4(b)虛擬警戒內(nèi)出現(xiàn)靜止非背景目標(biāo)，對(duì)其進(jìn)行靜止時(shí)間統(tǒng)計(jì)，圖4(c)對(duì)靜止異常的目標(biāo)進(jìn)行預(yù)警提示。

3.4 哨兵行為分析

進(jìn)行識(shí)別哨兵行為分析的目的，一是規(guī)范哨兵的行為，更主要的目的是對(duì)哨兵人身安全出現(xiàn)威脅時(shí)進(jìn)行預(yù)警。通過(guò)對(duì)哨兵區(qū)域的視頻數(shù)據(jù)分析，判斷哨兵是否處于正常狀態(tài)，以及對(duì)哨兵區(qū)域的近身入侵目標(biāo)進(jìn)行判斷，規(guī)避哨兵在檢測(cè)范圍內(nèi)的運(yùn)動(dòng)對(duì)檢測(cè)的影響。正面站立、側(cè)面站立、彎腰、坐下、蹲下和躺下是日常生活中幾種常見(jiàn)的姿態(tài)[10]，而哨兵行為分析具有其特殊性，正常狀態(tài)為站姿，可在小范圍內(nèi)進(jìn)行站姿活動(dòng)，蹲下、坐下、躺下，以及離崗均為異常狀態(tài)，判斷為哨兵執(zhí)勤不規(guī)范或哨兵遇到安全威脅。

本文的行為檢測(cè)不同于一般的智能監(jiān)控中通過(guò)對(duì)運(yùn)動(dòng)目標(biāo)提取運(yùn)動(dòng)軌跡識(shí)別行為類(lèi)型。哨兵長(zhǎng)時(shí)間僅在小范圍內(nèi)運(yùn)動(dòng)，無(wú)法進(jìn)行背景建模與目標(biāo)輪廓提取，因此將哨兵融入背景，進(jìn)行分區(qū)域灰度特征統(tǒng)計(jì)。根據(jù)各區(qū)域以及整體區(qū)域的灰度特征變化判斷哨兵行為是否出現(xiàn)異常，而在哨兵區(qū)域的外圍一定環(huán)形區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)來(lái)判斷入侵事件的發(fā)生。實(shí)驗(yàn)表明，在室外非逆光環(huán)境下，當(dāng)哨兵與背景的對(duì)比度大于8%，且將哨兵行為分類(lèi)為正常站姿、異常站姿(蹲下、坐下、躺下統(tǒng)稱(chēng)為異常站姿)和離崗三大類(lèi)，系統(tǒng)的哨兵行為識(shí)別準(zhǔn)確度大于90%，檢測(cè)的視頻效果如圖5所示。

圖5 哨兵行為檢測(cè)效果

圖5(a)確定哨兵的活動(dòng)區(qū)域，圖5(b)檢測(cè)到入侵的人或物，采用雙線(xiàn)框標(biāo)識(shí)報(bào)警，區(qū)別于哨兵的其他行為識(shí)別，圖5(c)檢測(cè)到哨兵下蹲或臥倒等異常行為，圖5(d)檢測(cè)到哨兵離崗，將黑線(xiàn)框變成白線(xiàn)框進(jìn)行預(yù)警標(biāo)識(shí)。

4 結(jié)論

基于DM8168處理器的哨位安全智能視頻分析系統(tǒng)采用視頻分析自動(dòng)預(yù)警為主要手段，對(duì)入侵哨位目標(biāo)和哨兵的異常行為進(jìn)行自動(dòng)檢測(cè)。實(shí)驗(yàn)表明：基于灰度與光流雙重背景建模的方法，虛警率低，滿(mǎn)足工程化需求。系統(tǒng)可外接報(bào)警系統(tǒng)，實(shí)現(xiàn)對(duì)異常事件的預(yù)警；可單獨(dú)組網(wǎng)使用，也可接入其他監(jiān)控系統(tǒng)實(shí)現(xiàn)對(duì)監(jiān)控系統(tǒng)的智能化升級(jí)改造。

目前，該系統(tǒng)集成于哨位預(yù)警系統(tǒng)中，在武警部隊(duì)試用，運(yùn)行穩(wěn)定，取得了較好的應(yīng)用效果，該系統(tǒng)實(shí)現(xiàn)了對(duì)現(xiàn)有哨位預(yù)警的系統(tǒng)的智能化升級(jí)，提升現(xiàn)有哨位的預(yù)警能力，對(duì)保障哨兵的人身安全，起到了積極的作用，本系統(tǒng)可廣泛應(yīng)用于軍隊(duì)、公安、武警、國(guó)家機(jī)關(guān)等重要部門(mén)的守衛(wèi)。

[1] 劉治紅，駱云志.智能視頻監(jiān)控技術(shù)在哨位安全威脅智能識(shí)別中的應(yīng)用[J].兵工自動(dòng)化,2011,30(7):82-85.

[2] 侯宏錄,李寧鳥(niǎo).一種基于運(yùn)動(dòng)目標(biāo)識(shí)別的智能視頻監(jiān)控系統(tǒng)[J].兵工自動(dòng)化,2012,31(3)：5-9.

[3] 何諧.基于DSP優(yōu)化的行人識(shí)別算法在智能監(jiān)控中的應(yīng)用與研究[D].成都:電子科技大學(xué),2014.

[4] 周建平,劉歆瀏,賴(lài)文娟.基于DM8168的高清視頻智能分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2013，36(22):90-92.

[5] 管慶,朱海,王凱.基于TMS320DM8168的視頻監(jiān)控跟蹤系統(tǒng)[J].數(shù)據(jù)采集與處理,2012，27(6):60-62.

[6] 樂(lè)應(yīng)英,胡靜波.融合LBP與背景建模的自適應(yīng)目標(biāo)檢測(cè)混合算法[J].計(jì)算機(jī)與數(shù)字工程,2013，41(7)：71-75.

[7] 李亞南,周勇,田瑞娟.基于混合高斯模型和三幀差法的背景建模[J].兵工自動(dòng)化,2015，34(4):33-35.

[8] 常風(fēng)華.基于粒子濾波的視頻多運(yùn)動(dòng)目標(biāo)跟蹤研究[D].杭州:杭州電子科技大學(xué),2012.

[9] 李翠君,王成儒.窗口自適應(yīng)更新的柔性目標(biāo)視頻跟蹤[J].光電工程,2012，39(11):102-108.

[10]陳瑞強(qiáng).基于人體姿勢(shì)分析的智能監(jiān)控系統(tǒng)研究[D].秦皇島:燕山大學(xué),2010.

(責(zé)任編輯 楊繼森)

Intelligent Video Analysis System Based on DM8168 Security Guard

TIAN Rui-juan，LEI Yu-neng

(Southwest Automation Research Institute, Mianyang 621000, China)

We designed a kind of intelligent video analysis system sentinel security based on DM8168 embedded platform for multi-channel video input, and used background modeling and updating method of gray model and optical flow modeling of double background to realize the detection of personnel, the sentry and so on. Experiments show that the system has high detection accuracy, low false alarm rate, stable performance and good real-time performance. The system has a good application in sentinel security monitoring, and it improves the early warning ability of security threats sentinel to meet the application requirements of intelligent equipment of security forces and armed police sentry.

DM8168; sentinel security; video analysis; background modeling

2016-11-15；

2016-12-25 作者簡(jiǎn)介：田瑞娟(1972—)，女，高級(jí)工程師，主要從事圖像處理和機(jī)器視覺(jué)研究。

10.11809/scbgxb2017.04.026

田瑞娟,雷雨能.基于DM8168的哨位安全智能視頻分析系統(tǒng)[J].兵器裝備工程學(xué)報(bào)，2017(4):118-121.

format:TIAN Rui-juan，LEI Yu-neng.Intelligent Video Analysis System Based on DM8168 Security Guard[J].Journal of Ordnance Equipment Engineering,2017(4):118-121.

TP3

A

2096-2304(2017)04-0118-04