基于DM6437的智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

方　浩　李艾華　王　濤

(第二炮兵工程大學(xué)　陜西 西安 710025)

?

基于DM6437的智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

方浩*李艾華王濤

(第二炮兵工程大學(xué)陜西 西安 710025)

摘要針對陣地視頻監(jiān)控系統(tǒng)智能化程度低的問題，提出一種基于DM6437的智能視頻監(jiān)控系統(tǒng)解決方案。在圖像處理算法方面，將ViBe算法中采用第一幀圖像建模和基于隨機(jī)策略進(jìn)行模型更新的思想用于改進(jìn)傳統(tǒng)碼本算法的訓(xùn)練和更新階段，提出一種基于隨機(jī)碼本的運(yùn)動目標(biāo)檢測算法以提高檢測效果。提出在Mean Shift跟蹤過程中采用Kalman濾波器預(yù)測目標(biāo)位置，用于提高目標(biāo)快速運(yùn)動和遮擋等復(fù)雜情況下的跟蹤效果。在系統(tǒng)實(shí)現(xiàn)方面，基于DM6437芯片設(shè)計(jì)了集圖像采集與顯示、檢測與跟蹤、JPEG壓縮、網(wǎng)絡(luò)傳輸?shù)榷喾N功能于一體的智能視頻監(jiān)控系統(tǒng)。模擬陣地環(huán)境下的實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠準(zhǔn)確地自動檢測和跟蹤目標(biāo)，并且?guī)士蛇_(dá)6、7幀左右。

關(guān)鍵詞智能視頻監(jiān)控DM6437ViBe碼本Kalman濾波器Mean Shift

DESIGN AND REALIZATION OF A DM6437-BASED INTELLIGENT VIDEO MONITORING SYSTEM

Fang Hao*Li AihuaWang Tao

(The Second Artillery Engineering University,Xi’an 710025,Shaanxi,China)

AbstractTo solve the problem of low intellectualisation degree in video monitoring system of positions,in this paper we put forward a DM6437-based solution of intelligent video monitoring system. In terms of image processing algorithm,we proposed a random codebook-based moving targets detection algorithm for improving the detection performance,it is achieved by applying the ideas of adopting the first frame for modelling and updating the model based on random strategy in ViBe algorithm to improving the training and updating stages of traditional codebook algorithm. And then we proposed to use Kalman filter to predict the target position in Mean shift tracking process,so as to improve tracking effects in complicated cases such as rapid target motion and occlusion. In terms of system realisation,we designed an intelligent video monitoring system based on DM6437 chip with various functions,such as video capture and display,targets detection and tracking,JPEG compression and network transmission,integrated. And the result of experiments in simulating the environment of positions showed that the system could detect and track targets automatically and accurately with a rate up to 6 or 7 frames.

KeywordsIntelligent video monitoringDM6437ViBeCode bookKalman filterMean shift

0引言

視頻監(jiān)控是部隊(duì)信息化建設(shè)的重要方面。目前，陣地視頻監(jiān)控子系統(tǒng)采用的是前端由各型攝像機(jī)進(jìn)行視頻采集，經(jīng)由同軸電纜進(jìn)行數(shù)據(jù)傳輸，后端由綜合管理計(jì)算機(jī)和網(wǎng)絡(luò)存儲服務(wù)器進(jìn)行綜合管理的模式。這種系統(tǒng)僅能實(shí)現(xiàn)24小時(shí)錄像監(jiān)控功能，并且需要人員全天候值守，不僅極大地浪費(fèi)人力物力，而且系統(tǒng)智能化程度不高，不利于陣地安全防范能力的提高。

針對上述問題，本文基于DM6437芯片設(shè)計(jì)了一套智能視頻監(jiān)控系統(tǒng)。主要功能是實(shí)現(xiàn)對靜態(tài)場景中目標(biāo)的自動檢測與跟蹤，為后續(xù)構(gòu)建智能化陣地視頻監(jiān)控系統(tǒng)打基礎(chǔ)。本文在充分分析ViBe[1]和碼本[2]兩種算法優(yōu)缺點(diǎn)的基礎(chǔ)上，提出一種基于隨機(jī)碼本的運(yùn)動目標(biāo)檢測算法。該算法融合ViBe和碼本兩種算法的優(yōu)點(diǎn)，將ViBe算法中采用第一幀圖像建模的思路用于改進(jìn)傳統(tǒng)碼本算法的訓(xùn)練階段，將ViBe算法中基于隨機(jī)策略進(jìn)行模型更新的思想用于碼本更新階段。并通過實(shí)驗(yàn)證明該算法兼具兩種算法的優(yōu)點(diǎn)，不僅具有較小的計(jì)算量，而且檢測效果更好，對背景變化的適應(yīng)能力更強(qiáng)。在目標(biāo)跟蹤算法方面，Mean Shift[3]算法作為一種基于密度梯度的非參數(shù)估計(jì)方法，具有計(jì)算量小、實(shí)時(shí)性好、適用性強(qiáng)、能夠快速高效地實(shí)現(xiàn)目標(biāo)跟蹤等優(yōu)點(diǎn)，但由于沒有在跟蹤過程中利用目標(biāo)的位置和速度等信息[4]，導(dǎo)致存在環(huán)境干擾或者運(yùn)動速度過快時(shí)容易跟蹤失敗。針對這種情況，本文提出采用Kalman濾波器進(jìn)行目標(biāo)位置預(yù)測，以提高傳統(tǒng)Mean Shift算法在目標(biāo)快速運(yùn)動和遮擋等情況下的跟蹤效果。最后基于DM6437開發(fā)了智能視頻監(jiān)控系統(tǒng)，并在模擬陣地環(huán)境下取得了較好的檢測和跟蹤效果。

1基于隨機(jī)碼本的運(yùn)動目標(biāo)檢測算法

1.1算法基本原理

ViBe算法和碼本算法是兩種典型的非參數(shù)化運(yùn)動目標(biāo)檢測算法。ViBe[5]算法的特點(diǎn)是采用第一幀圖像中像素點(diǎn)的空間領(lǐng)域點(diǎn)建立背景模型和按一定概率隨機(jī)更新背景模型，這種方式計(jì)算量小，能夠快速開始目標(biāo)檢測并對噪聲和亮度變化等具有一定的魯棒性[6，7]，但也存在無法較好抑制“鬼影”等問題。碼本[8]算法通過長時(shí)間的碼本訓(xùn)練來建立背景模型，然后基于亮度范圍和顏色相似度來進(jìn)行像素點(diǎn)分類。該算法魯棒性強(qiáng)、計(jì)算效率高，建立的背景模型比較純凈[9]，但無法較好地適應(yīng)背景變化，而且在前景和背景像素分布類似的情況下容易造成碼字的更新錯(cuò)誤[10]。本文融合兩種方法的優(yōu)點(diǎn)，在改進(jìn)碼本算法的基礎(chǔ)上提出一種基于隨機(jī)碼本的運(yùn)動目標(biāo)檢測方法。

在背景建模階段，隨機(jī)選取第一幀圖像中空間領(lǐng)域內(nèi)像素點(diǎn)進(jìn)行碼本訓(xùn)練。該方法具有以下優(yōu)點(diǎn)：1) 由于領(lǐng)域內(nèi)像素點(diǎn)具有空間連續(xù)性，因而經(jīng)過長時(shí)間碼本訓(xùn)練，使得碼字的聚類均值將逐漸向領(lǐng)域內(nèi)所有像素點(diǎn)的均值靠攏。這將逐漸淘汰出那些亮度、色度與其他點(diǎn)差異較大的像素點(diǎn)。2) 采用第一幀圖像進(jìn)行碼本訓(xùn)練，使得模型能夠從下一幀圖像立即開始進(jìn)行前景檢測。當(dāng)背景變換時(shí)，算法可以迅速丟掉原來的模型，立即建立新的碼本模型。

在背景更新階段，借鑒ViBe算法中隨機(jī)更新的思想進(jìn)行碼本的實(shí)時(shí)更新。具體步驟如下：首先定義1到w之間的偽隨機(jī)序列M，從M中隨機(jī)選取的一個(gè)樣本Sample，定義背景像素點(diǎn)隨機(jī)更新的概率：

(1)

對于每一個(gè)分類為背景的像素點(diǎn)，在第一次選取的樣本Sample1=1時(shí)，更新對應(yīng)碼本中的任意一個(gè)碼字。這樣可以保證模型中每一個(gè)像素點(diǎn)的壽命按指數(shù)形式衰減，使模型始終能夠?qū)崟r(shí)更新，從而提高模型的動態(tài)適應(yīng)能力。同時(shí)繼續(xù)從偽隨機(jī)序列中隨機(jī)選取第二個(gè)樣本Sample2，在Sample2=1情況下，從該背景點(diǎn)的領(lǐng)域內(nèi)隨機(jī)選取一個(gè)像素點(diǎn)，并更新其碼本中的任一碼字，這樣可以實(shí)現(xiàn)背景像素點(diǎn)的傳播，保證像素點(diǎn)的空間連續(xù)性。反之則結(jié)束更新過程。具體流程如圖1所示。

圖1　碼本更新過程流程圖

1.2實(shí)驗(yàn)結(jié)果對比

圖2為三種算法對PETS2001中的標(biāo)準(zhǔn)圖像序列Dataset2的檢測效果圖?？梢钥吹剑陔S機(jī)碼本的檢測效果明顯好于其他兩種算法，抗干擾能力更強(qiáng)。同時(shí)，在實(shí)際實(shí)驗(yàn)中還發(fā)現(xiàn)，改進(jìn)算法的實(shí)時(shí)性明顯好于其他兩種。這是由于算法基于空間領(lǐng)域像素點(diǎn)建模，模型中碼字辨識度高，且數(shù)目較少、更新快。

圖2　運(yùn)動目標(biāo)檢測效果圖

2結(jié)合Kalman和Mean shift的跟蹤算法

2.1算法基本原理

Meanshift跟蹤[11]的主要思路是沿著梯度增加的方向?qū)ふ遗c目標(biāo)模型相似度最高的區(qū)域作為跟蹤結(jié)果。傳統(tǒng)的Mean shift算法采用顏色分布直方圖表征目標(biāo)特征，具有對目標(biāo)旋轉(zhuǎn)、變形及邊緣遮擋不敏感[12]的優(yōu)點(diǎn)，但由于缺乏對目標(biāo)位置的預(yù)測機(jī)制，使得在目標(biāo)運(yùn)動較快、被遮擋等情況不能有效跟蹤。Kalman濾波器是一種基于最小均方誤差對系統(tǒng)的狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法[13]，能夠以較小的計(jì)算量快速準(zhǔn)確地估計(jì)目標(biāo)的位置、速度等信息。因此本文中采用Kalman濾波器來預(yù)測運(yùn)動目標(biāo)的位置，算法的主要步驟如下：

(2)

Step 2根據(jù)Kalman濾波器預(yù)測當(dāng)前幀中目標(biāo)的位置，作為Mean Shift迭代的起點(diǎn)。假設(shè)Kalman濾波器的狀態(tài)模型和預(yù)測模型分別如下：

Xk=Ak,k-1Xk-1+Wk-1

(3)

Yk= HkXk+ Vk

(4)

(5)

(6)

(7)

(8)

(9)

Step 6運(yùn)動目標(biāo)實(shí)際位置判定。當(dāng)相鄰幀中待選模型位置滿足下式：

|yi+1-yi|≤ε

(10)

則停止迭代，認(rèn)為找到與目標(biāo)模型足夠相似的待選區(qū)域，并將其作為運(yùn)動目標(biāo)在當(dāng)前幀中的實(shí)際位置。否則返回Step 3。

Step 7校正Kalman濾波器。由于目標(biāo)的位置不是收斂的而是按照一定軌跡變化的，因此在跟蹤完成后采用目標(biāo)的最終位置對Kalman濾波器進(jìn)行修正，使濾波器能夠及時(shí)跟上目標(biāo)位置的變化。校正Kalman濾波器實(shí)際上也是更新Kalman濾波器狀態(tài)的過程。按照下列公式進(jìn)行：

Pk=(I-KkHk)Pk,k-1

(11)

(12)

(13)

式中，Kk為Kalman器的增益矩陣，其他參數(shù)與Step 2中定義相同。

2.2實(shí)驗(yàn)結(jié)果對比

結(jié)果如圖3所示，對快速運(yùn)動的足球進(jìn)行跟蹤實(shí)驗(yàn)，左右兩側(cè)分別為傳統(tǒng)Mean Shift算法和改進(jìn)算法的跟蹤效果對比圖?？梢钥吹?，隨著足球飛行速度的加快，采用傳統(tǒng)Mean Shift算法跟蹤誤差越來越大，而采用改進(jìn)算法則能用跟蹤框較好地鎖定足球的位置。這主要是由于Kalman濾波器預(yù)測能夠準(zhǔn)確地預(yù)測目標(biāo)位置，從而提高了跟蹤效果。上述實(shí)驗(yàn)結(jié)果也充分說明改進(jìn)算法有助于提高對于快速運(yùn)動目標(biāo)的跟蹤效果。

圖3　快速運(yùn)動目標(biāo)跟蹤效果對比圖

3智能視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)

3.1硬件平臺結(jié)構(gòu)設(shè)計(jì)

整個(gè)平臺以DM6437為核心，如圖4所示。主要包括視頻采集模塊、輸出顯示模塊、通信模塊、存儲模塊、時(shí)鐘模塊和電源模塊六部分。視頻采集模塊的主要作用是接受普通攝像機(jī)采集的視頻信號并進(jìn)行必要的預(yù)處理。輸出顯示模塊的主要作用是輸出驅(qū)動顯示器顯示實(shí)時(shí)采集的圖像。通信模塊包括RS485、JTAG、Ethernet三類接口，分別用于控制云臺轉(zhuǎn)動、下載程序和系統(tǒng)調(diào)試、網(wǎng)絡(luò)通信等。存儲模塊包括DDR2、NOR FLASH、EEPROM三類存儲器，分別用于緩存實(shí)時(shí)圖像數(shù)據(jù)、存儲DSP程序代碼、存儲系統(tǒng)核心參數(shù)，如IP地址、MAC地址、網(wǎng)關(guān)地址等。時(shí)鐘模塊可以為整個(gè)DSP系統(tǒng)提供必要的時(shí)間信息。電源模塊為板上所有模塊提供不同等級的穩(wěn)定電壓。

圖4　系統(tǒng)結(jié)構(gòu)圖

3.2核心程序設(shè)計(jì)

本文所設(shè)計(jì)的智能視頻監(jiān)控系統(tǒng)集圖像采集與顯示、運(yùn)動目標(biāo)檢測和跟蹤、JPEG壓縮編碼和網(wǎng)絡(luò)傳輸?shù)榷喾N功能于一體。為實(shí)現(xiàn)上述功能，系統(tǒng)在實(shí)時(shí)操作內(nèi)核DSP/BIOS的基礎(chǔ)之上，創(chuàng)建了對應(yīng)的圖像采集與顯示、智能視頻分析、編碼壓縮、網(wǎng)絡(luò)傳輸(包含網(wǎng)絡(luò)發(fā)送和參數(shù)設(shè)置兩類)等線程，同時(shí)充分利用郵箱等機(jī)制實(shí)現(xiàn)線程之間的調(diào)度與數(shù)據(jù)共享結(jié)合。在實(shí)際設(shè)計(jì)過程中，結(jié)合TI提供的相關(guān)軟件，可以很方便地采用PSP庫(用于開發(fā)視頻采集與顯示驅(qū)動)、JPEG軟件編碼器和NDK網(wǎng)絡(luò)套件分別實(shí)現(xiàn)上述相關(guān)功能。因此，整個(gè)程序設(shè)計(jì)的重點(diǎn)在于運(yùn)動目標(biāo)檢測與跟蹤算法的移植。

在檢測階段，首先對于每一幀圖像進(jìn)行灰度化處理以提取亮度信息，然后采用均值金字塔進(jìn)行圖像分解以降低待處理圖像分辨率。其次，進(jìn)行運(yùn)動目標(biāo)檢測，得到前景區(qū)域。然后結(jié)合形體學(xué)濾波進(jìn)行噪點(diǎn)處理，運(yùn)用兩次掃描法提取目標(biāo)特征。同時(shí)，考慮到剛進(jìn)入場景時(shí)目標(biāo)檢測的完整性，在連續(xù)5幀均檢測到目標(biāo)時(shí)提取第5幀圖像目標(biāo)特征并開啟跟蹤過程。

在跟蹤階段，根據(jù)檢測結(jié)果特征建立目標(biāo)模型，并采用Kalman濾波器預(yù)測目標(biāo)位置，隨后將該位置作為起始位置進(jìn)行Mean Shift跟蹤，在跟蹤結(jié)束后計(jì)算預(yù)測位置與實(shí)際位置的幾何距離。如果該距離小于一定閾值ε，表明跟蹤有效，并利用目標(biāo)的實(shí)際位置校正Kalman濾波器，反之則結(jié)束跟蹤過程。具體的檢測和跟蹤流程如圖5所示。

圖5　檢測和跟蹤流程圖

4實(shí)驗(yàn)結(jié)果及分析

開發(fā)簡易的PC端播放軟件，用于實(shí)時(shí)查看DSP端的檢測和跟蹤效果。并在室內(nèi)室外兩種情況下模擬陣地典型環(huán)境進(jìn)行實(shí)驗(yàn)，結(jié)果如圖6所示?？梢钥吹剑衔粰C(jī)播放軟件畫面清晰，無明顯失真，并且在室內(nèi)室外兩種場景下都能夠以較高的精度檢測運(yùn)動目標(biāo)，實(shí)現(xiàn)準(zhǔn)確有效地跟蹤。同時(shí)經(jīng)測定，系統(tǒng)幀率達(dá)到6、7幀左右，能在一定程度上滿足實(shí)時(shí)性要求。

圖6　系統(tǒng)檢測和跟蹤效果圖

5結(jié)語

本文旨在開發(fā)嵌入式智能視頻監(jiān)控系統(tǒng)以提升陣地視頻監(jiān)控系統(tǒng)的智能化程度。該系統(tǒng)中主要有兩點(diǎn)創(chuàng)新：

1) 提出了一種基于隨機(jī)碼本的運(yùn)動目標(biāo)檢測算法，提高了在不同場景下的檢測效果和實(shí)時(shí)性，使得算法比較適合在嵌入式系統(tǒng)中使用；

2) 融入Kalman濾波器預(yù)測改進(jìn)了傳統(tǒng)的Mean Shift跟蹤算法，提高了系統(tǒng)在不同場景下的跟蹤效果。

同時(shí)基于DM6437芯片實(shí)現(xiàn)了整個(gè)系統(tǒng)的開發(fā)。目前，該系統(tǒng)在室內(nèi)和室外兩種典型的模擬陣地環(huán)境下都取得了不錯(cuò)的檢測和跟蹤效果，且?guī)士蛇_(dá)6、7幀，具備一定的實(shí)用價(jià)值。

參考文獻(xiàn)

[1] Olivier Barnich,Marc Van Droogenbroeck. ViBe: A universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing,2011,20 (6):1709-1724.

[2] Kim K,Chalidabhongse T H,Harwood D,et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging,2005,11(3): 172-185.

[3] Comaniciu D,V Ramesh,P Meer. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(2): 564-577.

[4] 常發(fā)亮,劉雪,王華杰. 基于均值漂移的卡爾曼濾波器的目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與應(yīng)用，2007,43(12):50-52.

[5] Olivier Barnich,Marc Van Droogenbroeck. VIBE: A Powerful Randon Technique to Eatimate the Backround in Video Sequences[C]//International Conference on Acoustics,Speech,and Signal Processing,2009:945-948.

[6] 蔣建國,王濤,齊美彬,等. 基于ViBe的車流量統(tǒng)計(jì)算法[J].電子測量與儀器學(xué)報(bào),2012,26(6):558-563.

[7] 余燁,曹明偉,岳峰. EVibe: 一種改進(jìn)的Vibe運(yùn)動目標(biāo)檢測算法[J].儀器儀表學(xué)報(bào),2014,35(4): 924-931.

[8] 代科學(xué),李國輝.一種基于碼本的監(jiān)控視頻運(yùn)動目標(biāo)檢測算法[J].計(jì)算機(jī)工程，2007,33(14):27-29.

[9] 郭春生,王盼.一種基于碼本模型的運(yùn)動目標(biāo)檢測算法[J].中國圖象圖形學(xué)報(bào),2010,15(7): 1079-1083.

[10] 姜柯，李艾華，蘇延召.基于改進(jìn)碼本模型的視頻運(yùn)動目標(biāo)檢測算法[J].電子科技大學(xué)學(xué)報(bào),2012,41(6):932-936.

[11] 朱勝利，朱善安，李旭超,等.快速運(yùn)動目標(biāo)的Mean Shift跟蹤算法[J].光電工程,2006,33(5):66-70.

[12] 劉璞,王春平,徐艷.基于Mean Shift重要性采樣的粒子濾波跟蹤算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(3):909-914.

[13] 楊紅霞，杭亦文，劉旭.基于Meanshift與kalman濾波器的視頻目標(biāo)跟蹤算法[J].武漢理工大學(xué)學(xué)報(bào):信息與管理工程版,2012,34(2):147-151.

中圖分類號TP391

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.046

收稿日期：2014-09-04。方浩，碩士生，主研領(lǐng)域：計(jì)算機(jī)視覺，智能儀器與系統(tǒng)。李艾華，教授。王濤，副教授。