基于DM648的實(shí)時(shí)越界檢測系統(tǒng)

舒 君，呂 順，李 飛，何小海

（四川大學(xué) 電子信息學(xué)院，四川 成都 610064）

隨著社會(huì)的發(fā)展，在一些重要的地區(qū)和區(qū)域（如軍事邊界、銀行金庫、自然保護(hù)景區(qū)等），為了防止非法人員的入侵或者其他外來破壞，通常在外圍設(shè)置一些屏障和阻擋物并配備人員進(jìn)行巡邏或者安裝周界探測報(bào)警系統(tǒng)。目前，國內(nèi)周界探測報(bào)警系統(tǒng)主要有兩類：一類是以微波、紅外和激光燈為代表的對射面或?qū)ι渚€的報(bào)警系統(tǒng)；另一類是以振動(dòng)光纖、傳感電纜、高壓脈沖電網(wǎng)和泄露電纜等其他各種線纜式傳感器為代表的報(bào)警系統(tǒng)。這些方法不僅耗費(fèi)人力和財(cái)力，而且檢測效率不高，容易出現(xiàn)失誤，因此難以適應(yīng)現(xiàn)代安防需求。隨著視頻采集和視頻信息處理在日常生活、軍事、醫(yī)療和安防等許多領(lǐng)域的廣泛應(yīng)用，利用視頻監(jiān)控周界報(bào)警逐漸的成為了一個(gè)新的趨勢。

本文以TI公司DM648為核心構(gòu)架硬件平臺，設(shè)計(jì)實(shí)現(xiàn)了基于DM648的圍界實(shí)時(shí)越界監(jiān)測系統(tǒng)，通過提取以圍界為核心的感興趣區(qū)域ROI（Region of Interest），實(shí)時(shí)檢測二值化后ROI中亮度值突變及白點(diǎn)的連通區(qū)域面積，實(shí)現(xiàn)區(qū)域越界報(bào)警。

1 硬件平臺介紹

DM648是TI公司生產(chǎn)的達(dá)芬奇系列多媒體數(shù)字信號處理器，其主頻最高可達(dá)1.1 GHz，可同時(shí)處理8條指令，處理速度最快為8 800 MIPS。它的一級緩存包含32 KB的數(shù)據(jù)緩存（L1D）和 32 KB程序緩存（L1P），一級數(shù)據(jù)緩存和數(shù)據(jù)緩存共用一個(gè)512 KB大小的二級緩存。它內(nèi)部集成了5個(gè)視頻輸入輸出端口（VP0～VP4），理論上可以同時(shí)采集8路視頻。外圍配以視頻解碼芯片TVP5154、編碼芯片THS8200和SAA7105構(gòu)成典型的嵌入式圖像采集顯示系統(tǒng)，同時(shí)外部存儲器總線接口（EMIF）上擴(kuò)展了 256 MB的 DDR2和 64 MB Flash。

通過模擬攝像頭采集的視頻信號經(jīng)TVP5154芯片解碼后轉(zhuǎn)為YUV格式的數(shù)字視頻數(shù)據(jù)送入DM648的VP0口，然后通過EDMA3（EnhancedDirectMemory Access3）將視頻數(shù)據(jù)搬運(yùn)到 DDR2中進(jìn)行處理，將處理好的視頻數(shù)據(jù)送入VP1口，由THS8200接收數(shù)據(jù)并傳給SAA7105芯片編碼為標(biāo)清模擬信號后輸出到監(jiān)視器顯示。

DM648圖像處理平臺硬件系統(tǒng)框架如圖1所示。

圖1 硬件系統(tǒng)框架圖

2 越界檢測算法設(shè)計(jì)與實(shí)現(xiàn)

為了能檢測是否有目標(biāo)越界，就需要提取目標(biāo)。常用的運(yùn)動(dòng)目標(biāo)檢測的方法主要有光流法、相鄰幀差法和背景差分法。光流法支持?jǐn)z像頭移動(dòng)，能夠很好地檢測運(yùn)動(dòng)目標(biāo)的完整信息，但是其計(jì)算量非常大且計(jì)算復(fù)雜，目前難以在嵌入式平臺上實(shí)現(xiàn)實(shí)時(shí)處理。相鄰幀差法則算法簡單、速度快，滿足實(shí)時(shí)性要求，但是穩(wěn)定性差，檢測目標(biāo)不準(zhǔn)確，容易出現(xiàn)空洞現(xiàn)象。背景差分法相對光流法運(yùn)算量小，相對相鄰幀差法可靠性高，只要建立可靠的背景，就能夠提取出準(zhǔn)確的目標(biāo)。因此，本文選擇背景差分法進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測。

背景差分法的核心是背景模型的建立。常見的背景建模方法有中值背景建模、單高斯背景建模、混合高斯背景建模和碼書背景建模等。中值背景建模和單高斯背景建模算法簡單，但對環(huán)境適應(yīng)能力差，如光照變化、樹葉搖擺會(huì)造成提取的背景噪聲比較大，檢測準(zhǔn)確率低；混合高斯背景建模算法精度高，算法的運(yùn)算量大，背景更新慢，很難在本文所用的嵌入式平臺上做到實(shí)時(shí)處理；碼書背景建模算法簡單易于實(shí)現(xiàn)，更新速度快，檢測效果好，因此本文選擇碼書背景建模。

為了實(shí)現(xiàn)實(shí)時(shí)越界檢測，需要解決以下3個(gè)問題。（1）如何構(gòu)建 ROI，并對其進(jìn)行處理以減少運(yùn)算量；（2）如何改進(jìn)簡化碼書背景建模以進(jìn)一步減少計(jì)算量達(dá)到實(shí)時(shí)檢測；（3）如何檢測物體目標(biāo)越界，提高檢測準(zhǔn)確率并對物體越界進(jìn)行警示。本文的算法最后在DM648圖像處理硬件平臺上得以實(shí)現(xiàn)，該越界檢測系統(tǒng)的核心算法流程圖如圖2所示。

圖2 核心算法流程圖

2.1 ROI構(gòu)建與處理

在越界檢測系統(tǒng)中，ROI圖像的信息只集中在需要進(jìn)行檢測的ROI中，去除冗余數(shù)據(jù)，提取出ROI以提高圖像處理速度和準(zhǔn)確度。只對ROI進(jìn)行檢測將會(huì)大大減少計(jì)算量。

首先對要處理的視頻信息設(shè)置圍界，如圖3所示，用白色線條表示設(shè)定的界線，通過白色線條的邊界點(diǎn)確定黑色的區(qū)域?yàn)镽OI。

圖3 ROI區(qū)域圖

設(shè)定界線后，選取邊界點(diǎn){B（x，y）}里面坐標(biāo)值x的最大值xmax和最小值xmin及y的最大值ymax和最小值ymin構(gòu)建矩形區(qū)域左上方點(diǎn)（xmin，ymin）和右下方點(diǎn)構(gòu)建矩形（xmax，ymax）。 為了減少在硬件上的計(jì)算量，突顯實(shí)時(shí)性，對ROI區(qū)域繼續(xù)作下采樣處理。

采用YUV顏色模型，使用水平和垂直兩種分塊方法對這兩個(gè)方向上的亮度信息特征作處理，可以得到亮度值在這兩種分塊模型中分割區(qū)域的平均分布，如圖4所示。

圖4 兩種分塊模型

最后，選取LUMRA最大的N/2個(gè)區(qū)域作為判斷亮度值突變及白點(diǎn)的連通區(qū)域面積的區(qū)域。

2.2 ROI碼書背景模型建立

在ROI建立之后，由于需要檢測的物體只與圍界的范圍相關(guān)，本文通過構(gòu)建ROI模板來分別提取背景區(qū)域和要處理的視頻區(qū)域，以減少背景建模和背景更新時(shí)的計(jì)算量。

碼書背景建模對RGB空間的視頻序列具有較好的檢測效果，但有一些不足之處：視頻采集設(shè)備（如網(wǎng)絡(luò)攝像機(jī)、DV等）采集的視頻序列大多是YUV格式的，如果按照原碼書算法思想[4]，則需要進(jìn)行從YUV空間到RGB空間的轉(zhuǎn)換，該轉(zhuǎn)換運(yùn)算為浮點(diǎn)型運(yùn)算，運(yùn)算量大，而且DM648是一個(gè)定點(diǎn)數(shù)字處理器，不適合作浮點(diǎn)運(yùn)算。本文越界檢測只需對亮度信號進(jìn)行處理，YUV相比RGB色度空間更有優(yōu)勢。因此，對原碼書算法進(jìn)行改進(jìn)，直接在YUV空間Y通道上進(jìn)行碼書背景建模，不僅省去了大量的浮點(diǎn)型運(yùn)算，而且省去了計(jì)算色度失真度對碼字的匹配，只是在Y通道上進(jìn)行像素值匹配。改進(jìn)后的碼書背景建模非常適合在嵌入式平臺上進(jìn)行實(shí)時(shí)處理。

改進(jìn)后的碼書建模模型是以一個(gè)長度為N的圖像序列{X1，X2，X3，…，XN}，對碼書模型進(jìn)行訓(xùn)練，一幅圖像的碼書表示為長L的碼字序列{C1，C2，…，CN}，根據(jù)像素值的變化程度，其碼書長度或長或短。在基于YUV色度空間的碼書模型中，一個(gè)碼字由一個(gè)均值亮度向量v=和一個(gè)六元組aux=＜Im，IM，f，λ，p，q＞構(gòu)成， 其中Im與IM分別表示像素在某個(gè)范圍內(nèi)的最小亮度與最大亮度，f表示該碼字在圖像序列訓(xùn)練過程中出現(xiàn)的次數(shù)，λ表示碼字最長沒有出現(xiàn)的跨度，p與q分別表示碼字第一次出現(xiàn)與最后一次出現(xiàn)的幀數(shù)。

改進(jìn)后的碼書模型建模的基本流程如下。

（1）對每個(gè)像素的碼字長度初始化為0，碼書長度為L。

（2）對 于圖 像 序 列{X1，X2，X3，…，XN}，像 素 亮 度值I=Y。

（3）對于第n幀圖像中的像素，若對應(yīng)碼字為空，則建立新碼字，以當(dāng)前像素值設(shè)定亮度向量和六元組，p=q=n，IM=Im=I，λ=0；若碼字不為空，則計(jì)算亮度向量與碼字亮度向量的亮度失真是否在一個(gè)閾值Th以內(nèi)，同時(shí)比較亮度值是否在六元組Im和IM以內(nèi)更新碼字。

（4）若滿足條件（3），則更新碼字：

（5）若不滿足條件（3），則 λ+1，其他值不變。

完成訓(xùn)練以后，對碼書中的碼字進(jìn)行整理，對于λ比較大的碼字予以去除，閾值Th需根據(jù)實(shí)際情況進(jìn)行調(diào)整。與混合高斯模型比，碼書模型由于其更新運(yùn)算比較簡單，更為節(jié)省運(yùn)算量，因此非常適合運(yùn)算資源與存儲資源都比較有限的嵌入式平臺。

2.3 目標(biāo)提取

當(dāng)訓(xùn)練完成時(shí)，將得到RQI碼書背景模型，碼書下每個(gè)碼字都是一個(gè)像素亮度能量的集合，因此碼書背景不能單獨(dú)直接顯示在屏幕上。當(dāng)一段連續(xù)視頻的一幀被讀取以后，只需遍歷整個(gè)碼書來判斷輸入幀該點(diǎn)像素的亮度值I（x，y）是否存在于碼書的對應(yīng)碼字CB（x，y）中，若不存在，則將該點(diǎn)判斷為前景點(diǎn)。

采用 Ostu 最大類間方差法[5]求取由Dt（x，y）組成的前景圖像最佳分割閾值T。最后采用式（6）分割，即可得到檢測目標(biāo)的二值圖像 （x，y）處的前景二值圖像值Gt（x，y）。

為了消除由背景差分和Ostu分割提取二值化前景圖像而帶來的噪聲，首先進(jìn)行均值濾波，再采用圖像形態(tài)學(xué)腐蝕、膨脹操作消除目標(biāo)圖像中的點(diǎn)噪聲。

本文采用該方法測試了兩種場景環(huán)境下的圖像，并與在混合高斯建模方法下提取的運(yùn)動(dòng)目標(biāo)效果圖進(jìn)行了比較，結(jié)果如圖5和圖6所示，兩種建模方法提取目標(biāo)所用的時(shí)間對比如表1所示。

圖5 采用兩種背景建模方法對圖像1提取目標(biāo)的效果圖

圖6 采用兩種背景建模方法對圖像2提取目標(biāo)的效果圖

表1 兩種建模方法提取目標(biāo)運(yùn)行時(shí)間對照表

從圖5、圖6和表1可以看出，使用本文簡化改進(jìn)的碼書背景算法與混合高斯算法提取的目標(biāo)效果圖基本相同，差別不大，但是處理時(shí)間節(jié)省了11.12 ms。

2.4 越界檢測

為了檢測到是否有目標(biāo)闖入，本文對已經(jīng)檢測到的ROI進(jìn)行亮度檢測來初步確定目標(biāo)是否闖入。檢測的算式為：

其中，MY為檢測區(qū)域的亮度值，Mth為檢測區(qū)域門限值，當(dāng)MY＞Mth時(shí)，Mth可以根據(jù)不同的場景進(jìn)行更改。

若ROI的亮度發(fā)生突變，不一定是有目標(biāo)闖入，有可能是很多噪聲點(diǎn)或者其他原因引發(fā)檢測區(qū)域亮度突變。為提高檢測準(zhǔn)確度，需要進(jìn)一步對提取的目標(biāo)進(jìn)行連通區(qū)域面積的計(jì)算。本文采用相鄰點(diǎn)循環(huán)掃描的方法按照從上向下、從左至右的順序掃描ROI中的連通區(qū)域，步驟如下。

（1）提取 ROI二值化圖像，F(xiàn)lag=0，從上向下、從左至右開始掃描。

（2）如遇到白點(diǎn)，相鄰點(diǎn)循環(huán)掃描直到找不到白點(diǎn)，統(tǒng)計(jì)白點(diǎn)數(shù)（連通區(qū)域面積）退出循環(huán)。

（3）如果連通區(qū)域面積大于設(shè)定閾值Num，則 Flag=1進(jìn)入步驟（4）；否則檢查掃描是否完畢，如果沒有則跳回步驟（2），完畢則退出掃描。

（4）Flag=1表示有目標(biāo)存在，報(bào)警后退出掃描。

3 實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

使用 720×576的 AVI視頻作為本文所設(shè)計(jì)的系統(tǒng)的測試視頻，結(jié)果如表2和表3所示。由表2實(shí)驗(yàn)數(shù)據(jù)可知，當(dāng)對 ROI進(jìn)行下采樣處理時(shí)能做到26 f/s，由此可見對ROI進(jìn)行下采樣在實(shí)際應(yīng)用中的意義之大。由表3可知，本文通過先做亮度突變檢測再進(jìn)行白點(diǎn)的連通區(qū)域面積檢測后的檢測精度能達(dá)到92.65%，實(shí)用性很強(qiáng)。

表2 實(shí)時(shí)性數(shù)據(jù)比較

表3 檢測正確率數(shù)據(jù)比較

本文越界檢測系統(tǒng)效果圖如圖7所示，在圖中黑色線條表示警戒線，當(dāng)有目標(biāo)經(jīng)過ROI時(shí)，系統(tǒng)會(huì)自動(dòng)用矩形框出目標(biāo)在ROI中的位置并發(fā)出警報(bào)。

圖7 直觀效果圖

本文設(shè)計(jì)了以TI公司DM648為核心的硬件圖像處理平臺，設(shè)計(jì)實(shí)現(xiàn)了目標(biāo)越界的實(shí)時(shí)監(jiān)測，通過提取以圍界為核心的ROI，實(shí)時(shí)檢測ROI中亮度值突變及白點(diǎn)的連通區(qū)域面積，實(shí)現(xiàn)越界報(bào)警。實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)越界檢測系統(tǒng)實(shí)時(shí)性好，檢測精度高。但當(dāng)物體運(yùn)動(dòng)太快時(shí)候?qū)?huì)出現(xiàn)檢測不到的情況，需要進(jìn)行改進(jìn)。

[1]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision， 2004，60（2）：91-110．

[2]齊美彬，楊愛麗，蔣建國，等．一種基于改進(jìn)碼本的車輛檢測與跟蹤方法[J]．中 國圖象圖形 學(xué) 報(bào) ，2011，16（3）：406-412．

[3]郭志濤，劉玉菲，劉恩海，等．基于區(qū)域特征分析的層級有序碼書目標(biāo)檢測算法[J]．計(jì)算機(jī)應(yīng)用研究，2013，30（6）：1903-1906.

[4]KIM K， CHALIDABHONGSE T H， HARWOOD D， et al．Real-time foreground-background segmentationusing codebook model[J]．Real-Time Imaging，2005，11（3）：172-185．

[5]齊麗娜，張博，王戰(zhàn)凱.最大類間方差法在圖像處理中的應(yīng)用[J].無線電工程，2006（7）：25-26.

[6]李峰，周荷琴．融合碼本和紋理的雙層視頻背景建模方法[J]．中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2012，42（2）：99．105．