基于計(jì)算機(jī)視覺技術(shù)的監(jiān)控視頻文件分析

LU Kyle

（上海交通大學(xué)，上海 200240）

視頻數(shù)據(jù)作為一種可儲(chǔ)存化的數(shù)字媒體，被廣泛地應(yīng)用于各個(gè)信息鄰域之中。智能視頻文件分析技術(shù)現(xiàn)在已被廣泛應(yīng)用于道路交通監(jiān)控、犯罪偵查等系統(tǒng)中，達(dá)到了良好的效果。計(jì)算機(jī)視覺技術(shù)隨著其處理能力的不斷提高和改善，也有了很大發(fā)展。運(yùn)動(dòng)目標(biāo)檢測(cè)算法在國(guó)內(nèi)外均成為廣大專業(yè)學(xué)者們爭(zhēng)相研究的話題。有效識(shí)別運(yùn)動(dòng)目標(biāo)的首要條件是對(duì)運(yùn)動(dòng)目標(biāo)精準(zhǔn)檢測(cè)。但當(dāng)前，智能視頻文件分析技術(shù)和計(jì)算機(jī)視覺技術(shù)這兩種技術(shù)在現(xiàn)實(shí)生活應(yīng)用中面臨著諸多困難，尤其是攝像機(jī)發(fā)生運(yùn)動(dòng)和光線發(fā)生變化將會(huì)造成運(yùn)動(dòng)目標(biāo)檢測(cè)的難度提高[1]。

1 運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)

1.1 概念

運(yùn)動(dòng)目標(biāo)檢測(cè)意指在圖像序列的每一幀之間找到所需要物體發(fā)生移動(dòng)的方位。其難點(diǎn)是如何從一幅圖像中快速可靠地提取并匹配相應(yīng)目標(biāo)。運(yùn)動(dòng)補(bǔ)償、視頻壓縮編碼和視頻理解是當(dāng)前運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)需要實(shí)現(xiàn)的內(nèi)容。數(shù)字視頻處理、數(shù)字圖像處理和分析等都依靠運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)。判斷運(yùn)動(dòng)目標(biāo)檢測(cè)算法是否優(yōu)秀的標(biāo)準(zhǔn)是衡量該算法是否具有實(shí)時(shí)性、可信性以及廣泛性，這也是視頻監(jiān)控系統(tǒng)所必須要達(dá)到的期望。

1.2 運(yùn)動(dòng)目標(biāo)檢測(cè)算法

運(yùn)動(dòng)目標(biāo)檢測(cè)是指將背景圖像在視頻圖像序列中運(yùn)動(dòng)目標(biāo)范圍內(nèi)提取出來。一般情況下，對(duì)于運(yùn)動(dòng)目標(biāo)行為的理解與分析，圖像中與之對(duì)應(yīng)的運(yùn)動(dòng)區(qū)域是最需要考慮的因素。因此，有效提取出運(yùn)動(dòng)區(qū)域?qū)σ曨l文件分析有著重要意義。本文研究的是監(jiān)控視頻分析，在生活中，大多數(shù)視頻監(jiān)控系統(tǒng)都是通過固定攝像機(jī)獲取監(jiān)控視頻圖像的，因此其背景為靜態(tài)背景。而靜態(tài)背景下的常用方法是幀間差分法、光流法和背景差分法[2]。

1.3 幀間差分法

當(dāng)監(jiān)控視頻中有移動(dòng)過的物體時(shí)，視頻圖像序列中相鄰兩幀圖像就會(huì)發(fā)生較大變化。將這相鄰兩幀圖像通過算法相減，相減得到的絕對(duì)值就是這相鄰兩幀圖像的亮度差。將亮度差的值與閾值進(jìn)行比較，就可以知道其運(yùn)動(dòng)特征，而從判斷視頻圖像序列中是否存在發(fā)生相對(duì)位移的物體。

幀間差分法的計(jì)算公式為

式中：It（x，y），It-1（x，y）分別為視頻圖像序列中的相鄰兩幀圖像。其運(yùn)動(dòng)檢測(cè)公式為

式中：Mt（x，y）為二值化圖像；T為門限值。選取T=20，幀間差分法的二值化圖像仿真實(shí)驗(yàn)結(jié)果見圖1。

圖1 幀間差分法的二值化圖像仿真實(shí)驗(yàn)結(jié)果

由圖1的仿真實(shí)驗(yàn)結(jié)果可知，采用幀間差分法可以確切地檢測(cè)到運(yùn)動(dòng)目標(biāo)。觀察圖1中的仿真實(shí)驗(yàn)結(jié)果，能更清楚地獲得運(yùn)動(dòng)目標(biāo)的輪廓。這種算法具有很強(qiáng)的適應(yīng)場(chǎng)景更新的能力，這是因?yàn)殡S著時(shí)間的推移，背景像素不會(huì)累積并且快速變化。然而，由于幀間差分法表示相鄰兩個(gè)位置的變化量，因此當(dāng)運(yùn)動(dòng)物體相對(duì)比較大或者運(yùn)動(dòng)物體的內(nèi)部顏色相近時(shí)，可能會(huì)產(chǎn)生一系列的錯(cuò)誤判斷信息。在使用幀間差分法的情況下，需要考慮一個(gè)重要因素：如何選擇合理的時(shí)間差。而這個(gè)因素通常決定于運(yùn)動(dòng)目標(biāo)的速度。如果運(yùn)動(dòng)目標(biāo)的速度過快，就需要取較短的時(shí)間差。如果取的時(shí)間差不好的話，則會(huì)導(dǎo)致前后兩幀圖像中不重合，并被判斷為兩個(gè)單獨(dú)的運(yùn)動(dòng)目標(biāo)。如果運(yùn)動(dòng)目標(biāo)的速度相對(duì)緩慢，就需要取較長(zhǎng)的時(shí)間差；如果取的時(shí)間差不好的話，會(huì)導(dǎo)致前后兩幀圖像重合，根本無法得出運(yùn)動(dòng)目標(biāo)的輪廓以及具體位置。另外，在監(jiān)控視頻中，由于多個(gè)運(yùn)動(dòng)目標(biāo)的速度各不相同，因此會(huì)導(dǎo)致無法準(zhǔn)確地選取時(shí)間差。

1.4 背景差分法

背景差分法是采用視頻圖像序列中的當(dāng)前幀與背景參考模型進(jìn)行比較來檢測(cè)運(yùn)動(dòng)目標(biāo)，其中背景建模技術(shù)為該方法的核心，可以較為準(zhǔn)確地分割出運(yùn)動(dòng)目標(biāo)。

背景差分法分為主要的4步，分別為視頻圖像的預(yù)處理、背景建模、前景檢測(cè)以及后處理。

1）預(yù)處理是對(duì)數(shù)字視頻圖像進(jìn)行相對(duì)簡(jiǎn)單的空間濾波或者時(shí)間濾波，用來除掉一些瞬間環(huán)境噪聲，比如攝像機(jī)噪聲和自然天氣環(huán)境變化等。

2）背景建?？梢苑譃榻⒁粋€(gè)背景圖像和搭建一個(gè)模型作為背景圖像，是算法的核心。

3）前景檢測(cè)其實(shí)就是閾值分割。

4）后處理是消除不存在于運(yùn)動(dòng)目標(biāo)的準(zhǔn)確參考像素，以獲得運(yùn)動(dòng)目標(biāo)的準(zhǔn)確前景，例如，去掉小的和非真實(shí)的前景像素，去掉重合影子和產(chǎn)生的陰影。

構(gòu)建背景圖像最常用的方法是中值濾波。該方法的思路是：在視頻流動(dòng)界面內(nèi)創(chuàng)建長(zhǎng)度為L(zhǎng)、在該視頻流動(dòng)界面中存儲(chǔ)時(shí)間間隔最小的L幀不間斷的視頻圖像，按照像素位置的坐標(biāo)值相等的L幀視頻圖像以升序排列或者以降序排列。背景模型中每個(gè)像素的值的表達(dá)式為

背景差分法的二值化圖像仿真實(shí)驗(yàn)結(jié)果見圖2。

圖2 背景差分法的二值化圖像仿真實(shí)驗(yàn)結(jié)果

由圖2的仿真實(shí)驗(yàn)結(jié)果可知，采用背景差分法可以確切地檢測(cè)到運(yùn)動(dòng)目標(biāo)。該算法由于背景模型的建立和背景更新，產(chǎn)生的噪聲比幀間差分法少，檢測(cè)到的輪廓也比運(yùn)用幀間差分法檢測(cè)到的輪廓更為清晰。因此，可以看出，如果圖2的仿真實(shí)驗(yàn)結(jié)果是理想情況下的背景建模與背景更新，那么就可以得出如下結(jié)論：利用背景差分法比利用幀間差分法得出的仿真實(shí)驗(yàn)結(jié)果更為理想。

2 關(guān)鍵幀提取

對(duì)于一段監(jiān)控視頻文件而言，如果將其以幀區(qū)分，那么必然會(huì)有很多極其相似的相鄰幀。因此這段監(jiān)控視頻文件就會(huì)出現(xiàn)大量冗余信息，對(duì)于監(jiān)控視頻的存儲(chǔ)以及分析非常不便。因而可以提取視頻中的關(guān)鍵幀進(jìn)行存儲(chǔ)來代表這段視頻的信息，這將大大精簡(jiǎn)視頻信息、壓縮視頻內(nèi)容。

針對(duì)本研究中的監(jiān)控視頻文件進(jìn)行研究，可將其分為兩種視頻段：一種是關(guān)鍵視頻段；另一種是靜止視頻段。運(yùn)動(dòng)目標(biāo)的視頻信息存儲(chǔ)在關(guān)鍵視頻段中；背景全為靜止片段的冗余視頻信息則存儲(chǔ)在靜止視頻段中。

本文運(yùn)用背景差分法來判斷出現(xiàn)運(yùn)動(dòng)目標(biāo)的視頻段的位置信息，即起始幀和結(jié)束幀。對(duì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的關(guān)鍵視頻段中有目的地提取關(guān)鍵幀，先判斷其背景中是否含有運(yùn)動(dòng)目標(biāo)，如果有，則將這段視頻分割成相關(guān)的關(guān)鍵幀的視頻段，來達(dá)到無需進(jìn)行鏡頭邊界檢測(cè)的目的。

2.1 關(guān)鍵幀提取方法及操作步驟

本實(shí)驗(yàn)關(guān)鍵幀的提取方法及操作步驟如下。

1）用背景差分法對(duì)視頻F中含有運(yùn)動(dòng)目標(biāo)的關(guān)鍵幀的視頻段進(jìn)行檢測(cè)，記錄關(guān)鍵幀的視頻段的起始幀f1和結(jié)束幀fn。

2）解析視頻，得到關(guān)鍵的視頻圖像序列（f1，f2，f3，…，fn），然后根據(jù)互信息量It,t+1＜θ1，將解析得到的關(guān)鍵視頻段進(jìn)行分類，分類得到N類子視頻段S=｛S1，S2，S3，…，SN｝，設(shè)類Ci:{Si}共有類數(shù)M=N。

3）通過計(jì)算得到每類中互信息量的平均值Ii（i=1，2，…，M），并計(jì)算得到相鄰類間的互信息量的差值Ici,ci+1（Ci，Ci+1）。

4）根據(jù)閾值θ2判斷類間的相似度。當(dāng)Ici,ci+1（Ci，Ci+1）＜θ2時(shí)，合并兩類作為新類，且M=M-1（程序代碼），轉(zhuǎn)到第3步；否則，i=i+1（程序代碼），轉(zhuǎn)到第5步。

5）檢查是否聚類完畢，若i＜=M（程序代碼），則轉(zhuǎn)到第3步，繼續(xù)計(jì)算；否則，轉(zhuǎn)到第6步，對(duì)每類進(jìn)行關(guān)鍵幀的提??；

6）選取每類中互信息量的最大幀、最小幀和接近該類平均互信息量的一幀，放入候選幀集合K，i=1;

7）若i＜=n（程序代碼），則轉(zhuǎn)到第8步；否則，提取關(guān)鍵幀結(jié)束；

8）每類中最大幀、最小幀間差大于視頻頻率，則選擇這兩幀作為關(guān)鍵幀，i=i+3（程序代碼），轉(zhuǎn)到第7步；否則，選擇最接近類中平均互信息量的一幀最為關(guān)鍵幀，轉(zhuǎn)到第7步。

2.2 實(shí)驗(yàn)結(jié)果及分析

結(jié)合運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，在互信息量的基礎(chǔ)上，運(yùn)用關(guān)鍵幀提取技術(shù)進(jìn)行實(shí)驗(yàn)。

一段道路監(jiān)控視頻段分割之后，提取含有運(yùn)動(dòng)目標(biāo)的視頻段的關(guān)鍵幀。視頻時(shí)長(zhǎng)約為8 s，數(shù)據(jù)速率為273 kb/s，幀速率為20幀/s。在這段視頻中，共有164幀，圖3為該視頻段中的視頻主要內(nèi)容幀。

圖3 視頻主要內(nèi)容幀

利用提取關(guān)鍵幀的方法，可以得到2幀關(guān)鍵幀，見圖4。

圖4 提取關(guān)鍵幀

3 結(jié)論

本文主要運(yùn)用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，并與幀間差分法作了對(duì)比，背景差分法可以確切地檢測(cè)到運(yùn)動(dòng)目標(biāo)，該算法由于背景模型的建立和背景更新，產(chǎn)生的噪聲比幀間差分法少，檢測(cè)到的輪廓也比運(yùn)用幀間差分法檢測(cè)到的輪廓更為清晰。在監(jiān)控視頻中檢測(cè)到運(yùn)動(dòng)目標(biāo)的情況下，對(duì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的視頻段進(jìn)行關(guān)鍵幀提取，然而對(duì)于一段監(jiān)控視頻文件而言，如果將其以幀區(qū)分，那么必然會(huì)有很多極其相似的相鄰幀，因此這段監(jiān)控視頻文件就會(huì)出現(xiàn)大量冗余信息，對(duì)于監(jiān)控視頻的存儲(chǔ)以及分析非常不便。因而可以提取視頻中的關(guān)鍵幀進(jìn)行存儲(chǔ)來代表這段視頻的信息，這將大大精簡(jiǎn)視頻信息、壓縮視頻內(nèi)容。此外，這種對(duì)于關(guān)鍵幀的存儲(chǔ)方法也方便于快速查閱視頻內(nèi)容。