動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)的自動(dòng)捕獲系統(tǒng)設(shè)計(jì)

摘 要： 動(dòng)態(tài)環(huán)境下對(duì)多媒體視頻興趣區(qū)進(jìn)行捕獲時(shí)，圖像背景是持續(xù)轉(zhuǎn)變的，存在高低不平的布局問(wèn)題，導(dǎo)致當(dāng)前面向特定背景環(huán)境的目標(biāo)捕獲方法，無(wú)法獲取清晰的圖像，提出依據(jù)優(yōu)化目標(biāo)捕獲算法，設(shè)計(jì)動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)自動(dòng)捕獲系統(tǒng)。該系統(tǒng)通過(guò)多媒體視頻圖像采集模塊采集多媒體視頻圖像的數(shù)據(jù)，利用數(shù)據(jù)格式轉(zhuǎn)換模塊變換獲取多媒體視頻圖像數(shù)據(jù)，完成轉(zhuǎn)換的視頻圖像數(shù)據(jù)可存儲(chǔ)在數(shù)據(jù)緩存模塊中，圖像算法分析模塊采用高斯混合模型提高圖像背景的透明度，捕獲清晰的視頻興趣區(qū)圖像，并將捕獲的圖像目標(biāo)傳動(dòng)核心芯片為ADV7123的視頻圖像顯示模塊進(jìn)行顯示。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)可準(zhǔn)確捕獲運(yùn)動(dòng)的視頻興趣區(qū)目標(biāo)，并且目標(biāo)清晰度較高。

關(guān)鍵詞： 動(dòng)態(tài)環(huán)境； 多媒體； 視頻； 興趣區(qū)； 自動(dòng)捕獲

中圖分類(lèi)號(hào)： TN948.64?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）16?0094?04

Abstract： When the multimedia video region of interest （ROI） is captured in dynamic environment， the available target capture method can’t acquire the clear image in a specific background environment due to the continuously changing image background and rough layout， so a capture algorithm based on optimal target is proposed to design the automatic capture system for multimedia video ROI in dynamic environment. In the system， the multimedia video image data is acquired by means of the multimedia video image acquisition module， transformed with data format conversion module， and then the converted multimedia video image data can be stored in data cache module. The Gaussian mixture model is adopted in the image algorithm analysis module to improve the transparency of image background， and capture the clear video ROI image. The captured target image is sent to the core chip ADV7123 in the video image display module for display. The experimental results indicate that the designed system can capture the moving video ROI target accurately， and obtain high resolution target image.

Keywords： dynamic environment； multimedia； video； region of interest； automatic capture

0 引 言

隨著視頻壓縮編碼技術(shù)以及互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，視頻監(jiān)控業(yè)務(wù)被廣泛應(yīng)用在不同的領(lǐng)域中。動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)的目標(biāo)捕獲是計(jì)算機(jī)視覺(jué)領(lǐng)域研究人員的熱點(diǎn)分析方向[1?3]。當(dāng)前的目標(biāo)捕獲方法大都面向特定背景環(huán)境，無(wú)法有效處理動(dòng)態(tài)環(huán)境下圖像背景的高低不平布局問(wèn)題，無(wú)法獲取清晰的圖像[4?5]。

現(xiàn)存的目標(biāo)捕獲方法存在一定的弊端，文獻(xiàn)[6]提出的幀間差分法依據(jù)前后相鄰幀圖像像素灰度值的波動(dòng)情況，采集興趣目標(biāo)，但是其僅可獲取目標(biāo)的外圍信息，無(wú)法得到圖像細(xì)節(jié)。文獻(xiàn)[7]通過(guò)差分相鄰幀，捕獲興趣目標(biāo)，雖然提高了算法的魯棒性，但是獲取的目標(biāo)中會(huì)存在空洞，目標(biāo)圖像模糊。文獻(xiàn)[8]通過(guò)光流法將空間的運(yùn)動(dòng)場(chǎng)描述成圖像中的光流場(chǎng)，完成目標(biāo)的捕獲，其可在攝像機(jī)運(yùn)動(dòng)條件下捕獲出相應(yīng)的運(yùn)動(dòng)目標(biāo)，但是運(yùn)算量較高，抗噪性能弱。文獻(xiàn)[9]采用非參數(shù)模型捕獲興趣目標(biāo)，該方法先獲取包含目標(biāo)的模板，再在序列圖像中對(duì)目標(biāo)進(jìn)行跟蹤，該方法存在耗時(shí)高的缺陷，局限于捕獲較小的興趣目標(biāo)。

因?yàn)樯鲜龇治龇椒ǘ即嬖谝欢ǖ娜毕?，因此，提出依?jù)優(yōu)化目標(biāo)捕獲算法，設(shè)計(jì)動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)自動(dòng)捕獲系統(tǒng)。實(shí)驗(yàn)結(jié)果說(shuō)明，所設(shè)計(jì)系統(tǒng)可準(zhǔn)確捕獲運(yùn)動(dòng)的視頻興趣區(qū)目標(biāo)，并且目標(biāo)清晰度較高。

1 系統(tǒng)硬件實(shí)現(xiàn)

1.1 系統(tǒng)總體結(jié)構(gòu)

動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)的自動(dòng)捕獲系統(tǒng)，由視頻圖像采集和轉(zhuǎn)換模塊、總線模塊設(shè)計(jì)、數(shù)據(jù)緩存模塊、視頻圖像顯示模塊、圖像算法分析模塊構(gòu)成，如圖1所示。主要的目標(biāo)是捕獲動(dòng)態(tài)目標(biāo)，先采集多媒體視頻圖像的數(shù)據(jù)，再變換獲取的多媒體視頻圖像數(shù)據(jù)，完成轉(zhuǎn)換的視頻圖像數(shù)據(jù)可存儲(chǔ)在數(shù)據(jù)緩存模塊中，圖像算法分析模塊采用高斯混合模型針對(duì)高低不平的背景圖像布局，增強(qiáng)圖像背景的透明度，捕獲清晰的視頻興趣區(qū)圖像目標(biāo)，并將捕獲的圖像目標(biāo)傳動(dòng)到視頻圖像顯示模塊呈現(xiàn)給用戶。

1.2 多媒體視頻圖像采集模塊設(shè)計(jì)

多媒體視頻圖像采集模塊對(duì)攝像頭獲取的多媒體視頻圖像數(shù)據(jù)進(jìn)行傳遞、變換和操作，并對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)。通過(guò)多媒體視頻輸入部件也就是攝像機(jī)，獲取外部視頻數(shù)據(jù)，攝像機(jī)中的圖像傳感器可將外部圖像光信號(hào)變換成模擬信號(hào)，通過(guò)模數(shù)變換后，形成系統(tǒng)可處理的數(shù)據(jù)信號(hào)。選擇MT9M011型圖像傳感器，該傳感器是有源像素?cái)?shù)字圖像傳感器，擁有耗能低的優(yōu)勢(shì)。

1.3 數(shù)據(jù)格式轉(zhuǎn)換模塊設(shè)計(jì)

多媒體視頻興趣區(qū)的自動(dòng)捕獲系統(tǒng)中的MT9M011圖像傳感器，會(huì)輸出RAW RGB格式的圖像數(shù)據(jù)，該種圖像數(shù)據(jù)顏色格式的濾波陣列中，各感光點(diǎn)都獨(dú)立完成釆樣和分割，為了提高捕獲視頻圖像的清晰度，要求捕獲的圖像的數(shù)據(jù)格式中的各像素點(diǎn)由R，G，B顏色分量構(gòu)成。因此，需要將圖像傳感器獲取的RAW RGB格式圖像數(shù)據(jù)，變換成所需的位格式，要求R，G，B三種顏色分量均衡分配。具體的變換過(guò)程如下：

1.4 視頻圖像顯示模塊設(shè)計(jì)

多媒體視頻圖像顯示模塊包括VGA Controller 模塊和ADV7123 芯片，該模塊設(shè)計(jì)了VGA時(shí)序，確保顯示更加清晰的視頻圖像。VGA Controller 從數(shù)據(jù)緩存模塊中采集待顯示的 8 位 RGB目標(biāo)圖像數(shù)據(jù)，ADV7123 視頻編碼芯片對(duì)圖像數(shù)據(jù)進(jìn)行 A/D 轉(zhuǎn)換，將數(shù)字信號(hào)編碼成模擬視頻信號(hào)，再傳遞到VGA 顯示器上進(jìn)行顯示， ADV7123 電路原理圖如圖2所示。

2 系統(tǒng)軟件設(shè)計(jì)

2.1 軟件功能模塊

依照系統(tǒng)操作步驟，系統(tǒng)軟件可由視頻輸入及初始化模塊、目標(biāo)捕獲及顯示模塊構(gòu)成。視頻輸入及初始化模塊對(duì)視頻依次排列后進(jìn)行輸入并建立系統(tǒng)參數(shù)。視頻需要輸入的內(nèi)容有采集 USB 攝像頭視頻和翻譯后的 AVI 格式視頻，而系統(tǒng)參數(shù)需要建立的內(nèi)容有背景模型參數(shù)、目標(biāo)捕獲參數(shù)和目標(biāo)跟蹤參數(shù)；系統(tǒng)中的高斯混合目標(biāo)捕獲算法由目標(biāo)捕獲及顯示模塊實(shí)現(xiàn)，在圖像幀里獲取運(yùn)動(dòng)對(duì)象的捕獲結(jié)果，并將其呈現(xiàn)到控件窗口上。系統(tǒng)軟件的功能構(gòu)架如圖3所示。

2.2 基于高斯混合模型的視頻興趣區(qū)自動(dòng)捕獲

多媒體視頻興趣區(qū)目標(biāo)圖像的捕獲，需要判別視頻幀圖像排列中有無(wú)前景目標(biāo)的展露，若有，需要先鎖定對(duì)象，再實(shí)施查看對(duì)象的操作。在真實(shí)監(jiān)測(cè)狀態(tài)下，多媒體視頻興趣區(qū)圖像背景是持續(xù)轉(zhuǎn)變的，因此圖像背景存在高低不平的布局特點(diǎn)，通過(guò)高斯混合模型可提高背景的透明度，捕獲清晰的視頻興趣區(qū)圖像。

假設(shè)K為高斯模型，用于代表多媒體視頻興趣區(qū)的圖像像素情況，K值描述了像素峰值散布的數(shù)量：

[p（xt）=i=1Kωi，t（2π）n2Σi，t12e-12（xt-ui，t）TΣ-1i，t（xt-ui，t）] （1）

式中：[ωi，t]用于描述時(shí)間為t時(shí)高斯混合模型里第i個(gè)高斯分布的權(quán)重；[Xt=[xet，xft，xvt]T]為時(shí)間為t時(shí)像素的RGB色彩向量；n為3；[ut=[uei，t，ufi，t，uvi，t]T]代表時(shí)間為t時(shí)第i個(gè)高斯散布的均值向量，[Σi，t=σ2i，tIn]代表時(shí)間為t時(shí)第i個(gè)高斯散布的協(xié)方差矩陣。

根據(jù)高斯混合模型，完成多媒體視頻興趣區(qū)圖像的背景檢測(cè)，主要借助模型創(chuàng)設(shè)、模型更新和背景模型估計(jì)及背景分割3大部分實(shí)現(xiàn)。以下為詳細(xì)介紹：

（1） 模型創(chuàng)設(shè)。在創(chuàng)設(shè)混合高斯模型時(shí)，需收集在某一特定時(shí)段內(nèi)，多媒體視頻排列中全部圖像像素，根據(jù)對(duì)它們進(jìn)行分析運(yùn)算后得到灰度平均值[μ0]和方差[σ20]，達(dá)到初始化背景環(huán)境模型參數(shù)的目的，以式（2）、式（3）為例。

[μ0=1Nt=0N-1It] （2）

[σ20=1Nt=0N-1（It-μ0）2] （3）

當(dāng)高斯散布模型被初始化之后，即將進(jìn)入更新部分，可直接操縱第一幀的圖像像素點(diǎn)的均值，此刻，應(yīng)給出相對(duì)大一些的方差和相對(duì)小一些的權(quán)重。

（2） 模型更新。創(chuàng)設(shè)模型是在采集多媒體視頻興趣區(qū)圖像背景環(huán)境的條件下進(jìn)行，因此必須時(shí)刻對(duì)視頻圖像高斯模型中的均值和方差進(jìn)行變更。等到下一幀時(shí)，把像素色彩向量的值配置到高斯分布中，倘若[Xt-ui，t≤2.5σ2i，t]，那么[Xt]與第i個(gè)高斯分布完成配置，相反則配置失敗。完成配置的第i個(gè)高斯分布的參數(shù)，根據(jù)以下公式進(jìn)行變更：

[ui，t=（1-ρi，t）ui，t-1+ρi，tXt] （4）

[σ2i，t=（1-ρi，t）σ2i，t-1+ρi，t（Xt-ui，t）T（Xt-ui，t）] （5）

參數(shù)學(xué)習(xí)速率為[ρi，t]，且[ρi，t≈αωi，t]。[α]是用戶自定義的學(xué)習(xí)速率（常用值為0.005）。

在創(chuàng)設(shè)當(dāng)前圖像像素的全部高斯分布中，假設(shè)并沒(méi)有能與[Xt]相配的高斯分布，則需將[Xt]當(dāng)成均值授予最小權(quán)重的高斯分布，并更新高斯分布，將相對(duì)較小的權(quán)重和較大的方差給予高斯分布。經(jīng)過(guò)一系列操作，完成配置后，根據(jù)式（6），將同樣的像素中每個(gè)高斯分布的權(quán)重進(jìn)行描述：

[ωi，t=（1-α）ωi，t-1+αMi，t] （6）

式（6）中，若將第i個(gè)高斯分布與[Xt]進(jìn)行配置，那么[Mi，t]為1，反之為0。把全部高斯分布的權(quán)重都重新設(shè)置完成后，將其統(tǒng)一整理，進(jìn)行接下來(lái)的操作。

（3）背景模型估計(jì)及前景分割

[B=argminbk=1bωk>T， 0.5

[ωi，tσi，t]的比值根據(jù)從大到小的規(guī)律，將創(chuàng)設(shè)各個(gè)像素的全部高斯分布進(jìn)行依次排列，按照式（7），在已經(jīng)有相應(yīng)順序的高斯分布里，收集B個(gè)之前的高斯分布，以此當(dāng)成闡明多媒體視頻興趣區(qū)圖像背景像素的最好布局。隨之，將[Xt]與之前提及的B個(gè)高斯分布進(jìn)行相應(yīng)配置，若[Xt]與B個(gè)之前的某一個(gè)高斯分布能夠配置成功，那么這個(gè)像素就可以作為前景點(diǎn)，反之就是背景點(diǎn)。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)在Visual Studio 2008平臺(tái)下，通過(guò) C#語(yǔ)言對(duì)本文設(shè)計(jì)的多媒體視頻興趣區(qū)自動(dòng)捕獲系統(tǒng)的性能進(jìn)行檢測(cè)。實(shí)驗(yàn)分別采用傳統(tǒng)光流法以及本文方法，對(duì)在公園拍攝的兩段視頻（大小均為 520×460）進(jìn)行分析。

實(shí)驗(yàn)結(jié)果1：兩種方法對(duì)視頻區(qū)行人目標(biāo)的跟蹤結(jié)果見(jiàn)圖4、圖5，可看出本文系統(tǒng)可準(zhǔn)確捕獲運(yùn)動(dòng)的行人目標(biāo)，而光流法捕獲的行人目標(biāo)存在較高的偏差。

實(shí)驗(yàn)結(jié)果2：兩種方法完成了對(duì)快速騎車(chē)通過(guò)視頻興趣區(qū)的目標(biāo)捕獲情況，如圖6和圖7所示。由于騎車(chē)速度較快，可以看出光流法捕獲的目標(biāo)模糊，而本文方法能夠清楚地捕獲騎車(chē)目標(biāo)，甚至可以看清騎車(chē)人的臉部，檢測(cè)結(jié)果中存在較少的噪聲點(diǎn)，具有較高的精確度。

實(shí)驗(yàn)統(tǒng)計(jì)兩種方法進(jìn)行10次測(cè)試的視頻興趣區(qū)捕獲誤差，結(jié)果如表1所示?？梢钥闯霰疚姆椒▽?duì)應(yīng)不同的視頻興趣區(qū)的捕獲誤差較低，并始終低于光流法，具有較高的優(yōu)勢(shì)。

4 結(jié) 論

本文提出依據(jù)優(yōu)化目標(biāo)捕獲算法，設(shè)計(jì)動(dòng)態(tài)環(huán)境下多媒體視頻興趣區(qū)自動(dòng)捕獲系統(tǒng)。該系統(tǒng)通過(guò)多媒體視頻圖像采集模塊采集多媒體視頻圖像的數(shù)據(jù)，采用數(shù)據(jù)格式轉(zhuǎn)換模塊變換獲取的多媒體視頻圖像數(shù)據(jù)，完成轉(zhuǎn)換的視頻圖像數(shù)據(jù)可存儲(chǔ)在數(shù)據(jù)緩存模塊中。圖像算法分析模塊采用高斯混合模型提高圖像背景的透明度，捕獲清晰的視頻興趣區(qū)圖像，并將捕獲的圖像目標(biāo)傳動(dòng)到核心芯片為ADV7123的視頻圖像顯示模塊進(jìn)行顯示。實(shí)驗(yàn)結(jié)果說(shuō)明，所設(shè)計(jì)系統(tǒng)可準(zhǔn)確捕獲運(yùn)動(dòng)的視頻興趣區(qū)目標(biāo)，并且目標(biāo)清晰度較高。

參考文獻(xiàn)

[1] Cisco Company. Cisco visual networking index： global mobile data traffic forecast update， 2015–2020 White Paper [R/OL]. [2016?02?01]. http//： www.cisco.com/en/US.

[2] 溫洪波.視頻技術(shù)在多媒體課件中的應(yīng)用[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2014（4）：208?209.

[3] 賈金利.多媒體技術(shù)在新聞學(xué)課程教學(xué)中的合理運(yùn)用[J].中國(guó)輕工教育，2013（2）：78?80.

[4] 李宇成，李聰.基于DM368的視頻處理及軟件設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2013，21（10）：2865?2867.

[5] 吳笑天，魯劍鋒，王宇慶，等.基于DM368的無(wú)人機(jī)視頻壓縮系統(tǒng)的設(shè)計(jì)[J].液晶與顯示，2014（12）：1117?1123.

[6] 范新磊，張杰.基于FPGA的視頻圖像實(shí)時(shí)采集與顯示研究[J].電子制作，2013（4）：72.

[7] 常高嘉，馮全源.基于FPGA的高速數(shù)據(jù)釆集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子器件，2012，35（5）：217?220.

[8] 廖廣軍.復(fù)雜條件下的人臉檢測(cè)與識(shí)別應(yīng)用研究[D].廣州：華南理工大學(xué)，2014.

[9] 曹健，陳紅倩，毛典輝，等.基于局部特征的圖像目標(biāo)識(shí)別問(wèn)題綜述[J].中南大學(xué)學(xué)報(bào)（自然科學(xué)版），2013（z2）：258?262.