基于SEED-DTK6437的膚色檢測(cè)系統(tǒng)設(shè)計(jì)*

徐升陽(yáng),陳 芬,彭宗舉,趙江波,楊敏華

（寧波大學(xué) 信息科學(xué)與工程學(xué)院,浙江 寧波 315211）

在當(dāng)今的數(shù)字化時(shí)代背景下，隨著數(shù)字圖像處理技術(shù)和模式識(shí)別技術(shù)的蓬勃發(fā)展，人臉檢測(cè)技術(shù)也正迅速崛起并廣泛應(yīng)用在諸如安檢、身份識(shí)別、自動(dòng)監(jiān)控等相關(guān)領(lǐng)域。其中，人體的膚色信息是人體的一個(gè)重要特征，膚色檢測(cè)技術(shù)在人臉識(shí)別與跟蹤、敏感圖像過(guò)濾、數(shù)據(jù)庫(kù)中人物檢索和醫(yī)療診斷[1]等具體的視頻應(yīng)用中，膚色區(qū)域的檢測(cè)與定位的準(zhǔn)確程度直接影響到整個(gè)系統(tǒng)的檢測(cè)和識(shí)別精度。近幾年，各種數(shù)字信號(hào)處理器性能日益提高，TI公司專(zhuān)門(mén)為數(shù)字視頻應(yīng)用而開(kāi)發(fā)設(shè)計(jì)的DaVinci處理器系列具有運(yùn)算速度快、運(yùn)算精度高以及片內(nèi)存儲(chǔ)器容量大[2]等特點(diǎn)，因此,采用 DaVinci處理器進(jìn)行相應(yīng)的視頻處理保證了系統(tǒng)良好的實(shí)時(shí)性以及穩(wěn)定性，同時(shí)又有體積小、功耗低[3]的優(yōu)點(diǎn)。

1 膚色檢測(cè)系統(tǒng)總體設(shè)計(jì)

本文設(shè)計(jì)的膚色檢測(cè)系統(tǒng)主要是在所搭建的SEED-DEC6437開(kāi)發(fā)板、攝像頭和液晶顯示器等硬件平臺(tái)上，實(shí)現(xiàn)對(duì)實(shí)時(shí)視頻圖像檢測(cè)出相應(yīng)的膚色區(qū)域，并進(jìn)行實(shí)時(shí)定位與跟蹤，最后在彩色顯示器上實(shí)時(shí)輸出帶膚色區(qū)域標(biāo)記的視頻圖像，系統(tǒng)流程圖如圖1所示。

整個(gè)系統(tǒng)的數(shù)據(jù)流程為：首先從CCD攝像頭采集PAL制式模擬視頻信號(hào)，通過(guò)視頻解碼芯片TVP5150將模擬信號(hào)解碼成YCbCr422格式的數(shù)字圖像信號(hào)[4]，并通過(guò)數(shù)據(jù)總線將數(shù)據(jù)存儲(chǔ)至DDR2，DM6437通過(guò)訪問(wèn)DDR2進(jìn)行視頻數(shù)據(jù)的相應(yīng)處理。在本系統(tǒng)中，數(shù)據(jù)處理過(guò)程主要在于實(shí)現(xiàn)膚色檢測(cè)算法,其中主要包含圖像二值化，膚色區(qū)域閾值判斷和膚色區(qū)域定位、跟蹤，然后將處理完成的圖像數(shù)據(jù)通過(guò)DM6437的DAC輸出，最終在顯示器上呈現(xiàn)有膚色區(qū)域標(biāo)記的視頻圖像。

2 基于SEED-DEC6437視頻處理系統(tǒng)設(shè)計(jì)

在進(jìn)行膚色檢測(cè)之前，首先應(yīng)在SEED-DEC6437開(kāi)發(fā)板上搭建視頻輸入輸出系統(tǒng)，一般的視頻處理系統(tǒng)主要包括視頻采集、圖像處理和顯示3個(gè)模塊。SEEDDEC6437開(kāi)發(fā)板中，TMS320DM6437處理器中集成的視頻處理子系統(tǒng)（VPSS）包含視頻處理前端[5]（VPFE）和視頻處理后端[6]（VPBE）。VPFE用于視頻輸入，可以連接PAL標(biāo)準(zhǔn)模擬視頻輸入信號(hào)，也可以連接數(shù)字視頻輸入信號(hào)。

2.1 系統(tǒng)的視頻輸入設(shè)計(jì)

系統(tǒng)視頻輸入是利用解碼芯片TVP5150將模擬信號(hào)解碼成YCbCr422格式的數(shù)字圖像信號(hào)，再送入TMS320DM6437進(jìn)行相應(yīng)的圖像處理。TVP5150是一款高性能的視頻解碼芯片,可以將PAL制式的視頻信號(hào)或NTSC制式的視頻信號(hào)轉(zhuǎn)換成YCbCr422格式的數(shù)字信號(hào)[7],TMS320DM6437與TVP5150的連接框圖如圖2所示,在SEED-DEC6437開(kāi)發(fā)板上接一路復(fù)合視頻輸入。

TVP5150實(shí)時(shí)輸出的視頻圖像數(shù)據(jù)為符合ITU-R BT.656標(biāo)準(zhǔn)的 YCbCr 4：2：2數(shù)字視頻圖像數(shù)據(jù)，其特點(diǎn)是，每個(gè)像素點(diǎn)具有自己?jiǎn)为?dú)的亮度信息Y,但是每?jī)蓚€(gè)相鄰的像素共用同一組色度數(shù)據(jù)Cb和Cr，每行像素的數(shù)據(jù)在DM6437中存儲(chǔ)格式如表1所示。

圖2 TVP5150與DM6437鏈接示意圖

表1 YCbCr422數(shù)據(jù)存儲(chǔ)格式

2.2 系統(tǒng)的視頻輸出設(shè)計(jì)

TMS320DM6437視頻輸出采用內(nèi)置的VPSS的視頻輸出編碼模塊（VENC）中 4路 10 bit的 DAC輸出，實(shí)現(xiàn)CVBS與VGA的輸出。其中,CVBS輸出接口使用了其中1路DAC，VGA輸出接口使用了共3路的DAC。本系統(tǒng)主要采用composite復(fù)合信號(hào)的形式進(jìn)行最終實(shí)時(shí)圖像的輸出顯示。其視頻輸出連接示意圖如圖3所示。

圖3 視頻輸出示意圖

3 系統(tǒng)的膚色檢測(cè)設(shè)計(jì)

系統(tǒng)的膚色檢測(cè)是整個(gè)系統(tǒng)的核心部分，主要的圖像處理過(guò)程包括基于膚色信息的閾值判斷、圖像二值化和膚色區(qū)域的定位與跟蹤，最終實(shí)現(xiàn)從場(chǎng)景采集的實(shí)時(shí)視頻中檢測(cè)出有效的膚色區(qū)域，并對(duì)所檢測(cè)到的膚色區(qū)域進(jìn)行實(shí)時(shí)定位與跟蹤，并在彩色顯示器上實(shí)時(shí)輸出已經(jīng)對(duì)膚色區(qū)域完成框定標(biāo)記的視頻圖像。圖4為本膚色檢測(cè)系統(tǒng)數(shù)據(jù)處理過(guò)程的算法流程圖。

3.1 膚色區(qū)域檢測(cè)

目前有許多的顏色空間，陶霖密將顏色空間分為五類(lèi)[8]，其中YCbCr空間是感知均勻的色彩空間，可以方便地將數(shù)字圖像的色度和亮度互相分離，而且在YCbCr色彩空間中膚色具有較好的聚類(lèi)特性，易于實(shí)現(xiàn)聚類(lèi)算法。

本系統(tǒng)采用閾值方法對(duì)膚色區(qū)域進(jìn)行判斷，對(duì)視頻圖像中的每一個(gè)像素（i，j）逐一進(jìn)行判斷，主要通過(guò)對(duì)Cb和Cr色度信息的限制提取出膚色區(qū)域。

在閾值判斷方法的基礎(chǔ)上對(duì)圖像進(jìn)行基于膚色圖像二值化處理，將屬于膚色區(qū)域的像素點(diǎn)的亮度信息置為0xff，即為最亮,同時(shí)將非膚色區(qū)域的亮度信息置為0，得到二值化圖像,因此限制出膚色區(qū)域,圖5給出了基于膚色信息的閾值判斷對(duì)圖像進(jìn)行二值化處理的前后對(duì)比效果，可見(jiàn)，其具有輪廓清晰度高、良好的實(shí)時(shí)性的特點(diǎn)。

3.2 二值化圖像中膚色區(qū)域定位與跟蹤

膚色區(qū)域定位與跟蹤算法主要采用掃描連通區(qū)域的形式確定膚色區(qū)域,并采用卡爾曼(Kalman)濾波還原出不清晰圖像信息，將獲取的起始行、結(jié)束行、起始列、結(jié)束列數(shù)據(jù)與圖像數(shù)據(jù)起始地址一起作為實(shí)參再調(diào)用勾畫(huà)外接矩形函數(shù)，更加直觀地體現(xiàn)出膚色區(qū)域的具體方位。

圖5 基于膚色信息的圖像二值化

膚色區(qū)域邊沿定位時(shí)采用卡爾曼濾波，其利用最小平方的預(yù)測(cè)迭代算法，對(duì)目標(biāo)在陰暗處、遮擋處做出預(yù)測(cè)。首先根據(jù)當(dāng)前時(shí)刻狀態(tài)進(jìn)行預(yù)判，由此引入預(yù)觀測(cè)數(shù)據(jù)，然后根據(jù)預(yù)觀測(cè)數(shù)據(jù)更新當(dāng)前狀態(tài)。因?yàn)樵谀w色定位過(guò)程中能較精準(zhǔn)地統(tǒng)計(jì)目標(biāo)位置的坐標(biāo)(Pxk,Pyk)，所以近似認(rèn)為：在目標(biāo)動(dòng)作變化速度不快的前提下，下一狀態(tài)的速度范圍在當(dāng)前速度鄰域內(nèi)。系統(tǒng)的觀測(cè)方程和狀態(tài)方程對(duì)不準(zhǔn)確的膚色信息做出預(yù)測(cè)：

其中，UK,XK=(PXK,PYK,VXK,VYK)和 ZK=(PXK,PYK)T分別為 k時(shí)刻的輸入變量、狀態(tài)變量和測(cè)量變量；A和H矩陣分別為狀態(tài)轉(zhuǎn)換矩陣和觀測(cè)轉(zhuǎn)換矩陣。

由于考慮噪聲影響，將噪聲優(yōu)化為加性高斯白噪聲進(jìn)行處理，其中(-)表示從k-1～k時(shí)刻的預(yù)測(cè)值，(+)表示k-1時(shí)刻的更新值，Pk為k時(shí)刻的預(yù)測(cè)誤差。更新方程為：

其中，Kk是卡爾曼增益[9]。

跟蹤原則：為進(jìn)入鏡頭的目標(biāo)膚色檢測(cè)輸入建立一個(gè)卡爾曼濾波器。利用上述預(yù)方程測(cè)式和現(xiàn)有幀的測(cè)量值比對(duì)，且滿足如下公式：

其中，dx、dy分別是x和y方向允許的最大位置誤差，則預(yù)測(cè)膚色和測(cè)量膚色信息可建立匹配關(guān)系；如果在k幀找 不 到 測(cè) 量 膚 色 信 息 與 之 匹 配 ， 且 點(diǎn)(P?XK、P?YK)位 置 在 場(chǎng)景中，則認(rèn)為目標(biāo)膚色在檢測(cè)時(shí)丟失，用預(yù)測(cè)值估計(jì)目標(biāo)位置,這解決了膚色在不同環(huán)境下實(shí)現(xiàn)系統(tǒng)的自動(dòng)檢測(cè)。

圖6展示了在二值化圖像中采用Kalman濾波后進(jìn)行膚色區(qū)域定位與跟蹤的效果。

圖6 膚色區(qū)域定位前后對(duì)比圖

3.3 彩色圖像中膚色區(qū)域定位與跟蹤

由于在對(duì)圖像進(jìn)行二值化過(guò)程中,破壞了原來(lái)YCbCr顏色空間的數(shù)據(jù)值，即改變了原色彩圖像中的亮度信息，經(jīng)過(guò)數(shù)據(jù)處理得到的膚色檢測(cè)效果圖只存在0xff和0，即顯示的圖像為黑白圖像，為了最終顯示效果能達(dá)到模擬人眼的色彩圖像[10]，要求在設(shè)計(jì)過(guò)程中盡量保持原有的亮度信息和色度信息，以確保輸出圖像更好地模擬場(chǎng)景。

為實(shí)現(xiàn)在彩色圖像中進(jìn)行區(qū)域定位，就應(yīng)當(dāng)保持圖像原有的亮度信息和色度信息，因此在膚色區(qū)域判斷閾值時(shí)，直接在Cb、Cr色度信息屬于膚色范圍的圖像數(shù)據(jù)中運(yùn)用閾值法進(jìn)行膚色區(qū)域判斷，并在彩色圖像中采用膚色區(qū)域外接矩形的形式來(lái)達(dá)到膚色區(qū)域的定位與跟蹤，使得整個(gè)膚色系統(tǒng)在效果上做到最大程度地模擬實(shí)際場(chǎng)景，具有更好的人機(jī)交互功能。系統(tǒng)測(cè)試以真實(shí)場(chǎng)景為測(cè)試對(duì)象進(jìn)行測(cè)試，在遠(yuǎn)場(chǎng)景和近場(chǎng)景均可獲得較好的檢測(cè)效果，而且整個(gè)系統(tǒng)具有良好的實(shí)時(shí)性和穩(wěn)定性。圖7為系統(tǒng)最終輸出的膚色檢測(cè)效果。

圖7 膚色檢測(cè)系統(tǒng)效果圖

本文以SEED-DEC6437開(kāi)發(fā)板為核心硬件，構(gòu)造了一個(gè)實(shí)時(shí)膚色檢測(cè)系統(tǒng)。首先在DSP/BIOS環(huán)境下實(shí)現(xiàn)了視頻采集驅(qū)動(dòng)程序，進(jìn)而成功地在SEED-DEC6437開(kāi)發(fā)板上搭建了視頻輸入輸出系統(tǒng)，該系統(tǒng)具有良好的實(shí)時(shí)性及穩(wěn)定性。其次，在程序代碼中利用了TI提供的圖像處理庫(kù)并調(diào)用相應(yīng)的函數(shù)，用二值化圖像中有效檢測(cè)到的膚色區(qū)域進(jìn)行實(shí)時(shí)跟蹤。最后，為了獲得更好的人機(jī)交互效果，實(shí)現(xiàn)了在彩色圖像中進(jìn)行有效的膚色檢測(cè)、定位與跟蹤，并且整個(gè)視頻處理系統(tǒng)具有算法簡(jiǎn)單、實(shí)時(shí)性好以及性能穩(wěn)定等優(yōu)點(diǎn)。

[1]DENIZ O,CASTRILLON M,HERNANDEZ M.Face recognition using independent component analysis and support vector machiners[J].Pattern Recognition Letters， 2003(24)：2153-2157.

[2]彭啟琮.達(dá)芬奇技術(shù)——數(shù)字圖像/視頻信號(hào)處理新平臺(tái)[M].北京.電子工業(yè)出版社,2008.

[3]鄒彥.DSP原理及運(yùn)用[M].北京：電子工業(yè)出版社,2007.

[4]Texas Instruments Incorporated.TMS320DM6437 evaluation module(EVM)quick start installation guide[Z].Dalls：Texas Instruments Incorporated,2006.

[5]Texas Instruments Incorporated.TMS320DM643x DMP video processing front end（VPFE）user′s guide[Z].Dalls：Texas Instruments Incorporated,2008,SPRU977A：14-18.

[6]Texas Instruments Incorporated.TMS320DM643x DMP video processing back end（VPBE）user′s guide[Z].Dalls：Texas Instruments Incorporated,2008,SPRU952A：13-17.

[7]周金模.基于達(dá)芬奇技術(shù)的嵌入式實(shí)時(shí)視頻研究[D].武漢：華中師范大學(xué),2008.

[8]陶霖密,彭振云,徐光佑.人體的膚色特征[J].軟件學(xué)報(bào),2001,12(7)：1032-1047.

[9]毛爽，方穎，陳曙，等.基于多人遮擋的定位跟蹤算法[J].計(jì)算機(jī)工程,2009,35(8)：226-227，230.

[10]張翠平,蘇光大.人臉識(shí)別技術(shù)綜述[J].中國(guó)圖像圖形學(xué)報(bào),2000,5（11）：885-894.