一種基于人臉對(duì)稱(chēng)性的差錯(cuò)掩蓋方法

賴(lài) 俊，張江鑫

(浙江工業(yè)大學(xué)省通信網(wǎng)應(yīng)用技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，浙江杭州310023)

0 引言

近年來(lái)，隨著通信技術(shù)的提高，視頻業(yè)務(wù)也得到了快速發(fā)展。然而由于網(wǎng)絡(luò)擁塞等原因，視頻傳輸中有時(shí)會(huì)發(fā)生丟包，且錯(cuò)誤將會(huì)在時(shí)域和空域上擴(kuò)散，嚴(yán)重影響接收端的視頻質(zhì)量，因此，一個(gè)解碼端的差錯(cuò)掩蓋技術(shù)是十分必要的。H.264參考模型里采用的是雙線(xiàn)性插值算法，這種方法只對(duì)平滑區(qū)域取得較好的恢復(fù)效果，對(duì)邊緣區(qū)域恢復(fù)效果不夠理想。為克服這個(gè)缺點(diǎn)，方向插值算法先找出邊緣方向，然后沿著邊緣方向進(jìn)行插值，一定程度判斷了邊緣信息［1］。而自適應(yīng)空域差錯(cuò)掩蓋算法則把丟失宏塊劃分為平滑塊和邊緣塊，分別采用雙線(xiàn)性插值算法和方向插值算法進(jìn)行插值，取得一定改進(jìn)效果［2］。文獻(xiàn)3提出基于人臉特征的自適應(yīng)空域差錯(cuò)掩蓋方法，先通過(guò)人臉檢測(cè)技術(shù)檢測(cè)出人臉，然后對(duì)人臉區(qū)域采用水平方向插值的方法，對(duì)其它區(qū)域則采用文獻(xiàn)2的自適應(yīng)插值算法，利用了人臉五官呈水平方向的特征，取得一定改進(jìn)效果，但用的依舊是插值的方法，恢復(fù)區(qū)域容易模糊，而五官位置模糊是難以讓人接受的?；谝陨犀F(xiàn)狀，本文提出一種基于人臉對(duì)稱(chēng)性的差錯(cuò)掩蓋方法，對(duì)符合條件的人臉區(qū)域取得較好的視覺(jué)效果，一定程度上避免了插值算法造成的五官特征模糊。

1 方法分析

實(shí)際視頻業(yè)務(wù)中，人臉往往是人們關(guān)注的焦點(diǎn)，一旦人臉區(qū)域出錯(cuò)，將會(huì)嚴(yán)重影響視覺(jué)效果，因此對(duì)人臉區(qū)域的差錯(cuò)掩蓋也顯得極為重要。人臉區(qū)域又是非常有自身特點(diǎn)的一塊區(qū)域，文獻(xiàn)3利用了人臉五官大致呈水平方向的特征進(jìn)行水平插值，然而插值的方法依舊容易造成模糊;本文利用人臉對(duì)稱(chēng)的特點(diǎn)，對(duì)于呈現(xiàn)對(duì)稱(chēng)的人臉，若其中半邊人臉有象素丟失，就用另外半邊對(duì)應(yīng)位置的象素進(jìn)行掩蓋而對(duì)于其它區(qū)域，采用文獻(xiàn)2自適應(yīng)插值算法進(jìn)行掩蓋，具體方法流程圖如圖1所示。

圖1 方法流程圖

2 對(duì)稱(chēng)人臉區(qū)域的掩蓋

2.1 膚色分割

人臉檢測(cè)是指對(duì)于一幅給定的圖像，采用一定的策略對(duì)其進(jìn)行搜索以確定其是否含有人臉，常用的策略有基于膚色分割的方法和基于人臉特征的方法。由于本文是要在差錯(cuò)掩蓋中應(yīng)用人臉檢測(cè)方法，因而被檢測(cè)的人臉很可能是丟失掉一些部分的不完全人臉，顯然進(jìn)行類(lèi)人臉特征計(jì)算可能會(huì)就出現(xiàn)一些錯(cuò)誤，因此采用基于膚色分割的方式進(jìn)行初步的人臉檢測(cè)。

常用的顏色空間主要有:YCbCr，HSV，YIQ等，由于YCbCr空間具有將色度CbCr與亮度Y分離的特點(diǎn)，因此選擇在YCbCr空間進(jìn)行膚色分割。在YCbCr空間中提取人臉候選區(qū)，膚色區(qū)域相對(duì)集中，可以采用高斯分布來(lái)描述這種分布［4］。且由于本文中用于仿真的視頻序列是4∶2∶0的yuv格式，與YCbCr格式視頻一樣，因而不需要進(jìn)行從其它顏色空間到Y(jié)CbCr空間的轉(zhuǎn)換。計(jì)算各個(gè)象素屬于膚色的可能性大小，取值范圍為［0，1］。采用文獻(xiàn)4中的計(jì)算方式對(duì)各象素與膚色的相似程度進(jìn)行計(jì)算，計(jì)算公式為:

圖2 膚色分割效果

2.2 相似度判斷并掩蓋

對(duì)于有必要進(jìn)行特殊的人臉差錯(cuò)掩蓋的人臉區(qū)域，大多已經(jīng)丟失了人臉關(guān)鍵信息，因此本文沒(méi)有在膚色分割基礎(chǔ)上根據(jù)人臉關(guān)鍵信息做進(jìn)一步的檢測(cè)，而是對(duì)膚色分割后的每塊連續(xù)區(qū)域先進(jìn)行垂直分割，分割后對(duì)兩側(cè)未丟失的區(qū)域進(jìn)行相似度判斷，以此排除非人臉的膚色區(qū)域，同時(shí)也排除了沒(méi)有對(duì)稱(chēng)的人臉。

首先假設(shè)檢測(cè)出的每塊連續(xù)都是對(duì)稱(chēng)的人臉，且對(duì)稱(chēng)的人臉區(qū)域計(jì)算垂直分割線(xiàn)的一種方法是找到這塊區(qū)域在水平方向上最寬的線(xiàn)段并計(jì)算其中點(diǎn)，然后在這個(gè)中點(diǎn)做這條最寬線(xiàn)段的垂線(xiàn)，這條垂線(xiàn)就是連續(xù)區(qū)域的分割線(xiàn)，接下來(lái)就對(duì)分割線(xiàn)兩側(cè)的區(qū)域進(jìn)行相似度判斷。

采用文獻(xiàn)5中的方法來(lái)計(jì)算分割線(xiàn)兩側(cè)區(qū)域的相似度，根據(jù)圖像灰度值數(shù)據(jù)，相似度計(jì)算公式如下:

式中，α和β分別為相似系數(shù)和相對(duì)歐氏距離系數(shù)的權(quán)重，且α+β=1，根據(jù)文獻(xiàn)5人臉跟蹤算法經(jīng)過(guò)的訓(xùn)練，這里α和β分別取值為0.21和0.79，F(xiàn)k，a和Fk，b分別為分割線(xiàn)兩側(cè)都沒(méi)有丟失，且位置對(duì)稱(chēng)的相應(yīng)象素點(diǎn)的灰度值，F(xiàn)k，max和Fk，min則分別是最大和最小的灰度值。

相似度計(jì)算后，需要與一個(gè)閾值δ進(jìn)行比較，當(dāng)Aab＞δ，判定當(dāng)前檢測(cè)區(qū)域?yàn)閷?duì)稱(chēng)的人臉區(qū)域，采用對(duì)稱(chēng)拷貝的方式進(jìn)行掩蓋，即對(duì)于對(duì)稱(chēng)的人臉區(qū)域，當(dāng)分割線(xiàn)一側(cè)有象素丟失，而另一側(cè)位置與其位置對(duì)稱(chēng)的象素未丟失，則把未丟失的象素拷貝到丟失象素位置，完成掩蓋;當(dāng)Aab＜δ，則判定當(dāng)前檢測(cè)區(qū)域?yàn)槌Ｒ?guī)區(qū)域，使用傳統(tǒng)的自適應(yīng)插值算法進(jìn)行掩蓋。經(jīng)過(guò)對(duì)不同視頻序列測(cè)試，本文將閾值δ取為0.86的時(shí)候取得的判斷較為準(zhǔn)確，但也可能還存在更好的取值方式。幾個(gè)不同圖像人臉區(qū)域的相似度如圖3所示，其中圖3(b)的相似度為0.852，其傾斜幅度太大，不適合直接用本文的人臉對(duì)稱(chēng)掩蓋算法，而圖3(a)、(c)、(d)都滿(mǎn)足本文算法要求。

圖3 不同圖像人臉區(qū)域的相似度

3 實(shí)驗(yàn)與分析

本文采用H.264的JM86模型作為測(cè)試平臺(tái)，分別用QCIF格式的Miss America、Carphone、Foreman序列進(jìn)行測(cè)試，測(cè)試序列長(zhǎng)度均為30幀，幀率為30fps，QP=28，經(jīng)編碼后輸出為RTP格式的包流，通過(guò)高版本JM的rtp_loss模擬丟包，并在丟包率為10%的環(huán)境下，選取BI算法和ASEC算法與本文算法做比較。

幾種算法重建的第0幀F(xiàn)oreman圖像和第10幀Miss America圖像分別如圖4、5所示，圖4、5中的(a)(d)分別表示錯(cuò)誤標(biāo)記、方向插值算法、自適應(yīng)插值算法和本文算法。從主觀效果圖中可以看出，在對(duì)稱(chēng)的人臉部分，特別是對(duì)于比較容易成為視覺(jué)焦點(diǎn)的五官位置，本文算法掩蓋的視覺(jué)效果比插值算法掩蓋的效果更理想。

圖4 Foreman序列第0幀3中算法主觀質(zhì)量比較

圖5 Miss America序列第10幀3中算法主觀質(zhì)量比較

幾種算法PSNR值比較的曲線(xiàn)圖如圖6所示，本文算法PSNR值較方向插值算法高出0.2 3.8dB，較自適應(yīng)插值算法高出0 0.1dB。本文的人臉掩蓋算法與自適應(yīng)插值算法只在人臉部分的個(gè)別宏塊處理時(shí)有所區(qū)別，因此高出的0 0.1dB都是在人臉中的小部分區(qū)域里體現(xiàn)出的，雖然本身數(shù)值不大，但考慮到所處理區(qū)域面積較小，依然能夠體現(xiàn)本文算法在處理對(duì)稱(chēng)人臉時(shí)的優(yōu)越性。

圖6 Foreman序列中受損I幀3種算法掩蓋客觀質(zhì)量比較

4 結(jié)束語(yǔ)

本文提出一種基于人臉對(duì)稱(chēng)性的差錯(cuò)掩蓋方法，雖然只適用于對(duì)稱(chēng)的人臉區(qū)域，但是一旦滿(mǎn)足使用條件之后，可以較好地恢復(fù)出人臉五官，相對(duì)于插值算法獲得更好的視覺(jué)效果。而如何能夠在更多的情況去利用人臉的對(duì)稱(chēng)性，如針對(duì)傾斜方向的人臉也可以作對(duì)稱(chēng)掩蓋，將是后續(xù)的一個(gè)工作方向。

［1］ Kim W，Koo J，Jeong J.Fine directional interpolation for spatial error concealment［J］.IEEE Transactions on Consumer Electronics，2006，52(3):1 050 －1 056.

［2］ 彭強(qiáng)，張慶明，徐錦亮.基于邊緣檢測(cè)的空域自適應(yīng)差錯(cuò)掩蓋算法［J］.鐵道學(xué)報(bào)，2008，30(6):58－62.

［3］ 楊志偉，張慶明，彭強(qiáng).基于人臉特征的自適應(yīng)空域差錯(cuò)掩蓋算法［J］.信息通信技術(shù)，2009，(4):19－22.

［4］ 艾學(xué)軼，吳彥文，汪亭亭.復(fù)雜背景下多姿態(tài)人臉快速檢測(cè)算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31(14):3 265－3 273.

［5］ 張楊，葉舒帆，高立群.一種基于相似離度匹配的人臉精確跟蹤算法［J］.東北大學(xué)學(xué)報(bào)(自然科學(xué)版)2011，32(2)，188－192.