孫晨暉
摘要 生成虛擬人臉樣本是提高小樣本人臉識(shí)別性能的一個(gè)重要方式。但是虛擬人臉樣本可能存在的失真、降低識(shí)別精度。為了克服這一缺點(diǎn),本文提出了一種局部近似對(duì)稱人臉圖像生成方法。我們用虛擬的半邊臉以取代原始的半邊臉,合成一張人臉。該方法既利用虛擬人臉,又利用原始人臉生成基于對(duì)稱性的合成人臉。因此,合成的面部接近于原來(lái)的面部。實(shí)驗(yàn)結(jié)果表明,該方法提高了人臉識(shí)別的準(zhǔn)確率。
[關(guān)鍵詞]虛擬樣本 人臉識(shí)別 半邊臉 合成人臉
在小樣本人臉識(shí)別領(lǐng)域,困難主要來(lái)自人臉樣本不足,并且人臉姿勢(shì)不同,面部表情的差異和光照的不均衡,這些都會(huì)導(dǎo)致識(shí)別率的降低。為了克服這些困難,獲得更多的虛擬人臉樣本是提高人臉識(shí)別率的重要途徑。近年來(lái),研究者發(fā)現(xiàn),例如,對(duì)稱的人臉圖像有利于克服光照問(wèn)題和人臉姿勢(shì)不同導(dǎo)致的影響。還發(fā)現(xiàn),一些生成虛擬人臉樣本的簡(jiǎn)單方法也可以提高人臉識(shí)別精度。例如,兩個(gè)原始人臉圖像的平均值可以用作虛擬面部樣本。由于人臉近似對(duì)稱,所以用半邊臉來(lái)生成整個(gè)虛擬人臉也是可行的。
人臉是近似對(duì)稱的結(jié)構(gòu)。這啟發(fā)我們提出一種構(gòu)造近似對(duì)稱人臉的新方法。采用人臉對(duì)稱結(jié)構(gòu),己被證明是在人臉檢測(cè)的一種有效方法。面部的對(duì)稱性也適用于其他問(wèn)題,如陰影分析。對(duì)于人臉識(shí)別,如果人臉圖像完全是軸對(duì)稱圖像,則只需要人臉的一半進(jìn)行人臉?lè)诸?。但人臉圖像是不完全對(duì)稱的,所以我們的方法也借鑒了論文中的方法來(lái)提高人臉的對(duì)稱性。
由于最近鄰分類器對(duì)模式分類有很好的精度,本文將其用于人臉識(shí)別。我們知道,最近鄰分類器的性能較好,可以使我們獲得令人滿意的性能,并且它是非常簡(jiǎn)單和容易實(shí)現(xiàn)。在本文中,我們?cè)噲D產(chǎn)生和利用合理的虛擬訓(xùn)練樣本,以更準(zhǔn)確地識(shí)別人臉。合理的虛擬樣本不僅能正確地模擬人臉的姿態(tài)、表情等變化,而且有助于提高識(shí)別精度。
1 局部近似對(duì)稱人臉圖像生成方法
為了方便描述,我們用b1,1,b1,2,b2,1和b2,2分別表示原始圖像的左上角、左下角、右上角和右下角部分。所有這些都被重新排列為列向量。獲得四個(gè)向量的步驟如下。
讓T代表一個(gè)原始的人臉圖像。圖像1有j列。讓Tu,j(j=1,2,…,J)和Td,j(j=1,2,…,J)分別表示圖像T的上部和下部。假設(shè)J是一個(gè)偶數(shù),我們有如下公式:
為了便于理解該方法,圖1給出了實(shí)現(xiàn)上述過(guò)程的一個(gè)簡(jiǎn)單示例。我們將人臉圖像分成四個(gè)塊,每個(gè)塊用一列向量表示。
利用梯度下降算法,使左右臉進(jìn)行迭代,使b1,1,b2,1近似相等,b1,2,b2,2近似相等。迭代函數(shù)g(m)如下定義:mn+1=mn-pVg(mn) (2)
這里p是學(xué)習(xí)率,mn+l,mn分別是m在n+l次迭代和n次迭代中的值。梯度下降算法可以快速獲得函數(shù)g(m)的最小值和相應(yīng)的最優(yōu)m值。
首先,基于b1,1、b2,1,我們定義了一個(gè)目標(biāo)函數(shù)如下:
B是一個(gè)正的常數(shù),n是迭代次數(shù)。p隨著n的增大減小。這個(gè)解容易收斂。
獲取b1,1和b2,1向量后,合成臉的半邊臉是通過(guò)b1,1和b2,1拼接起來(lái)的。同樣的,我們獲得b1,2,b2,2。方法的步驟如下:
第一步:將原始人臉圖像分割成左上、左下、右上、右下臉圖像,并反轉(zhuǎn)右上臉和右下臉,如圖2所示,我們得到b1,1,b1,2,b2,1,b2,2。的初始值。
第二步:我們通過(guò)方程式(4)提出的梯度下降算法,迭代更新b1,1和b2,1。迭代終止需要滿足兩個(gè)條件之一:(i)迭代次數(shù)大于預(yù)定義值;表示b1,1經(jīng)過(guò)n次迭代的值。£是一個(gè)小的正常數(shù)。b1,l和b2,1迭代的流程如圖3。
第三步:我們用類似的方式獲得b1,2,b2,2。然后我們能得到用b1,1和b1,2合成的左半邊臉圖像。用b2,1和b2,2得到合成的右半邊臉圖像。
第四步:利用合成的左臉和右臉原來(lái)獲得的虛擬人臉圖像還是原來(lái)的左臉和右臉合成得到的虛擬人臉圖像。
第五步:我們使用一個(gè)算法來(lái)證明我們的方法的優(yōu)點(diǎn)。
本文利用最近鄰分類器,證明該方法在人臉識(shí)別中的優(yōu)越性。
2 分析提出的方法
這一節(jié),我們描述方法優(yōu)點(diǎn)。首先,它很容易從原始人臉圖像中生成對(duì)稱的虛擬人臉圖像。這不僅可以減少人臉不同姿態(tài)和光照對(duì)人臉識(shí)別的影響,且可以使人臉圖像的幾何形狀與真實(shí)人臉更一致。其次,該方法簡(jiǎn)單。它以較低的計(jì)算成本產(chǎn)生近似對(duì)稱的人臉圖像。第三,最重要的步驟是使用虛擬人臉和原始人臉,合成的人臉更接近原始人臉。圖4中的兩組面孔給我們一個(gè)清晰的對(duì)比。左邊的列是原始圖像,右邊的列是合成圖像。
我們用的原始人臉圖像是從YaleB人臉數(shù)據(jù)庫(kù)中選取。從圖中,我們看到,我們的方法可以很好的緩解光照失衡產(chǎn)生的負(fù)面效應(yīng),獲得良好光線的虛擬人臉圖像。
3 實(shí)驗(yàn)
為了驗(yàn)證我們的方法,我們?cè)贏R和NIR人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。 (i) AR人臉數(shù)據(jù)庫(kù)包含126人,超過(guò)4000張彩色圖像。在文中,我們選擇AR人臉數(shù)據(jù)庫(kù)中的120人,并從每人中選出26幅圖像,共3120幅圖像。人臉圖像有不同的姿勢(shì)、光照和表情。(ii) NIR人臉數(shù)據(jù)庫(kù)有400幅100個(gè)人的圖像,每個(gè)人在不同的照明條件和各種面部表情下提供4幅不同的圖像。(iii)從YaleB人臉數(shù)據(jù)庫(kù)中選取15人,每人32張人臉圖像,共480張人臉圖像。由于我們的方法使用了虛擬人臉和原始人臉,合成的人臉?lè)浅=咏既四?。?shí)驗(yàn)如下。
3.1 實(shí)驗(yàn)1
在AR和NIR人臉數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中,合成的人臉由原始人臉的右臉和虛擬人臉的的左臉組成。在AR數(shù)據(jù)庫(kù)中,分別選取每個(gè)人的1,2,3,4,5個(gè)原始人臉圖像作為分別作為原始訓(xùn)練樣本,其他是測(cè)試樣本。在NIR數(shù)據(jù)庫(kù)中,分別選取每人2個(gè)和3個(gè)原始人臉圖像,作為原始訓(xùn)練樣本,其余為測(cè)試樣本。表1和2分別顯示了在AR數(shù)據(jù)庫(kù)和NIR數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果。
通過(guò)觀察,我們的方法比論文[14]中的方法有更高的識(shí)別率。將兩種方法做對(duì)比,在AR數(shù)據(jù)庫(kù)中,當(dāng)訓(xùn)練樣本數(shù)為4時(shí),最低精度分別為54.02%和50.95%。在NIR數(shù)據(jù)庫(kù)中,訓(xùn)練樣本數(shù)為3時(shí),我們方法的最高準(zhǔn)確率是91%,而原論文是87%。實(shí)驗(yàn)表明,我們的方法更優(yōu)。因?yàn)槲覀兊姆椒ㄓ商摂M半邊人臉和原始半邊人臉合成人臉,這樣使拼接的人臉更接近于原始人臉,且用到了虛擬人臉消除光照等影響的優(yōu)勢(shì)。
3.2 實(shí)驗(yàn)2
與上述實(shí)驗(yàn)相類似,我們利用原始人臉的左臉和虛擬人臉的右臉合成人臉圖像。實(shí)驗(yàn)是在AR數(shù)據(jù)庫(kù)和YaleB人臉數(shù)據(jù)庫(kù)進(jìn)行。實(shí)驗(yàn)結(jié)果如表3和表4所示。
4 結(jié)語(yǔ)
本文提出的方法既利用虛擬生成的人臉圖像,又利用原始的人臉圖像,來(lái)生成基于對(duì)稱性的人臉。因此,合成的面部接近于原來(lái)的面部。同時(shí),該方法可以減少光照對(duì)人臉識(shí)別的負(fù)面影響。實(shí)驗(yàn)表明,該方法能提高人臉識(shí)別的準(zhǔn)確率。