林克正,鄧 旭,張玉倫
(哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,哈爾濱 150080)
面部識(shí)別在生物特征識(shí)別技術(shù)中占有重要的位置,同時(shí),在實(shí)際應(yīng)用中面部識(shí)別技術(shù)廣泛地應(yīng)用于交通安全、快捷支付和智能管理等領(lǐng)域內(nèi)[1,2].然而,面部識(shí)別技術(shù)仍存在諸多挑戰(zhàn),如:不同光照、不同角度、變化表情和有無遮擋等.因此,如何更好的提取面部圖像特征來表示圖像成為研究人員研究的熱點(diǎn).
Liu等人提出了基于幾何特征圖像識(shí)別方法[3],該方法提取面部關(guān)鍵器官的位置信息進(jìn)行識(shí)別,如人的眼睛、鼻子等.Gross等人提出基于表象(Appearance-based)的人臉識(shí)別方法[4],該方法將面部圖像看作一個(gè)整體并利用面部的全部信息進(jìn)行面部識(shí)別.主成分分析(Principal Component Analysis,PCA)是基于表象的面部識(shí)別方法之一[5],PCA也稱為K-L變換,它的主要思想是將面部圖像矩陣轉(zhuǎn)換為一維向量.然而,PCA方法可能導(dǎo)致面部圖像部分關(guān)鍵特性丟失,并且算法復(fù)雜度較高.因此Yang等人提出了二維主成分分析方法(Two-Dimensional Principal Component Analysis,2DPCA)[6].2DPCA方法不需要將圖像矩陣轉(zhuǎn)換為一維向量,該方法具有計(jì)算簡便的顯著特點(diǎn),其計(jì)算代價(jià)遠(yuǎn)小于PCA方法.由于,通過2DPCA方法構(gòu)建協(xié)方差矩陣提取的單一特征不能對所得圖像都有較好的魯棒性.因此,本文將通過二維線性鑒別分析方法提取兩類特征,將在第2.1部分詳細(xì)介紹.
此外,近年來提出的稀疏表示(Sparse Representation)方法[7]對于面部識(shí)別非常有效.該方法實(shí)現(xiàn)的主要思想是假設(shè)給定一個(gè)測試樣本可以由所有類的全體訓(xùn)練樣本線性組合來近似表示,進(jìn)而獲取稀疏表示系數(shù),然后計(jì)算給定的測試樣本和所有類的訓(xùn)練樣本之間的殘差,即殘差最小的類別是該測試樣本的類別.Wright等人提出測試樣本可以由其同類訓(xùn)練樣本線性表示,稀疏表示方法也稱為稀疏表示分類(Sparse Representation based Classification,SRC)[8].SRC方法通過l1范數(shù)求得的稀疏解具有較好的稀疏性,然而,該方法具有較高的計(jì)算代價(jià).為了解決上述這個(gè)問題,Zhang等人通過l2范數(shù)求稀疏解,l2范數(shù)較l1范數(shù)求得的稀疏解具有較弱的稀疏性,但在求解時(shí)可以大大降低其計(jì)算代價(jià),此方法稱為協(xié)同表示分類(Collaborative Representation based Classification,CRC)[9].本文將利用CRC作為分類器,將在第2.2節(jié)詳細(xì)介紹.
Xu等人通常以得分層融合方法、特征層融合方法和決策層融合方法對兩種特征進(jìn)行融合[10-13].特征層融合方法是將全部生物特征看做一個(gè)樣本進(jìn)行識(shí)別,然而不同生物特征存在較大的差異影響其識(shí)別性能.決策層融合方法是最簡單的一種融合方法,但是它的融合效果略差于其它兩種融合方法.得分層融合方法[14,15]是將每個(gè)特征得出的各自得分(也稱為距離)進(jìn)行融合.因此,本文采用一種加權(quán)得分融合機(jī)制將類間虛擬圖像、類內(nèi)虛擬圖像和原始圖像[16-18]分別在CRC上的獲得得分并進(jìn)行融合,將在第2.3節(jié)詳細(xì)介紹.為了驗(yàn)證本文方法的識(shí)別性能,分別在ORL、AR、GT不同數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn).
本文的主要貢獻(xiàn)如下:
1)本文首次提出對二維線性鑒別分析的類間散布矩陣和類內(nèi)散布矩陣進(jìn)行特征提取,進(jìn)而得到兩類特征,即類間特征和類內(nèi)特征.有效緩解了單一特征不能很好地表示圖像的問題.
2)本文所提出的類間特征和類內(nèi)特征與原始圖像是互補(bǔ)的.
3)本文采用新穎的加權(quán)得分融合機(jī)制將原始圖像和2)中特征進(jìn)行融合.
本文其余組織如下:第2部分詳細(xì)介紹了提出方法;第3部分展示了提出方法的性能;第4部分提供了實(shí)驗(yàn)結(jié)果;第5部分給出了本文的結(jié)論.
本章涉及的基本符號(hào)如表1所示.
表1 符號(hào)表
本文通過二維線性鑒別分析構(gòu)建類間散布矩陣和類內(nèi)散布矩陣,并且分別進(jìn)行特征提取.定義類間散布矩陣Sb和類內(nèi)散布矩陣Sw.分別從Sb中求解最優(yōu)投影向量組u和Sw中求解最優(yōu)投影向量組v,從而將所有面部圖像分別對u和v作投影得到各自的特征向量,具體過程如下:
令樣本類別有M個(gè),第j類樣本有N個(gè)圖像:Aj1,Aj2,…,AjN,每幅圖像均為m×n的矩陣.定義準(zhǔn)則函數(shù)J1(x)=uTSbu,當(dāng)uTSbu取最大時(shí),圖像矩陣對向量組u作投影獲得特征向量的類別間分散程度最優(yōu).uTSbu最大取值問題可以轉(zhuǎn)化為求解Sb中最大g個(gè)特征值所對應(yīng)的特征向量問題.類間散布矩陣Sb可以表示為:
(1)
式中P(wj)表示為第j類的先驗(yàn)概率,一般令P(wj)=1/M.讓j表示為第j(1≤j≤M)類樣本圖像矩陣的均值,表示為所有圖像矩陣的均值,具體表現(xiàn)形式如下:
(2)
(3)
令類間散布矩陣Sb的最大g個(gè)特征值對應(yīng)的特征向量為u(u1,u2,…,ug),圖像樣本A通過特征提取的方式進(jìn)行圖像重構(gòu),利用前g個(gè)特征向量重構(gòu)出類間虛擬圖像Y1,如公式(4)所示.
Y1=Au=A(u1,u2,…,ug)
(4)
同時(shí),定義準(zhǔn)則函數(shù)J2(x)=vTSwv,當(dāng)vTSwv取最大時(shí),圖像矩陣對向量組v作投影獲得特征向量最優(yōu).vTSwv最大取值問題可以轉(zhuǎn)化為求解Sw中最大g個(gè)特征值所對應(yīng)的特征向量問題.定義類內(nèi)散布矩陣Sw為:
(5)
Y2=Av=A(v1,v2,…,vg)
(6)
針對于面部識(shí)別中小樣本問題,稀疏表示方法是解決這個(gè)問題最佳方法之一.稀疏表示方法核心思想是通過給定測試樣本y由所有訓(xùn)練樣本線性組合表示,并且求出稀疏系數(shù),利用每類訓(xùn)練樣本和稀疏系數(shù)重構(gòu)后與所有測試樣本進(jìn)行分類.稀疏表示方法具體過程如下:
假設(shè)矩陣Aj表示第j類所有訓(xùn)練樣本,樣本類別個(gè)數(shù)為M.記A=[A1,A2,…,AM],A表示全體訓(xùn)練樣本組成矩陣.給定一個(gè)測試樣本y可用所有訓(xùn)練樣本線性組合表示,即Aw=y.
一般認(rèn)為w系數(shù)越稀疏,測試樣本y的類別越容易判定.稀疏解可由下面公式得到,即:
(7)
式中‖ ‖1表示為l1范數(shù),雖然通過l1范數(shù)求解具有較好的稀疏性,但是具有較高算法復(fù)雜度.因此通過l2范數(shù)求稀疏解,此方法也稱為協(xié)同稀疏表示分類方法,即:
(8)
(9)
重建誤差的具體表現(xiàn)形式如公式(10)所示:
(10)
式中Rj(y)可以認(rèn)為是一種距離度量,表示測試樣本y與第j(1≤j≤M)類訓(xùn)練樣本相似性.求出Rj(y)最小的值即為測試樣本y的類別(j-1)n+i表示Aj的第(j-1)n+i個(gè)元素.
根據(jù)本文前面介紹的理論,得分融合方法首先獨(dú)立對待各生物特征,得出各自識(shí)別結(jié)果后再進(jìn)行融合,得分融合方法比其它兩類融合方法往往能取得較優(yōu)鑒別性能.
本文采用一種新的加權(quán)得分融合方法,融合原始圖像、類間虛擬圖像和類內(nèi)虛擬圖像各自的得分,并利用最終得分進(jìn)行分類,具體為:
S=q1R1+q2R2+q3R3
(11)
式中S表示最終的得分,R1表示原始圖像利用CRC獲取的得分,R2表示類間虛擬圖像利用CRC獲取的得分,R3表示類內(nèi)虛擬圖像利用CRC獲取的得分.q1為R1的權(quán)重系數(shù)可以表示為:
(12)
q2為R2的權(quán)重系數(shù)可以表示為:
(13)
q3為R3的權(quán)重系數(shù)可以表示為q3=1-(q1+q2),使得3個(gè)權(quán)重系數(shù)的總和取值為1.
最后通過公式(14)得出的最終得分進(jìn)行分類,測試樣本y屬于第g個(gè)個(gè)體的類別,即:
g=argminjSj(y)
(14)
根據(jù)第2部分的分析和推導(dǎo),我們以O(shè)RL數(shù)據(jù)集為例,闡述本文方法的主要操作步驟.
步驟1.將ORL數(shù)據(jù)庫分為訓(xùn)練樣本集和測試樣本集,如:每個(gè)類別選取前2-5張作為訓(xùn)練樣本,其余作為測試樣本.并將訓(xùn)練樣本集和測試樣本集的面部圖像大小統(tǒng)一設(shè)置為50*50像素.
步驟2.利用公式(1)-公式(3)構(gòu)造原始面部圖像訓(xùn)練樣本集的類間散布矩陣,通過特征提取方式提取相應(yīng)特征向量,并且利用公式(4)將訓(xùn)練樣本集和測試樣本集分別向提取出來的特征向量作投影,得到對應(yīng)訓(xùn)練樣本的類間虛擬圖像和測試樣本的類間虛擬圖像.
步驟3.利用公式(2)、公式(5)構(gòu)造原始面部圖像訓(xùn)練樣本集的類內(nèi)散布矩陣,通過特征提取方式提取與之對應(yīng)的特征向量,并利用公式(6)將訓(xùn)練樣本集和測試樣本集分別向提取的特征向量作投影,獲得對應(yīng)訓(xùn)練樣本的類內(nèi)虛擬圖像和測試樣本的類內(nèi)虛擬圖像.
步驟4.利用稀疏解具體表現(xiàn)公式w=(ATA+γI)-1ATy和公式(10)分別獲取原始面部圖像中測試樣本y的得分、類間虛擬圖像中測試樣本y的得分和類內(nèi)虛擬圖像中測試樣本y的得分,其中γ表示一個(gè)很小的常量,I表示為單位矩陣.
步驟5.分別獲取權(quán)重系數(shù)q1、q2和q3,并通過公式(11)融合原始圖像的得分、類間虛擬圖像的得分和類內(nèi)虛擬圖像的得分.
步驟6.通過公式(14)將融合后最終的得分進(jìn)行面部圖像識(shí)別.
為了讓讀者更直觀的了解本文原理,通過圖1展示了本文提出的類間虛擬圖像和類內(nèi)虛擬圖像示意圖.本文通過2DLDA來提取圖像的類間特征和類內(nèi)特征,通過特征提取的方式重構(gòu)類間虛擬圖像和類內(nèi)虛擬圖像,類間虛擬圖像和類內(nèi)虛擬圖像與原始圖像是互補(bǔ)的.在圖1中,第1行展示了原始圖像,第2行展示了類間虛擬圖像,第3行展示了類內(nèi)虛擬圖像.
圖1 在ORL數(shù)據(jù)集上的原始圖像、類間虛擬圖像和類內(nèi)虛擬圖像
通過圖2展示了選取不同特征向量個(gè)數(shù)下對應(yīng)的識(shí)別錯(cuò)誤率的直觀圖.從圖2中可以看出,本文提出的方法在選取不同特征向量個(gè)數(shù)下,識(shí)別率的總體趨勢是趨于平穩(wěn)的,具有穩(wěn)定性.當(dāng)特征向量個(gè)數(shù)選為15時(shí),本文方法面部識(shí)別錯(cuò)誤率最低.
圖2 在ORL數(shù)據(jù)集上選取不同特征向量個(gè)數(shù)對應(yīng)的識(shí)別錯(cuò)誤率
通過圖3展示了不同訓(xùn)練樣本個(gè)數(shù)下對應(yīng)的識(shí)別錯(cuò)誤率.從圖3中可以看出,本文提出的方法有著較低的錯(cuò)誤識(shí)別率,隨著每類訓(xùn)練樣本個(gè)數(shù)的增加,其面部識(shí)別錯(cuò)誤率越來越低.
圖3 在ORL數(shù)據(jù)集上每個(gè)類別訓(xùn)練樣本數(shù)目對應(yīng)的識(shí)別錯(cuò)誤率
為了進(jìn)一步測試本文提出方法的性能,在ORL、AR及GT數(shù)據(jù)庫上分別設(shè)計(jì)了實(shí)驗(yàn).我們設(shè)計(jì)了協(xié)同表示分類方法、快速迭代算法(Fast Iterative Shrinkage Thresholding Algorithm,FISTA)、同倫法(Homotopy Method)和增廣拉格朗日乘子法(Primal Augmented Lagrange Multiplier,PALM)來分別作為分類算法.
本章采用識(shí)別錯(cuò)誤率來比較算法之間性能的好壞,識(shí)別錯(cuò)誤率越低,算法的性能越好.表2-表4中,“本文方法”表示在ORL、AR和GT面部數(shù)據(jù)庫上的識(shí)別精度,具體為將原始圖像、類間虛擬圖像和類內(nèi)虛擬圖像分別利用CRC進(jìn)行得分,利用文中公式(11)所示的加權(quán)融合機(jī)制進(jìn)行得分融合,并利用最終得分進(jìn)行面部識(shí)別.“類間虛擬圖像/類內(nèi)虛擬圖像/原始圖像+CRC/FISTA/HOMOTOPY/PALM”分別表示在不同數(shù)據(jù)集上類間虛擬圖像/類內(nèi)虛擬圖像/原始圖像在分類算法為CRC/FISTA/HOMOTOPY/PALM上的識(shí)別結(jié)果;從表2-表4中可以看出,本文提出的方法對于面部圖像識(shí)別具有較低的識(shí)別錯(cuò)誤率.
表4 在GT數(shù)據(jù)集上的錯(cuò)誤識(shí)別精度
本部分將在ORL人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn).ORL人臉數(shù)據(jù)庫包含了40個(gè)人,每個(gè)人10幅圖像,共400幅人臉圖像.每幅人臉圖像均在不同的光照、不同的表情變化、不同的角度條件下獲得.在ORL人臉數(shù)據(jù)庫中圖像包括表情的變化(笑或不笑,睜眼或閉眼)及面部細(xì)節(jié).每幅人臉圖像分辨率均為50像素×50像素,每幅人臉圖像的格式為′.bmp′.圖4顯示ORL人臉數(shù)據(jù)庫的部分圖像.
圖4 部分ORL數(shù)據(jù)集的圖像
表2展示了在ORL數(shù)據(jù)庫的識(shí)別錯(cuò)誤率,每個(gè)受試者前2-5幅圖像作為訓(xùn)練樣本,其余圖像作為測試樣本.從表2中可以看出,本文方法在ORL數(shù)據(jù)庫上具有較低的錯(cuò)誤率.例如:當(dāng)每類訓(xùn)練樣本個(gè)數(shù)為2-5時(shí),并且分類器選為CRC時(shí),本文方法的識(shí)別錯(cuò)誤率為14.06%,12.14%,8.33%,8.00%.然而,原始圖像利用CRC進(jìn)行分類時(shí),它的識(shí)別錯(cuò)誤率為16.25%,14.64%,10.83%,11.00%.由表2可知,當(dāng)不同訓(xùn)練樣本個(gè)數(shù)由2變化到5時(shí),本文提出的方法也比文獻(xiàn)[18]方法(2DPCA+Original images+CRC)、文獻(xiàn)[17]方法(FFT+Original images+CRC)和文獻(xiàn)[15]中的一般融合方法(Gabor+L1LS)效果要好.
表2 在ORL數(shù)據(jù)集上的錯(cuò)誤識(shí)別精度
本部分將在AR人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn).AR人臉數(shù)據(jù)庫中包含了120個(gè)人,每個(gè)人26幅圖像,共3120幅人臉圖像.圖像在不同光照、不同面部表情、不同角度和有無遮擋物(戴眼鏡或圍巾)條件下獲得.每幅人臉圖像的分辨率均為50像素×40像素,每幅人臉圖像的格式均為′.tif′.圖5顯示AR人臉數(shù)據(jù)庫的部分圖像.
圖5 部分AR數(shù)據(jù)集的圖像
每個(gè)受試者前9-12幅圖像作為訓(xùn)練樣本,其余圖像作為測試樣本.例如:分類器選為CRC時(shí),本文提出的方法錯(cuò)誤率為30.74%,32.76%,23.11%,24.88%.然而,使用FISTA對原始圖像進(jìn)行分類并且每類訓(xùn)練樣本個(gè)數(shù)為9-12時(shí),它的識(shí)別錯(cuò)誤率為44.95%,47.71%,34.33%,35.89%.由表3可知,當(dāng)每個(gè)訓(xùn)練樣本個(gè)數(shù)由9變化到12時(shí),本文提出的方法在AR數(shù)據(jù)庫上的識(shí)別錯(cuò)誤率低于原始圖像使用FISTA的識(shí)別錯(cuò)誤率.
表3 在AR數(shù)據(jù)集上的錯(cuò)誤識(shí)別精度
本部分將在GT人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn).GT人臉數(shù)據(jù)庫中包含了50個(gè)人,每個(gè)人15幅彩色圖像,共750幅圖像.在GT人臉數(shù)據(jù)庫中,每個(gè)人的面部細(xì)節(jié)和面部表情都存在著不同程度的變化.將每幅人臉圖像的壓縮為50像素×50像素,實(shí)驗(yàn)中將這些彩色圖像轉(zhuǎn)化為灰度圖像.每幅人臉圖像的格式均為′.jpg′.圖6顯示GT人臉數(shù)據(jù)庫的部分圖像.
圖6 部分GT數(shù)據(jù)集的圖像
在GT數(shù)據(jù)庫中,每個(gè)受試者的前9-11幅圖像作為訓(xùn)練樣本,其余圖像作為測試樣本.通過表4的實(shí)驗(yàn)結(jié)果可知,當(dāng)每類訓(xùn)練樣本個(gè)數(shù)為9-11時(shí)并且分類器選為CRC時(shí),本文提出的面部識(shí)別方法錯(cuò)誤率為28.67%、26.80%、24.00%.文獻(xiàn)[17]方法的識(shí)別錯(cuò)誤率為31.67%、32.00%、27.50%,而文獻(xiàn)[18]方法的識(shí)別錯(cuò)誤率為32.67%、29.60%、29.50%.由表4可知,本文提出的方法與其他經(jīng)典方法相比具有較低的識(shí)別錯(cuò)誤率.
本文提出了二維線性鑒別分析和協(xié)同表示的面部識(shí)別方法.該方法在不同人臉數(shù)據(jù)庫中可以獲得較好的識(shí)別性能.在實(shí)際應(yīng)用中,該方法具有有效性和可行性,不需要手動(dòng)調(diào)整參數(shù)并且易于實(shí)現(xiàn).本文方法可以獲取類間虛擬圖像和類內(nèi)虛擬圖像來表示原始圖像,不僅保留了圖像關(guān)鍵特征信息,并且在面部識(shí)別方面與原始圖像具有一定的互補(bǔ)性,降低了圖像識(shí)別錯(cuò)誤率.通過實(shí)驗(yàn)表明,在面部識(shí)別中將類間虛擬圖像、類內(nèi)虛擬圖像和原始圖像的分類結(jié)果進(jìn)行融合可以取得較好的識(shí)別效果.