基于大間隔雙線性分類器進(jìn)行親子關(guān)系驗(yàn)證*

秦曉倩，譚曉陽，陳松燦

1.南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京2100162.淮陰師范學(xué)院城市與環(huán)境學(xué)院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

?

基于大間隔雙線性分類器進(jìn)行親子關(guān)系驗(yàn)證*

秦曉倩1,2，譚曉陽1+，陳松燦1

1.南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京210016
2.淮陰師范學(xué)院城市與環(huán)境學(xué)院，江蘇淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant No. 61373060 (國(guó)家自然科學(xué)基金); the Natural Science Foundation of Jiangsu Province under Grant No. BK2012793 (江蘇省自然科學(xué)基金); the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20123218110033 (高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金); the Natural Science Foundation of the Jiangsu Higher Education Institutions under Grant No. 13KJD520002 (江蘇省屬高校自然科學(xué)基金).

Received 2015-05,Accepted 2015-07.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-07-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150710.1711.002.html

摘要：目前機(jī)器學(xué)習(xí)算法已經(jīng)能夠很好地理解單張人臉圖像，但是探究多個(gè)主體之間的關(guān)系仍然是計(jì)算機(jī)視覺領(lǐng)域的一大挑戰(zhàn)。父母-孩子關(guān)系是家庭關(guān)系的核心部件，研究這一關(guān)系對(duì)促進(jìn)人工智能加深對(duì)人類社會(huì)的理解有重要影響。為此，通過在互聯(lián)網(wǎng)上搜索名人及其家人的照片建立了一個(gè)目前最大的親子關(guān)系圖像數(shù)據(jù)庫(kù)LKFW （labeled KinFace in the wild）?；诖箝g隔雙線性分類器（large margin bilinear classifier，LMBC）進(jìn)行親子關(guān)系驗(yàn)證，其中包括從相似性度量、分類器設(shè)計(jì)這兩個(gè)方面來探究孩子和父母之間的空間結(jié)構(gòu)依賴關(guān)系。算法借助嵌入核的二次規(guī)劃進(jìn)行求解，在KinFaceW和LKFW親子關(guān)系數(shù)據(jù)庫(kù)上都達(dá)到了比最好性能更好或相當(dāng)?shù)男阅堋?/p>

關(guān)鍵詞：親子驗(yàn)證；雙線性分類器；人臉驗(yàn)證

1　引言

使用人臉圖像進(jìn)行親子關(guān)系驗(yàn)證是計(jì)算機(jī)視覺領(lǐng)域近期出現(xiàn)的一個(gè)新興而富有挑戰(zhàn)的問題。所謂親子關(guān)系指的是父子、父女、母子和母女關(guān)系。親子關(guān)系驗(yàn)證的應(yīng)用包括基于人臉圖像的逃犯身份確認(rèn)，提高人臉識(shí)別的性能[1-2]，社會(huì)媒體分析[3]和尋找失蹤兒童[4]等。

對(duì)親子關(guān)系進(jìn)行驗(yàn)證這一問題其實(shí)是受計(jì)算機(jī)視覺領(lǐng)域中一般的人臉驗(yàn)證任務(wù)觸發(fā)。最近的研究表明，機(jī)器學(xué)習(xí)算法已經(jīng)能夠很好地理解單張人臉圖像，在LFW數(shù)據(jù)庫(kù)上，人臉驗(yàn)證的性能已經(jīng)達(dá)到了比人還要高的99.15%[5]。但是，直接將現(xiàn)有的針對(duì)單主體人臉的技術(shù)用于處理多實(shí)體關(guān)系的人臉識(shí)別存在很大問題，主要原因是在親子驗(yàn)證任務(wù)中給定的兩張人臉有可能具有不同的性別和年齡，研究人員面對(duì)的任務(wù)正是要驗(yàn)證這樣具有不同性別和年齡的主體是否具備父女或者母子關(guān)系。

第一個(gè)進(jìn)行親子關(guān)系驗(yàn)證的是Fang等人[6]，他們首先定位到人臉上的關(guān)鍵部位，然后抽取出諸如灰度值、皮膚顏色、梯度直方圖等特征，最后使用KNN （K-nearest neighbor）分類器進(jìn)行人臉圖像對(duì)的驗(yàn)證。

除了使用上述特征進(jìn)行親子驗(yàn)證之外，研究者們還使用了各種其他的特征，包括表示眼睛、嘴巴和鼻子等局部塊匹配度的DAISY特征[4]，基于空間金字塔的特征描述子[7]和屬性[8]等。而文獻(xiàn)[9]則借助從LFW中抽取的輔助數(shù)據(jù)集來構(gòu)造新的親子關(guān)系圖像的特征表達(dá)。

文獻(xiàn)[10-11]融合了多種特征表示親子人臉圖像。Xia等人[12-13]使用遷移學(xué)習(xí)的方法進(jìn)行親子關(guān)系驗(yàn)證，該方法基礎(chǔ)是，相較于年老父母，孩子更傾向于和年輕父母有更加相似的外觀?；诖擞^察，他們利用父母年輕時(shí)的圖像作為孩子和年老父母圖像的橋梁。但在實(shí)際應(yīng)用中，獲得父母年輕時(shí)的圖像是較為困難的。

最近，Lu等人[14]提出了基于鄰域的度量學(xué)習(xí)方法（neighborhood repulsed metric learning，NRML），該方法通過學(xué)習(xí)獲得一個(gè)度量，在此度量下那些具有親子關(guān)系的圖像被拉近，而那些在鄰域內(nèi)不具有親子關(guān)系的圖像被推遠(yuǎn)。

針對(duì)親子關(guān)系驗(yàn)證問題，研究者們創(chuàng)建了一些用于評(píng)價(jià)算法性能的公開數(shù)據(jù)庫(kù)，這些數(shù)據(jù)庫(kù)中的圖像都來自于網(wǎng)絡(luò)且包含4種親子關(guān)系。目前已知公開的親子數(shù)據(jù)庫(kù)有KinFaceW-I[14]、KinFaceW-II[14]、CornellKin[6]和UB KinFace[13]數(shù)據(jù)庫(kù)，分別有533對(duì)、1 000對(duì)、150對(duì)和90對(duì)親子圖像。

本文通過在互聯(lián)網(wǎng)上搜索名人及其家人的照片構(gòu)建一個(gè)目前最大的親子關(guān)系圖像數(shù)據(jù)庫(kù)LKFW （labeled KinFace in the wild）。使用大間隔雙線性分類器（large margin bilinear classifier，LMBC）進(jìn)行親子關(guān)系驗(yàn)證。本文方法的主要思想是使用雙線性函數(shù)來度量父母和子女的相似度，并將具有親子關(guān)系的圖像對(duì)和那些沒有親子關(guān)系的圖像對(duì)盡量分開。算法借助嵌入核的二次規(guī)劃進(jìn)行求解，優(yōu)勢(shì)在于實(shí)現(xiàn)起來較為簡(jiǎn)單。

2　親子數(shù)據(jù)庫(kù)

目前已經(jīng)公開的親子數(shù)據(jù)庫(kù)中，KinFaceW-II[14]包含的親子圖像對(duì)數(shù)最多，但其中每對(duì)親子主體對(duì)象都來自于同一張圖像，在此數(shù)據(jù)庫(kù)上獲得的模型可能存在一定偏好，因?yàn)橛H子圖像具有相似的光照條件，而非親子圖像的光照條件明顯不同，這將直接影響最終分類器的性能，在后面的實(shí)驗(yàn)中將看到這一點(diǎn)。除此之外，在實(shí)際應(yīng)用中，無法保證要驗(yàn)證的主體對(duì)象來自同一張圖像。

其次，目前所有的對(duì)親子數(shù)據(jù)庫(kù)中包含的關(guān)系都限定于父子、父女、母子和母女，缺少父母-兒子或父母-女兒這樣的核心家庭結(jié)構(gòu)。而在現(xiàn)實(shí)生活中，如在進(jìn)行失蹤兒童身份確認(rèn)時(shí)往往會(huì)有父母雙方的圖像，因此沒有任何理由拒絕考慮這種核心家庭結(jié)構(gòu)關(guān)系。

針對(duì)上述兩個(gè)問題，通過搜索明星、政客等及其父母或孩子的照片創(chuàng)建了一個(gè)公開親子數(shù)據(jù)庫(kù)LKFW。和LFW相類似，在圖像收集過程中，對(duì)姿態(tài)、光照、表情、背景、人種等沒有施加任何約束條件，也沒有限制具有親子關(guān)系的主體對(duì)象來自于同一張圖像。另外，根據(jù)日常生活觀察，孩子在年幼時(shí)的面部外觀變化較大，在收集親子圖像時(shí)沒有對(duì)孩子的年齡情況進(jìn)行特殊的限定。最終，收集到1 232個(gè)人的圖像。

為了進(jìn)行親子關(guān)系驗(yàn)證，首先使用人臉檢測(cè)器在原始圖像上標(biāo)出人臉并人工標(biāo)注出人眼的位置。再將圖像規(guī)整化為64×64像素的灰度圖。圖1展示了數(shù)據(jù)庫(kù)的收集過程和最終數(shù)據(jù)庫(kù)中包含的圖像對(duì)/組示例。圖中F、M、S和D分別表示父親、母親、兒子和女兒。

LKFW數(shù)據(jù)庫(kù)不僅包含對(duì)親子關(guān)系而且還有父母-孩子的組核心家庭關(guān)系，因此該數(shù)據(jù)庫(kù)不僅可以被用來進(jìn)行對(duì)親子關(guān)系學(xué)習(xí)，也可以被用于分析探討組核心家庭關(guān)系。表1比較了LKFW數(shù)據(jù)庫(kù)和其他幾個(gè)數(shù)據(jù)庫(kù)。

Fig.1 Process of constructing LKFW and some image examples of database圖1　LKFW收集的過程和包含的圖像對(duì)/組示例

經(jīng)統(tǒng)計(jì)，本文創(chuàng)建的LKFW數(shù)據(jù)庫(kù)包含的父子、父女、母子和母女關(guān)系各有308、272、226和231對(duì)。另外，還基于主體對(duì)象的人種信息對(duì)每種親子關(guān)系進(jìn)行了劃分，圖2展示了LKFW的統(tǒng)計(jì)信息。

Table 1 Comparison of LKFW database and other kinship databases表1　LKFW和其他親子數(shù)據(jù)庫(kù)的比較

3　親子驗(yàn)證模型

一般的人臉識(shí)別問題旨在衡量同一個(gè)主體的不同圖像之間的相似度。但是親子驗(yàn)證的研究對(duì)象是兩個(gè)或多個(gè)不同的主體，而這些主體又可能具有不同的性別（如父女關(guān)系和母女關(guān)系），年齡跨度也較大。為了挖掘出父母和子女之間的空間結(jié)構(gòu)關(guān)系，考慮用大間隔雙線性分類器來解決這一問題。方法的核心思想是使用雙線性函數(shù)來度量父母和子女的相似性，這樣做的優(yōu)勢(shì)是能充分考查二者的特征空間關(guān)系，另外模型能有效地使用嵌入核的二次規(guī)劃求解。

3.1大間隔雙線性分類模型

大間隔雙線性分類模型如下所示：

其中，S表示N對(duì)親子圖像訓(xùn)練集；xi, yi∈Rd是第i對(duì)親子圖像對(duì)中的父母和孩子圖像的列向量特征；zi表示第i對(duì)圖像的標(biāo)號(hào)，用1表示(xi, yi)圖像對(duì)具有親子關(guān)系，用-1表示(xi, yi)圖像對(duì)不具有親子關(guān)系。需要說明的是，一對(duì)親子圖像可能來自不同的圖像，因此一對(duì)圖像之間的年齡差距不可能完全真實(shí)地代表實(shí)際生活中的親子年齡差距，從而假設(shè)已知每張圖像在對(duì)關(guān)系中扮演的角色。

模型的目標(biāo)是要學(xué)習(xí)一個(gè)轉(zhuǎn)換矩陣，在此轉(zhuǎn)換矩陣的作用下，xi, yj(i=j)被判為正類，xi, yj(i≠j)被判為負(fù)類。本文的大間隔雙線性分類模型如下：

其中，W是一個(gè)d×d的矩陣；C是平衡參數(shù)，用以平衡模型在訓(xùn)練集上的性能和推廣能力；ξi是松弛變量；||·||F表示F范數(shù)；dw(xi, yi)用于衡量圖像對(duì)(xi, yi)的相似度，具體而言，使用dw(xi, yi)=xiTWyi。

3.2模型的優(yōu)化求解

本文用二次規(guī)劃來求解模型，其基本思想是首先將原問題轉(zhuǎn)換為對(duì)偶問題。

Fig.2 Statistical information of LKFW database圖2　LKFW數(shù)據(jù)庫(kù)的統(tǒng)計(jì)信息

式（1）的拉格朗日表達(dá)式為：

其中，αi和βi是拉格朗日乘子。在分別對(duì)W、b和ξi求導(dǎo)后，獲得：

現(xiàn)在，式（1）的對(duì)偶形式為：

式（6）是典型的二次規(guī)劃問題，并且通過觀察發(fā)現(xiàn)，其中的特征向量都是以內(nèi)積的形式出現(xiàn)，可以很容易地嵌入核。本文實(shí)驗(yàn)中使用了高斯核。

優(yōu)化獲得了αi后，使用式（3）計(jì)算獲得W，再使用所有對(duì)應(yīng)的αi≠0的訓(xùn)練樣本來計(jì)算b。算法1列出了大間隔雙線性分類器模型的優(yōu)化求解流程。

算法1大間隔雙線性分類器（LMBC）

輸入：訓(xùn)練集S={(xi, yi, zi)| i=1, 2,…, N}，平衡參數(shù)C，高斯核函數(shù)的寬度參數(shù)γ。

輸出：轉(zhuǎn)換矩陣W和偏置b。

步驟1優(yōu)化式（6）中的二次規(guī)劃問題；

步驟2使用式（3）獲得W；

步驟3對(duì)所有的對(duì)應(yīng)的αi≠0的訓(xùn)練樣本，計(jì)算bi=xTiWyi

步驟4求bi的均值作為b。

步驟5輸出W和b。

3.3模型的時(shí)間復(fù)雜度分析

大間隔雙線性分類器模型的求解包括優(yōu)化式（6）中的二次規(guī)劃問題和W、b的計(jì)算。二次規(guī)劃問題的時(shí)間復(fù)雜度為O(N3)，計(jì)算W和b的時(shí)間復(fù)雜度為O(N)，因此算法的時(shí)間復(fù)雜度為O(N3)。

4　實(shí)驗(yàn)

為了分析本文方法的性能，在LKFW和Kin-FaceW上與NRML[14]、PDFL[9]、PDFL+NRML[9]方法進(jìn)行了對(duì)比。下面是詳細(xì)的實(shí)驗(yàn)結(jié)果。

4.1實(shí)驗(yàn)設(shè)置

4.1.1特征表示

共抽取LBP[15]、LE[16]、SIFT[17]和TPLBP[18]4種特征來表示人臉圖像。每種特征的抽取方法和文獻(xiàn)[14]中的相同。

（1）LBP特征

每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個(gè)塊，每個(gè)塊抽取256維的直方圖特征，因此一共有16個(gè)256維的特征向量，每張人臉最終被表示為一個(gè)4 096維的特征向量。

（2）LE特征

對(duì)人臉中的每個(gè)像素抽取它的鄰域像素作為該像素值的特征表示，在實(shí)驗(yàn)中，抽取r×8個(gè)像素（r= 1，2）。對(duì)所有訓(xùn)練集上的這些向量，使用K-means將他們劃分為M個(gè)原型，每張人臉即可被編碼為一個(gè)M維的直方圖特征向量。為了更好地利用空間信息，在每張人臉上構(gòu)建多層金字塔序列形式的格子，每層將人臉劃分為2L塊，對(duì)每層的每塊人臉，抽取其LE特征，最終每張人臉的特征是這些向量的拼接。在實(shí)驗(yàn)中，取M=200，L={0，2，4}，最終每張人臉被表示為4 200維的特征向量。

（3）SIFT特征

每張人臉被劃分為大小為16×16像素且相互之間的重疊像素為8的7×7個(gè)塊，每塊抽取128維的SIFT特征，因此每張人臉被表示為6 272維的特征向量。

（4）TPLBP特征

和LBP特征類似，每張人臉被劃分為大小為16×16像素且相互之間沒有重疊像素的4×4個(gè)塊。對(duì)每個(gè)塊中的每個(gè)像素，考慮以此像素為中心大小為3×3的塊和環(huán)繞在該塊周圍且距其為2個(gè)像素的8個(gè)塊。從每個(gè)塊中抽取出256維的直方圖特征，最終每張人臉表示為一個(gè)4 096維的特征向量。

4.1.2參數(shù)的設(shè)置

高斯核被用來作為對(duì)樣本之間的相似性度量，因?yàn)檫@種核比其他的核能獲得更好的性能。為了調(diào)節(jié)高斯核函數(shù)的寬度參數(shù)γ和模型中的平衡參數(shù)C，在訓(xùn)練集上使用了四折交叉驗(yàn)證尋找最優(yōu)參數(shù)。最終，在LKFW數(shù)據(jù)庫(kù)上高斯核函數(shù)的寬度參數(shù)γ和平衡參數(shù)C分別設(shè)置為0.02和0.1。在KinFaceW數(shù)據(jù)庫(kù)上γ和C分別為0.01和0.2。NRML方法在LKFW數(shù)據(jù)庫(kù)上的參數(shù)設(shè)置為，鄰域大小k為5，投影特征維度為30，迭代次數(shù)為10。

4.2對(duì)親子關(guān)系的驗(yàn)證

4.2.1LKFW數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

為了評(píng)價(jià)算法在LKFW數(shù)據(jù)庫(kù)上的對(duì)親子關(guān)系驗(yàn)證性能，在該庫(kù)上設(shè)計(jì)了一個(gè)類似于Kin-FaceW數(shù)據(jù)庫(kù)的驗(yàn)證協(xié)議。將數(shù)據(jù)庫(kù)平均分為5個(gè)部分，每個(gè)部分包含的親子對(duì)數(shù)幾乎相同。最終的實(shí)驗(yàn)結(jié)果使用五折交叉驗(yàn)證方法。表2列出了LKFW數(shù)據(jù)庫(kù)的劃分情況。對(duì)每折中的人臉圖像，將所有已知的親子對(duì)看作正例。負(fù)例由那些不具備親子關(guān)系的人臉對(duì)構(gòu)成。在實(shí)驗(yàn)中，將每張父或母的人臉圖像隨機(jī)地和一張不是其真實(shí)孩子的人臉圖像進(jìn)行配對(duì)構(gòu)造負(fù)例，并且限定每張人臉圖像在負(fù)例樣本中僅出現(xiàn)一次。

Table 2 Face number index of each fold of LKFW database表2　LKFW數(shù)據(jù)庫(kù)中每折的人臉號(hào)索引

表3比較了本文方法和NRML方法在LKFW數(shù)據(jù)庫(kù)上的結(jié)果。觀察發(fā)現(xiàn)：

（1）本文大間隔雙線性分類器方法比NRML方法要好，這說明通過將具有親子關(guān)系的主體對(duì)看作正例，將不具有親子關(guān)系的主體對(duì)看作負(fù)例，且用雙線性函數(shù)度量二者之間的相似度方法學(xué)習(xí)一個(gè)轉(zhuǎn)換矩陣是有效的。

（2）4種親子關(guān)系的驗(yàn)證難易程度不同，其中父女關(guān)系和母女關(guān)系相對(duì)較難。在使用NRML方法時(shí)，其他3種親子關(guān)系中的最低分類精度比父女關(guān)系的分類精度分別高3.8%(LBP)、2.7%(LE)、1.8%(SIFT) 和0.4%(TPLBP)。而在使用大間隔雙線性分類器方法時(shí)，其他3種親子關(guān)系中的最低分類精度比母女關(guān)系的分類精度分別高0.9%(LBP)、-5.2%(LE)、0.6% (SIFT)和1.3%(TPLBP)。產(chǎn)生這種現(xiàn)象的原因有可能是女兒在外觀上和父母的相似性變化情況比兒子和父母的相似性變化情況復(fù)雜，這和早期的人類學(xué)研究成果[19]聲稱的內(nèi)容相吻合。

4.2.2KinFaceW數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

表4和表5比較了本文大間隔雙線性分類器方法和NRML、PDFL、PDFL+NRML等幾種方法在Kin-FaceW-I和KinFaceW-II上的驗(yàn)證精度。其中，NRML的驗(yàn)證精度來自于文獻(xiàn)[14]，PDFL和PDFL+NRML的驗(yàn)證精度來自于文獻(xiàn)[9]。觀察發(fā)現(xiàn)：

Table 3 Correct verification rates of kinship on LKFW database表3　在LKFW數(shù)據(jù)庫(kù)上對(duì)親子關(guān)系的驗(yàn)證精度比較　%

Table 4 Correct verification rates of different methods on KinFaceW-I database表4　幾種方法在KinFaceW-I庫(kù)上的驗(yàn)證精度比較　%

Table 5 Correct verification rates of different methods on KinFaceW-II database表5　幾種方法在KinFaceW-II庫(kù)上的驗(yàn)證精度比較　%

（1）在使用相同特征的情況下，本文方法在兩個(gè)數(shù)據(jù)庫(kù)上大多能獲得比NRML方法更好的性能，說明了本文方法的有效性，并且本文方法在KinFaceW-I數(shù)據(jù)庫(kù)上獲得了最好的平均性能。而PDFL方法在KinFaceW-II數(shù)據(jù)庫(kù)上獲得了最好的平均性能，原因可能在于其所使用的特征是在借助從LFW數(shù)據(jù)庫(kù)上抽取的輔助數(shù)據(jù)集構(gòu)造的，根據(jù)以往在LFW人臉驗(yàn)證的研究工作來看，輔助數(shù)據(jù)集可以提供一定的判別信息。

（2）幾種方法在KinFaceW-II上的性能要高于在KinFaceW-I上的分類精度。原因有兩個(gè)方面：首先，KinFaceW-II中的圖像對(duì)都來自于同一張圖像，而KinFaceW-I中的親子對(duì)圖像來自于不同的圖像，因此KinFaceW-II中的親子對(duì)具有相似的光照條件，驗(yàn)證難度較小。其次，KinFaceW-II中的圖像對(duì)數(shù)量比較多，兩個(gè)子庫(kù)在同樣的特征維度下，KinFaceW-II上訓(xùn)練獲得的模型更傾向于具備良好的推廣性。

4.3組親子關(guān)系的驗(yàn)證

為了進(jìn)一步探究孩子和父母雙方的空間結(jié)構(gòu)關(guān)系，本文做了另外一組實(shí)驗(yàn)進(jìn)行組親子關(guān)系驗(yàn)證。組親子關(guān)系的驗(yàn)證目的是驗(yàn)證給定的3張圖像中的主體對(duì)象是否具有父母-孩子關(guān)系。將使用LKFW數(shù)據(jù)庫(kù)中包含的302組家庭圖像實(shí)現(xiàn)這個(gè)目的，下面用LKFW-F來標(biāo)示這302組圖像子集。

和對(duì)親子關(guān)系驗(yàn)證相類似，也設(shè)計(jì)了一個(gè)五折交叉驗(yàn)證來評(píng)價(jià)算法的性能。在每折圖像中，考慮所有具有家庭關(guān)系的圖像組為正例，負(fù)例由每對(duì)夫妻和一個(gè)不是他們孩子的孩子角色圖像構(gòu)成。

在組親子關(guān)系驗(yàn)證中，要探究的是3個(gè)主體之間的關(guān)系，這里采用的解決方案是使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度。最后，再使用線性支持向量機(jī)（support vector machine，SVM）作為最終的分類器。對(duì)大間隔雙線性分類器，使用同樣的策略。

表6比較了本文方法和NRML在SIFT特征下的組親子關(guān)系驗(yàn)證性能。觀察發(fā)現(xiàn)：

Table 6 Correct verification rates of LMBC and NRML on LKFW-F database表6　大間隔雙線性分類器和NRML在LKFW-F子庫(kù)上的驗(yàn)證精度　%

（1）兩種方法都獲得了較好的性能，說明使用父親-孩子和母親-孩子的相似度均值作為父母-孩子的相似度方法的可行性。而本文方法比NRML的均值高2.8%，再一次說明方法的有效性。

（2）兩種方法獲得的父母-女兒的驗(yàn)證精度都比父母-兒子的精度要低，這與表3和表5的結(jié)論相似，但現(xiàn)在的數(shù)據(jù)庫(kù)只有302組家庭圖像，以后可以收集更大的家庭圖像數(shù)據(jù)庫(kù)來探究性別在外觀遺傳表現(xiàn)上的影響。

5　結(jié)束語

本文基于大間隔雙線性分類器進(jìn)行親子關(guān)系驗(yàn)證，實(shí)驗(yàn)表明本文方法能達(dá)到較好的驗(yàn)證性能。親子關(guān)系驗(yàn)證是計(jì)算機(jī)視覺領(lǐng)域中相對(duì)新興的問題，隨著研究的推進(jìn)，其將會(huì)不斷促進(jìn)人們對(duì)人類視覺系統(tǒng)工作原理的理解。

今后的工作包括挖掘和親子關(guān)系驗(yàn)證相關(guān)的具有判別性信息的先驗(yàn)知識(shí)，融合多種特征并通過獲取特征之間的互補(bǔ)性判別信息來進(jìn)一步提高模型的性能。

References:

[1] Wang Gang, Gallagher A, Luo Jiebo, et al. Seeing people in social context: recognizing people and social relationships [C]//LNCS 6315: Proceedings of the 11th European Conference on Computer Vision, Heraklion, Greece, Sep 5-11, 2010. Berlin, Heidelberg: Springer, 2010: 169-182.

[2] Shao Ming, Xia Siyu, Fu Yun. Identity and kinship relations in group pictures[M]//Human-Centered Social Media Analytics. Berlin, Heidelberg: Springer, 2014: 175-190.

[3] Zhou Xiuzhuang, Lu Jiwen, Hu Junlin. et al. Gabor-based gradient orientation pyramid for kinship verification under uncontrolled environments[C]//Proceedings of the 20th ACM International Conference on Multimedia, Nara, Japan, Oct 29-Nov 2, 2012. New York, USA:ACM, 2012: 725-728.

[4] Guo Guodong, Wang Xiaolong. Kinship measurement on salient facial features[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2322-2325.

[5] Sun Yi, Wang Xiaogang, Tang Xiaoou. Deep learning face representation by joint identification-verification[J]. arXiv: 1406.4773, 2014.

[6] Fang Ruogu, Tang K D, Snavely N, et al. Towards computational models of kinship verification[C]//Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, Sep 26- 29, 2010. Piscataway, USA: IEEE, 2010: 1577-1580.

[7] Zhou Xiuzhuang, Hu Junlin, Lu Jiwen, et al. Kinship verification from facial images under uncontrolled conditions [C]//Proceedings of the 19th ACM International Conference on Multimedia, Scottsdale, USA, Nov 28-Dec 1, 2011. New York, USA:ACM, 2011: 953-956.

[8] Xia Siyu, Shao Ming, Fu Yun. Toward kinship verification using visual attributes[C]//Proceedings of the 21st International Conference on Pattern Recognition, Tsukuba, Japan, Nov 11-15, 2012. Piscataway, USA: IEEE, 2012: 549-552.

[9] Yan Haibin, Lu Jiwen, Zhou Xiuzhuang. Prototype-baseddiscriminative feature learning for kinship verification[J]. IEEE Transactions on Cybernetics, 2014, 45(11): 2535-2545.

[10] Yan Haibin, Lu Jiwen, Deng Weihong, et al. Discriminative multi-metric learning for kinship verification[J]. IEEE Transactions on Information Forensics and Security, 2014, 9 (7): 1169-1178.

[11] Hu Junlin, Lu Jiwen, Yuan Junsong, et al. Large margin multimetric learning for face and kinship verification in the wild[C]//LNCS 9005: Proceedings of the 12th Asian Conference on Computer Vision, Singapore, Nov 1-5, 2014: 252-267.

[12] Xia Siyu, Shao Ming, Fu Yun. Kinship verification through transfer learning[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence-Vol 3. Menlo Park, USA:AAAI, 2011: 2539-2544.

[13] Shao Ming, Kit D, Fu Yun. Generalized transfer subspace learning through low-rank constraint[J]. International Journal of Computer Vision, 2014, 109(1/2): 74-93.

[14] Lu Jiwen, Zhou Xiuzhuang, Tan Y-P, et al. Neighborhood repulsed metric learning for kinship verification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 331-345.

[15] Ahonen T, Hadid A. Face description with local binary patterns: application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (12): 2037-2041.

[16] Cao Zhimin, Yin Qi, Tang Xiaoou, et al. Face recognition with learning-based descriptor[C]//Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2010: 2707-2714.

[17] Lowe D. Distinctive image features from scale- invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18] Wolf L, Hassner T, Taigman Y. Descriptor based methods in the wild[C]//Proceedings of the European Conference on Computer Vision Workshop, 2008.

[19] Platek S M, Raines D M, Gallup Jr G G, et al. Reactions to children’s faces: males are more affected by resemblance than females are, and so are their brains[J]. Evolution and Human behavior, 2004, 25(6): 394-405.

QIN Xiaoqian was born in 1980. She is a Ph.D. candidate at Nanjing University of Aeronautics and Astronautics, and a lecturer at Huaiyin Normal University. Her research interests include computer vision and machine learning, etc.秦曉倩（1980—），女，江蘇淮安人，南京航空航天大學(xué)博士研究生，淮陰師范學(xué)院講師，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺，機(jī)器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文9篇，主持江蘇省屬高校自然科學(xué)基金項(xiàng)目等。

TAN Xiaoyang was born in 1971. He received the Ph.D. degree in machine learning from Nanjing University in 2005. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include computer vision and machine learning, etc.

譚曉陽（1971—），男，重慶人，2005年于南京大學(xué)獲得博士學(xué)位，現(xiàn)為南京航空航天大學(xué)教授、博士生導(dǎo)師，CCF高級(jí)會(huì)員，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺，機(jī)器學(xué)習(xí)等。

CHEN Songcan was born in 1961. He received the Ph.D. degree in communication and information systems from Nanjing University of Aeronautics and Astronautics in 1997. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include machine learning and pattern recognition, etc.

陳松燦（1961—），男，浙江寧波人，1997年于南京航空航天大學(xué)獲得博士學(xué)位，現(xiàn)為南京航空航天大學(xué)教授、博士生導(dǎo)師，CCF高級(jí)會(huì)員，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)，模式識(shí)別等。

Kinship Verification Through Large Margin Bilinear Classifier?

QIN Xiaoqian1,2, TAN Xiaoyang1+, CHEN Songcan1
1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
2. School of Urban and Environmental Sciences, Huaiyin Normal University, Huai’an, Jiangsu 223300, China

+ Corresponding author: E-mail: x.tan@nuaa.edu.cn

QIN Xiaoqian, TAN Xiaoyang, CHEN Songcan. Kinship verification through large margin bilinear classifier. Journal of Frontiers of Computer Science and Technology, 2016, 10(4): 524-532.

Abstract:Recent research has demonstrated that machine learning algorithms have understood individual face image fairly well. However, one major challenge in computer vision is to investigate the relationship among multiple visual entities. Indeed parents-child relationship plays a core role in a family and understanding such kind of kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in a human world. To address this issue, this paper collects by far the biggest kinship face database named LKFW (labeled KinFace in the wild) by searching public figures and family photos from the Internet. Then this paper presents a large margin bilinear classifier (LMBC) for kinship verification by effectively exploiting the dependence structure between child and parents in a few aspects: similarity measure and classifier design. In addition, the method can be solved as a quadratic programming problem and kernel is utilized. Extensive experiments on KinFaceW and LKFW kinship databases show that the pro-book=525,ebook=79posed method can obtain better or comparable results.

Key words:kinship verification; bilinear classifier; face verification

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP181

doi:10.3778/j.issn.1673-9418.1505063