基于空洞卷積神經(jīng)網(wǎng)絡(luò)的親屬關(guān)系驗證方法

鄭亮 陳鵬 韓晶晶 陳亞

摘? 要：文章對基于深度學習的親屬關(guān)系驗證方法進行了深入研究，并針對由于人臉圖像與其他自然圖像存在較大的差異而導(dǎo)致的感受野較小的問題，提出了一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的親屬關(guān)系驗證方法，構(gòu)建了殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN Net），分別從父母與孩子的人臉圖像中提取深度特征，經(jīng)過特征融合后使用鑒別器得到親屬關(guān)系驗證結(jié)果。算法在公開親屬關(guān)系數(shù)據(jù)集KinFaceW上進行測試，實驗結(jié)果表明，本文方法在親屬關(guān)系驗證的準確率上有良好的表現(xiàn)。

關(guān)鍵詞：親屬關(guān)系驗證;深度特征;空洞卷積;特征融合

中圖分類號：TP391? ? ?文獻標識碼：A 文章編號：2096-4706（2021）18-0071-05

Abstract： In this paper， the kinship verification method based on deep learning is deeply studied， and aiming at the problem of small receptive field caused by the large difference between face image and other natural images， a kinship verification method based on atrous convolution neural network is proposed， residual atrous convolutions neural network （RDCN Net） is constructed， the depth features are extracted from the face images of parents and children respectively， and the kinship verification results are obtained by using the discriminator after feature fusion. The algorithm is tested on the open kinship dataset KinFaceW. The experimental results show that the proposed method has good performance in the accuracy of kinship verification.

Keywords： kinship verification; deep feature; atrous convolution; feature fusion

0? 引? 言

基于人臉圖像的親屬關(guān)系驗證是受遺傳學、心理學[1-5]啟發(fā)從而得到在計算機視覺上的一個研究方向，是指通過對給定的一對父母及子女的人臉圖像進行相似度比對，從而得到雙方是否具有某種親屬關(guān)系。親屬關(guān)系驗證技術(shù)在社會中有著廣泛的應(yīng)用前景，如在安全領(lǐng)域可以通過分析父母與孩子的圖像，結(jié)合遍布各個區(qū)域的攝像頭用于尋找走失的兒童、打擊相關(guān)犯罪活動等。在社交領(lǐng)域，可以進行相冊分類、成長記錄、分析孩子行為等應(yīng)用。

現(xiàn)有的親屬關(guān)系驗證方法主要分為三類：基于特征的方法、基于模型的方法，和基于深度學習的方法?；谔卣鞯姆椒ㄖ饕诘图壧卣魇褂靡恍┦止ぶ谱鞯奶卣鞑⑹褂脗鹘y(tǒng)的分類器來驗證親屬關(guān)系。基于模型的方法往往通過學習一個有效的模型來判斷主體之間是否存在親緣關(guān)系，所學的模型可以增大親屬對之間的距離并縮小非親屬對之間的距離?；谏疃葘W習的方法主要通過提取圖像的深度特征，并對深度特征進行分析從而得到親屬關(guān)系驗證結(jié)果。這三種方式所得到的準確率也是從低到高依次遞增。

目前，隨著深度學習的飛速發(fā)展和硬件計算的巨大進步，研究者們已經(jīng)提出了許多基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像處理方法，并取得了令人鼓舞的表現(xiàn)。但是卷積神經(jīng)網(wǎng)絡(luò)也存在一些問題，深層的卷積網(wǎng)絡(luò)感受野比較小，會忽視整體與部分之間的聯(lián)系，有著平移不變性，而空洞卷積能夠有效地避免這類問題。鑒于此，根據(jù)現(xiàn)有的深度學習網(wǎng)絡(luò)，本文提出一種基于空洞卷積神經(jīng)網(wǎng)絡(luò)的親屬關(guān)系驗證方法，構(gòu)建了殘差空洞卷積神經(jīng)網(wǎng)絡(luò)，進一步增加了鑒別模型的魯棒性。針對親屬關(guān)系驗證任務(wù)展開了以下工作：

（1）結(jié)合殘差網(wǎng)絡(luò)[6]的思想，在增加RDCN網(wǎng)絡(luò)層數(shù)同時，既增加了網(wǎng)絡(luò)的性能，又防止出現(xiàn)梯度彌散和梯度爆炸情況。

（2）使用空洞卷積層組建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠避免卷積網(wǎng)絡(luò)的感受野小和平移不變性等缺陷。

1? 相關(guān)工作

1.1? 親屬關(guān)系驗證

2010年，F(xiàn)ang等[7]首先提出了基于人臉圖像的親屬關(guān)系驗證。他們選擇使用了一些可被繼承的低級特征，包括顏色、人臉各個部位的距離和HoG特征，然后利用k-最鄰近法和支持向量機來進行親屬關(guān)系驗證。最近幾年，研究人員對親屬關(guān)系驗證任務(wù)有了進一步的研究并提出了許多新穎的方法[8-12]。如Lu等[13]提出了鄰域排斥度量學習（NRML）方法，通過測量樣本的度量，即在新的特征映射空間中，具有親屬關(guān)系的樣本的距離可以盡可能小，沒有親屬關(guān)系的樣本距離盡可能的大，通過樣本的距離來判斷是否具有親屬關(guān)系。Zhou等[14]提出了一種可擴展的相似度學習方法，該方法通過截斷梯度的方法學習了一個對角雙線性相似模型，該模型對于具有高維度的親屬關(guān)系數(shù)據(jù)集在擴展性和計算效率方面的有著巨大的優(yōu)勢。Zhou等[11]提出一個自適應(yīng)網(wǎng)絡(luò)（KinNet），KinNet將通過使用有限的標記數(shù)據(jù)，在一個有監(jiān)督的度量學習框架中學習一個魯棒性的親屬度量。通過這個度量來判斷樣本之間是否具有親屬關(guān)系。在深度學習方面，Zhang等[10]設(shè)計了一個使用深度卷積神經(jīng)網(wǎng)絡(luò)提取高級特征進行親屬關(guān)系驗證的框架，通過提取樣本的深度特征，來判斷是否具有親屬關(guān)系。而Nandy[15]使用深度孿生網(wǎng)絡(luò)來驗證親緣關(guān)系，孿生網(wǎng)絡(luò)通過參數(shù)共享的形式，利用表征卷積神經(jīng)網(wǎng)絡(luò)的學習能力，有效提高識別準確率和識別速度。gzslib202204051123

1.2? 殘差網(wǎng)絡(luò)

隨著深度學習方法的普及，人們使用的神經(jīng)網(wǎng)絡(luò)的寬度和深度在不斷地加深，通過這種方式能夠有效地提高模型的性能，同時也帶了一些其他問題，僅僅通過簡單地增加深度，會出現(xiàn)網(wǎng)絡(luò)退化，產(chǎn)生過擬合現(xiàn)象，導(dǎo)致精度降低，同時出現(xiàn)梯度彌散和梯度爆炸[16，17]。為了解決這種情況，He等[6]提出了殘差的概念，殘差網(wǎng)絡(luò)由若干個殘差單元構(gòu)成，殘差單元可以以跳躍連接的形式實現(xiàn)。即把殘差單元的輸入直接與輸出加在一起，解決了過擬合等問題。

1.3? 空洞卷積

卷積網(wǎng)絡(luò)最初是為分類手寫數(shù)字[18]而開發(fā)的，到后來的應(yīng)用越來越廣泛，使用卷積網(wǎng)絡(luò)的過程通常是用卷積或池化操作來得到非常小的高緯度特征圖，再利用這些高緯度特征圖去解決相關(guān)問題。但是這樣的操作會丟失大量的細節(jié)信息，如一張圖像上，同時存在人臉的各種特征，如嘴巴在眼睛上方，耳朵朝向同一個方向，圖像是由多張人臉拼湊而成的，此時僅通過卷積操作，會被認為是一個人臉，而不是多張人臉。這是因為卷積和池化操作會導(dǎo)致感受野非常小，無法感知到整張圖像。此時，使用空洞卷積[19]，代替常規(guī)的卷積操作，能夠有效地增加卷積核的感受野，對人臉信息更加敏感，防止了誤認等情況的出現(xiàn)。

2? 殘差空洞卷積神經(jīng)網(wǎng)絡(luò)模型

本文設(shè)計了一種基于空洞卷積和殘差思想的殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN）模型用于親屬關(guān)系驗證，該網(wǎng)絡(luò)使用空洞卷積代替常規(guī)卷積，并組成了殘差結(jié)構(gòu)。先利用網(wǎng)絡(luò)提取具有鑒別力的深度特征，再使用鑒別器鑒別輸入的樣本對是否具有親屬關(guān)系。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1? 殘差空洞卷積模型

具有親屬關(guān)系的父母和子女在面部特征上往往表現(xiàn)出較強的相似性。在使用人臉圖像進行親屬關(guān)系驗證時，若使用普通卷積可能會導(dǎo)致感受野小，容易出現(xiàn)誤判等情況，于是本文使用空間卷積，增加感受野，如圖2所示，2（a）為普通卷積，右側(cè)有空洞卷積，可以看出，在空洞卷積擴張率設(shè)置為1的情況下，感受野的范圍便增加了一倍。

因此，本文使用空洞卷積代替普通卷積，并借助殘差網(wǎng)絡(luò)結(jié)構(gòu)的思想，構(gòu)建了3個殘差單元。殘差單元如圖2（b）所示，每個殘差單元由2個3×3的空洞卷積構(gòu)成，每個卷積之后都增加了ReLU作為激活函數(shù)，并使用Batch Normalization層對數(shù)據(jù)進行歸一化處理。

2.2? 親屬關(guān)系鑒別方法

在親屬關(guān)系鑒別中，首先找出在數(shù)據(jù)集中隱藏的FamilyID信息。具體來說，具有親屬關(guān)系的一對人臉圖像分別標記相同的Family ID，而不具備親屬關(guān)系的一對人臉圖像分別標記不同的Family ID，這些Family ID可以作為輔助信息用于網(wǎng)絡(luò)模型的訓練。

之后使用RDCN進行親屬關(guān)系驗證。如圖3所示，使用兩個共享權(quán)值的分支分別提取輸入的人臉圖像的特征，得到父母和孩子人臉圖像的特征圖。基于上一步驟得到的特征圖進行兩類處理，第一類處理是利用特征圖結(jié)合Family ID進行輔助訓練;另一類將提取的特征通過組合運算和拼接的方式進行融合。將融合后的特征輸入到一個由全連接層構(gòu)成的鑒別器中，量化兩個圖像，得到相似度評分，通過設(shè)置閾值t，可以得到最終的預(yù)測結(jié)果，即有親屬關(guān)系或者無親屬關(guān)系（即1或0），最終預(yù)測值定義如式（1）所示。

RDCN網(wǎng)絡(luò)的具體結(jié)構(gòu)如表1所示，F(xiàn)c1和Fc2作為鑒別器。在Fc1后增加了Dropout[20]層，用于消除網(wǎng)絡(luò)可能會產(chǎn)生的擬合現(xiàn)象。

2.3? 損失函數(shù)

本文使用了Triplet loss和Binary Cross Entropy（BCE） loss損失函數(shù)用于訓練網(wǎng)絡(luò)。

Triplet損失函數(shù)結(jié)合FamilyID，目的是增強類內(nèi)（有親屬關(guān)系）的緊湊性和類間（無親屬關(guān)系）的可分離性。Triplet損失函數(shù)定義為：

x是當前樣本特征，y是同類樣本特征，z是不同類樣本特征，其中d（·）表示兩個樣本之間歐式距離。α是預(yù)先設(shè)置好的邊界值。

BCE loss旨在優(yōu)化結(jié)合真實親屬標簽的網(wǎng)絡(luò)。BCE損失函數(shù)定義為：

其中，q是目標標簽，取值為0或1。取值為1表示圖像之間有親屬關(guān)系，取值為0表示圖像之間沒有親屬關(guān)系。p為Sigmoid激活函數(shù)得到的預(yù)測值。

網(wǎng)絡(luò)的損失函數(shù)定義為這兩個損失函數(shù)之和，如式（4）所示：

3? 實驗與結(jié)果分析

3.1? 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文使用了公開的KinFaceW[21]數(shù)據(jù)集進行實驗驗證，該數(shù)據(jù)集由KinFaceW-I和KinFaceW-II兩個子集構(gòu)成。數(shù)據(jù)集中的圖像來源于互聯(lián)網(wǎng)，包括一些公眾人物及其子女的照片。人臉圖像是在不受約束的環(huán)境下采集的，因此圖像受光線等參數(shù)的影響。此外，人臉圖像均已按照眼睛的坐標進行對齊并做了裁剪處理，圖像大小均為64×64，KinFaceW-II數(shù)據(jù)集中部分數(shù)據(jù)及其親屬關(guān)系如圖4所示。

KinFaceW-I數(shù)據(jù)集包含4種不同親屬關(guān)系的圖像：父親和兒子（FS），父親和女兒（FD），母親和女兒（MD），母親和兒子（MS）。這四種關(guān)系的圖像對數(shù)分別為134、156、127、116，共計1 066張圖像。該數(shù)據(jù)集中每對人臉圖像均采集于不同的照片，因此圖像的光照、清晰程度有些許差異。

KinFaceW-II數(shù)據(jù)集也同樣包含父親與兒子（FS）、父親與女兒（FD）、母親與兒子（MD）、母親與女兒（MS）4種不同親屬關(guān)系的圖像數(shù)據(jù)集由，每種親屬關(guān)系包含250對圖像，數(shù)據(jù)集中總共有2 000張圖像。該數(shù)據(jù)集中每對人臉圖像均采集于同一張照片，具有更好的可比性。

3.2? 訓練與參數(shù)設(shè)置gzslib202204051124

本文的訓練參數(shù)設(shè)置如下：RDCN模型的優(yōu)化器選用Adam，學習率設(shè)置為0.000 25，權(quán)值衰減設(shè)置為0.005，損失函數(shù)使用Tripletloss+Kin loss。使用交叉驗證方法，將數(shù)據(jù)集盡可能等分成5折，其中4折用來訓練，1折用來測試。每折由相同數(shù)量的正樣本和負樣本構(gòu)成，正樣本是一對有親屬關(guān)系的父母和孩子，負樣本是由在本折中的不具有親屬關(guān)系的樣本隨機組合構(gòu)成。進行5次實驗，每次實驗迭代次數(shù)為200次，閾值 設(shè)置為0.5。每次實驗都會得出相應(yīng)的準確率，最后將5次實驗結(jié)果取平均值作為最終的實驗結(jié)果。

本文為了驗證算法的有效性，將本文提出的算法與一些最先進的方法GA[21]，DMML[22]，MPDFL[23]，MPDFL[23]，IML[22]等算法進行了比較，在KinFaceW-I數(shù)據(jù)集的精度比較如表2所示，在KinFaceW-II數(shù)據(jù)集的精度比較如表3所示。分析表2和表3可得出分析結(jié)果，在FS、FD、MD和MS四個子數(shù)據(jù)集上，本文所提出方法的準確性得到了顯著提高。GA方法的準確度與本文的方法最接近。可以看出本文所提出的方法在KinFaceW-I數(shù)據(jù)集中的平均準確率達到80.8%，與表現(xiàn)最好的GA方法相比，至少提高了6.3%=（80.8%-74.5%）。同時在KinFaceW II數(shù)據(jù)集上的平均準確率達到88.2%，與GA方法相比，提高了6.0%=（88.2%-82.2%）。通過實驗比較，可以發(fā)現(xiàn)，空洞卷積能夠有效地提高親屬關(guān)系識別的準確率。

4? 結(jié)? 論

本文提出了一種親屬關(guān)系驗證方法：殘差空洞卷積神經(jīng)網(wǎng)絡(luò)（RDCN），該網(wǎng)絡(luò)使用了空洞卷積替代卷積網(wǎng)絡(luò)，并結(jié)合殘差的思想用于特征提取?；诖嗽O(shè)計，獲得更具辨別力的深層特征，將其用于親屬關(guān)系驗證獲得更優(yōu)異的結(jié)果。本文的方法在公共親屬關(guān)系數(shù)據(jù)集KinFaceW上進行了測試。實驗結(jié)果表明，親屬關(guān)系驗證的準確性得到了顯著提高。在未來，我們的網(wǎng)絡(luò)將進一步優(yōu)化，并將考慮不同的因素，如照明、表情、年齡、性別、屏蔽，以提升親屬關(guān)系驗證的精度。

參考文獻：

[1] MARTELLO M F D，MALONEY L T. Where are kin recognition signals in the human face？ [J/OL].Journal of Vision，2006，6（12）：1356-1366.[2021-06-22].http：//journalofvision.org/6/12/2/.

[2] MARTELLO M F D，MALONEY L T. Lateralization of kin recognition signals in the human face [J/OL].Journal of vision，2010，10（8）：1-10.[2021-06-22].http：//www.journalofvision.org/content/10/8/9.

[3] DEBRUINE L M，SMITH F G，Jones B C，et al. Kin recognition signals in adult faces [J].Vision Research，2009，49（1）：38-43.

[4] MALONEY L T，MARTELLO M F D. Kin recognition and the perceived facial similarity of children [J/OL].Journal of Vision，2006，6（10）：1047-1056.[2021-06-22].http：//journalofvision.org/6/10/4/.

[5] ALVERGNE A，PERREAU F，MAZUR A，et al.Identification of visual paternity cues in humans [J/OL].Biology letters，2014，10（4）：1-4.[2021-06-22].https：//doi.org/10.1098/rsbl.2014.0063.

[6] HE K M，ZHANG Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[7] FANG R，TANG K D，SNAVELY N，et al. Towards computational models of kinship verification [C]//2010 IEEE International Conference on Image Processing.Hong Kong：IEEE，2010：1577-1580.

[8] CHEN X P，ZHU X K，ZHENG S S，et al. Semi-Coupled Synthesis and Analysis Dictionary Pair Learning for Kinship Verification [J].IEEE Transactions on Circuits and Systems for Video Technology，2021，31（5）：1939-1952.

[9] LU J W，LIONG V E，ZHOU X Z，et al. Learning Compact Binary Face Descriptor for Face Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（10）：2041-2056.gzslib202204051124

[10] ZHANG K H，HUANG Y Z，SONG C F，et al. Kinship Verification with Deep Convolutional Neural Networks [C]//Proceedings of the British Machine Vision Conference（BMVC）Swansea，Swansea：BMVA Press，2015：148.1-148.12.

[11] ZHOU X Z，JIN K，XU M，et al. Learning Deep Compact Similarity Metric for Kinship Verification from Face Images [J].Information Fusion，2019，48：84-94.

[12] YU J，LI M Y，HAO X L，et al. Deep Fusion Siamese Network for Automatic Kinship Verification [J/OL].arXiv：2006.00143 [cs.CV].[2021.06-22].https：//arxiv.org/abs/2006.00143v2.

[13] LU J W，ZHOU X Z，TAN Y P，et al. Neighborhood Repulsed Metric Learning for Kinship Verification [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（2）：331-345.

[14] ZHOU X Z，YAN H B，SHANG Y Y. Kinship verification from facial images by scalable similarity fusion [J].Neurocomputing，2016，197：136-142.

[15] NANDY A，MONDAL S S. Kinship Verification using Deep Siamese Convolutional Neural Network [C]//International Conference on Automatic Face and Gesture Recognition.Lille：[s.n.]，2019：1-5.

[16] BENGIO Y，SIMARD P，F(xiàn)RASCONI P. Learning long-term dependencies with gradient descent is difficult [J].IEEE Transactions on Neural Networks，1994，5（2）：157-166.

[17] GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks [J].Journal of Machine Learning Research，2010，9：249-256.

[18] LECUN Y，BOSER B E，DENKER J S，et al. Backpropagation applied to handwritten zip code recognition [J].Neural computation，1989，1（4）：541-551.

[19] YU F，KOLTUN V，F(xiàn)UNKHOUSER T. Dilated Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu：IEEE，2017：636-644.

[20] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors [J/OL].arXiv：1207.0580 [cs.NE].[2021-06-22].https：//arxiv.org/abs/1207.0580.

[21] DEHGHAN A，ORTIZ E G，VILLEGAS R，et al. Who Do I Look Like？ Determining Parent-Offspring Resemblance via Gated Autoencoders [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus：IEEE，2014：1757-1764.

[22] YAN H B，LU J W，DENG W H，et al. Discriminative Multimetric Learning for Kinship Verification [J].IEEE Transactions on Information Forensics and Security，2014，9（7）：1169-1178.

[23] YAN H B，LU J W，ZHOU X Z. Prototype-Based Discriminative Feature Learning for Kinship Verification [J].IEEE Transactions on Cybernetics，2015，45（11）：2535-2545.