基于改進(jìn)的Siamese算法進(jìn)行圖像對的相似度判定

賈小碩 曾上游 周悅 馬鋮旭

摘? 要： 傳統(tǒng)人臉圖像對的相似度判定方法易受環(huán)境、像素值等因素影響，導(dǎo)致其方法的準(zhǔn)確率很低。為此，文中為提高人臉圖像對的相似度判定準(zhǔn)確率，設(shè)計一種利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的非線性特點與優(yōu)化邊緣算子特點相結(jié)合的輕量化網(wǎng)絡(luò)。實驗結(jié)果表明，設(shè)計的輕量化網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)對比在準(zhǔn)確率上有效提升大約2%;在模型大小上從原有的40.2 MB縮小到18.9 MB。并且與已有算法做了全面對比，得出改進(jìn)算法準(zhǔn)確率高于已有算法，驗證了改進(jìn)算法的可實施性。

關(guān)鍵詞： 人臉圖像對; 相似度判定; 改進(jìn)Siamese網(wǎng)絡(luò); 輕量化網(wǎng)絡(luò); 輕量化建模; 對比驗證

中圖分類號： TN911.73?34; TP391.4? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）18?0050?04

Abstract： The traditional method for deciding the similarity of face image pairs is susceptible to some factors such as environment and pixel values， resulting in low accuracy of the method. Therefore， a lightweight network that combines the nonlinear characteristics of convolutional neural networks （CNN） with the characteristics of optimized edge operators is designed to improve the accuracy of the face image pair similarity determination. The experimental results show that， in comparison with the traditional network， the designed lightweight network can increase the accuracy by about 2%， and the model size is reduced from the original 40.2 MB to 18.9 MB. In the experiment， a comprehensive comparison was made with the existing algorithms. The accuracy of the improved algorithm is higher than that of the existing algorithms.

Keywords： face image pair; similarity determination; improved Siamese network; lightweight network; lightweight modeling; comparison validation

0? 引? 言

人臉圖像對的相似度[1]判定是計算機視覺中重要的方向，并廣泛地應(yīng)用在目標(biāo)追蹤[2]、目標(biāo)定位檢測、單目標(biāo)圖像處理等技術(shù)上。隨著Geoffrey Hinton的深度學(xué)習(xí)思想被提出，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像處理領(lǐng)域有了很大的突破，與傳統(tǒng)方法相比，在準(zhǔn)確率、運行時間上均取得重大突破，其中最具有代表性的CNN模型有VGG[3]，GoogLeNet[4]，ResNet[5]等。在人臉圖像對的相似性判定上，Siamese Network [6]最為經(jīng)典。Siamese Network將CNN與歐氏距離相結(jié)合對人臉圖像對進(jìn)行相似度判定，其CNN部分采用GoogLeNet，但仍存在模型較大，準(zhǔn)確率受環(huán)境影響等問題。針對以上問題，本文設(shè)計將優(yōu)化的邊緣算法與改進(jìn)后CNN相結(jié)合的輕量化My Net 模型優(yōu)點是：

1） 優(yōu)化的邊緣算法，簡化圖像周圍環(huán)境復(fù)雜性干擾;

2） 改進(jìn)后的CNN，在準(zhǔn)確率不變的前提下，減小模型大小，提升運算速度。

實驗結(jié)果證明，My Net模型和Siamese Network相比，不僅準(zhǔn)確率得到提高，模型更得到縮小，全面驗證了在人臉圖像相似度判定上，邊緣檢測算法和輕量化CNN結(jié)合的高效性。

1 算法改進(jìn)

1.1? 優(yōu)化的邊緣算子

在Robinson算子的基礎(chǔ)上，設(shè)計一種優(yōu)化的邊緣算子NR，在圖像的極坐標(biāo)系的方位處，給出8個極坐標(biāo)卷積核，具體如圖1所示。

圖1i）與8個方位卷積核R1～R8做卷積操作再累加得出結(jié)果cov，如下：

得到cov中的最小值min和最大值max，再代入公式（2），最終得到邊緣特征圖像P的像素值Pm，i，j為：

式中：m，i，j分別表示圖像的寬、長、通數(shù)。

對比NR算子與LBP+HOG算子[7]的效果，如圖2所示。

圖2展示了NR在人臉圖像中提取的邊緣輪廓比LBP+HOG算子更清晰，并緩解了環(huán)境的干擾。

1.2? My?CNN模型

多次實驗中發(fā)現(xiàn)GoogLeNet網(wǎng)絡(luò)的前半部分主要對圖像進(jìn)行粗略地邊緣特征提取，中間部分對人臉圖像進(jìn)行輪廓比例性計算，最后對人臉圖像進(jìn)行更為細(xì)節(jié)化的計算，最終對人臉圖像起到分類效果。這里利用3×3卷積核[8]設(shè)計My?CNN結(jié)構(gòu)，如表1所示。

此My?CNN模型主要采用3×3的卷積核，一方面減小網(wǎng)絡(luò)參數(shù)，提升運算速度;另一方面結(jié)合NR算子進(jìn)行高效人臉特征提取。本文會在實驗中進(jìn)行全面性效果對比。

1.3? My Net模型

這里主要將NR與表1的My?CNN相結(jié)合。利用NR替代傳統(tǒng)CNN前半部分進(jìn)行粗略化人臉特征提取，再利用My?CNN對整體邊緣特征進(jìn)行非線性化操作，得出人臉圖像的主要特征值。之后對特征值進(jìn)行歐氏距離計算得出人臉圖像對的相似度。具體算法如圖3所示。

Image1和Image2 兩張人臉圖像以及對應(yīng)標(biāo)簽Y作為算法整體的輸入，Image1和Image2相似則Y為0，反之Y為1;Image1和Image2經(jīng)過圖像預(yù)處理（Image preprocessing）操作，得到225×225格式的灰度圖;2張225×225格式的灰度圖傳輸?shù)絅R處，進(jìn)行邊緣特征提取，得到2張邊緣特征圖像;2張邊緣特征值圖像同時輸入到Net網(wǎng)絡(luò)中，分別得到對應(yīng)的高維特征值G1和G2;高維特征值G1和G2作歐氏距離（Euclidean Distance）計算得到距離值Dist，將Dist與標(biāo)簽Y對比來優(yōu)化CNN參數(shù)。

2? 實驗分析

2.1? CACD2000數(shù)據(jù)集

CACD2000數(shù)據(jù)集包含16萬張人臉圖像，并且個人數(shù)據(jù)集中都包含了其各年齡段，各場景下的人臉圖像。這里從CACD2000數(shù)據(jù)集中隨機選出12 000對人臉圖像作為訓(xùn)練集，其中6 000對人臉圖像作為正確匹配，標(biāo)注為0，剩余的6 000對人臉圖像作為錯誤匹配，標(biāo)注為1。從CACD2000數(shù)據(jù)集中隨機選出3 000對人臉圖像作為測試集，1 500對的人臉圖像作為同一人臉的正確匹配，標(biāo)注為0，其余的1 500對人臉圖像作為非同一人臉的非正確匹配，標(biāo)注為1。

2.2? 訓(xùn)練模型

My?CNN是在TensorFlow框架下搭建的網(wǎng)絡(luò)模型，服務(wù)器基本配置：AMD Athlon（tm） Ⅱ X4 640 Processor x4;NVIDIA GeForce GTX 1070 GPU;Ubuntu 16.04系統(tǒng)。

訓(xùn)練過程中的超參數(shù)設(shè)置：mini batch?size設(shè)為1;初始化的學(xué)習(xí)率為0.001;學(xué)習(xí)率的衰減周期為400;衰減的系數(shù)為0.47;選用具有自適應(yīng)學(xué)習(xí)率優(yōu)化功能的Adam Optimizer優(yōu)化器，即在每次學(xué)習(xí)率迭代周期中，按照預(yù)設(shè)的學(xué)習(xí)率衰減系數(shù)進(jìn)行周期性衰減更新學(xué)習(xí)率，為此來優(yōu)化網(wǎng)絡(luò)中的權(quán)重和偏置。

2.3? 實驗結(jié)果與分析

以下的實驗將驗證NR處理優(yōu)于無預(yù)處理以及LBP+HOG處理，并進(jìn)一步驗證NR與My?CNN相結(jié)合的方式在準(zhǔn)確率和模型大小上亦優(yōu)于傳統(tǒng)CNN模型。

這里采用五折交叉算法來獲取圖像對的最優(yōu)閾值。在5個閾值點下，將測試集任意分成5份子測試集，其中的4份子測試集作為訓(xùn)練集用來計算每一個閾值點對應(yīng)的準(zhǔn)確率，取最高準(zhǔn)確率的閾值點作為本次循環(huán)的較優(yōu)閾值并計算出另一份子測試集的準(zhǔn)確率并視作測試集本次循環(huán)下的準(zhǔn)確率。

采用感受性曲線（Receiver Operating Characteristic，ROC）來評價網(wǎng)絡(luò)的優(yōu)越性。其中實際標(biāo)簽和測試標(biāo)簽都為0，稱作True Positive（tp）;實際標(biāo)簽為0而測試標(biāo)簽為1，稱作True Negative（tn）;實際標(biāo)簽和測試標(biāo)簽都為1，稱作False Negative（fn）;實際標(biāo)簽為1，測試集標(biāo)簽為0，稱作False Positive（fp）。

為驗證NR預(yù)處理可行性以及預(yù)處理效果優(yōu)于非預(yù)處理效果的前提下，在My?CNN的基礎(chǔ)上對比My Net，My Net?NR，My Net?LBP+HOG的準(zhǔn)確率。具體如表2所示，對應(yīng)的ROC趨勢圖如圖4所示。

由表2和圖4看出，以My Net為基礎(chǔ)網(wǎng)絡(luò)，經(jīng)NR或者LBP+HOG下的預(yù)處理要高于無預(yù)處理下的準(zhǔn)確率;經(jīng)NR預(yù)處理的圖片測試的準(zhǔn)確率要高于經(jīng)LBP+HOG處理以及無預(yù)處理的準(zhǔn)確率。

下面進(jìn)一步驗證NR與My?CNN相結(jié)合的My Net模型要優(yōu)于傳統(tǒng)網(wǎng)絡(luò)，將在NR以及LBP+HOG基礎(chǔ)上分別對比My Net，Mobile Net[9]，Squeeze Net[10]的準(zhǔn)確率以及模型大小，如表3、表4所示。

三張網(wǎng)絡(luò)的ROC曲線圖如圖5所示。

由表3、表4和圖5看出，在NR，LBP+HOG的基礎(chǔ)上，My?Net的準(zhǔn)確率要高于Squeeze Net和Mobile Net，并且模型大小得到很大幅度的縮減。結(jié)合表2，驗證了在模型大小以及準(zhǔn)確率方面NR和LBP+HOG可替代傳統(tǒng)CNN的前幾層并與My?CNN相結(jié)合實行模型的輕量化達(dá)到更高效的人臉特征提取。表2也驗證在預(yù)處理方面，本文的NR處理要優(yōu)于LBP+HOG的處理方式。

3? 結(jié)? 論

本文設(shè)計利用NR算子特點與CNN特點相結(jié)合的輕量化My Net模型。實驗充分驗證了利用NR特點代替?zhèn)鹘y(tǒng)CNN前幾層的特征提取并與簡單的My?CNN組合的My Net，在人臉圖像相似度判定上，比傳統(tǒng)CNN特征提取更為有效，在模型大小以及準(zhǔn)確率上，My Net模型要比傳統(tǒng)模型CNN更有突破性。本文在My?CNN基礎(chǔ)上，驗證了NR要比LBP+HOG在網(wǎng)絡(luò)預(yù)處理方面，更有優(yōu)越性。

參考文獻(xiàn)

[1] 王朝卿，沈小林，李磊.圖像相似度計算算法分析[J].現(xiàn)代電子技術(shù)，2019，42（9）：31?34.

[2] BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully?convolutional Siamese networks for object tracking [C]// European Conference on Computer Vision. Amsterdam： Springer， 2016： 850?865.