基于孿生神經(jīng)網(wǎng)絡(luò)的牛唇紋識(shí)別研究＊

鄭倩，李琦

（內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014010）

近年來(lái)，牛的身份識(shí)別已被廣泛應(yīng)用于各種場(chǎng)合，有效識(shí)別牛個(gè)體有助于牛的保險(xiǎn)業(yè)務(wù)的發(fā)展，可以解決理賠牛和承保牛是否匹配的問(wèn)題[1]。傳統(tǒng)的圖像識(shí)別方法主要分為特征提取和分類2 個(gè)階段，一般通過(guò)提取顏色、形狀和紋理作為圖像的特征，基于牛唇紋的牛身份識(shí)別主要是提取紋理特征。 2013 年NOⅤIYANTO 等[2]使用SIFT 方法提取特征實(shí)現(xiàn)對(duì)牛身份的識(shí)別。將涂滿墨水的牛唇部印在白紙上，所提出的匹配細(xì)化技術(shù)成功地減少了錯(cuò)誤匹配。2015 年AHMED 等[3]提出了一個(gè)基于生物特征不變的加速魯棒特征SURF 的牛唇紋識(shí)別系統(tǒng)，目的是使用更少量的特征點(diǎn)來(lái)獲得最佳精度，縮短了系統(tǒng)完成識(shí)別所需的時(shí)間。2018 年，KUSAKUNNIRAN 等[4]提出了基于唇紋圖像的多通道局部二值模式LBP 牛身份識(shí)別方法，利用多通道局部二值模式從唇紋圖像中提取特征。目前已有的傳統(tǒng)識(shí)別方法和基于紋理的特征提取技術(shù)無(wú)法在無(wú)約束環(huán)境下進(jìn)行動(dòng)物識(shí)別[5]。如今基于深度學(xué)習(xí)的生物特征識(shí)別技術(shù)在識(shí)別物種或動(dòng)物個(gè)體方面獲得了更多的關(guān)注。KUMAR 等[6]利用深度學(xué)習(xí)方法，使用卷積神經(jīng)網(wǎng)絡(luò)CNN、SDAE 和DBN 分別獲得75.98%、88.46%和95.99%的識(shí)別準(zhǔn)確率，在牛唇紋識(shí)別方面得到了較好的效果。用深度卷積神經(jīng)網(wǎng)絡(luò)提取牛個(gè)體突出特征，與數(shù)據(jù)庫(kù)中的特征信息進(jìn)行對(duì)比，從而實(shí)現(xiàn)對(duì)牛個(gè)體的有效識(shí)別[7]。深度學(xué)習(xí)相較于傳統(tǒng)方法，可以更加準(zhǔn)確地提取特征信息[8]。

大多數(shù)圖像識(shí)別方法是利用分類的方法進(jìn)行識(shí)別，在網(wǎng)絡(luò)上訓(xùn)練就要確定待分類的類別，這對(duì)于類別種類多且每個(gè)類別樣本數(shù)較少的識(shí)別來(lái)說(shuō)難以訓(xùn)練出效果好的模型，本文選用孿生神經(jīng)網(wǎng)絡(luò)（Siamese Networ）作為基本的網(wǎng)絡(luò)模型。相對(duì)于其他的特征提取算法，此模型在穩(wěn)定性和識(shí)別的準(zhǔn)確率方面都有較大的提升。

1 圖像采集與預(yù)處理

目前還沒(méi)有公開的牛唇紋圖像數(shù)據(jù)集，所以實(shí)驗(yàn)使用自制的數(shù)據(jù)集，采集自內(nèi)蒙古自治區(qū)的牧場(chǎng)，采集時(shí)間分別為2020 年9 月和2021 年6 月，拍攝對(duì)象為健康的安格斯牛和西門塔爾牛。實(shí)驗(yàn)所需圖片應(yīng)有清晰可見(jiàn)的牛唇紋理，所以要求拍攝過(guò)程中牛較為穩(wěn)定。拍攝時(shí)間選擇牛在牛架上打耳標(biāo)前，用3 000 萬(wàn)像素的相機(jī)拍攝牛臉圖像，并標(biāo)記好耳標(biāo)號(hào)，將采集好的牛臉圖像中的牛唇紋部分裁剪下來(lái)保存，建立牛唇紋數(shù)據(jù)集。裁剪后的圖像如圖1 所示。

圖1 牛唇紋數(shù)據(jù)集部分圖像

實(shí)驗(yàn)共采集了200 多頭牛的牛唇紋圖像，每頭牛圖像若干張。最終選擇174 頭牛作為數(shù)據(jù)集，共計(jì)13 734 張圖像。

2 牛唇紋識(shí)別模型設(shè)計(jì)

牛唇紋模型的基本結(jié)構(gòu)如圖2 所示，孿生神經(jīng)網(wǎng)絡(luò)主要是輸入2 個(gè)需要測(cè)試的圖像，利用孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，通過(guò)ⅤGG16 訓(xùn)練得到2 個(gè)一維向量，將特征提取后的2 個(gè)一維向量相減取絕對(duì)值。最后利用全連接層判斷2 張圖片的相似性。若結(jié)果接近1，表示輸入進(jìn)來(lái)的圖像相似性高；若結(jié)果接近0，表示輸入進(jìn)來(lái)的圖像相似性低。

圖2 Siamese-ⅤGG16 模型結(jié)構(gòu)圖

2.1 算法介紹

Siamese 網(wǎng)絡(luò)也叫孿生神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)主要由2 個(gè)相同的模型分支子網(wǎng)絡(luò)構(gòu)成，分支網(wǎng)絡(luò)主要用來(lái)訓(xùn)練輸入圖像的特征信息，再根據(jù)特征信息相比較計(jì)算出相似度。孿生神經(jīng)網(wǎng)絡(luò)有X1和X2這2 個(gè)輸入，這2個(gè)輸入使用的是同一個(gè)神經(jīng)網(wǎng)絡(luò)W，也就是權(quán)值共享。利用神經(jīng)網(wǎng)絡(luò)將2 個(gè)輸入映射到新的空間，形成輸入，在新的空間可表示為GW（X1）、GW（X2）。通過(guò)Loss計(jì)算評(píng)價(jià)2 個(gè)輸入的相似度。訓(xùn)練孿生網(wǎng)絡(luò)時(shí)，訓(xùn)練參數(shù)為2 張輸入圖像及標(biāo)簽，通過(guò)輸入圖像類型來(lái)給定標(biāo)簽值，輸入為同一類別時(shí)標(biāo)簽記為1，反之記為0。因?yàn)閷\生神經(jīng)網(wǎng)絡(luò)有著特殊的結(jié)構(gòu)，其輸入是一組樣本數(shù)據(jù)，可以是2 張同一類別的圖片，也可以是2張不同類別的樣本，這樣可以擴(kuò)充網(wǎng)絡(luò)輸入的數(shù)量。

Siamese 網(wǎng)絡(luò)模型的分支子網(wǎng)絡(luò)由ⅤGGNet 組成，ⅤGGNet 模型是由SIMONYAN 等在2014 年提出的，其中ⅤGG16 模型結(jié)構(gòu)包括卷積層、最大池化層和Flatten 層，可以分為5 個(gè)卷積Block 部分，每個(gè)Block又由卷積層和最大池化層組成，隨著卷積層一層層運(yùn)算，最后一個(gè)Block 將輸出的特征層平鋪成一維數(shù)據(jù)用于分類。使用（Binary Cross Entropy，BCE）作為損失函數(shù)，利用損失函數(shù)對(duì)輸出圖像的每個(gè)像素進(jìn)行預(yù)測(cè)分類，求目標(biāo)與預(yù)測(cè)值之間的差距，實(shí)現(xiàn)圖像識(shí)別。

2.2 環(huán)境配置

Siamese-ⅤGG16 網(wǎng)絡(luò)模型的訓(xùn)練是基于深度學(xué)習(xí)，框架為TensorFlow2 框架，使用Ubundu16.04.1 操作系統(tǒng)，并使用cuDNN 庫(kù)加速GPU 計(jì)算。本文研究的模型是用Python 語(yǔ)言實(shí)現(xiàn)的。

2.3 模型訓(xùn)練

首先向?qū)\生神經(jīng)網(wǎng)絡(luò)模型輸入圖像，經(jīng)過(guò)多層網(wǎng)絡(luò)訓(xùn)練，Conv1-2 包括2 次3×3 卷積網(wǎng)絡(luò)，1 次2×2最大池化，輸出的特征層為64 通道；Conv3-4 包括2次3×3 卷積網(wǎng)絡(luò)，1 次2×2 最大池化，輸出的特征層為128 通道；Conv5-7 包括3 次3×3 卷積網(wǎng)絡(luò)，1 次2×2 最大池化，輸出的特征層為256 通道；Conv8-10包括3 次3×3 卷積網(wǎng)絡(luò)，1 次2×2 最大池化，輸出的特征層為512 通道；Conv11-13 包括3 次3×3 卷積網(wǎng)絡(luò)，1 次2×2 最大池化，輸出的特征層為512 通道。然后對(duì)結(jié)果進(jìn)行平鋪，最后進(jìn)行2 次神經(jīng)元為4 608的全連接層全連接，連接到數(shù)據(jù)集類別的維度上，用于分類。模型的損失函數(shù)采用交叉熵函數(shù)，將全連接層加入Dropout 層防止過(guò)擬合。Relu 函數(shù)作為非線性激活函數(shù)，池化方式為平均池化，使用Adam 優(yōu)化算法優(yōu)化模型，牛唇紋理圖像數(shù)據(jù)集中訓(xùn)練集占90%、測(cè)試集占10%。

本文使用所選用的模型，在自建的牛唇紋圖像數(shù)據(jù)集上，完成了不同Batch_Size 大小、不同學(xué)習(xí)率情況下的實(shí)驗(yàn)，并將對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果進(jìn)行分析。

不同學(xué)習(xí)率下的loss 曲線如圖3 所示。不同學(xué)習(xí)率下的準(zhǔn)確率數(shù)值如圖4 所示。

圖3 不同學(xué)習(xí)率下的loss 曲線圖

圖4 不同學(xué)習(xí)率下的準(zhǔn)確率數(shù)值圖

通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，隨著Batch_size 增大，訓(xùn)練速度提高，內(nèi)存占用率增加。當(dāng)其他參數(shù)不變，學(xué)習(xí)率LR為0.01 時(shí)，loss 曲線出現(xiàn)震蕩的現(xiàn)象；當(dāng)LR為0.000 1 時(shí)，損失函數(shù)減小過(guò)快導(dǎo)致過(guò)擬合。最終模型參數(shù)Batch_size 的大小設(shè)置為32，LR設(shè)置為1e-3，迭代輪數(shù)epoch 為100。在一定的epoch 下，損失降為0.5以下，訓(xùn)練集loss 曲線和驗(yàn)證集loss 曲線都趨于平緩，最后趨于穩(wěn)定。結(jié)果顯示，該牛唇紋識(shí)別模型能夠很好地比較出輸入圖片的相似性，具有較好的識(shí)別率，最終識(shí)別準(zhǔn)確率為98.9%。

3 結(jié)果與分析

根據(jù)訓(xùn)練之后的模型，輸入2 張圖片進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)效果驗(yàn)證如圖5 所示。從圖可以看出，同一頭牛的不同牛唇紋圖像相似度接近于100%；不同頭牛的牛唇紋圖片相似度低，更接近于0。通過(guò)以上實(shí)驗(yàn)結(jié)果可知，結(jié)合這種訓(xùn)練方式，Siamese-ⅤGG16 模型對(duì)牛唇紋圖片相似性的判斷有很好的效果，在牛唇紋識(shí)別方面可以獲得更高的準(zhǔn)確率。

圖5 實(shí)驗(yàn)效果驗(yàn)證