基于改進(jìn)Faster R-CNN的賀蘭山巖畫檢測(cè)識(shí)別

路夢(mèng)瑤，李春樹

(寧夏大學(xué)物理與電子電氣工程學(xué)院，寧夏 銀川 750021)

1 引言

早在文字產(chǎn)生之前，巖畫就已經(jīng)出現(xiàn)，其是一種重要的記事方式。古代人民使用礦物質(zhì)顏料、石材工具或金屬器具在巖石上繪畫或者鑿刻來對(duì)他們的生產(chǎn)方式、生活內(nèi)容以及美好的想象和愿景進(jìn)行描繪和記錄[1]。其不僅是人類社會(huì)早期的文化現(xiàn)象，還是人類祖先留給后人的寶貴文化遺產(chǎn)。中國(guó)是巖畫誕生最早、分布最廣、內(nèi)容最豐富的國(guó)家之一，而賀蘭山又是華夏土地上遺存最集中、題材最廣泛、保存最完好的巖畫地區(qū)之一[2]，是我國(guó)和世界巖畫的重要組成部分，在中國(guó)巖畫中具有一定的代表性。賀蘭山巖畫分布在賀蘭山東麓諸山口的山壁和山前的巖石上，其歷史悠久、數(shù)量繁多，真實(shí)生動(dòng)地記載了大量的動(dòng)物、類人首、狩獵、放牧、戰(zhàn)爭(zhēng)、舞蹈、勞動(dòng)、祭祀等圖形和場(chǎng)面，再現(xiàn)了遠(yuǎn)古時(shí)期賀蘭山地區(qū)游牧民族的生存經(jīng)歷、生活習(xí)俗、原始觀念和審美情趣[3]。然而，由于賀蘭山巖畫產(chǎn)生歷史悠久，且是石材工具、金屬器具等制作在裸露的巖壁之上，面臨著風(fēng)吹雨打、鹽堿侵蝕等物理、化學(xué)破壞。因此，保護(hù)工作刻不容緩[4]。

通過對(duì)賀蘭山巖畫進(jìn)行檢測(cè)與識(shí)別，一方面，可以使其資料更加精準(zhǔn)的保存下來，為之后的保護(hù)和研究工作提供數(shù)據(jù)支持，另一方面，可以幫助非專業(yè)人士更加便捷、快速、直觀的了解巖畫的內(nèi)容，從而使得巖畫的學(xué)習(xí)和傳播更為有利。傳統(tǒng)的檢測(cè)識(shí)別方法是由相關(guān)領(lǐng)域?qū)＜彝ㄟ^目視來檢測(cè)識(shí)別，存在受人力影響大、耗時(shí)長(zhǎng)、特征提取難和檢測(cè)識(shí)別準(zhǔn)確率低等限制。因此，為了給保護(hù)巖畫爭(zhēng)取更多的時(shí)間，且更廣泛更深入的挖掘巖畫包含的文化內(nèi)涵，將深度學(xué)習(xí)應(yīng)用于賀蘭山巖畫檢測(cè)中，可以更加方便、快速、準(zhǔn)確的獲取巖畫圖像中豐富的語(yǔ)義信息。

近些年，隨著深度學(xué)習(xí)良好的發(fā)展，目標(biāo)檢測(cè)有了很大突破。目標(biāo)檢測(cè)主要分為兩類：一類是基于候選區(qū)域的算法(即兩階段目標(biāo)檢測(cè)器)，該類算法首先對(duì)輸入圖像選取候選區(qū)域，然后對(duì)候選區(qū)域進(jìn)行分類和位置回歸，從而實(shí)現(xiàn)目標(biāo)檢測(cè)，如：R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等，另一類是基于回歸的算法(即單階段目標(biāo)檢測(cè)器)，該類方法省略了候選區(qū)域生成步驟，直接將特征提取、目標(biāo)的分類和位置回歸過程都整合到一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中完成，如：YOLO，SSD，RetinaNet等[5-6]。第一類算法的優(yōu)點(diǎn)是準(zhǔn)確率高，但是該類算法規(guī)模較大、計(jì)算量較多，導(dǎo)致檢測(cè)速度較慢；第二類算法可達(dá)到實(shí)時(shí)檢測(cè)的效果，但是在檢測(cè)精度上還略遜一籌。

鑒于本實(shí)驗(yàn)對(duì)物體檢測(cè)準(zhǔn)確率的要求，選取Faster R-CNN作為檢測(cè)模型。然而，該檢測(cè)模型只在特征提取網(wǎng)絡(luò)最后一個(gè)特征圖上進(jìn)行后續(xù)操作，而這一層由于經(jīng)過多次下采樣導(dǎo)致分辨率較低，從而造成目標(biāo)在特征圖上的有效信息減少，檢測(cè)性能受到影響。因此提出了一種改進(jìn)的Faster R-CNN。該模型首先基于ResNet-101網(wǎng)絡(luò)，結(jié)合特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks，F(xiàn)PN)，將淺層特征和深層特征融合，充分利用了不同層的優(yōu)勢(shì)[7]；其次在特征提取網(wǎng)絡(luò)C5層的輸出后增加空間金字塔池化(Spatial Pyramid Pooling，SPP)，通過多級(jí)池化獲取物體多尺度特征，之后將池化特征與原始特征進(jìn)行合并，從而實(shí)現(xiàn)了局部特征和全局特征的融合，進(jìn)一步豐富了特征圖的語(yǔ)義信息；最后將改進(jìn)后的模型應(yīng)用于賀蘭山巖畫的目標(biāo)檢測(cè)中，以提高準(zhǔn)確率。

2 基于改進(jìn)Faster R-CNN的賀蘭山巖畫檢測(cè)與識(shí)別方法

Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)主要由三部分組成：特征提取網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network，RPN)和Fast R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)，如圖1所示。

特征提取網(wǎng)絡(luò)的輸入為任意大小的圖片，通過一系列的卷積池化操作得到輸入圖像的特征圖，該特征圖被后續(xù)的區(qū)域候選網(wǎng)絡(luò)和Fast R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)共用。區(qū)域候選網(wǎng)絡(luò)對(duì)輸入的特征圖進(jìn)行候選區(qū)域劃分，并通過相關(guān)處理最終獲取有效的感興趣區(qū)域(Region of Interest，RoI)[8]。Fast R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)在特征圖上提取輸入的有效的RoI對(duì)應(yīng)的特征，通過感興趣區(qū)域池化層形成固定維度的矢量特征，最后輸入到全連接層進(jìn)行分類和邊界框回歸任務(wù)。

2.1 改進(jìn)的特征提取網(wǎng)絡(luò)

文章采取的特征提取網(wǎng)絡(luò)是ResNet-101，該網(wǎng)絡(luò)在增加深度的同時(shí)，采用殘差連接的方式，將輸入信息直接繞道傳送給輸出，保證了信息完整的同時(shí)，還避免了梯度消失或者梯度爆炸導(dǎo)致網(wǎng)絡(luò)性能退化或者無法訓(xùn)練的情況。ResNet-101各卷積層的結(jié)構(gòu)參數(shù)如表1所示。

表1 ResNet-101各卷積層結(jié)構(gòu)參數(shù)

為充分利用不同層的特征信息，結(jié)合ResNet-101網(wǎng)絡(luò)構(gòu)建特征金字塔結(jié)構(gòu)。特征金字塔由三部分組成：自底而上、自頂向下和橫向連接[9]，如圖2所示。自底向上部分是ResNet-101特征提取網(wǎng)絡(luò)，特征圖的分辨率從下到上不斷縮小。選取該網(wǎng)絡(luò)Conv2＿x、Conv3＿x、Conv4＿x、Conv5＿x層最后一個(gè)殘差塊的輸出作為FPN層的輸入，分別計(jì)為C2、C3、C4、C5。自頂向下部分采用上采樣處理將上一層的特征圖放大到和當(dāng)前層特征圖分辨率一致[10]，之后使用橫向鏈接，巧妙地將頂層的高級(jí)語(yǔ)義特征和底層的高分辨率信息進(jìn)行相加[11]，得到新的特征圖計(jì)為M2、M3、M4、M5，之后分別采用3×3的卷積核進(jìn)行卷積操作，解決特征圖疊加后特征不連續(xù)的問題[12]，得到P2、P3、P4、P5，最后將P5進(jìn)行下采樣處理得到P6。

圖2 特征金字塔結(jié)構(gòu)

改進(jìn)的特征提取網(wǎng)絡(luò)是在C5層輸出后加入了空間金字塔池化結(jié)構(gòu)，其目的是提取圖像的多尺度特征，提高對(duì)不同尺度目標(biāo)的檢測(cè)精度[13]?？臻g金字塔池化結(jié)構(gòu)如圖3所示，對(duì)C5層輸出的特征圖進(jìn)行多級(jí)最大池化操作，池化核的大小設(shè)置為3、5、7三種尺度，并且為了保證輸出特征圖大小不變，池化操作的步長(zhǎng)設(shè)置為1并進(jìn)行填充操作，之后將池化后的特征與原始特征進(jìn)行合并[14]，從而實(shí)現(xiàn)了局部特征與全局特征的融合，進(jìn)一步豐富了特征圖中的語(yǔ)義信息[12]。

圖3 空間金字塔池化結(jié)構(gòu)

2.2 區(qū)域候選網(wǎng)絡(luò)

區(qū)域候選網(wǎng)絡(luò)是Faster R-CNN的核心組成，其采用全卷積網(wǎng)絡(luò)來計(jì)算候選區(qū)域[15]，其結(jié)構(gòu)如圖4所示。首先，在特征提取網(wǎng)絡(luò)最后一層輸出的特征圖上采用尺寸為n×n大小的滑窗進(jìn)行卷積操作，每個(gè)滑窗以特征點(diǎn)為中心生成k個(gè)候選區(qū)域(即錨箱)，大小為 W×H的卷積特征圖(W為特征圖的寬度，H為特征圖的高度)共有W×H×k個(gè)候選區(qū)域[8]，每次滑動(dòng)都生成一個(gè)固定長(zhǎng)度的特征向量；之后，將這些特征向量傳送到兩個(gè)并行的全連接層，該全連接層采用核尺寸為1×1的卷積實(shí)現(xiàn)。邊界框回歸層計(jì)算候選區(qū)域四個(gè)頂點(diǎn)的坐標(biāo)值，分類層估計(jì)候選區(qū)域是前景還是背景的概率。因此，兩個(gè)全連接層的輸出個(gè)數(shù)分別為4×k和2×k。

圖4 區(qū)域候選網(wǎng)絡(luò)結(jié)構(gòu)

文章結(jié)合特征金字塔后，在各個(gè)尺寸上進(jìn)行單獨(dú)預(yù)測(cè)，從而提高模型的多尺度泛化能力。綜合考慮賀蘭山巖畫中目標(biāo)的信息，P2到P6特征圖對(duì)應(yīng)的錨箱尺寸分別設(shè)置為{322，642，1282，2562，5122}，且每個(gè)尺寸的錨箱采取三種不同的長(zhǎng)寬比，分別是{1：1，1：2，2：1}，最終生成15種不同的錨箱，確保可以涵蓋各類巖畫目標(biāo)。

2.3 損失函數(shù)

模型預(yù)測(cè)值和真實(shí)值間的差距利用損失函數(shù)來進(jìn)行度量[16]，且損失值大小和模型魯棒性呈負(fù)相關(guān)，即隨著損失值得減小模型魯棒性增加。文章所提網(wǎng)絡(luò)模型是一個(gè)多任務(wù)模型，由目標(biāo)分類任務(wù)和邊界框回歸任務(wù)組成，其定義如下

(1)

分類損失Lcls定義為

(2)

回歸損失Lreg定義為

(3)

坐標(biāo)向量，采用下列公式進(jìn)行坐標(biāo)的參數(shù)化

(4)

式中，(x，y)示預(yù)測(cè)框的中心坐標(biāo)，(xa，ya)示錨箱的中心坐標(biāo)，(x*，y*)表示標(biāo)準(zhǔn)框的中心坐標(biāo)，w和h指預(yù)測(cè)框的寬和高。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集制作

鑒于賀蘭山巖畫沒有公開數(shù)據(jù)集，因此需要自己制作賀蘭山巖畫數(shù)據(jù)集。相關(guān)圖像獲取的渠道主要為以下三條：①使用攝影設(shè)備到賀蘭山巖畫景區(qū)進(jìn)行實(shí)地拍攝，并且在拍攝過程中，注意相機(jī)的對(duì)焦、拍攝距離和拍攝角度，以保證圖像清晰，便于后期處理與識(shí)別；②通過對(duì)《賀蘭山巖畫》第一冊(cè)和第二冊(cè)中的圖片進(jìn)行提取?！顿R蘭山巖畫》是西北第二民族學(xué)院重要的巖畫研究學(xué)術(shù)成果之一，第一冊(cè)中收錄了多幅巖畫彩色照片，第二冊(cè)中薈萃了巖畫拓片，這些巖畫資料全面系統(tǒng)的向世人展示了賀蘭山巖畫的風(fēng)采全貌和細(xì)節(jié)信息，是極為珍貴的人文資料；③通過網(wǎng)絡(luò)搜索對(duì)相關(guān)圖片進(jìn)行保存。通過上述三種方式獲取并進(jìn)行篩選后共計(jì)獲得571張圖片。對(duì)其進(jìn)行人工分類，主要分為4類，分別是：羊像、人面像、太陽(yáng)神像和猴面像，其中羊像123張，人面像256張，太陽(yáng)神像123張，猴面像15張。部分賀蘭山巖畫圖像如圖5所示。

圖5 部分賀蘭山巖畫圖像

為了得到較好的賀蘭山巖畫檢測(cè)與識(shí)別模型，使用深度神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練。由于深度神經(jīng)網(wǎng)絡(luò)參數(shù)較多且存在很多非線性處理，為避免由于數(shù)據(jù)集過小而導(dǎo)致的過擬合現(xiàn)象[17]，基于有限數(shù)據(jù)利用數(shù)據(jù)增強(qiáng)技術(shù)生成更多等價(jià)的數(shù)據(jù)，豐富訓(xùn)練數(shù)據(jù)的分布。本實(shí)驗(yàn)具體使用的圖像增強(qiáng)方法有：裁剪、翻轉(zhuǎn)、歸一化和填充等。

為了獲取圖像中巖畫目標(biāo)的位置和類別信息，采用LabelImg圖像標(biāo)注軟件對(duì)賀蘭山巖畫的數(shù)據(jù)集進(jìn)行標(biāo)注[17]。本實(shí)驗(yàn)巖畫目標(biāo)標(biāo)注分為四類，分別用：sheep、monkey＿face、sun＿spirit和human＿face分別表示羊像、猴面像、太陽(yáng)神像和人面像。整體數(shù)據(jù)集按照9：1的比例隨機(jī)分為測(cè)試集和訓(xùn)練驗(yàn)證集，訓(xùn)練驗(yàn)證集按照8：2的比例隨機(jī)分為訓(xùn)練集和驗(yàn)證集。

3.2 實(shí)驗(yàn)環(huán)境及訓(xùn)練設(shè)置

實(shí)驗(yàn)環(huán)境配置參數(shù)如下：GPU為NVIDIA GTX1080Ti 11G顯存，操作系統(tǒng)是Ubuntu18.04，使用深度學(xué)習(xí)框架PyTorch1.4.0，并結(jié)合CUDA10.1和cuDNN7.6.3進(jìn)行加速，代碼運(yùn)行環(huán)境為Python3.6。

實(shí)驗(yàn)采用隨機(jī)梯度下降法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.01，epoch設(shè)置為12，動(dòng)量因子為0.9，學(xué)習(xí)率衰減速率為0.0001。在RPN階段正、負(fù)樣本閾值分別設(shè)置為0.7、0.3，處在兩個(gè)閾值之間的樣本不參與訓(xùn)練。

3.3 數(shù)據(jù)集數(shù)據(jù)增強(qiáng)對(duì)比實(shí)驗(yàn)

本節(jié)基于ResNet-101+FPN特征提取網(wǎng)絡(luò)的Faster R-CNN做對(duì)比實(shí)驗(yàn)，分別對(duì)原始賀蘭山巖畫數(shù)據(jù)集和隨機(jī)數(shù)據(jù)增強(qiáng)后的賀蘭山巖畫數(shù)據(jù)集進(jìn)行訓(xùn)練，且使用相同的測(cè)試集測(cè)試模型的識(shí)別精度。實(shí)驗(yàn)過程中，使用的訓(xùn)練參數(shù)保持一致，從而避免除數(shù)據(jù)集以外的其它因素對(duì)結(jié)果造成影響。如圖6所示，使用增強(qiáng)后的數(shù)據(jù)集訓(xùn)練，其整體損失函數(shù)的損失值隨著epoch的增加，波動(dòng)更小，收斂更快，且最終損失值更低。如表2所示，使用原始數(shù)據(jù)集訓(xùn)練得到的模型的mAP為30.9%，使用數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集訓(xùn)練得到的模型的mAP為81.4%，并且使用數(shù)據(jù)增強(qiáng)訓(xùn)練得到的模型的每類賀蘭山巖畫的AP也比原始數(shù)據(jù)集訓(xùn)練得到的模型高。由此可見，對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)能夠顯著提升網(wǎng)絡(luò)模型的檢測(cè)精度，降低因數(shù)據(jù)量過小對(duì)網(wǎng)絡(luò)模型檢測(cè)效果的影響。

表2 數(shù)據(jù)集數(shù)據(jù)增強(qiáng)前后對(duì)比實(shí)驗(yàn)

3.4 特征提取網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

在目標(biāo)檢測(cè)與識(shí)別領(lǐng)域，將Faster R-CNN中傳統(tǒng)的VGG16替換成殘差網(wǎng)絡(luò)可以提高模型性能。為確定賀蘭山巖畫檢測(cè)模型中ResNet的最佳層數(shù)，選取ResNet-50和ResNet101兩種結(jié)構(gòu)，在Faster R-CNN模型上，將兩種不同的特征提取網(wǎng)絡(luò)融合FPN(ResNet-50+FPN和ResNet-101+FPN)進(jìn)行訓(xùn)練，所有的訓(xùn)練均采用數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集。圖7為基于兩種不同特征提取網(wǎng)絡(luò)的Faster R-CNN模型的整體損失函數(shù)的損失情況。隨著epoch的增加，整體loss值均逐漸降低并逐漸收斂趨于穩(wěn)定，但是相比ResNet-50+FPN，ResNet-101+FPN網(wǎng)絡(luò)模型收斂更為迅速，且最終loss值較低。除此之外，由表3可得，使用ResNet50+FPN訓(xùn)練得到的模型的mAP為76.5%，使用ResNet-101+FPN訓(xùn)練得到的模型的mAP為81.4%，并且人面類和羊類的平均精度ResNet101+FPN比ResNet-50+FPN分別高7.9%和11.9%。由此可見，101層的ResNet特征提取網(wǎng)絡(luò)更適合賀蘭山巖畫檢測(cè)模型，其網(wǎng)絡(luò)更深，從而提取更多目標(biāo)特征，導(dǎo)致有良好的檢測(cè)精度。

由表3可知，在特征提取網(wǎng)絡(luò)ResNet-101+FPN的基礎(chǔ)上，引入SPP模塊使得模型的mAP由81.4%提升至84.7%，其中人面像和羊像的AP分別提升了3.1%和10.1%。這是因?yàn)橘R蘭山巖畫歷史悠久，有很多古代少數(shù)名族先后在此游牧、狩獵，賀蘭山北自石嘴山、南至中衛(wèi)的十多個(gè)山口，其上的巖畫內(nèi)容雖然都是人面或者羊，但是由于作畫工具手法不同、人們對(duì)同一事物的不同認(rèn)知以及遭到物理、化學(xué)等病害，導(dǎo)致其形態(tài)特征有所差異或者不完整，從而在識(shí)別上增加了難度。SPP的引入將具有更多高級(jí)語(yǔ)義信息特征圖中的局部特征與全局特征進(jìn)行融合，進(jìn)一步豐富了特征圖中所包含的語(yǔ)義信息，從而提高了模型的檢測(cè)精度。

圖6 整體損失曲線

圖7 不同特征提取網(wǎng)絡(luò)的整體損失曲線

圖8顯示了改進(jìn)后的Faster R-CNN模型在不同種類賀蘭山巖畫中的識(shí)別結(jié)果。

圖8 改進(jìn)Faster R-CNN的部分檢測(cè)結(jié)果

表3 特征提取網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

4 結(jié)論

文章提出了基于改進(jìn)Faster R-CNN的賀蘭山巖畫檢測(cè)與識(shí)別方法，采用裁剪、翻轉(zhuǎn)、歸一化和填充等方法對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)，避免了由于數(shù)據(jù)集較小而在訓(xùn)練過程中出現(xiàn)過擬合的現(xiàn)象。在特征提取階段，使用ResNet-101基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建特征金字塔，并在C5層的輸出后加入空間金字塔池化模塊，提升了模型的特征提取能力，從而提高了賀蘭山巖畫的檢測(cè)精度。通過實(shí)驗(yàn)證明，文章提出的模型對(duì)4類賀蘭山巖畫檢測(cè)的平均精度均值可達(dá)84.7%，在賀蘭山巖畫檢測(cè)方面具有實(shí)用價(jià)值。