基于改進(jìn)Cascade R-CNN的雪豹物種水平的自動(dòng)檢測方法

張 毓 高雅月 常峰源 謝將劍* 張軍國*

(1.青海省祁連山自然保護(hù)區(qū)管理局，海北藏族自治州，810400；2.祁連山國家公園國家長期科研基地，海北藏族自治州，810400；3.北京林業(yè)大學(xué)工學(xué)院，北京，100083)

雪豹(Pantherauncia)是一種重要的大型貓科(Felidae)動(dòng)物，位于高原生態(tài)系統(tǒng)食物鏈頂端，對(duì)維護(hù)高原生態(tài)系統(tǒng)的平衡和穩(wěn)定具有重要的作用。2017年，雪豹被世界自然保護(hù)聯(lián)盟(IUCN)認(rèn)定為易危(VU)物種，是我國一級(jí)重點(diǎn)保護(hù)野生動(dòng)物，當(dāng)前全球雪豹的數(shù)量為4 678～8 745只[1]。雪豹的監(jiān)測可以為其保護(hù)提供數(shù)據(jù)基礎(chǔ)，但由于雪豹的棲息環(huán)境特殊，警覺性較高[2]，通常在夜間活動(dòng)，行蹤飄忽不定[3]，人工監(jiān)測雪豹較為困難。

在野生動(dòng)物調(diào)查技術(shù)中，紅外相機(jī)技術(shù)通過紅外感應(yīng)靠近的野生動(dòng)物，并自動(dòng)拍攝野生動(dòng)物的照片或影像，得到了廣泛應(yīng)用[4]。紅外相機(jī)可以在野外長時(shí)間獨(dú)立工作，對(duì)動(dòng)物干擾小[5]，非常適用于雪豹的探測和記錄，成為當(dāng)前監(jiān)測雪豹的最有效手段之一，可以用于雪豹種群的動(dòng)態(tài)監(jiān)測[6]。長時(shí)間的監(jiān)測可以獲取海量的監(jiān)測圖像，需要從中篩選出雪豹圖像，以便開展下一步的研究。但由于雪豹數(shù)量稀少，其監(jiān)測圖像也相對(duì)較少。新疆雪豹研究小組在新疆北塔山、阿爾泰山、昆侖山、天山東部和托木爾峰等20多個(gè)地區(qū)布設(shè)了36臺(tái)紅外相機(jī)，監(jiān)測2 094 d只采集到32張清晰的雪豹圖像，平均捕獲率只有1.53%[7]。依靠傳統(tǒng)的人工識(shí)別方法，從大量的監(jiān)測圖像中識(shí)別篩選出雪豹圖像，工作量大、效率低。利用圖像識(shí)別技術(shù)快速、自動(dòng)地識(shí)別和篩選雪豹圖像，可以克服人工識(shí)別的多種缺點(diǎn)。

近年來，基于深度學(xué)習(xí)的圖像識(shí)別方法在野生動(dòng)物識(shí)別中得到廣泛應(yīng)用。在圖像分類方面，Timm等[8]首先對(duì)輸入圖像的有效性進(jìn)行判定，然后利用Inception V3模型對(duì)有野生動(dòng)物的圖像識(shí)別，在自建的數(shù)據(jù)集中得到了75%的識(shí)別準(zhǔn)確率；王柯力等[9]提出一種水產(chǎn)動(dòng)物識(shí)別方法，先使用數(shù)據(jù)增強(qiáng)對(duì)水產(chǎn)動(dòng)物圖像進(jìn)行預(yù)處理，最終得到97.4%的準(zhǔn)確率；Willi等[10]采用人工分類與深度學(xué)習(xí)相結(jié)合，制作了4種紅外相機(jī)圖像數(shù)據(jù)集，基于不同的數(shù)據(jù)集訓(xùn)練分類模型，識(shí)別準(zhǔn)確率為88.7%～92.7%；李安琪等[11]提出一種基于SE注意力機(jī)制改進(jìn)的ResNeXt網(wǎng)絡(luò)模型，對(duì)塞倫蓋蒂公開數(shù)據(jù)集的26個(gè)物種進(jìn)行識(shí)別，SE-ResNeXt101的識(shí)別準(zhǔn)確率最優(yōu)，達(dá)到 93.5%?；诜诸惖膱D像識(shí)別方法，在同一圖像中存在多種或者多只動(dòng)物時(shí)，無法充分獲取野生動(dòng)物信息。目標(biāo)檢測的方法可以實(shí)現(xiàn)圖像中所有動(dòng)物的定位，同時(shí)輸出動(dòng)物類別，更適合于野生動(dòng)物的識(shí)別。程浙安[12]提出一種注意力機(jī)制改進(jìn)的Faster R-CNN架構(gòu)用于野生動(dòng)物的自動(dòng)檢測，平均準(zhǔn)確率達(dá)到92.2%；陳建促[13]利用YOLOv3模型對(duì)野生動(dòng)物檢測，融合視頻前后幀特征圖提升檢測的準(zhǔn)確率，平均準(zhǔn)確率達(dá)到80.41%；房永峰[14]對(duì)層次特征自上而下的融合，以增強(qiáng)底層特征圖的語義性，改進(jìn)了SSD檢測算法，提高了小尺度羊的檢測效果。上述文獻(xiàn)表明，合理的目標(biāo)檢測網(wǎng)絡(luò)可以實(shí)現(xiàn)野生動(dòng)物的準(zhǔn)確檢測，而且不受圖中野生動(dòng)物數(shù)量的影響，比較適合實(shí)際場景下野生動(dòng)物的識(shí)別。

雪豹主要生活在2 000～3 000 m的高海拔地區(qū)，銀灰色的皮毛有利于隱蔽，導(dǎo)致監(jiān)測圖像中雪豹與背景的相似度高。此外，雪豹被抓拍時(shí)距相機(jī)的距離遠(yuǎn)近不一，從監(jiān)測圖像中學(xué)習(xí)雪豹的特征較為困難。利用兩階段目標(biāo)檢測模型檢測野生動(dòng)物時(shí)，通過候選區(qū)域網(wǎng)絡(luò)提取可能存在動(dòng)物的候選框，再用分類器與檢測器進(jìn)行分類預(yù)測與回歸預(yù)測，最終實(shí)現(xiàn)動(dòng)物的定位。但由于雪豹監(jiān)測圖像數(shù)量少，采用單檢測器的網(wǎng)絡(luò)結(jié)構(gòu)，在選擇較高IoU(Intersection over Union)閾值下，正樣本可能被判定為負(fù)樣本，導(dǎo)致訓(xùn)練容易發(fā)生過擬合現(xiàn)象，模型泛化能力低。Cascade R-CNN[15]通過級(jí)聯(lián)多個(gè)R-CNN檢測模型，每經(jīng)過一個(gè)檢測器，候選區(qū)的IoU都更高。當(dāng)下一個(gè)檢測器閾值設(shè)置得比較高時(shí)，也不會(huì)出現(xiàn)過多的樣本被判為負(fù)樣本，從而避免過擬合問題。本研究改進(jìn)Cascade R-CNN模型構(gòu)建雪豹的檢測方法，通過級(jí)聯(lián)過程中不斷提高的IoU閾值，分階段界定雪豹正負(fù)樣本，能在樣本數(shù)量少的情況下訓(xùn)練出高精度的雪豹目標(biāo)檢測器，提高雪豹圖像篩選的效果。

1 研究方法

1.1 數(shù)據(jù)集建立

本項(xiàng)目組在祁連山國家公園雪豹經(jīng)常出沒的區(qū)域布設(shè)了多臺(tái)紅外相機(jī)，采集的監(jiān)測圖像均為24位RGB真彩色圖像，分辨率包含4 000×3 000和4 608×2 592兩種。對(duì)2016—2019年采集的監(jiān)測圖像經(jīng)過初步篩選，剔除大量重復(fù)的誤觸發(fā)圖像，最終獲得1 434張雪豹圖像，作為訓(xùn)練目標(biāo)檢測模型的數(shù)據(jù)集。利用目標(biāo)檢測實(shí)現(xiàn)雪豹的自動(dòng)定位，需要對(duì)數(shù)據(jù)集標(biāo)注：將監(jiān)測圖像中的雪豹進(jìn)行矩形框標(biāo)注，并使用VOC格式保存標(biāo)注信息。

典型的雪豹圖像及其標(biāo)注框如圖1所示。監(jiān)測圖像中，圖1A所示的理想狀況較少，受雪豹行為以及拍攝環(huán)境的影響，經(jīng)常存在圖1B的遮擋、圖1C的曝光過度以及圖1D的光照過暗等復(fù)雜情況。這些情況使得監(jiān)測圖像中雪豹的關(guān)鍵特征不明顯甚至缺失，給雪豹自動(dòng)檢測帶來困難。

圖1 雪豹監(jiān)測圖像的常見情形Fig.1 Snow leopard monitoring images under common situations 注：A.理想情況；B.雪豹被遮擋；C.曝光過度；D.雪豹顏色與背景難區(qū)分 Note：A，Ideal condition.B，The snow leopard is shaded.C，The image is overexposed.D，The snow leopard’s color is indistinguishable from the background

1.2 基于改進(jìn)Cascade R-CNN的雪豹檢測方法

R-CNN是兩階段目標(biāo)檢測模型[16]，通過3個(gè)步驟實(shí)現(xiàn)目標(biāo)檢測：(1)利用區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)，基于滑窗法產(chǎn)生類別獨(dú)立的候選區(qū)域；(2)對(duì)每個(gè)候選區(qū)域提取特征向量；(3)使用分類器分類預(yù)測，并基于回歸器進(jìn)行位置預(yù)測。IoU為預(yù)測框和真實(shí)標(biāo)記框的交集與它們并集的比值，用于描述2個(gè)區(qū)域的交疊率，越接近于1說明檢測定位越準(zhǔn)確。訓(xùn)練模型時(shí)，計(jì)算候選區(qū)域和真實(shí)標(biāo)記框之間的IoU，大于設(shè)定的IoU閾值，則認(rèn)為是正樣本，反之則認(rèn)為是負(fù)樣本。應(yīng)用于雪豹的檢測時(shí)，IoU大于閾值才會(huì)被認(rèn)為是雪豹，當(dāng)閾值設(shè)置偏低時(shí)，容易將非雪豹識(shí)別成雪豹；當(dāng)設(shè)置偏高時(shí)，使得篩選出來的正樣本數(shù)量急劇減少，容易導(dǎo)致訓(xùn)練過擬合，降低檢測的效果。閾值的選擇非常重要，Cascade R-CNN是在R-CNN基礎(chǔ)上改進(jìn)形成，由一系列的檢測器級(jí)聯(lián)組成，每個(gè)檢測器都根據(jù)不同IoU閾值訓(xùn)練得到。前一個(gè)檢測器的輸出作為后一個(gè)檢測器的輸入，級(jí)聯(lián)的方式能夠讓每個(gè)檢測器都專注于檢測IoU在某一范圍內(nèi)的候選區(qū)域。由于輸出IoU普遍大于輸入IoU，因此通過級(jí)聯(lián)的方式可以使檢測效果越來越好。

檢測器級(jí)聯(lián)的數(shù)量越大，其他物體被誤識(shí)別為雪豹的可能性就越低。但是檢測器級(jí)聯(lián)的數(shù)量過多會(huì)使模型復(fù)雜度過高，增加訓(xùn)練成本，容易導(dǎo)致過擬合?？紤]到雪豹監(jiān)測圖像的數(shù)量有限，本研究選擇3個(gè)檢測器級(jí)聯(lián)，提出改進(jìn)Cascade R-CNN的具體結(jié)構(gòu)(圖2)。該模型以監(jiān)測圖像為輸入(Input)。原始監(jiān)測圖像像素點(diǎn)數(shù)較多，將輸入圖像的尺寸變換成1 000×600，以減小計(jì)算量。特征提取部分采用ResneXt101作為骨干網(wǎng)絡(luò)，引入特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)提升不同尺寸特征的提取能力。第1級(jí)基于RPN網(wǎng)絡(luò)B0生成初始候選區(qū)域，對(duì)候選框采用池化層(Pooling)進(jìn)行下采樣，輸入到頭網(wǎng)絡(luò)H(Network Head)，用于生成分類概率和不同尺度的目標(biāo)框，最后經(jīng)過分類C1和框回歸B1(Bounding Box Regression)分別輸出檢測的類別和位置。不同級(jí)之間的串聯(lián)主要發(fā)生在框回歸部分，將上一級(jí)的回歸結(jié)果輸入到下一級(jí)的池化層，最終在C3和B3得到模型的輸出。

圖2 改進(jìn)的Cascade R-CNN結(jié)構(gòu)Fig.2 Improved structure of Cascade R-CNN

經(jīng)過多次試驗(yàn)，將3個(gè)檢測器的IoU閾值設(shè)定為遞進(jìn)的0.5、0.6和0.7，每經(jīng)過一個(gè)檢測器，候選區(qū)的IoU都更高，候選區(qū)域更準(zhǔn)確，不易出現(xiàn)雪豹樣本被誤判為非雪豹樣本的情況，從而避免過擬合問題。

1.3 試驗(yàn)設(shè)置

硬件平臺(tái)為Intel XeonE5-2620 CPU，2塊GTX 2080Ti的工作站，軟件為Windows 10操作系統(tǒng)、Python 3.7編程環(huán)境和PyTorch 1.5.1的深度學(xué)習(xí)框架。

數(shù)據(jù)集按照4∶2∶2劃分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練時(shí)，優(yōu)化器選用SGD，學(xué)習(xí)率為0.02，momentum為0.9，權(quán)值衰減為0.000 1。測試時(shí)，IoU閾值為0.5，類別置信度閾值為0.5。

1.4 評(píng)價(jià)指標(biāo)

利用精確率(precision，P)、召回率(recall，R)、平均準(zhǔn)確率(average precision，AP)和F1分?jǐn)?shù)對(duì)模型的測試結(jié)果進(jìn)行評(píng)價(jià)。模型分類器C3會(huì)輸出雪豹目標(biāo)的類別置信度，置信度越高表示該目標(biāo)為雪豹的概率越大。在類別置信度大于類別置信度閾值(0.5)的目標(biāo)框中，實(shí)際計(jì)算的IoU大于IoU閾值則認(rèn)為該目標(biāo)框中的物體為雪豹。依據(jù)判斷的結(jié)果，計(jì)算得到精確率(P)與召回率(R)：

(1)

(2)

式中：PT是測試集里將雪豹正確識(shí)別為雪豹的數(shù)量，PF是將非雪豹識(shí)別為雪豹的數(shù)量，NF是將雪豹識(shí)別為非雪豹的數(shù)量。

通常精確率與召回率無法同時(shí)最優(yōu)，往往精確率高，召回率低，反之，召回率高，精確率就低。平均準(zhǔn)確率和F1分?jǐn)?shù)是評(píng)級(jí)模型綜合性能的2個(gè)常用指標(biāo)。在計(jì)算平均準(zhǔn)確率時(shí)，需要在測試階段分別取[0，0.1，0.2，…，1]作為預(yù)設(shè)置信度閾值得到不同的P、R值，進(jìn)而繪制出PR曲線，PR曲線下的面積即為平均準(zhǔn)確率。F1分?jǐn)?shù)的計(jì)算式為：

(3)

2 結(jié)果

為了驗(yàn)證本研究提出的雪豹目標(biāo)檢測方法的優(yōu)越性，選擇同為兩階段的目標(biāo)檢測模型Faster R-CNN與一階段的目標(biāo)檢測模型SSD-300，進(jìn)行雪豹檢測的對(duì)比實(shí)驗(yàn)，結(jié)果見表1。

從表1可以看出，改進(jìn)的Cascade R-CNN在雪豹數(shù)據(jù)集上的精確率、召回率、平均準(zhǔn)確率和F1分?jǐn)?shù)均最高，更高的F1分?jǐn)?shù)說明改進(jìn)模型減少了雪豹的誤檢與漏檢的發(fā)生。SSD-300本質(zhì)上屬于密集采樣的檢測方法，相對(duì)于Faster R-CNN得到的檢測效果更好。同時(shí)改進(jìn)的Cascade R-CNN模型訓(xùn)練得到最優(yōu)參數(shù)時(shí)需要的迭代次數(shù)最少，說明該模型在雪豹樣本數(shù)量有限的情況下，能更快、更好地學(xué)習(xí)到雪豹特征。

表1 3種不同模型在雪豹數(shù)據(jù)集上訓(xùn)練的檢測結(jié)果

表1列出了在測試集上雪豹檢測的每秒幀率，Cascade R-CNN相較于Faster R-CNN檢測速度略有下降，這是因?yàn)镃ascade R-CNN方法在R-CNN的基礎(chǔ)上進(jìn)行了檢測器的級(jí)聯(lián)，需要耗費(fèi)更多時(shí)間。而一階段的SSD省去了R-CNN的選擇性搜索階段，并且舍棄了全連接層，因此檢測速度最快。但是三者之間檢測速度相差較小，Cascade R-CNN通過犧牲少量的檢測速度，獲得了最高的檢測效果，平均準(zhǔn)確率、F1分?jǐn)?shù)均最高。在野外監(jiān)測圖像中雪豹尺寸變化較大的情況下，具有一定的優(yōu)勢，可以提高檢測的準(zhǔn)確率，減少人工復(fù)審的工作量。

3 討論

本研究提出了改進(jìn)Cascade R-CNN的雪豹自動(dòng)檢測方法，在測試集上得到的平均準(zhǔn)確率為93.0%，達(dá)到了較好的檢測效果。模型的輸出結(jié)果中，紅色框?yàn)檩敵鲅┍恢茫虻淖笊辖菫轭悇e信息和類別置信度，類別為1表示框中的動(dòng)物是雪豹。圖3所示為雪豹靠近紅外相機(jī)時(shí)的監(jiān)測圖像，此時(shí)雪豹在圖像中所占的比例較大，雪豹的特征比較明顯，提出的模型可以很好地定位雪豹所在的位置，并且類別置信度普遍較高，接近100%。

圖3 大尺寸雪豹的檢測效果Fig.3 Detection results of snow leopard occupying large area of images

圖4為黑夜中雪豹的檢測效果，在夜色下雪豹的花紋并不明顯，提出的模型還是能準(zhǔn)確地給出雪豹的位置，檢測結(jié)果的類別置信度均達(dá)到98%以上，稍低于大尺寸情況下的類別置信度。黑夜時(shí)，監(jiān)測圖像中雪豹花紋的顏色信息基本丟失，說明模型在對(duì)雪豹檢測時(shí)，并不只是關(guān)注花紋的顏色信息，而是融合了多種特征信息綜合分析得到最終的檢測結(jié)果。

圖4 黑夜中雪豹圖像的檢測效果Fig.4 Detection results of snow leopard at night

圖5所示為雪豹在較遠(yuǎn)時(shí)紅外相機(jī)拍攝的圖像，其中雪豹的尺寸相對(duì)較小。人眼確定圖中雪豹的位置都具有一定的困難，但提出的模型仍能較好地定位雪豹的位置，只是輸出的類別置信度相對(duì)前兩種情況有所降低，都能正確地檢測出雪豹。主要原因在于Cascade R-CNN采用3個(gè)檢測器的級(jí)聯(lián)，小IoU閾值提升小尺寸目標(biāo)的檢測能力。

圖5 小尺寸雪豹圖像的檢測效果Fig.5 Detection results of snow leopard occupying small area of images

圖6所示為紅外相機(jī)中存在3只雪豹的檢測結(jié)果，無論是靠近的1只雪豹，還是遠(yuǎn)離的2只雪豹，提出模型均能實(shí)現(xiàn)正確地識(shí)別和定位。提出的模型中3個(gè)檢測器的IoU閾值設(shè)定為遞進(jìn)的0.5、0.6和0.7，有利于生成不同尺寸的候選檢測框，同時(shí)加入的特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)可以提升不同大小目標(biāo)的特征提取能力，綜合提升了在不同尺寸下雪豹的檢測效果。

圖6 多只雪豹的檢測效果Fig.6 Detection result of numerous snow leopards

4 結(jié)論

本研究基于改進(jìn)Cascade R-CNN的目標(biāo)檢測方法實(shí)現(xiàn)了雪豹監(jiān)測圖像的自動(dòng)檢測，該方法通過3個(gè)檢測器級(jí)聯(lián)方式并引入特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，提高不同尺度目標(biāo)的檢測效果，在測試集上平均準(zhǔn)確率高達(dá)93.0%，對(duì)于多只不同尺寸的雪豹也能準(zhǔn)確地檢測，將該方法用于海量監(jiān)測圖像中雪豹圖像的篩選，可以極大地改善人工篩選帶來的工作量大、效率低等問題，提升雪豹監(jiān)測的時(shí)效性。在后續(xù)的研究中，將進(jìn)一步探索利用雪豹的關(guān)鍵特征實(shí)現(xiàn)雪豹個(gè)體識(shí)別的方法，自動(dòng)評(píng)估棲息地中雪豹的數(shù)量，實(shí)現(xiàn)種群的調(diào)查。此外，本研究提出的方法通過檢測器級(jí)聯(lián)，有效提升樣本有限時(shí)圖像中不同尺度關(guān)鍵特征的提取能力，同樣可以推廣到其他物種的自動(dòng)檢測，提升監(jiān)測圖像數(shù)量少、動(dòng)物尺度大小不一時(shí)的檢測性能。