紅外相機(jī)監(jiān)測(cè)目標(biāo)物種的一種自動(dòng)化檢測(cè)方法：以綠尾虹雉為例

王翰霖 ，文帥 ，白俊 ，李東睿 ，羅概 ，林玉成 *

（1.四川大學(xué)生命科學(xué)學(xué)院,生物資源與生態(tài)環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室,成都 610065;2.四川大學(xué)生命科學(xué)學(xué)院,四川省瀕危野生動(dòng)物保護(hù)重點(diǎn)實(shí)驗(yàn)室,成都 610065;3.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,四川 綿陽(yáng) 621010）

紅外相機(jī)在野外動(dòng)物資源和棲息地調(diào)查、日活動(dòng)節(jié)律和動(dòng)物行為監(jiān)測(cè)中具有重要的地位（李晟等，2014），具有定量定性、非侵入性等優(yōu)點(diǎn)（汪國(guó)海等，2016），有利于我國(guó)物種的監(jiān)測(cè)以及區(qū)域性編目工作的開(kāi)展（朱淑怡等，2017）。唐卓等（2017）利用布設(shè)紅外相機(jī)捕捉的圖像數(shù)據(jù)來(lái)分析綠尾虹雉的年活動(dòng)、日活動(dòng)以及活動(dòng)溫度范圍。但是，紅外相機(jī)監(jiān)測(cè)中普遍存在數(shù)據(jù)量大、數(shù)據(jù)處理工作量大的挑戰(zhàn)，須投入大量的人力和物力（田成等，2018）。如何挖掘紅外相機(jī)圖像中的有用信息并規(guī)范管理是目前普遍存在的問(wèn)題（劉雪華等，2018）。

在復(fù)雜的氣候條件下，對(duì)紅外相機(jī)監(jiān)測(cè)到的部分中、小型物種進(jìn)行鑒定的難度更大，意味著誤檢、漏檢的概率更高（朱淑怡等，2017）。近年來(lái)，為提高對(duì)紅外相機(jī)圖像的處理效率，結(jié)合紅外相機(jī)深度學(xué)習(xí)成為當(dāng)下研究熱門(mén)。Norouzzadeh等（2017）利 用 VGGNet（Simonyan&Zisserman，2014）、ResNet（He，2016）等神經(jīng)網(wǎng)絡(luò)算法對(duì)野生動(dòng)物進(jìn)行物種識(shí)別；成都大熊貓繁育研究基地實(shí)現(xiàn)了對(duì)大熊貓繁殖的自動(dòng)化監(jiān)測(cè)（Yan，2020），其他研究包括日常行為（Ren，2015；Swarup，2021）、面部（何育欣等，2020）和個(gè)體識(shí)別（Hou，2020）。當(dāng)下，生態(tài)分析自動(dòng)化是紅外相機(jī)監(jiān)測(cè)體系未來(lái)的發(fā)展趨勢(shì)（楊彪等，2021）。降低人力、物力成本，提高紅外相機(jī)圖像處理效率，并保證圖像識(shí)別結(jié)果的準(zhǔn)確性至關(guān)重要。目前，有關(guān)紅外相機(jī)圖像物種識(shí)別的自動(dòng)化檢測(cè)方法仍有一些技術(shù)問(wèn)題亟待解決。

卷積神經(jīng)網(wǎng)絡(luò)識(shí)別方法提取單幅圖像所有特征，在背景比重過(guò)大的情況下會(huì)導(dǎo)致模型準(zhǔn)確度差、檢出率低（Krizhevsky，2012；Gomez，2016）。為解決背景干擾問(wèn)題，Norouzzadeh等（2017）選擇直接性剔除背景圖，劉文定等（2018）運(yùn)用興趣區(qū)作為目標(biāo)物種的識(shí)別區(qū)域，但仍存在效率低下、操作繁瑣等弊端。宮一男等（2019）使用基于 DarkNet53 的 YOLOv3（Redmon&Farhadi，2018）進(jìn)行模型訓(xùn)練，取得了較好的效果，但識(shí)別的準(zhǔn)確度與檢出率相較于人工識(shí)別，仍有一定的提升空間。

檢出率是衡量模型可靠性的重要指標(biāo)，與訓(xùn)練數(shù)據(jù)集容量正相關(guān)（Tabak，2019）。對(duì)于非珍稀瀕危動(dòng)物而言，數(shù)據(jù)量較充足，能夠容易地訓(xùn)練檢出率較高的模型，但對(duì)于某些地區(qū)特有且數(shù)量稀少的珍稀瀕危動(dòng)物而言，數(shù)據(jù)量稀少導(dǎo)致模型的檢出率受限。本研究擬通過(guò)改進(jìn)目標(biāo)檢測(cè)方法來(lái)提高模型的檢出率。

以我國(guó)特有種、國(guó)家一級(jí)重點(diǎn)保護(hù)鳥(niǎo)類(lèi)——綠尾虹雉為對(duì)象，提出一種基于紅外相機(jī)監(jiān)測(cè)的目標(biāo)物種的自動(dòng)化檢測(cè)方法，該方法可在目標(biāo)物種紅外相機(jī)數(shù)據(jù)較少的情況下，訓(xùn)練出高準(zhǔn)確率與檢出率的深度神經(jīng)網(wǎng)絡(luò)模型，從而進(jìn)一步提高紅外相機(jī)自動(dòng)化處理的效率，推進(jìn)紅外相機(jī)在野生動(dòng)物資源監(jiān)測(cè)中的運(yùn)用以及對(duì)目標(biāo)物種的保護(hù)。除此之外，本方法具有一定的普適性，可訓(xùn)練出針對(duì)其他目標(biāo)物種的自動(dòng)化目標(biāo)檢測(cè)模型。

1 方法的構(gòu)建思路

1.1 架構(gòu)思路

以 YOLOv5（https://githubcom/ultralytics/yolov5）為依托，分析目標(biāo)檢測(cè)（Bochkovskiy，2020）網(wǎng)絡(luò)模型的處理流程，設(shè)計(jì)先驗(yàn)框策略，改進(jìn)特征提取骨干網(wǎng)絡(luò)，植入?yún)f(xié)同注意力網(wǎng)絡(luò)（Hou，2021），改進(jìn)目標(biāo)檢測(cè)網(wǎng)絡(luò)，提出一種改進(jìn)的目標(biāo)檢測(cè)模型。

1.2 訓(xùn)練流程設(shè)計(jì)

使用相同的數(shù)據(jù)與訓(xùn)練參數(shù)對(duì)改進(jìn)網(wǎng)絡(luò)與原生YOLOv5進(jìn)行模型訓(xùn)練，測(cè)試訓(xùn)練的模型，以驗(yàn)證改進(jìn)網(wǎng)絡(luò)模型的優(yōu)勢(shì)。為簡(jiǎn)化訓(xùn)練流程，對(duì)模型訓(xùn)練采用遷移學(xué)習(xí)技術(shù)。遷移學(xué)習(xí)可有效提高訓(xùn)練效率以及模型準(zhǔn)確度。分析野外環(huán)境紅外相機(jī)所捕捉到綠尾虹雉個(gè)體存在大目標(biāo)與小目標(biāo)的情況，自定義分類(lèi)個(gè)數(shù)以適應(yīng)訓(xùn)練過(guò)程。

1.3 性能優(yōu)化策略

為有效提高模型的精確度（Precision）與檢出率（Recall），采取具有空間和通道的協(xié)同注意力網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，以CSPDarkNet53提取骨干網(wǎng)絡(luò)為切入點(diǎn)，在其末端植入?yún)f(xié)同注意力網(wǎng)絡(luò)。

1.4 數(shù)據(jù)集準(zhǔn)備

模型訓(xùn)練需要海量的標(biāo)記照片數(shù)據(jù)作為學(xué)習(xí)的先驗(yàn)知識(shí)，因此進(jìn)行了數(shù)據(jù)的實(shí)地采集。于2019年8—10月和2020年4—10月在四川唐家河國(guó)家級(jí)自然保護(hù)區(qū)采集11萬(wàn)條紅外相機(jī)數(shù)據(jù)，提取綠尾虹雉紅外相機(jī)圖像數(shù)據(jù)715張，涵蓋不同距離、不同拍攝角度以及其他若干指標(biāo)，如綠尾虹雉側(cè)面、正面、斜面、背面以及不同曝光度，實(shí)驗(yàn)數(shù)據(jù)代表性較好。對(duì)715張圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作，例如翻轉(zhuǎn)、旋轉(zhuǎn)、對(duì)比度、飽和度、亮度的隨機(jī)化調(diào)整，生成2 855條數(shù)據(jù)。

對(duì)2 284張照片中的綠尾虹雉個(gè)體進(jìn)行人工打框和添加標(biāo)記操作，框選部分盡可能保證與動(dòng)物的輪廓相貼合，標(biāo)記的名稱(chēng)為。采用5折交叉驗(yàn)證，訓(xùn)練集與測(cè)試集的比例為4∶1，確保最終的訓(xùn)練效果。

2 自動(dòng)化檢測(cè)方法的網(wǎng)絡(luò)構(gòu)建

2.1 網(wǎng)絡(luò)訓(xùn)練流程概述

網(wǎng)絡(luò)訓(xùn)練流程分為3個(gè)板塊：前向傳播、損失計(jì)算和反向傳播。前向傳播是網(wǎng)絡(luò)模型的主要部分。由于前向傳播的復(fù)雜性，決定了梯度更新的反向傳播操作復(fù)雜，故選擇YOLOv5簡(jiǎn)化反向傳播操作。以綠尾虹雉這單一物種為例，通過(guò)自定義聚類(lèi)先驗(yàn)框、植入?yún)f(xié)同注意力網(wǎng)絡(luò)有效提高模型的訓(xùn)練精度。

2.2 基礎(chǔ)網(wǎng)絡(luò)構(gòu)建

網(wǎng)絡(luò)引入的基礎(chǔ)結(jié)構(gòu)由輸入層、骨干網(wǎng)絡(luò)層、特征融合層和推理預(yù)測(cè)層組成（表1）。為簡(jiǎn)化網(wǎng)絡(luò)的構(gòu)建流程，沿用YOLOv5中的輸入層、特征融合層與預(yù)測(cè)層。由于方法涉及單目標(biāo)檢測(cè)，考慮到綠尾虹雉個(gè)體大小及其他特征，對(duì)跨階段局部網(wǎng)絡(luò)的殘差數(shù)量進(jìn)行改進(jìn)，并在骨干網(wǎng)絡(luò)層的最后階段植入?yún)f(xié)同注意力網(wǎng)絡(luò)。

表1 網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)Table 1 Infrastructure of proposed network

改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of proposed network

骨干網(wǎng)絡(luò)層提取的特征圖分為大、中、小3個(gè)尺度，大特征圖對(duì)應(yīng)提取的較小目標(biāo)特征，中等特征圖對(duì)應(yīng)提取的中等大小目標(biāo)特征，小特征圖對(duì)應(yīng)提取的大目標(biāo)特征。特征融合層借鑒特征金字塔結(jié)構(gòu)與路徑融合結(jié)構(gòu)，提高對(duì)不同尺度像素特征的融合能力。

2.2.1 損失計(jì)算方法 因單類(lèi)別檢測(cè)的緣故，將推理預(yù)測(cè)層分類(lèi)數(shù)量設(shè)置為1。采用泛化交并比作為候選框的損失函數(shù)；置信度預(yù)測(cè)使用邏輯回歸策略；采用二元交叉熵?fù)p失函數(shù)計(jì)算分類(lèi)損失。計(jì)算的所有損失以如下形式展現(xiàn)：

特征圖被分為數(shù)量的網(wǎng)格，為候選框的數(shù)量，代表網(wǎng)格的索引，代表候選框的索引，I代表第個(gè)單元格的第個(gè)候選框中對(duì)象預(yù)測(cè)為“存在”，代表負(fù)責(zé)檢測(cè)當(dāng)前物體的檢測(cè)框，為位置誤差，為含有物體與不含有物體的置信度誤差，為最終的分類(lèi)誤差。

2.2.2 檢測(cè)框生成方法 為高效、精確地生成檢測(cè)框，提高模型檢出率，采用聚類(lèi)的方法生成6個(gè)用于預(yù)測(cè)的先驗(yàn)框，計(jì)算公式如下：（boxcentroid）1-IOU（box，centroid），式中，box為標(biāo)注框，centroid為聚類(lèi)框，IOU為標(biāo)注框與聚類(lèi)框的交并比，為標(biāo)注框與聚類(lèi)框的差異度，通過(guò)該法不斷進(jìn)行更新迭代，最終生成的先驗(yàn)框（寬×高）分 別 為（26×57）、（67×71）、（82×140）、（146×137）、（226×199）、（262×279）（表2）。

表2 輸出特征圖尺度與對(duì)應(yīng)先驗(yàn)框大小Table 2 Size of feature map and corresponding anchor box size

根據(jù)特征圖的尺度選擇不同的先驗(yàn)框進(jìn)行預(yù)測(cè)，生成的預(yù)測(cè)框?yàn)楹蜻x框（圖2）。

圖2 目標(biāo)物種候選框的預(yù)測(cè)方法Fig.2 Bounding boxes with dimension priors and location prediction

式中，p、p為先驗(yàn)框在特征圖中的寬、高；函數(shù)用于約束t、t的偏移量，使其值落在0～1之間；σ（t）、σ（t）、t、t為候選框中心點(diǎn)坐標(biāo)相對(duì)于特征圖的偏移量以及寬、高的預(yù)測(cè)值；c、c為候選框相對(duì)于整個(gè)特征圖網(wǎng)格位置的補(bǔ)償點(diǎn)坐標(biāo)；b、b為候選框在特征圖上的中心點(diǎn)坐標(biāo)；b、b為候選框在特征圖上的寬、高。對(duì)候選框的篩選使用非極大值抑制策略，篩選后的框?yàn)樽罱K的檢測(cè)框。完成上述計(jì)算后，依據(jù)特征提取骨干網(wǎng)絡(luò)對(duì)輸入圖片到特征圖的降采樣系數(shù)，進(jìn)行特征圖到實(shí)際圖像的還原操作，得到檢測(cè)框在實(shí)際照片中的位置。

2.3 協(xié)同注意力網(wǎng)絡(luò)植入

協(xié)同注意力網(wǎng)絡(luò)突出感興趣的目標(biāo)區(qū)域，通過(guò)對(duì)通道和空間位置權(quán)重的重新分配以達(dá)到前景、背景分離以及獲取大范圍上下文依賴(lài)關(guān)系的目的。將協(xié)同注意力模型植入所提出的特征提取骨干網(wǎng)絡(luò)部分，通過(guò)對(duì)已提取特征圖進(jìn)行重新加權(quán)賦值，從而有效獲取目標(biāo)區(qū)域位置并減少背景干擾。

圖3 協(xié)同注意力網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of coordinate attention

2.4 網(wǎng)絡(luò)模型訓(xùn)練

在表3所示的基礎(chǔ)實(shí)驗(yàn)環(huán)境下，選擇Adam為優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，動(dòng)量因子設(shè)置為0.1，批處理參數(shù)設(shè)置為32，最大迭代次數(shù)為1 000。每進(jìn)行一輪迭代，輸入的圖像數(shù)量為256，照片縮放大小設(shè)置為608*608。采用泛化交并比作為檢測(cè)框的損失函數(shù)；置信度預(yù)測(cè)使用邏輯回歸策略。

表3 基礎(chǔ)實(shí)驗(yàn)環(huán)境Table 3 Basic experimental environment

訓(xùn)練圖像進(jìn)行前向傳播、計(jì)算損失、反向傳播計(jì)算更新模型的權(quán)重參數(shù)，以此不斷迭代處理，使模型損失收斂，最終保存最佳的權(quán)重參數(shù)作為綠尾虹雉目標(biāo)檢測(cè)模型權(quán)重。依次對(duì)改進(jìn)網(wǎng)絡(luò)模型以及原生YOLOv5進(jìn)行訓(xùn)練，訓(xùn)練歷時(shí)72 h。

3 自動(dòng)化檢測(cè)方法的實(shí)現(xiàn)

3.1 評(píng)價(jià)指標(biāo)

運(yùn)用精確度、檢出率、均值化平均精確度（mAP）對(duì)模型進(jìn)行評(píng)價(jià)。

式中，TP為預(yù)測(cè)正確的數(shù)目，F(xiàn)P為預(yù)測(cè)錯(cuò)誤的數(shù)目，F(xiàn)N為漏檢的數(shù)目。IOU＞0.5的候選框?yàn)門(mén)P，IOU＜0.5的為FP。在候選框生成后進(jìn)行非極大值抑制生成最終的檢測(cè)框。mAP是評(píng)估目標(biāo)檢測(cè)模型效果的重要指標(biāo)，用于衡量檢測(cè)框與標(biāo)記框的匹配精度以及預(yù)測(cè)物種名與標(biāo)記物種名的一致性，該指標(biāo)可通過(guò)精確度和檢出率來(lái)計(jì)算。本研究涉及的是單目標(biāo)檢測(cè)，因此不存在真負(fù)例指標(biāo)（TN），且mAP值與AP值相同。mAP@0.5為在IOU＞0.5下曲線(xiàn)下方的面積（圖4）。

圖4 綠尾虹雉目標(biāo)檢測(cè)P-R曲線(xiàn)Fig.4 P-R curve of Lophophorus lhuysii

3.2 驗(yàn)證結(jié)果

模型訓(xùn)練結(jié)果如圖5所示。

圖5 目標(biāo)物種的自動(dòng)化檢測(cè)實(shí)驗(yàn)結(jié)果Fig.5 Automated test results of target species

從訓(xùn)練模型對(duì)測(cè)試集處理的結(jié)果上看，訓(xùn)練模型已達(dá)到最優(yōu)的條件。改進(jìn)方法訓(xùn)練模型的mAP@0.5指標(biāo)優(yōu)于原生YOLOv5訓(xùn)練模型，模型的擬合度適中。隨后進(jìn)行一組照片測(cè)試，模型預(yù)測(cè)的檢測(cè)框貼合綠尾虹雉個(gè)體較好，在光線(xiàn)暗淡、巖石遮擋的情況下也達(dá)到了比較理想的預(yù)測(cè)準(zhǔn)確度。

在10余萬(wàn)張紅外相機(jī)照片中，對(duì)拍攝到綠尾虹雉個(gè)體的相機(jī)的所有照片進(jìn)行檢測(cè)（表4），從總的檢測(cè)指標(biāo)看，改進(jìn)的模型相較于原生YOLOv5，在檢出率、精確度指標(biāo)上均占優(yōu)。

表4 照片分揀結(jié)果Table 4 Photo sorting results

經(jīng)植入?yún)f(xié)同注意力網(wǎng)絡(luò)后，測(cè)試結(jié)果顯示改進(jìn)的訓(xùn)練模型對(duì)綠尾虹雉的識(shí)別準(zhǔn)確度達(dá)到了99.62%，檢出率高達(dá)100%。在測(cè)試環(huán)境下，模型對(duì)所有數(shù)據(jù)集的檢測(cè)速度平均為每張0.07 s，若為視頻數(shù)據(jù)流，則能夠應(yīng)對(duì)實(shí)時(shí)的目標(biāo)檢測(cè)任務(wù)。

4 結(jié)論與討論

本文聚焦紅外相機(jī)圖像的自動(dòng)化檢測(cè)，運(yùn)用深度學(xué)習(xí)技術(shù)，以綠尾虹雉為例，植入?yún)f(xié)同注意力機(jī)制，提出并驗(yàn)證改進(jìn)的自動(dòng)化目標(biāo)檢測(cè)方法，實(shí)現(xiàn)了高精度自動(dòng)化識(shí)別與目標(biāo)檢測(cè)任務(wù)，可提高對(duì)紅外相機(jī)圖像及視頻的處理效率，降低人力、物力成本，推進(jìn)對(duì)目標(biāo)物種的保護(hù)。

4.1 方法的實(shí)際應(yīng)用

在實(shí)際應(yīng)用場(chǎng)景中，科研人員在野外部署若干紅外相機(jī)，經(jīng)過(guò)一段時(shí)間的數(shù)據(jù)收集，由人工或自動(dòng)的方式上傳到紅外相機(jī)數(shù)據(jù)庫(kù)，隨后將大批量的紅外相機(jī)數(shù)據(jù)送入本方法訓(xùn)練完成的模型中進(jìn)行自動(dòng)化處理，最后給予科研人員反饋（圖6）。

圖6 紅外相機(jī)圖像的處理流程Fig.6 Image processing of infrared camera

從提高實(shí)際應(yīng)用效率的角度看，本文改進(jìn)的目標(biāo)檢測(cè)方法會(huì)自動(dòng)創(chuàng)建含有目標(biāo)物種的紅外相機(jī)目錄，方便科研人員檢索。對(duì)于獨(dú)立有效照片數(shù)量及相對(duì)拍攝率的獲取，可通過(guò)本方法的附加模塊“Intelli-Camera”自動(dòng)化處理。也可自動(dòng)批量提取目標(biāo)物種照片中的時(shí)間戳、溫度等重要基礎(chǔ)指標(biāo)，根據(jù)這些指標(biāo)還可自動(dòng)生成表格，從而更加方便快捷地指導(dǎo)科研實(shí)踐（圖7）。

圖7 自動(dòng)化流程Fig.7 Automatic process

4.2 方法的優(yōu)勢(shì)

本文優(yōu)化了方法所涵蓋的訓(xùn)練過(guò)程，創(chuàng)新性地提出一種針對(duì)綠尾虹雉的自動(dòng)化目標(biāo)檢測(cè)方法，通過(guò)此方法訓(xùn)練生成的模型與YOLOv5相比，其準(zhǔn)確度與檢出率都達(dá)到了較高的水平。

該方法可推廣到其他中、小型珍稀瀕危野生動(dòng)物物種。且該方法對(duì)訓(xùn)練數(shù)據(jù)量的要求較低，也可加強(qiáng)對(duì)偶見(jiàn)種的監(jiān)測(cè)（劉雪華等，2018），因此，該模型具有一定的推廣和應(yīng)用價(jià)值。

4.3 方法的局限性

本文提出的目標(biāo)物種自動(dòng)化檢測(cè)方法存在一定的局限性。在紅外相機(jī)僅捕捉到其頭部部分或不完整身體的情況下，通常無(wú)法準(zhǔn)確地進(jìn)行自動(dòng)化識(shí)別和目標(biāo)檢測(cè)，因此，需要完善綠尾虹雉的頭部或其他不完整軀干數(shù)據(jù)集，并對(duì)其進(jìn)行訓(xùn)練，生成能夠識(shí)別綠尾虹雉頭部以及不完整軀干的模型，綜合本研究的模型，進(jìn)行更可靠、高效的自動(dòng)化識(shí)別與目標(biāo)檢測(cè)。

4.4 后續(xù)研究展望

基于紅外相機(jī)的對(duì)野外動(dòng)物物種行為特征自動(dòng)化識(shí)別、個(gè)體自動(dòng)化計(jì)數(shù)技術(shù)是后續(xù)展望研究的部分。行為特征自動(dòng)化識(shí)別、個(gè)體自動(dòng)化計(jì)數(shù)技術(shù)能夠更加精確地計(jì)算出相對(duì)多度指數(shù)（Rowcliffe，2014）、時(shí)間段活動(dòng)強(qiáng)度以及相對(duì)拍攝率（Mohd-Azlan&Engkamat，2013），這能夠更加精確、高效并自動(dòng)化評(píng)估目標(biāo)物種的種群以及季節(jié)活動(dòng)指標(biāo)，更好地解決野生動(dòng)物資源監(jiān)測(cè)的三大問(wèn)題（肖治術(shù)等，2014，2017），從而更高效、準(zhǔn)確地推進(jìn)對(duì)目標(biāo)物種的保護(hù)，進(jìn)一步提高對(duì)紅外相機(jī)捕捉圖像的利用效率。