基于Transformer與自適應(yīng)空間特征融合的群豬目標(biāo)檢測(cè)算法研究

耿艷利 ，林彥伯，付艷芳，楊淑才

（1. 河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300130；2.智能康復(fù)裝置與檢測(cè)技術(shù)教育部工程研究中心，天津 300130；3.河北省畜牧總站，石家莊 050035；4.天津魔界客智能科技有限公司，天津 300130）

我國精準(zhǔn)畜牧業(yè)發(fā)展尚處于初級(jí)階段，生豬養(yǎng)殖過程中對(duì)豬只狀態(tài)和行為監(jiān)測(cè)主要以人工為主，增加養(yǎng)殖管理成本，且存在人畜交叉感染風(fēng)險(xiǎn)[1-2]。2020年國務(wù)院辦公廳《關(guān)于促進(jìn)畜牧業(yè)高質(zhì)量發(fā)展的意見》中明確提出，畜牧業(yè)需要提升智能化水平和動(dòng)物疫病防控能力，加強(qiáng)大數(shù)據(jù)、人工智能、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)應(yīng)用。深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)可提供無接觸式群豬監(jiān)測(cè)方法，但算法存在精確度不高和模型占用內(nèi)存大等問題，應(yīng)用于實(shí)際工程存在困難。

在圖像處理領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）表現(xiàn)出色[3-4]，CNN 作為特征提取器已在R-CNN[5]、SPP-NET[6]、Faster R-CNN[7]、Mask R-CNN[8]、YOLOv3 等目標(biāo)檢 測(cè) 算法中應(yīng)用廣泛。學(xué)界將基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法應(yīng)用于豬只個(gè)體目標(biāo)檢測(cè)[9-12]。

劉巖等采用兩階段算法，利用生豬圖像BING特征訓(xùn)練兩級(jí)線性SVM 模型產(chǎn)生高質(zhì)量候選區(qū)域，再訓(xùn)練CNN 網(wǎng)絡(luò)模型進(jìn)行分類，最后使用非極大值抑制方法保留得分較高窗口[13]，其平均檢測(cè)時(shí)間為0.71 s，檢測(cè)速度遠(yuǎn)低于常用目標(biāo)檢測(cè)算法。Martin 等利用 2D 攝像機(jī)和 Faster R-CNN 檢測(cè)網(wǎng)絡(luò)檢測(cè)生豬位置和姿態(tài)，平均檢測(cè)精度達(dá)到80.2%[14]。Cowton 等利用 Faster R-CNN 模型檢測(cè)生豬位置，精度達(dá)到90.1%，滿足試驗(yàn)預(yù)期[15]。高云等在Mask R-CNN基礎(chǔ)上建立PigNet網(wǎng)絡(luò)，可對(duì)不同形態(tài)、粘連嚴(yán)重群豬圖像準(zhǔn)確分割出獨(dú)立豬只個(gè)體目標(biāo)[16]。胡志偉等在HTC模型中引入雙重注意力單元使平均精確度達(dá)到93.3%[17]。但上述兩模型均以Mask R-CNN為基礎(chǔ)，存在占用內(nèi)存較多和檢測(cè)速度慢等劣勢(shì)。房俊龍等以CenterNet 為基礎(chǔ)結(jié)構(gòu)，引入MobileNet 作為模型特征提取網(wǎng)絡(luò)降低模型大小并提高檢測(cè)速度[18]，平均精確度未明顯提升。蘇恒強(qiáng)等針對(duì)圖像光照強(qiáng)度、豬只種類顏色、障礙物遮擋等干擾，提出基于YOLOv3的生豬目標(biāo)檢測(cè)方法[19]，在模型大小方面未改進(jìn)。

CNN 缺乏對(duì)圖像全局理解，識(shí)別精度難以提高。Transformer由自注意力機(jī)制組成不受局部相互作用限制，可挖掘長(zhǎng)距離數(shù)據(jù)依賴關(guān)系。Swin Transformer[20]是將Transformer 塊中標(biāo)準(zhǔn)多頭自注意力模塊替換為基于移動(dòng)窗口的多頭自注意力模塊。自適應(yīng)空間特征融合方法將多尺度特征調(diào)整為相同分辨率，通過訓(xùn)練找到最佳的權(quán)重進(jìn)行融合。本文提出一種基于Transformer與自適應(yīng)空間特征融合的群豬目標(biāo)檢測(cè)算法，有助于智能化豬場(chǎng)建設(shè)，為養(yǎng)殖場(chǎng)動(dòng)物計(jì)數(shù)和行為識(shí)別等方面提供技術(shù)支持。

1 試驗(yàn)數(shù)據(jù)

本研究群豬圖像采集于天津市薊州區(qū)新河口村養(yǎng)殖場(chǎng)（2021年10月16日10:00～16:30，天氣晴轉(zhuǎn)多云，光照偏弱，室外環(huán)境，溫度8～15 ℃），選取長(zhǎng)白豬品種作為拍攝對(duì)象。養(yǎng)殖場(chǎng)中單個(gè)豬欄長(zhǎng)×寬分別為4 m×2.7 m，每個(gè)豬舍生豬數(shù)量4～11 頭。選取其中2欄約90日齡、質(zhì)量平均為50 kg的育肥期豬只共計(jì)22頭作為試驗(yàn)對(duì)象。如圖1所示，將帶有IMX219模塊的Jetson Nano開發(fā)板懸掛固定在斜側(cè)方位采集豬群視頻，拍攝得到視頻總時(shí)長(zhǎng)為260 min。原始視頻格式為MP4，分辨率（幀寬度×幀高度）為1 280像素×720像素，幀速率29.9幀·s-1。

圖1 豬只圖像信息采集現(xiàn)場(chǎng)Fig.1 Pig images information collection site

1.1 關(guān)鍵幀提取

為防止數(shù)據(jù)重復(fù)冗余，對(duì)視頻進(jìn)行關(guān)鍵幀提取。首先將采集視頻數(shù)據(jù)轉(zhuǎn)換成圖像序列；其次采用關(guān)鍵幀提取法提高數(shù)據(jù)集質(zhì)量；最后將序列圖像中每一幀區(qū)分為關(guān)鍵幀和正常幀。關(guān)鍵幀是豬只姿勢(shì)發(fā)生變化的圖像，通常包含較多運(yùn)動(dòng)信息，其余圖像為正常幀。借鑒絕對(duì)直方圖差分法[21]，本文將圖像直方圖特征以余弦相似度來創(chuàng)建連續(xù)幀簇，檢查新幀是否與最后形成簇相似，選擇簇中最后添加幀作為關(guān)鍵幀。其中余弦相似度的閾值為0.9，保留3 465張作為初選數(shù)據(jù)集。

1.2 數(shù)據(jù)集構(gòu)建

初選數(shù)據(jù)集中圖片存在模糊現(xiàn)象，利用拉普拉斯算子進(jìn)行圖像預(yù)處理，刪去目標(biāo)不清晰圖像[22]。將RGB 圖像轉(zhuǎn)換為灰度圖，再經(jīng)拉普拉斯算子卷積運(yùn)算與圖像灰度均值方差，該方差定義為圖像清晰度。依據(jù)經(jīng)驗(yàn)圖像清晰度，閾值取60，超過這個(gè)閾值定義為清晰圖像，保留2 400張圖像作為數(shù)據(jù)集。采用Labelme圖像標(biāo)注工具并以矩形框標(biāo)注豬只外輪廓，生成json 文件后轉(zhuǎn)換成符合VOC數(shù)據(jù)集格式的xml 文件。COCO 數(shù)據(jù)集試驗(yàn)表明，數(shù)據(jù)增強(qiáng)將檢測(cè)精度提高2.3%。為提升模型泛化能力進(jìn)而提高檢測(cè)精度，利用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充樣本。將上述數(shù)據(jù)集利用Albumentations 庫作翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、增加噪音等方法進(jìn)行數(shù)據(jù)增強(qiáng)處理，增強(qiáng)圖像如圖2 所示。新數(shù)據(jù)樣本共計(jì)9 600幅，按8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

圖2 圖像增強(qiáng)示例Fig.2 Sample images of image enhancement

2 群豬目標(biāo)檢測(cè)算法

2.1 Swin Transformer網(wǎng)絡(luò)模型

Swin Transformer 網(wǎng)絡(luò)（ST）模仿 CNN 分層結(jié)構(gòu)。在初始化階段，將圖像分割成小塊，將相鄰小塊合并到下一個(gè)Transformer 層中，如圖3 所示，利用非重疊窗口計(jì)算自注意力降低，計(jì)算復(fù)雜度。這種劃分會(huì)減少窗口之間的連接，因此模型采用平移窗口方法，增強(qiáng)窗口之間信息聯(lián)系。

圖3 分層特征圖和平移窗口方法Fig.3 Hierarchical feature map and shifted window approach

ST 網(wǎng)絡(luò)架構(gòu)中包含Patch Partition 層、Patch Expanding 層、Patch Merging 層 和 Swin Transformer層，其中Patch Expanding和2個(gè)Swin Transformer層組成第1 階段，Patch Merging 層和多個(gè)Swin Transformer 層組成第2、3、4 階段。首先將尺寸為H×W×3（高度×寬度×通道數(shù)）的圖像數(shù)據(jù)經(jīng)過Patch Partition層的切片操作輸出，然后經(jīng)過第1～4階段的特征提取模塊，將第2～4階段輸出的特征圖作為最終結(jié)果，其特征圖尺寸分別為。ST網(wǎng)絡(luò)架構(gòu)如圖4 所示，其中C 是通道數(shù)。Patch Partition層進(jìn)行切片操作，分辨率降低到原來的四分之一，將損失的像素信息補(bǔ)充到通道。Patch Expanding 層不改變特征圖高度和寬度，只將通道數(shù)映射成C。Patch Merging 層用于將分辨率降低二分之一且通道數(shù)增加1倍。

圖4 ST網(wǎng)絡(luò)架構(gòu)Fig.4 ST network structure

Swin Transformer 層負(fù)責(zé)特征學(xué)習(xí)且不改變特征圖尺寸。每個(gè)階段中Swin Transformer 層個(gè)數(shù)必須是偶數(shù)，每層包括層歸一化模塊（Layer normalization，LN）、多頭自注意模塊、殘差結(jié)構(gòu)和多層感知器（Muti-layer perception，MLP）組成，如圖5所示。多頭自注意力模塊是基于平移窗口構(gòu)造，在連續(xù)兩層中分別應(yīng)用基于窗口的多頭自注意模塊（Window based Multi-head Self Attention，WMSA）和平移窗口的多頭自注意模塊（Shifted Window based Multi-head Self Attention，SWMSA）。每個(gè)階段中具體步驟如公式（1）～（4）所示：

圖5 連續(xù)的Swin Transformer層Fig.5 Successive Swin Transformer layers

式中，zl-1表示第l-1層MLP輸出特征，表示第l層 WMSA 輸出特征，zl表示第l層 MLP 輸出特征，表示第l+1 層 SWMSA 輸出特征，zl+1表示第l+1層MLP輸出特征。

2.2 特征提取網(wǎng)絡(luò)

單階段目標(biāo)檢測(cè)模型均由主干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)、預(yù)測(cè)網(wǎng)絡(luò)組成。主干網(wǎng)絡(luò)輸出由淺到深三種尺寸特征，淺層特征圖分辨率較高，目標(biāo)位置信息相對(duì)豐富，但語義信息不明顯；深層特征圖分辨率低，語義信息豐富，但丟失較多目標(biāo)位置信息。因此，將淺層特征圖與深層特征圖進(jìn)行信息融合更有利于目標(biāo)區(qū)分。特征金字塔網(wǎng)絡(luò)（Feature pyramid networks，F(xiàn)PN）從深層向淺層傳遞語義特征，解決淺層特征語義信息較差問題，保持淺層特征利于檢測(cè)小目標(biāo)優(yōu)勢(shì)，提高檢測(cè)精度。

自適應(yīng)空間特征融合（Adaptively Spatial Feature Fusion，ASFF）方法過濾各尺寸空間信息抑制不一致特征，提高檢測(cè)精度且具有計(jì)算量小的優(yōu)點(diǎn)。ASFF 關(guān)鍵是自適應(yīng)學(xué)習(xí)各尺度特征空間權(quán)重，首先恒等縮放將不同尺寸特征圖調(diào)整一致，然后計(jì)算各尺度權(quán)重，最后將權(quán)重值與調(diào)整后各尺寸特征圖相乘得到融合特征。

2.3 改進(jìn)預(yù)測(cè)框的損失函數(shù)

預(yù)測(cè)框回歸指標(biāo)常采用由預(yù)測(cè)框和真實(shí)框距離成本、重疊區(qū)域成本和縱橫比成本組成的CIoU計(jì)算[23]。預(yù)測(cè)框在訓(xùn)練過程中靠近真實(shí)框方向不確定，收斂速度變慢且效率降低。SIoU 考慮回歸方向成本，使預(yù)測(cè)框移動(dòng)到最近坐標(biāo)軸，隨后延該軸方向靠近真實(shí)框，本文借鑒上述兩種方法提出一種改進(jìn)交并比計(jì)算方法RIoU，用于計(jì)算預(yù)測(cè)框回歸損失值。

RIoU中的回歸方向和距離成本計(jì)算公式：

縱橫比和重疊區(qū)域成本計(jì)算公式：

改進(jìn)預(yù)測(cè)框損失計(jì)算公式：

公式（5）中Ch和σ分別是預(yù)測(cè)框與真實(shí)框中心點(diǎn)高度差和距離。公式（7）中ρx和ρy表示中心距離與外接矩陣對(duì)角線距離比值的平方。公式（9）中真實(shí)框的寬高用wgt和hgt表示，預(yù)測(cè)框?qū)捀哂脀和h表示。公式（10）中B和BGT分別表示預(yù)測(cè)框和真實(shí)框。公式（12）中Lbox是改進(jìn)后的損失函數(shù)計(jì)算方法。

2.4 本文算法

將單階段目標(biāo)檢測(cè)模型作為基礎(chǔ)架構(gòu)，提出基于Transformer 與自適應(yīng)空間特征融合的群豬目標(biāo)檢測(cè)算法TA-Net，該算法主干網(wǎng)絡(luò)采用ST 模型，輸出三層特征圖；特征融合網(wǎng)絡(luò)采用FPN+ASFF；預(yù)測(cè)網(wǎng)絡(luò)采用核為1×1 的2D 卷積直接輸出結(jié)果，模型結(jié)構(gòu)如圖6 所示。主干網(wǎng)絡(luò)中窗口為13×13，通道數(shù)C 為32，ST 網(wǎng)絡(luò)四個(gè)階段中多頭注意力頭個(gè)數(shù)分別為4、8、16、32。模型訓(xùn)練中預(yù)測(cè)框損失采用RIoU計(jì)算。

圖6 基于Transformer與自適應(yīng)空間特征融合的群豬目標(biāo)檢測(cè)算法Fig.6 Pigs target detection algorithm based on Transformer and adaptively spatial feature fusion

3 試驗(yàn)平臺(tái)參數(shù)及評(píng)價(jià)指標(biāo)

3.1 試驗(yàn)平臺(tái)

試驗(yàn)訓(xùn)練環(huán)境為Ubuntu16.04，硬件配置CPU為E5-2680 4 核，主頻2.60 GHz，內(nèi)存為32 GB，GPU 為 11G NVIDIA GeForce GTX 1080Ti。試驗(yàn)測(cè)試環(huán)境為64 位Windows10 操作系統(tǒng)，硬件配置CPU 為Intel（R）-Core（TM）i5-10200H，主頻2.40 GHz，顯卡為 4G NVIDIA GeForce GTX 1650Ti，內(nèi)存為16GB。試驗(yàn)采用Python 編程語言，并在Torch 1.7.0 進(jìn)行網(wǎng)絡(luò)搭建、訓(xùn)練和測(cè)試，并采用正態(tài)分布對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化。

3.2 評(píng)價(jià)指標(biāo)

本文試驗(yàn)主要采用以下5個(gè)評(píng)價(jià)指標(biāo)：精確率（Precision，P），召回率（Recall，R），平均精確率（Average Precision，AP），F(xiàn)1 分?jǐn)?shù)（F1-Score），檢測(cè)速度（Frames Per Second，F(xiàn)PS），模型大?。∕odel Size）。P、R、AP、F1的計(jì)算公式分別為：

式中，TP指圖像中豬只目標(biāo)被正確檢測(cè)個(gè)數(shù)，F(xiàn)P指圖像中非豬只目標(biāo)被檢測(cè)為豬只個(gè)數(shù)，F(xiàn)N指圖像中豬只目標(biāo)未被檢測(cè)為豬只個(gè)數(shù)，AP指模型對(duì)豬只目標(biāo)檢測(cè)精度平均值，式（16）中dr表示積分變量用于求解[0, 1]區(qū)間P與R乘積積分值。

3.3 模型訓(xùn)練

圖像在輸入給模型前，尺寸調(diào)整為416×416×3，訓(xùn)練中采用余弦退火學(xué)習(xí)率策略和馬賽克增強(qiáng)技術(shù)。每8 個(gè)樣本作為一個(gè)批次，前100 個(gè)Epoch初始學(xué)習(xí)率設(shè)置為0.001，后100 個(gè)Epoch 初始學(xué)習(xí)率設(shè)置為0.0001。利用K 均值聚類算法（KMeans Clustering Algorithm）對(duì)豬只數(shù)據(jù)集的錨框作聚類分析，計(jì)算適合豬只目標(biāo)大小的錨框，取聚類個(gè)數(shù)為9，得到錨框尺寸分別為：（52，57），（120，29），（76，60），（138，41），（110，60），（77，98），（63，164），（165，65），（117，134）。

4 結(jié)果與分析

4.1 主干網(wǎng)絡(luò)參數(shù)與融合增強(qiáng)模型性能分析

構(gòu)建 3 種不同層級(jí)的 ST 網(wǎng)絡(luò) ST4、ST6 和 ST8，研究Swin Transformer 層數(shù)對(duì)模型性能提升程度的影響，區(qū)別在于ST網(wǎng)絡(luò)的第三階段Swin Transformer層數(shù)分別為4、6和8。FPN作為特征融合網(wǎng)絡(luò)第一層，PAN 和ASFF 均可作為融合增強(qiáng)模型。不同層級(jí)ST與PAN和ASFF組合成不同網(wǎng)絡(luò)后在群豬數(shù)據(jù)集上測(cè)試結(jié)果見表1。驗(yàn)證不同層級(jí)ST網(wǎng)絡(luò)有效性和PAN和ASFF對(duì)檢測(cè)精度的影響，采用CIoU計(jì)算模型訓(xùn)練中預(yù)測(cè)框損失。

表1 不同層級(jí)ST與PAN和ASFF組合成不同網(wǎng)絡(luò)后性能對(duì)比Tabel 1 Performance comparison of models with different levels of ST combined with PAN or ASFF

試驗(yàn)結(jié)果表明，引入ASFF 或PAN 的模型4-9與模型1-3 相比在精確率、召回率、F1 值、平均精確率方面均有提升。引入ASFF 的模型4-6 比使用PAN 的模型7-9 所達(dá)到最高平均精確率提高1.3%，最快檢測(cè)速度提升1.3 Hz，平均模型大小減少1.5 MB。

在模型4-6中模型5性能最優(yōu)，其精確率、召回率、F1 值、平均精確率、模型大小、檢測(cè)速度分別為90.5%、96.6%、0.934、94.8%、22.1 MB、33.4 Hz。在模型7-9 中，模型8 精確率、召回率、F1 值、平均精確率、模型大小、檢測(cè)速度分別為92.9%、97.2%、0.950、96.1%、20.6 MB、34.9 Hz。與模型9 相比模型大小減少2 MB，檢測(cè)速度提高1.7 Hz，其余指標(biāo)依次提升0.1%、0.6%、0.4%、0.3%。與模型7 相比，精確率、召回率、F1 值、平均精確率分別提升1.3%、0.6%、1.0%、2.9%，上述分析說明，ST8對(duì)本文數(shù)據(jù)集檢測(cè)任務(wù)有較大冗余，引入過多注意力信息反而弱化注意力區(qū)域激活值，降低其層數(shù)不影響模型性能，且可降低運(yùn)算量減少模型占用空間，ST6相比ST4對(duì)網(wǎng)絡(luò)性能有明顯提升，因此本文采用ST6 作為主干網(wǎng)絡(luò)，特征融合網(wǎng)絡(luò)采用FPN+ASFF。

4.2 改進(jìn)后預(yù)測(cè)框回歸損失計(jì)算方法對(duì)TA-Net影響

將預(yù)測(cè)框的三種回歸損失計(jì)算方法進(jìn)行比較，驗(yàn)證對(duì)本文網(wǎng)絡(luò)影響。表2 為CIoU、SIoU 和RIoU 三種回歸損失計(jì)算方法測(cè)試結(jié)果。試驗(yàn)表明，RIoU使本文網(wǎng)絡(luò)的平均精確率相比CIoU提高0.4%，說明添加方向懲罰成本后可有效提升檢測(cè)精度。RIoU比SIoU提高0.3%，二者在縱橫比成本計(jì)算方面不同，SIoU 允許高度和寬度梯度值同增同減，RIoU 與CIoU 采用相同縱橫比成本計(jì)算方法，文獻(xiàn)[24]證明該方法限制兩梯度值必須相反，數(shù)據(jù)集中豬只樣本通常具有大縱橫比，測(cè)試結(jié)果表明RIoU 更適合用于群豬目標(biāo)識(shí)別。本文采用RIoU作為預(yù)測(cè)框的回歸損失計(jì)算方法。

表2 預(yù)測(cè)框三種回歸損失計(jì)算方法對(duì)比Tabel 2 Comparison of three regression loss calculation methods in prediction box

4.3 與不同目標(biāo)檢測(cè)模型性能對(duì)比

在群豬數(shù)據(jù)集上測(cè)試TA-Net 與常見目標(biāo)檢測(cè)模型見表3所示。SSD檢測(cè)速度最快達(dá)到40.1 Hz，但模型架構(gòu)中缺少特征融合網(wǎng)絡(luò)，導(dǎo)致檢測(cè)效果較差。Faster RCNN-resnet 50是兩階段檢測(cè)模型，其精確率為93.7%，高于其他模型，召回率和平均精確率較低，原因是主干網(wǎng)絡(luò)只提取單層特征圖且分辨率較小，其他模型均提取多層特征提升檢測(cè)效果。RetinaNet-resnet101 召回率較高，達(dá)到95.8%，原因是輸出每層特征中均包含9 個(gè)先驗(yàn)框有利于提升召回率，其預(yù)測(cè)網(wǎng)絡(luò)將分類與回歸分兩路輸出，同樣有利于提高預(yù)測(cè)框回歸精度。EfficientDet-D7 平均精確率為94.0%，主干網(wǎng)絡(luò)輸出5層特征圖降低信息損失，融合網(wǎng)絡(luò)中采用加權(quán)雙向特征網(wǎng)絡(luò)能夠提升檢測(cè)效果但降低檢測(cè)速度。YOLOv4 平均精確率為94.1%，檢測(cè)速度比Efficient-Det-D7 快11.6 Hz，優(yōu)勢(shì)在于主干網(wǎng)絡(luò)選用CSPDarknet53，更適用于目標(biāo)檢測(cè)。上述模型主干網(wǎng)絡(luò)均為堆疊CNN結(jié)構(gòu)，TA-Net主干網(wǎng)絡(luò)以Transformer為基礎(chǔ)結(jié)構(gòu)，TA-Net在召回率、F1分?jǐn)?shù)、平均精確率方面比YOLOv4高出1.5%、1.7%、1.6%、2.4%，模型占用內(nèi)存量縮小12.5倍且檢測(cè)速度提高13 Hz。TA-Net中主干網(wǎng)絡(luò)輸出三層特征圖的通道數(shù)分別為64、128、256，YOLOv4 中主干網(wǎng)絡(luò)輸出三層特征圖的通道數(shù)分別為256、512、1024，TA-Net 主干網(wǎng)絡(luò)輸出特征圖通道數(shù)減少75%，這是TA-Net 在模型大小和檢測(cè)速度上占優(yōu)勢(shì)關(guān)鍵原因。TA-Net引入的Swin Transformer 主干網(wǎng)絡(luò)既提取圖像全局信息又大幅度減少模型參數(shù)，提高檢測(cè)速度，并且ASFF方法有效融合多尺度特征，使模型平均精確率達(dá)到96.5%，與SSD、Faster RCNN-resnet50、RetinaNet-resnet101、EfficientDet-D7和YOLOv4相比提高14.3%、5.0%、3.4%、2.5%、2.4%。綜上，TA-Net 提高檢測(cè)精度和檢測(cè)速度并大幅度減少模型占用空間，可應(yīng)用于群豬目標(biāo)檢測(cè)。

表3 不同目標(biāo)檢測(cè)模型性能對(duì)比Tabel 3 Performance comparison of different models for detection

4.4 與現(xiàn)有豬只目標(biāo)檢測(cè)方法對(duì)比

本文所提TA-Net 在本文測(cè)試集中群豬目標(biāo)檢測(cè)結(jié)果以及現(xiàn)有生豬目標(biāo)檢測(cè)方法報(bào)告檢測(cè)結(jié)果見表4。其中，文獻(xiàn)[18]將MobileNet 作為模型特征提取網(wǎng)絡(luò)，F(xiàn)PN作為特征融合網(wǎng)絡(luò)，以無錨式CenterNet 為檢測(cè)層，在模型大小方面與TA-Net 相當(dāng)，但其平均精度低于TA-Net模型2.2%。TA-Net與文獻(xiàn)[18]方法具有相似模型大小，但TA-Net 使用較大的數(shù)據(jù)集訓(xùn)練模型，因此檢測(cè)精度較高。文獻(xiàn)[19]將原始YOLOv3 算法應(yīng)用到生豬圖像目標(biāo)檢測(cè)方面，在平均精度和模型大小方面TA-Net 明顯優(yōu)于該方法。文獻(xiàn)[25]將一種改進(jìn)的輕量化YOLOv4 算法用于生豬目標(biāo)檢測(cè)，在不損失精度情況下壓縮模型，在平均精度方面均優(yōu)于文獻(xiàn)[18]、[19]的算法。TA-Net模型相比于其他方法在檢測(cè)平均精度上達(dá)到最高且模型占用內(nèi)存量較低，說明利用較少模型參數(shù)可實(shí)現(xiàn)較高檢測(cè)精度。

表4 TA-Net與現(xiàn)有檢測(cè)方法結(jié)果對(duì)比Tabel 4 Comparison between TA-Net and existing detection methods

4.5 本文算法的檢測(cè)結(jié)果分析

利用Eigen-CAM對(duì)模型內(nèi)部可視化分析，熱力圖中顏色越偏向紅色，說明模型注意力越集中在該區(qū)域；原圖中藍(lán)色虛線框是遮擋區(qū)域，黃色虛線框是粘連區(qū)域。如圖7所示，從熱力圖中可看出TANet重點(diǎn)提取豬只頭部和背部區(qū)域特征。在遮擋和粘連區(qū)域中，豬只腿部和尾部均無法作為主要識(shí)別標(biāo)準(zhǔn)，網(wǎng)絡(luò)自動(dòng)將注意力更多集中到豬只背部和頭部。試驗(yàn)表明，TA-Net在豬只遮擋和粘連時(shí)準(zhǔn)確識(shí)別其位置并得到較精確預(yù)測(cè)框。

圖7 熱力圖和TA-Net檢測(cè)結(jié)果Fig.7 Heat map and output results of TA-Net

5 結(jié) 論

以育肥期長(zhǎng)白豬作為研究對(duì)象，采用單階段目標(biāo)檢測(cè)架構(gòu)，以Swin Transformer 為主干網(wǎng)絡(luò)，在FPN 后引入ASFF 作為特征融合網(wǎng)絡(luò)，構(gòu)建群豬圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)。TA-Net 在模型大小和檢測(cè)速度上占優(yōu)勢(shì)，關(guān)鍵在于主干網(wǎng)絡(luò)輸出三層特征圖通道數(shù)與YOLOv4相比減少75%。提出一種改進(jìn)交并比計(jì)算方法RIoU作為預(yù)測(cè)框回歸損失值，在CIoU基礎(chǔ)上增加回歸方向成本，使預(yù)測(cè)框先移動(dòng)到最近坐標(biāo)軸，隨后延該軸方向靠近真實(shí)框。與CIoU 和SIoU 相比，RIoU 更適用于預(yù)測(cè)框回歸損失值計(jì)算。在群豬數(shù)據(jù)集上測(cè)試TA-Net 的各項(xiàng)指標(biāo)優(yōu)于SSD、Faster RCNN-resnet50、RetinaNet-resnet101、EfficientDet-D7 和YOLOv4。在檢測(cè)精度和模型內(nèi)存占用量方面，TA-Net 優(yōu)于現(xiàn)有文獻(xiàn)方法。說明本文算法利用較少模型參數(shù)可實(shí)現(xiàn)較高檢測(cè)精度。TA-Net 提高檢測(cè)精度和檢測(cè)速度，大幅度減少模型占用空間，可應(yīng)用于群豬目標(biāo)檢測(cè)。