基于E-DCN-Cascade RCNN的牛群目標(biāo)檢測算法

李 琦，沈 雷，徐文貴，王智霖

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

0 引 言

近年來，畜牧養(yǎng)殖業(yè)向規(guī)?；?、信息化、精細(xì)化方向發(fā)展，集約化養(yǎng)殖逐漸取代散戶養(yǎng)殖等小規(guī)模養(yǎng)殖。大規(guī)模牛場管理中，需對牛進(jìn)行精細(xì)化管理，牛群的目標(biāo)檢測至關(guān)重要。目前，目標(biāo)檢測主要分為傳統(tǒng)目標(biāo)檢測和深度學(xué)習(xí)目標(biāo)檢測。傳統(tǒng)目標(biāo)檢測主要采用方向梯度直方圖(Histogram of Oriented Gradient, HOG)加支持向量機(jī)(Support Vector Machines, SVM)[1]，描述子生成過程時(shí)間長，速度慢，實(shí)時(shí)性差。采用深度學(xué)習(xí)方法使得檢測性能不斷提升。文獻(xiàn)[2]使用區(qū)域神經(jīng)卷積網(wǎng)絡(luò)(Region Convolutional Neural Network，RCNN)進(jìn)行物體目標(biāo)檢測，取得了較好的結(jié)果，但由于使用選擇搜索算法生成的每個(gè)候選區(qū)域都要執(zhí)行卷積網(wǎng)絡(luò)前向傳播，檢測速度很慢。文獻(xiàn)[3]使用Fast RCNN主干網(wǎng)絡(luò)對圖片進(jìn)行特征提取，再進(jìn)行候選區(qū)域的選擇，避免了多次卷積，提高了檢測速度。文獻(xiàn)[4]采用Faster RCNN進(jìn)行目標(biāo)檢測，使用區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network，RPN)代替選擇搜索算法，綜合性能得到一定提升，檢測速度提升明顯。為了進(jìn)一步提高檢測效果，在特征提取階段，文獻(xiàn)[5]使用特征金字塔進(jìn)行特征融合處理，提高了網(wǎng)絡(luò)的特征提取能力；文獻(xiàn)[6]使用膨脹卷積增強(qiáng)了特征的感受野，但可能會(huì)丟失特征之間的連續(xù)信息；文獻(xiàn)[7]運(yùn)用可變形卷積將卷積區(qū)域覆蓋在檢測物體周圍，降低了背景噪聲的干擾。目標(biāo)檢測在行人檢測上取得了非常不錯(cuò)的效果，但較少用于畜牧養(yǎng)殖業(yè)。大規(guī)模牛場的牛舍情況復(fù)雜，牛身與牛舍背景非常相似，牛群相對密集，遮擋情況嚴(yán)重，區(qū)分度不高。本文采用可變形-膨脹卷積(Expand-Deformable Convolutional Networks, E-DCN)網(wǎng)絡(luò)將每一級的特征進(jìn)行融合，再使用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)對特征進(jìn)行多級融合，最后使用級聯(lián)檢測器[8]逐層提高候選框的閾值，提出一種基于可變形-膨脹卷積級聯(lián)網(wǎng)絡(luò)(Expand-Deformable Convolutional Networks Cascade Region Convolutional Neural Network，E-DCN-Cascade RCNN)的牛群目標(biāo)檢測算法。

1 E-DCN-Cascade RCNN

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的E-DCN-Cascade RCNN牛群目標(biāo)檢測算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由特征提取網(wǎng)絡(luò)E-DCN-Resnet101、特征金字塔和級聯(lián)檢測器組成。

圖1 E-DCN-Cascade RCNN網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 E-DCN-Resnet101

特征提取網(wǎng)絡(luò)E-DCN-Resnet101主要由5個(gè)部分組成，包括1個(gè)卷積塊conv1和4個(gè)殘差塊。其中conv1包含1個(gè)7×7卷積層、1個(gè)最大池化層、1個(gè)ReLU激活函數(shù)層、1個(gè)BN層(批量歸一化層)。4個(gè)殘差塊包含conv2_x，conv3_x，conv4_x，conv5_x，殘差塊的數(shù)量分別為3，4，23，3。conv2_x中包含2個(gè)1×1卷積層、1個(gè)3×3的卷積層、3個(gè)ReLU激活函數(shù)層和BN層。conv3_x，conv4_x，conv5_x分別包含2個(gè)1×1卷積層、2個(gè)3×3的E-DCN層、3個(gè)ReLU激活函數(shù)層和BN層。使用E-DCN進(jìn)行conv3_x，conv4_x，conv5_x的特征提取，保證對應(yīng)特征圖大小(通道數(shù)C×寬W×高H)不變，分別為128×28×28，256×14×14，512×7×7?？勺冃尉矸e將卷積區(qū)域貼合于牛身周圍，降低遮擋對牛身特征的干擾，并將更多的權(quán)重放在牛身特征上，增大與牛舍背景信息的對比度。膨脹卷積能夠增加感受野，但會(huì)降低空間分辨力。本文選取不同的膨脹率，分別為r1=1，r2=2和r1=1，r2=3，得到融合后的E-DCN在第5特征層的特征，并轉(zhuǎn)化為熱力圖，特征對比圖如圖2所示。

圖2 不同膨脹率的DCN的特征對比圖

用顏色深淺來區(qū)分不同區(qū)域的作用權(quán)重，顏色越深，權(quán)重越大。膨脹率設(shè)置過大，雖然能增強(qiáng)特征的感受野，但也會(huì)造成更大的特征損失。從圖2可以看出，圖2(b)中圓圈標(biāo)記的位置比圖2(c)的顏色更深，說明其作用權(quán)重更大，更能表現(xiàn)牛身的特征，故本文選取的膨脹率為r1=1和r2=2。

標(biāo)準(zhǔn)卷積原理中，對于3×3的標(biāo)準(zhǔn)卷積核，用一個(gè)規(guī)矩的網(wǎng)格R對輸入特征圖進(jìn)行采樣，R={(-1,-1),(-1,0),…,(0,1),(0,1),(1,1)}代表卷積核的9個(gè)位置。對輸入特征圖的每一個(gè)位置P0進(jìn)行卷積操作后，求得的加權(quán)和為：

y(P0)=∑Pn∈Rw(Pn)x(P0+Pn)

(1)

式中，Pn為卷積核的每一個(gè)位置，w為卷積核，x為特征圖。

膨脹率r1=1和r2=2的可變形-膨脹卷積融合結(jié)構(gòu)的具體實(shí)現(xiàn)如圖3所示。

圖3 膨脹率r1=1和r2=2的可變形-膨脹卷積融合結(jié)構(gòu)

圖3中，大小為3×3、膨脹率分別為r1=1和r2=2的標(biāo)準(zhǔn)卷積核為K1，K2。為了讓卷積區(qū)域貼合牛身，使得牛身和牛舍背景具有更好的區(qū)分度，在標(biāo)準(zhǔn)卷積基礎(chǔ)上引入可變形卷積，可變形卷積核為C1，C2，在標(biāo)準(zhǔn)卷積采樣中通過增加偏移量來實(shí)現(xiàn)卷積核變形，加權(quán)求和后得到：

y′(P0)=∑Pn∈Rw(Pn)x(P0+Pn+ΔPn)

(2)

式中，ΔPn為偏移量，{ΔPn|n=1,2,…,9}對應(yīng)圖3中的偏移。ΔPn不一定為整數(shù)像素，很有可能為小數(shù)，所以使用雙線性插值方法進(jìn)行取整，可得：

x(p)=∑qmax(0,1-|qx-px|)max(0,1-|qy-py|)x(q)

(3)

式中，p=P0+Pn+ΔPn，p表示任意一個(gè)位置，q表示特征圖x上所有整數(shù)的空間位置。

通過式(3)得到的x(p)即為通過可變形卷積核K1，K2后的特征圖F1和F2，采用concat方法對F1和F2進(jìn)行通道拼接，得到大小為4C×W×H的特征圖，再使用1×1的卷積核進(jìn)行降維操作，得到大小為C×W×H的特征圖Q，確保融合后的特征圖與后續(xù)卷積操作得到的特征圖相匹配。得到的最終融合特征圖Q為：

(4)

式中，x1(p)和x2(p)分別為經(jīng)過膨脹率r1=1和r2=2的可變形卷積核得到的特征，Gdcn(·)表示可變形卷積操作，“*”表示conv卷積操作，Cconcat(·)表示concat拼接操作，f1×1(·)表示使用1×1卷積核卷積操作，用于改變特征通道數(shù)。

1.1.2 特征金字塔

為了增強(qiáng)提取的牛身特征的多層感知力，經(jīng)過E-DCN-Resnet101提取特征后，將conv2_x，conv3_x，conv4_x，conv5_x的最后一層輸出作為特征金字塔的初始特征集{F2,F3,F4,F5}，每一層的最深層均具有最顯著的牛身特征。首先，按照從高層到淺層的方向，運(yùn)用上采樣方法使得牛身特征相互匹配；然后，對特征圖進(jìn)行融合，得到具有多層感知力的牛身特征圖集{P2,P3,P4,P5}，并將其輸入到RPN中進(jìn)行分類和邊框回歸。

1.1.3 級聯(lián)檢測器

檢測階段，用級聯(lián)檢測器進(jìn)行檢驗(yàn)，共使用3個(gè)檢測器，每個(gè)檢測器包含感興趣區(qū)域匹配(Region of Interest_Align，ROI_Align)、全連接層FC、分類得分 C 和邊框回歸B。檢測時(shí)，通過前一個(gè)檢測器輸出的邊框回歸B對候選目標(biāo)區(qū)域進(jìn)行重采樣，即用前一個(gè)回歸網(wǎng)絡(luò)輸出的候選邊框作為下一個(gè)檢測器的輸入，為了提高識別精度，根據(jù)牛身特征，從大量實(shí)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)，交并比(Intersection Over Union，IOU)閾值從0.50到0.60再到0.70逐步提升，可以獲得較好的精確度。先將IOU閾值設(shè)置為0.50，在ROI_Align1中，通過回歸得到候選框B1和分類得分C1，再將IOU閾值提高到0.60，將B1輸入到ROI_Align2中，回歸得到更新后的候選框B2和分類得分C2，最后將IOU提高到0.70，將B2輸入到ROI_Align3中，回歸得到最終候選框B3和分類得分C3，提升了牛群檢測的效果。

1.2 損失函數(shù)

本文提出的E-DCN-Cascade RCNN牛群目標(biāo)檢測算法中，網(wǎng)絡(luò)的損失函數(shù)為分類損失與回歸損失的總和，其表達(dá)式如下：

(5)

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)服務(wù)器GPU為NVIDIA GeForce RTX 3090，深度學(xué)習(xí)框架為PyTorch，訓(xùn)練集圖片大小為1 280×720，模型訓(xùn)練使用批處理大小(batch_size)為64，學(xué)習(xí)率為0.02，epoch設(shè)置為15，在訓(xùn)練到第8和第11批次時(shí)進(jìn)行衰減。優(yōu)化器使用隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)，動(dòng)量設(shè)置為0.9，權(quán)重衰減因子設(shè)置為0.000 1。

在牛場頂端部署攝像頭，拍攝獲得的圖片尺寸為1 280×720，將圖片進(jìn)行標(biāo)注，每張圖片標(biāo)注4～5頭牛，共標(biāo)注700張圖片，其中500張作為訓(xùn)練集，200張作為驗(yàn)證集，并將圖片做成coco數(shù)據(jù)集格式。

置信度設(shè)置為0.70，分別采用Cascade RCNN算法和E-DCN-Cascade RCNN算法對臥姿、站姿、其他姿態(tài)的牛群進(jìn)行檢測，效果如圖4—圖6所示。

圖4 臥姿遮擋牛群檢測效果圖

圖5 站姿遮擋牛群檢測效果圖

圖6 其他姿態(tài)遮擋情況牛群檢測效果圖

從圖4—圖6可以看出，采用Cascade RCNN檢測時(shí)，均出現(xiàn)漏檢現(xiàn)象。圖6中，2種算法都檢測到鏡頭邊緣只露出小半身的牛，但本文算法的置信度為0.98，Cascade RCNN的置信度為0.90，說明本文算法具有更強(qiáng)的特征提取能力。

本文采用單體平均精確度(Average Precision，AP)作為衡量檢測性能的指標(biāo)。精確率P表示預(yù)測樣本中真正樣本數(shù)占所有正樣本數(shù)的比例，P=TP/(TP+FP)，其中，真正例(True Positives，TP)指被正確劃分為正例的個(gè)數(shù)，假正例(False Positives，F(xiàn)P)指被錯(cuò)誤劃分為正例的個(gè)數(shù)。召回率R表示預(yù)測樣本中實(shí)際正樣本數(shù)占所有預(yù)測的樣本的比例，計(jì)算公式為R= TP/(TP+FN)，其中，假反例(False Negatives，F(xiàn)N)指被錯(cuò)誤劃分為負(fù)例的個(gè)數(shù)。通過計(jì)算P和R得到P-R曲線圖，其包圍的面積就是AP值。

在Linux環(huán)境下，IOU閾值設(shè)置為0.75，置信度閾值設(shè)置為0.50，分別采用Cascade RCNN，Cascade RCNN + DCN，E-DCN-Cascade RCNN進(jìn)行消融實(shí)驗(yàn)，得到的AP如表1所示。

表1 牛群測試數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果 單位：%

從表1可以看出，和Cascade RCNN + DCN和Cascade RCNN相比，E-DCN-Cascade RCNN的AP值分別提高了1.9%和4.2%。

在Linux環(huán)境下，設(shè)置IOU閾值為0.75，置信度閾值為0.50，分別采用Faster RCNN，Retina Net，Cascade RCNN以及本文提出的E-DCN-Cascade RCNN算法對牛群進(jìn)行檢測實(shí)驗(yàn)，得到各算法的AP如表2所示。

表2 不同算法的檢測結(jié)果 單位：%

從表2可以看出，和Cascade RCNN，Retina Net，F(xiàn)aster RCNN算法相比，E-DCN-Cascade RCNN算法的AP值分別提高了4.2%，6.4%，10.3%。

3 結(jié)束語

為了解決牛場復(fù)雜環(huán)境下牛群檢測精度過低的問題，本文提出一種E-DCN-Cascade RCNN牛群目標(biāo)檢測算法。在主干網(wǎng)絡(luò)Resnet101融合可變形-膨脹卷積進(jìn)行特征提取，并使用FPN對各層特征融合，最后在RPN中級聯(lián)3個(gè)檢測器，提高了檢測精度。雖然，本文算法的網(wǎng)絡(luò)模型的檢測精度AP有較大提升，但是網(wǎng)絡(luò)模型占用的內(nèi)存依然不小。下一步計(jì)劃在不降低網(wǎng)絡(luò)模型精度的前提下，輕量化網(wǎng)絡(luò)模型，以方便移植到多路攝像頭終端，降低實(shí)際場景的應(yīng)用成本。