基于MSRCP與改進(jìn)YOLO v4的躺臥奶牛個體識別方法

司永勝 肖堅(jiān)星 劉 剛 王克儉

(1.河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院， 保定 071001； 2.河北省農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室， 保定 071001；3.中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

奶牛的躺臥率能反映出奶牛的舒適度和健康情況[1]。躺臥奶牛的個體識別是自動監(jiān)測奶牛躺臥率的基礎(chǔ)。有學(xué)者利用機(jī)器視覺技術(shù)識別奶牛的躺臥行為[2-3]。但對躺臥狀態(tài)下的奶牛個體識別未見報道。躺臥奶牛的個體識別研究對于提高奶牛福利與養(yǎng)殖效率具有重要意義[4-5]。

傳統(tǒng)的奶牛個體識別靠人工識別安裝在牛耳部的耳標(biāo)，人工成本較高，效率較低[6]。基于RFID(Radio frequency identification)技術(shù)識別奶牛個體得到了廣泛的應(yīng)用，但是該方式需佩戴電子識別裝置，易丟失，且易引起奶牛的應(yīng)激反應(yīng)[7]?；跈C(jī)器視覺的個體識別具有無應(yīng)激、無接觸、成本低、效率高等優(yōu)點(diǎn)[4-5]。KUSAKUNNIRAN等[8]基于奶牛的鼻部圖像提取特征識別奶牛個體，識別準(zhǔn)確率為100%。CAI等[9]基于奶牛的面部圖像識別奶牛個體，識別準(zhǔn)確率為95.3%?；谂Ｄ槨⑴１菆D像的個體識別具有較高的準(zhǔn)確率，但奶牛頭部經(jīng)?；蝿?，圖像不易采集[10]。荷斯坦奶牛是國內(nèi)最常見的奶牛品種，其身體具有獨(dú)特的黑白花紋信息。國內(nèi)外學(xué)者利用荷斯坦奶牛的花紋信息，嘗試對奶牛進(jìn)行個體識別。ZHAO等[11]利用奶牛的側(cè)視圖，采用了4種特征提取算法(FAST、SIFT、SURT、ORB)，結(jié)合兩種特征匹配算法(BruteForce、FLANN)對奶牛進(jìn)行個體識別，識別精度為96.72%。此方法基于灰度特征，易受光照影響。

隨著深度學(xué)習(xí)的快速發(fā)展，YOLO[12-14]、SSD[15]、CenterNet[16-17]、Faster R-CNN[18]等算法在目標(biāo)檢測領(lǐng)域取得了良好的表現(xiàn)。HU等[10]采集奶牛的側(cè)視圖，使用YOLO算法檢測到奶牛的準(zhǔn)確位置，利用卷積深度網(wǎng)絡(luò)分別對奶牛的頭部、軀干、腿部提取深度特征，然后將3個部位提取的特征進(jìn)行融合，最后采用SVM算法識別奶牛個體，識別準(zhǔn)確率為98.36%。側(cè)視圖包含豐富的信息，但容易出現(xiàn)奶牛間的遮擋情況，難以采集到理想的側(cè)視圖像。何東健等[19]在擠奶間的通道采集奶牛的背部圖像，基于改進(jìn)YOLO v3模型識別奶牛個體，對89頭奶牛進(jìn)行了實(shí)驗(yàn)，識別準(zhǔn)確率為95.91%。上述研究都是奶牛處于擠奶廳等限制性場所進(jìn)行的，奶牛的花紋變化較小。當(dāng)奶牛處于牛舍等非限制性環(huán)境中時，攝像機(jī)與奶牛之間的拍攝距離和拍攝角度會發(fā)生變化，奶牛躺臥時頭部與腿部位置不固定，這些變化會導(dǎo)致花紋在圖像中出現(xiàn)變形，造成識別困難。XIAO等[20]利用Mask R-CNN模型分割出奶牛的背部圖像，然后基于支持向量機(jī)對背部圖像進(jìn)行分類，識別準(zhǔn)確率為98.67%。但此方法只對站立的奶牛進(jìn)行識別，沒有涉及躺臥姿態(tài)的奶牛。

躺臥奶牛個體識別存在以下困難：在牛舍內(nèi)的非限制環(huán)境中，奶牛身體花紋變化較大，奶牛躺臥率的計算，需要全天監(jiān)測奶牛的躺臥狀況，而牛舍夜間光照質(zhì)量較差，采集的圖像質(zhì)量低。

YOLO是性能優(yōu)異的深度學(xué)習(xí)識別算法，本文對YOLO v4模型[21]進(jìn)行改進(jìn)，并將改進(jìn)后的模型效果與YOLO v5進(jìn)行對比分析。首先采用帶有顏色保護(hù)的多尺度視網(wǎng)膜算法(Multi-scale retinex with chromaticity preservation， MSRCP)對低光照下的低質(zhì)量圖像進(jìn)行圖像增強(qiáng)，然后基于YOLO v4模型在主干特征提取網(wǎng)絡(luò)中融合RFB-s結(jié)構(gòu)，擴(kuò)大模型特征提取的感受野，增強(qiáng)對奶牛身體斑紋變化的魯棒性，此外，對模型的NMS算法進(jìn)行改進(jìn)，以提高躺臥奶牛個體識別準(zhǔn)確率。

1 圖像采集與預(yù)處理

1.1 圖像采集

于2021年11月2—30日在河北省保定市宏達(dá)牧場采集了奶牛躺臥區(qū)圖像數(shù)據(jù)，全天進(jìn)行視頻采集。牛舍白天光照充足，夜間有燈光照明，但光線較弱。實(shí)驗(yàn)牛舍長25 m，寬15 m，牛舍內(nèi)有24頭處于產(chǎn)奶期的荷斯坦奶牛，實(shí)驗(yàn)過程中通過交換3個不同牛舍中奶牛擴(kuò)充實(shí)驗(yàn)數(shù)據(jù)集，共采集了72頭奶牛數(shù)據(jù)。如圖1a所示，牛舍內(nèi)有兩個休息區(qū)，本文在第1個休息區(qū)共安裝了6個廣角攝像機(jī)(DH-IPC-HFW4838M-I2型,大華)，安裝高度為7.5 m，每組攝像機(jī)之間相距6.25 m，攝像機(jī)俯視角約為80°(水平向下傾斜角度)，每兩個攝像機(jī)為一組，每組攝像機(jī)分別采集休息區(qū)兩側(cè)奶牛的俯視圖，攝像機(jī)焦距3.6 mm，視頻幀率25 f/s，分辨率為2 560像素×1 440像素。圖像現(xiàn)場采集環(huán)境如圖1b所示。

圖1 實(shí)驗(yàn)設(shè)置Fig.1 Experimental setup

每個攝像機(jī)有一個獨(dú)立網(wǎng)際協(xié)議地址，通過網(wǎng)線將數(shù)據(jù)傳輸?shù)浇粨Q機(jī)中。交換機(jī)經(jīng)過網(wǎng)線將數(shù)據(jù)傳輸?shù)饺萘繛?0TB的網(wǎng)絡(luò)硬盤錄像機(jī)(DH-HCVR5104HS-V5型)中。最后將數(shù)據(jù)從錄像機(jī)中導(dǎo)入到計算機(jī)中進(jìn)行處理。隨機(jī)選取各個時間段每個攝像機(jī)采集的含有奶牛的視頻數(shù)據(jù)，每10 s取一幀，每個攝像機(jī)選取1 500幅含有奶牛的圖像，6個攝像機(jī)共選取9 000幅圖像作為YOLO v4模型的數(shù)據(jù)集，按照比例7∶2∶1劃分為訓(xùn)練集、驗(yàn)證集、測試集。本文使用LabelImg圖像標(biāo)注工具對數(shù)據(jù)集圖像進(jìn)行標(biāo)注，由于躺臥的奶牛通常有向左或向右躺臥兩種躺臥姿態(tài)，所以本文對每個躺臥奶牛個體標(biāo)記為兩種標(biāo)簽。

實(shí)驗(yàn)運(yùn)行平臺采用Intel(R) Core(TM) i5-9400F CPU,主頻為2.10 GHz,運(yùn)行內(nèi)存為64 GB(RAM)，顯卡為NVIDIA GeForce GTX1660，開發(fā)環(huán)境為Python 3，Windows 10系統(tǒng)。

1.2 圖像預(yù)處理

1.2.1圖像校正

由于本文采用的鏡頭為廣角鏡頭(焦距為3.6 mm)，所采集的圖像存在徑向畸變，如圖2a所示。為了消除畸變，采用張正友標(biāo)定法對畸變圖像進(jìn)行校正[22]，采用尺寸為120 cm×90 cm的標(biāo)定板，黑白格尺寸為10 cm×10 cm。將標(biāo)定板放在圖像視野中不同位置、不同角度下進(jìn)行圖像采集，根據(jù)檢測到標(biāo)定板中的特征點(diǎn)，求解無畸變情況下攝像機(jī)的內(nèi)參與外參，使用最大似然估計對參數(shù)進(jìn)行優(yōu)化，并采用最小二乘法求出實(shí)際的徑向畸變系數(shù)。最后根據(jù)得到的所有參數(shù)對畸變圖像進(jìn)行校正，并將有效區(qū)域進(jìn)行裁剪。校正結(jié)果如圖2b所示，由校正前后欄桿和路沿的形狀可見，圖像的畸變明顯消除。

圖2 畸變圖像校正結(jié)果 Fig.2 Result of distortion correction

1.2.2圖像增強(qiáng)

牛舍內(nèi)夜間光線較暗，圖像質(zhì)量較差，奶牛個體不易識別，如圖3a所示。本文對18:00— 07:00間光線較暗的圖像進(jìn)行圖像增強(qiáng)。為了提高低光照圖像的質(zhì)量，首先獲取圖像的亮度，亮度計算公式為

圖3 MSRCP圖像增強(qiáng)結(jié)果Fig.3 MSRCP image enhancement result

Y=0.299IR+0.587IG+0.114IB

(1)

式中IR、IG、IB——原始圖像的R、G、B通道分量

Y——亮度

當(dāng)圖像亮度均值小于80時，圖像亮度相對較暗，本文對亮度小于80的圖像進(jìn)行圖像增強(qiáng)。

本文采用MSRCP算法[23]提升低光照下的圖像質(zhì)量。MSRCP算法是帶有色彩保護(hù)的多尺度 Retinex 算法，可以更好地恢復(fù)場景的真實(shí)顏色。

MSRCP算法是將強(qiáng)度通道圖像作為原始圖像，利用強(qiáng)度圖像和原始RGB圖像的比例映射到每個通道，在增強(qiáng)圖像的同時保留原始圖像顏色分布。強(qiáng)度圖像的獲取公式為

Int=(IR+IG+IB)/3

(2)

式中Int——強(qiáng)度圖像

為了使增強(qiáng)后的圖像色彩與原始圖像保持一致，求得放大因子A，計算公式為

(3)

其中

B=max(IRi+IGi+IBi)

(4)

式中B——色度

i——像素索引

分別對R、G、B3個通道利用放大因子A進(jìn)行色彩調(diào)整，得到增強(qiáng)后的圖像。計算公式為

R(x,y)=AI(R,G,B)(x,y)

(5)

式中R(x,y)——增強(qiáng)后圖像

I(R,G,B)(x,y)——圖像在坐標(biāo)(x,y)處的RGB特征圖

經(jīng)過MSRCP算法對圖像增強(qiáng)后的效果如圖3b所示，可以看出不僅整個圖像的亮度與對比度得到了有效提高，色彩恢復(fù)效果也比較明顯。

2 躺臥奶牛個體識別

2.1 YOLO v4模型

相比于YOLO v3[24]，YOLO v4[21]引入了Mosaic數(shù)據(jù)增強(qiáng)，另外在主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)、損失函數(shù)等方面均進(jìn)行了優(yōu)化，進(jìn)一步提高該算法的圖像檢測速度與精度。

可以利用絕緣的電阻表對電纜的故障點(diǎn)進(jìn)行精準(zhǔn)定位。但是需要注意的是，在進(jìn)行測量故障點(diǎn)之前，一定要做好防護(hù)安全，在故障點(diǎn)發(fā)生地1m遠(yuǎn)的地方切斷發(fā)生故障的相電纜，通過絕緣電阻表來對電纜進(jìn)行電阻測量和終端檢測，最終得出精確的測量故障點(diǎn)。

2.2 改進(jìn)YOLO v4模型

2.2.1融合RFB-s結(jié)構(gòu)的YOLO v4模型

在牛舍內(nèi)的非限制環(huán)境中，采集奶牛俯視圖像。受圖像采集角度與距離的變化，以及奶牛躺臥時腿部以及頭部晃動的影響，奶牛身體上花紋在圖像中會出現(xiàn)一定程度的變形。另外奶牛在個別位置存在欄桿遮擋身體花紋的情況。以上問題對識別躺臥奶牛造成了一定的困難。為提高YOLO v4模型對奶牛身體花紋變化、物體遮擋識別的魯棒性，本文在YOLO v4模型的主干網(wǎng)絡(luò)中融合RFB-s[25]網(wǎng)絡(luò)結(jié)構(gòu)，增加多個尺度的特征信息，擴(kuò)大有效特征層的感受野，豐富特征信息，增強(qiáng)特征提取的魯棒性，提高奶牛個體識別的準(zhǔn)確率。

RFB網(wǎng)絡(luò)[25]通過模仿人類視覺感受野與偏心度加強(qiáng)網(wǎng)絡(luò)的特征提取能力，借鑒Inception網(wǎng)絡(luò)[26]的多分支結(jié)構(gòu)，加入了不同尺度的常規(guī)卷積與不同膨脹率的空洞卷積，在分支中卷積核越大其空洞卷積的膨脹率越大。RFB網(wǎng)絡(luò)結(jié)構(gòu)如圖4a所示，3個通道上的常規(guī)卷積核大小分別為1×1、3×3、5×5，對應(yīng)的膨脹率分別為1、3、5，然后將3個分支的不同尺度的有效特征層進(jìn)行拼接。最后采用1×1卷積層與輸入的有效特征層進(jìn)行殘差連接，達(dá)到了融合不同大小感受野特征的目的。如圖4b所示，RFB-s網(wǎng)絡(luò)結(jié)構(gòu)是RFB的改進(jìn)版，相比于RFB網(wǎng)絡(luò)主要有兩點(diǎn)改進(jìn)：用3×3卷積層代替5×5卷積層；用1×3卷積層和3×1卷積層代替3×3卷積層。RFB-s網(wǎng)絡(luò)結(jié)構(gòu)相對于RFB網(wǎng)絡(luò)有更多的分支以及更少的卷積核，為了增加YOLO v4模型的感受野，本文選用參數(shù)更少的RFB-s網(wǎng)絡(luò)結(jié)構(gòu)融合到Y(jié)OLO v4模型的主干網(wǎng)絡(luò)中。

圖4 RFB與RFB-s網(wǎng)絡(luò)結(jié)構(gòu) Fig.4 RFB and RFB-s network structure

YOLO v4模型在中下層、中間層、高層3個有效特征層(圖5中head1～head3)上分別進(jìn)行目標(biāo)預(yù)測。由于淺層網(wǎng)絡(luò)感受野較小，且在淺層有效特征層能夠有效地表征奶牛身體上花紋的細(xì)節(jié)信息，所以本文在8倍下采樣(中間層)與16倍下采樣(中下層)的輸出特征圖后增加RFB-s結(jié)構(gòu)，可以在增加少量參數(shù)的情況下增強(qiáng)淺層網(wǎng)絡(luò)的感受野，提高網(wǎng)絡(luò)的特征提取能力，改進(jìn)YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)YOLO v4網(wǎng)絡(luò)結(jié)構(gòu) Fig.5 Improved YOLO v4 network structure

如圖6所示，以8號奶牛為例，受圖像采集角度與距離的影響，8號奶牛在不同位置躺臥，奶牛身體上的花紋具有一定形變。當(dāng)8號奶牛在圖像中左側(cè)與中間位置躺臥時，YOLO v4模型能準(zhǔn)確識別。當(dāng)8號奶牛在最右側(cè)時，奶牛身體上的花紋形變較大，而且存在欄桿的遮擋，YOLO v4模型錯誤的將8號奶牛識別為5號奶牛。本文改進(jìn)YOLO v4模型能準(zhǔn)確識別8號奶牛在視野中的任何位置，且置信度高于YOLO v4模型。上述結(jié)果表明，融合RFB-s結(jié)構(gòu)的YOLO v4模型對奶牛身體花紋的形變具有較高的魯棒性。

圖6 YOLO v4模型改進(jìn)前后對8號奶牛不同位置的識別結(jié)果對比Fig.6 Comparison of identification performance of No.8 cow before and after improvement of YOLO v4

2.2.2NMS算法改進(jìn)

在目標(biāo)檢測過程中，在同一目標(biāo)的位置上會產(chǎn)生大量的候選框，存在重疊現(xiàn)象，非極大抑制 (Non-maximum suppression， NMS)[27]算法則會尋找出最佳的目標(biāo)邊界框，消除冗余的邊界框。NMS算法只能去除對每個奶牛個體預(yù)測的單一類別冗余的邊界框，當(dāng)個別奶牛外觀特征十分相似時，YOLO v4模型可能會將一個奶牛同時預(yù)測為多個不同的奶牛個體，依然存在重疊框的情況，降低識別準(zhǔn)確率。如圖7a所示，中間的奶牛被預(yù)測為兩個不同的奶牛個體。

圖7 NMS算法改進(jìn)前后識別結(jié)果對比Fig.7 Comparison of identification results of NMS and improved NMS

奶牛在牛舍內(nèi)是并列躺臥，每個固定的躺臥區(qū)域只存在一個奶牛。為去除多余的重疊框，本文對NMS算法進(jìn)行改進(jìn)，具體實(shí)現(xiàn)步驟如下：①采用NMS算法去除每個奶牛個體預(yù)測的冗余的邊界框。②根據(jù)置信度降序排列候選框列表。③選取置信度最高的邊界框A添加到輸出列表，并從其候選框列表中刪除。④計算邊界框A與候選框列表中所有框的IoU值，刪除大于設(shè)定邊界框閾值的候選框。⑤返回步驟②進(jìn)行迭代，直到候選框列表為空，迭代結(jié)束，輸出最終候選框列表。

如圖7b所示，經(jīng)過對NMS算法的改進(jìn)，可以解決原模型將一個奶牛預(yù)測為多個不同奶牛個體而產(chǎn)生的重疊框問題，提高奶牛個體識別的準(zhǔn)確率。

2.3 基于改進(jìn)YOLO v4模型訓(xùn)練參數(shù)設(shè)置

本文分別對YOLO v4模型與改進(jìn)YOLO v4模型進(jìn)行訓(xùn)練，圖像尺寸設(shè)置為416像素×416像素，迭代次數(shù)(Epoch)設(shè)置為200，訓(xùn)練批量大小(Batch_size)設(shè)置為4。COCO數(shù)據(jù)集中包括奶牛這一類別，為主干網(wǎng)絡(luò)添加COCO數(shù)據(jù)集的預(yù)訓(xùn)練權(quán)重提高訓(xùn)練速度，每次訓(xùn)練過程保存相應(yīng)的權(quán)重參數(shù)。訓(xùn)練過程中首先凍結(jié)主干網(wǎng)絡(luò)參數(shù)訓(xùn)練50次，學(xué)習(xí)率設(shè)置為0.001，加速網(wǎng)絡(luò)收斂，后150次訓(xùn)練過程中，解凍主干網(wǎng)絡(luò)，學(xué)習(xí)率設(shè)置為0.000 1，逐步優(yōu)化到最優(yōu)解，使網(wǎng)絡(luò)訓(xùn)練趨于穩(wěn)定，IoU設(shè)置為0.5。

2.4 躺臥奶牛個體識別評價指標(biāo)

本研究采用精確率(Precision)、召回率(Recall)、平均精度均值(mAP)、調(diào)和平均值(F1值)、平均檢測時間評估模型的性能。

每個奶牛個體都可以根據(jù)召回率和精確率繪制一條曲線，曲線下的面積為平均精度(AP)，平均精度均值(mAP)為所有奶牛個體的平均精度的均值。

3 結(jié)果與分析

3.1 低光照圖像增強(qiáng)結(jié)果

為了驗(yàn)證本文采用的MSRCP算法對低光照圖像增強(qiáng)效果的有效性，分別與多尺度Retinex(MSR)算法和帶有色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(MSRCR)進(jìn)行對比。從主觀視覺效果和客觀質(zhì)量評價兩方面進(jìn)行分析。

如圖8所示，MSR增強(qiáng)后的圖像整體亮度都會提高，圖像整體泛白。MSRCR增強(qiáng)后的圖像在暗區(qū)域的對比度過高，出現(xiàn)了顏色失真的現(xiàn)象，降低了視覺效果。MSRCP算法增強(qiáng)后的圖像不僅提高了亮度，而且保持了原圖色彩，避免了圖像失真，整體圖像效果最好。本文采用標(biāo)準(zhǔn)差、灰度熵、彩色熵、峰值信噪比4個指標(biāo)對不同的算法進(jìn)行客觀評價。如表1所示，MSRCR增強(qiáng)后的圖像標(biāo)準(zhǔn)差最高，但是圖像對比度過高導(dǎo)致圖像失真。MSRCP增強(qiáng)后圖像的標(biāo)準(zhǔn)差高于MSR算法增強(qiáng)后圖像但小于MSRCR算法增強(qiáng)后圖像，說明MSRCR算法為了保持原色彩，犧牲了對比度。MSRCP增強(qiáng)后的圖像灰度熵和彩色熵均高于其他圖像，說明了本文算法具有較好的細(xì)節(jié)表現(xiàn)能力，增強(qiáng)了圖像的清晰度，并且保持了原圖的色彩。MSRCP增強(qiáng)后的圖像峰值信噪比最高，具有較高的噪聲抑制能力。綜合上述主觀評價與客觀評價，MSRCP算法對低光照下的圖像增強(qiáng)效果最好。

圖8 不同算法的圖像增強(qiáng)結(jié)果Fig.8 Image enhancement results of different methods

表1 不同圖像增強(qiáng)算法的客觀評價結(jié)果Tab.1 Comparison of objective evalution

本文隨機(jī)選取500幅低光照圖像作為測試集。用本文改進(jìn)YOLO v4模型分別對采用不同算法增強(qiáng)后的圖像進(jìn)行實(shí)驗(yàn)測試，結(jié)果如表2所示。經(jīng)過MSRCP增強(qiáng)后的圖像精確率、召回率以及mAP都最高，其中mAP相對于原圖提高17.74個百分點(diǎn)。

表2 圖像增強(qiáng)前后識別結(jié)果對比Tab.2 Comparison of recognition results before and after image enhancement %

個別奶牛身體黑色花紋較多，在夜間很難識別。采用改進(jìn)YOLO v4模型識別低光照下的圖像結(jié)果如圖9a所示，最左邊的奶牛出現(xiàn)了漏檢，并且對其他奶牛識別的置信度較低。采用MSRCP算法對圖像進(jìn)行增強(qiáng)后，檢測結(jié)果如圖9b所示，圖中所有奶牛都得到準(zhǔn)確識別，并且置信度普遍高于圖像增強(qiáng)前的識別結(jié)果。MSRCP圖像增強(qiáng)算法不僅有效地改善了低光照圖像的質(zhì)量，而且奶牛個體識別準(zhǔn)確率得到了明顯提高。

圖9 改進(jìn)YOLO v4模型檢測低光照圖像的結(jié)果對比Fig.9 Comparison of results of improved YOLO v4 model for detecting low-light images

3.2 不同模型檢測結(jié)果

為了驗(yàn)證本文改進(jìn)YOLO v4模型的檢測性能，采用本文的數(shù)據(jù)集分別對YOLO v4模型、YOLO v5模型、SSD模型、CenterNet模型、Faster R-CNN模型進(jìn)行訓(xùn)練。并利用測試集數(shù)據(jù)對這5個模型進(jìn)行性能評估，實(shí)驗(yàn)結(jié)果如表3所示。YOLO v4的精確率、召回率、mAP、F1值明顯高于YOLO v5、SSD與CenterNet模型，但是略低于Faster R-CNN模型，表明改進(jìn)YOLO v4模型在識別奶牛個體方面有明顯優(yōu)勢。YOLO v5主干特征提取網(wǎng)絡(luò)中的感受野較小，對奶?；y的特征提取能力較弱，識別準(zhǔn)確率較低。改進(jìn)YOLO v4模型的精確率為97.84%，召回率為93.68%，mAP為96.87%，F(xiàn)1值為95.71%，單幀圖像處理時間為135.23 ms，其中mAP與F1值略高于Faster R-CNN模型。從圖像的處理時間來看，CenterNet模型檢測最快，單幀圖像處理時間僅為57.85 ms。因?yàn)镃enterNet屬于無錨框目標(biāo)檢測算法，運(yùn)行速度較快，但是識別準(zhǔn)確率較低。Faster R-CNN模型的mAP與本文改進(jìn)YOLO v4模型較為相近，但是Faster R-CNN的單幀圖像處理時間為352.35 ms，遠(yuǎn)大于改進(jìn)YOLO v4模型。改進(jìn)YOLO v4模型與原模型相比mAP增加4.2個百分點(diǎn)，且單幀圖像處理時間與原模型近似，從檢測準(zhǔn)確率與圖像處理時間兩方面綜合分析，改進(jìn)YOLO v4模型性能表現(xiàn)最佳。

表3 不同模型識別奶牛的結(jié)果Tab.3 Results of different models for detecting cows

基于不同模型的奶牛個體識別結(jié)果如圖10所示。由于個別奶牛身體花紋相似，YOLO v4模型將最左側(cè)奶牛同時識別為4號與6號奶牛，而且識別的置信度較低(圖10a)。YOLO v5模型對奶牛個體識別的置信度較低，其中對于最右側(cè)有遮擋的奶牛識別置信度僅為75%(圖10b)。 SSD對個別奶牛的識別有漏檢的情況，并且奶牛識別的置信度較低(圖10c)。CenterNet將4號奶牛錯誤識別為6號奶牛(圖10d)。Faster R-CNN與本文改進(jìn)YOLO v4 兩個模型都能夠準(zhǔn)確識別奶牛個體，且識別置信度較高，存在遮擋的奶牛也能準(zhǔn)確識別(圖10e、10f)。改進(jìn)YOLO v4模型識別速度明顯優(yōu)于Faster R-CNN模型。

圖10 不同模型對奶牛識別結(jié)果對比Fig.10 Comparisons of cow recognition results by different models

上述結(jié)果表明，本文在YOLO v4的主干網(wǎng)絡(luò)中融入RFB-s網(wǎng)絡(luò)，在僅增加少量參數(shù)的情況下，有效增強(qiáng)了模型的特征提取能力，對花紋的形變以及物體遮擋具有較高的魯棒性。

3.3 身體花紋相似奶牛識別

部分奶牛身體花紋相似，識別難度較大。4號奶牛與6號奶?；y相似，在未進(jìn)行NMS算法改進(jìn)前，YOLO v4模型將4號奶牛同時識別為4號與6號奶牛(圖11a)，將6號奶牛錯誤識別為4號奶牛(圖11a)，且識別置信度較低。奶牛身體上花紋的形狀、大小各異，由于在模型的主干特征提取網(wǎng)絡(luò)中融入了RFB-s網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)大了主干網(wǎng)絡(luò)特征提取的感受野，不同大小感受野的卷積可以對奶牛身體不同大小的花紋提取相應(yīng)特征，增強(qiáng)了模型對奶牛特征提取的能力，所以本文改進(jìn)后的YOLO v4模型對4號奶牛與6號奶牛識別的置信度較高(圖11b)。本文對NMS算法的改進(jìn)，有效地解決了將一個奶牛同時識別為多個奶牛的問題，進(jìn)一步提高了模型對花紋相似奶牛個體識別的準(zhǔn)確率。

圖11 不同模型對外觀特征相似奶牛識別結(jié)果Fig.11 Recognition results of cows with similar appearance features by different model

4 結(jié)論

(1)采用MSRCP算法對低光照圖像進(jìn)行增強(qiáng)，解決了由于圖像較暗導(dǎo)致識別準(zhǔn)確率較低的問題，經(jīng)過MSRCP圖像增強(qiáng)后，低光照條件下奶牛個體識別的mAP提高17.74個百分點(diǎn)。

(2)將RFB-s網(wǎng)絡(luò)結(jié)構(gòu)融合到Y(jié)OLO v4模型中，增強(qiáng)了YOLO v4模型主干網(wǎng)絡(luò)特征提取的感受野，提高了模型的特征提取能力，對奶牛身體花紋的形變以及遮擋情況具有較高的魯棒性。對NMS算法的改進(jìn)，提高了外形相似奶牛個體識別的準(zhǔn)確率。改進(jìn)YOLO v4模型對躺臥奶牛個體識別的mAP為96.87%，模型識別性能得到了很大提升。

(3)提出的躺臥奶牛個體識別方法，為實(shí)現(xiàn)自動計算奶牛個體躺臥時間提供了有效的技術(shù)支持。該方法為監(jiān)測奶牛個體健康情況、評估牛舍環(huán)境舒適度等現(xiàn)代化養(yǎng)殖技術(shù)奠定了基礎(chǔ)。