張宏鳴 汪 潤 董佩杰 孫紅光 李書琴 王紅艷
(1.西北農(nóng)林科技大學(xué)信息工程學(xué)院, 陜西楊凌 712100; 2.寧夏智慧農(nóng)業(yè)產(chǎn)業(yè)技術(shù)協(xié)同創(chuàng)新中心, 銀川 750004;3.西部電子商務(wù)股份有限公司, 銀川 750004)
牛肉是人類主要肉食之一[1]。肉牛的行為可以反映其健康狀況[2-3],進(jìn)而反映牛肉的品質(zhì)。近年來,隨著人們對牛肉需求的不斷增加,肉牛的養(yǎng)殖規(guī)模不斷擴(kuò)大,精細(xì)化管理難度增加。實(shí)時(shí)感知肉牛的運(yùn)動行為、掌握其運(yùn)動狀態(tài)有助于及時(shí)發(fā)現(xiàn)肉牛異常,從而保證牛肉質(zhì)量和產(chǎn)量。多目標(biāo)實(shí)時(shí)跟蹤是肉牛行為實(shí)時(shí)感知的基礎(chǔ),對于肉牛養(yǎng)殖具有重要意義。
目前,眾多學(xué)者在動物行為的實(shí)時(shí)感知方面進(jìn)行了諸多研究。部分學(xué)者研制了可穿戴設(shè)備,利用安裝在動物身上的追蹤設(shè)備收集動物的運(yùn)動信息,獲取其行為數(shù)據(jù)[4-6],再借助機(jī)器學(xué)習(xí)[7-8]、深度學(xué)習(xí)[9-10]方法分析數(shù)據(jù),從而實(shí)現(xiàn)對動物行為的監(jiān)測。由于動物行為的不確定性,可穿戴設(shè)備的損壞率較高[11],導(dǎo)致制作、維護(hù)成本增加,不能滿足大型養(yǎng)殖場的使用需求。相比之下,利用養(yǎng)殖場已有的監(jiān)控視頻對牲畜進(jìn)行管理具有使用便利、普及度高、成本低的優(yōu)點(diǎn),非常適合大型養(yǎng)殖場對牲畜的精細(xì)化管理。
利用監(jiān)控視頻對牲畜進(jìn)行跟蹤需滿足實(shí)時(shí)性要求,而多目標(biāo)跟蹤的速度在很大程度上取決于其檢測到目標(biāo)的速度。傳統(tǒng)的目標(biāo)檢測算法如背景減法[12]、幀間差分法[13]和光流法[14-15]無法滿足實(shí)時(shí)性的要求。目前,基于深度學(xué)習(xí)的目標(biāo)檢測算法不斷成熟,該算法可劃分為One-stage和Two-stage檢測算法兩類。One-stage算法主要有YOLO系列算法[16-18]、SSD[19-21]、RetinaNet[22]等。何東健等[23]采用YOLO v3算法,通過優(yōu)化錨點(diǎn)框和改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了對擠奶奶牛的個體識別,識別準(zhǔn)確率達(dá)95.91%,mAP為95.16%。Two-stage算法主要有R-CNN[24]、Fast R-CNN[25]、Faster R-CNN[26]等。SUN等[27]利用Faster R-CNN算法對豬進(jìn)行多目標(biāo)跟蹤,該算法具有良好的抗遮擋能力,能較為精準(zhǔn)地跟蹤多個目標(biāo)。相對于Two-stage算法,One-stage算法速度更快、實(shí)時(shí)性更高,而YOLO v3算法精度高于大部分One-stage算法中的其他檢測算法。
在多目標(biāo)跟蹤算法方面,基于匈牙利算法(KM匹配)的后端追蹤優(yōu)化算法,如SORT[28]、DeepSORT[29]算法,能夠滿足實(shí)時(shí)跟蹤的要求,其中DeepSORT算法在SORT算法的基礎(chǔ)上,通過提取深度表觀特征明顯提高了多目標(biāo)的跟蹤效果。然而其跟蹤效果依賴目標(biāo)檢測器的精確度和特征區(qū)分程度,其跟蹤速度與目標(biāo)檢測速度密切相關(guān)。
基于此,本文提出一種改進(jìn)YOLO v3算法和Mudeep目標(biāo)重識別算法相結(jié)合的DeepSORT肉牛多目標(biāo)跟蹤方法,針對YOLO v3算法在多尺度環(huán)境下識別效果較差的問題,通過添加長短距離語義增強(qiáng)模塊(Long-short range context enhancement module,LSRCEM)進(jìn)行多尺度融合,建立LSRCEM-YOLO模型,提高YOLO v3算法的檢測精度,通過修改YOLO v3模型的網(wǎng)絡(luò)結(jié)構(gòu),簡化模型復(fù)雜度,增強(qiáng)實(shí)時(shí)性,通過Mudeep目標(biāo)重識別算法提取肉牛具有鑒別性的特征,減少標(biāo)號變化現(xiàn)象,以期實(shí)現(xiàn)肉牛多目標(biāo)實(shí)時(shí)跟蹤。
實(shí)驗(yàn)視頻采集于某肉牛養(yǎng)殖場,為其養(yǎng)殖場內(nèi)部監(jiān)控設(shè)備所拍攝視頻,拍攝對象為成年安格斯牛與西門塔爾牛,攝像機(jī)位于矩形肉牛養(yǎng)殖棚短邊的天棚上,斜向下俯視拍攝,能夠拍攝到牛棚內(nèi)的大部分肉牛活動區(qū)域。
供試視頻拍攝時(shí)間為2019年7月21—29日,共1 328段視頻,平均時(shí)長為35 min,經(jīng)篩選,剔除夜間、無目標(biāo)、鏡頭污染等無效片段,保留有效視頻66段,MP4格式,分辨率為1 920像素(水平)×1 080像素(垂直),視頻幀率為24 f/s,視頻場景如圖1所示。
本研究旨在利用深度學(xué)習(xí)方法通過視頻監(jiān)控對肉牛進(jìn)行實(shí)時(shí)跟蹤,本文方法技術(shù)路線如圖2所示,包括5部分:
(1)數(shù)據(jù)集構(gòu)建:篩選可用視頻,對視頻進(jìn)行剪切,提取視頻關(guān)鍵幀,通過對關(guān)鍵幀進(jìn)行標(biāo)注、裁剪,分別構(gòu)建肉牛目標(biāo)檢測、目標(biāo)重識別、目標(biāo)跟蹤數(shù)據(jù)集。
(2)肉牛目標(biāo)檢測模塊訓(xùn)練:利用肉牛目標(biāo)檢測數(shù)據(jù)集訓(xùn)練LSRCEM-YOLO模型用于肉牛目標(biāo)檢測,作為多目標(biāo)跟蹤的檢測器。
(3)肉牛重識別網(wǎng)絡(luò)構(gòu)建:利用肉牛重識別數(shù)據(jù)集訓(xùn)練Mudeep[30]用于肉牛目標(biāo)重識別。
(4)肉牛多目標(biāo)實(shí)時(shí)跟蹤的實(shí)現(xiàn):結(jié)合LSRCEM-YOLO模型、Mudeep模型與DeepSORT模型,實(shí)現(xiàn)肉牛的多目標(biāo)實(shí)時(shí)跟蹤。
(5)結(jié)果分析:通過對目標(biāo)檢測效果、重識別效果、多目標(biāo)跟蹤效果進(jìn)行評價(jià),全面評估肉牛多目標(biāo)跟蹤模型的效果。
構(gòu)建3個數(shù)據(jù)集分別用于訓(xùn)練目標(biāo)檢測模型、重識別模型和驗(yàn)證多目標(biāo)跟蹤效果。視頻中的肉牛個體之間花色差別較大、姿態(tài)復(fù)雜,為了增強(qiáng)數(shù)據(jù)集的多樣性,將有效視頻分為兩部分處理,第1部分使用DarkLabel進(jìn)行視頻標(biāo)注,每10幀提取1幀加入數(shù)據(jù)集。第2部分首先使用ffmpeg進(jìn)行關(guān)鍵幀提取,使用LabelImg進(jìn)行人工標(biāo)注。兩部分?jǐn)?shù)據(jù)集構(gòu)成了肉牛目標(biāo)檢測數(shù)據(jù)集,最終確定了7 456幅圖像作為訓(xùn)練集,1 491幅圖像作為測試集。肉牛目標(biāo)檢測部分?jǐn)?shù)據(jù)如圖3所示。
為了提高重識別結(jié)果的準(zhǔn)確性,首先需要通過對視頻數(shù)據(jù)進(jìn)行人工篩選,保證所有視頻中的肉牛個體都是唯一存在的,不同視頻中不能出現(xiàn)同一頭牛,再使用DarkLabel對視頻進(jìn)行標(biāo)注,根據(jù)標(biāo)注過程中的不同標(biāo)號來區(qū)分不同個體,最后按照Market-1501[31]數(shù)據(jù)集格式構(gòu)建肉牛重識別數(shù)據(jù)集。肉牛重識別數(shù)據(jù)集包含99頭不同肉牛的共6 195幅圖像,平均每頭牛約30幅圖像為訓(xùn)練集,30幅圖像為測試集。肉牛重識別數(shù)據(jù)如圖4所示。
為驗(yàn)證本文提出的肉牛多目標(biāo)跟蹤方法的有效性,選取實(shí)際場景下的監(jiān)控視頻進(jìn)行測試,視頻長度為54 s,來驗(yàn)證本文方法追蹤效果。
本文結(jié)合DeepSORT算法實(shí)現(xiàn)肉牛多目標(biāo)跟蹤,DeepSORT算法流程如圖5所示,主要包含4個步驟:①對視頻進(jìn)行預(yù)處理,使用OpenCV將視頻處理成視頻幀,然后使用目標(biāo)檢測算法提取深度特征得到候選框,使用非極大值抑制(NMS)算法去除重疊框,得到最終檢測結(jié)果。②使用卡爾曼濾波算法對目標(biāo)在視頻中下一幀的位置和狀態(tài)進(jìn)行預(yù)測,對比檢測器提供的檢測框,將置信度更高的檢測框作為預(yù)測結(jié)果。③使用匈牙利算法對前后兩幀之間若干目標(biāo)進(jìn)行最優(yōu)匹配,得到目標(biāo)在視頻中的軌跡,其中利用重識別算法計(jì)算余弦距離來度量表觀特征的距離,減少標(biāo)號變化(ID switch)的發(fā)生。④輸出結(jié)果,同時(shí)對跟蹤器進(jìn)行參數(shù)更新,重新開始目標(biāo)檢測。
DeepSORT算法是一個兩階段的算法,目標(biāo)檢測算法關(guān)系到其跟蹤的準(zhǔn)確度與速度,重識別算法可以減少跟蹤過程中ID switch的發(fā)生,因此可以將其中的目標(biāo)檢測模型和重識別模型分別進(jìn)行優(yōu)化,最終得到優(yōu)化后算法。
1.4.1目標(biāo)檢測
YOLO v3是一個比較成熟的單階段目標(biāo)檢測算法,其在匹配過程中將目標(biāo)圖像分為S×S個格子,每個單元格負(fù)責(zé)檢測中心點(diǎn)落于此單元格的目標(biāo),每個單元格需要預(yù)測出B個邊界框,每個邊界框包含5個預(yù)測輸出量(x、y、w、h、conf),其中x、y為目標(biāo)框中心坐標(biāo)值,w、h表示邊界框的長和寬,conf表示框中含有目標(biāo)的可信度。若檢測類別總數(shù)為C,則每個單元格需預(yù)測B×(5+C)個值。YOLO v3借鑒殘差網(wǎng)絡(luò)結(jié)構(gòu),在YOLO v2中Darknet19的基礎(chǔ)上,通過不斷堆疊3×3、1×1的卷積和殘差連接構(gòu)成了含53個卷積層的深度神經(jīng)網(wǎng)絡(luò)Darknet53[32]??紤]到本文采集的視頻中肉牛經(jīng)常處于遠(yuǎn)離攝像頭位置以及YOLO v3對小目標(biāo)檢測的良好效果,本文采用YOLO v3作為肉牛多目標(biāo)跟蹤模型的目標(biāo)檢測模塊,同時(shí),為了提高模型在邊緣設(shè)備上的運(yùn)行速度,本文對YOLO v3模型進(jìn)行了改進(jìn):
(1)使用MobileNet v2替換Darknet53作為YOLO v3的骨干網(wǎng)絡(luò)。MobileNet v1利用深度可分離結(jié)構(gòu)在犧牲較小檢測精度的情況下,大幅降低了計(jì)算量與網(wǎng)絡(luò)層參數(shù),降低了模型內(nèi)存。MobileNet v2在MobileNet v1的基礎(chǔ)上,使用殘差結(jié)構(gòu)(圖6),進(jìn)行先升維、再卷積、再降維的策略,在保持計(jì)算量變化不大的情況下獲得了更高的檢測精度。
(2)利用長短距離語義增強(qiáng)模塊(LSRCEM)(圖7)融合YOLO v3的3個檢測分支結(jié)果的同時(shí)自適應(yīng)學(xué)習(xí)目標(biāo)的多尺度特征。LSRCEM參考ThunderNet[33]中的CEM模塊,CEM通過擴(kuò)大模型感受野,融合多尺度局部信息和全局信息來獲取更有鑒別力的特征。但是骨干網(wǎng)絡(luò)中不同層所包含的語義信息并不相同,淺層網(wǎng)絡(luò)包含物體的邊緣、顏色、角點(diǎn)等信息;深層網(wǎng)絡(luò)包含抽象的語義信息,然而CEM使用的特征融合方式是將各個模塊的特征相加,相當(dāng)于將所有層視為平等,忽略了各個層的不同,故引入長距離注意力機(jī)制和短距離注意力機(jī)制,通過兩者配合來擴(kuò)大模型感受野,并通過動態(tài)調(diào)整高層信息與淺層信息的分配來完成特征融合。
短距離注意力機(jī)制啟發(fā)自YOLO v3-SPP中的SPP模塊,在空間最大池化模塊(Spatial MaxPooling Module)中,3個分支各自使用了3個13×13的池化核來進(jìn)行特征提?。婚L距離注意力機(jī)制使用壓縮激活模塊(SE),將特征金字塔高層提取到的信息以相乘的方式融合到淺層網(wǎng)絡(luò),以深層網(wǎng)絡(luò)的語義信息引導(dǎo)低層網(wǎng)絡(luò)的語義提取。YOLO v3模型與LSRCEM-YOLO結(jié)構(gòu)如圖8所示。
1.4.2肉牛重識別
Mudeep模型主要由多尺度層、降維層和顯著性融合層組成(圖9)。多尺度層由Multi-scale-A和Multi-scale-B組成,使用多分支結(jié)構(gòu)實(shí)現(xiàn)多尺度特征的提取,每個分支的感受野不同,提升了特征的鑒別力和多樣性。降維層(Reduction)位于兩個多尺度層之間,用來降低特征的空間分辨率,同時(shí)使用了多分支的方式,綜合最大池化層和步長卷積以彌補(bǔ)由于減少層數(shù)帶來的空間信息損失。顯著融合層(Saliency-based learning fusion)用來融合多尺度層的輸出,使用顯著性的學(xué)習(xí)策略篩除多尺度層輸出的冗余信息,將多尺度層的輸出通過相加的方式進(jìn)行融合,然后將特征圖通過全局平均池化得到一個歸一化后的特征向量。Mudeep通過引入空間可分離卷積,將普通的3×3卷積分解為1×3和3×1卷積,降低了模型所需的運(yùn)算量,提高了模型的運(yùn)算速度,且在CUHK01、CUHK03、VIPeR數(shù)據(jù)集上都有優(yōu)秀的表現(xiàn)。
由于Mudeep相對于Wide ResNet具有更小的運(yùn)算量,能夠更好實(shí)現(xiàn)肉牛的實(shí)時(shí)跟蹤,故本文選用Mudeep取代Wide ResNet作為DeepSORT中的重識別模塊,通過肉牛的重識別,獲取不同肉牛之間更有區(qū)分性的特征,降低跟蹤過程中ID switch發(fā)生的次數(shù)。
1.5.1目標(biāo)檢測評價(jià)指標(biāo)
目標(biāo)檢測與分類任務(wù)不同,檢測模型輸出的結(jié)果是非結(jié)構(gòu)化的,無法事先得知檢測得到的物體數(shù)量、位置、大小等,因此檢測任務(wù)需要引入交并比(IoU)來量化預(yù)測框A和真實(shí)框B的貼合程度,設(shè)置閾值為0.5,若IoU大于0.5,則認(rèn)為正確檢測,否則認(rèn)為是錯誤檢測,交并比計(jì)算公式為
(1)
式中SA∩B——預(yù)測框與真實(shí)框重疊區(qū)域面積
SA∪B——預(yù)測框與真實(shí)框覆蓋區(qū)域面積
IoU——預(yù)測框與真實(shí)框的交并比
一般目標(biāo)圖中存在背景和目標(biāo),預(yù)測框也分為正確和錯誤,因此產(chǎn)生4種樣本,真正例(True positive,TP)表示預(yù)測框與真實(shí)框正確匹配,假正例(False positive,F(xiàn)P)表示模型對正例進(jìn)行錯誤分類,一般指IoU小于閾值的檢測目標(biāo),假反例(False negative,F(xiàn)N)表示模型未檢測到的真實(shí)框,真反例(True negative,TN)表示本身是背景,也未被檢測出來。
根據(jù)以上4種樣本,引入準(zhǔn)確率(Precision,P)和召回率(Recall,R)來評價(jià)分類效果,準(zhǔn)確率表示被分為正例的所有實(shí)例中真正例占比,值越大說明分類越精確;召回率表示被分為正例的實(shí)例占所有真實(shí)框的比例,值越大表示檢測覆蓋程度越好。然而準(zhǔn)確率與召回率是對立的關(guān)系,若準(zhǔn)確率提高,召回率會有一定的下降,為了平衡兩者,引入準(zhǔn)確率和召回率的調(diào)和平均數(shù)F1(F1-score)和平均檢測精度(mAP)來綜合衡量。以召回率為橫軸,準(zhǔn)確率為縱軸,繪制準(zhǔn)確率-召回率(PR)曲線,則PR曲線與坐標(biāo)軸圍成的面積為mAP。mAP是目標(biāo)檢測中重要的評價(jià)標(biāo)準(zhǔn),能夠較好地評價(jià)目標(biāo)檢測模型。
此外,引入模型的參數(shù)量(Params)來評價(jià)模型的復(fù)雜程度,參數(shù)量越小,模型所需計(jì)算量越少,越適用于邊緣設(shè)備。
1.5.2肉牛重識別評價(jià)指標(biāo)
DeepSORT模型中使用的重識別模型的主要功能是用于提取具有鑒別力的特征,能夠讓前后兩幀屬于相同目標(biāo)的對象相似度更高,讓不同目標(biāo)間的相似度降低,以降低多目標(biāo)跟蹤中ID switch現(xiàn)象的發(fā)生。Rank-n表示檢測結(jié)果中置信度最高的n幅圖像中有正確結(jié)果的概率,因此本文使用Rank-n作為重識別模型的評價(jià)指標(biāo)。
1.5.3多目標(biāo)跟蹤評價(jià)指標(biāo)
本文選用4個指標(biāo)評價(jià)多目標(biāo)跟蹤效果:
(1)ID switch表示一條跟蹤軌跡中改變目標(biāo)標(biāo)號的次數(shù),值越小越好。
(2)多目標(biāo)跟蹤準(zhǔn)確率(Multiple object tracking accuracy,MOTA),主要考慮跟蹤過程中所有對象的匹配錯誤,主要是FP、FN、ID switch。MOTA給出的是非常直觀的衡量跟蹤算法在檢測物體和保持軌跡時(shí)的性能,與目標(biāo)檢測進(jìn)度無關(guān),MOTA值越大表示模型的性能越好。MOTA計(jì)算公式為
(2)
式中AFP——假正例出現(xiàn)次數(shù)
AFN——假反例出現(xiàn)次數(shù)
MOTA——多目標(biāo)跟蹤準(zhǔn)確率
AID——ID switch次數(shù)
AGT——標(biāo)注的目標(biāo)個數(shù)
(3)多目標(biāo)跟蹤精確度(Multiple object tracking precision,MOTP),用來量化檢測器的定位精度,MOTP的值越大表示檢測器的精度越大,計(jì)算公式為
(3)
式中ct——當(dāng)前幀匹配成功的數(shù)目
di,t——檢測框和真實(shí)框的交并比
i——當(dāng)前檢測目標(biāo)
t——幀序號
MOTP——多目標(biāo)跟蹤精確度
(4)FPS,模型每秒處理的圖像幀數(shù),值越大處理效果越好。
對比YOLO v3算法、YOLO v3-tiny算法以及LSRCEM-YOLO算法在肉牛目標(biāo)檢測數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1所示。
表1 不同算法的目標(biāo)標(biāo)檢測結(jié)果對比Tab.1 Comparison of target detection results of different algorithm
LSRCEM-YOLO的mAP為92.3%,比YOLO v3高0.5個百分點(diǎn),比YOLO v3-tiny高2.4個百分點(diǎn),其模型參數(shù)量僅為YOLO v3的10%,為YOLO v3-tiny的68%。LSRCEM-YOLO算法不僅在性能上相較YOLO v3和YOLO v3-tiny有整體的提高,也降低了參數(shù)處理規(guī)模。
YOLO v3-tiny與LSRCEM-YOLO的mAP和損失值隨迭代次數(shù)的變化情況如圖10、11所示。
由mAP變化曲線可知,LSRCEM-YOLO的精度高于YOLO v3-tiny,收斂速度更快,且其mAP穩(wěn)定性高于YOLO v3-tiny。
通過損失值的變化曲線可以看出,LSRCEM-YOLO的收斂速度快于YOLO v3-tiny,且收斂后的損失值小于YOLO v3-tiny。
YOLO v3-tiny和LSRCEM-YOLO在相同置信度(0.5)下進(jìn)行結(jié)果對比,黃色虛線表示漏檢目標(biāo)(圖12),漏檢對象多為目標(biāo)過小或者存在遮擋的情況,當(dāng)目標(biāo)數(shù)量變多,YOLO v3-tiny相較于LSRCEM-YOLO的檢測效果變差,由于LSRCEM-YOLO選擇了3個不同尺度的特征進(jìn)行融合,因此其更能兼顧淺層網(wǎng)絡(luò)關(guān)注的小目標(biāo)與深層網(wǎng)絡(luò)關(guān)注的大目標(biāo)。
實(shí)驗(yàn)結(jié)果表明,LSRCEM-YOLO算法兼顧速度與精度,適用于肉牛目標(biāo)檢測。
Mudeep模型對相同或不同個體肉牛的識別結(jié)果進(jìn)行可視化(圖13),若是同一目標(biāo),熱圖集中于需要關(guān)注的區(qū)別于其他肉牛的特征信息。若是不同目標(biāo),模型通過關(guān)注不同肉牛之間的表觀特征如花紋等,從而區(qū)別出特征信息屬于不同個體。說明Mudeep模型可以動態(tài)學(xué)習(xí)不同尺度、不同位置的有區(qū)分度的特征,自動聚焦于不同目標(biāo)之間最有區(qū)分度的區(qū)域。
Mudeep重識別模型的Rank-1、Rank-5、Rank-10達(dá)到96.5%、98.6%、99.1%,具備提取到具有高鑒別力特征的能力。
訓(xùn)練后的Mudeep模型參數(shù)量為3.5×106,遠(yuǎn)小于Wide ResNet模型的參數(shù)量4.4×107。
為驗(yàn)證本文方法在肉牛多目標(biāo)跟蹤方面的表現(xiàn),在肉牛多目標(biāo)跟蹤數(shù)據(jù)集上進(jìn)行了測試,并將結(jié)果與YOLO v3-DeepSORT算法進(jìn)行了對比,結(jié)果如表2所示。
表2 本文方法與YOLO v3-DeepSORT實(shí)驗(yàn) 結(jié)果對比Tab.2 Experimental results of this algorithm compared with YOLO v3-DeepSORT
由表2可知,本文方法的多目標(biāo)跟蹤準(zhǔn)確率為45.2%,較YOLO v3-DeepSORT算法提高了12.9個百分點(diǎn),多目標(biāo)跟蹤精確度提高了11.6個百分點(diǎn),目標(biāo)標(biāo)號改變次數(shù)降低了69.2%,視頻處理速度也由9 f/s提高到了21 f/s。
將同一視頻片段用兩種不同算法進(jìn)行跟蹤,結(jié)果如圖14所示。黃色虛線框?yàn)閅OLO v3-DeepSORT漏檢目標(biāo),可以看出,相較于YOLO v3-DeepSORT算法,本文方法的漏檢目標(biāo)明顯較少,檢測框更加貼合肉牛目標(biāo),對于遮擋度高的肉牛有更好的檢測跟蹤能力。
(1)在YOLO v3模型的基礎(chǔ)上,將模型的骨干網(wǎng)絡(luò)Darknet53替換為MobileNet v2,并增加長短距離語義增強(qiáng)模塊(LSRCEM),提出了基于LSRCEM-YOLO的肉牛多目標(biāo)跟蹤方法。
(2)本文方法目標(biāo)檢測的mAP值達(dá)92.3%,采用Mudeep模型的肉牛重識別Rank-1指標(biāo)為96.5%,多目標(biāo)跟蹤準(zhǔn)確率提高到了45.2%,目標(biāo)標(biāo)號改變次數(shù)降低了69.2%。
(3)構(gòu)建的融合了LSRCEM-YOLO和Mudeep模型的DeepSORT肉牛多目標(biāo)跟蹤模型能夠?qū)崿F(xiàn)實(shí)際養(yǎng)殖環(huán)境下的肉牛多目標(biāo)實(shí)時(shí)跟蹤,可為實(shí)現(xiàn)肉牛大規(guī)模養(yǎng)殖的精準(zhǔn)管理提供良好的技術(shù)支持。