基于熱紅外視頻的奶牛跛行運(yùn)動特征提取與檢測

康 熙，李樹東，張旭東，劉 剛

（1. 中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083； 2. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實驗室，北京 100083； 3. 中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實驗室，北京 100083）

0 引 言

奶牛跛行不僅影響奶牛產(chǎn)奶量，還會降低奶牛生活福利和繁殖能力，提高淘汰率[1-4]。美國高盛研究報告《人工智能與精準(zhǔn)農(nóng)業(yè)》中顯示，奶牛平均跛行率為23.5%，每年造成經(jīng)經(jīng)濟(jì)損失達(dá)到110 億美元[5]，奶牛跛行對奶牛養(yǎng)殖和國家乳業(yè)發(fā)展都有很大影響[6]。人工檢測奶牛跛行依賴觀察者主觀性因素，費(fèi)時費(fèi)力，因此開展奶牛跛行的早期檢測、自動檢測具有重要研究意義[7-10]。

計算機(jī)視覺技術(shù)在奶牛跛行檢測領(lǐng)域中，由于其適中的價格和非接觸的檢測模式，近年來成為奶牛跛行檢測的主流研究手段[11-12]，國內(nèi)外學(xué)者對此進(jìn)行了大量的研究。Pluk 等[13]采用可見光（2D，two-dimensional）相機(jī)采集奶牛行走弓背曲率，通過曲率大小判斷奶牛跛行程度。Song 等[14-15]采用可見光相機(jī)跟蹤牛蹄軌跡實現(xiàn)了奶牛跛行檢測。He 等[16-17]改進(jìn)了傳統(tǒng)圖像處理方法及機(jī)器學(xué)習(xí)技術(shù)以提高圖像處理中奶牛定位精度。宋懷波等[18]采用頭頸部曲率擬合方法檢測奶牛跛行。Kang 等[19-20]為避免奶牛個體特異性對跛行的影響，提出了基于可見光視頻的支撐相跛行檢測的方法。Viazzi 等[21-22]提出了利用深度（3D，three-dimensional）相機(jī)測量奶牛弓背曲率檢測奶牛跛行的方法，驗證了深度相機(jī)跛行檢測的可行性。Orman 等[23]利用熱紅外相機(jī)檢測奶牛牛蹄溫度，通過其溫度變化判斷牛蹄是否發(fā)炎并存在跛行。尹玉[24]基于可見光圖像，構(gòu)建了基于支持向量機(jī)和奶牛行走速度的奶牛跛行檢測模型。

深度學(xué)習(xí)技術(shù)可以自動地從數(shù)據(jù)中生成特征來執(zhí)行目標(biāo)識別和分類任務(wù)，具有精度高及響應(yīng)快等優(yōu)點(diǎn)[25]。因此，對于基于計算機(jī)視覺技術(shù)的奶牛個體識別和跛行檢測研究具有重要意義。Guzhva 等[26]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體自動跟蹤方法。Jiang 等[25]建立了FilterLayer YOLOv3 網(wǎng)絡(luò)，可以在復(fù)雜的環(huán)境條件下準(zhǔn)確檢測奶牛的關(guān)鍵部位。Fuentes 等[27]基于深度學(xué)習(xí)技術(shù)，提出了一種利用時空信息識別奶牛行為的方法，可以有效識別15 種不同的奶牛行為。Jiang 等[28]提出了一種單流長期光流卷積網(wǎng)絡(luò)，利用光流信息反映奶牛行走時全身的運(yùn)動信息，提高了奶牛行為識別的準(zhǔn)確性。

通過分析前人針對計算機(jī)視覺奶牛跛行檢測的研究可知，用于奶牛運(yùn)動特征參數(shù)獲取的相機(jī)主要包括可見光相機(jī)和深度相機(jī)。深度相機(jī)一般放置在通道上方，可以有效的檢測奶牛背部變化，然而無法拍攝奶牛步態(tài)變化，限制了其檢測精度[12,29]。可見光相機(jī)一般放置于通道一側(cè)，可以對奶牛整體進(jìn)行拍攝，獲取其頭部、背部及腿部等關(guān)鍵位置圖像，由此計算包括點(diǎn)頭、弓背及步態(tài)不均勻等運(yùn)動特征。然而可見光相機(jī)受光線、環(huán)境因素影響較為嚴(yán)重，當(dāng)光線較強(qiáng)或黑夜時，圖像會出現(xiàn)曝光模糊或黑暗的現(xiàn)象[25]，當(dāng)牛場背景復(fù)雜或變化時，會影響奶牛特征信息提取精度[21,25]。熱紅外相機(jī)同樣也可以對奶牛跛行進(jìn)行檢測，由于奶牛蹄部感染引起的炎癥會導(dǎo)致其表面溫度升高，一些研究通過比較熱紅外圖像中患肢的溫度變化，檢測奶牛蹄病[30]。但這種方法需要近距離拍攝局部溫度以確保溫度準(zhǔn)確，需要人為操作，效率較低，不適用于系統(tǒng)的、實時的跛行檢測，并且這種方法主要屬于測溫技術(shù)，沒有有效利用熱圖像中的奶牛圖像信息[12]。因此，亟需探究一種針對環(huán)境因素影響魯棒性強(qiáng)、獲取跛行信息完整的計算機(jī)視覺檢測方法，用于提高奶牛跛行檢測精度和應(yīng)用性。

本文針對以上問題，擬在計算機(jī)視覺奶牛跛行檢測系統(tǒng)的基礎(chǔ)上，分析熱紅外相機(jī)代替可見光相機(jī)搭建計算機(jī)視覺系統(tǒng)對奶牛跛行運(yùn)動特征獲取的可行性和優(yōu)勢，提出了一種利用熱紅外視頻獲取奶牛跛行運(yùn)動特征的方法，旨在有效避免光照、環(huán)境變化對基于計算機(jī)視覺的奶牛跛行檢測系統(tǒng)的影響，提高奶牛跛行運(yùn)動特征獲取的準(zhǔn)確性，并通過試驗驗證了該方法的準(zhǔn)確性和魯棒性。

1 材料與方法

1.1 試驗數(shù)據(jù)來源

1.1.1 圖像獲取

試驗數(shù)據(jù)于2020 年9 月26－28 日采集于河北鼎源牧業(yè)養(yǎng)殖場，采集對象為處于泌乳中期的美國荷斯坦奶牛。采集系統(tǒng)如圖1 所示，奶牛養(yǎng)殖場育成牛在擠奶后，需要依次通過通道走出擠奶廳，故在通道一側(cè)適宜位置安裝高分辨率可見光攝相機(jī)（Panasonic DC-GH5S，松下，日本）與熱紅外相機(jī)（Flir T620，菲力爾，美國），調(diào)整焦距和角度使相機(jī)可以完整錄制奶牛行走過程，并連接工控機(jī)用于收集奶牛行走視頻?？梢姽鈹z像機(jī)分辨率為1 920×1 080 像素，幀率為50 幀/s；熱紅外相機(jī)分辨率為640×480 像素，幀率為15 幀/s。視頻數(shù)據(jù)采集工作在每天中午、晚上奶牛2次擠奶后進(jìn)行，共采集368 頭奶牛行走視頻（如圖2 所示）。

1.1.2 數(shù)據(jù)標(biāo)定與運(yùn)動評分

本文旨在探究不同相機(jī)所獲取的奶牛行走視頻在特征提取和跛行檢測算法中的效果，因此對視頻中的奶牛特征位置進(jìn)行了手動的數(shù)據(jù)標(biāo)定，如圖3 所示。

在奶牛跛行檢測研究中，奶牛跛行程度通常使用運(yùn)動評分表示，運(yùn)動評分越高說明跛行越嚴(yán)重[31]，本文數(shù)據(jù)由兩名專業(yè)的觀察員對奶牛進(jìn)行運(yùn)動評分，評分方式采用簡化標(biāo)準(zhǔn)，即等級1 表示無跛行，等級2 表示輕中度跛行，等級3 表示重度跛行[32-33]。觀察者根據(jù)奶牛行走視頻對每頭奶牛的運(yùn)動情況進(jìn)行評分，用于表征跛行情況。

1.2 奶牛運(yùn)動特征提取與跛行檢測

1.2.1 運(yùn)動特征提取

為了對比熱紅外相機(jī)與可見光相機(jī)應(yīng)用于計算機(jī)視覺奶牛跛行檢測系統(tǒng)的表現(xiàn)和效果，本文針對2 種相機(jī)所錄制的視頻，探究了用于跛行檢測的奶牛關(guān)鍵身體部位的目標(biāo)識別效果。

由于奶牛運(yùn)動系統(tǒng)是一個整體且會隨時間變化[34]，根據(jù)對前人研究的分析，奶牛跛行時身體部位會發(fā)生明顯的運(yùn)動學(xué)變化，例如點(diǎn)頭、弓背及步態(tài)不均勻等[12]。因此本文選擇了幾處能較好的表達(dá)跛行特征的身體部位，包括頭部、肩部、背部、臀部和蹄部，作為跛行運(yùn)動特征部位。

在目標(biāo)識別的算法選擇上，前人針對基于計算機(jī)視覺技術(shù)的奶牛跛行檢測研究，奶牛圖像中特征的獲取方法包括傳統(tǒng)的圖像處理方法[15-16]和深度學(xué)習(xí)算法[25]。本文選擇了傳統(tǒng)圖像處理和深度學(xué)習(xí)2 種方法用于相機(jī)間的對比，以保證檢測的全面性和普適性。傳統(tǒng)的圖像處理方法選擇基礎(chǔ)且應(yīng)用較廣的三幀差法，并根據(jù)圖像情況增加了核密度估計；深度學(xué)習(xí)選擇YOLOv4 網(wǎng)絡(luò)，具有速度快、精度高并適用于規(guī)?；a(chǎn)環(huán)境[35]等優(yōu)點(diǎn)。

2 種檢測方法所用數(shù)據(jù)集相同，均為熱紅外相機(jī)與可見光相機(jī)同時錄制的奶牛行走視頻，人工選擇30 頭不停頓、不快跑的自然行走奶牛的視頻，經(jīng)過分幀后，最終獲得熱紅外圖像1 400 張，2D 白天圖像1 400 張，2D 夜晚圖像1 400 張，所有均圖像為連續(xù)的，并沒有進(jìn)行抽幀處理。

本文的研究是針對農(nóng)場中的奶牛，奶牛的等熱區(qū)（適宜的溫度范圍）為10～21 ℃，當(dāng)外界溫度高于該范圍后，奶牛會產(chǎn)生熱應(yīng)激，影響奶牛泌乳性能，因此農(nóng)場會安裝遮陽和降溫設(shè)備以保證環(huán)境溫度的適宜。奶牛的體溫在38 ℃以上，與環(huán)境溫度差異較大，因此利用熱紅外相機(jī)獲取奶牛運(yùn)動信息時，受環(huán)境溫度影響較小[36]。并且由于檢測環(huán)境普遍為半開放室內(nèi)，不存在日光直射，白天和夜晚的變化對熱紅外成像影響較小，但會影響可見光相機(jī)成像。因此本文僅將可見光相機(jī)獲取的圖像分為了白天與黑天兩部分。

1）基于三幀差法的運(yùn)動特征提取算法

圖4 為本算法的技術(shù)路線圖，首先通過核密度估計對奶牛視頻幀圖像進(jìn)行背景建模，然后利用三幀差法對運(yùn)動奶牛輪廓進(jìn)行提取，將其與核密度估計建立的背景進(jìn)行邏輯或操作，最后根據(jù)奶牛各部位的空間位置關(guān)系，通過連通域的外接矩形提取奶牛的運(yùn)動特征。

核密度估計采用核函數(shù)對視頻幀序列中每個像素點(diǎn)的分布規(guī)律進(jìn)行統(tǒng)計學(xué)分析，從而建立動態(tài)背景，是近年來廣泛應(yīng)用的非參數(shù)密度估計法。高斯函數(shù)可以充分反映隨機(jī)變量的概率分布，生成平滑的密度函數(shù)曲線，因此本研究采用高斯函數(shù)作為核函數(shù)。則概率密度函數(shù)p(xt)如公式（2）所示。

式中j為圖像維度；xtj為當(dāng)前像素xt在j維度上的值；xij為第i個采樣點(diǎn)的像素xi在j維度上的值；σj為像素在j維度的方差。

根據(jù)概率密度函數(shù)p(xt)，背景和前景運(yùn)動目標(biāo)的判別如式（3）所示。

式中T為前景分割閾值，其中，Mt(x,y)為0 代表背景像素，Mt(x,y)為1 代表運(yùn)動目標(biāo)像素。

三幀差法首先對三幀圖片進(jìn)行灰度變換，然后再分別進(jìn)行幀差處理，用第n幀灰度圖像減去第n?1 幀灰度圖像，得到二值圖像P1(x,y)，用第n?1 幀灰度圖像減去第n?2 幀灰度圖像，得到二值圖像P2(x,y)，最后將P1(x,y)和P2(x,y)進(jìn)行邏輯與操作，如式（3）～（5）所示。

式中fn(x,y)為第n幀灰度圖像；fn?1(x,y)為第n?1 幀灰度圖像；fn?2(x,y)為第n?2 幀灰度圖像；P(x,y)為二值圖像P1(x,y)和P2(x,y)進(jìn)行邏輯與操作后的結(jié)果圖。

本研究通過判斷外接矩形的位置來確定奶牛部位。連通域中的最大外接矩形為奶牛身體主干，主干上側(cè)為奶牛肩部、背部和臀部特征位置，主干下側(cè)為奶牛蹄部特征位置，主干包含了奶牛頭部特征位置。針對奶牛頭部位置的提取，以主干連通域為標(biāo)準(zhǔn)，獲取其最左側(cè)的連通域作為奶牛頭部位置，將奶牛頭部定位框的左邊界中心點(diǎn)作為頭部特征點(diǎn)；針對奶牛蹄部位置的定位，提取主干下側(cè)的連通域作為蹄部位置，將奶牛蹄部的下邊界中心點(diǎn)作為蹄部特征點(diǎn)。將主干上側(cè)的連通域的左邊界中心點(diǎn)作為奶牛肩部特征點(diǎn)，主干上側(cè)的連通域的右邊界中心點(diǎn)作為奶牛臀部特征點(diǎn)，主干上側(cè)的連通域的上邊界中心點(diǎn)作為奶牛背部特征點(diǎn)。

2）基于YOLOv4 的運(yùn)動特征提取算法

圖5 為YOLOv4 主干特征提取網(wǎng)絡(luò)。YOLOv4 采用CSPDarknet53 作為主干網(wǎng)絡(luò)，從而在提高訓(xùn)練速度的基礎(chǔ)上也提高了目標(biāo)檢測的精度[37]。YOLOv4 在CSPDarknet 上加入了空間金字塔池化模塊（Spatial Pyramid Pooling，SPP）[38]，改善了感受域尺寸，在保證了檢測速度同時提高了對于特征提取的能力。此外，YOLOv4 選擇路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）[39]進(jìn)行多通道融合。PAN 網(wǎng)絡(luò)加入了上下采樣的路徑增強(qiáng)，防止部分信息在特征融合中丟失，使最終獲取到的信息既包含底層特征又包含語義特征，提高檢測精度[40]。

同時，YOLOv4 引入了2 大類模塊來增強(qiáng)目標(biāo)檢測精度。第一類為提高精度但不增加推斷時間的模塊（Bag of Freebies，BoF），這其中包括Cutout 和Mosaic 數(shù)據(jù)增強(qiáng)等。第二類是犧牲一定時間提高精度的模塊（Bag of specials），這其中包括激活函數(shù)Mish，退火訓(xùn)練等。這些模塊進(jìn)一步提高了YOLOv4 的檢測精度[41]。

試驗平臺操作系統(tǒng)為Windows10，模型在NVIDIA GeForce RTX 2070 with Max-Q GPU 上進(jìn)行訓(xùn)練和測試，運(yùn)行內(nèi)存為16 GB，顯存容量為8 GB。本試驗采用YOLOv4 作為奶牛運(yùn)動特征提取框架。將數(shù)據(jù)按8:1:1 的比例分為訓(xùn)練集、驗證集和測試集。模型會將輸入圖像從原有的1 920×1 080 調(diào)整到416×416。模型選用Adam優(yōu)化器，激活函數(shù)為Mish 函數(shù)，經(jīng)過手動調(diào)整，初始批處理設(shè)置為32，訓(xùn)練共包含150 個迭代（完成了一次前向計算和反向傳播的過程）。本文采用學(xué)習(xí)率機(jī)制，初始學(xué)習(xí)率為1×10-3，衰減速率為學(xué)習(xí)停滯時當(dāng)前學(xué)習(xí)率的1/10。傳播次數(shù)達(dá)到100 次時，批處理設(shè)置為4，學(xué)習(xí)率隨模型迭代繼續(xù)衰減。

1.2.2 奶牛跛行檢測

為了對比2 種相機(jī)用于奶牛跛行檢測系統(tǒng)中的跛行檢測能力，本文利用2 種相機(jī)所采集的奶牛關(guān)鍵位置數(shù)據(jù)進(jìn)行跛行檢測，并且由于深度學(xué)習(xí)特征提取效果優(yōu)于傳統(tǒng)圖像處理方法[25]，因此選擇深度學(xué)習(xí)所提取的跛行特征。

檢測方法選擇計算機(jī)視覺奶牛跛行檢測研究中普遍使用的弓背檢測方法，因為跛行奶牛會出現(xiàn)弓背以補(bǔ)償負(fù)重和疼痛，即可以利用奶牛行走過程中的弓背曲率判斷是否跛行，并根據(jù)弓背程度對跛行等級進(jìn)行分類[42]。通過肩部、背部和臀部3 個點(diǎn)可以計算擬合圓的半徑R，弓背曲率用k表示，為R的倒數(shù)，即k=1/R[43]。

首先利用人工標(biāo)定的方法獲取奶牛的弓背曲率準(zhǔn)確值k；利用boxcox 變換對弓背曲率數(shù)據(jù)進(jìn)行處理并擬合成高斯曲線；最后，根據(jù)3 個跛行等級奶牛的弓背曲率高斯分布，設(shè)置置信度為0.95，利用深度學(xué)習(xí)所提取的特征，計算奶牛弓背曲率k進(jìn)行異常檢測，實現(xiàn)跛行分類。

2 結(jié)果與分析

2.1 幀差法結(jié)果分析

本文利用核密度估計和三幀差法提取奶牛運(yùn)動特征，分別在熱紅外（Infrared）、2D 白天（Daylight）和2D 夜晚（Night）3 種數(shù)據(jù)集上進(jìn)行了測試。運(yùn)動特征為奶牛頭部（Head）、蹄部（Hoof）、背部（Back）、臀部（Hip）和肩部（Shoulder），一共5 類。本文利用Precision Plot（精度測算）方法對幀差法結(jié)果進(jìn)行評價。Precision Plot 測算方法以像素點(diǎn)為單位，計算每一個算法估計位置與人工標(biāo)記點(diǎn)之間的歐氏距離，設(shè)定歐式距離閾值，結(jié)果為小于特定閾值的視頻幀百分比。3種數(shù)據(jù)集的精確度曲線如圖6所示。

在閾值為30 像素以內(nèi)的平均精確率如表1 所示，基于核密度估計和三幀差的檢測方法在熱紅外數(shù)據(jù)集上的平均精確率為74.26%，高于可見光白天數(shù)據(jù)集19.95 個百分點(diǎn)，高于可見光夜晚數(shù)據(jù)集25.31 個百分點(diǎn)。并且，在熱紅外數(shù)據(jù)集下訓(xùn)練的模型在一共5 類奶牛運(yùn)動特征上的精確度值都高于可見光白天和夜晚的數(shù)據(jù)集。

表1 不同數(shù)據(jù)集下的平均精確率Table 1 mAP and average accuracy precision for different data sets%

通過分析可知，由于奶牛運(yùn)動特征提取依賴于奶牛邊緣輪廓特征提取。夜晚缺乏光照，奶牛邊緣輪廓與背景十分相似，使前景與背景區(qū)分困難，精確度相較最低。白天可以提取到更多顏色與邊緣細(xì)節(jié)，但容易受到光照突變的影響，使奶牛邊緣輪廓更容易與背景混淆。熱紅外圖像通過溫差分割出目標(biāo)與背景，邊緣輪廓不會受光照影響，奶牛圖像信息與背景差別明顯，故識別效果最好。

圖7 為算法檢測結(jié)果，圖7a 為奶牛熱紅外圖像檢測結(jié)果，圖7b 為白天的奶?？梢姽鈭D像檢測結(jié)果，圖7c為夜晚的奶牛可見光圖像檢測結(jié)果。如表1 可知，基于熱紅外圖像的奶牛各部位檢測效果最好。夜晚光照不足使可見光圖像中奶牛邊緣輪廓和背景難以區(qū)分，奶牛蹄部、頭部和肩部檢測不完整，白天光照使奶牛邊緣輪廓擴(kuò)大，蹄部、頭部和臀部檢測過多，導(dǎo)致奶牛運(yùn)動特征提取誤差較大。

2.2 深度學(xué)習(xí)結(jié)果分析

本文以相同的YOLOv4 深度學(xué)習(xí)模型，在2D 白天（Daylight）、2D 夜晚（Night）和熱紅外（Infrared）3 種數(shù)據(jù)集上進(jìn)行訓(xùn)練和檢測。奶牛的運(yùn)動特征設(shè)為奶牛頭部、蹄部、背部、臀部、肩部，一共5 類。置信度設(shè)為0.05，檢測閾值設(shè)為0.5，即設(shè)定預(yù)測框與人工標(biāo)簽框的面積交并比（IOU, Intersection over Union）大于0.5 為預(yù)測準(zhǔn)確，選取訓(xùn)練過程中表現(xiàn)最優(yōu)的模型在測試集上進(jìn)行測試。

本文采用平均精確率（Average Precision, AP）和總體平均精確率（Mean Average Precision, mAP）作為衡量不同數(shù)據(jù)集下目標(biāo)檢測模型提取奶牛運(yùn)動特征的評價指標(biāo)。此外，本文還使用精確率-召回率曲線（Precision-Recall, P-R curve），衡量模型在同一數(shù)據(jù)集下對奶牛各個特征的檢測性能。

由表2 可知，YOLOv4 目標(biāo)檢測模型在熱紅外數(shù)據(jù)集上的總體平均精確率mAP 值為90.84%，高于白天數(shù)據(jù)集4.16 個百分點(diǎn)，高于夜晚數(shù)據(jù)集11.16 個百分點(diǎn)。并且，在熱紅外數(shù)據(jù)集下訓(xùn)練的模型在一共5 類奶牛運(yùn)動特征上的平均精確率AP 都高于白天和夜晚的數(shù)據(jù)集。

表2 不同數(shù)據(jù)集下測試集識別的平均精確率與總體平均精確率Table 2 mAP and average precision of test set by different data set%

分析可知奶牛運(yùn)動特征提取對奶牛部位的輪廓與位置信息更敏感。輪廓信息為奶牛在圖像中的輪廓，位置信息是奶牛部位在奶牛全身的相對位置。夜晚缺乏光照，同時相機(jī)處于逆光處拍攝，致使奶牛輪廓與圖像均不清晰，很難與背景進(jìn)行區(qū)分，進(jìn)而精度相較最低。白天可以提取到更多顏色與圖像細(xì)節(jié)，但是這也讓奶牛輪廓更容易與背景混淆，反而對奶牛特征提取有副作用。熱紅外圖像通過溫差分割出目標(biāo)與背景，輪廓與位置信息不會受光照和背景的影響，奶牛圖像信息與背景差別明顯，故識別效果最好。但是熱紅外圖像仍會受到欄桿等遮擋物的影響，使肩部和臀部檢測效果不佳。

圖8 為熱紅外、白天和夜晚3 種數(shù)據(jù)集對于奶牛運(yùn)動特征檢測的P-R 曲線。頭部、蹄部、背部這3 種特征在3 種數(shù)據(jù)集中均基本覆蓋了整個坐標(biāo)系，而臀部與肩部在3 個數(shù)據(jù)集上都沒有覆蓋全部坐標(biāo)系。頭部、蹄部、背部這3 種特征部位在YOLOv4 深度學(xué)習(xí)模型下檢測效果總體優(yōu)于臀部與肩部。其中，頭部在3 個數(shù)據(jù)集下都覆蓋了最大面積，是奶牛運(yùn)動特征檢測效果最優(yōu)的部位。

通過分析可知，奶牛頭部輪廓與位置特征明顯易辨，在黑夜中逆光檢測也可以獲得良好的效果。奶牛蹄部常于地面接觸，位置信息穩(wěn)定，但是部位較小，輪廓信息依賴于地面與蹄部的色差。奶牛背部位置信息穩(wěn)定，雖然背部部位很大，但是經(jīng)常會被欄桿遮擋，使輪廓信息減少。奶牛臀部與肩部都是小部位，位置信息會受到奶牛體態(tài)影響，輪廓信息會受到奶牛體態(tài)和欄桿遮擋等多方面的影響，使得檢測精度降低。對于提高奶牛蹄部、肩部、臀部等小部位目標(biāo)檢測的算法需要在未來進(jìn)行進(jìn)一步的討論研究與優(yōu)化。

為了進(jìn)一步驗證YOLOv4 模型對奶牛運(yùn)動特征的提取性能，選用了前期研究中常用的深度學(xué)習(xí)目標(biāo)檢測模型，包括YOLOv3，F(xiàn)ast-RCNN 和Efficientdet[37,44-45]在此次數(shù)據(jù)集上進(jìn)行對比。這4 種模型在熱紅外數(shù)據(jù)集上進(jìn)行統(tǒng)一訓(xùn)練，通過熱紅外測試集的總體平均精確率（mAP）與每秒檢測幀數(shù)（fps，frame per second）來進(jìn)行對比。由表3 可以看出YOLOv4 在奶牛跛行檢測精度是這4 個模型中最優(yōu)秀的。從檢測速度上來說，YOLOv4與YOLOv3 在奶牛跛行檢測速度相較于Fast R-CNN 與Efficientdet 更快，說明這2 個模型都適用于奶牛跛行的實時檢測。其中，YOLOv3 識別速度相較于YOLOv4 會更快，分析其原因是YOLOv3 網(wǎng)絡(luò)深度更低。YOLOv4模型的檢測精度相較于YOLOv3 模型更高。因奶牛特征提取目前需要更精確地網(wǎng)絡(luò)模型，故最終選擇精度更高的YOLOv4。

表3 熱紅外數(shù)據(jù)集下不同模型在測試集上的總體平均精確率與每秒檢測幀數(shù)（fps）Table 3 mAP and frame per second (fps) of test set in infarred dataset by different models

圖9 為部分深度學(xué)習(xí)測試結(jié)果，橫向?qū)Ρ雀黝悪z測結(jié)果可知，欄桿遮擋會影響奶牛圖像的提取。欄桿有可能會遮擋住肩部、背部和臀部，進(jìn)而使深度學(xué)習(xí)模型無法進(jìn)行識別，影響奶牛特征的提取。奶牛體態(tài)也會影響對于肩部、蹄部和背部的檢測。如圖9a，奶牛弓背狀態(tài)下更容易檢測到肩部。如圖9b，奶牛在轉(zhuǎn)彎扭動時，模型對于肩部、背部、蹄部和頭部的檢測會下降。對比可知，模型在奶牛低頭直行前進(jìn)的時表現(xiàn)最好。

對比不同數(shù)據(jù)集的檢測結(jié)果，可知基于熱紅外數(shù)據(jù)訓(xùn)練出來的模型在奶牛各部位的檢測結(jié)果置信度最高。對比夜晚圖9a中對于奶牛肩部與圖9c中對于奶牛蹄部檢測結(jié)果分析可知，晚間光照不足會影響模型對于奶牛運(yùn)動特征的提取，從而導(dǎo)致檢測效果不理想。

2.3 跛行檢測結(jié)果分析

本文隨機(jī)選擇160 頭人工標(biāo)定運(yùn)動評分的奶牛用于建立高斯分布函數(shù)。弓背曲率通過boxcox 變換后進(jìn)行高斯擬合結(jié)果如圖10 所示。

熱紅外 3 條擬合的高斯曲線平均相關(guān)系數(shù)為98.55%，可見光擬合的3 條高斯曲線擬合平均相關(guān)系數(shù)為98.82%，說明弓背曲率通過boxcox 變換后分布接近高斯分布。其中擬合最好的是奶牛處于跛行等級1 時，熱紅外和可見光的相關(guān)系數(shù)都大于99%，相比之下，跛行等級為2 和3 擬合效果一般。分析其原因在于大部分養(yǎng)殖場的奶牛處于健康狀態(tài)，患跛行的奶牛占少數(shù)，故跛行等級2 與跛行等級3 的奶牛數(shù)據(jù)集相對較少，后續(xù)研究需要采集更多跛行奶牛的數(shù)據(jù)。綜上，人工定位的弓背曲率通過boxcox 變換后近似視為高斯分布，作為后續(xù)判斷跛行等級的概率密度曲線。

本文通過boxcox 變換將弓背曲率集映射到高斯分布，建立了弓背曲率到跛行等級的映射關(guān)系。隨機(jī)選擇了3 個運(yùn)動評分等級各20 頭奶牛的熱紅外和可見光數(shù)據(jù)，共60 頭標(biāo)定了真實值的奶牛數(shù)據(jù)用于跛行檢測。奶牛行走過程中背部姿態(tài)變化較小，選擇每頭奶牛身體完全進(jìn)入圖像后，處于三足支撐并且前蹄剛離開地面的一幀用于后續(xù)的弓背曲率提取。利用YOLOv4 深度學(xué)習(xí)模型獲取奶牛肩部、背部和臀部目標(biāo)框，并利用目標(biāo)框中心點(diǎn)代表該部位坐標(biāo)，使用三點(diǎn)坐標(biāo)計算擬合圓半徑與弓背曲率。將由弓背曲率推測出的跛行等級與真實跛行等級進(jìn)行對比，根據(jù)3 個跛行等級奶牛的弓背曲率高斯分布，設(shè)置信度為0.95，即奶牛弓背曲率位于高斯函數(shù)95%分布區(qū)間，則將奶牛跛行程度分類為該跛行等級，得到跛行分類效果混淆矩陣如表4 所示。

表4 熱紅外和可見光跛行分類效果混淆矩陣Table 4 Classification effect confusion matrix of Lameness in Infrared and 2D

表4 是熱紅外和可見光的跛行分類效果，縱列表示人工標(biāo)定的真實跛行等級，橫列表示推測的跛行等級，中間數(shù)字表示預(yù)測值對應(yīng)真實值的個數(shù)，通過個數(shù)計算精度（Accuracy）、精確率（Precision）、召回率（Recall）和平衡分?jǐn)?shù)Macro-F1 評價分類效果，其計算如式（6）～（10）所示。

式中TP 為正確檢測出該跛行等級奶牛的個數(shù)，TN 為正確檢測出非該跛行等級奶牛的個數(shù)，F(xiàn)P 為非該跛行等級奶牛被誤檢為該等級的個數(shù)，F(xiàn)N 為該跛行等級奶牛被誤檢為非該等級的個數(shù)。

熱紅外數(shù)據(jù)下Macro-F1為0.90，精度為90.0%。等級1 的F1-Score 為0.93，等級2 的F1-Score 為0.88，等級3 的F1-Score 為0.89?？梢哉f明本文模型可以在熱紅外數(shù)據(jù)集下對所有奶牛的跛行進(jìn)行檢測，其中對等級1的奶牛有相對良好的檢測效果。

可見光數(shù)據(jù)下Macro-F1為0.83，精度為83.3%。跛行等級1 的F1-Score 為0.88，等級2 的F1-Score 為0.84，等級3 的F1-Score 為0.77。其中同樣對跛行等級1 的奶牛有相對良好的檢測效果。熱紅外與可見光兩組數(shù)據(jù)集在等級1 使得表現(xiàn)都是其中最好的，等級2、3 效果相對一般。

對比熱紅外與可見光兩組數(shù)據(jù)下的分類效果，可知熱紅外Macro-F1高于可見光0.07，精度高于可見光約7個百分點(diǎn)。熱紅外3 類跛行等級中F1皆大于等于可見光中的F1。結(jié)果說明熱紅外視頻對于跛行檢測能力綜合優(yōu)于可見光視頻。可見光受光照等環(huán)境影響大，豐富的色彩等細(xì)節(jié)信息在跛行檢測中重要程度不高。相比熱紅外受環(huán)境影響小，通過熱成像可以清晰表述重要的圖像輪廓信息，便于弓背曲率等跛行姿態(tài)指標(biāo)的分析，進(jìn)而擁有相對更加良好的效果。

3 結(jié) 論

為了解決計算機(jī)視覺奶牛跛行檢測系統(tǒng)易受光線、環(huán)境變化因素影響的問題，本文提出了一種基于熱紅外視頻的奶牛跛行運(yùn)動特征獲取與檢測的方法，所取得的結(jié)論如下：

通過對比熱紅外視頻與可見光視頻在奶牛跛行檢測系統(tǒng)中的表現(xiàn)，本文發(fā)現(xiàn)算法對于熱紅外奶牛行走視頻有更好的檢測效果。在奶牛運(yùn)動特征檢測的對比中，本文使用30 頭奶牛行走視頻的分幀圖像，包括熱紅外圖像、2D 白天圖像和2D 夜晚圖像各1 400 張用于特征提取對比，深度學(xué)習(xí)和傳統(tǒng)圖像處理方法對熱紅外數(shù)據(jù)集的檢測總體平均精確率達(dá)到90.84%和74.26%，遠(yuǎn)超于可見光（白天）及可見光（夜晚）。相較于可見光相機(jī)，熱紅外相機(jī)在光照和環(huán)境變化的情況下對跛行特征提取效果更好；

在奶牛跛行檢測的對比試驗中，本文使用60 頭奶牛的弓背曲率進(jìn)行跛行檢測，對熱紅外數(shù)據(jù)集的檢測精度達(dá)到90.0%，平衡分?jǐn)?shù)Macro-F1達(dá)到0.90，對可見光數(shù)據(jù)集的檢測精度為83.3%，平衡分?jǐn)?shù)Macro-F1為0.83。研究表明相較于可見光相機(jī)，熱紅外相機(jī)應(yīng)用于計算機(jī)視覺奶牛跛行檢測系統(tǒng)可以更好的實現(xiàn)奶牛跛行運(yùn)動特征獲取與跛行檢測，該研究結(jié)果可為計算機(jī)視覺奶牛跛行檢測研究提供新方法與思路。同時，通過奶牛運(yùn)動特征檢測的研究也可以發(fā)現(xiàn)，由于奶牛的肩部和臀部面積較小、圖形特征不明顯并且存在欄桿遮擋，現(xiàn)有方法的檢測效果仍有待提高，尚需進(jìn)一步深入研究。