基于計算機視覺的奶牛跛行識別技術研究進展

李 前，初夢苑，康 熙，劉 剛

基于計算機視覺的奶牛跛行識別技術研究進展

李 前，初夢苑，康 熙，劉 剛※

（1. 中國農業(yè)大學智慧農業(yè)系統(tǒng)集成研究教育部重點實驗室，北京 100083；2. 中國農業(yè)大學農業(yè)農村部農業(yè)信息獲取技術重點實驗室，北京 100083）

奶牛跛行嚴重降低奶牛福利及潛在產奶量，影響?zhàn)B殖場經濟效益。準確高效識別奶牛跛行，有助于奶牛肢蹄病的及早發(fā)現(xiàn)與治療，促進奶業(yè)的健康和可持續(xù)發(fā)展。人工觀察法識別奶牛跛行存在識別效率低、成本高、主觀性強等問題。計算機視覺技術可以通過無應激、無接觸地采集奶牛行走視頻數(shù)據，準確高效識別奶牛跛行。該研究從可見光相機、深度相機以及熱紅外相機3種視頻采集手段出發(fā)，概述了當前奶牛跛行自動識別的主要研究方法、關鍵技術以及未來發(fā)展方向等，對比分析了各研究方法的優(yōu)勢和不足，指出個體差異性、跛行特征的優(yōu)選以及早期跛行識別等需要重點關注的技術問題。同時，該研究從數(shù)據獲取、技術研發(fā)和試驗驗證等方面，分析了奶牛跛行識別技術研究領域存在的主要問題及挑戰(zhàn)，展望了未來奶牛跛行識別技術的研究重點和發(fā)展方向，為奶牛跛行的精準高效識別提供相關理論依據和技術參考。

計算機視覺；圖像處理；深度學習；奶牛跛行識別；可見光相機；深度相機；熱紅外相機

0 引 言

近年來，隨著奶牛養(yǎng)殖場集約化程度的提高，奶?；顒涌臻g逐漸減小，活動地面硬化，奶牛跛行發(fā)病率呈上升趨勢，跛行已成為制約養(yǎng)殖健康發(fā)展的一個主要因素[1-2]。奶牛跛行主要是由感染性疾病（趾間皮炎等）或非感染性疾?。ò拙€病等）造成的肢蹄功能損傷[3]，進而在行走過程中因壓痛而出現(xiàn)的步態(tài)異?，F(xiàn)象[4-5]。奶牛跛行的發(fā)病率受地域、飼養(yǎng)條件及環(huán)境的影響較大，不同國家和不同養(yǎng)殖區(qū)域的奶牛跛行率存在明顯的差異[6]。據報道，美國東北部的奶牛跛行率為45%[7]，英國為28.2%[8]，巴西為42.5%[9]，加拿大為20.8%[10]，中國的奶牛跛行率為31%[11]。奶牛跛行不僅降低奶牛福利及潛在產奶量，增加奶牛過早淘汰的風險，同時還會給奶牛養(yǎng)殖戶造成較大的經濟損失[12-14]。奶牛早期跛行癥狀較輕，不易被發(fā)現(xiàn)，通常僅具有輕微的步態(tài)異常[15]，待發(fā)展到一定程度時，才具有較明顯的跛行表現(xiàn)，此時進行治療，治療費用是輕度跛行的3倍，并且治愈率大大降低[16]。因此，及時高效地識別奶牛跛行，尤其是早期跛行，對促進奶業(yè)健康和可持續(xù)發(fā)展具有重要的現(xiàn)實意義。

通過對奶牛進行修蹄，獸醫(yī)可以準確分辨出跛行奶牛，然而養(yǎng)殖場通常每年只對奶牛進行2次修蹄，無法滿足養(yǎng)殖場日常識別奶牛跛行的需要[17]。傳統(tǒng)的奶牛跛行識別以人工觀察法為主，通過觀察奶牛行走過程中的弓背、點頭以及步態(tài)等方面的異常，根據經典的五分制運動評分標準[18]評估奶牛運動能力，進而識別奶牛跛行。但人工觀察法識別奶牛跛行存在一些不足：首先，觀察人員在場時容易引起奶牛的應激反應，導致測量偏差[19]；其次，觀察人員識別奶牛跛行具有較強的主觀性（例如，同一觀察人員在對同一批奶牛進行2次運動能力評估時，得分只有56%是一致的，而當2名觀察者分別對同一批奶牛進行運動能力評估時，得分只有37%是一致的[20]）；再有，當養(yǎng)殖場規(guī)模較大時，人工觀察法費時費力，效率較低，難以識別出奶牛步態(tài)的輕微異常[21]。接觸式傳感器通過與奶牛身體直接接觸，測量出奶牛行走過程中的運動參數(shù)，進而通過數(shù)據分析技術，推測奶牛跛行。常用的接觸式傳感器主要包括力平臺[22]和加速度傳感器[23]等。利用接觸式傳感器識別奶牛跛行，采集數(shù)據相對容易，研究和決策方法相對簡單，但接觸式傳感器容易造成奶牛應激反應，且受環(huán)境影響易產生信號損失，降低奶牛跛行識別準確率。

計算機視覺技術可以通過無應激、無接觸地采集奶牛行走視頻數(shù)據，供研究人員仔細觀察和分析，利用跛行特征提取和特征分類的方法，自動識別奶牛跛行，該技術現(xiàn)已成為奶牛跛行自動識別領域的重要研究手段。當前，國內外研究學者大多從奶牛跛行的表現(xiàn)以及跛行特征的構建等幾個方面，自動識別奶牛跛行，未能充分研究奶牛跛行識別技術中的跛行特征提取算法與特征分類算法[24-25]。提取跛行特征和優(yōu)選特征分類算法，是基于計算機視覺的奶牛跛行識別技術準確識別奶牛跛行的關鍵。跛行特征的提取方法，主要分為手工設計特征的傳統(tǒng)機器學習方法和自動獲取特征的深度學習方法。近年來，隨著深度學習方法的快速發(fā)展，基于深度學習的圖像分類、目標檢測以及圖像分割等算法為視頻數(shù)據處理和分析提供了可靠的技術支撐，基于計算機視覺的奶牛跛行識別技術迎來了新的發(fā)展機遇。

目前，基于計算機視覺的奶牛跛行識別技術取得了較好的研究成果。本研究將從可見光相機、深度相機以及熱紅外相機3種視頻采集手段出發(fā)，概述奶牛跛行識別的工作原理和關鍵技術等；從數(shù)據獲取、技術研發(fā)和試驗驗證等方面，分析其存在的主要技術問題及挑戰(zhàn)；同時，探討未來的研究重點和發(fā)展方向，以期為今后進一步開展精準高效的奶牛跛行識別技術研究提供相關理論依據和技術參考。

1 基于計算機視覺的奶牛跛行識別技術研究

計算機視覺技術通過自動采集家畜行為視頻數(shù)據，利用圖像處理方法或深度學習算法對視頻數(shù)據進行處理分析，自動識別家畜的異常行為。在奶牛養(yǎng)殖場，計算機視覺技術不僅可以用來識別奶牛跛行，還可以通過分析姿態(tài)特征和運動特征識別奶牛的發(fā)情行為，監(jiān)測奶牛身體健康狀況，此外，通過顏色特征、紋理特征和行為特征來識別奶牛個體身份，提高奶牛養(yǎng)殖場的智能化監(jiān)測水平。

基于計算機視覺的奶牛跛行識別流程如圖1所示。

利用相機采集奶牛行走視頻數(shù)據，通過傳統(tǒng)的圖像處理方法或深度學習算法，從視頻圖像序列中檢測奶牛的關鍵身體部位，提取奶牛行走過程中的跛行特征，并對這些跛行特征進行匯總分類，進而自動識別奶牛跛行。近年來，國內外學者開展了較多基于計算機視覺的奶牛跛行識別技術研究，積累了大量的研究成果，如表1所示。國內外基于計算機視覺的奶牛跛行識別多是基于可見光相機采集奶牛行走視頻，通過圖像處理與分析，提取并分類跛行特征，識別奶牛跛行。深度相機和熱紅外相機作為新一代視頻采集手段，起步較晚，研究成果相對較少。跛行特征選擇方面，奶牛跛行識別大多參照經典的五分制運動評分標準，如表2所示，主要包括：弓背、點頭、甩腿、步速緩慢、步態(tài)不對稱和不跟隨等[26-27]。

圖1 基于計算機視覺的奶牛跛行識別技術流程圖

表1 基于計算機視覺的奶牛跛行識別技術相關研究

表2 五分制運動評分標準[18]

1.1 基于可見光相機的奶牛跛行識別技術

與人工觀察法相比，可見光相機可記錄奶牛行走視頻數(shù)據，供研究人員反復觀看，提高奶牛跛行識別的準確性，可見光相機拍攝的奶牛行走側視圖如圖2所示。基于可見光相機的奶牛跛行識別技術，先是利用可見光相機采集奶牛行走視頻數(shù)據，利用圖像處理方法或深度學習算法從視頻幀中檢測出奶牛的關鍵身體部位，然后提取奶牛關鍵身體部位對應的跛行特征，結合人工標簽對奶牛跛行分類算法進行訓練，進而自動識別奶牛跛行[51]。根據上述奶牛跛行識別流程，下文將從奶牛關鍵身體部位檢測方法、奶牛跛行特征的選擇以及奶牛跛行分類方法3個方面，分別對現(xiàn)有的基于可見光相機的奶牛跛行識別技術研究展開介紹。

圖2 可見光相機拍攝的奶牛行走側視圖

1.1.1 奶牛關鍵身體部位檢測方法

利用可見光相機采集奶牛行走視頻，從復雜的圖像背景中準確檢測奶牛的關鍵身體部位是跛行特征提取與分類的基礎，也是準確識別奶牛跛行的關鍵。為準確區(qū)分奶牛行走視頻的前景和背景，檢測奶牛的關鍵身體部位，相關學者對此進行較為深入的研究，取得了較好的研究成果，部分奶牛關鍵身體部位檢測方法研究見表3?；诳梢姽庀鄼C的奶牛跛行識別研究初期，研究學者主要通過手工標記奶牛關鍵身體部位，獲取奶牛跛行特征。隨著計算機視覺技術的快速發(fā)展，學者們將圖像處理方法和深度學習算法相結合，應用于奶牛關鍵身體部位的快速檢測，大幅度提高奶牛關鍵身體部位的檢測效率。

表3 奶牛關鍵身體部位檢測方法相關研究

研究學者利用可見光相機采集奶牛行走視頻，通過手工標記奶牛關鍵身體部位，進而分析奶牛運動狀態(tài)。Flower等[52]使用反光帶標記奶牛肢蹄關節(jié)部位，利用可見光相機采集奶牛行走視頻，進而分析視頻中標記物的運動軌跡。Bahr等[53]對10頭奶牛的行走視頻數(shù)據進行手工標記，包括奶牛背部關鍵點位置以及牛蹄著地位置，進而分析奶牛行走運動參數(shù)，較全面地表示奶牛的運動狀態(tài)。手工標記奶牛關鍵身體部位，分析奶牛關鍵身體部位的運動參數(shù)，雖然可以有效區(qū)分正常奶牛與跛行奶牛，但視頻數(shù)據中包含較多數(shù)量的視頻幀，利用手工標記視頻幀中奶牛的關鍵身體部位，仍然存在工作量大，工作效率低等問題。

為提高奶牛關鍵身體部位的檢測效率，研究學者將圖像處理方法應用于奶牛關鍵身體部位檢測。Pluk等[54]使用壓力墊確定牛蹄著地位置和著地時間，根據牛蹄著地時間找出視頻中對應的視頻幀，使用圖像二值化方法和圖像增強方法，再結合牛蹄著地位置計算牛蹄傾斜角度。背景減除法是將包含奶牛的視頻幀與不含奶牛的背景圖像做差值，進而獲取奶牛的身體輪廓，此方法可以自動獲取視頻幀中奶牛的背部輪廓[28]以及牛蹄著地位置[55]。背景減除法思想簡單，效率較高，但當目標與背景環(huán)境差異較小時，背景減除法易受噪聲的干擾，難以準確區(qū)分前景和背景，降低目標檢測精度。為改善這種狀況，Zhao等[56]首先通過幀差法計算視頻幀中包含奶牛的邊界矩形，利用區(qū)域相減獲取局部背景圖像，拼接多個背景圖像獲得全局背景圖像，再通過調整視頻幀中RGB通道的求和系數(shù)，提高目標圖像和背景圖像之間的對比度，最后使用背景減除法檢測奶牛身體輪廓，129頭奶牛的視頻分析結果表明，奶牛目標檢測精度相比經典的背景減除法提升了24.85%。ViBe算法[29]是一種基于背景更新的前景檢測算法，該算法通過分析當前視頻幀中每一個像素周圍的像素值以及前一時刻該位置的像素值，以此判定目標屬于前景還是背景。該算法思想簡單，運算效率較高，但對于運動速度較慢的目標，容易將其歸類于背景，降低奶牛關鍵身體部位的檢測精度。利用相鄰視頻幀之間的像素變化可以有效檢測運動中的奶牛，宋懷波等[30]研究奶牛行走視頻中單個視頻幀的像素分布，發(fā)現(xiàn)奶牛目標像素與背景像素大致滿足雙峰分布，因此采用正態(tài)分布背景統(tǒng)計模型區(qū)分視頻幀中的前景和背景，并使用局部循環(huán)中心補償策略，補充奶牛身體像素點空洞部分。此方法根據奶牛與背景環(huán)境的像素統(tǒng)計分布特性檢測奶牛目標，受奶牛行走速度的影響較小，但不易處理前景目標與背景環(huán)境相似度較高的狀況。

基于深度學習的目標檢測算法和圖像分割算法能夠從復雜的背景環(huán)境中精確地分離出前景和背景，為奶牛關鍵身體部位檢測提供新的解決方案。Wu等[31]將深度學習中YOLOv3目標檢測算法[59]應用于奶牛腿部檢測，使用2 500張標注的圖像作為訓練集，另外2 500張標注的圖像作為測試集，奶牛腿部檢測精度為93.73%。Jiang等[57]在YOLOv3算法中加入平滑濾波層，過濾掉因卷積操作而產生的粒子噪聲，以500張標注的圖像作為訓練集，另外500張標注的圖像作為測試集，奶牛關鍵身體部位的檢測精度為99.18%，實現(xiàn)了奶牛頭部、背部和腿部等關鍵部位的精確檢測。Kang等[32]將YOLOv3、YOLOv4[60]、YOLOv5系列[61]以及Efficiendet系列[62]目標檢測算法應用于奶牛蹄部檢測，將3 045張圖像按照7∶2∶1的比例劃分為訓練集、驗證集和測試集，試驗結果分析表明使用YOLOv5m算法的奶牛蹄部檢測精度最高，平均檢測精度為93.21%，其次為YOLOv4的92.39%。研究學者使用目標檢測算法檢測奶牛關鍵身體部位，可獲得較高的檢測精度，但目標檢測算法使用矩形包圍盒框出目標，無法精確獲取目標的邊界輪廓，因此部分研究學者嘗試使用獲取目標邊界輪廓信息的圖像分割算法。Noe等[58]將Mask-RCNN圖像分割算法應用于奶牛身體檢測，以1 600張標注的圖像作為訓練集，400張標注的圖像作為測試集，奶牛圖像分割的準確率為95.5%。Arazo等[63]通過對比分析DeepLabv3算法[64]和RVOS算法[65]在圖像上的前景提取效果，提出了將FPN算法[66]應用于奶牛RGB圖像和深度圖像，并進一步發(fā)現(xiàn)FPN算法在RGB圖像上的圖像分割效果優(yōu)于在深度圖像上的圖像分割效果。相比于目標檢測算法，圖像分割算法可以精確分割出奶牛的身體輪廓，獲得奶牛背部輪廓和腿部傾斜角度等特征，可更好地應用在基于計算機視覺的奶牛跛行識別技術領域。

手工標記奶牛關鍵部位的方法費時費力，效率較低，已基本被淘汰；利用圖像處理方法自動檢測奶牛關鍵身體部位，邏輯思想簡單，效率較高，但在復雜背景的情況下檢測效果較差；目標檢測算法檢測精度較高，但需要使用大量標注的圖像數(shù)據進行訓練，并且無法獲取目標的邊界輪廓信息；圖像分割算法可以精確地獲得目標的邊界輪廓，為后續(xù)跛行特征提取提供較好的數(shù)據支撐，但此方法需要大量標注的圖像數(shù)據，分割準確率有待提升?？傊?，不同的方法均有其優(yōu)勢和不足，應根據實際應用的場景，選取合適的奶牛關鍵身體部位檢測方法。

1.1.2 奶牛跛行特征的選擇

基于可見光相機的奶牛跛行識別技術，在跛行特征提取方面，主要根據經典的五分制運動評分標準，通過觀察奶牛背部姿態(tài)、站立姿勢以及行走步態(tài)等方面的異常，將奶牛跛行分為1～5分值，分值越大表示奶牛跛行程度越高。

弓背可以減輕奶牛行走過程中對患病肢蹄的壓痛，因此養(yǎng)殖場的工作人員常根據此特征識別奶牛跛行。Bahr等[53]觀察奶牛行走視頻數(shù)據，確定奶牛背部關鍵點，通過背部關鍵點繪制圓形來擬合奶牛背部輪廓，以圓形半徑表示奶牛背部曲率特征，利用此特征識別奶牛跛行，研究結果分析表明，弓背特征與奶牛跛行具有較強的相關性，同時為后續(xù)基于計算機視覺自動提取奶牛弓背特征并識別奶牛跛行提供了依據。Poursaberi等[28]使用圖像處理方法獲取奶牛背部輪廓，在奶牛背部輪廓上自動提取3個關鍵點，獲取奶牛背部曲率特征，以此評估奶牛跛行程度，通過對184頭奶牛的視頻數(shù)據進行測試分析，奶牛跛行識別準確率為96%?？紤]到單個圓形較難準確擬合奶牛背部輪廓，該研究團隊進一步以背部最高點為分界點，在奶牛頸部和臀部2個部位擬合橢圓，研究分析2個橢圓的大小、方向和相對位置關系，更準確地表示奶牛背部輪廓，通過對156頭奶牛的視頻數(shù)據進行測試分析，跛行識別準確率為97.4%[33]。奶牛跛行時，其頭部、頸部及背部連接處有明顯的特征變化，宋懷波等[30]通過擬合奶牛頭頸部曲線，獲取該曲線的線性斜率，作為跛行特征來識別奶牛跛行，利用30頭奶牛的視頻數(shù)據進行測試分析，跛行識別準確率為93.89%，表明頭頸部輪廓曲線特征也能有效識別奶牛跛行。隨著深度學習算法的不斷發(fā)展與進步，一些研究學者將目標檢測算法應用于奶牛跛行識別，Jiang等[34]將圖像處理方法與目標檢測算法相結合，利用圖像處理方法獲取奶牛身體輪廓，通過目標檢測算法確定奶牛背部區(qū)域，進而提取視頻中奶牛的背部輪廓序列，作為跛行特征識別奶牛跛行，通過90頭奶牛的視頻數(shù)據測試分析，跛行識別準確率為96.61%。上述研究表明弓背特征與奶牛跛行的相關性較大，通過檢測奶牛背部輪廓，提取奶牛背部輪廓的曲率特征，可有效識別奶牛跛行。

奶牛的行走過程可以看作是多個步態(tài)周期的重復，從牛蹄著地開始到該牛蹄再次著地的過程稱為一個步態(tài)周期，步態(tài)周期主要分為支撐相和擺動相2個階段[67]，奶牛步態(tài)周期行走示意圖如圖3所示。

圖3 奶牛步態(tài)周期示意圖

奶牛在行走過程中，通常情況下先邁后蹄，再邁前蹄，且后蹄會落在前蹄所在的位置，進而左右肢蹄交替運動，有規(guī)律地向前行走[4]。跛行奶牛由于肢蹄功能受損，在牛蹄著地時會引起壓痛，從而導致奶牛行走時的步態(tài)異常，其主要表現(xiàn)在步速較慢、左右肢蹄步態(tài)不對稱、前后肢蹄步態(tài)不跟隨以及行走的穩(wěn)定性和節(jié)奏性遭到破壞等[68]。Flower等[52]使用反光帶標記奶牛肢蹄關節(jié)部位，利用可見光相機采集奶牛行走視頻，分析視頻中標記物的運動特征，辨別跛行奶牛與正常奶牛，該研究首次將計算機視覺技術應用于奶牛步態(tài)特征提取，為其后奶牛跛行的自動識別研究提供了技術支持。Song等[55]通過對比視頻圖像中牛蹄的著地位置與現(xiàn)實場景中牛蹄的著地位置，發(fā)現(xiàn)兩者的相關系數(shù)為0.948，該研究充分表明計算機視覺技術在量化奶牛步態(tài)特征方面具有較大的發(fā)展?jié)摿Α？滴醯萚29]將時空差值算法應用于奶牛蹄部檢測，結合奶牛前蹄和后蹄著地的相對位置關系，分析奶牛步態(tài)的跟隨特性，自動識別奶牛跛行。Wu等[31]將目標檢測算法應用于奶牛肢蹄檢測，通過分析奶牛前后肢蹄的相對位置關系，提取奶牛相對步長序列特征，可較好地識別奶牛跛行，提升了奶牛跛行識別效果。Zhao等[35]利用圖像處理方法獲取奶牛運動時各肢蹄的實時位置信息，繪制并分析各肢蹄的運動曲線，進而提取奶牛步態(tài)對稱性、跟隨性、速度、支撐相、步幅和敏感性等6個步態(tài)特征，通過對98頭奶牛的視頻數(shù)據進行測試分析，跛行識別準確率為90.18%，此研究通過增加跛行特征提取的類別，提升了奶牛跛行識別的可靠性。跛行奶牛蹄部著地時會產生壓痛，導致支撐相時間變短，另一側牛蹄的支撐相時間會延長，Kang等[36]利用高速相機記錄牛蹄著地位置，進而對奶牛各肢蹄著地時間進行計算，提取更精確的奶牛跛行特征，利用100頭奶牛的視頻數(shù)據測試分析，跛行識別準確率為96%。在此研究基礎上，為了更詳細研究奶牛蹄部的時空運動特征，Kang等[32]使用目標檢測算法獲取視頻幀中牛蹄的位置，結合視頻序列的時間信息，構造包含牛蹄位置信息與時間信息的時空步態(tài)圖，作為奶牛步態(tài)特征識別奶牛跛行，利用456頭奶牛的視頻數(shù)據測試分析，跛行識別準確率為98.5%。上述研究表明，通過提取奶牛步態(tài)特征來識別奶牛跛行，識別準確率得到了提升。

一些難以被人眼觀察到的底層紋理特征和光流特征也可以作為跛行特征，來識別奶牛跛行。溫長吉等[37]通過提取視頻圖像中的時空興趣點，獲取底層HOG（Histogram of Oriented Gradient）特征，提出了一種稀疏超完備詞典算法，語義級描述奶牛跛行，取得了較好的奶牛跛行在線識別效果。Jiang等[38]通過分析奶牛行走圖像序列中的像素分布，發(fā)現(xiàn)像素統(tǒng)計特征符合2個疊加的正態(tài)分布，設計了一個雙正態(tài)分布統(tǒng)計模型，利用像素統(tǒng)計特征確定奶牛跛行程度。由于像素統(tǒng)計特征對奶牛步態(tài)的輕微異常不敏感，為了檢測奶牛步態(tài)的輕微異常，更全面表征奶牛跛行，Jiang等[39]進一步利用光流特征表征奶牛步態(tài)的輕微運動異常，來識別奶牛早期跛行，通過90頭奶牛的視頻數(shù)據測試分析，跛行識別準確率為98.24%。上述研究表明，一些精細的底層統(tǒng)計特征以及微小的運動特征，可以作為跛行特征識別奶牛跛行，在奶牛微運動特征分析方面仍需進一步探索。

奶牛弓背特征和步態(tài)特征是奶牛跛行識別研究中經常使用的跛行特征，此方面的研究已取得較好的進展，尤其是奶牛中重度跛行識別研究中，利用弓背特征和步態(tài)特征能夠獲得較好的跛行識別效果，但針對跛行癥狀不明顯的奶牛早期跛行，其識別準確率偏低。因此，應深入探索奶牛微運動特征及時序變化特征，研究分析運動異常不明顯的奶牛早期跛行，提升奶牛早期跛行識別準確率。

1.1.3 奶牛跛行分類方法

奶牛跛行分類方法對使用人工設計的跛行特征或使用深度學習自動提取的跛行特征進行匯總分類，以此確定奶牛跛行程度。目前，奶牛跛行分類方法主要包括基于閾值的奶牛跛行分類方法、基于傳統(tǒng)機器學習的奶牛跛行分類方法以及基于深度學習的奶牛跛行分類方法。

基于閾值的奶牛跛行分類方法具有分類思想簡單，應用場景較為廣泛，使用方便等優(yōu)點。一些學者通過提取奶牛背部曲率特征，設置奶牛背部曲率閾值，區(qū)分奶牛跛行程度。Viazzi等[40]使用背部曲率特征識別奶牛跛行，發(fā)現(xiàn)當為每頭奶牛分別設置個體閾值時，其跛行識別準確率要比設置群體閾值時高10%，此研究表明注重個體差異性可提高奶牛跛行的識別準確率。不同的奶牛體態(tài)不同，對肢蹄疼痛的忍耐程度不同，這些個體差異會影響奶牛跛行癥狀，因此，直接使用閾值設定的方法分類奶牛跛行程度，會降低奶牛跛行識別準確率。為降低奶牛個體差異性對跛行分類準確率的影響，提升跛行分類泛化性能，一些研究學者利用傳統(tǒng)的機器學習方法分類奶牛跛行，即將機器學習算法在劃分好的訓練集上進行函數(shù)擬合，確定機器學習算法的參數(shù)值，再通過擬合好的機器學習算法在測試集上分類奶牛跛行?；趥鹘y(tǒng)機器學習的奶牛跛行分類方法主要包括：K最近鄰算法（K-Nearest Neighbor, KNN）[30]、支持向量機算法（Support Vector Machine, SVM）[37]以及決策樹算法[40,53]等。傳統(tǒng)的機器學習方法邏輯思想簡單，決策容易，分類效率較高，但對高維復雜特征的分類效果較差。深度學習算法能夠從高維復雜的特征中準確高效地提取出高價值的特征，能夠獲得比傳統(tǒng)機器學習方法更加準確可靠的分類結果。奶牛跛行識別研究中常用的深度學習算法主要包括卷積神經網絡（Convolutional Neural Networks, CNN）和長短期記憶網絡（Bilateral Long Short-term Memory, BiLSTM）[69]。卷積神經網絡可以深入挖掘視頻圖像中的隱藏特征，對高維復雜特征有較好的提取效果，在奶牛跛行分類任務上得到了較為廣泛的應用。長短期記憶網絡因其獨特的“輸入門”、“遺忘門”和“輸出門”結構，對時序信息的處理能力較強，在處理特征序列方面表現(xiàn)較好。基于深度學習的奶牛跛行分類方法，分類準確率較高，泛化性能較好，適用于不同的奶牛養(yǎng)殖場，但需要大量標注的數(shù)據進行訓練，而這些標注的數(shù)據在采集和標注過程中，往往需要耗費大量的人力物力。

2.4 兩組患者纖溶系統(tǒng)指標比較 治療前，兩組FIB、D-二聚體、t-PA及PAI-1比較，差異無統(tǒng)計學意義(P>0.05)；治療后，兩組患者各纖溶系統(tǒng)指標均低于治療前，且試驗組低于對照組(P<0.05)。見表4。

基于閾值的奶牛跛行分類方法適用于分類特征簡單，特征易于區(qū)分的情況，但泛化性能較差，跛行分類準確率偏低；基于傳統(tǒng)機器學習的奶牛跛行分類方法，在處理小批量數(shù)據集方面，有較好的分類效果，但在特征較復雜時跛行分類效果不佳；基于深度學習的奶牛跛行分類方法，在數(shù)據量較充足的情況下，可獲得較高的跛行分類準確率，而在處理小批量數(shù)據方面，分類效果較差。因此，在奶牛跛行分類方法的選擇上，應根據跛行特征的特點和數(shù)據集的大小選擇適合的跛行分類方法。

基于可見光相機的奶牛跛行識別技術，通過可見光相機采集奶牛行走視頻數(shù)據，利用圖像處理方法或深度學習算法檢測奶牛關鍵身體部位，進而提取奶牛跛行特征，識別奶牛跛行，目前已取得了較好的研究成果，但仍然存在著一些尚未完全解決的技術問題，比如前景和背景的準確分離問題以及奶牛跛行特征的合理選擇問題等，這些問題均會降低奶牛跛行的識別準確率及魯棒性，限制相關研究成果的實際應用。

1.2 基于深度相機的奶牛跛行識別技術

深度相機按照工作原理的不同主要分為3類，分別是結構光、雙目立體視覺以及飛行時間（Time-of-Flight, ToF），這3種技術可以記錄三維空間中各像素點到深度相機之間的距離，形成三維點云數(shù)據。與可見光相機相比，深度相機可以得到每個像素點到相機之間的距離信息，彌補可見光相機采集的二維空間信息的限制，還能夠在一定程度上減弱由光照等周圍環(huán)境帶來的背景持續(xù)變化的影響。因此，一些研究學者利用深度相機采集奶牛行走深度視頻，提取更精確的奶牛跛行特征，以此識別奶牛跛行，使用深度相機拍攝的奶牛行走深度圖像如圖4所示。

圖4 深度相機拍攝的奶牛俯視圖及側視圖

一些養(yǎng)殖場由于空間狹小受限，無法在奶牛行走通道側方安裝相機，采集奶牛行走視頻。針對此限制，Viazzi等[41]在奶牛行走通道上方3.15 m處安裝一臺深度相機，采集奶牛背部的深度圖像，結合深度圖像中蘊含的三維空間信息，構建奶牛背部結構圖，使用2個橢圓擬合奶牛背部曲率特征，用決策樹算法識別奶牛跛行，獲得了與人工識別相近的跛行識別效果[70]。養(yǎng)殖場地表潮濕光滑，常出現(xiàn)奶牛行走打滑和摔倒的現(xiàn)象，這些現(xiàn)象會引起奶牛跛行檢測系統(tǒng)的誤識別。針對此情況，Hertem等[42]優(yōu)化了跛行識別算法，使用深度相機連續(xù)采集4 d的奶牛行走深度視頻，綜合評估奶牛行走狀態(tài)，減少奶牛跛行誤檢情況。此外，奶牛養(yǎng)殖場進出通道過寬，會導致多頭奶牛并行，影響跛行識別效果，因此，應標準化奶牛進出通道，約束奶牛的行走間隔，減弱奶牛之間的相互影響，提升奶牛跛行識別效果[71]。為了分析基于多特征的奶牛跛行識別技術，Hertem等[43]利用深度相機采集奶牛行走深度視頻，分析奶牛背部曲率特征，補充奶牛產奶量和活動量等額外信息，將奶牛跛行識別準確率提升了12.4%，試驗結果分析表明，使用多個特征識別奶牛跛行的準確率優(yōu)于使用單一特征識別奶牛跛行。在奶牛背部多個特征中，髖關節(jié)周圍的背部曲率與奶牛跛行的相關系數(shù)最高，達到0.732。Jabbar等[44]使用深度相機采集奶牛背部深度圖像，利用圖像處理方法檢測奶牛背部脊柱，計算奶牛行走過程中髖關節(jié)的高度變化值，利用希爾伯特變換方法，分析髖關節(jié)的左右對稱性，使用SVM算法識別奶牛跛行，通過22頭奶牛的深度圖像數(shù)據測試分析，跛行識別準確率為95.7%。上述研究表明，深度相機安裝在奶牛養(yǎng)殖場通道上方可節(jié)省養(yǎng)殖場空間，采集的奶牛背部三維空間信息可精確獲取奶牛弓背特征，進而識別奶牛跛行。因此，基于深度相機的奶牛跛行識別技術在養(yǎng)殖場實際應用階段具有較大的發(fā)展?jié)摿Α?/p>

還有一些學者嘗試將深度相機安裝在通道側方，以提取奶牛步態(tài)信息。Gardenier等[72]使用4個深度相機采集奶牛行走深度視頻數(shù)據，利用目標檢測算法檢測奶牛肢蹄關節(jié)位置，獲取其運動軌跡，根據運動軌跡計算包括奶牛肢蹄外展和跟隨性等步態(tài)特征。為深入分析奶牛步態(tài)特征，Okura等[73]使用深度相機采集奶牛行走深度視頻數(shù)據，利用圖像處理方法提取奶牛行走步態(tài)輪廓，整合為步態(tài)能量圖，用于分析奶牛步態(tài)信息。這種方法不僅獲取奶牛背部特征，而且在奶牛步態(tài)信息獲取方面，也表現(xiàn)出了較好的應用潛力。此外，深度相機能夠為家畜體況評分及體重預估等方面提供技術支持[74-75]，在家畜身體健康監(jiān)測和疾病診斷方面，也具有較大的應用前景。

隨著電子信息技術的快速發(fā)展，深度相機越來越普及，價格也越來越低，這為基于計算機視覺的奶牛跛行識別研究提供了一種新的技術手段。在奶牛行走通道頂部安裝深度相機，采集奶牛背部深度圖像，根據深度圖像中蘊含的三維空間信息可獲取奶牛背部曲率特征及脊柱彎曲特征，進而實現(xiàn)頂部視角安裝深度相機的奶牛跛行自動識別。奶牛的跛行癥狀表現(xiàn)是多方面的，僅僅利用弓背特征識別奶牛跛行，會降低奶牛跛行識別的可靠性，另外，深度相機拍攝的深度圖像數(shù)據量較大，視野較小，不易整體表征奶牛運動狀態(tài)，使得奶牛跛行識別效果偏低。因此，將深度相機與可見光相機進行結合，多方面提取奶牛跛行特征，可提升奶牛跛行識別的可靠性，優(yōu)化奶牛跛行識別效果。

1.3 基于熱紅外相機的奶牛跛行識別技術

任何高于絕對零度的物體都會向外輻射紅外，而輻射的紅外能量與自身的溫度大小呈正相關，溫度越高所輻射的能量就越強，熱紅外相機可根據物體輻射的紅外能量，測得物體表面溫度[76]?；加兄悴〉哪膛?，機體防御系統(tǒng)活躍性升高，所患炎癥部位的血液循環(huán)加速，這會導致奶?；疾≈闾幍谋砻鏈囟壬遊77]，因此一些學者利用熱紅外相機采集奶牛蹄部熱紅外圖像，對牛蹄表面溫度進行分析，設置閾值識別奶牛跛行。使用熱紅外相機拍攝的奶牛熱紅外圖像（分辨率為561×421像素）以及奶牛蹄部熱紅外圖像如圖5所示。

圖5 熱紅外相機拍攝的奶牛身體圖及蹄部圖

有研究發(fā)現(xiàn)，相比于泌乳后期的奶牛，處于泌乳前期和中期的奶牛，其蹄部冠狀動脈帶溫度相對較高，更接近于奶牛真實溫度，因此在此階段檢測奶牛蹄部溫度，可獲得更加準確的溫度測量結果[78]。不同個體的奶牛，體表溫度往往具有差異性，考慮到這種個體差異性帶來的不利影響，Alsaaod等[46]分別測量奶牛前后牛蹄冠狀動脈帶最高溫度，通過對比奶牛前后牛蹄的溫度差值，識別奶?；疾≈悖ㄟ^149頭奶牛的樣本數(shù)據測試分析，跛行識別敏感性為89.1%，特異性為66.6%。此外，提取奶牛肢蹄表面的次高溫度識別奶?；疾≈憧色@得與提取奶牛肢蹄表面的最高溫度相近的識別效果[79]。綜合考慮奶牛蹄部各區(qū)域溫度，研究奶牛蹄部的溫度分布，一些學者分別從奶牛蹄部拍攝角度[47]和蹄部區(qū)域劃分[48]方面，通過高精度測量奶牛蹄部溫度，識別奶?；疾≈悖〉昧溯^好的識別效果。然而特定視角溫度的采集，往往需要人工的協(xié)助，將相機放置在特定的角度，Lin等[49]嘗試使用手持式紅外溫度計代替熱紅外相機，發(fā)現(xiàn)手持式紅外溫度計的溫度提取精度較低，降低了奶?；疾≈愕淖R別效果。熱紅外相機不僅用于測量牛蹄表面溫度，根據前后牛蹄的溫度差異，識別奶?；疾≈?，還用于測量奶牛乳房溫度，通過計算奶牛乳房溫度與眼睛溫度的差值，設置閾值，檢測奶牛乳房炎[80]，為家畜健康檢測與疾病診斷提供技術支持。

在養(yǎng)殖場中使用熱紅外相機，采集奶牛蹄部熱紅外圖像數(shù)據，易受到奶?；顒恿看笮∫约疤悴课廴疚锏母蓴_，影響牛蹄表面溫度測量的準確性，降低奶?；疾≈愕淖R別準確率。目前，基于熱紅外相機的奶牛跛行識別技術，多是直接測量奶牛蹄部表面溫度，根據牛蹄表面溫度特征識別奶牛跛行，缺乏多樣化的奶牛跛行識別技術研究手段。因此，增加計算機視覺技術的應用[50]，可提取多個奶牛跛行特征類別，優(yōu)化奶牛跛行識別效果，提高奶牛跛行識別的魯棒性。

2 當前的主要挑戰(zhàn)

在基于計算機視覺的奶牛跛行識別技術研究中，國內外研究學者在奶牛關鍵身體部位檢測方法、奶牛跛行特征的選擇以及奶牛跛行分類方法等方面進行了大量的研究工作，取得了較好的研究成果，但基于計算機視覺的奶牛跛行識別目前仍處于研究階段，尚未能推廣應用，主要原因是存在以下問題尚未完全解決：

1）奶牛關鍵身體部位檢測方法難以準確檢測奶牛身體的邊界輪廓特征。在養(yǎng)殖場采集的奶牛行走視頻數(shù)據，容易受到光照、陰影等復雜背景環(huán)境變化以及欄桿、建筑物遮擋的影響，降低了視頻數(shù)據的質量，不利于奶牛關鍵身體部位的精確檢測。此外，奶牛關鍵身體部位檢測方法，尚不能清晰地從視頻圖像中檢測出奶牛關鍵身體部位輪廓，在多尺度特征獲取方面和奶牛身體邊界輪廓獲取方面仍需進一步深入研究。

2）缺乏穩(wěn)定可靠的奶牛跛行特征。不同奶牛的跛行特征并不完全相同，不能用統(tǒng)一的標準去度量。首先，不同奶牛在個體大小和疼痛忍耐度等方面存在差異[81]，這些個體化的差異會影響奶牛的跛行行為；其次，奶牛所患不同種類的疾病也會影響奶牛的跛行行為，如表現(xiàn)出弓背特征的奶牛不一定是跛行，也可能是受腹痛的影響[82]，奶牛蹄部病變和腿部病變所表現(xiàn)出的跛行行為也具有差異性[4]；另外，不同的年齡、胎次以及修蹄時間，均會改變奶牛的步態(tài)[83]，這些步態(tài)上的改變屬于正常變化，雖然與跛行無關，但仍然會對奶牛跛行識別產生干擾。因此，基于單一類別的跛行特征，可能不適用于所有的奶牛跛行識別。

3）奶牛早期跛行癥狀較輕，缺乏針對性的跛行識別方法。奶牛早期跛行通常僅具有輕微的步態(tài)異常[15]，現(xiàn)有的奶牛跛行識別技術，大多是根據人工可以觀察到的跛行特征來識別奶牛跛行，而人工肉眼難以觀察到奶牛步態(tài)的輕微異常，這使得僅具有輕微步態(tài)異常的奶牛早期跛行，識別準確率偏低。奶牛步態(tài)具有高維時空異構性和復雜性，從復雜多變的奶牛步態(tài)信息中，提取與跛行相關的特征較為困難。此外，奶牛步態(tài)運動過程較為復雜，步態(tài)運動規(guī)律尚不明晰，致使奶牛步態(tài)運動具有較強的耦合特性，降低了跛行特征的提取精度。

4）試驗驗證階段，養(yǎng)殖場應用環(huán)境所遇到的問題影響奶牛跛行識別。光滑和潮濕的地板會影響奶牛正常行走，甚至造成奶牛行走時突然打滑與急停，上述現(xiàn)象會影響奶牛行走視頻數(shù)據的有效獲取，降低奶牛跛行識別準確率。另外，奶牛養(yǎng)殖場中的高溫高濕現(xiàn)象以及有害氣體滋生等環(huán)境問題，對相機和計算機的使用壽命損害較大[24]，致使計算機視覺設備無法在養(yǎng)殖場長期正常運行。

3 結論和展望

基于計算機視覺的奶牛跛行識別技術，可以通過無應激、無接觸地采集奶牛行走視頻數(shù)據，利用跛行特征提取和特征分類的方法識別奶牛跛行。隨著人工智能技術的快速應用，能夠進一步提高奶牛跛行識別效率和準確率，加快奶牛養(yǎng)殖管理向著信息化方向邁進的步伐。目前，歐美等發(fā)達國家在基于計算機視覺的奶牛跛行識別技術方面，進行了系統(tǒng)性與多層次的研究，并取得較好的研究進展。中國在該方面的研究尚處于起步階段，研究基礎較為薄弱。因此，結合中國國情及奶牛養(yǎng)殖場管理水平，在未來的奶牛跛行識別研究中，建議從以下幾個方面重點突破：

1）標準化奶牛跛行識別數(shù)據采集流程，優(yōu)化奶牛關鍵身體部位檢測方法。高質量地采集奶牛跛行識別數(shù)據，對奶牛跛行識別技術研究十分重要。首先，應規(guī)范奶牛行走視頻數(shù)據的獲取流程，包括對光線等背景環(huán)境以及相機與奶牛之間的距離等條件做出一些限制，保證采集的奶牛行走視頻數(shù)據的清晰可分辨；其次，應建立奶牛跛行識別數(shù)據共享機制，加強合作研究，提升奶牛行走視頻數(shù)據的利用率，確保奶牛跛行識別技術研究具有較好的數(shù)據支撐；另外，在奶牛關鍵身體部位檢測方面，應加強對圖像處理方法和深度學習算法的深入研究，提高奶牛關鍵身體部位檢測方法對圖像中色彩和紋理等特征的利用，增強對多尺度特征和邊界輪廓特征的提取，提升奶牛關鍵身體部位檢測效果，為奶牛跛行識別提供技術支持。

2）深入研究奶牛跛行特征，提高奶牛早期跛行識別準確率。首先，奶牛行走過程具有高度時空異構性和復雜性，應深入分析奶牛運動信息，明晰奶牛運動規(guī)律，識別奶牛輕微運動，為奶牛早期跛行的準確識別提供理論基礎；其次，應考慮奶牛年齡、胎次以及個體差異性等因素的影響，多方面獲取奶牛跛行特征，通過特征解耦合以及多特征融合等方法，優(yōu)化奶牛跛行特征的表征方式，提升奶牛跛行識別的魯棒性和普適性；另外，應長期監(jiān)測奶牛行走狀態(tài)，結合歷史數(shù)據動態(tài)更新奶牛跛行識別模型，提高奶牛早期跛行識別的準確率。

3）選擇規(guī)?；瘶藴驶哪膛ｐB(yǎng)殖場，構建完善的奶牛跛行識別流程。養(yǎng)殖場的奶牛在行走過程中易出現(xiàn)擁擠現(xiàn)象，應標準化奶牛行走通道，控制奶牛行走間隔，保證奶牛跛行識別試驗能夠正常進行。當奶牛出現(xiàn)擁擠和打滑等突發(fā)情況時，奶牛跛行識別模型能夠觸發(fā)預警，并根據實際情況提供備選方案，提升奶牛跛行識別模型對奶牛行走狀態(tài)的檢測能力和識別效果。此外，還應合理規(guī)劃計算機視覺設備的工作環(huán)境和工作空間，確保計算機視覺設備能夠長期穩(wěn)定工作。

綜上所述，基于計算機視覺的奶牛跛行識別技術仍處于研究階段，還有一些尚未完全解決的技術問題，包括奶牛個體差異性、跛行特征的優(yōu)選以及早期跛行識別等，針對這些技術問題應展開系統(tǒng)性深入研究，進一步提高奶牛跛行識別的準確率，加快中國畜牧業(yè)的信息化發(fā)展進程。

[1] Bruijnis M R N, Meijboom F L B, Stassen E N. Longevity as an animal welfare issue applied to the case of foot disorders in dairy cattle[J]. Journal of Agricultural and Environmental Ethics, 2013, 26(1): 191-205.

[2] 王路軍. 黑龍江省奶牛肢蹄病流行病學調查及診斷方法建立[D]. 哈爾濱：東北農業(yè)大學，2021.

Wang Lujun. Epidemiological Investigation and Establishment of Diagnosis Methods of Limb and Hoof Diseases of Dairy Cows in Heilongjiang Province[D]. Harbin: Northeast Agricultural University, 2021. (in Chinese with English abstract)

[3] Von Keyserlingk M A G, Rushen J, de Passillé A M, et al. Invited review: The welfare of dairy cattle—key concepts and the role of science[J]. Journal of Dairy Science, 2009, 92(9): 4101-4111.

[4] van Nuffel A, Zwertvaegher I, Pluym L, et al. Lameness detection in dairy cows: Part 1. How to distinguish between non-lame and lame cows based on differences in locomotion or behavior[J]. Animals, 2015, 5(3): 838-860.

[5] Silva S R, Araujo J P, Guedes C, et al. Precision technologies to address dairy cattle welfare: Focus on lameness, mastitis and body condition[J]. Animals, 2021, 11(8): 2253-2269.

[6] García-Mu?oz A, Vidal G, Singh N, et al. Evaluation of two methodologies for lameness detection in dairy cows based on postural and gait abnormalities observed during milking and while restrained at headlock stanchions[J]. Preventive Veterinary Medicine, 2016, 128: 33-40.

[7] Chapinal N, von Keyserlingk M A G, Cerri R L A, et al. Herd-level reproductive performance and its relationship with lameness and leg injuries in freestall dairy herds in the northeastern United States[J]. Journal of Dairy Science, 2013, 96(11): 7066-7072.

[8] Griffiths B E, Dai White G, Oikonomou G. A cross-sectional study into the prevalence of dairy cattle lameness and associated herd-level risk factors in England and Wales[J]. Frontiers in Veterinary Science, 2018, 5: 65-72.

[9] Costa J H C, Burnett T A, von Keyserlingk M A G, et al. Prevalence of lameness and leg lesions of lactating dairy cows housed in southern Brazil: Effects of housing systems[J]. Journal of Dairy Science, 2018, 101(3): 2395-2405.

[10] Solano L, Barkema H W, Pajor E A, et al. Prevalence of lameness and associated risk factors in Canadian Holstein-Friesian cows housed in freestall barns[J]. Journal of Dairy Science, 2015, 98(10): 6978-6991.

[11] Chapinal N, Liang Y, Weary D M, et al. Risk factors for lameness and hock injuries in Holstein herds in China[J]. Journal of Dairy Science, 2014, 97(7): 4309-4316.

[12] Sj?str?m K, Fall N, Blanco-Penedo I, et al. Lameness prevalence and risk factors in organic dairy herds in four European countries[J]. Livestock Science, 2018, 208: 44-50.

[13] Grimm K, Haidn B, Erhard M, et al. New insights into the association between lameness, behavior, and performance in Simmental cows[J]. Journal of Dairy Science, 2019, 102(3): 2453-2468.

[14] Afonso J S, Bruce M, Keating P, et al. Profiling detection and classification of lameness methods in British dairy cattle research: A systematic review and meta-analysis[J]. Frontiers in Veterinary Science, 2020, 7: 542-562.

[15] Haladjian J, Hodaie Z, Nüske S, et al. Gait anomaly detection in dairy cattle[C]//Proceedings of the Fourth International Conference on Animal-Computer Interaction. 2017: 1-8.

[16] Charfeddine N, Pérez-Cabal M A. Effect of claw disorders on milk production, fertility, and longevity, and their economic impact in Spanish Holstein cows[J]. Journal of Dairy Science, 2017, 100(1): 653-665.

[17] Thomsen P T, Munksgaard L, S?rensen J T. Locomotion scores and lying behaviour are indicators of hoof lesions in dairy cows[J]. The Veterinary Journal, 2012, 193(3): 644-647.

[18] Sprecher D J, Hostetler D E, Kaneene J B. A lameness scoring system that uses posture and gait to predict dairy cattle reproductive performance[J]. Theriogenology, 1997, 47(6): 1179-1187.

[19] Taneja M, Byabazaire J, Jalodia N, et al. Machine learning based fog computing assisted data-driven approach for early lameness detection in dairy cattle[J]. Computers and Electronics in Agriculture, 2020, 171: 105286-105301.

[20] O'callaghan K A, Cripps P J, Downham D Y, et al. Subjective and objective assessment of pain and discomfort due to lameness in dairy cattle[J]. Animal Welfare, 2003, 12(4): 605-610.

[21] Schlageter-Tello A, Bokkers E A M, Koerkamp P W G G, et al. Relation between observed locomotion traits and locomotion score in dairy cows[J]. Journal of Dairy Science, 2015, 98(12): 8623-8633.

[22] Ghotoorlar S M, Ghamsari S M, Nowrouzian I, et al. Lameness scoring system for dairy cows using force plates and artificial intelligence[J]. Veterinary Record, 2012, 170(5): 126-126.

[23] Jarchi D, Kaler J, Sanei S. Lameness Detection in cows using hierarchical deep learning and synchrosqueezed wavelet transform[J]. IEEE Sensors Journal, 2021, 21(7): 9349-9358.

[24] 韓書慶，張晶，程國棟，等. 奶牛跛行自動識別技術研究現(xiàn)狀與挑戰(zhàn)[J]. 智慧農業(yè)，2020，2(3)：21-36.

Han Shuqing, Zhang Jing, Cheng Guodong, et al. Current state and challenges of automatic lameness detection in dairy cattle[J]. Smart Agriculture, 2020, 2(3): 21-36. (in Chinese with English abstract)

[25] Alsaaod M, Fadul M, Steiner A. Automatic lameness detection in cattle[J]. The Veterinary Journal, 2019, 246: 35-44.

[26] Flower F C, Weary D M. Effect of hoof pathologies on subjective assessments of dairy cow gait[J]. Journal of Dairy Science, 2006, 89(1): 139-146.

[27] Zillner J C, Tücking N, Plattes S, et al. Using walking speed for lameness detection in lactating dairy cows[J]. Livestock Science, 2018, 218: 119-123.

[28] Poursaberi A, Bahr C, Pluk A, et al. Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques[J]. Computers and Electronics in Agriculture, 2010, 74(1): 110-119.

[29] 康熙，張旭東，劉剛，等. 基于機器視覺的跛行奶牛牛蹄定位方法[J]. 農業(yè)機械學報，2019，50(S1)：276-282.

Kang Xi, Zhang Xudong, Liu Gang, et al. Hoof location method of lame dairy cows based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 276-282. (in Chinese with English abstract)

[30] 宋懷波，姜波，吳倩，等. 基于頭頸部輪廓擬合直線斜率特征的奶牛跛行檢測方法[J]. 農業(yè)工程學報，2018，34(15)：190-199.

Song Huaibo, Jiang Bo, Wu Qian, et al. Detection of dairy cow lameness based on fitting line slope feature of head and neck outline[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(15): 190-199. (in Chinese with English abstract)

[31] Wu D, Wu Q, Yin X, et al. Lameness detection of dairy cows based on the YOLOv3 deep learning algorithm and a relative step size characteristic vector[J]. Biosystems Engineering, 2020, 189: 150-163.

[32] Kang X, Li S, Li Q, et al. Dimension-reduced spatiotemporal network for lameness detection in dairy cows[J]. Computers and Electronics in Agriculture, 2022, 197: 106922-106932.

[33] Poursaberi A, Bahr C, Pluk A, et al. Online lameness detection in dairy cattle using Body Movement Pattern (BMP)[C]//In 2011 11th International Conference on Intelligent Systems Design and Applications. IEEE, 2011, 732-736.

[34] Jiang B, Song H, Wang H, et al. Dairy cow lameness detection using a back curvature feature[J]. Computers and Electronics in Agriculture, 2022, 194: 106729-106731.

[35] Zhao K, Bewley J M, He D, et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique[J]. Computers and Electronics in Agriculture, 2018, 148: 226-236.

[36] Kang X, Zhang X D, Liu G. Accurate detection of lameness in dairy cattle with computer vision: A new and individualized detection strategy based on the analysis of the supporting phase[J]. Journal of Dairy Science, 2020, 103(11): 10628-10638.

[37] 溫長吉，張金鳳，李卓識，等. 改進稀疏超完備詞典方法識別奶牛跛足行為[J]. 農業(yè)工程學報，2018，34(18)：219-227.

Wen Changji, Zhang Jinfeng, Li Zhuoshi, et al. Behavior recognition of lameness in dairy cattle by improved sparse overcomplete dictionary method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 219-227. (in Chinese with English abstract)

[38] Jiang B, Song H, He D. Lameness detection of dairy cows based on a double normal background statistical model[J]. Computers and Electronics in Agriculture, 2019, 158: 140-149.

[39] Jiang B, Yin X, Song H. Single-stream long-term optical flow convolution network for action recognition of lameness dairy cow[J]. Computers and Electronics in Agriculture, 2020, 175: 105536-105543.

[40] Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattle[J]. Journal of Dairy Science, 2013, 96(1): 257-266.

[41] Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture, 2014, 100: 139-147.

[42] Hertem V T, Viazzi S, Steensels M, et al. Automatic lameness detection based on consecutive 3D-video recordings[J]. Biosystems Engineering, 2014, 119: 108-116.

[43] Hertem V T, Bahr C, Tello A S, et al. Lameness detection in dairy cattle: single predictor. multivariate analysis of image-based posture processing and behaviour and performance sensing[J]. Animal, 2016, 10(9): 1525-1532.

[44] Jabbar K A, Hansen M F, Smith M L, et al. Early and non-intrusive lameness detection in dairy cows using 3-dimensional video[J]. Biosystems Engineering, 2017, 153: 63-69.

[45] Alsaaod M, Büscher W. Detection of hoof lesions using digital infrared thermography in dairy cows[J]. Journal of Dairy Science, 2012, 95(2): 735-742.

[46] Alsaaod M, Syring C, Dietrich J, et al. A field trial of infrared thermography as a non-invasive diagnostic tool for early detection of digital dermatitis in dairy cows[J]. The Veterinary Journal, 2014, 199(2): 281-285.

[47] Rodríguez A R, Olivares F J, Descouvieres P T, et al. Thermographic assessment of hoof temperature in dairy cows with different mobility scores[J]. Livestock Science, 2016, 184: 92-96.

[48] Werema C W, Laven L, Mueller K, et al. Evaluating alternatives to locomotion scoring for lameness detection in pasture-based dairy cows in New Zealand: Infra-red thermography[J]. Animals, 2021, 11(12): 3473-3491.

[49] Lin Y C, Mullan S, Main D C J. Optimising lameness detection in dairy cattle by using handheld infrared thermometers[J]. Veterinary Medicine and Science, 2018, 4(3): 218-226.

[50] 康熙，李樹東，張旭東，等. 基于熱紅外視頻的奶牛跛行運動特征提取與檢測[J]. 農業(yè)工程學報，2021，37(23)：169-178.

Kang Xi, Li Shudong, Zhang Xudong, et al. Features extraction and detection of cow lameness movement based on thermal infrared videos[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 169-178. (in Chinese with English abstract)

[51] Piette D, Norton T, Exadaktylos V, et al. Individualised automated lameness detection in dairy cows and the impact of historical window length on algorithm performance[J]. Animal, 2020, 14(2): 409-417.

[52] Flower F C, Sanderson D J, Weary D M. Hoof pathologies influence kinematic measures of dairy cow gait[J]. Journal of Dairy Science, 2005, 88(9): 3166-3173.

[53] Bahr C, Leroy T, Song X, et al. Automatic detection of lameness in dairy cattle–analyzing image parameters related to lameness[C]//Livestock Environment VIII, 31 August–4 September 2008, Iguassu Falls, Brazil. American Society of Agricultural and Biological Engineers, 2009: 137-143.

[54] Pluk A, Bahr C, Poursaberi A, et al. Automatic measurement of touch and release angles of the fetlock joint for lameness detection in dairy cattle using vision techniques[J]. Journal of Dairy Science, 2012, 95(4): 1738-1748.

[55] Song X, Leroy T, Vranken E, et al. Automatic detection of lameness in dairy cattle—Vision-based trackway analysis in cow's locomotion[J]. Computers and Electronics in Agriculture, 2008, 64(1): 39-44.

[56] Zhao K, He D. Target detection method for moving cows based on background subtraction[J]. International Journal of Agricultural and Biological Engineering, 2015, 8(1): 42-49.

[57] Jiang B, Wu Q, Yin X, et al. FLYOLOv3 deep learning for key parts of dairy cow body detection[J]. Computers and Electronics in Agriculture, 2019, 166: 104982-104990.

[58] Noe S M, Zin T T, Tin P, et al. A deep learning-based solution to cattle region extraction for lameness detection[C]//The 4th Global Conference on Life Sciences and Technologies (LifeTech). IEEE, 2022: 572-573.

[59] Redmon J, Farhadi A. Yolov3: An incremental improvement[EB/OL]. (2018.04.08) [2022.05.19]. https://doi.org/ 10.48550/arXiv.1804.02767.

[60] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[EB/OL]. (2020.04.23) [2022.05.19]. https://doi.org/10.48550/arXiv.2004.10934.

[61] Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 2778-2788.

[62] Tan M, Pang R, Le Q V. Efficientdet: Scalable and efficient object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 10781-10790.

[63] Arazo E, Aly R, McGuinness K. Segmentation enhanced lameness detection in dairy cows from RGB and depth video[EB/OL]. (2022.06.10) [2022.05.19], https://doi.org/ 10.48550/arXiv.2206.04449.

[64] Chen L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. (2017.12.05) [2022.05.19]. https://doi.org/10.48550/ arXiv.1706.05587.

[65] Ventura C, Bellver M, Girbau A, et al. Rvos: End-to-end recurrent network for video object segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5277-5286.

[66] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2117-2125.

[67] 蘇力德，張永，王健，等. 基于改進動態(tài)時間規(guī)整算法的奶牛步態(tài)分割方法[J]. 農業(yè)機械學報，2020，51(7)：52-59.

Su Lide, Zhang Yong, Wang Jian, et al. Segmentation methods of dairy cattle gait based on improved dynamic time warping algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7): 52-59. (in Chinese with English abstract)

[68] Flower F C, Weary D M. Gait assessment in dairy cattle[J]. Animal, 2009, 3(1): 87-95.

[69] Sharfuddin A A, Tihami M N, Islam M S. A deep recurrent neural network with bilstm model for sentiment classification[C]//In 2018 International Conference on Bangla Speech and Language Processing (ICBSLP). IEEE, 2018, 1-4.

[70] Schlageter-Tello A, Van Hertem T, Bokkers E A M, et al. Performance of human observers and an automatic 3-dimensional computer-vision-based locomotion scoring method to detect lameness and hoof lesions in dairy cows[J]. Journal of Dairy Science, 2018, 101(7): 6322-6335.

[71] Hertem V T, Tello A S, Viazzi S, et al. Implementation of an automatic 3D vision monitor for dairy cow locomotion in a commercial farm[J]. Biosystems Engineering, 2018, 173: 166-175.

[72] Gardenier J, Underwood J, Clark C. Object detection for cattle gait tracking[C]//In 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018: 2206-2213.

[73] Okura F, Ikuma S, Makihara Y, et al. RGB-D video-based individual identification of dairy cows using gait and texture analyses[J]. Computers and Electronics in Agriculture, 2019, 165: 104944-104953.

[74] Shigeta M, Ike R, Takemura H, et al. Automatic measurement and determination of body condition score of cows based on 3D images using CNN[J]. Journal of Robotics and Mechatronics, 2018, 30(2): 206-213.

[75] Hansen M F, Smith M L, Smith L N, et al. Automated monitoring of dairy cow body condition, mobility and weight using a single 3D video capture device[J]. Computers in Industry, 2018, 98: 14-22.

[76] 盧知非，劉浩宇，陳文亮，等. 紅外人體測溫精度補償方法研究[J]. 紅外技術，2021，43(9)：895-901.

Lu Zhifei, Liu Haoyu, Chen Wenliang, et al. Accuracy compensation method for infrared human body temperature measurement accuracy[J]. Infrared Technology, 2021, 43(9): 895-901. (in Chinese with English abstract)

[77] Bobi? T, Miji? P, Gregi? M, et al. Early detection of the hoof diseases in Holstein cows using thermovision camera[J]. Agriculturae Conspectus Scientificus, 2017, 82(2): 197-200.

[78] Nikkhah A, Plaizier J C, Einarson M S, et al. Infrared thermography and visual examination of hooves of dairy cows in two stages of lactation[J]. Journal of Dairy Science, 2005, 88(8): 2749-2753.

[79] Harris-Bridge G, Young L, Handel I, et al. The use of infrared thermography for detecting digital dermatitis in dairy cattle: What is the best measure of temperature and foot location to use?[J]. The Veterinary Journal, 2018, 237: 26-33.

[80] Zhang X, Kang X, Feng N, et al. Automatic recognition of dairy cow mastitis from thermal images by a deep learning detector[J]. Computers and Electronics in Agriculture, 2020, 178: 105754-105764.

[81] Boelling D, Pollott G E. Locomotion, lameness, hoof and leg traits in cattle I: Phenotypic influences and relationships[J]. Livestock Production Science, 1998, 54(3): 193-203.

[82] Thomsen P T. Rapid screening method for lameness in dairy cows[J]. Veterinary Record, 2009, 164(22): 689-690.

[83] van N A. Development of an Automated Detection System for Lameness in Cattle: The Gaitwise system[D]. Leuven: Katholic University of Leuven, 2014.

Research progress on lameness recognition technology in dairy cows using computer vision

Li Qian, Chu Mengyuan, Kang Xi, Liu Gang※

(1,,,100083,; 2,,,100083,)

Digitization has been one of the significant directions in the rural land governance reform in the future. However, it is still lacking in the logical concepts and framework for the digital governance of rural land. In this study, a three-dimensional system framework of “demand-baseline-function” was established using the perspective of the transaction cost. An emphasis was also put on the construction of the digital system for land acquisition and relocation. Firstly, the basic, core and conflict needs of the participants were clarified ranging from the government, land users, and the original land stakeholder. Secondly, the bottom line was defined as the legal, spatial, and regulatory governance. Thirdly, the digital system was classified to design various digital realities. The future functional modules were selected to entirely reduce the transaction costs, thereby integrating the multiple sharing systems for the overall operational efficiency. In addition, Zhejiang Province of China was selected as the experimental area for the system design. The reason was that Zhejiang Province has been the representative region in the digital reform of land governance in recent years. Nevertheless, there was a high transaction cost in the process of land acquisition and relocation. It is also a high demand to effectively build a digital system during this time. As such, the actual system was designed to combine with the improved the digital framework. The result showed that the “demand-baseline-function” framework effectively guided the development and design of the “intelligent land acquisition and demolition” digital system in the actual application situation. The transaction costs were also reduced to fill the logical blank for the previous system of land digital governance. The demand analysis demonstrated that the improved system provided the port to fully meet the basic and core needs of the government, land users, collectives, and farmers. The information asymmetry, discourse game, and conflict transmission effectively reduced the transaction cost of the game between the subjects. The bottom line was clarified for the implementation boundary of the law and space of the land requisition and relocation process. The whole supervision system of land requisition and relocation was constructed to stabilize the land requisition and relocation environment. The functional analysis revealed that the improved system coordinated the actual and upgrade function of the “intelligent land acquisition and demolition” digital system. The logical framework effectively reduced the negotiation and decision cost, while the implementation and supervision cost, as well as the management and sunk costs in the land acquisition and demolition. Therefore, the “demand baseline function” framework can provide a strong reference for the transaction cost in the digital reform of land governance. Anyway, the underlying construction logic of the framework can also be applicable to the other areas without the digital construction guidance, providing for the most general transaction cost in the rural land governance. In addition, the logical framework of the system can also provide a strong reference for the digital transformation of rural land governance in the future, in order to improve the digital level of land space and the modernization of governance capacity.

computer vision; image processing; deep learning; lameness recognition in dairy cows; visible light camera; depth camera; thermal infrared camera

10.11975/j.issn.1002-6819.2022.15.017

S-1; S818; S811.2

A

1002-6819(2022)-15-0159-11

李前，初夢苑，康熙，等. 基于計算機視覺的奶牛跛行識別技術研究進展[J]. 農業(yè)工程學報，2022，38(15)：159-169.doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org

Li Qian, Chu Mengyuan, Kang Xi, et al. Research progress on lameness recognition technology in dairy cows using computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 159-169. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.017 http://www.tcsae.org

2022-05-19

2022-07-31

國家重點研發(fā)計劃項目（2021YFD1300502）

李前，博士生，主要研究方向為基于機器視覺的健康養(yǎng)殖應用。Email：lee55777@163.com

劉剛，博士，教授，博士生導師，主要研究方向為電子信息技術在農業(yè)中的應用。Email：pac@cau.edu.cn