基于融合圖像與運(yùn)動(dòng)量的奶牛行為識(shí)別方法

顧靜秋 王志海 高榮華 吳華瑞

(1.北京交通大學(xué)計(jì)算機(jī)與信息工程學(xué)院, 北京 100044; 2.國家農(nóng)業(yè)信息化工程技術(shù)研究中心, 北京 100097)

基于融合圖像與運(yùn)動(dòng)量的奶牛行為識(shí)別方法

顧靜秋1,2王志海1高榮華2吳華瑞2

(1.北京交通大學(xué)計(jì)算機(jī)與信息工程學(xué)院, 北京 100044; 2.國家農(nóng)業(yè)信息化工程技術(shù)研究中心, 北京 100097)

為從海量監(jiān)控視頻中快速、準(zhǔn)確識(shí)別影響奶牛繁殖與健康的行為，以小育成牛舍與泌乳牛舍中400頭奶牛為研究對(duì)象，分析了奶牛在活動(dòng)區(qū)與奶廳匝道的運(yùn)動(dòng)行為，提出了一種基于圖像熵的奶牛目標(biāo)對(duì)象識(shí)別方法，通過最小包圍盒面積計(jì)算與目標(biāo)對(duì)象輪廓圖，實(shí)時(shí)捕獲奶牛爬跨行為與蹄部、背部特征，融合被識(shí)別奶牛連續(xù)7 d的運(yùn)動(dòng)量，判斷影響奶牛健康繁殖的異常行為。試驗(yàn)結(jié)果表明，利用本文方法對(duì)監(jiān)控視頻內(nèi)奶牛目標(biāo)對(duì)象、運(yùn)動(dòng)行為進(jìn)行實(shí)時(shí)監(jiān)測(cè)，有效監(jiān)控識(shí)別奶牛發(fā)情、蹄病行為準(zhǔn)確率超過80%，發(fā)情漏檢率最低為3.28%，蹄病漏檢率最低為5.32%，提高了規(guī)?；B(yǎng)殖管理效率。

奶牛行為； 目標(biāo)分割； 圖像熵； 圖像矩； 運(yùn)動(dòng)量； 智能分析

引言

奶牛有其自身的生活習(xí)性和行為特點(diǎn)，奶牛養(yǎng)殖過程中，奶牛繁殖檢測(cè)和奶牛健康保證在牛群繁殖管理中具有重要地位，及時(shí)發(fā)現(xiàn)奶牛發(fā)情有利于健康奶牛的及時(shí)受孕、產(chǎn)犢并延長泌乳期，提高奶牛養(yǎng)殖的經(jīng)濟(jì)效益。正確了解、掌握奶牛的行為，對(duì)奶牛的健康生理狀況進(jìn)行實(shí)時(shí)監(jiān)控，對(duì)在實(shí)際生產(chǎn)中掌握奶牛的疾病預(yù)防、診斷、治療，做好繁殖和飼養(yǎng)管理工作，提高生產(chǎn)效率，獲得最大生產(chǎn)效益具有極大的意義。因此，奶牛養(yǎng)殖過程中不同生育期的生理健康行為的實(shí)時(shí)感知及智能識(shí)別與分析，對(duì)提高養(yǎng)殖場(chǎng)產(chǎn)量起著重要作用。奶牛在不同生理發(fā)育期需要重點(diǎn)監(jiān)測(cè)的行為主要包括發(fā)情、蹄病。

目前，依靠人工觀察再依靠經(jīng)驗(yàn)判斷的奶牛識(shí)別方式已逐漸顯露出識(shí)別不準(zhǔn)確的弊端?！暗诹鶎弥袊虡I(yè)大會(huì)暨中國奶業(yè)展覽會(huì)”公布的數(shù)據(jù)顯示：截至2014年底，全國奶牛存欄量已經(jīng)達(dá)到1 460萬頭，其中存欄量100頭以上的奶牛規(guī)模養(yǎng)殖比重達(dá)到45%，人工主觀觀察方法無法實(shí)現(xiàn)快速、精確的奶牛行為監(jiān)測(cè)，且需要大量的勞動(dòng)力。為解決人工觀測(cè)的不足，國內(nèi)外學(xué)者利用物聯(lián)網(wǎng)技術(shù)，在奶牛身體不同部位安裝三軸加速計(jì)、藍(lán)牙設(shè)備等自動(dòng)監(jiān)測(cè)設(shè)備，實(shí)時(shí)監(jiān)測(cè)奶牛在不同生育期的體征和行為，具有較好的識(shí)別效果[1]；但侵入式采集方式容易因環(huán)境污染造成信號(hào)傳輸偏離，間接影響到奶牛正常行為，影響到對(duì)奶牛行為的正確判斷。

物聯(lián)網(wǎng)技術(shù)已經(jīng)在國外奶牛養(yǎng)殖中得到大量應(yīng)用，大大提高了奶牛養(yǎng)殖的精準(zhǔn)化、信息化水平，使奶牛養(yǎng)殖產(chǎn)業(yè)產(chǎn)生了質(zhì)的飛越[2-7]。國內(nèi)對(duì)動(dòng)物行為視頻動(dòng)態(tài)監(jiān)控與智能分析研究起步較晚，但隨著物聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用，取得了若干研究成果[8-18]。

上述技術(shù)和系統(tǒng)都具有較高的交互性和靈活性，研究者在對(duì)動(dòng)物行為分析中，能夠解決基本的體態(tài)識(shí)別，但是在動(dòng)物目標(biāo)自動(dòng)跟蹤和視頻行為分析方面仍然存在局限性[19]：大多數(shù)研究只是對(duì)動(dòng)物位置、運(yùn)動(dòng)軌跡、速度、距離等定量參數(shù)的一個(gè)運(yùn)動(dòng)模式分析過程，缺少對(duì)海量監(jiān)控視頻的實(shí)時(shí)分析，丟失了動(dòng)物外觀表現(xiàn)的特殊行為特征；即便是引入了視頻分析的內(nèi)容，也只是對(duì)動(dòng)物移動(dòng)、靜止休息等最基本的行為模式進(jìn)行識(shí)別，且識(shí)別背景為實(shí)驗(yàn)環(huán)境下的單一背景，動(dòng)物間交互行為分析的方法較少；大多數(shù)利用神經(jīng)網(wǎng)絡(luò)對(duì)動(dòng)物行為識(shí)別的方法，前期需要數(shù)據(jù)學(xué)習(xí)過程，識(shí)別的過程較長，而且對(duì)動(dòng)物體態(tài)行為分類數(shù)量比較少，很難實(shí)現(xiàn)所有動(dòng)物行為的準(zhǔn)確識(shí)別；智能互聯(lián)網(wǎng)在畜牧養(yǎng)殖業(yè)中的滲透，使得圖像分析技術(shù)逐步應(yīng)用于禽類等小型養(yǎng)殖領(lǐng)域[20-23]，但在豬牛羊等大型畜牧類養(yǎng)殖中的應(yīng)用還比較少。本文以奶牛發(fā)情、蹄病行為為監(jiān)控對(duì)象，通過高清攝像頭實(shí)時(shí)捕獲奶牛在活動(dòng)區(qū)內(nèi)的運(yùn)動(dòng)行為與奶廳匝道中的蹄部、背部特征，同時(shí)結(jié)合奶牛最近7 d的運(yùn)動(dòng)量，及時(shí)對(duì)奶牛發(fā)情、蹄病行為進(jìn)行預(yù)警，以期減少由于漏判造成的配種不及時(shí)與蹄病延誤等現(xiàn)象，提高養(yǎng)殖管理者工作效率，提升奶牛年產(chǎn)奶量以及整個(gè)奶牛養(yǎng)殖產(chǎn)業(yè)的持續(xù)發(fā)展。

1 材料與方法

1.1 試驗(yàn)對(duì)象

以河北省豐寧縣銀河牧場(chǎng)生態(tài)養(yǎng)殖基地養(yǎng)殖的荷斯坦奶牛為研究對(duì)象，通過高清攝像頭與牛只運(yùn)動(dòng)量檢測(cè)設(shè)備，實(shí)時(shí)采集2015年全年小育成牛舍與泌乳牛舍400頭牛只行為視頻數(shù)據(jù)與運(yùn)動(dòng)量數(shù)據(jù)。

1.2 試驗(yàn)設(shè)備

試驗(yàn)采用?？低旸S-2CD2155F(D)-I(W)(S)、500萬像素日夜型半球網(wǎng)絡(luò)攝像機(jī)，實(shí)時(shí)采集奶牛行為監(jiān)控視頻，確保奶牛行為圖像特征足夠清晰，為后續(xù)圖像處理試驗(yàn)提供基礎(chǔ)。

同時(shí)，試驗(yàn)利用天津市海辰博遠(yuǎn)軟件有限公司的HEATTAG-002型計(jì)步器設(shè)備，該計(jì)步器固定在奶牛四肢并與牛只標(biāo)號(hào)一一對(duì)應(yīng)，能夠得到每只奶牛運(yùn)動(dòng)量。計(jì)步器采用加速度傳感器，當(dāng)奶牛四肢活動(dòng)時(shí)，傳感器產(chǎn)生前后、上下、左右3個(gè)方向的加速度周期性變化，該加速度變化被加速度傳感器所感知而產(chǎn)生數(shù)字信號(hào)，數(shù)字信號(hào)經(jīng)過放大、濾波和二值化處理，可分離出連續(xù)運(yùn)動(dòng)步伐的波形數(shù)據(jù)，通過識(shí)別軟件對(duì)波形數(shù)據(jù)進(jìn)行處理，獲得奶牛日常采食、運(yùn)動(dòng)等累計(jì)步伐數(shù)量。奶牛運(yùn)動(dòng)量監(jiān)測(cè)系統(tǒng)由佩戴在奶牛腿部的傳感器模塊(計(jì)步器)、數(shù)據(jù)接收系統(tǒng)和計(jì)算機(jī)分析軟件組成，通過對(duì)奶牛運(yùn)動(dòng)量的檢測(cè)，獲得奶牛的運(yùn)動(dòng)情況。每頭奶牛每分鐘的活動(dòng)數(shù)據(jù)都儲(chǔ)存在計(jì)步器中，當(dāng)奶牛進(jìn)入擠奶操作間時(shí)，門口的接收器便會(huì)讀取數(shù)據(jù)，并傳送到服務(wù)器，計(jì)算機(jī)系統(tǒng)會(huì)對(duì)比某時(shí)段運(yùn)動(dòng)量與歷史上同時(shí)段運(yùn)動(dòng)量的平均值，若奶牛運(yùn)動(dòng)量遠(yuǎn)遠(yuǎn)大于過去同時(shí)段數(shù)值，則該頭奶牛很可能發(fā)情；而患蹄病的牛只，由于自身疫病造成運(yùn)動(dòng)量降低，所以若奶牛運(yùn)動(dòng)量小于過去同時(shí)段數(shù)值，則該奶牛有可能患有蹄病，需及時(shí)進(jìn)行干預(yù)治療。

1.3 試驗(yàn)方法

1.3.1 不同生育期奶牛養(yǎng)殖動(dòng)態(tài)監(jiān)測(cè)內(nèi)容

奶牛養(yǎng)殖過程中，按照不同生長階段進(jìn)行數(shù)據(jù)采集與管理，根據(jù)奶牛不同生長階段需要重點(diǎn)監(jiān)測(cè)的內(nèi)容不同，以奶牛發(fā)情與蹄病行為為實(shí)例，主要對(duì)奶?；顒?dòng)區(qū)與擠奶匝道牛只行為進(jìn)行實(shí)時(shí)監(jiān)測(cè)，從大量的視頻監(jiān)控內(nèi)容中，自動(dòng)抽取發(fā)情、蹄病行為視頻關(guān)鍵幀，如圖1所示，并結(jié)合配備在奶牛右后肢上的計(jì)步器監(jiān)測(cè)運(yùn)動(dòng)量，判斷預(yù)警奶牛的蹄病與發(fā)情行為。

圖1 佩戴在奶牛右后肢上的計(jì)步器Fig.1 Pedometer on cow limb

1.3.2 奶牛行為智能分析方法

奶牛行為識(shí)別可以定義為測(cè)試視頻序列與預(yù)先標(biāo)定的典型行為參考特征的匹配程度，通過實(shí)時(shí)跟蹤目標(biāo)奶牛對(duì)象行為，挖掘奶牛發(fā)情、蹄病等行為規(guī)則，判斷被跟蹤奶牛健康與繁殖方面是否存在異常。

為實(shí)現(xiàn)奶牛行為的實(shí)時(shí)監(jiān)控，對(duì)奶牛養(yǎng)殖場(chǎng)布設(shè)的高清攝像頭采集到的監(jiān)控視頻內(nèi)容進(jìn)行分析，首先提取視頻內(nèi)容中的奶牛對(duì)象，然后對(duì)其進(jìn)行動(dòng)態(tài)跟蹤，得到連續(xù)的運(yùn)動(dòng)行為，根據(jù)蹄病、發(fā)情行為模型匹配，對(duì)奶牛養(yǎng)殖過程中出現(xiàn)的上述異常行為進(jìn)行提示預(yù)警，有效節(jié)省養(yǎng)殖人員的時(shí)間，提高規(guī)?；B(yǎng)殖管理效率，圖2為奶牛行為識(shí)別過程。

圖2 奶牛行為分析方法 Fig.2 Cow behavior analysis method

2 試驗(yàn)結(jié)果及分析

為驗(yàn)證蹄病與發(fā)情行為監(jiān)測(cè)的實(shí)用、可靠性，于2016年3月—10月，將攝像頭視點(diǎn)固定在奶?；顒?dòng)區(qū)域，實(shí)時(shí)監(jiān)控奶牛的日常行為，平均每10 min對(duì)當(dāng)前監(jiān)控視頻的畫面進(jìn)行抓取，另存為一張.jpg格式的圖片，單幅圖像大小約為45 KB，共獲取32 100幅圖像數(shù)據(jù)。對(duì)15 000幅圖像(發(fā)情行為3 476幅，蹄病行為5 217幅，正常行為6 307幅)進(jìn)行人工識(shí)別后再對(duì)其進(jìn)行自動(dòng)識(shí)別。同時(shí)，在每頭奶牛的右后肢位置綁定計(jì)步器設(shè)備，實(shí)時(shí)采集該牛只的運(yùn)動(dòng)量數(shù)據(jù)。

2.1 奶牛目標(biāo)對(duì)象提取

奶牛是群體養(yǎng)殖的動(dòng)物，若想實(shí)現(xiàn)對(duì)單個(gè)奶牛行為的有效分析與識(shí)別，必須首先從海量監(jiān)控視頻內(nèi)容中提取出需要定位的奶牛對(duì)象，而奶牛是一個(gè)運(yùn)動(dòng)的對(duì)象，如何從圖像序列中將變化區(qū)域從背景圖像中提取出來是首先需要解決的問題。

熵能夠描述某一圖像灰度分布的聚集特性，但不能反映相應(yīng)的灰度分布空間特征，故本文將聚類算法與熵結(jié)合，求取灰度級(jí)為[0,L]、尺寸為M×N的圖像灰度概率

(1)

式中ni——灰度i的像素?cái)?shù)Pi——灰度i的概率

設(shè)定閾值T1、T2、T3，將圖像灰度分為目標(biāo)對(duì)象O、天空S、地面G3個(gè)區(qū)域。3個(gè)區(qū)域的平均相對(duì)熵為

(2)

(3)

(4)

其中

式中EO——目標(biāo)對(duì)象區(qū)域的平均相對(duì)熵ES——天空區(qū)域的平均相對(duì)熵EG——地面區(qū)域的平均相對(duì)熵PT1——灰度T1的概率PT2——灰度T2的概率

圖像熵為

(K=3)

(5)

其中

將式(5)分別代入式(2)～(4)得到最佳閾值T1、T2、T3為

(6)

為實(shí)現(xiàn)奶牛目標(biāo)對(duì)象的有效分割，按照某種相似度量，對(duì)圖像歐氏空間內(nèi)的特征向量進(jìn)行聚類，如上所述，聚合成3個(gè)分離開的子集XO、XS、XG，xl、xm、xn為圖像中任意特征向量

(7)

則必須滿足

(8)

式中vO、vS、vG——子集XO、XS、XG的均值

根據(jù)上述最佳閾值，對(duì)視頻關(guān)鍵幀截取到的圖像進(jìn)行分析，抽取奶牛目標(biāo)對(duì)象，為典型行為識(shí)別提供數(shù)據(jù)支撐。

利用上述基于圖像熵的分割方法，對(duì)奶牛目標(biāo)進(jìn)行分割，得到奶牛目標(biāo)對(duì)象如圖3b所示，背景圖像如圖3c所示。

2.2 奶牛典型行為識(shí)別

2.2.1 基于圖像的奶牛蹄病行為智能分析

奶牛蹄病是奶牛養(yǎng)殖過程中最易患的疾病之一，僅次于乳房炎和繁殖系統(tǒng)疾病，蹄病雖是慢性過程，不致死亡，但是肢蹄健康是奶牛高產(chǎn)、健康的基礎(chǔ)，蹄部疾病不僅會(huì)造成奶牛產(chǎn)奶量下降，而且會(huì)造

成牛只高淘汰率，增加奶牛養(yǎng)殖成本。

本文采用輪廓圖模型結(jié)構(gòu)方法，將奶牛形體輪廓分割為頭部、腹部、四肢、臀部、背部5部分，并采用無向圖G=(V,U)表示各部分之間的關(guān)系，U為輪廓邊集合，V為點(diǎn)集合，V={v1,v2,…,v7}，vi(i=1,2,3,4,5,6,7)對(duì)應(yīng)奶牛輪廓的5部分如圖4所示。若vi與vj相連，則有(vi,vj)∈U。

圖4 奶牛形體輪廓分割圖Fig.4 Contour segmentation of cow1.奶牛頭部輪廓 2.奶牛腹部與頸部輪廓 3.奶牛蹄部輪廓 4.奶牛臀部輪廓 5.奶牛背部輪廓

蹄病表現(xiàn)出來的特征是：背部彎曲，主要體現(xiàn)在背部的彎曲程度；明顯跛行，主要體現(xiàn)在蹄部與地面的夾角。牛只行走過程中蹄部與地面夾角為α，如圖5所示。按照背部彎曲程度、蹄部與地面的夾角可以將蹄病分成4種等級(jí)，如圖6所示。

圖5 牛蹄與接觸地面的夾角Fig.5 Angle between cow hoof and ground

圖6 4種程度蹄病示意圖Fig.6 Sketches of four degrees of hoof disease

因蹄部與地面的夾角易受到周邊遮擋，很難通過視頻圖像獲取，本文主要通過背部彎曲程度對(duì)應(yīng)牛只蹄病等級(jí)進(jìn)行監(jiān)測(cè)。

2.2.2 基于圖像的奶牛發(fā)情行為智能分析

奶牛發(fā)情后的12～24 h是最佳受孕時(shí)期，典型特征是爬跨(前蹄動(dòng)作)與活動(dòng)量變大，伴隨進(jìn)食量與產(chǎn)奶量的下降。一般要在發(fā)情12 h后才會(huì)出現(xiàn)明顯特征性動(dòng)作，現(xiàn)有監(jiān)測(cè)依靠人工監(jiān)視，無法保證白天長時(shí)間的連續(xù)監(jiān)測(cè)，更無法解決夜間發(fā)情監(jiān)測(cè)。

奶牛爬跨行為比較明顯，相比較奶牛在一起的其他正常行為圖像而言，具有爬跨行為的奶牛包圍盒面積有所不同，本文在利用上述圖像熵方法對(duì)奶牛目標(biāo)對(duì)象識(shí)別基礎(chǔ)上，計(jì)算奶牛對(duì)象最小包圍盒之間的相交面積，如圖7所示，判斷發(fā)情行為如下：

奶牛目標(biāo)對(duì)象最小包圍盒面積可以通過圖像矩計(jì)算得到，令0階矩M00為奶牛目標(biāo)對(duì)象最小包圍盒的面積

(9)

式中I(x,y)——最小包圍盒內(nèi)任意像素點(diǎn)l、w——包圍盒的長和寬x、y——像素點(diǎn)橫、縱坐標(biāo)值

則矩形的重心坐標(biāo)xc、yc分別為

(10)

當(dāng)監(jiān)控視頻內(nèi)的奶牛對(duì)象相互重疊時(shí)，分別計(jì)算奶牛對(duì)象的最小包圍盒中心點(diǎn)[(x1,y1)、(x2,y2)、(x3,y3)、(xQ,yQ)],最小包圍盒的寬分別為w1、w2、w3、wQ，取

葉圣陶先生說：“預(yù)習(xí)是訓(xùn)練閱讀的最重要的階段?！庇纱丝梢?，預(yù)習(xí)非常重要。如何指導(dǎo)高年級(jí)學(xué)生自主、高效預(yù)習(xí)課文呢？我認(rèn)為，可以從以下幾個(gè)方面進(jìn)行落實(shí)。

(11)

式中Q——奶牛對(duì)象頭數(shù)

當(dāng)

R

則奶牛疑似發(fā)情。

2.3 試驗(yàn)分析

2.3.1 奶牛發(fā)情行為試驗(yàn)分析

在3 476幅發(fā)情行為圖像中，隨機(jī)選取1 800幅作為訓(xùn)練集，以奶牛腹部中間位置為中心點(diǎn)，計(jì)算牛只的最小包圍盒，并獲取大于1個(gè)包圍盒的最小相交面積，分析比較后確定發(fā)情判斷的最小相交面積的范圍。其中wi(i=1,2,3,4)為包圍盒的最短邊，li(i=1,2,3,4)為包圍盒的最長邊，A、B、C、D分別為4個(gè)包圍盒，R為2個(gè)包圍盒中心點(diǎn)(R1,R2)的距離。

圖8 不同情況下牛只最小包圍盒相交示意圖Fig.8 Sketches of minimum bounding intersection

圖8a與圖8b為包圍盒A與包圍盒B相交的最小包圍盒，其中圖8a中2個(gè)最小包圍盒的最短邊為w1，w1R。圖8c中A與B、D 2個(gè)最小包圍盒相交，其中包圍盒的最短邊為w1=w2，且w1=w2

根據(jù)R

2.3.2 奶牛蹄病行為試驗(yàn)分析

為有效捕捉奶牛蹄病行為，在奶牛進(jìn)入奶廳匝道處安裝高清攝像頭，近距離實(shí)時(shí)觀察每頭奶牛的背部與蹄部特征。

利用圖像熵分割方法，將攝像頭監(jiān)控的關(guān)鍵幀內(nèi)的奶牛目標(biāo)對(duì)象進(jìn)行分割，并參照上述方法，將奶牛的輪廓分為5部分，并將牛只背部彎曲程度與4種級(jí)別蹄病等級(jí)進(jìn)行匹配，實(shí)現(xiàn)蹄病預(yù)警，并匹配相應(yīng)蹄病等級(jí)。

由于沒有考慮蹄部與地面的夾角，因此僅僅通過背部彎曲程度判斷蹄病等級(jí)的方法還有所不足，本文在背部彎曲程度判斷的基礎(chǔ)上，結(jié)合牛只的運(yùn)動(dòng)量，若奶牛發(fā)生蹄病，運(yùn)動(dòng)量在7 d內(nèi)會(huì)明顯下降，通過圖像背部特征與奶牛運(yùn)動(dòng)量特性進(jìn)行融合，可以在蹄病初期就能很好的監(jiān)測(cè)到，及時(shí)進(jìn)行防治，防止蹄病惡化，影響奶牛的產(chǎn)奶量。

利用上述方法對(duì)河北省豐寧縣銀河牧場(chǎng)的200頭泌乳牛與200頭小育成牛的發(fā)情行為和蹄病行為進(jìn)行自動(dòng)識(shí)別，并將識(shí)別準(zhǔn)確率、漏檢率與人工識(shí)別結(jié)果進(jìn)行對(duì)比分析，驗(yàn)證本文方法的魯棒性，如表1、表2所示。

表1 準(zhǔn)確率對(duì)比分析

表2 漏檢率對(duì)比分析

通過表1、2可以看出，由于奶牛發(fā)情、蹄病圖像特征會(huì)因?yàn)檎趽酢⒐庹盏仍?，造成特征提取誤差，自動(dòng)識(shí)別奶牛發(fā)情與蹄病的準(zhǔn)確率為80%以上，而由于人的經(jīng)驗(yàn)豐富，使得人工識(shí)別奶牛發(fā)情行為與蹄病的準(zhǔn)確率能達(dá)到95%以上。雖然發(fā)情與蹄病自動(dòng)識(shí)別準(zhǔn)確率比人工識(shí)別略低，但是，自動(dòng)識(shí)別的方法可以實(shí)現(xiàn)每天24 h的不間斷監(jiān)測(cè)，避免了人工無法長期觀察的弊端。通過對(duì)視頻監(jiān)控圖像進(jìn)行分析識(shí)別，奶牛發(fā)情與蹄病行為的漏檢率不超過6.3%。而人工會(huì)隨著長時(shí)間從事某一監(jiān)測(cè)，造成視覺與體力疲勞，導(dǎo)致比較大的漏檢率。因此，綜合分析本文的方法，能夠提高奶牛發(fā)情與蹄病行為識(shí)別的效率。

3 結(jié)束語

對(duì)不同生育期內(nèi)重點(diǎn)監(jiān)測(cè)的蹄病、發(fā)情行為的監(jiān)控視頻進(jìn)行了分析，研究了基于圖像熵的奶牛目標(biāo)檢測(cè)、體態(tài)分類與識(shí)別等關(guān)鍵技術(shù)，提取奶牛目標(biāo)對(duì)象，同時(shí)采用最小包圍盒面積計(jì)算方法，實(shí)時(shí)捕獲奶牛在活動(dòng)區(qū)內(nèi)的爬跨行為和背部彎曲度，并借助計(jì)步器采集到的運(yùn)動(dòng)量，對(duì)奶牛養(yǎng)殖過程中出現(xiàn)的蹄病、發(fā)情等異常行為進(jìn)行提示預(yù)警，有效節(jié)省養(yǎng)殖人員的時(shí)間，使得奶牛發(fā)情、蹄病的識(shí)別準(zhǔn)確率均超過80%，發(fā)情漏檢率最低為3.28%，蹄病漏檢率最低為5.32%，提高了規(guī)?；B(yǎng)殖管理效率和奶牛健康繁殖的科學(xué)研究水平，具有重要的應(yīng)用價(jià)值。但文中并未考慮監(jiān)控視頻的前后幀的相關(guān)性，在今后的研究中，需要結(jié)合奶牛行為的時(shí)間相關(guān)性，抽取某一時(shí)間段內(nèi)奶牛的行為特征模型，提高行為識(shí)別的準(zhǔn)確性；同時(shí)進(jìn)一步研究蹄病與發(fā)情行為視頻關(guān)鍵幀與具體牛只編號(hào)的對(duì)應(yīng)關(guān)系，以精確定位到發(fā)情、患病牛只。

1 溫長吉,王生生,趙昕,等.基于視覺詞典法的母牛產(chǎn)前行為識(shí)別[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014, 45(1):266-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20140141&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.01.041. WEN Changji, WANG Shengsheng, ZHAO Xin, et al. Visual dictionary for cows sow behavior recognition[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):266-274. (in Chinese)

2 NOLDUS L, SPINK A J. Tegelenbosch ethovision: a versatile video tracking system for automation of behavioral experiments[J]. Behavior Research Methods, Instruments & Computers, 2001，33(3): 398-414.

3 Med Associates Inc. Homecage video tracking system[M/OL]. (2007-11-01)[2016-03-01].http:∥www.med-associates.com/new_prod/video.htm.

4 LEROY T, VRANKEN E.A computer vision method for on-line behavioral quantification of individually caged poultry[J]. Transactions of the ASABE,2006,49(3):795-802.

5 BIOBSERVE G. Trackit system family[M/OL].(2007-11-05)[2016-03-01]. http:∥www.biobserve.com/products/trackit/index.htm.

6 TUCHER B, KHAN Z, VELOSO M. Automatically tracking and analyzing the behavior of live insect colonies[C]. AGENTS’01, 2001: 521-528.

7 SHAO Bin,XIN Hongwei.A real-time computer vision assessment and control of the themal comfort for group-housed pigs[J].Computer and Electronics in Agriculture,2008,62(2):15-21.

8 王舉,陳曉江,常儷瓊,等.基于壓縮感知的被動(dòng)式移動(dòng)目標(biāo)軌跡測(cè)繪[J].計(jì)算機(jī)學(xué)報(bào),2014,37(74):1-15. WANG Ju, CHEN Xiaojiang, CHANG Liqiong, et al. Compressive sensing based device-free moving target trajectory depiction[J].Chinese Journal of Computers,2014,37(74):1-15. (in Chinese)

9 紀(jì)濱,朱偉興,劉波,等.基于脊腹線波動(dòng)的豬呼吸急促癥狀視頻分析[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(1): 191-195. JI Bin, ZHU Weixing, LIU Bo,et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J]. Transactions of the CSAE,2011,27(1):191-195. (in Chinese)

10 趙凱旋,何東健,王恩澤.基于視頻分析的奶牛呼吸頻率與異常檢測(cè)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014, 45(10):258-263. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141040&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2014.10.040. ZHAO Kaixuan, HE Dongjian, WANG Enze.Detection of breathing rate and abnormity of dairy cattle based on video analysis[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):258-263. (in Chinese)

11 劉波,朱偉興,楊建軍,等.基于深度圖像和生豬骨架端點(diǎn)分析的生豬步頻特征提取[J].農(nóng)業(yè)工程學(xué)報(bào)，2014,30(10):131-137. LIU Bo, ZHU Weixing, YANG Jianjun, et al. Extracting of pig gait frequency feature based on depth image and pig skeleton endpoints analysis[J]. Transactions of the CSAE,2014,30(10):131-137. (in Chinese)

12 朱偉興,浦雪峰,李新城,等.基于行為監(jiān)測(cè)的疑似病豬自動(dòng)化識(shí)別系統(tǒng)[J],農(nóng)業(yè)工程學(xué)報(bào),2010,26(1): 188-192. ZHU Weixing, PU Xuefeng, LI Xincheng, et al.Automatic identification system of pigs with suspected case based on behavior monitoring[J]. Transactions of the CSAE,2010,26(1):188-192. (in Chinese)

13 宋杰偉,王金一,南凱,等.基于Web的鳥類視頻監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件, 2011,28(3):86-88. SONG Jiewei, WANG Jinyi, NAN Kai, et al.Study on Web-based video monitoring system for birds and its implementation[J].Computer Applications and Software,2011,28(3):86-88.(in Chinese)

14 段延娥,李道亮,李振波,等.基于計(jì)算機(jī)視覺的水產(chǎn)動(dòng)物視覺特征測(cè)量研究綜述[J].農(nóng)業(yè)工程學(xué)報(bào)，2015,31(15):1-11. DUAN Yan’e, LI Daoliang, LI Zhenbo,et al. Review on visual attributes measurement research of aquatic animals based on computer vision[J]. Transactions of the CSAE,2015,31(15):1-11. (in Chinese)

15 龐超,何東健,李長悅,等.基于RFID與WSN的奶牛養(yǎng)殖溯源信息采集與傳輸方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2011,27(9):147-152. PANG Chao, HE Dongjian, LI Changyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSN[J]. Transactions of the CSAE,2011,27(9):147-152. (in Chinese)

16 尹令,劉財(cái)興,洪添勝,等.基于無線傳感器網(wǎng)絡(luò)的奶牛行為特征監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)工程學(xué)報(bào)，2010,26(3):203-208. YIN Ling, LIU Caixing, HONG Tiansheng, et al. Design of system for monitoring dairy cattle’s behavioral features based on wireless sensor networks[J]. Transactions of the CSAE,2010,26(3):203-208. (in Chinese)

17 田富洋,王冉冉,劉莫塵,等.基于神經(jīng)網(wǎng)絡(luò)的奶牛發(fā)情行為辨識(shí)與預(yù)測(cè)研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(增刊1):277-281. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2013s1 50&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2013.S1.050. TIAN Fuyang, WANG Ranran, LIU Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks [J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp.1): 277-281. (in Chinese)

18 柳平增,丁為民,汪小旵,等.奶牛發(fā)情期自動(dòng)檢測(cè)系統(tǒng)的設(shè)計(jì)[J].測(cè)控技術(shù),2006,25(11): 48-51. LIU Pingzeng, DING Weimin, WANG Xiaochan, et al. Design of automatic system to detect cow oestrus[J]. Measurement & Control Technology, 2006,25(11): 48-51. (in Chinese)

19 耿麗微,錢東平,趙春輝.基于射頻技術(shù)的奶牛身份識(shí)別系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報(bào)，2009，25(5)：137-141. GENG Liwei, QIAN Dongping, ZHAO Chunhui. Cow identification technology system based on radio frequency[J]. Transactions of the CSAE, 2009, 25(5): 137-141.(in Chinese)

20 STEM U, HE R, YANG C H.Analyzing animal behavior via classifying each video frame using convolutional neural networks[J]. Scientific Reforts,2015,5:1-13.

21 NILSSON M, HERLIN A H, ARDO H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machinee learned segmentation technique[J]. Animal, 2015,9(11):1859-1865.

22 沈明霞,劉龍申,閆麗,等.畜禽養(yǎng)殖個(gè)體信息監(jiān)測(cè)技術(shù)研究進(jìn)展[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(10):245-251. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141038&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.10.038. SHEN Mingxia, LIU Longshen, YAN Li, et al. Review of monitoring technology for animal individual in animal husbandry[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):245-251. (in Chinese)

23 勞鳳丹,滕光輝,李軍,等.機(jī)器視覺識(shí)別單只蛋雞行為的方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(24):157-163. LAO Fengdan, TENG Guanghui, LI Jun, et al. Behavior recognition method for individual laying hen based on computer vision[J]. Transactions of the CSAE,2012,28(24):157-163. (in Chinese)

Recognition Method of Cow Behavior Based on Combination of Image and Activities

GU Jingqiu1,2WANG Zhihai1GAO Ronghua2WU Huarui2

(1.SchoolofComputerandInformationTechnology,BeijingJiaotongUniversity,Beijing100044,China2.NationalEngineeringResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

Due to the application of internet of things (IoT) to large-scale cow breeding, mass of multi-scale data and multi-divisional sensor data and video monitoring data of cow individuals were collected. Therefore, it is significant to dig out useful information about features of healthy reproduction behavior for development of scientific large-scale breeding measures and improve economic benefits from cow breeding. For the rapid and accurate identification of cow reproduction and healthy behavior from mass surveillance video, totally 400 head of young cows and lactating cows were taken as the research object and cow behavior from the dairy activity area and milk hall ramp was analyzed. The method of object recognition based on image entropy was proposed, aiming at the identification of motional cow object behavior against a complex background. Calculation of a minimum bounding box and contour mapping was used for the real-time capture of rutting span behavior and hoof or back characteristics. Then, by combining the continuous image characteristics with movement of cows for 7 d, abnormal behavior of dairy cows from healthy reproduction can be quickly distinguished by the method, which improved the accuracy of the identification of dairy cows characteristics. Cow behavior recognition based on image analysis and activities was proposed to capture abnormal behavior that had harmful effects on healthy reproduction and improve the accuracy of cow behavior identification. The experimental results showed that through target detection, classification and recognition, the recognition rates of hoof disease and heat in the reproduction and health of dairy cows were greater than 80%, and the false negative rates of oestrus and hoof disease reached 3.28% and 5.32%, respectively. This method can enhance the real-time monitoring of cows, save time and improve the management efficiency of large-scale farming.

cow behavior; target segmentation; image entropy; image moment; activities; intelligent analysis

10.6041/j.issn.1000-1298.2017.06.019

2017-02-24

2017-05-02

國家自然科學(xué)基金面上項(xiàng)目(61571051)

顧靜秋(1977—)，男，博士生，國家農(nóng)業(yè)信息化工程技術(shù)研究中心副研究員，主要從事農(nóng)業(yè)大數(shù)據(jù)分析與智能決策研究，E-mail： gujq@nercita.org.cn

王志海(1963—)，男，教授，博士生導(dǎo)師，主要從事機(jī)器學(xué)習(xí)研究，E-mail： zhhwang@bjtu.edu.cn

S823.9+1； TP391.4

A

1000-1298(2017)06-0145-07