基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法

韓書慶，張建華，孔繁濤，張騰飛，吳海玲，單佳佳，吳建寨

基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法

韓書慶1，張建華1，孔繁濤1，張騰飛2，吳海玲2，單佳佳3，吳建寨1※

（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)大數(shù)據(jù)重點實驗室，北京 100081； 2. 成都睿畜電子科技有限公司，上海 201899；3. 大連理工大學(xué)食品與環(huán)境學(xué)院，盤錦 124221）

豬體圖像的前景分割和黏連豬體的分離是實現(xiàn)群養(yǎng)豬數(shù)量自動盤點和豬只個體行為智能識別的關(guān)鍵。為實現(xiàn)群養(yǎng)豬黏連圖像的自動分割，該文采用決策樹分割算法提取視頻圖像幀的豬體前景區(qū)域，計算各連通區(qū)域的復(fù)雜度，根據(jù)復(fù)雜度確定黏連豬體區(qū)域，利用標(biāo)記符控制的分水嶺分割算法處理黏連豬體圖像，檢測待選的邊界脊線，通過檢驗待選邊界脊線的分割效果和形狀特征（包括線性度和Harris拐點數(shù)目），識別出豬體黏連分割線，實現(xiàn)黏連豬體的分離。結(jié)果表明，決策樹分割算法（decision-tree-based segmentation model，DTSM）能夠有效地去除復(fù)雜背景，前景分割效果良好。黏連豬體分離結(jié)果顯示，基于邊界脊線識別的黏連豬體分離準(zhǔn)確率達到了89.4%，并較好地保留了豬體輪廓。通過計算分割后豬體連通區(qū)域的中心點，并對中心點進行德洛內(nèi)剖分，初步實現(xiàn)了豬只的定位和欄內(nèi)分布的可視化。6 min的監(jiān)控視頻處理結(jié)果顯示，該文方法各幀圖像的盤點平均誤差為0.58，盤點準(zhǔn)確率為98.33%，能夠正確統(tǒng)計出欄內(nèi)豬只數(shù)量。該研究可為實現(xiàn)基于監(jiān)控視頻的群養(yǎng)豬自動盤點和個體行為識別提供新的技術(shù)手段。

圖像處理；畜牧業(yè)；自動盤點；決策樹；分割脊線識別；群養(yǎng)豬

0 引 言

生豬養(yǎng)殖業(yè)在中國經(jīng)濟發(fā)展中占有重要地位。隨著環(huán)境保護壓力的加大，中國生豬養(yǎng)殖規(guī)?；图s化程度逐年升高。規(guī)?；B(yǎng)殖的發(fā)展給飼養(yǎng)管理者帶來了新的挑戰(zhàn)。豬只數(shù)目的增多導(dǎo)致人工巡檢工作強度加大。為減輕飼養(yǎng)管理壓力，及時發(fā)現(xiàn)異常狀況，提高飼養(yǎng)管理效率和水平，利用計算機視覺技術(shù)實現(xiàn)生豬采食[1-2]、飲水[3-4]、排泄[5]、攻擊[6-8]、爬跨[9]、分娩[10]、哺乳[11]、活動狀態(tài)[12]等行為的自動識別，以及健康福利狀況的自動評估成為當(dāng)前的研究熱點[13-14]。其中，豬體圖像的前景分割和黏連豬體圖像的分離是實現(xiàn)生豬數(shù)量自動盤點以及個體行為準(zhǔn)確識別的基礎(chǔ)。

一方面，豬舍內(nèi)光照條件復(fù)雜、豬體易沾染臟污、豬欄內(nèi)漏縫地板背景雜亂導(dǎo)致監(jiān)控圖像對比度低，豬體圖像分割難度大。這些干擾因素對圖像分割算法的魯棒性提出了更高要求。國內(nèi)外學(xué)者已經(jīng)開展了相關(guān)圖像處理算法的研究。Zhu等[3]通過對比Otsu算法、迭代算法和最大熵閾值算法的分割效果，發(fā)現(xiàn)最大熵閾值方法，結(jié)合形態(tài)學(xué)開運算，較好的實現(xiàn)了豬體圖像分割。Nasirahmadi等[15]首先利用背景減法去除圖像背景，隨后利用Otsu算法確定二值化分割閾值，最后對二值圖像進行腐蝕和膨脹的形態(tài)學(xué)處理并消除小面積的噪聲點，最后得到豬群的分割結(jié)果。Nilsson等[5]提出了基于彈性網(wǎng)絡(luò)正則化的學(xué)習(xí)分割算法，通過顏色空間、梯度、濾波結(jié)果等10個通道的變量值分別計算出每個像素點屬于感興趣區(qū)域（region of interest，ROI）的概率，最終得到ROI的概率圖像，實現(xiàn)對豬體圖像的軟分割。但是，該算法較復(fù)雜，運算量大，而且受豬的姿態(tài)和位置的影響較大。孫龍清等[16]提出了一種基于改進 Graph Cut 算法的生豬圖像分割方法，該方法能夠減輕背景和光照對分割結(jié)果的影響，具有較高的魯棒性，但是該研究采用的側(cè)面拍攝的圖像，豬體相互遮擋嚴(yán)重，未開展黏連豬體個體的分割研究，分割后的圖像難以用于個體行為識別。為解決豬舍環(huán)境光照復(fù)雜，生豬跟蹤難度大的問題，段玉瑤等[17]提出了一種優(yōu)化特征提取的壓縮感知跟蹤方法，該算法能夠顯著減輕背景、光照對豬目標(biāo)跟蹤的影響。為了實現(xiàn)在大田復(fù)雜光照和背景條件下水稻葉片的分割，Guo等[18]提出了一種基于決策樹模型像素級的分割算法（decision-tree-based segmentation model, DTSM），該算法魯棒性強，能夠在多種天氣條件下實現(xiàn)水稻冠層覆蓋率的準(zhǔn)確提取。目前，還未見相關(guān)研究將DTSM算法應(yīng)用在豬體圖像分割方面。

另一方面，由于飼養(yǎng)密度大，同時豬愛扎堆，豬群圖像中黏連現(xiàn)象較常見。在圖像分割提取出感興趣區(qū)域后，需要進一步對豬體黏連圖像進行識別并分離。黏連分離的方法主要包括分水嶺算法[19]、橢圓擬合法[20]和分割點搜索法[21-24]。高云等[19]利用距離變換法，將二值圖像變換為灰度圖像，通過改進的分水嶺分割算法得到分割脊線，實現(xiàn)黏連豬個體的分割，但是該方法的黏連分離效果依賴于形態(tài)學(xué)開運算的結(jié)果，無法處理黏連程度較高的圖像。Lu等[20]利用橢圓擬合分割方法，實現(xiàn)了黏連仔豬的分離。在蛋雞、害蟲、稻米等農(nóng)業(yè)圖像處理中，也存在黏連分離的問題。Ju等[21]采用深度學(xué)習(xí)YOLO算法進行豬目標(biāo)檢測，生成豬個體的包圍盒，黏連分割正確率達到了91.96%，但是包圍盒分割線不能保留豬體完整輪廓。勞鳳丹等[22]利用極限腐蝕及凹點搜尋處理算法分離黏連雞只。黏連分離后，蛋雞計數(shù)正確率達到了93.5%。李文勇等[23]通過對黏連圖像的輪廓進行逐層剝離確定局部分割點，然后繼續(xù)搜索邊界輪廓得到分離點，連接分割點和分離點進行黏連害蟲的分割。李冰等[24]通過提取黏連米粒背景區(qū)域圖像的骨架，確定分割端點，繪制分割曲線，顯著提高了黏連米粒圖像的分割準(zhǔn)確率。王小鵬等[25]提出了一種凹點檢測和匹配的枸杞圖像分割方法，實現(xiàn)了黏連枸杞的準(zhǔn)確分割。但豬姿態(tài)多變，黏連情況多樣，現(xiàn)有黏連分離方法難以實現(xiàn)黏連豬體的準(zhǔn)確分割。

規(guī)?；B(yǎng)殖場景下群養(yǎng)豬的黏連分離面臨著邊界灰度梯度小、黏連情況復(fù)雜、重疊遮擋等諸多挑戰(zhàn)，為實現(xiàn)群養(yǎng)豬黏連圖像的自動分割和盤點，本文在前人研究基礎(chǔ)上，利用決策樹模型（decision-tree-based segmentation model, DTSM）算法分割豬體圖像，結(jié)合標(biāo)記分水嶺算法提取待選黏連分割線，分析邊界脊線形狀特征，探索基于邊界脊線識別的群養(yǎng)豬黏連圖像自動分割，以期為生豬存欄數(shù)量的自動盤點和豬只個體行為的智能識別提供技術(shù)支撐。

1 材料與方法

1.1 圖像采集

于2018年8月16日在睿畜電子科技有限公司合作養(yǎng)殖場錄制了6 min的監(jiān)控視頻。視頻幀速率為25幀/s，共計9 000幀圖像。欄內(nèi)飼養(yǎng)了13頭育肥豬，品種為外三元。采用安裝在豬欄正上方的?？低晹z像頭進行整個豬欄區(qū)域的拍攝，攝像機安裝高度為3 m。本文主要利用512像素×288像素的彩色圖像開展生豬的圖像分割和黏連分離，基于MatlabR2017a編程實現(xiàn)，PC處理器為Intel Core i7-4790，主頻為3.6 GHz。

1.2 決策樹圖像分割算法

隨機選定5幅圖片作為訓(xùn)練樣本，用于建立決策樹分割模型。在訓(xùn)練樣本圖片中，人工標(biāo)注感興趣區(qū)域（region of interest，ROI）和背景區(qū)域，并提取RGB、HSV、***共3個顏色空間的9個色彩分量，如圖1所示。利用CART算法[26]建立基于顏色特征的決策樹圖像分割模型，如圖2所示。利用建立好的模型進行圖像分割，分別判斷測試圖像中每個像素的顏色特征屬于ROI或背景區(qū)域，從而實現(xiàn)圖像的分割。

注：感興趣區(qū)域用紅色標(biāo)注，背景區(qū)域用綠色標(biāo)注。

注：R為RGB顏色空間R色彩分量；a*為L*a*b*顏色空間的a*色彩分量；b*為L*a*b*顏色空間的b*色彩分量；pig為感興趣區(qū)域；background為背景區(qū)域。

1.3 黏連豬體分割

在豬體圖像前景分割的基礎(chǔ)上，通過復(fù)雜度公式提取黏連豬體區(qū)域，利用標(biāo)記符控制的分水嶺算法檢測待選的黏連分割線，最后根據(jù)黏連分割線的形狀特性選定分割線。

1.3.1 黏連豬體區(qū)域的識別

由于黏連豬體連通區(qū)域的邊界比單只豬體的邊界復(fù)雜，因此通過分別計算二值圖像中各連通區(qū)域的復(fù)雜度，判斷其是否屬于黏連區(qū)域，并對黏連部分作進一步的分割。復(fù)雜度的定義為[27]

式中為連通區(qū)域的周長；為連通區(qū)域的面積。復(fù)雜度0=40時，可以將黏連豬體連通區(qū)域與單只豬體區(qū)域分開。2只或多只豬黏連形成連通區(qū)域的面積應(yīng)大于單只豬體的面積，將連通區(qū)域面積大于單只豬體的最大面積max作為黏連區(qū)域的輔助判斷依據(jù)。經(jīng)測試，單只豬體最大面積為4 500。分別計算圖像中各連通區(qū)域的復(fù)雜度和面積。當(dāng)?shù)趥€連通區(qū)域滿足>0且>max時，判斷該區(qū)域?qū)儆陴みB豬體區(qū)域，需要進行分割。黏連豬體和單只豬體區(qū)域的復(fù)雜度數(shù)值存在顯著差異，比較容易區(qū)分，如圖3所示。

注：圖中數(shù)值表示各連通區(qū)域的復(fù)雜度。

Note: The number shows the complexity of each connected region.

圖3 黏連豬體和單只豬體區(qū)域的復(fù)雜度對比

Fig.3 Comparison of complexity between connected pigs and isolated pigs

1.3.2 黏連豬體區(qū)域待選分割線的檢測

為實現(xiàn)黏連豬體的準(zhǔn)確分割，本文利用標(biāo)記符控制的分水嶺算法定位黏連豬體區(qū)域內(nèi)部的脊線作為待選分割線。標(biāo)記符控制的分水嶺算法是指根據(jù)先驗知識尋找豬體前景和背景的標(biāo)識符，標(biāo)記符控制的分水嶺分割能夠顯著改善分水嶺算法的過分割現(xiàn)象。具體步驟如下：

1）相對于灰暗的漏縫地板，豬體區(qū)域較明亮。通過計算灰度圖像的局部極大值，選定豬體內(nèi)部區(qū)域作為前景標(biāo)記；

2）對灰度圖像進行二值化，開運算、填充空洞等預(yù)處理操作得到二值圖像；

華北多特高壓交直流強耦合大受端電網(wǎng)系統(tǒng)保護方案設(shè)計//羅亞洲,陳得治,李軼群,王青,張劍云,訾鵬,等//(22):11

3）對二值圖像進行歐氏距離變換，對距離圖像進行分水嶺分割，將分水嶺變換脊線作為背景標(biāo)記；

4）進行前景標(biāo)記和背景標(biāo)記控制的分水嶺分割，得到黏連區(qū)域的分水嶺變換脊線；

5）將黏連區(qū)域的分水嶺變換脊線圖像與黏連區(qū)域的外輪廓線的補充圖像進行與運算得到黏連豬體區(qū)域待選分割線，如圖4所示。

由于豬舍光照條件復(fù)雜，以及豬體沾染污漬的影響，部分豬體內(nèi)部有多個前景標(biāo)記，導(dǎo)致單一豬體內(nèi)部出現(xiàn)過分割現(xiàn)象，需要對待選分割線進行進一步的篩選。

1.3.3 基于形狀特征的黏連豬體分割線篩選

豬只擠在一起，黏連分割線大多為光滑曲線，不會出現(xiàn)過多的拐點及折線。利用這一特性，通過計算分割線的拐點個數(shù)，排除折線等分割線，保留待選分割線。分別計算每條分割線的線性度和Harris角點個數(shù)。線性度的計算公式為

式中D為分割線端點的直線距離；K為分割曲線的實際長度。通過多次試驗，選定線性度閾值L0為0.85。結(jié)合分割線的最大角點數(shù)目Nmax作為判斷依據(jù)，本試驗條件下Nmax為9。當(dāng)分割線滿足LNmax時，判斷該分割線不屬于黏連分割線。部分分割線的線性度和角點個數(shù)如圖5所示。

注：L表示線性度，N表示拐點數(shù)目。

通過以上篩選，排除線性度小于0.85或Harris角點個數(shù)大于9的分割線（圖5d～5f），保留分割線（圖5a～5c）。對保留的分割線圖像求反，然后與待分割的黏連豬體二值圖像進行與運算，實現(xiàn)黏連豬體連通區(qū)域的分割。若分割線篩選結(jié)果正確，則分割后連通區(qū)域的面積應(yīng)該與單只豬體的面積相近。根據(jù)這一規(guī)則，對篩選出的分割線逐一檢驗。利用篩選出來的分割線進行豬體區(qū)域的分割，判斷每一條分割線分割后，新生成2部分的面積是否均大于×max。其中，為面積系數(shù)，本試驗條件下=0.6。如果是，則保留；如果否，則排除。為防止部分豬只存在弱黏連，繼續(xù)對分割結(jié)果進行腐蝕。將分割結(jié)果與單只豬體區(qū)域合并。為了直觀展示分割后豬的數(shù)目及其在欄內(nèi)分布，利用德洛內(nèi)剖分算法[13]對豬群所在區(qū)域進行三角剖分。

1.4 黏連分割效果評價

由于豬舍內(nèi)部光線較暗且光照不均勻，部分豬只身上沾滿污漬，同一豬體區(qū)域內(nèi)灰度值變化較大，相鄰豬體的界限不明顯，較容易出現(xiàn)過分割及欠分割的情況。利用本文方法進行黏連豬體的分割，會存在正確分割、錯誤分割以及漏分割3種情況。本文采用準(zhǔn)確分割率（segmentation accuracy，SR）、誤分割率（segmentation error rate，SER）和漏分割率（segmentation missing rate，SMR）3個指標(biāo)對黏連分割效果進行評價。各指標(biāo)的計算方法如下

式中correct為正確分割的黏連線數(shù)目，missing為漏掉未識別分割的黏連線數(shù)目，manual為人工標(biāo)定的黏連線數(shù)目，其中manual=correct+missing，auto為該算法自動識別分割的黏連線數(shù)目。

1.5 盤點效果評價

豬的行動較為遲緩，相鄰幀圖像的相似度高，在獲取的9 000幀圖像中存在大量冗余圖像，因此在150幀中隨機抽取1幀圖像，共采用60幀圖像測試算法的盤點效果。為了對比本文算法與文獻[19]的盤點效果，分別計算2種算法的盤點平均誤差（counting mean error，CME）、標(biāo)準(zhǔn)差(root mean square error，RMSE)、平均盤點耗時(average counting time，ACT)及盤點準(zhǔn)確率（counting accuary，CA）。指標(biāo)的計算方法如下所示

式中為測試的圖像總幀數(shù)，i_manual為人工盤點第幀圖像中豬的數(shù)量，i_auto為本文算法自動盤點得到第幀圖像中豬的數(shù)量。

2 結(jié)果與分析

2.1 豬體前景分割結(jié)果

為了比較分析不同圖像分割算法的分割效果，分別利用Otsu[28]、最大熵閾值[29]和DTSM算法處理前文所拍視頻圖像，分割效果如圖6所示。由圖可見，與Otsu（圖6b）、最大熵閾值（圖6c）分割算法相比，DTSM算法（圖6d）較完整地保留了豬體前景區(qū)域，但圖中PVC管顏色與豬體顏色接近，DTSM算法未能將PVC管判定為背景。PVC管會將不同豬體區(qū)域連通，影響后期黏連圖像分離效果。進一步利用形態(tài)學(xué)開運算和中值濾波處理DTSM分割結(jié)果（圖6e），去除PVC管等圖像噪聲得到最終分割結(jié)果（圖6f）。

2.2 黏連豬體分離結(jié)果

為了較好地驗證黏連豬體分離的效果，從9 000幀圖像中人工篩選出25幀具有顯著黏連特征的圖像進行黏連豬體分離。利用邊界脊線識別的方法篩選黏連豬體的分割線。統(tǒng)計25幀圖像的黏連豬體分割效果，人工認定分割線為60條，本文算法自動識別分割線47條，其中正確識別黏連分割線42條，準(zhǔn)確分割率（SR）為89.4%，誤分割率（SER）為10.6%。漏掉未識別的黏連分割線為18條，漏分割率（SMR）較高，為30%。漏分割率較高是由于有3幀圖像存在豬只上下堆疊在一起的現(xiàn)象，無法檢測到邊界。若排除存在豬只上下堆疊的圖像，漏分割率為5.3%。

圖6 不同分割算法圖像分割結(jié)果的對比

在相似的研究中，高云等[19]采用圓形結(jié)構(gòu)元素對二值圖像進行開運算實現(xiàn)黏連豬體的分離，再利用距離變換選定每個連通區(qū)域的最小值區(qū)域，并將最小值區(qū)域作為“山谷”尋找分水嶺分割脊線，實現(xiàn)黏連分割。文獻[19]中，分割脊線的提取依賴于開運算的結(jié)果。利用文獻[19]算法對本文所采用的圖像進行開運算后，部分豬體圖像仍然黏連在一起，生成的分割脊線無法將黏連的豬體分開，如圖7b所示。同時，文獻[19]試驗用高清攝像頭的圖像分辨率為1 280×720，豬舍衛(wèi)生條件較好，豬體與背景對比度較大，圖像分割難度較小。而本文算法處理的圖像分辨率較低，豬體前景與背景對比度較小，分割線檢測區(qū)域是開運算后依然黏連的豬體區(qū)域，如圖7a所示。文獻[19]算法分割線檢測結(jié)果如圖7b所示，該算法提取的分割線并沒有對本文關(guān)注的黏連區(qū)域進行分割。

圖7 本文算法與文獻[19]算法分割線檢測結(jié)果的對比

豬只黏連程度可以分為接觸但不重疊（I）、輕度重疊（II）以及重度重疊（III）3種黏連等級[18]。圖8a～8c為利用DTSM算法對I~III黏連等級圖像的分割結(jié)果，圖8d~8f為利用本文算法檢測到的黏連分割線，圖8g～8i為利用黏連分割線對圖8a～8c的分割結(jié)果。其中，紅色標(biāo)記為德洛內(nèi)三角剖分的結(jié)果，每個節(jié)點代表分割后單只豬的中心點。由圖8g～8i可見，本文算法能夠處理I、II兩種情況下的黏連分割，同時實現(xiàn)了豬只的初步定位。通過連續(xù)處理監(jiān)控圖像可以記錄豬在欄內(nèi)的運動軌跡，輔助進行豬的飲食、休息、活動量等行為分析。但是本文算法對重度重疊（III）豬只的分割效果不好，欠分割和過分割的現(xiàn)象同時存在。當(dāng)豬只堆疊在一起并存在遮擋的情況下，相鄰豬體區(qū)域連通，邊界的灰度梯度較小難以識別。本文算法可用于處理淺色豬圖像，黑豬或花色豬的邊界灰度梯度小，邊界提取難度較大，需要通過深度相機提取深度信息，增加邊界灰度梯度，提高本文算法對重度重疊豬體圖像和其他顏色豬的分割能力。

注：I、II、III分別表示接觸但不重疊、輕度重疊、重度重疊3種豬體黏連等級。

2.3 豬只自動盤點結(jié)果分析

本文算法、分割點搜索法[23]與文獻[19]算法對60幀圖像的盤點結(jié)果如表2所示。在盤點準(zhǔn)確率方面，本文算法和分割點搜索法差別不明顯，均優(yōu)于文獻[19]算法，本文算法盤點準(zhǔn)確率較高，達到了98.33%，特別是在處理輕度重疊（II）圖像時，盤點準(zhǔn)確性優(yōu)勢較為明顯，平均誤差（CME）為0.58，標(biāo)準(zhǔn)差（RMSE）為0.89。在平均盤點耗時方面，文獻[19]算法盤點耗時為0.089 s，處理速度最快，本文算法其次，為0.39 s，均顯著優(yōu)于分割點搜索算法的9.6 s。綜合比較盤點準(zhǔn)確率和平均盤點耗時，本文算法自動盤點性能最佳。

其中，分割點搜索法在處理多只豬黏連情況時，采用遞歸算法耗時嚴(yán)重。在重度重疊（III）情況下，分割點搜索法的黏連區(qū)域判定易出錯，產(chǎn)生過分割現(xiàn)象，導(dǎo)致盤點準(zhǔn)確率為109.34%。相比之下，本文算法通過標(biāo)記符控制的分水嶺算法，保留大部分的分割脊線，避免了遞歸調(diào)用，效率較高。但與文獻[19] 相比，本文在分水嶺變換后，對每一條可能的分割脊線的形狀特征都進行了計算，耗時較多，每幀圖像處理的平均耗時為0.39 s。由于養(yǎng)殖過程中豬只大部分時間在躺臥休息，活動不劇烈，對算法實時性要求不高，本算法處理速度為2.56幀/s，能夠滿足實際應(yīng)用需求。與深度學(xué)習(xí)算法[30]相比，本文算法基于傳統(tǒng)計算機視覺的方法，不需要部署高性能的計算設(shè)備，也不需要采集大量標(biāo)注豬舍場景數(shù)據(jù)對深度學(xué)習(xí)模型進行調(diào)參訓(xùn)練，更易于在規(guī)模養(yǎng)殖場應(yīng)用。

盤點準(zhǔn)確率受邊界脊線識別率的影響較大，只有將圖像中每個連通區(qū)域的黏連分割線100%正確提取出來，才能實現(xiàn)正確盤點。本文算法對60幀圖像中的30幀圖像實現(xiàn)了正確盤點。在生豬養(yǎng)殖過程中，豬只數(shù)量盤點的實時性要求不高，利用本文算法處理分析多幀連續(xù)圖像，統(tǒng)計不同盤點結(jié)果出現(xiàn)的頻率或求取平均值，能夠得到正確養(yǎng)殖數(shù)量。下一步研究可積累分析更多場景下的圖像，對本文算法盤點效果進一步驗證。

表2 不同算法的豬只盤點結(jié)果

注：CME、RMSE、ACT、CA分別表示平均誤差、標(biāo)準(zhǔn)差、平均盤點耗時、盤點準(zhǔn)確率。

Note: CME is counting mean error. RMSE is root mean square error. ACT is average counting time. CA is counting accuary.

3 結(jié) 論

本文基于決策樹模型分割算法和標(biāo)記符控制的分水嶺分割算法，提出了基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法，實現(xiàn)了豬體圖像的前景分割和黏連豬體的分離。主要結(jié)論如下：

1）決策樹模型分割算法能夠在復(fù)雜的背景條件下對豬體圖像進行有效分割，本試驗條件下分割效果優(yōu)于Otsu、最大熵閾值等分割算法。

2）對于在實際生產(chǎn)環(huán)境下采集的豬舍俯拍視頻圖像，基于邊界脊線識別黏連分離方法的準(zhǔn)確分割率達到了89.4%，較好地保留了豬體的輪廓，實現(xiàn)了黏連豬體的良好分割。

3）本文方法、分割點搜索法、文獻[19]算法盤點效果對比顯示，本文算法平均盤點耗時0.39 s比分割點搜索法平均耗時縮短了9.21 s，盤點平均誤差為0.58，比文獻[19]減小了3.62，綜合性能最佳。對6 min監(jiān)控圖像的抽樣統(tǒng)計結(jié)果顯示，該算法能夠?qū)崿F(xiàn)豬只數(shù)量的自動盤點。

由于豬群存在擠壓、堆疊等現(xiàn)象，利用標(biāo)記控制的分水嶺算法進行前景提取時，存在將相鄰豬體認定為同一豬體的情況，導(dǎo)致欠分割，漏分割率較高。針對以上情況，可通過改善豬舍光照條件，增加圖像增強預(yù)處理，獲取圖像深度信息等方法，進一步優(yōu)化本文算法，以提高盤點的準(zhǔn)確率和縮短自動盤點時間。

[1] Yang Q, Xiao D, Lin S. Feeding behavior recognition for group-housed pigs with the Faster R-CNN[J]. Computers and Electronics in Agriculture, 2018, 155: 453－460.

[2] 李億楊，孫龍清，孫鑫鑫. 基于多特征融合的粒子濾波生豬采食行為跟蹤[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(增刊1)：246－252.

Li Yiyang, Sun Longqing, Sun Xinxin. Automatic tracking of pig feeding behavior based on particle filter with multi-feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 246－252. (in Chinese with English abstract)

[3] Zhu W, Guo Y, Jiao P, et al. Recognition and drinking behaviour analysis of individual pigs based on machine vision[J]. Livestock Science, 2017, 205: 129－136.

[4] Bahr C, Berckmans D, Moons C, et al. The automatic monitoring of pigs water use by cameras[J]. Computers and Electronics in Agriculture, 2013, 90: 164－169.

[5] Nilsson M, Herlin A, Ardo H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machine learned segmentation technique[J]. Animal, 2015, 9(11): 1859－1865.

[6] Viazzi S, Ismayilova G, Oczak M, et al. Image feature extraction for classi?cation of aggressive interactions among pigs[J]. Computers and Electronics in Agriculture, 2014, 104: 57－62.

[7] Chen C, Zhu W, Guo Y, et al. A kinetic energy model based on machine vision for recognition of aggressive behaviours among group-housed pigs[J]. Livestock Science, 2018, 218: 70－78.

[8] Lee J, Jin L, Park D, et al. Automatic recognition of aggressive behavior in pigs using a kinect depth sensor[J]. Sensors, 2016, 16(5): 631.

[9] Nasirahmadi A, Hensel O, Edwards S, et al. Automatic detection of mounting behaviours among pigs using image analysis[J]. Computers and Electronics in Agriculture, 2016, 124: 295－302.

[10] 張弛，沈明霞，劉龍申，等. 基于機器視覺的新生仔豬目標(biāo)識別方法研究與實現(xiàn)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報，2017，40(1)：169－175.

Zhang Chi, Shen Mingxia, Liu Longshen, et al. Newborn piglets recognition method based on machine vision[J]. Journal of Nanjing Agricultural University, 2017, 40(1): 169－175. (in Chinese with English abstract)

[11] Liu K, Teng G, Brown-Brandl T, et al. Automatic recognition of lactating sow behaviors through depth image processing[J]. Computers and Electronics in Agriculture, 2016, 125: 56－62.

[12] 肖德琴，馮愛晶，楊秋妹，等. 基于視頻追蹤的豬只運動快速檢測方法[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(10)：351－357.

Xiao Deqin, Feng Aijing, Yang Qiumei, et al. Fast motion detection for pigs based on video tracking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(10): 351－357. (in Chinese with English abstract)

[13] Matthews S G, Miller A L, Clapp J, et al. Early detection of health and welfare compromises through automated detection of behavioural changes in pigs[J]. The Veterinary Journal, 2016, 217: 43－51.

[14] Han S, Zhang J, Zhu M, et al. Review of automatic detection of pig behaviours by using image analysis[C]//In Proceedings of the International Conference on AEECE, Chengdu, China, 2017-05-26-28.

[15] Nasirahmadi A, Richter U, Hensel O, et al.Using machine vision for investigation of changes in pig group lying patterns[J]. Computers and Electronics in Agriculture, 2015, 119: 184－190.

[16] 孫龍清，李玥，鄒遠炳，等. 基于改進Graph Cut算法的生豬圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(16)：196－202.

Sun Longqing, Li Yue, Zou Yuanbing, et al. Pig image segmentation method based on improved Graph Cut algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 196－202. (in Chinese with English abstract)

[17] 段玉瑤，馬麗，劉剛. 豬舍場景下的生豬目標(biāo)跟蹤和行為檢測方法研究[J]. 農(nóng)業(yè)機械學(xué)報，2015(S1)：187－193.

Duan Yuyao, Ma Li, Liu Gang. Target tracking and behavior detection method in piggery scenarios[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015(S1): 187－193. (in Chinese with English abstract )

[18] Guo W, Zheng B, Duan T, et al. EasyPCC: Benchmark datasets and tools for high-throughput measurement of the plant canopy coverage ratio under field conditions[J]. Sensors, 2017, 17(4): 1－13.

[19] 高云，郁厚安，雷明剛，等. 基于頭尾定位的群養(yǎng)豬運動軌跡追蹤[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(2)：220－226.

Gao Yun, Yu Hou’an, Lei Minggang, et al. Trajectory tracking for group housed pigs based on locations of head/tail[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(2): 220－226. (in Chinese with English abstract)

[20] Lu M, Xiong Y, Li K, et al. An automatic splitting method for the adhesive piglets’ gray scale image based on the ellipse shape feature[J]. Computers and Electronics in Agriculture, 2016, 120: 53－62.

[21] Ju M, Choi Y, Seo J, et al. A kinect-based segmentation of touching-pigs for real-time monitoring[J]. Sensors, 2018, 18(6): 1746.

[22] 勞鳳丹，滕光輝，李卓，等. 復(fù)雜環(huán)境中蛋雞識別及粘連分離方法研究[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(4)：213－216，227.

Lao Fengdan, Teng Guanghui, Li Zhuo, et al. Recognition and conglutination separation of individual hens based on machine vision in complex environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(4): 213－216, 227. (in Chinese with English abstract)

[23] 李文勇，李明，錢建平，等. 基于形狀因子和分割點定位的粘連害蟲圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2015(5)：175－180.

Li Wenyong, Li Ming, Qian Jianping, et al. Segmentation method for touching pest images based on shape factor and separation points location[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 175－180. (in Chinese with English abstract)

[24] 李冰，何超. 基于背景骨架特征的粘連米粒圖像分割算法[J]. 計算機應(yīng)用，2017，37(S2)：198－202.

Li Bing, He Chao. Segmentation algorithm of touching rice kernels based on skeleton features of image background[J]. Journal of Computer Applications, 2017, 37(S2): 198－202. (in Chinese with English abstract)

[25] 王小鵬，姚麗娟，文昊天，等. 形態(tài)學(xué)多尺度重建結(jié)合凹點匹配分割枸杞圖像[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(2)：212－218.

Wang Xiaopeng, Yao Lijuan, Wen Haotian, et al. Wolfberry image segmentation based on morphological multi-scale reconstruction and concave points matching[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 212－218. (in Chinese with English abstract)

[26] Breiman L, Friedman J H, Olshen R A, et al. Classification and Regression Trees[M]. California: Chapman & Hall/CRC. 1984.

[27] 近藤直，門田充司，野口伸. 農(nóng)業(yè)機器人：I.基礎(chǔ)與理論[M]. 北京：中國農(nóng)業(yè)大學(xué)出版社，2009.

[28] Otsu N. A threshold selection method from gray-level histograms[J]. Automatica, 1975, 11(4): 23－27.

[29] Chang C, Du Y, Wang J, et al. Survey and comparative analysis of entropy and relative entropy thresholding techniques[J]. IEE Proceedings: Vision, Image and Signal Processing, 2006, 153(6): 837－850.

[30] 高云，郭繼亮，黎煊，等. 基于深度學(xué)習(xí)的群豬圖像實例分割方法[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(4)：179－187.

Gao Yun, Guo Jiliang, Li Xuan, et al. Instance-level segmentation method for group pig images based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 179－187. (in Chinese with English abstract)

Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary

Han Shuqing1, Zhang Jianhua1, Kong Fantao1, Zhang Tengfei2, Wu Hailing2, Shan Jiajia3, Wu Jianzhai1※

(1,100081,; 2..,.,201899,; 3.,,124221,)

With increasing awareness and strict regulation of environmental protection, swine production management is becoming more and more intensified.The development of large-scale farming has brought new challenges to breeding managers. Manual pig counting and recognition of pigs’ abnormal behaviors are becoming difficult in larger-scale farm. Automatic counting and pig behavior recognition can save manpower and greatly improve management efficiency. Image segmentation and splitting of touching pigs is the key to realize automatic counting and behavior recognition in group-housed pigs. In this study, the methods of pig image segmentation based on decision trees and splitting of touching pigs by recognizing watershed ridge lines on the boundary were proposed. The experiments were carried out in a commercial pig breeding farm belongs to one partner of Chengdu Ruixu Electronic Technology Co. Ltd.. A Hikvision camera was set above a pen at the height of 3 m relative to the ground. Six min video of group-housed pigs was recorded on August 16th, 2018. Frame rate was 25 frame/s. Image frames extracted from the video were processed in a computer (configured with Intel Core i7-4790 CPU (central processing unit), 3.6 GHz) with Matlab R2017a. The image processing mainly included foreground pigs segmentation and splitting of touching pigs. The foreground pigs were segmented by using Decision-Tree-based Segmentation Model (DTSM). After foreground pigs segmentation, the images were used for splitting of touching pigs. Firstly, touching pigs’ connected regions were extracted by evaluating the complexity of each connected region. Secondly, the candidates of segmentation lines were detected by marker-controlled watershed segmentation. Thirdly, segmentation lines were determined by their segmentation performance and shape descriptors, including linearity and total number of Harris corners. Finally, selected segmentation lines were used to split the touching pigs and automatic counting was conducted. To evaluate the segmentation performance of DTSM, the segmentation results of DTSM were compared with the results of Otsu and Maximum entropy methods. Twenty five image frames with touching pigs were analyzed to evaluate the performance of segmentation lines recognition. To evaluate the performance of automatic counting, 60 image frames extracted from the video in a 6 s time interval were processed. The result of foreground pigs segmentation indicated that DTSM could remove the complex background effectively and achieved better segmentation performance than Otsu and Maximum entropy methods. The segmentation accuracy (SR) of watershed ridge lines recognition was 89.4%. The contours of separated touching pigs were well saved. The segmentation missing rate (SMR) was 30%, Because pig bodies were heavily overlapped by others in three image frames, this made the recognition of segmentation lines become difficult. SMR was 5.3% if the three image frames were removed from the total 25 images frames used for the recognition of segmentation lines. Location and distribution in pens of group-housed pigs can be obtained by calculating the centroid of connected area and Delaunay triangulation method. Counting mean error (CME) was 0.58, root mean square error (RMSE) was 0.89, average counting time (ACT) was 0.39 s and counting accuracy (CA) was 98.33%. The results showed that this method could be used to automatically count the total number of pigs in pens which was valuable information for breeders and managers in large-scale farming. By locating an individual pig in a pen continuously, trajectory can be plotted and its behaviors can be recognized. This study provides a new method to realize automatic counting and behavior recognition in group-housed pigs.

image processing; livestock production; automatic counting; decision trees; recognition of segmentation ridge line; group-housed pigs

韓書慶，張建華，孔繁濤，張騰飛，吳海玲，單佳佳，吳建寨. 基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(18)：161－168.doi：10.11975/j.issn.1002-6819.2019.18.020 http://www.tcsae.org

Han Shuqing, Zhang Jianhua, Kong Fantao, Zhang Tengfei, Wu Hailing, Shan Jiajia, Wu Jianzhai. Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 161－168. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.18.020 http://www.tcsae.org

2018-12-20

2019-06-11

國家重點研發(fā)計劃資助（2017YFD0502006）；中國農(nóng)業(yè)科學(xué)院基本科研業(yè)務(wù)費專項（Y2018ZK46）；中央級公益性科研院所基本科研業(yè)務(wù)費專項（JBYW-AII-2017-33）

韓書慶，助理研究員，博士，主要從事畜禽行為識別與畜牧物聯(lián)網(wǎng)技術(shù)研究。Email：hanshuqing@caas.cn

吳建寨，副研究員，博士，主要從事地理信息系統(tǒng)研究。Email：wujianzhai@caas.cn

10.11975/j.issn.1002-6819.2019.18.020

TP391.4; S818.9

A

1002-6819(2019)-18-0161-08