多視角深度相機的豬體三維點云重構及體尺測量

尹 令，蔡更元，田緒紅，孫愛東，石 帥，鐘浩杰，梁世豪

多視角深度相機的豬體三維點云重構及體尺測量

尹 令1,2，蔡更元2,3，田緒紅1，孫愛東4※，石 帥1，鐘浩杰1，梁世豪1

（1. 華南農業(yè)大學數學與信息學院，廣州 510642； 2. 國家生豬種業(yè)工程技術研究中心，廣州 510642；3. 華南農業(yè)大學動物科學學院，廣州 510642；4.江蘇省農業(yè)科學院農產品質量安全與營養(yǎng)研究所，南京 210014）

對活體牲畜三維重構，數據采集方式、快速配準融合方法、表型體尺測量方法缺乏成熟有效的方案，導致目前活體牲畜的自動體尺測量技術難以在養(yǎng)殖場中推廣應用。該文以豬為研究對象運用消費級深度相機KinectV2從正上方和左右兩側3個不同角度同步獲取在采集通道中自由行走豬的局部點云。局部點云采用鄰域曲率變化法去噪，并運用基于輪廓連貫性點云配準融合，最后采用多體尺數據精確估算技術測定包括體長、體高、胸寬、腹圍等數據。該文分別對比實驗室中模型豬由傳輸帶以5種不同速率經過通道和養(yǎng)殖場內25頭豬逐一經過通道，2種情況下采集數據進行各項體尺測算結果。其結果顯示模型豬在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率下測量體長、體高、胸寬、腹圍值與實測值的平均相對誤差分別為1.77%、1.36%、2.74%和2.17%。養(yǎng)殖環(huán)境下對25頭豬同樣4種體尺值與實測值的平均相對誤差分別為2.56%，2.32%，3.89%和4.51%。試驗結果發(fā)現養(yǎng)殖場活體豬測量最小誤差可以達到實驗室環(huán)境下的效果，但是最大相對誤差變化較大，其原因在于養(yǎng)殖場中豬自由行走采集數據時行為姿態(tài)發(fā)生很大變化。

圖像處理；算法；模型；豬；三維重構；體尺測量；KinectV2

0 引 言

在牲畜育種和養(yǎng)殖中，對牲畜遺傳改良和大量個體有效管理，需建立個體體型和體況評定方法。體型和體況評定目的是對牲畜的體長、體高、胸圍等體型外貌性狀進行表型采集。傳統(tǒng)方法是人工皮尺測量，容易造成牲畜驅趕應激、人工測量準確性差、測定效率低、復雜性狀難以度量等問題。隨著牲畜育種和養(yǎng)殖規(guī)模越來越大，迫切需要建立更為高效、準確且無應激的方法。通過學科交叉融合，畜牧業(yè)正向信息化、智能化的方向轉型升級。綜合運用三維重構和機器學習等技術，開發(fā)人工智能無應激識別系統(tǒng)和體況自動評價系統(tǒng)，建立非接觸式自動識別牲畜個體體型、體況信息，實現牲畜精細喂養(yǎng)、種畜篩選、培育與繁殖的體況自動精準評價，可有效解決傳統(tǒng)測量方法的效率、精度和動物福利問題。

牲畜體尺參數采集和體況評分方法歷經從人工視覺觀察和觸覺判定、熱成像技術、圖像識別技術和三維重構等發(fā)展過程。熱成像技術[1]能較清晰捕獲動物表面輪廓信息，但熱成像設備昂貴，且需從視頻流中手動分離相應數據幀，無法實現完全自動化。

由于圖像設備簡單、成本低，眾多研究者[2-6]提出不同方案嘗試從圖像中提取牲畜部分特征信息來進行體尺測量或自動體況評分[7-10]。圖像處理技術檢測牲畜體尺參數大多以像素為單位，當相機參數或物距發(fā)生改變時，模型可能不再適用，因此通用性差。另外獲取圖像時天氣、拍攝角度、光照條件影響比較大[8-10]。

隨著Kinect、ASUS Xtion sensor、realSense等一系列價格低廉、高性能的三維深度相機出現，近幾年，研究者將三維重構技術應用于牲畜體尺側量合體況評定。單視角獲取牲畜背部深度圖像提取三維特征，并由此估算體尺特征和體重是研究熱點[11-18]。單視角深度圖像采集簡單不需要融合配準，但只能獲取體長、體寬、體高等體尺數據，腹圍等體尺無法估測。多視角獲取牲畜各部分深度圖像進行各部分點云配準融合[19-20]、非剛體三維模型點云匹配[21-22]、體表輪廓描述[23-25]、家畜體測量交互式軟件設計[26]等關鍵技術都有研究報道。

消費級深度相機應用于牲畜體尺特征測量和體況評分中，當掃描較大面積物體時數據精度丟失嚴重，同時掃描活體動物時如時間較長容易出現非剛性形變。牲畜全局三維點云重構時，處理數據量大對存儲和計算能力要求很高，實時處理是難點。

本文設計在測量通道上固定3個KinectV2相機，通道只能有一頭豬單獨通過，豬進入相機最佳拍攝位置時，3個深度相機瞬間同步抓取局部點云。采用基于輪廓連貫性點云配準融合全局點云，提取豬體長、體高、體寬、腹圍等體尺特征實現對豬的非接觸式體尺自動測量。該方法對通道預先設定最佳拍攝位置減少掃描范圍，提高數據精度；多視角深度相機同步瞬間抓取減少活體動物運動時非剛性形變；提出各種體尺測量方法，尤其測量腹圍時極坐標轉換法一方面可以彌補由欄桿遮擋和相機視角未覆蓋缺失的點云，另一方面對局部點云相交處輪廓精細配準；并且KinectV2為消費級深度設備成本低廉，易于實現產業(yè)化。

1 材料與方法

1.1 試驗條件

試驗由實驗室模擬環(huán)境下對定態(tài)模型豬測量和養(yǎng)殖場活體豬測量兩部分組成。定態(tài)模型豬前期進行各種算法設計和調整，并能精準測量豬各種體尺參數，而后期養(yǎng)殖場活體豬測量用于驗證算法可靠性及準確度。實驗室模擬環(huán)境設計豬體多源數據采集通道（圖1a所示）。整個裝置由3個功能部件構成：1）測量通道可調節(jié)框架；2）三維數據采集深度相機和同步裝置；3）可調速移動傳輸軌道。

KinectV2深度相機從左、右、上3個方向獲取不同視角局部點云，攝像頭固定裝置設計為上下、左右、前后方向皆可調節(jié)的框架，滿足測量大小不等的牲畜時調整采集視角的需要。在牲畜自由運動情況下采集局部點云并實現三維重構，局部點云的同步采集非常關鍵，因此通道采用雙觸框PLC控制同步方案設計。試驗模型豬放置在傳輸軌道上模擬牲畜自由通行。

養(yǎng)殖場活體豬測量是2019年7月19日－21日在廣東省云浮市新興縣簕竹新田村一家養(yǎng)殖戶完成，試驗現場圖如圖1b所示。深度相機布置在通道左、右、上方3個方向，測量豬逐一被趕入豬籠完成人工測量后再送入通道進行三維測量。試驗一共采集25頭長白豬。

1.可調節(jié)框架 2.三維采集相機和同步裝置 3.調速傳輸軌道

1.2 試驗材料

試驗器材采用KinectV2為RGB-D深度相機設備，其深度圖像分辨率為512×424像素，水平視角為70°，垂直視角為60°；最大支持60 幀/s的深度數據獲取，視距在0.5～3.5 m之間。每一個KinectV2配備一個FitPC作為采集存儲傳輸設備。

實驗室采用一個大體型母豬模型（長130 cm×寬38 cm×高67 cm）。養(yǎng)殖場選用25頭豬，品種為長白種，體質量范圍在54～110 kg之間。

1.3 基于KinectV2多視角豬體三維重構

1.3.1 總體技術路線

本研究中擬采用的技術路線如圖2所示，豬行進到采集區(qū)域觸發(fā)PLC發(fā)出同步采集指令，左、右、上方3個KinectV2采集不同視角豬局部點云，由采集設備傳送到控制計算機。各個不同視角的三維點云背景移除，平滑去噪后，基于輪廓連貫性完成不同視角坐標系下點云配準，完成三維體型重構。采用基于幾何特征和統(tǒng)計分析進行三維重構體型特征關鍵點搜索；通過已標注關鍵特征點和區(qū)域，運用弧微分或極坐標轉換法等進行豬體高、體長、體寬、腹圍等多體尺數據精確估算。

圖2 豬體三維重構及體尺測算技術流程

1.3.2 適應牲畜自由行走的同步瞬間采集

試驗針對活體動物在自由運動下因掃描時間長容易出現的非剛性形變問題，設計采集裝置KinectV2從上方、左右兩側多角度同時獲取瞬間局部點云。同步采集技術采用軟硬件雙觸發(fā)方式，待測目標動物進入采集通道，紅外觸發(fā)傳感器會向采集控制器發(fā)出就緒信號，啟動設備檢測框檢測目標動物是否完全進入檢測區(qū)域，如動物觸碰出框線則由PLC向相連接的3個方向采集器發(fā)出信號，連續(xù)采集3幀點云數據。

1.3.3 鄰域曲率變化法點云去噪

數據采集通道固定后，其大小尺寸也固定，待檢測豬在通道內行走，根據采集通道大小分別設置，和軸的取值范圍，對主體點云形成長方體型包圍盒，只保留盒內的點云。簡單包圍盒閾值可移除大部分背景，減少大量不必要的點云計算。

被測量動物表面存在過于明亮部分或者突起邊緣，紅外光發(fā)射器等向被測動物表面投射紅外光時可能錯誤識別而產生離群點，使得輪廓邊緣產生毛刺，因此需要盡量消除遠近離群點。其中依照離群點距離點云主體的遠近程度將其分為遠離群點和近離群點。遠離群點表現為三維空間中一小團聚在一起而又隨機分布的孤立點，采用基于距離查詢區(qū)域增長方法濾除掉遠離群點。該方法基于點出發(fā)，按點與點距離屬性相似原則，將同一距離范圍連續(xù)的點云集合成同一點云子集，判斷遠離群點的準則為點云子集點數過少，或者點云子集包圍盒體積過小。

對近離群點的消除則采用SVLOF算法[27]，該算法直接從散亂點云計算曲面彎曲程度，其中度量指標曲面變化度為。設三維點云上對于任意一點，其不包含點鄰域NB集合定義為

而包含點鄰域B定義為

采用離散點求曲率方法計算該點處平均曲率0

式中1，2，3為鄰域點3個變化最大的曲率，()即為鄰域點的曲率變化。

近離群點的判斷值計算為包含點鄰域點曲率變化比上不包含點鄰域點曲率變化值()

計算潛在離群點中每一點的()值，將()值大于設定容限的點作為離群點，并從點云中濾除。

1.3.4 基于輪廓連貫性點云配準融合

不同視角坐標系下的三維點云數據通過坐標變換轉換到同一坐標系下配準生成全局點云。點云配準分為粗配準和精細配準兩步。粗配準即多個深度攝像設備標定中得到相鄰子區(qū)域的空間變換矩陣和平移向量，根據公式（5）計算變換到同一坐標系下。

具體地，假設點在第一坐標系下的坐標為(1,1,1)，該點在第二坐標系下的坐標為(2,2,2)，則2個坐標系的變化關系為

式中為空間變換矩陣，[ttt]T為平移向量。在試驗獲取數據的3個視角中設左側為世界坐標系，上方和右側點云都需要通過線性轉換到左側世界坐標系下。其空間變換矩陣和平移向量通過試驗前對多個深度相機精確定標獲得。3個方向獲取局部點云通過線性變換得到粗配準全局點云。

配準融合滿足兩個目標：C,j()頂點間覆蓋最大融合，同時相鄰輪廓C,j()和C,j(+1)之間覆蓋率最大，也即鄰層輪廓平滑度最佳。

E表示切片頂點覆蓋融合度，計算如下：

另外，層間距離(C,j(),C,j(+1))為兩層直接輪廓頂點的歐式距離。

式中為切片間距離約束量，定義鄰層輪廓覆蓋率為

需要同時滿足頂點融合度和鄰層輪廓覆蓋率約束要求，這樣配準融合問題就變成一個多目標優(yōu)化問題，使得頂點融合度和鄰層輪廓覆蓋率都最小化，即

1.3.5 多體尺數據精確測算技術

豬體尺參數是衡量豬生長發(fā)育的重要指標，能反映豬生長狀況、飼養(yǎng)管理和遺傳性能等。本文測定的參數包括體長、體高、胸寬、腹圍等。體長指兩耳根連線中點沿背脊線至尾根處的長度，測定時要求豬靜止直立，頭部微抬。體高為豬自然站立時耆甲頂點到地面的垂直高度。胸寬是豬左右前腿的最外點在地平面投影距離。腹圍為腹部最寬部長度。

本文提出體長測量方法是根據豬上部點云以輪廓中軸呈現對稱形狀，因此對豬上部點云擬合其中軸平面，中軸平面與上部點云相切以獲取豬的背脊線，然后在背脊線上定位豬雙耳根中部點作為體長起始點，尾根點作為體長測量的終止點，從起始點到終止點沿背脊線積分即求取體表長（圖3）。具體操作步驟如下：

1）擬合中軸平面

擬合平面采取最小二乘法，其法向量指向豬側面，使平面盡量正切豬體頭部和尾部。擬合平面與豬上方點云相交得空間曲線即豬的背脊輪廓線，接著從背脊輪廓線上定位體長起點和終點。

2）確定起始和終止點

體長起始點為豬體兩耳根連線的中點，終止點為豬尾根點，通過上部點云數目統(tǒng)計特征定位這兩點。耳根處點云數目相對附近點數急劇增多，而豬尾巴形態(tài)有上翹和下耷拉2種，在點云數目分布上體現為在快速下降后有個小回升。將上方點云投影到其對應的平面，并統(tǒng)計其軸點云數目，得到其點云數目分布離散曲線。從離散曲線上尋找各處拐點，位于頭部第一個凸點即耳部中心區(qū)域點，為體長起始點位置，而位于尾部斜率下降最快的凹點就是尾根點為體長的終止點位置。

3）微分求體長

從體長起始點到終止點連直線構成平面相交豬上部點云得到一系列相交離散點，計算這一系列離散點構成曲線長度即為需要測量體長，這里采用弧微分法求長度。

體高測量是從體長確定的背脊輪廓線上定位耆甲點，耆甲點為豬前肢中心平面延伸與背脊輪廓線相交點，該點到地平面距離即體高。

體寬取胸寬，即豬左右前腿的最側外點投影到地平面的兩點之間距離。定位胸寬左右前腿最外側點云，仍用上方點云投影到平面，統(tǒng)計其軸點云數目，得到點云數目分布離散曲線圖來分析，胸寬的定位點為曲線第二個凸拐點對應的位置，先定位其軸坐標，然后用軸平面切豬全局點云，從相交平面定位軸最大和最小值點即為需定位的胸寬點，兩點間的距離即為胸寬。

腹圍自動測量有2個難點，首先要保證3個不同視角的點云準確配準融合；其次獲取腹圍曲線是不規(guī)則且不閉合的曲線。本文提出極坐標轉換法進行腹圍測量，既可以完成點云精準融合，也可以補缺曲線及計算其長度。極坐標轉換法是考慮待測量腹圍切片是個有缺失的近似橢圓，以該橢圓中心為原點，向右沿軸正軸，逆時針定為極坐標正方向，建立極坐標系，得切片上每一個點的極坐標(,)，其中極坐標角度為橫坐標，極徑為縱坐標，利用極坐標轉換將近似橢圓曲線在極坐標系中展開成近似平鋪的直線，利用直線擬合，一方面可以將橢圓缺失部分補全，同時可以使粗配準有誤的地方得到修補，減少配準誤差，并且沿直線積分得到豬腹圍長度。

圖3 豬體長提取效果圖

2 結果與分析

2.1 多幀融合試驗結果分析

由于動物行為非受控，獲取的點云數據存在噪聲、非均勻或欠采樣、空洞和缺失等影響三維重構效果。本試驗一次連續(xù)采集3幀點云數據，圖4a為僅取1幀點云時的效果圖，點云數比較稀疏，尤其頭部和尾部，輪廓線模糊不清晰。圖4b為3幀連續(xù)點云根據同一坐標點深度信息加權平均融合的結果。融合后豬體稀疏和丟失部分點云得以稠密和補全。根據試驗計算，豬體1幀有效點云數和3幀融合后點云數分別是49 261和147 816。

圖4 不同幀點云效果對比圖

2.2 離群點去噪試驗分析

直接獲取的豬點云數據帶有較多噪聲點，尤其頭部和尾部比較明顯，KinectV2深度攝像設備采樣密集度、精準度隨采集距離增加而迅速下降，出現距離采集中心較遠的頭部和尾部三維點云缺失或噪聲增加。另外采集環(huán)境復雜，豬個體運動等會造成點云局部噪聲，如圖4b所示。獲取點云數據應用離群點去噪后得到的點云效果圖如圖5所示，可以看到豬頭部和尾部的噪聲點明顯減少，輪廓線也變得清晰。

圖5 模型豬單側點云去噪圖

2.3 三維點云配準和輪廓連續(xù)性精配準

在養(yǎng)殖場獲取的上方、左、右側的三維點云如圖6a～6c所示。左右兩側點云由于通道欄桿的遮擋而產生缺失。

基于輪廓連貫性點云配準融合算法得到三維重構后豬點云圖如圖6d所示，可以看到配準融合后豬的輪廓線清晰，各個視角點云沒有出現明顯的斷層差異，頭部和尾部有部分數據丟失。配準融合后的點云利用垂直于豬體長方向的平面切分得到豬腹部輪廓線如圖7a所示。

圖6 多視角豬點云采集融合圖

圖7 腹部切片點云擬合補缺示意圖

圖7a中圓圈為上方點云輪廓線，正方形為左側點云輪廓線，三角形為右側點云輪廓線，上方點云與左右側點云幾乎完全重合。除邊緣采集角度導致差異的點，其他部分點云切片輪廓線較完整，從細節(jié)反應了三維配準后的整體效果。不過切片圖由于欄桿遮擋和豬體底部拍攝角度限制，腹部輪廓線有不少空缺部分。

圖7b中圓圈為腹部切片點云轉換成到極坐標下的點，曲線為對點云進行最小二乘曲線擬合后的結果。圖7c為將圖7b中曲線轉換到直角坐標系下顯示的閉合曲線效果圖，可以看到經過轉換后空缺部分的點云較為光滑的修補完成。

2.4 體尺參數估測值誤差分析

為驗證算法對豬體尺檢測精度，本文在采集豬體數據同時，由專業(yè)測定人員用皮尺人工測量豬各項體尺數據作為人工實測值，實驗室測量精度為1 mm，養(yǎng)殖場測量精度為1 cm。

實驗室中調節(jié)傳輸軌道速率采用靜止0、0.3、0.6、0.9、1.2 m/s等5種不同速率讓模型豬經過通道采集數據，進行點云配準并測算體尺數據，分別得到5組體尺數據以及這5組值與實際測量值的平均相對誤差如表1所示。

表1 5組不同速度下體尺測算數據對比

表1中模型豬在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率下測量體長、體高、胸寬、腹圍值與實測值的平均相對誤差分別為1.77%、1.36%、2.74%和2.17%。不同速度下測量值和實測值對比可知傳輸軌道速度對模型豬測量結果的相對誤差有影響。在低速時對數據測量精確度影響不大，隨著速度增加相對誤差有所增加，在最大速度1.2 m/s情況下，相對誤差為4.5%。

養(yǎng)殖場試驗中25頭豬逐一通過數據采集通道，完成數據采集、預處理和配準融合后進行體尺估算，得到體長、體高、體寬、腹圍數據如下分析。圖8a為養(yǎng)殖場25頭活體豬體長自動測量值與人工實測值對比結果。豬體長人工實測值在0.96～1.20 m之間，三維測量值則是在0.950～1.173 m之間，測量值與實測值的最大、最小誤差分別為4.82%和0.31%，平均相對誤差為2.56%。分析最大誤差原因，一方面人工測量時由于豬不停擺動，姿態(tài)不斷變化，容易產生估讀偏差，造成人工測量的誤差，另一方面自動測量時豬體姿勢與人工測量時姿態(tài)差異較大，如豬低頭，抬頭，拱背都會對數據測量帶來誤差。

圖8b為25頭活體豬體高自動測量值與人工實測值對比結果，豬體高人工實測值在0.57～0.72 m之間，三維測量值則是在0.556～0.748 m之間，自動測量值與實測值的最大、最小誤差分別為4.98%和0.13%，平均相對誤差為2.32%。體高測量數據最大相對誤差原因在于豬測量時姿勢影響，豬走路時其前肢稍微彎曲的，頭部向下與正常站立時體高要低一點，而如果豬頭部上揚測量體高會比正常站立時略高。

圖8c為25頭活體豬的胸寬自動測量值與人工實測值對比結果，胸寬的人工實測值在0.23～0.33 m之間，三維測量值則是位于0.232～0.347 m之間，自動測量值與實測值的最大、最小誤差分別為11.50%和0.07%，平均相對誤差為3.89%。胸寬僅有1組誤差為11.50%，其他誤差都小于7%，自動測量值與實測值之間的絕對誤差相差最大為0.026 m，分析原因后發(fā)現自動測量時豬頭部扭轉角度大，導致胸部位置定位不準，胸寬取斜線長度與真實長度產生誤差。

圖8d為養(yǎng)殖場25頭活體豬腹圍自動測量值與人工實測值對比結果。腹圍人工測量從1.04～1.28 m之間，三維測量值則是在0.959～1.283 m之間，自動測量值與實測值的最大、最小誤差分別為7.80%和0.30%，平均相對誤差為4.51%。腹圍的自動測量值與實測值之間的平均誤差最大，圖8d中可以看到自動測量基本低于人工實測值，分析原因在于腹圍切片底部數據缺失，自動測量補全數據時比較光滑平整，沒有反映出腹部突出部分，使得數據整體偏小。

圖8 養(yǎng)殖場25頭試驗豬體尺測量對比結果

3 討 論

本研究結果表明，采用多視角深度相機同時獲取豬在行走狀態(tài)的局部點云，可以實現豬三維點云重構，且從點云中測量到豬體長、體寬、體高、腹圍等不同數據。試驗在傳輸帶上以0、0.3、0.6、0.9和1.2 m/s等5種不同速率帶動模型豬經測量通道獲取數據，自動測量體長、體高、胸寬、腹圍值與實測值的平均相對誤差分別為1.77%、1.36%、2.74%和2.17%。在養(yǎng)殖環(huán)境下對25頭活豬進行實測，體長、體高、胸寬、腹圍與實測值的平均相對誤差分別為2.56%，2.32%，3.89%和4.51%。對比發(fā)現養(yǎng)殖場活體豬自動測量值接近實測值可以達到實驗室測量相對誤差最小的效果，但相對誤差最大值變化很大，且平均誤差都要高于實驗室環(huán)境測量結果，其原因在于養(yǎng)殖場環(huán)境下豬行為姿態(tài)變化很大，不是標準固定的姿態(tài)，導致算法計算產生誤差，同時人工實測量時由于豬很難配合，人工實測數據本身存在測量誤差。后續(xù)研究中需要分析豬各種姿態(tài)，完善現有特征定位測量算法，以應對真實測量環(huán)境情況。

實驗環(huán)境設計的大通道，豬自由行走會沖撞設備影響正常的測量，因此養(yǎng)殖場采集通道帶欄桿，防止豬沖撞設備，同時也限定了采集范圍。但采集數據有欄桿的干擾，造成局部點云產生部分的空缺。另外采集時豬撞擊欄桿、地面不水平等可能導致點云獲取存在噪聲、非均勻或欠采樣、空洞和缺失等問題都是需要解決的關鍵問題之一。

多視角三維采集數據時僅從通道左、右、上方向采集豬局部點云數據，通道下方布置深度相機很難實現，因此三維重構的豬體腹部下方會存在點云空洞。針對提取豬胸圍、腹圍、臀圍等切片中會有空缺區(qū)域，本文設計的極坐標轉換算法可以平滑補全切片數據，但與實測數據的相對誤差仍比較大，因此需進一步研究算法以求得三圍精準測量結果。同時養(yǎng)殖環(huán)境下豬會出現扭頭、低頭、抬頭、曲卷身體、弓背等各種姿態(tài)，測量算法需要針對不同姿態(tài)下體尺測量具有更強魯棒性的算法。

三維重構技術要應用于養(yǎng)殖環(huán)境不僅受制于技術成熟度，同時成本問題是非常重要的一個因素。本設計中采用消費級KinectV2深度相機，控制器也只需要支持USB3.0以上的計算機，整套硬件設備成本可以控制在1.5萬元，采用移動式設計，一個養(yǎng)殖場配置一套設備即可。下一步試驗方案將考慮減去一個攝像頭，僅用2個方向點云來完成重構，預計將進一步降低成本。

4 結 論

1）本文對比了實驗室和養(yǎng)殖場環(huán)境下，采用3個方向深度相機完成豬體三維重構，與豬體長、體高、胸寬、腹圍自動測算試驗，其測量數據與實測數據相對誤差分析表明本文提出的豬體三維重構和多體尺檢測算法穩(wěn)定、效果較好。

2）養(yǎng)殖場環(huán)境下對25頭長白活豬測量體長、體高、胸寬、腹圍等4組測量數據與實測數據相對誤差最小可以達到實驗室環(huán)境下的測量效果，而最大誤差值為11.50%，其原因一方面是豬動態(tài)行走時姿態(tài)不固定，有扭轉、拱背、低頭等多種形態(tài)動作，影響測量準確性，另外人工在豬動態(tài)環(huán)境下測量準確率也降低。

3）腹圍等3圍度的測量需要依賴三維點云拼接融合效果，今后需要進一步研究三維點云拼接融合和空缺部分的填補算法。

[1]Halachmi I, Klop?i? M, Polak P, et al. Automatic assessment of dairy cattle body condition score using thermal imaging[J]. Computers & Electronics in Agriculture, 2013, 99(6): 35－40.

[2]Azzaro G, Caccamo M, Ferguson J D, et al. Objective estimation of body condition score by modeling cow body shape from digital images[J]. Journal of Dairy Science, 2011, 94(4): 2126－2137.

[3]Tedin R , Becerra J A , Duro R J , et al. Computational intelligence based construction of a body condition assessment system for cattle[C]// Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), 2013 IEEE International Conference on. IEEE, 2013.

[4]Bercovich A, Edan Y, Alchanatis V, et al. Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors.[J]. Journal of Dairy Science, 2013, 96(12): 8047－8059.

[5]Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159(1): 141－148.

[6]Vieira A, Brand, O S, Monteiro A, et al. Development and validation of a visual body condition scoring system for dairy goats with picture-based training[J]. Journal of Dairy Science, 2015, 98(9): 6597－608.

[7]陳菁菁，彭彥昆. 基于機器視覺技術的生豬活體監(jiān)測系統(tǒng)[J]. 食品安全質量檢測學報，2012，3(6)：600－602.

Chen Jing-Jing, Peng Yan-Kun. Monitoring system for livestock growth based on machine vision technology[J]. Journal of Food Safety and Quality, 2012, 3(6): 600－602. (in Chinese with English abstract)

[8]劉建飛. 圖像識別技術在奶牛體況評分中的應用研究[D]. 濟南：山東大學，2012.

Liu Jianfei. Study on Application of Image Recognition Technique in the Cow Body Condition Score[D]. Jinan: Shandong University, 2012. (in Chinese with English abstract)

[9]吳復爭，姜威，張美杰. 核-主成分分析在奶牛體況自動評分中的應用[J]. 光學技術，2013，39(3)：222－227.

Wu Fuzheng, Jiang Wei, Zhang Meijie. Kernel-PCA application on dairy cow automatic body condition score[J]. Optical Technique, 2013, 39(3): 222－227. (in Chinese with English abstract)

[10]劉同海，滕光輝，付為森，等. 基于機器視覺的豬體體尺測點提取算法與應用[J]. 農業(yè)工程學報，2013，29(2)：161－168.

Liu Tonghai, Teng Guanghui, Fu Weisen, et al. Extraction algorithms and applications of pig body size measurement points based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 161－168. (in Chinese with English abstract)

[11]Menesatti P, Costa C, Antonucci F, et al. A low-cost stereovision system to estimate size and weight of live sheep[J]. Computers & Electronics in Agriculture, 2014, 103(2): 33－38.

[12]Salau J, Haas J H, Junge W, et al. Feasibility of automated body trait determination using the SR4K time-of-flight camera in cow barns[J]. Springer Plus, 2014, 3(1): 225.

[13]Weber A, Salau J, Haas J H, et al. Estimation of backfat thickness using extracted traits from an automatic 3D optical system in lactating Holstein-Friesian cows[J]. Livestock Science, 2014, 165(1): 129－137.

[14]Kuzuhara Y, Kawamura K, Yoshitoshi R, et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a three- dimensional camera system[J]. Computers & Electronics in Agriculture, 2015, 111: 186－193.

[15]Fischer A, Luginbühl T, Delattre L, et al. Rear shape in 3 dimensions summarized by principal component analysis is a good predictor of body condition score in Holstein dairy cows[J]. Journal of Dairy Science, 2015, 98(7): 4465－4476.

[16]Pezzuolo A, Guarino M, Sartori L, et al. On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera[J]. Computers & Electronics in Agriculture, 2018, 148: 29－36.

[17]付為森，滕光輝. 基于雙目視覺技術的豬生長監(jiān)測系統(tǒng)標定模式[J]. 農業(yè)機械學報，2009，40(S1)：223－227.

Fu Weisen, Teng Guang hui. Calibration Mode of Pig Growth Inspecting System Based on Binocular Stereovision Technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(S1): 223－227. (in Chinese with English abstract)

[18]李卓，毛濤濤，劉同海，等. 基于機器視覺的豬體質量估測模型比較與優(yōu)化[J]. 農業(yè)工程學報，2015，31(2)：155－161. Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[19]Salau J, Haas J H, Junge W, et al. Extrinsic calibration of a multi-Kinect camera scanning passage for measuring functional traits in dairy cows[J]. Biosystems Engineering, 2016, 151: 409－424.

[20]王龍. 機器視覺在奶牛體況評定中的應用[D]. 上海：東華大學，2014.

Wang Long. Application of Dairy Cow Body Condition Scoring Based on Machine Vision[D]. Shanghai: Donghua University, 2014. (in Chinese with English abstract)

[21]張溫. 基于機器視覺的牲畜體征測量系統(tǒng)的研究[D]. 包頭：內蒙古科技大學，2014.

Zhang Wen. Research of Livestock Body Size Measurement System Based on Computer Vision[D]. Baotou: Inner Mongolia University of Science & Technology, 2014. (in Chinese with English abstract)

[22]郭浩. 動物體表三維數據獲取與處理算法研究[D]. 北京：中國農業(yè)大學，2015.

Guo Hao. Study on 3D Data Capturing and Processing Methods for Live Animal[D]. Beijing: China Agricultural University, 2015. (in Chinese with English abstract)

[23]李卓，毛濤濤，劉同海，等. 基于機器視覺的豬體質量估測模型比較與優(yōu)化[J]. 農業(yè)工程學報，2015，31(2)：155－161.

Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[24]司永勝，安露露，劉剛，等. 基于Kinect相機的豬體理想姿態(tài)檢測與體尺測量[J]. 農業(yè)機械學報，2019，50(1)：58－65.

Si Yongsheng, An Lulu, Liu Gang, et al.,Ideal posture detection and body size measurement of pig based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 58－65. (in Chinese with English abstract)

[25]王可，郭浩，劉威林，等. 基于點云旋轉歸一化的豬體體尺測點提取方法[J]. 農業(yè)工程學報，2017，33(增刊1)：253－259.

Wang Ke, Guo Hao, Liu Weilin, et al. Extraction method of pig body size measurement points based on rotation normalization of point cloud [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 253－259. (in Chinese with English abstract)

[26]Guo H, Ma X, Ma Q, et al. LSSA_CAU:An interactive 3d point clouds analysis software for body measurement of livestock with similar forms of cows or pigs[J]. Computers & Electronics in Agriculture, 2017, 138: 60－68.

[27]聶建輝，胡英，馬孜. 散亂點云離群點的分類識別算法[J]. 計算機輔助設計與圖形學學報，2011，23(9)：1526－1532.

Nie Jianhui, Hu Ying, and Ma Zi. Outlier Detection of Scattered Point Cloud by Classification[J]. Journal of Computer-Aided Design &Computer Graphics, 2011, 23(9): 1526－1532. (in Chinese with English abstract)

Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera

Yin Ling1,2, Cai Gengyuan2,3, Tian Xuhong1, Sun Aidong4※, Shi Shuai1, Zhong Haojie1, Liang Shihao1

(1.,,510642,; 2.510642,; 3.,,510642,; 4.,,210014,)

Body size measurement is a major way to understand the key parameters of livestock for precision livestock farming (PLF) and effective management of large numbers of livestock. Manual measurement is one of the most commonly used methods to obtain the growth status of livestock. However, manual measurements can be time-consuming, costly, and sometimes harmful to animals and feeders. In addition, due to the lack of mature technology in effective data acquisition, robust registration and accurate estimation of multi-body parameters, non-contact measurement of live pigs is often a difficult task. Therefore, the application of automatic measurement technology of livestock and poultry body size parameters in actual breeding has great challenge. To solve these problems, a new 3D reconstruction and measurement system is proposed. Three consumer-grade depth cameras are set on the right, left and top of the data acquisition channel. When the pig passes the best shooting area of the channel, the camera synchronously obtains the point cloud data. Using filtering methods such as Gaussian curvature, outliers of three-dimensional images such as balustrade and other point clouds that do not belong to the pig contour are extracted from the original point cloud, and then the preprocessed point cloud in the three views is reconstructed based on the sample consistency (SAC), and then the pig body size parameters including body length are used. The body height, chest circumference and abdomen circumference are measured by the accurate estimation technology of body condition. In different experimental analysis, we compared 5 groups of body size measurement data at different speeds in the laboratory, and compared the body size measurement results of 25 pigs in the pig farm. In the laboratory, pig models were moved at 0, 0.3, 0.6, 0.9 and 1.2m/s. The results show that the average relative error between the body length measurement and the manual measurement is 1.77%. The average relative errors of height, chest width and abdominal circumference were 1.36%, 2.74% and 2.17%, respectively. In addition, the detection value was highly correlated with the manual measurement value of 25 pigs in the pigsty. The average relative error of body length is 2.56%. The average relative errors of height, chest width and abdominal circumference were 2.32%, 3.89% and 4.51%, respectively. In addition, in the farm, the accuracy of body size parameters is in accordance with the results of the laboratory. The experimental results show that the study is helpful to evaluate the body condition of pigs fed with concentrate and managed by breeders automatically and accurately.

image processing; algorithms; models; pig; three-dimensional reconstruction; body size measurement; Kinect V2

尹 令，蔡更元，田緒紅，孫愛東，石 帥，鐘浩杰，梁世豪.多視角深度相機的豬體三維點云重構及體尺測量[J]. 農業(yè)工程學報，2019，35(23)：201－208.doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

Yin Ling, Cai Gengyuan, Tian Xuhong, Sun Aidong, Shi Shuai, Zhong Haojie, Liang Shihao. Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 201－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

2019-05-24

2019-10-25

2019年度廣東省重點領域研發(fā)計劃“牲畜非接觸式智能識別技術研究與示范”（2019B020219001）、農業(yè)農村部農業(yè)物聯(lián)網重點實驗室開放基金課題（2018AIOT-08）、江蘇省農業(yè)自主創(chuàng)新基金資助項目“農業(yè)物聯(lián)網關鍵設備研發(fā)及應用示范”（CX（16）1006）。

尹 令，博士，副教授，研究方向農業(yè)信息化與數據挖掘。Email：yin_ling@scau.edu.cn

孫愛東，副研究員，主要從事人工智能、專家系統(tǒng)、溯源系統(tǒng)等研究。Email：sunad2002@163.com

10.11975/j.issn.1002-6819.2019.23.025

TP391.41

A

1002-6819(2019)-23-0201-08