基于Kinect v4的牛體尺測(cè)量方法

趙建敏，趙成，夏海光

（內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010）（?通信作者電子郵箱zhao_jm@imust.edu.cn）

基于Kinect v4的牛體尺測(cè)量方法

趙建敏*，趙成，夏海光

（內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010）（?通信作者電子郵箱zhao_jm@imust.edu.cn）

針對(duì)基于機(jī)器視覺的牛體尺測(cè)量方法中圖像背景復(fù)雜、特征點(diǎn)提取難度大的問(wèn)題，提出了一種基于Kinect v4傳感器的牛體尺測(cè)量方法來(lái)采集彩色和深度圖像，并結(jié)合目標(biāo)檢測(cè)、Canny邊緣檢測(cè)、三點(diǎn)圓弧曲率等算法提取體征特征點(diǎn)進(jìn)而計(jì)算體尺數(shù)據(jù)。首先，制作了牛體尺特征部位圖像數(shù)據(jù)集，并利用深度學(xué)習(xí)YOLOv5目標(biāo)檢測(cè)算法檢測(cè)牛體尺特征部位信息，以減少牛體其他部位和背景對(duì)體尺測(cè)點(diǎn)提取的干擾；其次，借助OpenCV圖像處理庫(kù)中的Canny邊緣檢測(cè)、輪廓提取等圖像處理算法獲取牛體尺測(cè)點(diǎn)所在的關(guān)鍵輪廓；然后，對(duì)關(guān)鍵輪廓采用多項(xiàng)式擬合和三點(diǎn)圓弧曲率等算法從而在二維圖像中提取牛體尺測(cè)點(diǎn)；最后，利用深度信息將二維圖像中的測(cè)點(diǎn)信息轉(zhuǎn)換到三維坐標(biāo)系下，并結(jié)合隨機(jī)抽樣一致（RANSAC）算法在三維坐標(biāo)系下設(shè)計(jì)牛體尺測(cè)量方法。經(jīng)過(guò)在復(fù)雜環(huán)境下傳感器和牛體側(cè)面成不同偏角時(shí)的實(shí)驗(yàn)測(cè)量結(jié)果和人工測(cè)量結(jié)果的比較得出，牛體尺數(shù)據(jù)中鬐甲高的平均相對(duì)誤差為0.76%，體斜長(zhǎng)的平均相對(duì)誤差為1.68%，體直長(zhǎng)的平均相對(duì)誤差為2.14%，臀端高的平均相對(duì)誤差為0.76%。實(shí)驗(yàn)結(jié)果表明，所提方法在復(fù)雜環(huán)境下具有較高的測(cè)量精度。

牛；體尺測(cè)量；目標(biāo)檢測(cè)；圖像處理；Kinect傳感器；深度信息

0 引言

牛體尺參數(shù)是評(píng)價(jià)牛生長(zhǎng)狀況的重要指標(biāo)，能直觀反映牛的生長(zhǎng)發(fā)育狀況，同時(shí)也是種牛選擇和育種的重要因素之一［1］。傳統(tǒng)的牛體尺測(cè)量方法主要采用測(cè)杖、圓形觸測(cè)器、軟尺等工具通過(guò)人工接觸式測(cè)量［2］。這種測(cè)量方法費(fèi)時(shí)費(fèi)力，對(duì)牛的姿態(tài)要求較高且測(cè)量效率低下。近年來(lái)，人工智能研究與畜牧業(yè)生產(chǎn)相結(jié)合，在國(guó)內(nèi)外已經(jīng)有部分成功案例［3］。江杰等［4］、劉同海等［5］、常海天［6］分別基于背景差分法和空間分辨率方法測(cè)量了羊、豬、牛體尺參數(shù)；趙建敏等［7］基于Kinect v1傳感器采集深度圖像尋找測(cè)點(diǎn)進(jìn)而計(jì)算羊體尺數(shù)據(jù)；馮恬［8］基于雙目立體視覺通過(guò)歐氏距離原理測(cè)量了牛體體尺數(shù)據(jù)；李琦等［9］基于雙目立體視覺，結(jié)合Mask R-CNN（Mask Region-based Convolutional Neural Network）提取牛體輪廓曲線，測(cè)量體尺數(shù)據(jù)。上述方法都要在無(wú)干擾環(huán)境下進(jìn)行實(shí)驗(yàn)，對(duì)測(cè)量環(huán)境、動(dòng)物站姿要求較高，在背景復(fù)雜的情況下，提取效果差，難以提取牛體輪廓，會(huì)增大體尺測(cè)量誤差；而且雙目立體視覺和空間分辨率法對(duì)光線影響敏感，當(dāng)相機(jī)參數(shù)發(fā)生變化時(shí)模型可能不再適用。Kinect v1深度圖像基于結(jié)構(gòu)光原理，其深度信息精度隨著距離的增加會(huì)變差。

目前，由于牛的養(yǎng)殖環(huán)境復(fù)雜、牛站姿變化較大，在復(fù)雜背景和光線等影響下導(dǎo)致牛體關(guān)鍵部位輪廓提取難度大、精度低，這是牛體尺測(cè)點(diǎn)準(zhǔn)確提取面臨的重要問(wèn)題。針對(duì)上述問(wèn)題，本文提出了一種基于Kinect v4傳感器的牛體尺測(cè)量方法。本文的主要工作如下：1）采用基于時(shí)差測(cè)距（Time of Flight， ToF）［10］原理的Kinect v4深度傳感器獲取牛體RGB-D（Red Green Blue-Depth）圖像信息，并利用深度學(xué)習(xí)YOLOv5（You Only Look Once v5）［11］目標(biāo)檢測(cè)算法和彩色信息檢測(cè)牛體尺特征部位信息，減少背景和牛體其他部位對(duì)測(cè)點(diǎn)提取的干擾；2）根據(jù)得到的牛體尺特征部位信息，對(duì)牛體尺特征部位進(jìn)行圖像裁剪；3）根據(jù)牛體身體特征對(duì)于裁剪圖像通過(guò)深度或彩色信息結(jié)合Canny邊緣檢測(cè)算法和輪廓提取算法提取關(guān)鍵輪廓，對(duì)輪廓進(jìn)行擬合，選擇輪廓中距離擬合曲線曲率最大點(diǎn)最近的點(diǎn)作為測(cè)點(diǎn)；4）最后，基于深度信息和隨機(jī)抽樣一致（RANdom SAmple Consensus， RANSAC）算法［12］在三維坐標(biāo)系下計(jì)算體尺數(shù)據(jù)。在復(fù)雜環(huán)境下傳感器與牛體側(cè)面成不同偏角的情況下進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。

1 牛體尺測(cè)量相關(guān)方法

1.1 材料和方法流程

牛體尺參數(shù)主要包括鬐甲高、體斜長(zhǎng)、體直長(zhǎng)、臀端高，表1中給出了本文測(cè)量的牛體尺項(xiàng)目的測(cè)量規(guī)定。

表1 牛體尺測(cè)量規(guī)定Tab. 1 Cattle body size measurement regulations

本文方法包括牛體尺特征部位檢測(cè)方法、牛體尺測(cè)點(diǎn)提取方法和牛體尺計(jì)算方法三個(gè)部分。本文方法的流程如圖1所示，相應(yīng)的偽代碼如算法1所示。

圖1 本文方法的流程Fig. 1 Flow chart of proposed method

算法1 基于Kinect v4傳感器的牛體尺測(cè)量方法。

輸入 RGB-D圖像RGB?D_img；

輸出 多項(xiàng)體尺參數(shù)Body_oblique、Body_height、Hip_ height、Body_length。

9） else：

17） else：

1.2 體尺特征部位檢測(cè)方法

目標(biāo)檢測(cè)算法的主要任務(wù)是對(duì)圖像中的目標(biāo)進(jìn)行識(shí)別和定位，是計(jì)算機(jī)領(lǐng)域的關(guān)鍵任務(wù)。近年來(lái)，隨著圖像數(shù)據(jù)的大量增加，深度學(xué)習(xí)模型在圖像檢測(cè)方面的準(zhǔn)確度明顯提高。

本文從內(nèi)蒙古蘇尼特左旗和察哈爾右旗牧場(chǎng)采集大量牛體全身彩色圖像視頻，根據(jù)體尺測(cè)量的需要標(biāo)注了5 600余張含牛（cattle）、牛頭（head）、軀干（body）、牛尻（tail）、前后關(guān)節(jié)（joint）和四個(gè)牛足（hoof）部位的牛體尺特征部位圖像，制作了牛體尺特征部位數(shù)據(jù)集CABM2021（Cattle A Body Measurement 2021）。

本文將CABM2021數(shù)據(jù)集按照4∶1的比例劃分為訓(xùn)練集和測(cè)試集。通過(guò)深度學(xué)習(xí)目標(biāo)檢測(cè)模型YOLOv5［11］中的YOLOv5s模型對(duì)訓(xùn)練集進(jìn)行訓(xùn)練。YOLOv5目標(biāo)檢測(cè)模型的結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)模型將輸入圖像經(jīng)過(guò)縮放操作后大小統(tǒng)一到像素，通過(guò)Backbone網(wǎng)絡(luò)提取特征、Neck網(wǎng)絡(luò)處理特征，并采用Prediction網(wǎng)絡(luò)預(yù)測(cè)出圖像中包含的目標(biāo)框和類別。最后，通過(guò)非極大值抑制（Non-Maximum Suppression， NMS）算法排除冗余目標(biāo)框，保留檢測(cè)效果最好的目標(biāo)框作為特征部位的檢測(cè)結(jié)果。

圖2 YOLOv5模型結(jié)構(gòu)Fig. 2 Structure of YOLOv5 model

本文訓(xùn)練模型的系統(tǒng)環(huán)境為：RTX2080Ti GPU，10.75 GB顯存，深度學(xué)習(xí)框架Pytorch1.60，Cuda10.1。設(shè)定YOLOv5s模型初始學(xué)習(xí)率（）為0.01，隨機(jī)最速下降法（Stochastic Gradient Descent， SGD）動(dòng)量（momentum）為0.937，權(quán)重衰減系數(shù)（Weight Decay）為0.000 5，訓(xùn)練最大迭代輪數(shù)（epoch）為300，模型訓(xùn)練每次輸入圖像數(shù)量批尺寸（Batch Size）為16，輸入圖片大?。↖mg Size）為。

平均準(zhǔn)確度（Average Precision， AP）表示準(zhǔn)確率（Precision）和召回率（Recall）曲線圍成的面積大小，是評(píng)價(jià)深度學(xué)習(xí)目標(biāo)檢測(cè)模型每個(gè)類別檢測(cè)好壞的重要指標(biāo)，AP值越大表示該類別的檢測(cè)效果越好。均值平均準(zhǔn)確度（mean Average Precision， mAP）表示所有類別AP值的均值，是衡量模型好壞的重要指標(biāo)，mAP值越大表示模型的檢測(cè)結(jié)果越好。圖3中給出了本文訓(xùn)練模型的訓(xùn)練輪數(shù)（epoch）和mAP在交并比（Intersection over Union， IoU）［13］大于0.5時(shí)的曲線以及訓(xùn)練輪數(shù)和損失函數(shù)值的曲線。loss損失函數(shù)曲線表示模型訓(xùn)練過(guò)程的損失變化，損失值隨著訓(xùn)練輪數(shù)的增加而減小。在訓(xùn)練過(guò)程中，loss曲線損失值收斂于0.075，達(dá)到了較好的模型訓(xùn)練效果。

圖3 YOLOv5訓(xùn)練過(guò)程中的loss曲線和mAP曲線（mAP@0.5）Fig. 3 Loss curve and mAP curve （mAP@0.5） in YOLOv5 training process

將訓(xùn)練完成模型在訓(xùn)練集和測(cè)試集標(biāo)注的6個(gè)類別上進(jìn)行測(cè)試，測(cè)試結(jié)果的AP值如表2所示。

表2 訓(xùn)練集和測(cè)試集上各類別的平均準(zhǔn)確度Tab. 2 Average accuracy of each category on training set and test set

YOLOv5模型對(duì)不同種類牛在不同背景環(huán)境和姿態(tài)的牛體尺特征部位檢測(cè)結(jié)果如圖4所示。

圖4 YOLOv5模型對(duì)牛體尺特征部位的檢測(cè)效果Fig. 4 Detection effect of YOLOv5 model on feature parts of cattle body size

提取RGB-D圖像信息的前三個(gè)彩色通道，通過(guò)訓(xùn)練好的YOLOv5目標(biāo)檢測(cè)模型［11］對(duì)圖像進(jìn)行檢測(cè)，得到牛體尺特征部位信息。牛體尺特征部位信息由多個(gè)體尺部位的檢測(cè)框信息構(gòu)成，檢測(cè)框信息包含檢測(cè)框類別名稱、類別置信度、檢測(cè)框的左上角在原圖中的坐標(biāo)、檢測(cè)框的寬度和高度。

根據(jù)牛體尺特征部位信息中的兩個(gè)關(guān)節(jié)部位（joint）和四只牛足（hoof）部位檢測(cè)框中心位置到牛頭（head）部位檢測(cè)框中心位置的二維平面歐氏距離式（1），可將牛體尺關(guān)鍵特征部位信息中的關(guān)節(jié)部位（joint）劃分為前關(guān)節(jié)（joint1）和后關(guān)節(jié)（joint2），牛足部位（hoof）劃分為前足（hoof1）和后足（hoof2）。

牛鬐甲測(cè)點(diǎn)在平面圖像中位于牛兩前足之間，牛肩胛處測(cè)點(diǎn)在牛的前關(guān)節(jié)附近，牛坐骨處測(cè)點(diǎn)在牛尾端附近，牛所站地面的點(diǎn)集在牛足邊緣附近。可以根據(jù)牛體身體特征和牛體尺特征部位信息建立新的牛體尺特征部位信息，新的牛體尺特征部位信息如圖5所示。圖5中黑色的陰影點(diǎn)為深度相機(jī)采集信息失效的點(diǎn)，這是由傳感器采集深度信息的誤差導(dǎo)致。Kinect v4深度相機(jī)的深度信息采集失敗的原因包括IR（Infra?Red）信號(hào)飽和、IR信號(hào)強(qiáng)度低、濾波異常、超出IR照明罩、多路徑干擾、由墻面反射造成的歧義深度等。傳感器會(huì)將失效的像素點(diǎn)深度值表示為0。

圖5 處理后的關(guān)鍵部位Fig. 5 Key parts after processing

1.3 圖像牛體關(guān)鍵輪廓提取方法

通過(guò)邊緣檢測(cè)得到的二值圖像并非簡(jiǎn)單的邊緣輪廓，而是帶有多條復(fù)雜信息的輪廓，本文借助NumPy（Numeric Python）［14］和OpenCV（Open source Computer Vision）［15］這兩個(gè)開源技術(shù)庫(kù)的圖像處理技術(shù)，通過(guò)上述牛體尺特征部位檢測(cè)方法得到的牛體尺特征部位信息對(duì)RGB-D圖像進(jìn)行裁剪，裁剪圖像左上角在圖像中坐標(biāo)為對(duì)應(yīng)類別檢測(cè)框的左上角坐標(biāo)，裁剪圖像寬度和高度為對(duì)應(yīng)類別檢測(cè)框的寬度和高度。根據(jù)牛體尺特征部位信息裁剪得到鬐甲、肩胛、坐骨三處測(cè)點(diǎn)所在的裁剪圖像。裁剪的框線參見圖5中withers、tail、joint1檢測(cè)框。

對(duì)去除噪聲后的平滑圖像根據(jù)邊緣部位的幾何特征，分別運(yùn)用不同雙閾值的Canny邊緣檢測(cè)算法［16］進(jìn)行邊緣檢測(cè)，得到含有多條輪廓信息的二值圖像。

采用輪廓提取算法［17］對(duì)數(shù)值二值圖像進(jìn)行拓?fù)浞治?，區(qū)分二值圖像邊界之間的包圍關(guān)系。對(duì)通過(guò)Canny邊緣檢測(cè)算法［16］得到的二值圖像采用OpenCV圖像處理庫(kù)中的輪廓提取函數(shù)（findContour）進(jìn)行輪廓提取，得到含有多條輪廓的輪廓集合。由于在裁剪圖像中，測(cè)點(diǎn)所在關(guān)鍵輪廓長(zhǎng)度最長(zhǎng)，故本文從含有多條輪廓的輪廓集合中篩選出最長(zhǎng)的一條輪廓作為關(guān)鍵輪廓進(jìn)行測(cè)點(diǎn)提取。

圖6（a）給出了彩色圖像在復(fù)雜環(huán)境下邊緣檢測(cè)的效果。由于邊緣位置往往和外界環(huán)境相鄰接，彩色圖像在邊緣檢測(cè)時(shí)容易受到外界環(huán)境的干擾，導(dǎo)致邊緣檢測(cè)的閾值難以選擇。在復(fù)雜場(chǎng)景下，由彩色圖像通過(guò)邊緣檢測(cè)得到的二值圖像信息混亂，不利于輪廓的提取，即文獻(xiàn)［4-6，8-9］中的方法難以適用。圖6（b）給出了深度圖像在同樣復(fù)雜的環(huán)境下邊緣檢測(cè)的效果圖，為了可視化方便，圖6（b）中的深度圖像是經(jīng)過(guò)轉(zhuǎn)換后的偽彩圖像。深度圖像的形成只與采集器到各點(diǎn)之間的距離相關(guān)，不易受外界環(huán)境影響，邊緣信息提取的效果較好。

圖6 彩色圖像和深度圖像的邊緣檢測(cè)對(duì)比Fig. 6 Edge detection comparison between color image and depth image

利用深度圖像的性質(zhì)，本文在對(duì)鬐甲和坐骨處測(cè)點(diǎn)的邊緣檢測(cè)時(shí)采用深度信息進(jìn)行。由于牛的肩胛處測(cè)點(diǎn)不在牛體的外邊緣，深度圖像難以區(qū)分肩胛輪廓，故肩胛處測(cè)點(diǎn)的邊緣檢測(cè)使用彩色信息。但是一些牛體由于膚色差異問(wèn)題，肩胛點(diǎn)使用彩色信息也難以檢測(cè)到肩胛輪廓信息，本文則尋找位于其肩胛所在牛腿上的測(cè)點(diǎn)來(lái)代替牛肩胛處的測(cè)點(diǎn)。在這種情況下，尋找測(cè)點(diǎn)的關(guān)鍵輪廓在牛體邊緣輪廓上，則采用深度信息來(lái)提取邊緣信息。

1.4 圖像牛體測(cè)點(diǎn)提取方法

根據(jù)牛體的輪廓特征，輪廓曲線中曲率最大的點(diǎn)是本文要尋找的測(cè)點(diǎn)。但是在進(jìn)行曲率計(jì)算時(shí)，需要較為平滑的曲線才能保證曲率計(jì)算的準(zhǔn)確性，文獻(xiàn)［7，9］方法忽略了這一點(diǎn)。由于輪廓的曲線表達(dá)式未知，故本文首先對(duì)關(guān)鍵輪廓中的點(diǎn)集進(jìn)行三次多項(xiàng)式擬合，擬合方程形式為。

表3 關(guān)鍵輪廓點(diǎn)集中的部分點(diǎn)集Tab. 3 Some point set of key contour point set

注：加粗?jǐn)?shù)據(jù)為測(cè)點(diǎn)數(shù)據(jù)。

圖7中給出了關(guān)鍵輪廓中的全部點(diǎn)集位置信息和擬合曲線以及曲線方程的表達(dá)式。

本文由上述方法得到了牛鬐甲端、坐骨端、肩胛端的在裁剪圖像中3個(gè)測(cè)點(diǎn)的位置信息，但還需將其轉(zhuǎn)換回原圖像中所對(duì)應(yīng)的位置信息，通過(guò)式（5）將得到的3個(gè)測(cè)點(diǎn)轉(zhuǎn)換回原圖像中對(duì)應(yīng)的點(diǎn)。

圖7 關(guān)鍵輪廓點(diǎn)集的擬合曲線和測(cè)點(diǎn)Fig. 7 Fitting curves and measuring points in key contour point set

1.5 牛體尺計(jì)算方法

由深度信息、相機(jī)參數(shù)和官方軟件開發(fā)工具包（Software Development Kit， SDK）得到二維坐標(biāo)系點(diǎn)向三維坐標(biāo)系點(diǎn)的轉(zhuǎn)換矩陣。由于深度相機(jī)采集深度信息時(shí)存在失效的點(diǎn)，而邊緣點(diǎn)往往是容易失效的位置，故本文將二維圖像坐標(biāo)系下的測(cè)點(diǎn)轉(zhuǎn)換到三維坐標(biāo)系下的測(cè)點(diǎn)時(shí)，基于二維高斯分布函數(shù)原理采用式（6）計(jì)算轉(zhuǎn)換后的點(diǎn)的近似坐標(biāo)。本文建立的空間坐標(biāo)系軸正方向參見圖8（a）。

表4 測(cè)點(diǎn)及其周圍點(diǎn)的深度值Tab. 4 Depth value of measuring points and points around them

注：加粗?jǐn)?shù)據(jù)為測(cè)點(diǎn)數(shù)據(jù)。

計(jì)算牛鬐甲高、臀端高不光需要牛鬐甲端、坐骨端處的測(cè)點(diǎn)，還需要知道測(cè)點(diǎn)在三維坐標(biāo)系下到地面的距離。故本文基于牛體尺特征部位信息，通過(guò)對(duì)牛體關(guān)鍵輪廓提取的方法提取四個(gè)牛足關(guān)鍵輪廓。同時(shí)，采集二維平面中牛足關(guān)鍵輪廓附近的點(diǎn)集，將這些點(diǎn)集通過(guò)轉(zhuǎn)換矩陣轉(zhuǎn)換到三維坐標(biāo)系下。然后，基于RANSAC算法對(duì)點(diǎn)集進(jìn)行擬合和分割，地面點(diǎn)集分割為內(nèi)點(diǎn)，非地面點(diǎn)集分割為外點(diǎn)。本文將距離地面擬合方程10 mm內(nèi)的點(diǎn)集視作內(nèi)點(diǎn)，之外的視作外點(diǎn)。RANSAC算法擬合地面方程的形式為。牛四足站立的平面參見圖8（a）。

本文在真實(shí)三維坐標(biāo)系下設(shè)計(jì)體尺參數(shù)計(jì)算方法，測(cè)量結(jié)果不易受牛的站姿變化影響。本文采用點(diǎn)到平面距離式（7）計(jì)算鬐甲高和臀端高，采用三維空間歐氏距離式（8）計(jì)算體斜長(zhǎng)。

本文設(shè)計(jì)的體直長(zhǎng)計(jì)算方法需要結(jié)合體斜長(zhǎng)、臀端高和肩端高的數(shù)值。圖8（b）中給出了由肩端測(cè)點(diǎn)、坐骨測(cè)點(diǎn)和肩胛前端至坐骨結(jié)節(jié)后端垂直線與水平線的垂點(diǎn)所構(gòu)成的三角形。其中三角形的斜邊長(zhǎng)度為體斜長(zhǎng)的數(shù)值，兩個(gè)直角邊的長(zhǎng)度分別為體直長(zhǎng)和臀端高與肩端高的差值。

圖8（b）中上方給出了本文方法測(cè)量的體尺數(shù)據(jù)，圖像中直線分別為體斜長(zhǎng)、體直長(zhǎng)、鬐甲高和臀端高的近似測(cè)量直線。

圖8 二維和三維坐標(biāo)系下的牛體Fig. 8 Cattle bodies in two-dimensional and three-dimensional coordinate systems

2 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文方法的有效性，在背景環(huán)境復(fù)雜的實(shí)驗(yàn)室內(nèi)使用Inter i5-8250U CPU、8 GB內(nèi)存的筆記本電腦，Kinect v4設(shè)備深度相機(jī)窄視場(chǎng)非裝箱（NFOV unbinned）模式。該模式下深度相機(jī)具有分辨率、的較寬視角和0.5 m～3.86 m的有效深度工作范圍。彩色相機(jī)使用分辨率模式，相機(jī)幀速率設(shè)定為15 frame/s，設(shè)定深度相機(jī)和彩色相機(jī)采集信息同步。手動(dòng)設(shè)定相機(jī)白平衡值為4 500，其他彩色相機(jī)控件為自動(dòng)，Kinect v4的其他相關(guān)參數(shù)使用默認(rèn)值。Kinect v4設(shè)備在出廠之前已經(jīng)校準(zhǔn)，本文在實(shí)驗(yàn)中使用的Kinect v4相機(jī)參數(shù)為設(shè)備出廠時(shí)的校準(zhǔn)參數(shù)。

由于Kinect v4深度相機(jī)的NFOV unbinned模式有深度相機(jī)視角和分辨率問(wèn)題，在距離實(shí)驗(yàn)室黃牛側(cè)面約2 m距離時(shí)，深度相機(jī)才能完整獲取實(shí)驗(yàn)室黃牛的側(cè)面所有信息。本文在距離實(shí)驗(yàn)室內(nèi)模型牛測(cè)量區(qū)域2 m～3 m處擺放Kinect設(shè)備。實(shí)驗(yàn)設(shè)定式（6）相關(guān)參數(shù)為，。人工測(cè)量牛體尺時(shí)使用的工具為卷尺，精度為1 mm，在保持人工測(cè)點(diǎn)與牛特征部位體尺測(cè)點(diǎn)一致情況下進(jìn)行了多次測(cè)量并求均值后取整。人工測(cè)量的體尺數(shù)據(jù)參見表5。每次采集實(shí)驗(yàn)數(shù)據(jù)時(shí)將實(shí)驗(yàn)室黃牛模型旋轉(zhuǎn)一定的角度，使Kinect傳感器與實(shí)驗(yàn)室黃牛側(cè)面成一定偏角。本文在偏角～15°每隔3°偏角進(jìn)行一次實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)。本文實(shí)驗(yàn)時(shí)的復(fù)雜環(huán)境和本文方法檢測(cè)的測(cè)點(diǎn)及體尺測(cè)量數(shù)值信息如圖8（b）所示，數(shù)值顯示在圖像上方，測(cè)點(diǎn)位置和體尺測(cè)量直線在圖中進(jìn)行了展示。將本文所提方法檢測(cè)的鬐甲高、體斜長(zhǎng)、體直長(zhǎng)、臀端高與人工測(cè)量的結(jié)果進(jìn)行了對(duì)比，測(cè)量結(jié)果和相對(duì)誤差如表5所示，本文采用的相對(duì)誤差計(jì)算式為式（10），平均相對(duì)誤差計(jì)算式為式（11）。

本文的牛體尺測(cè)量方法在三維坐標(biāo)系下基于RANSAC算法對(duì)地面平面進(jìn)行擬合。在實(shí)驗(yàn)中多次得到的擬合平面結(jié)果法向量都平行于軸，圖8（a）中展示了本文建立的三維坐標(biāo)系，其中向下箭頭方向?yàn)檩S正向，故本文通過(guò)RANSAC算法得到的擬合平面平行于地面平面。由表5可知，鬐甲高的最大、最小相對(duì)誤差分別為1.24%和0.09%；臀端高的最大、最小相對(duì)誤差分別為2.09%和0.14%。這兩項(xiàng)體尺數(shù)據(jù)的平均測(cè)量相對(duì)誤差分別為0.76%和0.76%，都小于1%，故本文對(duì)臀端高和鬐甲高的測(cè)量具有較高的精度且比較穩(wěn)定。實(shí)驗(yàn)結(jié)果表明，本文基于深度信息和RANSAC算法測(cè)量臀端高和鬐甲高的方法有效，測(cè)量臀端高和鬐甲高兩個(gè)牛體尺數(shù)據(jù)的精度比較高。當(dāng)偏角絕對(duì)值增大時(shí)，臀端高和鬐甲高的相對(duì)誤差會(huì)增大，這是由于Kinect設(shè)備拍攝牛體側(cè)面獲得的信息會(huì)隨著偏角的增大而減少，導(dǎo)致檢測(cè)方法對(duì)邊緣信息的檢測(cè)效果會(huì)變差，獲取的邊緣輪廓曲線平滑程度下降，則本文所提方法對(duì)于坐骨端和鬐甲處測(cè)點(diǎn)的檢測(cè)效果會(huì)變差，測(cè)點(diǎn)檢測(cè)的位置會(huì)隨著偏角絕對(duì)值增大漸漸偏移，從而導(dǎo)致相對(duì)誤差增大。

表5中，體斜長(zhǎng)的最大、最小相對(duì)誤差分別為4.72%和0.19%，平均相對(duì)誤差為1.68%，體斜長(zhǎng)的測(cè)量誤差不是很穩(wěn)定。體斜長(zhǎng)在角度6°～9°時(shí)體斜長(zhǎng)測(cè)量效果較好，這是因?yàn)閷?shí)驗(yàn)黃牛在制作時(shí)，肩端平面與牛體成一定夾角，在偏角時(shí)，Kinect v4設(shè)備與肩端所在平面所成夾角較小，采集肩端處信息比較多，故對(duì)肩端處輪廓提取效果較好，測(cè)點(diǎn)的尋找較為準(zhǔn)確。在測(cè)量時(shí)體斜長(zhǎng)相對(duì)誤差較小，原因是隨著角度的減小不僅肩胛點(diǎn)周圍的信息采集在減少，主要干擾肩端測(cè)點(diǎn)提取牛腿周圍和脖頸周圍的信息采集也在減少，所以肩端測(cè)點(diǎn)的提取誤差變化不明顯。在時(shí)，體斜長(zhǎng)的測(cè)量相對(duì)誤差較大的原因在于這個(gè)角度范圍內(nèi)對(duì)肩胛處獲取的信息較少，但是由于傳感器采集信息時(shí)幾乎正對(duì)牛體側(cè)面，對(duì)于脖頸和大腿處的信息獲取相對(duì)較多，從而導(dǎo)致輪廓邊緣提取效果不好，進(jìn)而造成測(cè)點(diǎn)提取偏移，體斜長(zhǎng)相對(duì)誤差增大。此外，體斜長(zhǎng)的測(cè)量誤差不光和肩端處測(cè)點(diǎn)的準(zhǔn)確提取相關(guān)，還和坐骨處測(cè)點(diǎn)的準(zhǔn)確提取相關(guān)。隨著角度絕對(duì)值的增大，坐骨處采集的信息也在減少，導(dǎo)致臀端處測(cè)點(diǎn)的提取位置偏移，故當(dāng)偏角絕對(duì)值等于9°時(shí)，隨著偏角絕對(duì)值的增大體斜長(zhǎng)相對(duì)誤差也隨之增大。

表5中，體直長(zhǎng)的最大、最小相對(duì)誤差分別為5.79%和0.23%，平均相對(duì)誤差為2.14%。體直長(zhǎng)測(cè)量誤差相較于其他體尺數(shù)據(jù)的測(cè)量誤差最不穩(wěn)定，且平均相對(duì)誤差最大。這是由于本文設(shè)計(jì)的體直長(zhǎng)測(cè)量方法與體斜長(zhǎng)、臀端高、肩端高多個(gè)體尺數(shù)據(jù)相關(guān)聯(lián)，導(dǎo)致體斜長(zhǎng)的測(cè)量與肩端處測(cè)點(diǎn)、臀端處測(cè)點(diǎn)、地面平面擬合精度相關(guān)聯(lián)。故體直長(zhǎng)的測(cè)量平均相對(duì)誤差是本文方法的所有體尺數(shù)據(jù)中最大、最不穩(wěn)定的一項(xiàng)，其測(cè)量精度和其他體尺測(cè)量的精度相關(guān)聯(lián)。當(dāng)其他體尺數(shù)據(jù)相對(duì)誤差較大時(shí)，體斜長(zhǎng)的相對(duì)誤差也會(huì)比較大。

表5 人工和本文方法測(cè)量體尺的結(jié)果對(duì)比Tab. 5 Result comparison of measuring body size by manual and proposed methods

注：BH表示鬐甲高，BS表示體斜長(zhǎng)，BO表示體直長(zhǎng)，HH表示臀端高。

基于上述分析可知，大多數(shù)體尺數(shù)據(jù)在偏角絕對(duì)值超過(guò)一定大小時(shí)，會(huì)導(dǎo)致體尺測(cè)量誤差的增大。因?yàn)殡S著偏角絕對(duì)值的增大，體尺測(cè)點(diǎn)處的信息采集量在減少，而干擾信息的采集量在增加，從而導(dǎo)致本文測(cè)點(diǎn)尋找準(zhǔn)確度下降，進(jìn)而導(dǎo)致體尺測(cè)量誤差的增大。此外，當(dāng)偏角絕對(duì)值增大時(shí)，YOLOv5［11］目標(biāo)檢測(cè)算法對(duì)于牛體尺特征部位信息的檢測(cè)框置信度下降：在偏角達(dá)到一定程度時(shí)，將無(wú)法檢測(cè)到部分牛體尺特征部位信息；當(dāng)偏角達(dá)到時(shí)實(shí)驗(yàn)牛肩胛處的信息將不再被檢測(cè)到；當(dāng)偏角絕對(duì)值達(dá)到25°左右和35°左右時(shí)，牛的前腿間或后腿間會(huì)形成遮擋，牛足的采集信息不足，導(dǎo)致地面平面擬合的效果不穩(wěn)定，且無(wú)法準(zhǔn)確確定牛體鬐甲處測(cè)點(diǎn)所在輪廓位置。綜上，本文得到的最佳檢測(cè)偏角范圍為，最佳測(cè)量距離為，在這個(gè)范圍內(nèi)所有牛體尺數(shù)據(jù)都可以獲得較好的測(cè)量結(jié)果。

3 結(jié)語(yǔ)

本文提出了一種基于Kinect v4的牛體尺測(cè)量方法，利用YOLOv5目標(biāo)檢測(cè)算法和深度圖像信息特性，有效地減少了在復(fù)雜背景下牛體其他部位和測(cè)量背景環(huán)境對(duì)牛體測(cè)點(diǎn)提取的干擾。本文所提的體尺測(cè)量方法利用深度信息將測(cè)點(diǎn)轉(zhuǎn)換到三維坐標(biāo)系，在三維坐標(biāo)系下計(jì)算體尺數(shù)據(jù)，不易受站姿偏角的影響。本文的方法在不同偏角下測(cè)量體尺數(shù)據(jù)具有較高的精確度，滿足應(yīng)用的需要，為基于機(jī)器視覺測(cè)量牛體尺數(shù)據(jù)提供了新的研究方向。

[1] 張智慧，李偉，韓永勝.牛體尺影響因素及其應(yīng)用［J］.中國(guó)畜牧雜志，2018，54（1）：9-13.（ZHANG Z H， LI W， HAN Y S. Influence factors and applications for body size of cattle ［J］. Chinese Journal of Animal Science， 2018， 54（1）： 9-13.）

[2] 王永智.牛的外貌鑒定、體尺測(cè)量及體重估測(cè)［J］.養(yǎng)殖技術(shù)顧問(wèn)，2013（12）：20.（WANG Y Z. Appearance identification， body size measurement and weight estimation of cattle ［J］. Technical Advisor for Animal Husbandry， 2013（12）： 20.）

[3] 陸蓉，胡肄農(nóng)，黃小國(guó)，等.智能化畜禽養(yǎng)殖場(chǎng)人工智能技術(shù)的應(yīng)用與展望［J］.天津農(nóng)業(yè)科學(xué)，2018，24（7）：34-40.（LU R， HU Y N， HUANG X G， et al. Application and prospect of artificial intelligence technology in intelligent livestock and poultry farms ［J］. Tianjin Agricultural Sciences， 2018， 24（7）： 34-40.）

[4] 江杰，周麗娜，李剛.基于機(jī)器視覺的羊體體尺測(cè)量［J］.計(jì)算機(jī)應(yīng)用，2014，34（3）：846-850，887.（JIANG J， ZHOU L N， LI G. Sheep body size measurement based on computer vision ［J］. Journal of Computer Applications， 2014， 34（3）： 846-850， 887.）

[5] 劉同海，滕光輝，付為森，等.基于機(jī)器視覺的豬體體尺測(cè)點(diǎn)提取算法與應(yīng)用［J］.農(nóng)業(yè)工程學(xué)報(bào)，2013，29（2）：161-168.（LIU T H， TENG G H，F(xiàn)U W S， et al. Extraction algorithms and applications of pig body size measurement points based on computer vision ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013，29（2）： 161-168.）

[6] 常海天.種牛體尺非接觸測(cè)量系統(tǒng)研究［D］.長(zhǎng)春：長(zhǎng)春工業(yè)大學(xué)，2018：22-54.（CHANG H T. The study on the non-contact measurement system of cattle body ［D］. Changchun： Changchun University of Technology， 2018： 22-54.）

[7] 趙建敏，趙忠鑫，李琦.基于Kinect傳感器的羊體體尺測(cè)量方法［J］.江蘇農(nóng)業(yè)科學(xué)，2015，43（11）：495-499.（ZHAO J M， ZHAO Z X， LI Q. Sheep body size measurement method based on Kinect sensor ［J］. Jiangsu Agricultural Sciences， 2015， 43（11）： 495-499.）

[8] 馮恬.非接觸牛體測(cè)量系統(tǒng)構(gòu)建與實(shí)現(xiàn)［D］.楊凌：西北農(nóng)林科技大學(xué)，2014：22-39.（FENG T. Constructing and implementing for non-touch measurement system of cattle body ［D］. Yangling： Northwest Aamp;F University， 2014： 22-39.）

[9] 李琦，劉偉，趙建敏.基于雙目視覺及Mask RCNN的牛體尺無(wú)接觸測(cè)量［J］.黑龍江畜牧獸醫(yī)，2020（12）：46-50，159-160.（LI Q， LIU W， ZHAO J M. Non-contact measurement of bovine body size based on binocular vision and Mask RCNN ［J］. Heilongjiang Animal Science and Veterinary Medicine， 2020（12）： 46-50， 159-160.）

[10] LI L. Time-of-flight camera — an introduction ［R］. Dallas， Texas： Texas Instruments， 2014.

[11] JOCHER G， STOKEN A， BOROVEC J， et al. Ultralytics/yolov5： v4.0-nn.SiLU（） activations， Weights amp; Biases logging， PyTorch Hub integration ［EB/OL］. ［2021-01-15］. https：//zenodo.org/record/4418161#.

[12] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Communications of the ACM， 1981， 24（6）： 381-395.

[13] YU J H， JIANG Y N， WANG Z Y， et al. UnitBox： an advanced object detection network ［C］// Proceedings of the 2016 24th ACM International Conference on Multimedia. New York： ACM， 2016： 516-520.

[14] HARRIS C R， MILLMAN K J， VAN DER WALT S J， et al. Array programming with NumPy ［J］. Nature， 2020， 585（7825）： 357-362.

[15] BRADSKI G. The openCV library ［J］. Dr. Dobb’s Journal： Software Tools for the Professional Programmer， 2000， 25（11）：120-123.

[16] CANNY J. A computational approach to edge detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8（6）： 679-698.

[17] SUZUKI S， ABE K. Topological structural analysis of digitized binary images by border following ［J］. Computer Vision，Graphics， and Image Processing，1985， 30（1）： 32-46.

[18] 燕霞.海倫-秦九韶公式［J］.數(shù)學(xué)通報(bào)，1955（3）：4.（YAN X. Heron-Qin Jiushao formula ［J］. Journal of Mathematics （China）， 1955（3）： 4.）

Cattle body size measurement method based on Kinect v4

ZHAO Jianmin*， ZHAO Cheng，XIA Haiguang

（School of Information Engineering，Inner Mongolia University of Science and Technology，Baotou Inner Mongolia014010，China）

Aiming at the complexity of image background and difficulty of feature point extraction in cattle body size measurement based on machine vision， a new cattle body size measurement method based on Kinect v4 sensor was proposed. In this method， the color and depth images were collected，and the body size data were calculated by the body feature points extracted by the combination of algorithms such as object detection，Canny edge detection， and three-point arc curvature. Firstly， an image dataset of feature parts of cattle body size was created， and the deep learning You Only Look Once v5 （YOLOv5） target detection algorithm was used to detect feature part information of cattle body size in order to reduce the interference of other parts of cattle body and background on the extraction of body size measuring points. Secondly， with the help of Canny edge detection，contour extraction and other image processing algorithms in Open source Computer Vision （OpenCV） image processing library， the key contours with measuring points of cattle body size were obtained. Then， the algorithms such as polynomial fitting and three-point arc curvature were performed on the key contours to extract the measuring points of cattle body size in two-dimensional image. Finally， the depth information was used to convert the measuring point information in two-dimensional image to three-dimensional coordinate system， and the cattle body size measurement method was designed in three-dimensional coordinate system with the RANdom SAmple Consensus （RANSAC） algorithm. Through the comparison between the experimental measurement results with the sensor and the side of cattle body at different angles and manual measurement results in a complex environment， it can be seen that the average relative error of withers height is 0.76%， the average relative error of body oblique length is 1.68%， the average relative error of body straight length is 2.14 %， and the average relative error of hip height is 0.76% in cattle body measurement data. Experimental results show that the proposed method has high measurement accuracy in complex environment.

cattle; body size measurement; target detection; image processing; Kinect sensor; depth information

TP391

A

1001-9081（2022）05-1598-09

10.11772/j.issn.1001-9081.2021030532

2021?04?08；

2021?06?30；

2021?06?30。

內(nèi)蒙古自治區(qū)科技重大專項(xiàng)（2019ZD025）；內(nèi)蒙古自治區(qū)自然科學(xué)基金資助項(xiàng)目（2019LH06006）；包頭市昆區(qū)科學(xué)技術(shù)發(fā)展項(xiàng)目（YF2020014）。

趙建敏（1982—），男，內(nèi)蒙古包頭人，副教授，碩士，主要研究方向：圖像處理、機(jī)器學(xué)習(xí)； 趙成（1997—），男，天津人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、圖像處理； 夏海光（1981—），男，內(nèi)蒙古赤峰人，助理研究員，碩士，主要研究方向：圖像處理。

This work is partially supported by Major Science and Technology Special Project of Inner Mongolia Autonomous Region （2019ZD025）， Natural Science Foundation of Inner Mongolia Autonomous Region （2019LH06006）， Science and Technology Development Project of Kunqu District， Baotou City （YF2020014）.

ZHAO Jianmin， born in 1982， M. S.， associate professor. His research interests include image processing， machine learning.

ZHAO Cheng， born in 1997， M. S. candidate. His research interests include computer vision， image processing.

XIA Haiguang， born in 1981， M. S.， assistant research fellow. His research interests include image processing.