基于目標像素變化的柚果單目測距算法

劉 潔，周典卓，李 燕，李定科，李英琪，Rubel Rana

基于目標像素變化的柚果單目測距算法

劉 潔1,2,3，周典卓1，李 燕1，李定科1，李英琪1，Rubel Rana1

（1. 華中農(nóng)業(yè)大學(xué)工學(xué)院，武漢 430070；2. 農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點實驗室，武漢 430070；3.農(nóng)業(yè)農(nóng)村部柑橘全程機械化科研基地，武漢 430070）

針對山地果園光線變化和枝葉遮擋干擾果實距離檢測的問題，該研究提出一種利用目標區(qū)域像素數(shù)量變化預(yù)測成像距離的算法。根據(jù)單目測距原理和柚果成像特性，以具備尺寸和形狀代表性的離樹柚果樣本為研究對象，在采摘作業(yè)距離范圍內(nèi)利用單一相機以固定間隔步距對果實某一側(cè)面連續(xù)獲取圖像數(shù)據(jù)，用以建立并驗證目標區(qū)域像素數(shù)量變化與成像距離變化之間的多元回歸關(guān)系。隨后將該算法應(yīng)用于果園中樹上柚果樣本以檢驗其適用性，并討論初始成像距離和步距取值對測距精度的影響。研究結(jié)果表明，在125 cm以內(nèi)，6個樹上柚果樣本的測距相對誤差均低于5%，滿足采摘機械手目標定位的精度要求；初始成像距離對該算法測距精度具有顯著影響。該研究單目測距算法滿足果園環(huán)境中柚果目標與相機間距離檢測需求，為相關(guān)采摘機械手的柚果目標識別提供了一種可行方案。

算法；果園；識別；單目測距；像素數(shù)量；成像距離；多元回歸

0 引 言

柚子（(Burm) Merr.）是東南亞重要的藥食兩用水果，亦是果茶、精油等深加工產(chǎn)品的原料，其種植面積和產(chǎn)業(yè)產(chǎn)值均呈逐年增加態(tài)勢。作為三大柑橘類水果之一，柚子果梗木質(zhì)化程度高，果實懸掛于樹冠內(nèi)部，單果質(zhì)量300～1 800 g，采摘期相對集中，采摘勞動量需求極大。加之柚子果園多分布于坡度30°～60°的山地丘陵地區(qū)，采后運輸工作量亦不容忽視[1]。產(chǎn)區(qū)勞動力流失和勞動成本逐年增加使得發(fā)展柚子機械化、自動化采摘的需求愈發(fā)迫切[2]。對于果蔬采摘機器人而言，果實的識別與定位，直接影響到果實采摘的準確性與成功率[3-5]。

借助于深度學(xué)習(xí)等圖像處理和目標識別算法[6]，當前果蔬采摘機器人獲取空間三維信息主要有二維圖像結(jié)合深度信息源和僅用二維圖像計算三維信息兩種途徑[7]。二維圖像結(jié)合深度信息源主要依靠相機獲取成像平面二維坐標值，同時利用結(jié)構(gòu)光測距[8]、激光測距[9]、超聲波測距[10]和位置傳感器[11]等信息源獲取深度信息，如王玲等[12]針對蘑菇的機器人采收，使用結(jié)構(gòu)光SR300深度相機構(gòu)建了蘑菇位置原位測量系統(tǒng)。王糧局等[11]設(shè)計了基于精密運動機構(gòu)和單目視覺的草莓采摘機器人果實定位試驗，在壟坡和攝像機像平面內(nèi)包含1～3粒成熟草莓的果實域定位時間為0.633～0.886 s，草莓深度信息的相對誤差在?4.35%～0.95%之間。僅用二維圖像計算三維信息是依據(jù)光學(xué)成像原理，利用同一目標在多幅圖像中的成像特征計算目標三維坐標，主要有雙目測距和單目測距兩種方式。其中，雙目測距基于視差原理，根據(jù)相機結(jié)構(gòu)參數(shù)和2個不同位置的相機所獲取2張圖片中同一目標像素點位置參數(shù)計算目標的三維坐標信息，其計算精度高，硬件成本低，在農(nóng)作物和農(nóng)產(chǎn)品目標位置識別中應(yīng)用廣泛。例如Yang等[13]研究了一種基于雙目視覺的杭州白菊的識別與定位方法，通過在左右2幅圖像中匹配雄蕊質(zhì)心計算花朵目標位置，其在150～450 mm距離范圍內(nèi)的計算值誤差均小于14 mm；Xiong等[14]針對自然環(huán)境干擾下動態(tài)荔枝簇的視覺定位問題，利用雙目視覺立體匹配算法計算采摘點位置信息，在室內(nèi)的靜止和輕微干擾狀態(tài)下，深度誤差范圍為1.96～5.08 cm；在果園中，深度誤差范圍為0.40～5.80 cm；梁喜鳳等[15]提出了基于果梗骨架角點計算方法，使用雙目視覺系統(tǒng)采集番茄串圖像并獲取果梗采摘點位置信息，準確率達到90%；陳燕等[16]使用雙目相機采集荔枝圖像，提出同行順序一致性約束的目標配對方法，基于三角測量原理計算荔枝串空間坐標，提高了荔枝串的檢測精度與檢測速度。而單目測距則利用移動的單一相機獲取圖像并通過分析目標特征預(yù)測其距離[17]，在自動駕駛和無人機測控領(lǐng)域應(yīng)用廣泛[18-19]?，F(xiàn)有研究表明，單一相機能夠在低像素圖像中識別果蔬細節(jié)信息[20]，如與配套機具相結(jié)合[21-22]，單目視覺測距具有引導(dǎo)采摘機械手移動至果實目標的能力。研究者們對其在果蔬采摘機器人目標識別與定位中的應(yīng)用研究進行了探索。Guo等[23]提出了一種基于單目視覺的重疊生長荔枝果實識別方法，從荔枝前景區(qū)逐級提取單個荔枝果實，該方法對485張荔枝果園圖像中的目標識別準確率大于87%。楊帆等[24]利用將K-means聚類算法與Canny邊緣檢測算法相結(jié)合的方法，識別出枝葉遮擋、多果重疊情況下橘子的完整輪廓，通過對橘子輪廓的幾何參數(shù)和實際坐標計算其位置，該方法對柑橘果實和大棗果實的深度信息檢測誤差不超過0.32 cm。

雖然雙目視覺等立體視覺獲取目標空間位置信息技術(shù)成熟、器件商品化程度高、應(yīng)用廣泛，但是應(yīng)用中需以目標的精準匹配為基礎(chǔ)。然而山地果園中光照和地形變化使圖像背景復(fù)雜，內(nèi)掛果型果實受枝葉遮擋嚴重使目標難以識別，加上枝葉抖動等因素，均能引起深度相機所用激光或聲波等信號往返時間誤差增加，立體視覺左右圖像匹配目標識別難度和計算量增大。此外，內(nèi)掛果果實采摘作業(yè)中，多相機系統(tǒng)隨執(zhí)行器末端運動極易受到碰撞或剮蹭導(dǎo)致相機位置改變，影響其后續(xù)工作效率。鑒于柚子生長于丘陵山地且果實內(nèi)藏于枝葉的特性限制了深度相機和雙目測距等立體視覺技術(shù)在獲取柚果空間位置信息中的應(yīng)用，盡管單目視覺在果蔬采摘中的應(yīng)用較為鮮見，但其成像系統(tǒng)簡單、輕便、體積小，無需精確的圖像匹配，運算速度快等優(yōu)勢突出，既能使后續(xù)機具視覺伺服系統(tǒng)的成本控制在幾百元以內(nèi)，也便于開發(fā)多機械手協(xié)同工作機具，亦可為其他果蔬或農(nóng)作物生產(chǎn)過程中的目標深度信息識別提供參考。

綜上，單目視覺應(yīng)用于基于圖像的視覺伺服（Image-Based Visual Servoing，IBVS），需考慮鏡頭與光路等成像誤差對檢測精度的影響和目標脫離相機成像區(qū)域的問題。因此，在完成相機標定和內(nèi)外參數(shù)求取基礎(chǔ)上，本研究提出一種通過分析單一相機取固定間隔步距連續(xù)成像所獲圖像中目標像素點數(shù)量變化，計算復(fù)雜背景中樹上柚果深度信息的算法，以期為果實采摘機械手的目標距離預(yù)測和作業(yè)動作控制提供一種運算少、成本低的技術(shù)方案。

1 材料與方法

1.1 柚果樣本選擇與尺寸測量

本研究于華中農(nóng)業(yè)大學(xué)中百超市（武漢，中國）購買14個尺寸和形狀均具代表性的柚子果實為離樹樣本，隨機選取其中10個用于建模集圖像數(shù)據(jù)采集，其余4個用于驗證集圖像數(shù)據(jù)采集；另外在華中農(nóng)業(yè)大學(xué)果園中選取尺寸、形狀和掛果位置均具代表性的6個采摘期掛樹果實為樹上樣本。對于柚子果實，通常以果軸方向的果徑最大值為縱徑、以垂直于果軸方向的果徑最大值為橫徑表示其尺寸和果形。利用游標卡尺和夾板人工測量樣本的縱徑和橫徑尺寸，測3次取平均值為該尺寸測量值。

1.2 圖像采集方法

在良好光照條件下，以距離柚果150 cm處為起點，沿直線按2.5 cm步距間隔用iPad（A1599，Apple，美國）自帶攝像頭（焦距0.3 cm，曝光時間0.008 s）保持成像焦距不變對果實側(cè)面正向拍攝，直至距離柚果25 cm位置處為止（圖1）。單幅圖像分辨率為2 592×1 936像素，圖像數(shù)據(jù)自動保存為JPG格式。對于離樹柚果樣本，果梗朝上放置后，將其外表面平均劃分為正前方、左側(cè)方、正后方和右側(cè)方4個側(cè)面，其中每個側(cè)面作為1個成像樣本面獲取包含51幅圖像作為1組數(shù)據(jù)，共計56組離樹果實樣本數(shù)據(jù)。對于樹上柚果樣本，每個樣本以朝向樹冠外的側(cè)面作為成像樣本面獲取包含51幅圖像作為1組數(shù)據(jù)，共計6組樹上柚果樣本數(shù)據(jù)。

1.3 單目測距原理與算法設(shè)計

單目視覺測距以小孔成像原理為基礎(chǔ)。相機在成像平面對同一目標所成實像的面積會隨成像距離縮短而增大。由數(shù)碼相機工作原理可知，目標經(jīng)鏡頭所成實像經(jīng)由光電轉(zhuǎn)換和處理成為圖像數(shù)據(jù)中有序排列的像素點，即目標區(qū)域?qū)嵪衩娣e與其所占像素數(shù)量成正比。故這一實像面積的大小變化會量化為目標區(qū)域在圖像中所占像素點的數(shù)量變化。同一目標成像距離越近，則實像面積越大，目標區(qū)域所占像素點的數(shù)量越多。建立目標在多次成像中的對應(yīng)區(qū)域所占像素數(shù)量變化與成像距離變化間的對應(yīng)關(guān)系，可用于解析同類型目標的成像距離。

設(shè)目標在成像平面所成實像面積為（，cm2），所占像素數(shù)量為，成像距離（，cm）的計算如式（1）所示：

式中為所占像素數(shù)量與實像面積的比例系數(shù)，個/cm2；為相機鏡頭焦距，cm。

對于柚子果實等類球型體，當鏡頭距離目標柚果無限遠，則參與成像的果實表面可成為該拍攝方向上的最大成像面；當鏡頭不斷靠近柚果，受柚果外形影響，參與成像的果實表面范圍將不斷縮小，如圖2所示。若忽略柚果的果徑變化，設(shè)其平行于成像面上的最大截面半徑為（，cm），實際成像表面范圍半徑為（，cm），鏡頭至柚子表面之間的距離為（，cm），根據(jù)幾何關(guān)系分析可知3者間的關(guān)系如式（2）所示：

根據(jù)柚子行業(yè)標準[25]，柚子果實外徑通常在10.0～18.5 cm之間，因此可知果實半徑范圍為∈[5.00，9.25]。初始位置機械手與待作業(yè)果樹上距離最近果實間距離的最大值小于150 cm。在相機距果實距離小于25 cm后，機械手采摘機構(gòu)的設(shè)計即可保障果實的準確托持。因此，機械手工作范圍在25～150 cm范圍內(nèi)，即成像距離范圍為∈[25，150]。結(jié)合式（1），在上述范圍內(nèi)，成像距離亦可由如式（3）近似關(guān)系式進行表示：

式中為圖像每單位面積含像素數(shù)量和相機焦距共同決定的常數(shù)。

1.忽略果徑變化的柚子果實 2.果軸 3.光線路徑 4.鏡頭 5.理論最大成像面 6.實際成像面

1.Ideal pomelo fruit 2.Fruit axis 3.Light trace 4.Lens 5.The theoretical maximum imaging area 6.The real imaging area

注：′為成像面實際半徑，cm；為柚果最大截面半徑，cm；為成像距離，cm；ver為柚果縱徑，cm；hor為柚果橫徑，cm。

Note:′ is the radius of actual the imaging area on fruit surface, cm;is the maximum section radius of pomelo fruit, cm;is the imaging distance, cm;veris the vertical diameter of pomelo fruit, cm;horis the horizontal diameter of pomelo fruit, cm.

圖2 柚果成像面變化示意圖

Fig.2 The schematic diagram of the changes in the imaging area of the pomelo fruit surface

由式（3）可知，如保持連續(xù)成像過程中相機沿直線運動且焦距不變，則可提取圖像中目標區(qū)域所占面積和像素數(shù)量用于計算成像距離?？色@取已知成像距離的目標圖像，將其隨機分為建模集和驗證集，借助建模集圖像數(shù)據(jù)計算出像素數(shù)量變化與成像距離變化間的關(guān)系和的取值，可建立基于目標像素變化的柚果單目測距模型，經(jīng)驗證集數(shù)據(jù)檢驗并優(yōu)化后，即可用于目標成像距離檢測?？紤]到式（3）假設(shè)柚果為球體，而柚果實際形狀并非標準球體，且為消減多次成像過程中柚果表面與相機視錐相切最大絕對尺寸變化引起的誤差，選擇目標區(qū)域在所成圖像的像素值數(shù)量的變化率為輸入變量，距離預(yù)測值（(，)，cm）的數(shù)學(xué)表達式如式（4）所示：

式中、、、為根據(jù)成像距離、面積和像素數(shù)量等數(shù)據(jù)，經(jīng)最小二乘擬合運算求取的對應(yīng)參數(shù)。

在以像素數(shù)量為橫坐標、成像距離預(yù)測值為縱坐標的坐標系中（圖3），當最大成像面面積和預(yù)測距離范圍有限時，距離預(yù)測(,)的取值區(qū)域可視為由許多條冪函數(shù)曲線段構(gòu)成的封閉平面圖形，每條曲線段的系數(shù)連續(xù)且取值由決定。如記為根據(jù)目標圖像區(qū)域像素數(shù)量計算出的成像距離擬合曲線，成像距離預(yù)測值可能出現(xiàn)的最大值max()和最小值min()分別為該平面圖形的上邊緣曲線和下邊緣曲線。當取某一常數(shù)值C時，(,C)為其中1條冪函數(shù)曲線。假定相機每隔1個單位步距（,cm）成像1次，用表示序次，一共成像次，和為正整數(shù)，則≥2，1≤≤；獲取的圖像中果實目標區(qū)域像素數(shù)量為x，預(yù)測的成像距離為（z,cm），實際成像距離為（Z，cm），1≤x≤6 000 000。

相機第1次成像所得圖像中目標區(qū)域所占像素數(shù)量為1。根據(jù)式（4）可知，因柚果最大成像面積未知，所以暫不能根據(jù)1直接計算出成像距離預(yù)測值。但是，直線=1與上邊緣曲線max()和下邊緣曲線min()存在2個交點，分別設(shè)2個交點的縱坐標為、，可知=max(1)，=min(1)，則[，]為第1次成像的距離預(yù)測區(qū)間，實際成像距離值存在于該預(yù)測區(qū)間之內(nèi)。以2個交點為界均勻取個預(yù)測點1，2，…T…，T，取此時預(yù)測點間差值為，在其中任取第個預(yù)測點T(1，-)（0≤≤，和為整數(shù)），假定T為最佳預(yù)測點，其縱坐標值最接近實際成像距離，根據(jù)式（3）可確定該處的常數(shù)系數(shù)a，并計算出該假定條件下第1次成像的成像距離。

后續(xù)每次成像求取最佳預(yù)測點作為距離預(yù)測值的方法如下：當進行第次成像時，可獲得像素數(shù)量x，則次成像，可獲得個像素數(shù)量1，2，…，x…，x。對于每個像素數(shù)量x，在直線=x與(，)重疊的線段的個距離預(yù)測值1，2，…T…，T。引入E值用于表征假定T為最佳預(yù)測點的預(yù)測誤差，E值的大小為根據(jù)像素數(shù)量1，2，…，x計算得出的預(yù)測成像距離1，2，…，g與實際成像距離1，2，…，D之間的誤差的平方和。因此，可分別計算出在1，2，…，T為最佳預(yù)測點條件下的1，2，…，E值，取集合{1，2，…，E}中的最小值E，將第個預(yù)測點作為實際的最佳預(yù)測點，則可得第次拍攝時的最佳預(yù)測距離(g*，cm)，其計算如式（5）所示：

式中為第1次成像距離預(yù)測值的最大值，cm；為最佳預(yù)測點；為第1次成像時距離預(yù)測點間的差值，cm；為步距，cm。

注：為成像距離擬合曲線；為成像距離預(yù)測點序次；為成像序次；為第1次成像的預(yù)測點間距；為步距；1*為第1次成像時的距離預(yù)測值；g2*為第2次成像時的距離預(yù)測值；g*為第次成像時的距離預(yù)測值；為第1次成像距離預(yù)測值的最大值；為第1次成像距離預(yù)測值的最小值；max()為取值區(qū)域圖形的上邊緣曲線；min()為取值區(qū)域圖形的下邊緣曲線；T為預(yù)測點。

Note:is calculated fitting curve of imaging distance;is index of predicted imaging distance point;is shooting index;is interval between the prediction points of the first image;is step length;1*is Predicted imaging distance for the first image;2*is Predicted imaging distance for the second image; g*is Predicted imaging distance for thestimage;is maximum predicted imaging distance for the first image;is minimum predicted imaging distance for the first image;maxis upper edge line of the potential value area graphics;minis bottom edge line of the potential value area graphics;Tis prediction point.

圖3 柚果單目測距算法示意圖

Fig.3 The schematic diagram of the monocular distance measurement algorithm for pomelo fruit

1.4 目標區(qū)域像素數(shù)量提取與最大成像面積估計

圖像數(shù)據(jù)導(dǎo)入計算機后，柚果目標區(qū)域的像素數(shù)量利用Photoshop軟件的“套索”工具圍繞果實目標繪制其封閉輪廓后根據(jù)直方圖獲取。

考慮到柚果側(cè)面成像輪廓具有不規(guī)則性，最大成像面積難以精確測量。因此本研究根據(jù)成像距離足夠遠時柚果的最大成像面積無限接近其沿果軸方向的最大截面面積，并可近似等于其實際成像面積，設(shè)計了一種柚果側(cè)面輪廓最大成像面積的估算方法。根據(jù)常見柚子縱徑和橫徑[25]估算柚果的最大成像面積范圍為64～324 cm2，選擇了面積分別為64、81、100、121、144、169、196、225、256、289和324 cm2的11個標定板并獲取其在成像距離為150 cm時的圖像數(shù)據(jù)，獲得成像面積和像素數(shù)量間的線性關(guān)系，用于在拍攝方向上柚果側(cè)面輪廓最大成像面積的估計和后續(xù)計算中的參數(shù)補償，經(jīng)線性回歸分析可求得柚果最大成像面積估計值（p，cm2）如式（6）所示：

式中1為拍攝距離為150 cm時柚果圖像像素數(shù)量，1和2分別為線性回歸分析得出的系數(shù)。

1.5 柚果單目測距模型建立、驗證與算法評價方法

將所獲取的離樹柚果圖像數(shù)據(jù)按照5∶2的比例隨機劃分為用于建立柚果單目測距模型的建模集和用于獨立驗證模型預(yù)測能力的驗證集。將建模集樣本圖像數(shù)據(jù)的目標區(qū)域像素數(shù)量、最大成像面積和成像距離代入式（4），求取系數(shù)、、、以建立柚果單目測距模型。使用決定系數(shù)2來描述模型的擬合程度，決定系數(shù)2越接近于1，則說明擬合程度越高。

利用離樹柚果樣本獨立驗證集數(shù)據(jù)對模型預(yù)測能力進行檢驗后，另用6組樹上柚果樣本圖像數(shù)據(jù)檢驗?zāi)Ｐ皖A(yù)測能力和適用性。將連續(xù)成像過程中所得的目標區(qū)域所占像素數(shù)量依次輸入測距模型求取最佳預(yù)測點，運算結(jié)果即為預(yù)測成像距離。對于同一個目標成像面，隨著圖像獲取次數(shù)的增加，輸入次數(shù)增加，用于預(yù)測數(shù)據(jù)也增加。以此循環(huán)，直至輸出值超出測距算法的可預(yù)測范圍。

采用誤差、絕對誤差和相對誤差評價柚果單目測距模型的精度。定義預(yù)測結(jié)果的精度等級如下：如預(yù)測結(jié)果的相對誤差小于5%，則其精度等級為高；如相對誤差在5%～10%之間，則其精度等級為中；如超過10%，則其精度等級為低。為展示測距算法的準確性，以相對誤差頻數(shù)分布圖和累積頻率函數(shù)圖來表示低精度、中精度、高精度預(yù)測的頻率及分布特征。

為評價初始成像距離和2幅圖像間隔步距2個因素對預(yù)測精度的影響，求取不同初始成像距離和不同步距條件下算法預(yù)測值的平均相對誤差（Mean Relative Error，MRE），并進行方差分析。離均差平方和（Sum of Squares of Deviation from Mean，SS）是統(tǒng)計中離散趨勢的重要指標之一，總體數(shù)據(jù)的變異程度越大，離均差平方和就越大，方差也就越大。

柚果單目測距模型建立的計算和擬合均通過MATLAB實現(xiàn)。測距算法編寫和運算過程由MSDEV軟件完成。

2 結(jié)果與分析

2.1 柚果樣本縱徑與橫徑尺寸范圍

建模集和驗證集柚果樣本的縱徑與橫徑尺寸統(tǒng)計情況如表1所示，建模集樣本縱徑變化范圍為7.05～17.82 cm，橫徑變化范圍為7.84～15.80 cm；驗證集樣本縱徑變化范圍為11.92～12.95 cm，橫徑變化范圍為12.25～13.99 cm?？芍?，各樣本面最大截面積均未超出標定板面積變化范圍。

表1 柚果樣本尺寸統(tǒng)計表

2.2 柚果樣本面最大成像面估算結(jié)果

根據(jù)11個標定板在成像距離為150 cm時的圖像數(shù)據(jù)對像素數(shù)量與柚果成像面積之間的線性關(guān)系做回歸分析，求得系數(shù)1=0.004，2=1.278，則柚果的最大成像面積估計值（p，cm2）如式（7）所示：

建模集10個離樹柚果各樣本面最大成像面積估計值的計算結(jié)果如表2所示，最大成像面積估計值的變化范圍為74.31～174.41 cm2。

表2 各柚果樣本面最大成像面積的估算結(jié)果

2.3 圖像中柚果區(qū)域所占像素數(shù)量提取結(jié)果

選取6個離樹柚果樣本側(cè)面的最大成像面積和在成像距離為25、50、75、100、125、150 cm處所生成圖像中柚果區(qū)域所占像素數(shù)量如表3所示。可見當成像距離一定時，果實尺寸越大，最大成像面積越大，圖像中樣本目標區(qū)域所占像素數(shù)量越多；對于同一樣本成像面，成像距離越短，圖像中果實目標區(qū)域所占像素數(shù)量越多。

表3 不同成像距離下各最大成像面積的柚果目標區(qū)域的像素數(shù)量

2.4 柚果單目測距模型的構(gòu)建

提取建模集40組離樹柚果樣本圖像數(shù)據(jù)的目標區(qū)域像素數(shù)量、最大成像面積和成像距離代入式（4），求得系數(shù)=2 311，=?0.499 8，=0.512 9，=0.000 186 1。

則柚果成像距離預(yù)測值（，cm）的模型如式（8）所示：

計算得該預(yù)測模型決定系數(shù)2為0.999 8，說明其擬合程度高，可靠性強，能夠反映像素數(shù)量變化與成像距離變化間的回歸關(guān)系。

2.5 離樹柚果樣本驗證結(jié)果

利用獨立驗證集中4個離樹果實樣本的16組數(shù)據(jù)共816幅圖像數(shù)據(jù)對柚果單目測距模型準確性和適用性進行驗證，取初始成像距離1為150.0 cm，步距為2.5 cm，預(yù)測點個數(shù)為301，驗證結(jié)果如圖4所示。離樹樣本成像距離預(yù)測值與實際值的散點關(guān)系如圖4a所示，可見在成像距離小于120 cm后，預(yù)測值與實際值間的差值即絕對誤差明顯減小。從離樹樣本成像距離預(yù)測值相對誤差分布來看，成像距離在120～130 cm時，距離預(yù)測精度等級變?yōu)椤爸小?；成像距離小于120 cm后，距離預(yù)測精度等級均保持為“高”，相對誤差最大值為4.89%，最小值為0.02%（圖4b）。根據(jù)816幅離樹樣本圖像的預(yù)測結(jié)果做相對誤差頻數(shù)分布和相對誤差累積頻率函數(shù)（圖4c和圖4d），其中91%的離樹果實樣本的預(yù)測值相對誤差小于5%；96%的離樹果實樣本的預(yù)測值相對誤差小于10%。

從驗證集數(shù)據(jù)中選取7組圖像，對比其最大成像面積、像素數(shù)量區(qū)間、成像距離預(yù)測結(jié)果的相對誤差和精度等級（表4），可知驗證集數(shù)據(jù)符合成像面積與像素數(shù)量成正比的關(guān)系；精度等級為“中”或“低”的預(yù)測均發(fā)生于成像距離為122.5～150.0 cm的范圍內(nèi)，即自初始成像距離起的前5幅圖像以內(nèi)。上述結(jié)果表明，對于離樹柚果樣本，預(yù)測值的絕對誤差在成像距離由150 cm向25 cm縮減過程中逐步減小并趨于穩(wěn)定；預(yù)測值誤差在成像距離為140 cm以外較大，應(yīng)當與參與計算的圖像幅數(shù)少有關(guān)，隨著成像距離逐步減小、圖像獲取次數(shù)逐步增加，相對誤差會迅速縮減至5%以內(nèi)；預(yù)測值相對誤差在成像距離小于50 cm后略有反彈，但仍能保持低于5%的可接受誤差范圍以內(nèi)，這主要是絕對誤差值趨于穩(wěn)定而成像距離逐漸減小引起的。

表4 代表性離樹柚果樣本成像距離的預(yù)測結(jié)果

注：“-”表示無該成像距離預(yù)測精度等級的預(yù)測結(jié)果。

Note: “-” meant that there was not any prediction result on that accuracy level.

2.6 樹上柚果樣本驗證結(jié)果

取初始成像距離1為150.0 cm，步距為2.5 cm，預(yù)測點個數(shù)為301，利用獨立驗證集中6個樹上柚果樣本的6組共306幅圖像數(shù)據(jù)對模型進行驗證，運算結(jié)果如圖5所示。樹上樣本成像距離預(yù)測值與實際值的散點關(guān)系如圖5a所示，可見絕對誤差在成像距離小于120 cm后，即生成10幅圖像之后明顯減小，其變化趨勢與離樹樣本的驗證結(jié)果一致。樹上樣本成像距離預(yù)測值相對誤差分布如圖5b所示，成像距離大于147.5 cm的圖像數(shù)據(jù)中有4個預(yù)測值相對誤差大于5%，成像距離大于145.0 cm的圖像數(shù)據(jù)中有3個預(yù)測誤差大于5%，相機成像距離小于125 cm之后的預(yù)測值相對誤差均小于5%，其最大值為4.75%，最小值為0.08%；相對誤差在成像位置在80 cm至100 cm之間時達到最小值，其隨成像距離減小先減小后略有反彈但均低于5%的變化趨勢亦與離樹樣本的驗證結(jié)果類似。樹上樣本成像距離預(yù)測值相對誤差頻數(shù)分布和相對誤差累積頻率函數(shù)如圖5c和圖5d所示，可見95%的樹上柚果樣本測距結(jié)果相對誤差小于5%；97%的樹上柚果樣本測距結(jié)果相對誤差小于10%。

樹上柚果樣本的最大成像面積、像素數(shù)量區(qū)間與成像距離預(yù)測結(jié)果的相對誤差和精度等級如表5所示，可知對于樹上柚果樣本，最大成像面積與所占像素數(shù)量滿足正比關(guān)系，當初始成像距離為150 cm，成像距離減至125 cm后，模型預(yù)測精度等級均能達到“高”，考慮到實際作業(yè)過程中必然存在執(zhí)行器向作業(yè)目標逐漸靠近的過程，這一檢測精度可以滿足應(yīng)用要求。從上述結(jié)果看，樹上柚果圖像數(shù)據(jù)對模型預(yù)測能力的檢驗結(jié)果與離樹柚果圖像數(shù)據(jù)的檢驗結(jié)果相比，其絕對誤差無顯著差異，相對誤差變化亦具有隨成像距離縮減先減小后略有增加的趨勢，應(yīng)當與成像次數(shù)足夠多之后絕對誤差值較為穩(wěn)定而成像距離逐漸減小有關(guān)。表明該研究所提算法具有良好的適用性，能夠在25～150 cm范圍內(nèi)實現(xiàn)樹上柚果成像距離的檢測。

表5 樹上柚果樣本成像距離的預(yù)測結(jié)果

注：“-”表示無該成像距離預(yù)測精度等級的預(yù)測結(jié)果。

Note: “-“ meant that there was not any prediction result on that accuracy level.

2.7 初始成像距離和步距對檢測精度的影響分析

利用獨立驗證集數(shù)據(jù)，分別選取150、125、100、75和50 cm的初始成像距離與2.5、5.0和10.0 cm的步距代入式（7）預(yù)測圖像成像距離，并對比平均相對誤差以分析這2個因素對檢測精度的影響，運算結(jié)果如表6所示。

表6 初始成像距離和步距對預(yù)測結(jié)果平均相對誤差的影響

對于同一初始成像距離，隨步距增加，平均相對誤差略有降低；對于同一步距，初始成像距離的縮短會引起平均相對誤差的改變，但這一改變沒有一致的規(guī)律。如步距為2.5 cm時，平均相對誤差隨初始成像距離縮短而先增加后減小，在初始成像距離為100 cm時有最大值3.18%，在初始成像距離為50 cm時有最小值1.74%；步距為5.0 cm時，平均相對誤差在初始成像距離為150 cm時有最小值1.43%，在初始成像距離為125 cm時有最大值2.59%，此后隨初始成像距離縮短而減?。徊骄酁?0.0 cm時，平均相對誤差隨初始成像距離縮短而波動，在初始成像距離為125和75 cm時分別為2.27%和2.45%，而在初始成像距離為150、100和50 cm時在1.45%～1.92%范圍內(nèi)。

初始成像距離和步距的雙因素方差分析結(jié)果如表7所示。初始成像距離對預(yù)測結(jié)果平均相對誤差的離均差平方和為2.219，均方為0.555，概率值為0.024，表明其對預(yù)測結(jié)果的相對誤差具有顯著影響。這一現(xiàn)象應(yīng)當與初始成像距離改變引起了柚果在第一幅圖像中其成像區(qū)域所占像素數(shù)量改變有關(guān)，即算法迭代過程中，初始數(shù)據(jù)的取值范圍影響了迭代計算結(jié)果的精度。步距對預(yù)測結(jié)果平均相對誤差的概率值為0.063，大于0.05，表明其對預(yù)測結(jié)果的相對誤差影響不顯著。這一結(jié)果，證實了算法設(shè)計中以目標區(qū)域像素數(shù)量的變化為輸入變量可在計算過程中消減系統(tǒng)固有誤差的假設(shè)是成立的。在后續(xù)的算法應(yīng)用中，可嘗試增大步距取值或者根據(jù)成像距離實時調(diào)整步距的策略，以提高作業(yè)效率。

表7 初始成像距離和步距雙因素方差分析表

注：* 表示在0.05水平下存在顯著影響。

Note: * means that there is a significant effort in the level of 0.05.

3 結(jié) 論

根據(jù)單目測距原理和果園中柚子果實成像特點，本研究提出了以目標在圖像中占有像素數(shù)量變化為輸入量的柚果單目測距算法。借助11個不同面積的標定板圖像獲取成像面積與所占像素數(shù)量間的線性關(guān)系，在25～150 cm成像距離內(nèi)，利用離樹樣本圖像數(shù)據(jù)建立成像距離預(yù)測模型后分別利用離樹樣本和樹上樣本圖像數(shù)據(jù)對模型預(yù)測準確性和適用性進行驗證，并討論了初始成像距離和兩次成像間隔步距對預(yù)測精度的影響，主要結(jié)論如下：

1）成像距離一定時，目標尺寸越大，圖像中目標區(qū)域所占像素數(shù)量越多；對于同一目標，成像距離越短，圖像中目標區(qū)域所占像素數(shù)量越多。柚果側(cè)面輪廓最大成像面積、圖像像素數(shù)量和成像距離三者間的關(guān)系可以用數(shù)學(xué)函數(shù)式表示，且能在求取相機參數(shù)后用于建立柚果單目測距模型。所建模型對16組離樹柚果樣本數(shù)據(jù)的預(yù)測結(jié)果為從成像距離小于120 cm開始預(yù)測精度等級均為“高”，相對誤差最大值為4.89%，最小值為0.02%；對6組自然條件下樹上柚果樣本數(shù)據(jù)的預(yù)測結(jié)果為從成像距離小于125 cm開始預(yù)測精度等級均為“高”，相對誤差最大值為4.75%，最小值為0.08%。柚果單目測距模型具有良好的適用性，能夠在25～150 cm范圍內(nèi)實現(xiàn)樹上柚果成像距離的檢測。

2）柚果單目測距模型預(yù)測值的絕對誤差在成像距離小于120 cm后明顯減小。相對誤差隨成像次數(shù)增加先減小而后略有反彈，表明10幅以上的圖像數(shù)據(jù)足夠保證算法的預(yù)測精度滿足應(yīng)用要求。結(jié)合實際作業(yè)中執(zhí)行器向作業(yè)目標的靠近過程，初始成像階段的誤差在可接受范圍內(nèi)。如與果實托持機構(gòu)相配合，該算法距離預(yù)測精度可以滿足采摘機械手的引導(dǎo)需求。

3）初始成像距離和步距的雙因素方差分析結(jié)果顯示，初始成像距離對所提算法測距精度具有顯著影響。

后續(xù)工作可嘗試提高算法魯棒性，并根據(jù)果實目標區(qū)域占圖像面積的比值設(shè)計距離區(qū)間預(yù)判流程，結(jié)合變步距策略以提高作業(yè)效率。

[1] 李善軍，侯劍鋒，萬強，等. 牽引式山地果園運輸機驅(qū)動繩輪摩擦磨損[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(2)：71-78.

Li Shanjun, Hou Jianfeng, Wan Qiang, et al. Friction and wear behaviors of driving rope wheel system in the traction type mountain orchard transporter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 71-78. (in Chinese with English abstract)

[2] 楊長輝，劉艷平，王毅，等. 自然環(huán)境下柑橘采摘機器人識別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機械學(xué)報，2019，50(12)：14-22，72.

Yang Changhui, Liu Yanping, Wang Yi, et al. Research and experiment on recognition and location system for citrus picking robot in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 14-22, 72. (in Chinese with English abstract)

[3] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network forpicking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[4] Jia W K, Zhang Y, Lian J, et al. Apple harvesting robot under information technology: A review[J/OL]. International Journal of Advanced Robotic Systems, 2020, 17(3), [2020-04-16], https://journals.sagepub.com/doi/full/10.1177/1729881420925310.

[5] 李濤，邱權(quán)，趙春江，等. 矮化密植果園多臂采摘機器人任務(wù)規(guī)劃[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(2)：1-10.

Li Tao, Qiu Quan, Zhao Chunjiang, et al. Task planning of multi-arm harvesting robots for high-density dwarf orchards[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 1-10. (in Chinese with English abstract)

[6] Tang Y C, Chen M Y, Wang C L, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J/OL]. Front Plant Science, 2020, 11, [2020-04-06], https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7250149/.

[7] 項榮，應(yīng)義斌，蔣煥煜. 田間環(huán)境下果蔬采摘快速識別與定位方法研究進展[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(11)：208-223.

Xiang Rong, Ying Yibin, Jiang Huanyu. Development of real-time recognition and localization methods for fruits and vegetables in field[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 208-223. (in Chinese with English abstract)

[8] 王亮. 基于深度相機的蘋果采摘機器人的目標檢測和路徑規(guī)劃算法研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2019.

Wang Liang. Research on Algorithms for Target Recognition and Path Planning of Apple Picking Robot Based Deep Camera[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[9] Hu X M, Ni B W, Chai J F. Research on the location of citrus picking point based on structured light camera[C]//2019 IEEE 4thInternational Conference on Image, Vision and Computing (ICIVC). Shanghai, IEEE, 2019.

[10] Almendral K, Babaran R, Carzon B, et al. Autonomous fruit harvester with machine vision[J]. Journal of Telecommunication, Electronic and Computer Engineering, 2018, 10(1/2/3/4/5/6): 79-86.

[11] 王糧局，張立博，段運紅，等. 基于視覺伺服的草莓采摘機器人果實定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(22)：25-31.

Wang Liangju, Zhang Libo, Duan Yunhong, et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 25-31. (in Chinese with English abstract)

[12] 王玲，徐偉，杜開煒，等. 基于SR300深度相機的褐蘑菇原位測量技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2018，49(12)：13-19.

Wang Ling, Xu Wei, Du Kaiwei, et al. Portabella mushrooms measurement in situ based on SR300 depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 13-19 (in Chinese with English abstract)

[13] Yang Q H, Chang C, Bao G J, et al. Recognition and localization system of the robot for harvesting Hangzhou White Chrysanthemums[J]. International Journal of Agricultural & Biological Engineering, 2018, 11(1): 88-95.

[14] Xiong J T, He Z L, Lin R, et al. Visual positioning technology of picking robots for dynamic litchi clusters with disturbance[J]. Computers and Electronics in Agriculture, 2018, 151: 226-237.

[15] 梁喜鳳，金超杞，倪梅娣，等. 番茄果實串采摘點位置信息獲取與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(16)：163-169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 163-169. (in Chinese with English abstract)

[16] 陳燕，王佳盛，曾澤欽，等.大視場下荔枝采摘機器人的視覺預(yù)定位方法[J].農(nóng)業(yè)工程學(xué)報，2019，35(23)：48-54.

Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Research on vision pre-positioning for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 48-54. (in Chinese with English abstract)

[17] 程誠. 基于單目機器視覺的智能車局域定位技術(shù)研究與實現(xiàn)[D]. 重慶：重慶郵電大學(xué)，2019.

Cheng Cheng. Study of Location of Intelligent Vehicle Based on Monocular Machine Vision[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2019. (in Chinese with English abstract)

[18] 魏明鑫，黃浩，胡永明，等. 基于深度學(xué)習(xí)的多旋翼無人機單目視覺目標定位追蹤方法[J]. 計算機測量與控制，2020，28(4)：156-160.

Wei Mingxin, Huang Hao, Hu Yongming, et al. Monocular vision target tracking method for multi-rotor unmanned aerial vehicle based on deep learning[J]. Computer Measurement & Control, 2020, 28(4): 156-160. (in Chinese with English abstract)

[19] Liu Z Y, Yu S Y, Zheng N N. A co-point mapping-based approach to drivable area detection for self-driving cars[J]. Engineering, 2018, 4(4): 109-133.

[20] Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches[J]. IEEE Robotics and Automation Magazine, 2006, 13(4): 82-90.

[21] Fu L S, Tola E, Ahmad A, et al. A novel image processing algorithm to separate linearly clustered kiwifruits[J]. Biosystems Engineering, 2019, 183: 184-195.

[22] Majeed Y, Manoj K, Zhang Q. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards[J/OL]. Computers and Electronics in Agriculture, 2020, 176: ID 105671, [2020-07-26], https://www.sciencedirect.com/science/article/pii/S0168169920319049.

[23] Guo Q W, Chen Y Y, Tang Y, et al. Lychee fruit detection based on monocular machine vision in orchard environment[J/OL]. Sensors, 2019, 19(19), [2019-09-18], https://click.endnote.com/ viewer?doi= 10.3390/s19194091&route=6.

[24] 楊帆，李鵬飛，劉庚，等. 橘子采摘機器人目標識別定位方法與實驗研究[J]. 西安理工大學(xué)學(xué)報，2018，34(4)：460-467.

Yang Fan, Li Pengfei, Liu Geng, et al. A new identification and location method and experiment research on a kind of orange harvesting robots[J]. Journal of Xi’an University of Technology, 2018, 34(4): 460-467. (in Chinese with English abstract)

[25] NY/T1190-2006，中華人民共和國農(nóng)業(yè)行業(yè)標準柑橘等級規(guī)格[S]. 2006.

Monocular distance measurement algorithm for pomelo fruit based on target pixels change

Liu Jie1,2,3, Zhou Dianzhuo1, Li Yan1, Li Dingke1, Li Yingqi1, Rubel Rana1

(1.,430070,; 2.,430070;3.,,430070)

Accurate identification of target depth is the critical premise for the manipulator of fruit and vegetable picking in intelligent agriculture. However, the general ranging of fruit has posed a great challenge on that the orchard in the mountain areas, due mainly to the light change, as well as the branch and leaf occlusion. In this study, a novel imaging algorithm was proposed to detect the monocular distance between the pomelo fruits and camera using target pixels change. The pomelo fruit off the tree in the orchard was chosen as the samples for data collection. Multiple regression was also established to verify the number change of pixels in the target areas and imaging distance. Furthermore, the pomelo fruit on the tree was involved to test the applicability in the samples. Additionally, a systematic investigation was made to explore the influences of initial imaging distance and step interval on prediction accuracy. The specific procedure was as follows. A single camera was utilized to capture the imaging data of the sample fruit side within the imaging distance ranging from 25 to 150 cm, where the common range of picking operation was set at the step interval of 2.5 cm. Therefore, there were 51 images side for each fruit for one group of data. 20 pomelo fruits with the representative shape and size were selected for the imaging data collection, including 14 off-tree and 6 on-tree. In the pomelo fruits off the tree, the surface was equally divided into four sides, where one group of data was acquired from each side. As such, a total of 56 data groups were collected from the samples of the tree. Subsequently, the 40 data groups were randomly selected to establish the multiple regressions between the imaging distance and the number of pixels change in the target area on the image, while the rest 16 data groups were used to optimize the algorithm. In the pomelos fruits on the tree, only the side towards the outside of the canopy was shot as one sample side, where 6 data groups were collected for testing. The numbers of pixels were then measured for the target areas in the image using Photoshop software. MATLAB 2018 platform was finally utilized to calculate the regression and curve fitting. The results showed that the error of predicted distance decreased gradually, as the camera approached the fruit target from 150 to 120 cm. In the fruit samples off the tree, the accuracy of distance prediction was at the medium level closer than 130 cm at the high level of about 120 cm. The relative ranging errors of 16 samples off-tree were less than 5% within the imaging distance of 120 cm, when 150 cm was as the initial distance, indicating that an excellent detection performance of imaging distance between the target and camera. In the fruit samples on the tree, the ranging accuracies were set as 125-137.5 cm and 25.0-125.0 cm for the medium and high levels, respectively. Correspondingly, the relative ranging errors of 6 samples on the tree were less than 5% within 125 cm imaging distance, fully meeting the accuracy requirements of target positioning for the picking manipulator. In addition, there was a significant effect of initial imaging distance on the measurement accuracy. Consequently, the measurement method of monocular distance can widely be expected to realize the rapid prediction of the distance between the fruit target and camera in the complex orchard environment, especially in the hilly mountain areas. Meanwhile, the finding can also provide a feasible scheme for the accurate recognition of fruit targets for picking manipulators in modern orchards.

algorithms; orchard; identification; monocular distance measurement; number of pixels; imaging distance; multiple regression

劉潔，周典卓，李燕，等. 基于目標像素變化的柚果單目測距算法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(19)：183-191.doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

Liu Jie, Zhou Dianzhuo, Li Yan, et al. Monocular distance measurement algorithm for pomelo fruit based on target pixels change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 183-191. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

2020-11-29

2021-08-26

國家重點研發(fā)計劃（2018YFD0701105-2）；中央高?；究蒲袠I(yè)務(wù)費專項基金資助（2662020GXPY011）

劉潔，博士，副教授，研究方向為生物信息智能檢測與控制技術(shù)。Email：liujie@mail.hzau.edu.cn

10.11975/j.issn.1002-6819.2021.19.021

S24

A

1002-6819(2021)-19-0183-09