蔗芽識(shí)別與定向視覺(jué)檢測(cè)方法研究

許洪振,王明明,陳海錦,劉姣娣

(桂林理工大學(xué)機(jī)械與控制工程學(xué)院,廣西 桂林 541006)

甘蔗是我國(guó)主要的制糖作物,已成為廣西最大戰(zhàn)略經(jīng)濟(jì)作物和農(nóng)民增收的主要經(jīng)濟(jì)來(lái)源。甘蔗種植業(yè)能否健康發(fā)展,直接影響廣大蔗民增收與糖產(chǎn)業(yè)的可持續(xù)發(fā)展[1]。甘蔗種植的機(jī)械化和智能化是甘蔗產(chǎn)業(yè)的發(fā)展趨勢(shì),甘蔗種植農(nóng)藝要求蔗種蔗芽水平朝向種溝兩側(cè)溝壁進(jìn)行定向播種[2-4],蔗種蔗芽高效識(shí)別和位姿定向調(diào)整是實(shí)現(xiàn)蔗種定向播種的前提。

隨著視覺(jué)檢測(cè)技術(shù)在農(nóng)業(yè)機(jī)械領(lǐng)域的廣泛應(yīng)用,農(nóng)作物的識(shí)別與定向方法成為研究熱點(diǎn)。李廣偉等[5]針對(duì)育種用玉米種子切片取樣過(guò)程中玉米種子自動(dòng)定向問(wèn)題,采用計(jì)算機(jī)視覺(jué)與姿態(tài)調(diào)整裝置相結(jié)合,形態(tài)識(shí)別準(zhǔn)確率97.8%,姿態(tài)識(shí)別準(zhǔn)確率99.8%,識(shí)別速度1.3 s/幅;龍樟等[6]提出一種基于圖像處理的自然場(chǎng)景下茶葉嫩芽視覺(jué)識(shí)別與采摘點(diǎn)定位方法;尚志軍等[7]利用機(jī)器視覺(jué)技術(shù)設(shè)計(jì)枳殼自動(dòng)調(diào)向系統(tǒng),并提出枳殼調(diào)整識(shí)別算法;LI Y H等[8]基于機(jī)器視覺(jué)對(duì)蒜瓣進(jìn)行定位識(shí)別;史方青等[9]針對(duì)多視角和不同程度重疊的馬鈴薯芽眼圖像,基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)馬鈴薯芽眼進(jìn)行快速準(zhǔn)確識(shí)別;石昌友等[10]采用視覺(jué)技術(shù)對(duì)不同種類(lèi)甘蔗莖節(jié)進(jìn)行識(shí)別,解決了不同種類(lèi)甘蔗由于其表面多樣性和復(fù)雜性導(dǎo)致莖節(jié)難識(shí)別的問(wèn)題;黃亦其[11]、張圓圓等[12]為解決蔗種切種刀傷芽的問(wèn)題,基于機(jī)器視覺(jué)對(duì)甘蔗的莖節(jié)進(jìn)行識(shí)別;李尚平等[13]通過(guò)改進(jìn)YOLOv3網(wǎng)絡(luò)模型,莖節(jié)識(shí)別準(zhǔn)確率達(dá)96.89%,平均識(shí)別時(shí)間28.7 ms。以上研究的開(kāi)展為視覺(jué)識(shí)別檢測(cè)在農(nóng)業(yè)領(lǐng)域中的應(yīng)用提供了參考依據(jù),但目前針對(duì)甘蔗視覺(jué)檢測(cè)研究集中在識(shí)別甘蔗莖節(jié),未見(jiàn)蔗芽位姿識(shí)別與蔗種定向方面的研究文獻(xiàn)。

本文根據(jù)蔗種蔗芽水平朝向種溝兩側(cè)溝壁的播種農(nóng)藝要求,基于蔗芽顏色、位置及形態(tài)特征參數(shù)統(tǒng)計(jì)分析基礎(chǔ)上,設(shè)計(jì)基于視覺(jué)檢測(cè)技術(shù)的蔗芽識(shí)別和位姿調(diào)整系統(tǒng),并分析蔗芽位置及形態(tài)特征,根據(jù)特征信息與蔗芽姿態(tài)的空間位置關(guān)系,建立蔗種位姿模型,確定蔗芽實(shí)時(shí)位置姿態(tài),實(shí)現(xiàn)蔗種位姿調(diào)整。

1 試驗(yàn)材料與方法

1.1 試驗(yàn)材料

以取自廣西桂林國(guó)家農(nóng)業(yè)科技園區(qū)的優(yōu)質(zhì)蔗種“桂糖44號(hào)”為試驗(yàn)對(duì)象,人工選取單芽段蔗種樣本80個(gè)。

1.2 試驗(yàn)方法

試驗(yàn)技術(shù)路線如圖1所示,對(duì)蔗種圖像預(yù)處理,提取蔗芽顏色、位置及形狀特征參數(shù),確定蔗芽空間姿態(tài),計(jì)算蔗芽姿態(tài)調(diào)整值,調(diào)整蔗芽位姿到理想姿態(tài),達(dá)到蔗種種植定向要求。

搭建蔗種圖像采集試驗(yàn)臺(tái)如圖2所示,主要由相機(jī)、計(jì)算機(jī)及光源等組成。CMOS工業(yè)相機(jī)采用維視智造MV-HS510GC相機(jī)與BT-23C0814MP5工業(yè)鏡頭,500萬(wàn)像素,拍攝高度設(shè)為300 mm,固定在臺(tái)架頂部;計(jì)算機(jī)采用惠普電腦,處理器3.60 GHz,內(nèi)存8 GB;光源采用2根19 W的LED高亮條形燈管,呈45°擺放。

1—計(jì)算機(jī);2—CMOS工業(yè)相機(jī);3—光源;4—蔗種樣本圖2 蔗種圖像采集試驗(yàn)臺(tái)

2 蔗芽位置特征提取與定位

2.1 圖像預(yù)處理

經(jīng)過(guò)圖像采集、二值化處理、蔗芽邊界提取、蔗芽輪廓填充,從圖像預(yù)處理后的蔗芽輪廓包圍的二值圖像中提取蔗芽形態(tài)和位姿特征。

由于獲取圖像時(shí)不可避免地受到外部因素干擾,圖像中會(huì)出現(xiàn)一定量噪聲,且蔗種本身有不均勻蠟粉,均會(huì)干擾蔗芽特征的提取。因此,使用中值濾波算法對(duì)圖像進(jìn)行處理,可消除外界噪聲干擾,同時(shí)保留比較完整的蔗芽顏色信息,中值濾波后圖像噪聲明顯降低,且圖像更平滑,有效保留了圖像的邊緣輪廓信息,如圖3所示。

圖3 中值濾波效果

數(shù)字圖像以RGB格式作為計(jì)算機(jī)常用存儲(chǔ)格式,在該格式下圖像被分成R、G、B 3個(gè)通道,若同時(shí)處理3個(gè)通道包含的圖像信息,計(jì)算量大且過(guò)程復(fù)雜。圖像灰度化處理能夠有效去除圖像顏色特征信息,且保留圖像輪廓信息的完整性,提高圖像處理效率,因此,為提高圖像質(zhì)量及蔗芽區(qū)域的可辨識(shí)度,利用灰度變換算法對(duì)蔗種圖像進(jìn)行增強(qiáng)處理,灰度化效果如圖4a所示。

圖4 灰度化效果

圖像的灰度值主要集中在50～185之間,圖像比較模糊,灰度直方圖(圖4b)顯示:將灰度值50～185均勻分布在0～255,圖像會(huì)更清晰?；叶茸儞Q原理過(guò)程如式(1)所示,對(duì)原始灰度圖像進(jìn)行處理,為達(dá)到最佳圖像增強(qiáng)效果,將像素點(diǎn)小于50的灰度值賦值為0,大于185的灰度值賦值為255,處理結(jié)果如圖5所示。

圖5 灰度變換算法增強(qiáng)效果

(1)

公式簡(jiǎn)化得到y(tǒng)和x的關(guān)系如下:

(2)

式(2)中x表示像素點(diǎn)位于50～185之間的灰度值,y表示像素點(diǎn)位于0～255之間的灰度值。

2.2 蔗種邊緣輪廓提取

由于圖像中蔗種區(qū)域與背景之間的分界清晰,為獲取甘蔗的輪廓特征,去除圖像中孤立像素點(diǎn)和圖像輪廓邊緣的毛刺噪聲,對(duì)閾值分割后的圖像進(jìn)行形態(tài)學(xué)處理,結(jié)果如圖6a所示。利用Canny邊緣檢測(cè)算法對(duì)形態(tài)學(xué)處理后的蔗種圖像進(jìn)行提取,得到蔗種邊緣輪廓,如圖6b所示。

圖6 蔗種形狀特征提取

蔗種邊緣中心點(diǎn)集近似為直線,引入最小二乘法的線性擬合方法提高蔗種輪廓提取的準(zhǔn)確性。

蔗種邊緣線直線方程由2個(gè)參數(shù)表示,即

y=a0+a1x,

(3)

式(3)中的兩個(gè)待定參數(shù)均可通過(guò)最小二乘法擬合邊緣檢測(cè)后的輪廓離散點(diǎn)來(lái)確定,即通過(guò)計(jì)算二值圖像中邊緣點(diǎn)到理想擬合直線距離的最小平方和,由最小二乘法線性擬合原理得:

(4)

式(4)中:N為Canny邊緣圖像中輪廓點(diǎn)的總數(shù),(xi,yi)為第i個(gè)待擬合的輪廓坐標(biāo)。

為使目標(biāo)函數(shù)f值最小,將各系數(shù)偏導(dǎo)數(shù)置為零,利用高斯消元法求解直線方程各系數(shù)。采用式(5)求解直線參數(shù)中斜率a1和截距a0,邊緣直線擬合結(jié)果如圖7所示。

圖7 邊緣輪廓提取與擬合

(5)

2.3 蔗芽位置特征提取與定位

為獲取蔗芽位置信息,需要對(duì)灰度變換增強(qiáng)處理后的圖像作進(jìn)一步處理,基于Otsu閾值分割獲取灰度圖像閾值,對(duì)圖像進(jìn)行二值分割,初步提取蔗芽區(qū)域如圖8a所示。

圖8 蔗芽位置特征提取流程

為有效保留蔗種特征信息,采用相同次數(shù)腐蝕和膨脹形態(tài)學(xué)算法對(duì)圖像進(jìn)行處理,選擇3×3的橢圓形結(jié)構(gòu)元素,形態(tài)學(xué)處理效果如圖8b所示。為確定蔗芽在圖像中的準(zhǔn)確位置,將蔗芽面積中心點(diǎn)定義為蔗芽在圖像中的位置,面積中心點(diǎn)即為蔗芽區(qū)域質(zhì)心,即單位面積質(zhì)量不變的同一形狀圖形的質(zhì)心。記m×n維蔗種圖像為I(x,y),其中蔗芽區(qū)域設(shè)為目標(biāo)A,背景區(qū)域設(shè)為B,則有:

(6)

目標(biāo)的質(zhì)心坐標(biāo)(x0,y0)定義如下:

(7)

根據(jù)幾何圖形在二值圖像中的描述方法,采用質(zhì)心搜索算法求出蔗芽質(zhì)心E′(xo,yo),提取質(zhì)心坐標(biāo)如圖8c所示。

3 蔗芽位姿調(diào)整

3.1 蔗芽位姿模型

蔗芽質(zhì)心坐標(biāo)確定后,構(gòu)建蔗種空間位姿模型。建立像素平面坐標(biāo)系X1O1Y1,以成像平面左上角為坐標(biāo)原點(diǎn),如圖9所示。

圖9 蔗芽位姿模型

圖9中E為蔗芽的質(zhì)心點(diǎn),E′為蔗芽區(qū)域在成像面上的質(zhì)心點(diǎn),Oc為光軸所在的中心點(diǎn);為簡(jiǎn)化計(jì)算模型,將蔗種段近似成圓柱體,以蔗種圓柱體所在軸線和工業(yè)相機(jī)光軸的交點(diǎn)為原點(diǎn)建立世界坐標(biāo)系O2X2Y2Z2,α1為O2E與軸線Z2之間的夾角,E1為蔗芽質(zhì)心E在平面X2O2Y2上的投影。為進(jìn)一步對(duì)蔗芽位姿進(jìn)行描述,在平面X2O2Y2內(nèi),規(guī)定O2E1位于第一、二象限時(shí),α1為O2E與軸線Z2之間的正夾角;規(guī)定O2E1位于第三、四象限時(shí),α2為O2E與軸線Z2之間的負(fù)夾角。在以O(shè)2X2Y2Z2成像平面與相機(jī)光軸交點(diǎn)為原點(diǎn)的空間坐標(biāo)系O3X3Y3Z3建立“蔗種位姿空間模型”,蔗種段圓柱體的底面半徑R由式(8)算出,其中E″為蔗芽質(zhì)心點(diǎn),由式(9)得出蔗芽質(zhì)心點(diǎn)三維坐標(biāo)。

(8)

式(8)中dl1l2表示蔗種輪廓擬合邊緣線l1、l2之間距離;αl1、αl2表示蔗種輪廓擬合邊緣線l1、l2的截距。

(9)

式(9)中(xc,yc)為蔗芽質(zhì)心點(diǎn)在成像平面坐標(biāo)系的像素坐標(biāo);(x0,y0)為空間坐標(biāo)系原點(diǎn)O3在成像平面坐標(biāo)系上的像素坐標(biāo);(xE,yE,yE)為蔗芽質(zhì)心點(diǎn)E′′在空間坐標(biāo)系O3X3Y3Z3上的三維坐標(biāo)。

定義蔗芽空間位姿為α(α1,α2),在補(bǔ)償透鏡成像畸變的情況下,成像平面上物體大小與原物體成正比例關(guān)系。因此,可用蔗種成像空間模型中的位姿表示空間坐標(biāo)系O3X3Y3Z3下的蔗芽位姿α,在蔗種成像空間模型中的α(α1,α2)可依據(jù)式(10)計(jì)算出。

(10)

3.2 蔗芽位姿調(diào)整方案設(shè)計(jì)

蔗種由輸送機(jī)構(gòu)輸送到取種區(qū),機(jī)械手經(jīng)步進(jìn)電機(jī)驅(qū)動(dòng)下降取種并提升蔗種至圖像采集位;相機(jī)采集實(shí)時(shí)蔗種圖像,經(jīng)對(duì)蔗種圖像邊緣提取、蔗芽識(shí)別、蔗芽位置特征提取與定位,計(jì)算出蔗芽所需調(diào)整角度;控制器接收調(diào)向信號(hào),控制電機(jī)驅(qū)動(dòng)機(jī)械手夾持蔗種繞蔗種軸線旋轉(zhuǎn)調(diào)向,實(shí)現(xiàn)蔗種定向。當(dāng)蔗芽位于蔗種段下表面時(shí),相機(jī)無(wú)法拍攝到蔗芽,試驗(yàn)通過(guò)機(jī)械手夾持蔗種段繞蔗種軸線轉(zhuǎn)動(dòng)180°/次,即可完成整個(gè)蔗種表面的拍攝,但由于蔗種段與機(jī)械手旋轉(zhuǎn)軸線并非嚴(yán)格對(duì)稱(chēng),會(huì)造成蔗芽誤判現(xiàn)象。試驗(yàn)確定旋轉(zhuǎn)角度為120°,設(shè)計(jì)蔗芽位姿調(diào)整方案如圖10所示。

圖10 蔗芽位姿調(diào)整方案設(shè)計(jì)

通過(guò)提取采集圖像的特征參數(shù)信息,獲得蔗芽實(shí)時(shí)空間位姿α(α1,α2)。定向調(diào)整蔗芽位姿有以下兩種情況:

(1)α2≥0,圖像中蔗芽質(zhì)心點(diǎn)在X2O2Y2平面的第一、二象限,蔗種段依次繞光軸線正向旋轉(zhuǎn)α2、繞蔗種軸線正向旋轉(zhuǎn)α1,完成蔗種定向調(diào)整。

(2)α2<0,蔗芽質(zhì)心點(diǎn)在X2O2Y2平面的第三、四象限,蔗種段依次繞光軸線正向旋轉(zhuǎn)α2、繞蔗種軸線反向旋轉(zhuǎn)α1,完成蔗種定向調(diào)整。

4 試驗(yàn)驗(yàn)證與對(duì)比分析

為驗(yàn)證蔗芽位姿識(shí)別與定向方法的可行性及測(cè)試樣本的通用性,選取直徑范圍25～35 mm的80根不同直徑的優(yōu)質(zhì)蔗種段作為測(cè)試樣本。將蔗種位姿定向調(diào)整后,作蔗芽質(zhì)心點(diǎn)與蔗種軸線的垂線,該垂線與水平線之間的夾角β定義為定向誤差角,定向誤差角大小反映位姿調(diào)整后實(shí)際蔗芽位姿與理想蔗芽位姿的偏差。定向誤差分布結(jié)果(圖11)顯示:74個(gè)蔗種測(cè)試樣本捕捉到蔗芽位姿特征,蔗芽位姿識(shí)別準(zhǔn)確率為93.75%,其中定位誤差角β最大值為15.8°。

圖11 定向誤差分布

在蔗芽定向位姿調(diào)整過(guò)程中,以蔗芽質(zhì)心作為定向調(diào)整參考對(duì)象,忽略蔗芽的實(shí)際大小和實(shí)際轉(zhuǎn)向操作中會(huì)產(chǎn)生角度誤差。為此提出蔗芽定向允許誤差γ作為蔗芽定向調(diào)整的評(píng)判指標(biāo),以蔗芽投影寬度d1與蔗種莖節(jié)直徑d2的比值確定定向允許誤差γ:

(11)

當(dāng)γ為24°、定向誤差角β≤12°時(shí),蔗種定向成功[4]。本文試驗(yàn)結(jié)果表明蔗種位姿定向成功率為94.5%。為檢驗(yàn)本文方法的優(yōu)越性,在相同樣本條件下使用經(jīng)典LeNet-5網(wǎng)絡(luò)模型對(duì)蔗芽識(shí)別定向作對(duì)比,訓(xùn)練迭代次數(shù)為200,學(xué)習(xí)率為5,對(duì)80根蔗種測(cè)試樣本進(jìn)行試驗(yàn)驗(yàn)證,其中蔗芽定向成功率為92%?？梢?jiàn),本文方法將定向成功率提升了2.5%,且其方法比卷積神經(jīng)網(wǎng)絡(luò)更簡(jiǎn)單,能夠?qū)崿F(xiàn)蔗種自動(dòng)定向,定向后蔗種滿足蔗芽水平朝向種溝溝壁的農(nóng)藝要求。

5 結(jié)論

(1)本文面向蔗種定向種植裝備的實(shí)際需求,運(yùn)用機(jī)器視覺(jué)和定向調(diào)整裝置相結(jié)合的方法實(shí)現(xiàn)對(duì)蔗種定向,提出了蔗芽識(shí)別檢測(cè)和位姿特征捕獲算法;通過(guò)形態(tài)學(xué)圖像處理算法和Otsu閾值分割算法識(shí)別和提取蔗芽完整輪廓,基于Canny邊緣檢測(cè)算法和最小二乘法的線性擬合方法提取蔗種邊緣輪廓,根據(jù)蔗芽位置與形狀特征參數(shù),構(gòu)建蔗種空間位姿模型,并計(jì)算出蔗芽位姿角α,以便位姿調(diào)整裝置將蔗芽調(diào)整到理想水平姿態(tài)。

(2)選取80個(gè)預(yù)切蔗種段進(jìn)行試驗(yàn)驗(yàn)證,試驗(yàn)結(jié)果表明本文提出的蔗芽識(shí)別系統(tǒng)和位姿調(diào)整方法滿足蔗種定向種植精度要求,蔗芽位姿識(shí)別成功率93.75%。提出以蔗芽定向誤差角作為蔗芽定向調(diào)整的評(píng)判指標(biāo),經(jīng)過(guò)定向位姿調(diào)整后,定向成功率94.5%,試驗(yàn)結(jié)果表明該定向方案滿足蔗種定向要求。因此,本研究可為蔗種機(jī)械化定向播種提供解決方案,并為甘蔗種植機(jī)的自動(dòng)定向裝置設(shè)計(jì)提供參考。