花椒果實(shí)的目標(biāo)識(shí)別與定位

徐志博, 萬芳新, 黃 元, 岳一杰, 馬國(guó)軍

(甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院,甘肅 蘭州 730070)

花椒是中國(guó)種植最廣泛的經(jīng)濟(jì)作物之一。傳統(tǒng)花椒采摘主要以人工采摘為主,采收成本高、勞動(dòng)強(qiáng)度大、效率低、季節(jié)性較強(qiáng),且枝干帶尖刺易使人受傷,采摘效率低下,嚴(yán)重制約了花椒產(chǎn)業(yè)的經(jīng)濟(jì)效益和發(fā)展。此外,花椒多種植在山脊、肥力較低的隆脊,使得采摘作業(yè)相比于其他經(jīng)濟(jì)作物更加艱難、費(fèi)時(shí)。為實(shí)現(xiàn)花椒果實(shí)的高效自動(dòng)采摘,減輕林園采摘者的負(fù)擔(dān),保證果實(shí)采摘的時(shí)效,對(duì)花椒采摘機(jī)器人的關(guān)鍵技術(shù)進(jìn)行深入研究至關(guān)重要。因此,在自然條件下不受復(fù)雜環(huán)境影響地快速進(jìn)行識(shí)別與定位對(duì)提升采摘機(jī)器人作業(yè)效率有十分重要的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。

近年來,隨著深度學(xué)習(xí)算法的不斷成熟,許多學(xué)者利用深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的方法在林果采摘機(jī)器人中進(jìn)行目標(biāo)檢測(cè)、目標(biāo)定位、算法定位,并超越了傳統(tǒng)的圖像處理方法[1-3]。齊銳麗[4]等研究了R-G色差法、Its法及k-means法等聚類算法,得出使用outs能很好地分割花椒果實(shí),使用Canny算法提取果實(shí)輪廓后使用雙目視覺算法與形心匹配法可得到花椒三維坐標(biāo)。萬芳新[5]等在RGB顏色空間下對(duì)花椒果實(shí)串進(jìn)行一系列圖像形態(tài)學(xué)處理并進(jìn)行圖像識(shí)別,使用優(yōu)化腐蝕噪點(diǎn)和隔離帶法去除非目標(biāo)再求取花椒串的位置。張永梅[6]等對(duì)比了花椒果實(shí)在HSV和RGB顏色空間分量,結(jié)合使用合適的閾值進(jìn)行分割,將形心偏差法與慣性主軸結(jié)合得到果實(shí)的采摘點(diǎn)。楊萍[7]等使用k-means算法和Ostu算法結(jié)合進(jìn)行圖像相減得到主枝位置,將小孔成像與凸包理論結(jié)合得出花椒的深度信息。利用機(jī)器視覺結(jié)合深度學(xué)習(xí)技術(shù)對(duì)馬鈴薯生產(chǎn)系統(tǒng)中的早期枯萎病進(jìn)行實(shí)時(shí)識(shí)別[8];Ji[9]等使用SVM分類器對(duì)蘋果果實(shí)進(jìn)行分類識(shí)別,對(duì)套袋果實(shí)的識(shí)別率達(dá)到89%。Wei[10]等在OHTA顏色空間中提取了一種新的顏色特征,利用改進(jìn)的Otsu算法自動(dòng)計(jì)算水果圖像的分割閾值,識(shí)別準(zhǔn)確率達(dá)到95%以上。Yao Jia[11]等提出了一種基于YOLOv5的缺陷檢測(cè)模型,該模型能夠快速準(zhǔn)確地檢測(cè)出獼猴桃的缺陷,其mAP@0.5達(dá)到了94.7%。然而,這些系統(tǒng)模型并不能在復(fù)雜的果園環(huán)境中快速高效地為采摘機(jī)器人提供準(zhǔn)確的定位,目前仍需要一個(gè)高魯棒性的基于計(jì)算機(jī)視覺的目標(biāo)檢測(cè)系統(tǒng)[12-14],一個(gè)全自主的UAVs系統(tǒng)自動(dòng)化檢測(cè)模型還遠(yuǎn)遠(yuǎn)沒有實(shí)現(xiàn)。另一方面,縱觀基于深度學(xué)習(xí)[15,16]的花椒果實(shí)目標(biāo)識(shí)別的研究,大多數(shù)花椒檢測(cè)模型的識(shí)別效率較高,但由于其果園環(huán)境復(fù)雜性高、果實(shí)尺寸大小不一、成簇果實(shí)相互遮擋,許多模型的實(shí)時(shí)性與準(zhǔn)確度不足。因此,開發(fā)一種可以同時(shí)識(shí)別多簇果實(shí),滿足在枝葉遮擋、果實(shí)重疊的復(fù)雜林間環(huán)境下的應(yīng)用需求,又能實(shí)時(shí)檢測(cè)花椒果實(shí)的識(shí)別模型具有挑戰(zhàn)性。

本文針對(duì)花椒園中復(fù)雜的采摘環(huán)境,提出了一種基于交廓三角型的林間花椒果實(shí)串采摘點(diǎn)識(shí)別算法,本文利用慣性主軸與形心點(diǎn)數(shù)形結(jié)合的方式得到花椒果實(shí)的采摘點(diǎn),為實(shí)現(xiàn)花椒采摘機(jī)器人采摘作業(yè)的研究提供理論支持。

20世紀(jì)70年代以來，不同學(xué)科的學(xué)者們?cè)诟髯圆煌姆较?，?duì)國(guó)家作為一個(gè)行為主體或一種制度組織(institution)進(jìn)行了廣泛的研究。雖然這些研究彼此之間并無有意識(shí)的協(xié)調(diào)，但這些研究都十分重視國(guó)家的行為主體身份，關(guān)注國(guó)家如何通過政策來影響政治和社會(huì)過程，這股強(qiáng)大的研究力量，在學(xué)術(shù)界共同引發(fā)了社會(huì)科學(xué)研究的“國(guó)家轉(zhuǎn)向”。就此，“國(guó)家中心論”或者國(guó)家自主性的學(xué)派漸趨形成。

1 形心點(diǎn)的提取

對(duì)于采摘機(jī)器人來說在自然環(huán)境下花椒果實(shí)串空間位置采摘點(diǎn)的確定是極其重要的,位置的準(zhǔn)確與否直接關(guān)系到花椒采摘點(diǎn)的位置精度,即末端執(zhí)行器判定采摘位置選擇的正誤。對(duì)于花椒的采摘位置本文使用慣性主軸以及形心點(diǎn)的偏向去判斷采摘點(diǎn)的位置方向,以實(shí)現(xiàn)采摘。

調(diào)整產(chǎn)業(yè)結(jié)構(gòu)必須樹立以市場(chǎng)經(jīng)濟(jì)為中心的發(fā)展方向。提高農(nóng)產(chǎn)品的附加值，發(fā)展高質(zhì)量的農(nóng)產(chǎn)品。引進(jìn)優(yōu)良品種，鼓勵(lì)規(guī)?；?、專業(yè)化生產(chǎn)，增強(qiáng)農(nóng)產(chǎn)品的競(jìng)爭(zhēng)力。

令:

要利用創(chuàng)新驅(qū)動(dòng)發(fā)展，只會(huì)模仿，不會(huì)創(chuàng)新，最終只是停滯不前甚至倒退。在信息化社會(huì)，電子商務(wù)產(chǎn)業(yè)的從業(yè)者應(yīng)當(dāng)充分利用大數(shù)據(jù)的優(yōu)勢(shì)，能夠根據(jù)市場(chǎng)需求甚至是每位客戶的不同要求，對(duì)產(chǎn)品進(jìn)行不斷創(chuàng)新，同時(shí)根據(jù)技術(shù)的進(jìn)步和社會(huì)發(fā)展不斷創(chuàng)新電子商務(wù)的運(yùn)營(yíng)模式，從而不斷順應(yīng)社會(huì)和市場(chǎng)的發(fā)展。

(1)

式中計(jì)算其中質(zhì)心時(shí),將灰度圖中x方向的灰度積累和灰度圖中總灰度的積累相比得到了質(zhì)心點(diǎn)x的位置坐標(biāo)xc。同理,將灰度圖中y方向的灰度積累和灰度圖中總灰度的積累相比得到了質(zhì)心點(diǎn)y的位置坐標(biāo)yc,如圖1所示。

(2)

式中Mjk為灰度圖中關(guān)于x方向的j階矩,y方向的k階矩;f(x,y)為灰度圖的像素值。其中,參數(shù)j+k被稱為矩的階,當(dāng)階的大小不同時(shí)可以得到不同的階數(shù)的矩。當(dāng)j+K=0時(shí)稱為零階矩,當(dāng)j+K=1時(shí)稱為一階矩,當(dāng)j+K=2時(shí)稱為二階矩。關(guān)于進(jìn)行灰度處理過后的圖像,因此階矩的值表示灰度沿著x,y方向的分布狀況,用M00代表灰度圖中總灰度的積累,Mxy代表灰度圖中在不同x、y方向的不同灰度積累。

圖1 形心點(diǎn)

2 慣性主軸的確定

中心矩?fù)碛形恢脽o關(guān)性,是由于其是以質(zhì)心位置作為原點(diǎn)進(jìn)行計(jì)算,且中心矩可以反映區(qū)域中的灰度相對(duì)灰度中心是如何分布,因此使用中心矩可以很好地表現(xiàn)出區(qū)域的基本位置特征。例如,μ20和μ02表示在選定區(qū)域中灰度相對(duì)灰度中心的水平和垂直方向的矩,若μ20<μ02,則這可能表明的是一個(gè)垂直方向的軸線,反之則可能為水平方向的軸線。

之后將二階中心矩的μ11、μ20、μ02簡(jiǎn)化為:

(3)

本文采用計(jì)算灰度圖像的形心,矩的數(shù)值大小表示該圖灰度在X、Y方向的分布狀況,定義如下:

(4)

3.1.4 生理、心理的危害 有文獻(xiàn)報(bào)道，皮膚科醫(yī)師對(duì)性病患者的歧視明顯受到倫理道德和社會(huì)文化背景的影響，表現(xiàn)為其歧視程度因患者招致感染的行為原因不同而存在顯著區(qū)別。從醫(yī)時(shí)間短、職稱低、女性、已婚、3級(jí)醫(yī)院、?？漆t(yī)院的醫(yī)師對(duì)性病患者更易產(chǎn)生污名印象與歧視情況［3］。同時(shí)，長(zhǎng)期處在高風(fēng)險(xiǎn)和傳染性強(qiáng)的環(huán)境中，加上護(hù)士人員缺乏、長(zhǎng)期高度緊張、輪值班后生活不規(guī)律、睡眠障礙等，都導(dǎo)致了醫(yī)護(hù)人員的身心危害，從而造成職業(yè)損害。

θ=arctan(2μ11/μ20+Ψ2),μ20>μ02

θ=arctan(μ20-μ02+Ψ2/2μ11),μ20<μ02

(5)

當(dāng)-π/4<θ<π/4時(shí),m20

則水果主軸方向與水平方向的夾角θ為:

選取花椒平面圖的形心位置點(diǎn)為待求點(diǎn),在選取平面圖形心位置時(shí)常常使用矩法和質(zhì)點(diǎn)法來求解位置點(diǎn),其中矩法是分別計(jì)算出圖像關(guān)于x、y方向的i階矩和j階矩表示圖向的像素值,接著計(jì)算圖像的總灰度,從而計(jì)算出圖像的位置點(diǎn)。質(zhì)點(diǎn)法則是由圖像邊緣的像素值來計(jì)算得出位置點(diǎn),將圖像中的橫縱坐標(biāo)的邊緣像素取均值后得到形心點(diǎn)。二者的結(jié)果大致相同,但矩法從代碼長(zhǎng)短以及運(yùn)算速度來看都較優(yōu)。

當(dāng)-π/2<θ<-π/4時(shí),m20>m02且m11<0,如圖2為此情況,此時(shí):

隨著我國(guó)城市化發(fā)展步伐的逐步加快，人們開始源源不斷地涌入城市，使得出行成為了一大難題，一系列交通運(yùn)輸問題隨之而來。而城市地鐵具有運(yùn)輸量大、速度快、節(jié)能、準(zhǔn)時(shí)等諸多特點(diǎn)，所以近幾年來已經(jīng)成為了城市生活的一種主要出行工具，隨著城市地鐵線路的設(shè)計(jì)范圍逐漸擴(kuò)大，同時(shí)也拓寬了城市地鐵網(wǎng)絡(luò)系統(tǒng)的搭建范圍，因此使得地鐵換乘站的建筑設(shè)計(jì)也成為了當(dāng)前地鐵運(yùn)輸?shù)闹攸c(diǎn)內(nèi)容，并且實(shí)際建筑效果也會(huì)對(duì)地鐵服務(wù)質(zhì)量產(chǎn)生重要影響，因此要致力于研究城市地鐵換乘站的建筑設(shè)計(jì)。為此，本文主要對(duì)當(dāng)前城市地鐵換乘存在的問題進(jìn)行了分析，并對(duì)城市地鐵換乘站的建筑設(shè)計(jì)進(jìn)行了初步探究。

圖2 慣性主、副軸

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)-π/2

(6)

我們定義X軸的正方向?yàn)樗较蛴?y軸的正方向垂直向上,建立坐標(biāo)系,花椒果實(shí)串在自然生長(zhǎng)條件下,將果實(shí)串的慣性主軸傾斜角度θ定義在(-π/2,π/2)之間,即花椒串的慣性主軸大多數(shù)處在(-π/2,π/2)。

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)

(7)

當(dāng)π/4<θ<π/2時(shí),m20>m02且m11>0,如圖為此情況,此時(shí):

Y=14586.095 - "KT1" * 103.614 + "Slope" * 155.987 + "B123457 " * 167387.358+ "KT3" * 55.487 + "B2" * 166.069 - "B1" * 90.897+ "B5" * 12.046 - "RVI" * 71.560

θ=0.5arctan(μ20-μ02+Ψ2/2μ11)+π/2

(8)

使用慣性主軸的方法求出花椒果實(shí)串主軸的方向示意圖,其果實(shí)串軸的角度分別為117°、26.3°、13.7°如圖2所示。

3 采摘點(diǎn)位置確定

通過確定的果實(shí)串的形心點(diǎn)和慣性主軸,可以將形心點(diǎn)的偏向方位以及慣性主副軸位置相結(jié)合得出采摘點(diǎn)的位置。具體過程如下圖3,圖4,圖5所示:

圖3 交廓三角形算法流程

圖4 交廓三角形

圖5 采摘點(diǎn)確定

選取遮擋與無遮擋各100幅圖片做像素定位,表1為不同光照條件下花椒串采摘點(diǎn)的像素誤差統(tǒng)計(jì)。分析1 000幅不同光照條件下花椒串采摘點(diǎn)的像素誤差,其中無遮擋花椒串采摘點(diǎn)準(zhǔn)確率為79%,帶遮擋花椒串采摘點(diǎn)準(zhǔn)確率為62%。由于自然生長(zhǎng)的花椒串生長(zhǎng)方向不確定,采用該方法對(duì)采摘點(diǎn)進(jìn)行定位時(shí),有時(shí)圖像采集方位的物體或遮擋大部分果實(shí),這會(huì)產(chǎn)生誤差。由表1可知采用該定位方式,可以有效地提升定位精度,即使存在果實(shí)串被遮擋的情況也可以判斷出采摘點(diǎn)的位置,對(duì)實(shí)際花椒園采摘作業(yè)有積極影響。

表1 不同光照下采摘點(diǎn)誤差分析

4 結(jié)論

本文提出融合多種算法的識(shí)別定位方法,基于形心偏差法與慣性主軸算法提出了一種交廓等腰三角形算法模型。實(shí)驗(yàn)結(jié)果表明,針對(duì)所選取的不同光照條件下無遮擋與遮擋的花椒圖像,計(jì)算采摘點(diǎn)準(zhǔn)確率達(dá)到79 %和62 %,平均定位時(shí)間為0.265 5 s和0.312 6 s, 研究可為進(jìn)一步應(yīng)用于花椒園間多花椒串識(shí)別,為花椒采摘機(jī)器人采摘作業(yè)的研究提供理論依據(jù)。