摘要:
為在實(shí)際果園中實(shí)現(xiàn)果樹的在線識(shí)別檢測(cè),設(shè)計(jì)一種基于機(jī)器視覺的果樹靶標(biāo)識(shí)別裝置。首先提出一種應(yīng)用在DSP端的在線果樹靶標(biāo)識(shí)別算法,用HSV色度分割法對(duì)圖像背景進(jìn)行分割,然后對(duì)分割后的樹冠信息(白色像素占有率的數(shù)值變化規(guī)律)進(jìn)行研判,設(shè)計(jì)橫框和豎框兩種識(shí)別算法,并設(shè)計(jì)一臺(tái)搭載識(shí)別裝置的移動(dòng)小車進(jìn)行田間試驗(yàn)。預(yù)試驗(yàn)發(fā)現(xiàn)光照度變化對(duì)識(shí)別效果的影響較?。贿x光照度為650Lux開展進(jìn)一步試驗(yàn)。結(jié)果表明,在車載速度分別為0.2m/s、0.4m/s和0.8m/s時(shí),橫框識(shí)別算法的識(shí)別準(zhǔn)確率分別為88%、84%、34%,識(shí)別準(zhǔn)確率隨小車速度的增大呈現(xiàn)遞減規(guī)律,從攝像頭對(duì)準(zhǔn)靶標(biāo)植株中心的時(shí)刻起,到系統(tǒng)判斷出存在有效靶標(biāo)植株時(shí),產(chǎn)生0.4~0.8s的檢測(cè)延時(shí)。而相同條件下,豎框識(shí)別算法的識(shí)別準(zhǔn)確率分別為88%、86%、84%,且識(shí)別延時(shí)較?。?.2~0.3s)。豎框識(shí)別算法的優(yōu)點(diǎn)是識(shí)別速度快、反饋的位置信息豐富,橫框識(shí)別算法則能同步分析果樹樹冠輪廓的大小,根據(jù)兩種算法得到的位置信息有利于進(jìn)一步優(yōu)化控制單棵植株的噴霧時(shí)間。
關(guān)鍵詞:果樹;機(jī)器視覺;靶標(biāo)探測(cè);DSP;橫框識(shí)別算法;豎框識(shí)別算法
中圖分類號(hào): S126; TP391
文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào):2095-5553 (2025) 01-0164-07
Online fruit tree target recognition device based on machine vision
Zhong Yuan1, 2, Chen Zehong1, Zheng Junbin3, Song Shuran1, Sun Daozong1, Liu Hongshan1
(1. "College of Electronic Engineering/College of Artificial Intelligence, South China Agricultural University, Guangzhou,
510642, China; 2. Zhuhai Vocational Training Guidance and Service Center (Zhuhai High-skilled Talent Public
Training Center), Zhuhai, 519000, China; 3. Guangdong Greenway Technology Co., Ltd., Dongguan, 523129, China)
Abstract:
In order to realize online identification and detection of fruit trees in actual orchards, a fruit tree target identification device based on machine vision is designed. Firstly, an online fruit tree target recognition algorithm applied to DSP is proposed, and the background of the image is segmented by HSV chroma segmentation method. Then, the crown information after segmentation (the numerical change law of white pixel occupancy) is judged, and two recognition algorithms, horizontal frame and vertical frame, are designed. A mobile car equipped with identification device is designed and tested in the field. It is found in the pre-experiment that the change of illumination has little influence on the recognition effect. Further experiments were carried out under the illumination of 650Lux. The results showed that when the vehicle speed was 0.2 m/s, 0.4 m/s and 0.8 m/s, the recognition accuracy of the horizontal frame recognition algorithm was 88%, 84% and 34%, respectively, and the recognition accuracy was decreasing with the increase of the vehicle speed. From the time when the camera aligns with the center of the target plant to the time when the system determines that there was an effective target plant, the detection delay of 0.4-0.8 s was generated. Under the same conditions, the recognition accuracy of the mullion recognition algorithm was 88%, 86% and 84% respectively, and the recognition delay was short (0.2-0.3s). The advantages of the vertical frame recognition algorithm are fast recognition speed and rich feedback position information, while the horizontal frame recognition algorithm can synchronously analyze the size of the crown contour of fruit trees. The position information obtained from the two algorithms is conducive to further optimizing and controlling the spraying time of a single plant.
Keywords:
fruit tree; machine vision; target detection; DSP; horizontal frame recognition algorithm; vertical frame recognition algorithm
0"引言
病蟲害防治是果園管理作業(yè)中重要的環(huán)節(jié)[1],但是我國(guó)采用的大容量淋雨式噴霧法農(nóng)藥有效利用率低[2],大量藥液流失到地面或飄移到空氣中[3],引發(fā)環(huán)境污染、農(nóng)藥殘留超標(biāo)、作物藥害及施藥者中毒等問題[4]。
隨著傳感器和控制技術(shù)的發(fā)展,根據(jù)不同作物對(duì)象變量控制藥液噴施量和風(fēng)速的精確噴霧的概念應(yīng)運(yùn)而生。要完成變量噴霧,必須先對(duì)作物的生長(zhǎng)特性進(jìn)行探測(cè),常用的有紅外、超聲波以及激光探測(cè)傳感器[5],它們?cè)诎袠?biāo)探測(cè)方面已經(jīng)很成熟,但因?yàn)榉祷亟Y(jié)果簡(jiǎn)單[6]而遇到發(fā)展瓶頸。隨之機(jī)器視覺技術(shù)被引進(jìn)到農(nóng)業(yè)領(lǐng)域[7],通過采集果樹圖像的信息,獲取樹形、輪廓等特征,從而建立更精確的掃描式噴霧系統(tǒng)[8]。
李睿遠(yuǎn)[9]采用自動(dòng)閾值分割法提取出目標(biāo)靶標(biāo)的關(guān)鍵參數(shù),根據(jù)參數(shù)控制車載風(fēng)送噴霧機(jī)上每個(gè)噴嘴的開閉及步進(jìn)擺動(dòng)。張俊雄等[10]研發(fā)了一套可進(jìn)行病害信息診斷的溫室內(nèi)移動(dòng)對(duì)靶噴霧系統(tǒng),通過圖像分析將采集區(qū)域單元化確定病害等級(jí),以控制噴霧時(shí)間實(shí)現(xiàn)變量噴霧。周鳴川[11]搭建的對(duì)靶噴霧平臺(tái),基于超綠色模型灰度化及分割方法完成對(duì)綠色靶標(biāo)植株的有效提取,指導(dǎo)噴頭精準(zhǔn)對(duì)靶噴霧。丁為民等[12]構(gòu)建了樹冠面積與樹冠體積對(duì)數(shù)之間的線性關(guān)系模型,進(jìn)一步提出了基于機(jī)器視覺的果樹樹冠體積單點(diǎn)和多點(diǎn)測(cè)量方法,該方法通過面積以及輪廓特征量均能很好地表達(dá)樹冠體積特征。
國(guó)外很早就嘗試將機(jī)器視覺應(yīng)用到農(nóng)業(yè)靶標(biāo)植株探測(cè)上,2004年Giles等[13]通過對(duì)靶標(biāo)特征的檢測(cè)來自動(dòng)調(diào)節(jié)藥液濃度與噴嘴流量。次年,該團(tuán)隊(duì)通過攝像頭采集圖片來定位種植壟的中心線,進(jìn)而控制噴嘴以植株為靶標(biāo)進(jìn)行噴霧,使對(duì)靶噴霧的自動(dòng)化水平進(jìn)一步提升。Mario等[14]開發(fā)出一種通過圖像將靶標(biāo)形狀和顏色進(jìn)行融合處理的方法,并將其應(yīng)用于萵苣收獲機(jī)器人,大幅提高了辨別率。Kang等[15]將激光掃描技術(shù)與機(jī)器視覺相結(jié)合,基于超綠算法設(shè)計(jì)出葡萄根蘗位置識(shí)別系統(tǒng)。Calderón等[16]利用無人機(jī)搭載高分辨率的多光譜儀以及熱成像攝像頭實(shí)時(shí)監(jiān)測(cè)罌粟的霜霉病情況,再根據(jù)PC端的分析結(jié)果對(duì)不同區(qū)域的罌粟實(shí)施按需噴藥。Shalat等[17, 18]采用激光和圖像技術(shù)相結(jié)合的方法研究并獲得果園靶標(biāo)樹干位置探測(cè)方法,該方法還能成功區(qū)分樹樁和果樹支撐架等非樹干物體。Asaei等[19]開發(fā)了一個(gè)基于機(jī)器視覺的傳感器系統(tǒng)和一個(gè)除草劑的選擇性控制系統(tǒng)并將其固定在噴霧器中,根據(jù)樹木的綠色冠層精確施用農(nóng)藥,較傳統(tǒng)方法節(jié)省54%的化學(xué)藥品消耗。
目前視覺技術(shù)在靶標(biāo)探測(cè)的應(yīng)用多數(shù)集中于實(shí)驗(yàn)室內(nèi)的可控環(huán)境;攝像頭采集的圖像需要經(jīng)過PC端處理再傳送至噴霧執(zhí)行機(jī)構(gòu);受各種軟硬件條件的制約,使得機(jī)器視覺在農(nóng)業(yè)領(lǐng)域的應(yīng)用市場(chǎng)化還比較困難。為解決當(dāng)前對(duì)于機(jī)器視覺在果園精細(xì)噴霧研究中存在的實(shí)時(shí)識(shí)別技術(shù)空缺問題,本文采用機(jī)器視覺技術(shù)實(shí)現(xiàn)靶標(biāo)識(shí)別功能,設(shè)計(jì)一種基于TMS320DM642的靶標(biāo)識(shí)別裝置,并對(duì)該裝置進(jìn)行田間在線靶標(biāo)識(shí)別試驗(yàn),為植保機(jī)器的智能化作業(yè)提供研究基礎(chǔ)。
1"算法設(shè)計(jì)
1.1"圖像分割處理
1.1.1"提取顏色特征
HSV顏色空間由色調(diào)(H)、飽和度(S)、明度(V)組成,色調(diào)用角度度量,紅色為0°,綠色為120°,藍(lán)色為240°。針對(duì)柑橘樹跟圖像背景在色度上的視覺差異,提取柑橘樹的色調(diào)通道來進(jìn)行獨(dú)立分析,如圖1所示。
對(duì)110°~125°的色度區(qū)間進(jìn)行提取,如圖2所示,成功去除雜草、土壤、滴灌管道以及其他生活雜物的干擾。在190°~210°的色度區(qū)間,可以清晰地看到其他干擾物的輪廓。
采用形態(tài)學(xué)濾波對(duì)果樹與背景分離后的圖像進(jìn)行零散干擾的排除。對(duì)比圖3四種處理效果可得,先開運(yùn)算后閉運(yùn)算組合的零散干擾過濾效果更優(yōu)。
圖4是果園中生長(zhǎng)期為一年的柑橘樹圖像,可見經(jīng)過色度提取以及形態(tài)學(xué)濾波以后的圖像已經(jīng)可以排除大部分非植株靶標(biāo)的干擾,中間的白色區(qū)域是要提取出來的柑橘樹樹冠信息,背景分割工作初步完成。
1.1.2"果樹輪廓匹配算法
在進(jìn)行柑橘樹識(shí)別時(shí),通過分析新采集圖像的輪廓,提取某些特征矩,再與系統(tǒng)中預(yù)先存取的果樹輪廓進(jìn)行匹配對(duì)比,從而判斷實(shí)時(shí)采集的圖像中是否存在柑橘樹。利用OpenCV提供的cvFindContours函數(shù)查找經(jīng)過背景分割后果樹圖像的外輪廓,如圖5所示。
在實(shí)際應(yīng)用中,搭載在小車上的攝像頭會(huì)受到運(yùn)動(dòng)抖動(dòng)的影響,造成圖像在輪廓提取時(shí)出現(xiàn)較大的偏差,同樣,圖像的紋理特征以及形狀特征也會(huì)受到影響。在我國(guó)南方的果園中,果樹的種植間距小,種植不規(guī)范以及修剪不統(tǒng)一,這些農(nóng)藝上的特點(diǎn)也制約了紋理、形狀和輪廓等特征在柑橘樹識(shí)別上的應(yīng)用。在動(dòng)態(tài)的圖像采集中,相比于紋理、形狀和輪廓特征,顏色特征具有較強(qiáng)的穩(wěn)定性,因此,選擇顏色特征作為靶標(biāo)識(shí)別的基礎(chǔ)。
1.2"基于DSP端的靶標(biāo)識(shí)別算法
靶標(biāo)識(shí)別算法的實(shí)際應(yīng)用需要部署在可移動(dòng)的邊緣設(shè)備上,因此選擇滿足運(yùn)算性能需要且可編程的高性能的數(shù)字信號(hào)處理器(DSP),使硬件端的靈活性達(dá)到PC端的水平。
1.2.1"硬件選型
完成動(dòng)態(tài)的在線靶標(biāo)識(shí)別功能需要選擇專門用于視頻圖像領(lǐng)域的DSP芯片,由于在進(jìn)行動(dòng)態(tài)靶標(biāo)識(shí)別時(shí),視頻幀率需要達(dá)到10幀/s以上,輸入和輸出視頻通道各需要1個(gè),整個(gè)系統(tǒng)的功耗要盡量低,故在進(jìn)行初步篩選后,選擇TMS320DM642作為本設(shè)計(jì)的主控芯片:在保留C64x原有內(nèi)核機(jī)構(gòu)及大部分外設(shè)的基礎(chǔ)上增加3個(gè)雙通道數(shù)字芯片口,可同時(shí)處理多路數(shù)字視頻流。為方便項(xiàng)目的開發(fā),選擇以TMS320DM642為主處理芯片的系統(tǒng)板(QXD-DM642DVS)作為算法移植的硬件端。
在PC端完成靶標(biāo)識(shí)別算法編寫并對(duì)其功能進(jìn)行驗(yàn)證后,需要將算法移植到TMS320DM642的硬件端。移植與優(yōu)化過程需注意語言的使用規(guī)范及內(nèi)存的合理分配,同時(shí)要對(duì)讀取到的CCD攝像頭采集的YUV格式圖像轉(zhuǎn)換為HSV色彩模型,并以9×9的方式進(jìn)行切割分塊以縮短處理時(shí)間。
1.2.2"冠層不同位置白色像素占有率計(jì)算
不同于PC端,DSP端的算法設(shè)計(jì)面臨兩大問題:(1)采集圖像容易受外界因素的影響;(2)算法的復(fù)雜度。進(jìn)行柑橘樹的識(shí)別,提取出來的特征量要盡量穩(wěn)定且識(shí)別度高,分析算法要盡量簡(jiǎn)便以免影響識(shí)別的實(shí)時(shí)性。基于以上考慮,選用顏色特征作為柑橘樹識(shí)別的特征量。在對(duì)比果園多種場(chǎng)景的背景分割圖后,發(fā)現(xiàn)采集的圖像中對(duì)應(yīng)柑橘樹的位置背景分割圖會(huì)存在大片的白色區(qū)域?;谶@種對(duì)應(yīng)關(guān)系,設(shè)計(jì)一種白色區(qū)域占有率的分析算法。
首先對(duì)背景分割圖進(jìn)行分層,在720像素×576像素的背景分割圖中,加入500像素×576像素的取景框,并從上到下平均分成3個(gè)部分,分別對(duì)應(yīng)樹冠的上中下層。分析冠層不同位置白色像素占有率的變化趨勢(shì),通過白色像素占有率的數(shù)值大小來推斷取景框內(nèi)是否存在有效的靶標(biāo)植株,如圖6所示。
取景框的3個(gè)不同位置對(duì)應(yīng)的矩形框大小均是192像素×500像素,則冠層不同位置以及取景框內(nèi)白色像素占有率的計(jì)算如式(1)和式(2)所示。i=1表示冠層底部;i=2表示冠層中部;i=3表示冠層頂部;i=4表示整個(gè)取景框內(nèi)。
ti=si192×500×100%"i=1,2,3
(1)
t4=s4576×500×100%
(2)
式中:
ti——框i的白色像素占有率,%;
si——框i中白色像素的總個(gè)數(shù)。
為驗(yàn)證該算法能否識(shí)別柑橘樹,在硬件端上進(jìn)行仿真試驗(yàn)。
1.2.3"冠層不同位置白色像素占有率分析
在柑橘樹正前方,勻速地將攝像頭從柑橘樹的右側(cè)平行移動(dòng)到左側(cè)。為凸顯經(jīng)過背景分割后的靶標(biāo)植株部分,在硬件端算法中加入反色程序。如圖7所示,硬件端的處理效果達(dá)到PC端處理的標(biāo)準(zhǔn)且實(shí)時(shí)性強(qiáng)。
記錄圖7各取景框內(nèi)白色像素占有率數(shù)值大小,如表1所示。在圖7(c)中t1,t2,t3和t4達(dá)到最大值,對(duì)照原圖可見,此時(shí)柑橘樹整個(gè)樹冠正好完全出現(xiàn)在取景框內(nèi)。
為深入觀察取景框內(nèi)白色像素占有率的波動(dòng),在視頻流中按時(shí)序均勻的截取9個(gè)點(diǎn),將各點(diǎn)取景框內(nèi)白色像素占有率的數(shù)值整合成折線圖,如圖8所示。在視頻流的第五點(diǎn)處,正好對(duì)應(yīng)視頻流的內(nèi)容是柑橘樹完整的出現(xiàn)在取景框內(nèi),進(jìn)一步驗(yàn)證這種基于白色像素占有率的分析算法不但可以識(shí)別柑橘樹,還能分析柑橘樹在冠層不同位置的大小,為精準(zhǔn)噴霧的實(shí)現(xiàn)提供技術(shù)支持。將基于這種思想的算法稱為橫框識(shí)別算法。
在完成數(shù)據(jù)分析后,TMS320DM642需要將分析結(jié)果輸出到下位機(jī)中,由下位機(jī)完成噴霧工作。為簡(jiǎn)化數(shù)據(jù)分析與傳輸,在算法中,設(shè)定當(dāng)冠層不同位置白色像素的占有率超過一定百分比的時(shí)候,對(duì)應(yīng)輸出高電平。
2"靶標(biāo)識(shí)別裝置設(shè)計(jì)
為檢驗(yàn)該算法在室外的在線識(shí)別效果,設(shè)計(jì)一輛可搭載靶標(biāo)識(shí)別裝置的小車,小車由3部分組成,分別為驅(qū)動(dòng)模塊、圖像處理模塊及圖像采集模塊。除底板用不銹鋼板搭建外,其他兩層均使用亞克力板,中間的承接部位使用鋁型材。
車載裝置的底板由一塊不銹鋼板、4個(gè)鋁合金輪子、4個(gè)直流電機(jī)及其支架、2個(gè)電機(jī)驅(qū)動(dòng)模塊、1個(gè)主控制模塊、1個(gè)AS-13數(shù)據(jù)傳輸模塊以及2個(gè)12 V電源組成,主要負(fù)責(zé)電機(jī)的驅(qū)動(dòng)控制,實(shí)現(xiàn)速度可控的直線前進(jìn)與后退運(yùn)動(dòng)。驅(qū)動(dòng)時(shí)通過AS-13數(shù)據(jù)傳輸模塊,將控制指令通過串口傳輸?shù)杰囕d裝置的主控模塊中,車載裝置的主控模塊根據(jù)指令內(nèi)容改變IO口的輸出電平以及PWM信號(hào)的占空比,直流電機(jī)模塊根據(jù)車載裝置主控模塊的輸出信號(hào)改變直流電機(jī)的運(yùn)動(dòng)速度以及運(yùn)動(dòng)方向。
2.1"驅(qū)動(dòng)部分
1) 電機(jī)驅(qū)動(dòng)模塊:為兼顧負(fù)重與速度,采用直流減速電機(jī),由于電機(jī)扭力需大于0.245N·m,轉(zhuǎn)速不低于300r/min,選用AQMH2407ND直流電機(jī)驅(qū)動(dòng)模塊,搭配峰值電流3A、轉(zhuǎn)速366r/min、扭力0.294N·m 的37GB-385直流減速電機(jī),利用MOS管搭建的雙H橋電路及光耦隔離技術(shù),實(shí)現(xiàn)對(duì)大電流電機(jī)的安全有效驅(qū)動(dòng)。
2) 主控制模塊:該車載裝置為四輪啟動(dòng),采用4個(gè)直流減速電機(jī),需要4個(gè)PWM輸出口,8個(gè)普通IO口,AS13-TTL數(shù)據(jù)傳輸模塊進(jìn)行串口通信另需1個(gè)串口。在滿足系統(tǒng)IO口要求的基礎(chǔ)上,選擇STM32F103C8T6作為車載裝置主控芯片。
3) 數(shù)據(jù)傳輸模塊:車載靶標(biāo)識(shí)別裝置在運(yùn)動(dòng)控制及TMS320DM642系統(tǒng)板傳輸處理結(jié)果時(shí)均需使用數(shù)據(jù)傳輸模塊??紤]到信息傳輸?shù)目煽啃耘c信息讀取的方便性,選用AS13-TTL無線數(shù)據(jù)傳輸模塊,采用Silicon最新的SI4463主芯片,TTL電平輸出,可兼容3.3V與5V的IO口電壓。
4) 電源選型:在驅(qū)動(dòng)部分,電機(jī)運(yùn)轉(zhuǎn)需要12 V電壓,當(dāng)4個(gè)電機(jī)同時(shí)運(yùn)轉(zhuǎn)時(shí),峰值電路可達(dá)12 A。選擇DC1298A大容量鋰聚合物電池,其輸出電壓為12.6V,電流為20 A,容量為9800mA。
2.2"圖像處理部分
1) 攝像頭選型:由于攝像頭采集的圖像色彩還原度及清晰度直接影響后續(xù)的數(shù)據(jù)處理及靶標(biāo)識(shí)別,因此,在對(duì)攝像頭進(jìn)行選型時(shí),考慮信號(hào)制式、鏡頭大小、清晰度,選擇1/3英寸索尼CCD攝像頭,具有480電視線,信號(hào)制式為PAL:752H×582V,信號(hào)比≥48,視頻輸出幅度為BNC 1.0Vp-p/75Ω。
2) 圖像采集:主要由攝像頭、云騰三腳架及監(jiān)控顯示屏組成。攝像頭將實(shí)時(shí)采集的圖像傳輸?shù)絋MS320DM642系統(tǒng)板中,經(jīng)系統(tǒng)板內(nèi)部算法處理后,經(jīng)視頻傳輸線將圖像顯示于監(jiān)控顯示屏。
3) 圖像處理:圖像處理部分由TMS320DM642系統(tǒng)板、決策讀取模塊和AS13-TTL數(shù)據(jù)傳輸模塊組成。工作時(shí),攝像頭將實(shí)時(shí)采集的圖像傳輸?shù)絋MS320DM642系統(tǒng)板中,經(jīng)系統(tǒng)板內(nèi)部算法分析處理后,生成的決策結(jié)果通過IO口傳輸?shù)經(jīng)Q策讀取模塊,決策讀取模塊根據(jù)決策內(nèi)容生成噴霧指令,經(jīng)過AS13-TTL數(shù)據(jù)傳輸模塊,將噴霧指令傳輸?shù)絿婌F執(zhí)行機(jī)構(gòu)。
4) 圖像處理效果顯示:為能實(shí)時(shí)觀察算法處理后的圖像效果,在車載靶標(biāo)識(shí)別系統(tǒng)上添加監(jiān)控顯示屏,方便實(shí)時(shí)調(diào)節(jié)處理算法,結(jié)合車載裝置尺寸,選用對(duì)比度為350∶1,制式為PAL/NTSC的監(jiān)控顯示屏。
3"果園識(shí)別試驗(yàn)
3.1"預(yù)試驗(yàn)
影響在線識(shí)別效果的因素主要有光照度和車載裝置的速度,但通過人為判斷一定范圍內(nèi)光照強(qiáng)度變化對(duì)圖像的影響較小,因此進(jìn)行預(yù)試驗(yàn)驗(yàn)證該判斷是否正確。預(yù)試驗(yàn)在華南農(nóng)業(yè)大學(xué)工程學(xué)院北樓6樓果園進(jìn)行,在過道的左右兩側(cè)各分布著5棵果樹,行距為2.5m,株距為1.8m,根據(jù)其排布規(guī)律,將右側(cè)果樹命名為A組,左側(cè)果樹命名為B組。
基于橫框識(shí)別算法,在車載裝置移動(dòng)速度為0.4m/s的前提下,3種不同光照度情況(250Lux,650Lux,1750Lux)下對(duì)兩組柑橘樹(一共10棵果樹)分別進(jìn)行10次識(shí)別測(cè)試,每棵果樹的識(shí)別準(zhǔn)確率如表2所示。
對(duì)表2的數(shù)據(jù)進(jìn)行綜合分析可以發(fā)現(xiàn),在3種不同光照度(250Lux,650Lux和1750Lux)下,在線靶標(biāo)識(shí)別裝置在0.4m/s的移動(dòng)速度下對(duì)柑橘樹的識(shí)別準(zhǔn)確率分別為83%、85%和82%。可見該范圍內(nèi)光照度的變化對(duì)在線靶標(biāo)識(shí)別的影響較小。
3.2"豎框識(shí)別算法
在預(yù)試驗(yàn)過程中發(fā)現(xiàn)橫框識(shí)別算法有0.4~0.8s檢測(cè)延時(shí)。因?yàn)闄M框識(shí)別算法提取的是正對(duì)靶標(biāo)植株時(shí)取景框內(nèi)不同冠層白色像素占有率的數(shù)值特征,所以只有當(dāng)攝像頭經(jīng)過靶標(biāo)植株中心時(shí)系統(tǒng)才采集到超過決策識(shí)別閾值的數(shù)值。針對(duì)采集與檢測(cè)不同步問題,將實(shí)時(shí)采集的圖像從縱向上分成3塊,如圖9所示。
每個(gè)分框的大小為240像素×576像素。這樣不需要等植株完全進(jìn)入到取景框內(nèi)才開始識(shí)別,只要監(jiān)測(cè)并分析出3個(gè)分框內(nèi)白色像素占有率的數(shù)值變化規(guī)律,即可對(duì)靶標(biāo)植株進(jìn)行識(shí)別,還可以進(jìn)一步探測(cè)出靶標(biāo)植株與攝像頭的相對(duì)位置。實(shí)時(shí)采集的圖像在3個(gè)豎框內(nèi)白色像素占有率的數(shù)值大小計(jì)算如式(3)所示,i=5表示右側(cè)豎框;i=6表示中間豎框;i=7表示左側(cè)豎框。
ti=si576×240×100%nbsp;i=5,6,7
(3)
選擇正對(duì)果樹左側(cè)邊緣、果樹正中間、果樹右側(cè)邊緣以及兩棵果樹中間的位置點(diǎn)為觀察點(diǎn), 19個(gè)果樹觀察點(diǎn)的選擇如圖10所示,果樹在攝像頭右側(cè)時(shí)的觀察點(diǎn)記為E1~E19,左側(cè)記為F1~F19。
19個(gè)位置點(diǎn)遵循著“黑色—中灰—淺灰—無”的變化規(guī)律,相應(yīng)攝像頭對(duì)準(zhǔn)的位置關(guān)系是“果樹左側(cè)邊緣—果樹正中間—果樹右側(cè)邊緣—兩棵果樹中間”從這些規(guī)律的色彩變化即可推斷出攝像頭與有效靶標(biāo)植株之間的相對(duì)位置。通過以上分析,結(jié)合車載裝置的運(yùn)動(dòng)方向,即可設(shè)計(jì)出豎框識(shí)別算法,判別決策如圖12所示。
如圖12所示,根據(jù)攝像頭與靶標(biāo)植株的相對(duì)關(guān)系,設(shè)立4種位置狀態(tài)。當(dāng)靶標(biāo)識(shí)別移動(dòng)裝置對(duì)行進(jìn)路徑右側(cè)的果樹進(jìn)行識(shí)別時(shí),在程序內(nèi)部,當(dāng)系統(tǒng)由狀態(tài)3向狀態(tài)4轉(zhuǎn)變時(shí),判定出現(xiàn)有效靶標(biāo)植株,當(dāng)系統(tǒng)由狀態(tài)4向狀態(tài)2轉(zhuǎn)變時(shí),判定靶標(biāo)植株正在離開攝像頭;靶標(biāo)識(shí)別移動(dòng)裝置對(duì)行進(jìn)路徑左側(cè)的果樹進(jìn)行識(shí)別時(shí),在程序內(nèi)部,當(dāng)系統(tǒng)由狀態(tài)2向狀態(tài)4轉(zhuǎn)變時(shí),判定出現(xiàn)有效靶標(biāo)植株。當(dāng)系統(tǒng)由狀態(tài)4向狀態(tài)3轉(zhuǎn)變時(shí),判定靶標(biāo)植株正在離開攝像頭。
3.3"基于兩種算法的靶標(biāo)識(shí)別試驗(yàn)
基于預(yù)試驗(yàn)可知,光照度變化對(duì)在線靶標(biāo)識(shí)別的影響較小,所以正式試驗(yàn)只進(jìn)行車載裝置在不同移動(dòng)速度下的識(shí)別試驗(yàn)。在650Lux的光照度下,在線靶標(biāo)識(shí)別移動(dòng)裝置在3種速度v擋下(0.2m/s,0.4m/s,0.8m/s),對(duì)兩組果樹進(jìn)行10次識(shí)別測(cè)試,橫框和豎框識(shí)別準(zhǔn)確率如表3及表4所示。
對(duì)表3、表4綜合分析可知,橫框識(shí)別算法分別在不同速度0.2m/s、0.4m/s和0.8m/s時(shí),對(duì)柑橘樹的識(shí)別準(zhǔn)確率為88%、84%、34%。速度越大識(shí)別準(zhǔn)確率越低。因?yàn)閳D像處理系統(tǒng)處理的并不是連貫的圖像流,而是在內(nèi)容上有一定殘缺的視頻流,如果車載裝置速度過快,圖像流的殘缺率就會(huì)上升,影響判斷結(jié)果。相同條件下,豎框識(shí)別算法的識(shí)別準(zhǔn)確率分別為88%、86%、84%,而且檢測(cè)延時(shí)較少(0.2~0.3s)。這種算法對(duì)信息量的要求不高,在視頻流殘缺率較高的情況下,依然能保持較高的識(shí)別準(zhǔn)確率。
4"結(jié)論
設(shè)計(jì)一種基于機(jī)器視覺的在線靶標(biāo)識(shí)別算法,實(shí)時(shí)采集的圖像進(jìn)行背景分割后對(duì)提取的樹冠信息(白色像素占有率)分割出不同的矩形框,根據(jù)矩形框內(nèi)白色像素占有率的數(shù)值變化規(guī)律設(shè)計(jì)橫框識(shí)別算法和豎框識(shí)別算法。在識(shí)別裝置的硬件基礎(chǔ)上,測(cè)試兩種識(shí)別算法在不同外界環(huán)境下對(duì)果園柑橘樹的識(shí)別準(zhǔn)確率。
1) 光照度變化對(duì)識(shí)別效果影響較小。車載速度為0.4m/s時(shí),在不同光照度250Lux、650Lux和1750Lux時(shí),橫框識(shí)別算法的識(shí)別準(zhǔn)確率分別為83%、85%、82%。
2) 識(shí)別準(zhǔn)確率隨速度增大呈遞減規(guī)律,速度越高,遞減規(guī)律越明顯,識(shí)別準(zhǔn)確率越低。光照度為650Lux時(shí),在車載速度0.2m/s、0.4m/s和0.8m/s時(shí),橫框識(shí)別算法的識(shí)別準(zhǔn)確率分別為88% 、84%、34%。在從攝像頭對(duì)準(zhǔn)靶標(biāo)植株中心到系統(tǒng)判斷存在有效靶標(biāo)植株時(shí)有0.4~0.8s的檢測(cè)延時(shí)。相比橫框識(shí)別算法,豎框識(shí)別算法在0.8m/s的速度下依然能保持80%以上的識(shí)別準(zhǔn)確率,且識(shí)別延時(shí)較?。?.2~0.3s)。
3) 豎框識(shí)別算法的優(yōu)點(diǎn)是識(shí)別速度快,反饋的位置信息豐富,系統(tǒng)可以根據(jù)這些位置信息推斷出靶標(biāo)植株進(jìn)入與離開攝像頭拍攝范圍的時(shí)間,有利于進(jìn)一步控制單顆植株的噴霧時(shí)間。但相比于橫框識(shí)別算法,豎框識(shí)別算法無法同步分析果樹樹冠輪廓的大小。
參"考"文"獻(xiàn)
[1]
顧家冰, 丁為民, 邱威, 等. 果園變量施藥機(jī)械及施藥技術(shù)研究現(xiàn)狀與趨勢(shì)[J]. 果樹學(xué)報(bào), 2014, 33(6):1154-1157.
Gu Jiabing, Ding Weimin, Qiu Wei, et al. Current research situation and development trend of equipment and technology for orchard spraying [J]. Journal of Fruit Science, 2014, 33(6):1154-1157.
[2]
鄒雪劍, 臧秀法, 王曉勇. 我國(guó)植保機(jī)械與施藥技術(shù)現(xiàn)狀及發(fā)展措施[J]. 農(nóng)業(yè)科技與裝備, 2014(12):49-50.
Zou Xuejian, Zang Xiufa, Wang Xiaoyong. Current situation and development measures of plant protection machinery and application technology in China [J]. Agricultural Science and Technology and Equipment, 2014(12):49-50.
[3]
賈衛(wèi)東, 張磊江, 燕明德, 等. 噴桿噴霧機(jī)研究現(xiàn)狀及發(fā)展趨勢(shì)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2013,34(4):19-22.
Jia Weidong, Zhang Leijiang, Yan Mingde, et al. Research status and development trend of spray bar sprayer [J]. Journal of Chinese Agricultural Mechanization, 2013, 34(4):19-22.
[4]
張海鋒, 許林云. 果園噴霧機(jī)發(fā)展現(xiàn)狀及展望[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2014,35(3):112-118.
Zhang Haifeng, Xu Linyun. Development status and prospect of orchard sprayer [J].Journal of Chinese Agricultural Mechanization,2014, 35(3):112-118.
[5]
邱白晶, 閆潤(rùn), 馬靖, 等. 變量噴霧技術(shù)研究進(jìn)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015,46(3): 59-72.
Qiu Baijing, Yan Run, Ma Jing, et al. Analysis of the research progress of variable spraying technology [J]. "Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3):59-72.
[6]
Brown D L, Giles D K, Oliver M N, et al.. Targeted spray technology to reduce pesticide in runoff from dormant orchards [J]. Crop Protection, 2008, 27(3): 545-552.
[7]
李寒. 基于機(jī)器視覺的目標(biāo)檢測(cè)在精細(xì)農(nóng)業(yè)中的關(guān)鍵技術(shù)研究[D]. 北京:中國(guó)農(nóng)業(yè)大學(xué), 2014.
Li Han. Research on key technologies of target detection based on machine vision in precision agriculture [D]. Beijing: China Agricultural University, 2014.
[8]
胡天翔. 智能對(duì)靶噴霧機(jī)軟件系統(tǒng)設(shè)計(jì)與集成研究[D].南京:南京林業(yè)大學(xué), 2009.
Hu Tianxiang. Research on design and integration of software system of intelligent target sprayer [D]. Nanjing: Nanjing Forestry University, 2009.
[9]
李睿遠(yuǎn). 車載超低容量噴霧機(jī)及其目標(biāo)靶圖像識(shí)別的研究[D]. 武漢:武漢理工大學(xué), 2007.
Li Ruiyuan. Research on vehicle-mounted ultra-low-capacity sprayer and its target image recognition [D]. Wuhan: Wuhan University of Technology, 2007.
[10]
張俊雄, 曹崢勇, 耿長(zhǎng)興, 等. 溫室精準(zhǔn)對(duì)靶噴霧機(jī)器人研制[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2009(S2):70-73.
Zhang Junxiong, Cao Zhengyong, Geng Changxing, et al. Development of greenhouse precise target spraying robot [J].Transactions of the Chinese Society of Agricultural Engineering, 2009(S2):70-73.
[11]
周鳴川. 脈寬調(diào)制(PWM)變量噴霧及視覺輔助對(duì)靶植保技術(shù)研究[D]. 杭州:浙江大學(xué), 2015.
Zhou Mingchuan. Study on pulse width modulation (PWM) variable spray and vision-assisted plant protection technology for target [D]. Hangzhou: Zhejiang University, 2015.
[12]
丁為民,趙思琪,趙三琴,等.基于機(jī)器視覺的果樹樹冠體積測(cè)量方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2016, 47(6): 1-10, 20.
Ding Weimin, Zhao Siqi, Zhao Sanqin, et al. Research on measurement method of fruit tree crown volume based on machine vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2016,47(6):1-10, 20.
[13]
Giles D, Downey D, Slaughter D. Liquid property and nozzle effects on flight time of pulsed jet spray [J]. Atomization amp; Sprays, 2004, 14(2): 111-126.
[14]
Mario F, Renina G. Agricultural robot radicchio harvesting [J]. Journal of Field Robotics, 2006, 23(6-7): 363-377.
[15]
Kang F, Wang H, Pierce F J, et al. Sucker detection of grapevines for targeted spray using optical sensors [J]. Transactions of the ASABE, 2012,55(5):2007-2014.
[16]
Calderón R, Montes-Borrego M, Landa B B, et al. Detection of downy mildew of opium poppy using high-resolution multi-spectral and thermal imagery acquired with an unmanned aerial vehicle [J]. Precision Agriculture, 2014, 15(6): 639-661.
[17]
Shalal N, Low T, McCarthy C, et al. Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion-Part A: Tree detection [J]. Computers and Electronics in Agriculture, 2015,119: 254-266.
[18]
Shalal N, Low T, McCarthy C, et al. Orchard mapping and mobile robot localisation using on-board camera and laser scanner data fusion-Part B: Mapping and localisation [J]. Computers and Electronics in Agriculture, 2015, 119: 267-278.
[19]
Asaei H, Jafari A, Loghavi M. Site-specific orchard sprayer equipped with machine vision for chemical usage management [J]. Computers and Electronics in Agriculture, 2019, 162: 431-439.