基于圖像邊界提取的果園作業(yè)機器人自主導航系統(tǒng)

葉小琴，陳 超

(1.四川工程職業(yè)技術(shù)學院 電氣信息工程系，四川 德陽 618000；2.電子科技大學 計算機科學與工程學院，成都 611731)

?

基于圖像邊界提取的果園作業(yè)機器人自主導航系統(tǒng)

葉小琴1，陳 超2

(1.四川工程職業(yè)技術(shù)學院 電氣信息工程系，四川 德陽 618000；2.電子科技大學 計算機科學與工程學院，成都 611731)

針對果園中農(nóng)業(yè)移動機器人的自主導航問題，提出了一種基于圖像邊界提取的自主導航系統(tǒng)。首先，通過攝像機采集果園場景圖像，并利用均值偏移算法對圖像中的像素點進行聚類；然后，采用基于圖論的圖像分割算法，根據(jù)預(yù)定義類別對圖像進行分割；接著，提取出所需類的圖像區(qū)域，并利用Canny算子對該區(qū)域圖像的邊緣進行檢測和濾波；最后，利用Hough變換提取出該區(qū)域的邊界線，從而獲得機器人的行進路線。實驗結(jié)果表明：該方案在不需要先驗知識的情況下，能夠快速、有效地獲得最優(yōu)路徑。

果園機器人；自主導航；圖像分割；圖像邊界提??；Hough變換

0 引言

隨著農(nóng)業(yè)現(xiàn)代化的發(fā)展，農(nóng)業(yè)機器人的應(yīng)用越來越廣泛，包括收獲、除草、噴灑和運輸?shù)萚1]，在溫室大棚、果園等地方也有廣泛的應(yīng)用前景。為了提高農(nóng)業(yè)機器人的自動化程度，移動農(nóng)業(yè)機器人應(yīng)運而生[2]。其中，對機器人的路徑進行規(guī)劃和導航是移動機器人中的一個重要部分。對于平原農(nóng)田收割機等大型機械的導航，通常采用GPS信息；然而，對于復(fù)雜環(huán)境下的細節(jié)操作機器人，GPS導航誤差太大，且不能適應(yīng)本地復(fù)雜地形[3]。近年來，基于視覺的農(nóng)業(yè)機器人導航在許多研究中受到了足夠的重視[4]。

目前，學者提出了多種基于視覺的機器人導航方案。例如，文獻[5]研究了基于雙目立體視覺的避障導航方法，然而該方案只適用于環(huán)境較理想的場景，且算法復(fù)雜度高，需要對兩個攝像頭進行同步。文獻[6]通過單攝像頭采集灰度場景圖像，然后利用K-均值算法對圖像進行分割，再通過線性回歸算法得到田埂的分界線；然而，該方案的圖像分割精度不高，且采用的線性回歸技術(shù)對田埂間斷的魯棒性較差?，F(xiàn)有對果園機器人導航的研究還比較少，其中，文獻[7]將果園的彩色圖像通過一個多層前饋神經(jīng)網(wǎng)絡(luò)(Multilayer Feedforward Neural Network, MFNN)分割出果園單元素區(qū)域，然后經(jīng)過濾波操作和Hough變換提取期望路徑。該方案的分割精度和提取的邊界線都較為準確，但該方案在執(zhí)行前需要進行訓練學習，這就需要采集大量實際場景樣本，導致其在無學習下不能適應(yīng)新的果園環(huán)境，在實際應(yīng)用中受到很大限制。

本文針對果園中的移動機器人，提出一種基于視覺圖像處理的自主導航方法。通過圖像處理技術(shù)，從機器人攝像機采集的圖像中分割出地面、樹林和天空等區(qū)域，以此獲得地面與樹林間的分界線，從而形成導航路徑。本文方案的主要創(chuàng)新點在于：

1)利用圖論技術(shù)，基于像素點之間的相關(guān)性權(quán)重來對圖像進行分割，使本方案不需要大量的先驗知識進行訓練，且具有較高的分割精度。

2)在分割圖像后，采用Canny算子對區(qū)域邊界進行檢測，并進行了平滑濾波處理，以此使后續(xù)基于Hough變換的邊界線提取更為精確。

1 果園機器人導航方案

本文基于彩色圖像的分割、邊緣檢測和邊界線提取來確定移動機器人在果園中的行進路徑。本文方案的流程如圖1所示。其主要分為4個步驟：①基于均值偏移算法的聚類；②基于圖論的圖像分割；③基于Canny算子的區(qū)域邊緣檢測與濾波；④基于Hough變換的邊界線提取。

1.1 基于均值偏移算法的像素點聚類

本文基于均值偏移算法[8]對原始圖像進行像素聚類，消除圖像中像素的多樣化，以便于之后的圖像分割。

(1)

因此，核密度估計值為

(2)

均值偏移向量為

(3)

圖像聚類過程在集群像素中進行處理，而不是直接處理每個像素，以此來減少計算時間，能夠有效提高圖像處理的速度和效率。圖2為一張大小為640×480像素的典型果園圖像，圖3為該圖像的聚類輸出。

圖1 提出方案的流程圖

圖2 典型的果園場景圖像

圖3 基于均值偏移聚類后的圖像

1.2 基于圖論的圖像分割

本文采用基于圖論[10]的圖像分割算法對像素聚類后的圖像進行分割。在圖論分割技術(shù)中，每個像素視為圖論網(wǎng)絡(luò)的一個節(jié)點，且相鄰節(jié)點通過一個鏈路(邊)連接到一起。每一個邊都有一個權(quán)重值，這個權(quán)重值定義了兩個節(jié)點之間的相似性或相異性。圖分割使圖節(jié)點分組為具有高相似性的組內(nèi)節(jié)點和具有低相似性的組外節(jié)點集合。

(4)

在進行圖像分割前，需要將兩個節(jié)點集之間的相關(guān)性值進行歸一化，表達為

(5)

(6)

這樣，就可以將圖像分割成k個區(qū)域類別。本文中，考慮使用3種類別(k=3)，即地面、樹木和天空。分割后的果園圖像如圖4所示。

圖4 基于圖論技術(shù)的圖像分割

1.3 基于Canny算子的邊緣檢測和濾波

在這個階段，首先將分割后的圖像轉(zhuǎn)換為灰度圖像，如圖5所示。這是因為灰度圖像更容易選擇出用于提取邊界線的主要類別區(qū)域。由于本文應(yīng)用于機器人導航，所以主要類別區(qū)域為地面。

然后，選擇圖像中底部中心位置(即機器人位置)的像素點為基準，并與其它像素點進行比較，只保留具有相同顏色代碼的像素，以此提取出特定類(地面)圖像輪廓，結(jié)果如圖6所示。最后，將該類圖像轉(zhuǎn)換成一個二值黑白圖像。為了使Hough變換能夠更好地提取地面和樹木之間的邊界線。本文使用Canny算子[11]在二值圖像上進行邊緣檢測，減少圖像中的噪聲點，提高邊緣檢測的準確性。邊緣檢測中，首先利用一階微分濾波器與二值圖像進行卷積，濾去毛刺點，對圖像進行平滑；然后，計算圖像梯度的局部最大值，以此來確定圖像的邊緣，結(jié)果如圖7所示。

圖5 轉(zhuǎn)換分割圖像為灰度圖像

圖6 提取出所需的特定類圖像

圖7 邊緣檢測后的二值圖像

1.4 基于Hough變換的邊界線提取

本文在邊緣檢測后的二值圖像基礎(chǔ)上，利用Hough變換[12]來提取樹木和地面之間的邊界直線。Hough變換是利用圖像全局特征將邊緣像素連接起來組成區(qū)域邊界的一種方法。其將笛卡爾空間中直線檢測問題轉(zhuǎn)換到參數(shù)空間中對點的檢測問題，以此來提取圖像中的邊界直線。Hough變換能很好地應(yīng)對由于噪音而造成線條中斷情況。

Hough變換的輸出結(jié)果是一個包含參數(shù)角度θ和位移ρ的二維矩陣。矩陣中，每個元素定義了一個值，該值等于以一個特定角度位于直線上的點的數(shù)量，所以最大值將是最高的直線，這個直線就是地面和樹木之間的邊界線。在果園二值圖像上應(yīng)用Hough變換后的結(jié)果如圖8所示。

根據(jù)提取的邊界線生成一條中心線，作為導航路徑，即圖像底部中心點(機器人的位置)到兩個提取線的交點的直線，如圖9所示。根據(jù)所生成的路徑和其它信息來源(GPS、指南針或其它工具)的信息，移動機器人計算中間點，以糾正其軌跡，并且在果園中自主導航。

圖8 Hough變換提取的地面與樹木間的邊界線

圖9 從機器人位置到兩條邊界線交點的最優(yōu)軌跡路徑

2 實驗及分析

2.1 圖像采集和實驗設(shè)備

本文利用單攝像機在一片果園中拍攝了一組不同場景的圖像，并將圖像分辨率歸一化為640×480，以此作為實驗數(shù)據(jù)集。各種實驗在配置有Intel? CoreTMi7-4770 CPU、 3.40 GHz主頻和16 GB RAM內(nèi)存的計算機上執(zhí)行，仿真平臺為MatLab R2014。

2.2 性能驗證

為了進行性能測試，除了上述典型圖像外，還拍攝了兩種不同類型環(huán)境下的果園圖像：第1張為具有不規(guī)范的樹木和土壤地面的果園，如圖10(a-1)所示；第2張為具有綠色草地和不規(guī)范樹木結(jié)構(gòu)的果園，如圖10(b-1)所示。

在第1張圖像中，由于果園結(jié)構(gòu)不規(guī)則，所以其分割效果不如經(jīng)典圖像理想；但分割圖像在進行濾波和優(yōu)化后，經(jīng)過Hough變換提取邊界線生成的中心線還是很好的。第2張圖是一種結(jié)構(gòu)不太好的果園，但它的果園類別區(qū)域被很好的分割 ，通過后期處理，它提取的路徑依然很好。

圖10 不同果園圖像上的實驗結(jié)果

2.3 性能比較

將本文方案與文獻[7]方案進行比較。文獻[7]中方案中，通過多層前饋神經(jīng)網(wǎng)絡(luò)(MFNN)分割果園圖像，然后經(jīng)過濾波操作和Hough變換提取邊界線。雖然MFNN分類器具有很好的分割性能，但其需要在大量不同類型的樣本上進行訓練。訓練階段非常耗時，且對于每個特定類型的環(huán)境，都需要大量訓練樣本。在實際應(yīng)用中，果園環(huán)境變化性很大，很難預(yù)先采集相應(yīng)圖像樣本用于訓練；而本方案是一種無監(jiān)督的方案，不需要訓練數(shù)據(jù)。

兩種方法的結(jié)果如圖11(a)和圖11(b)所示。

圖11 本文方案(a)和文獻[7]方案(b)的結(jié)果對比

由此可以看出：由于兩種方法采用的圖像分割技術(shù)不同，致使圖像分割的結(jié)果不同。另外，由于Hough變換分界線提取直接與圖像分割相關(guān)，所以兩者獲得的運動軌跡也不同，但都能很好地引導機器人正常移動。這表明了本文方案能夠獲得與復(fù)雜的MFNN方案類似的性能，但本文方案不需要先驗知識，大大提高了實際應(yīng)用能力。

3 結(jié)論

提出了一種新的基于視覺的果園移動機器人導航方案，通過均值偏移聚類和圖論技術(shù)對果園圖像進行了很好的分割，應(yīng)用Canny算子優(yōu)化了所需區(qū)域圖像的邊界，最后通過Hough變換提取果園圖像中地面與果樹之間的分界線，并在此基礎(chǔ)上生成最優(yōu)路徑。實驗結(jié)果表明：所提出方案能夠很好地應(yīng)用在果園移動機器人中。

在未來工作中，將進一步改善本文圖像分割技術(shù)，使其能夠應(yīng)對不同的果園環(huán)境和照明變化，提高方案的可靠性和魯棒性。

[1] 姬江濤, 鄭治華, 杜蒙蒙,等. 農(nóng)業(yè)機器人的發(fā)展現(xiàn)狀及趨勢[J].農(nóng)機化研究, 2014, 36(2): 1-4.

[2] 薛金林, 張順順. 基于激光雷達的農(nóng)業(yè)機器人導航控制研究[J].農(nóng)業(yè)機械學報, 2014, 45(9):55-60.

[3] Hajjaj S S H,Sahari K S M.Review of Research in the Area of Agriculture Mobile Robots[J].Lecture Notes in Electrical Engineering, 2014, 29(1): 107-117.

[4] English A, Ross P, Ball D, et al. Vision based guidance for robot navigation in agriculture[C]// IEEE International Conference on Robotics and Automation. Guangzhou:IEEE, 2014:1693-1698.

[5] 楊福增, 劉珊, 陳麗萍,等. 基于立體視覺技術(shù)的多種農(nóng)田障礙物檢測方法[J].農(nóng)業(yè)機械學報, 2012, 43(5):168-172,202.

[6] Qin C, Du Q, Tian L, et al. The control system design of automatic weeding robot based on visual navigation[C]// IEEE International Conference on Robotics and Biomimetics. Guangzhou: IEEE,2012:956-961.

[7] Torressospedra J, Nebot P. A new approach to visual-based sensory system for navigation into orange groves.[J].Sensors, 2011, 11(4):4086-4103.

[8] 楊曉, 盧惠民, 張輝. 基于均值偏移的戶外圖像快速分割算法[J].計算機應(yīng)用研究, 2012, 29(2):793-796.

[9] Deng C, Li S, Bian F, et al. Remote Sensing Image Segmentation Based on Mean Shift Algorithm with Adaptive Bandwidth[J].Communications in Computer & Information Science, 2015, 48(2):179-185.

[10] 耿永政, 陳堅. 結(jié)合圖論的JSEG彩色圖像分割算法[J].計算機技術(shù)與發(fā)展, 2014, 24(5):15-19.

[11] 拓小明, 李云紅, 劉旭,等. 基于 Canny 算子與閾值分割的邊緣檢測算法[J].西安工程大學學報, 2014, 28(6): 745-749.

[12] 張勤, 黃小剛, 李彬. 基于彩色模型和近鄰法聚類的水田秧苗列中心線檢測方法[J].農(nóng)業(yè)工程學報, 2012, 28(17): 163-171.

Autonomous Navigation System for Orchard Working Robot Based on Image Boundary Extraction

Ye Xiaoqin1, Chen Chao2

(1.Department of Electronic & Information Engineering, Sichuan Engineering Vocational Technical College, Deyang 618000, China; 2.School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 611731, China)

For the issue that the autonomous navigation of agricultural mobile robots in the orchard, An autonomous navigation system based on image boundary extraction is proposed. Firstly, the scene images of the orchard were collected by the camera, and the pixels in the image were clustered by mean shift algorithm. Then, the image segmentation algorithm based on graph theory is used to segment the image according to the predefined categories. After that, the image area of the desired class is extracted, and the edge of the region image is detected and filtered by the Canny operator. Finally, Hough transform is used to extract the boundary line of the region, so as to obtain the robot's travel route. Experimental results show that the proposed scheme can obtain the optimal route quickly and efficiently without need of prior knowledge.

orchard robot; autonomous navigation; image partitioning; image boundary extraction; hough transform

2016-07-17

四川省科技廳計劃項目(2015JY0178)

葉小琴(1979-)，女，四川德陽人，講師，碩士，(E-mail)yexiaoqinsc@126.com。

S24；TP391.41

A

1003-188X(2017)08-0202-05