基于雙目視覺的香蕉園巡檢機器人導航路徑提取方法

張振乾，李世超，李晨陽，曹如月，張 漫，李 寒，李修華

基于雙目視覺的香蕉園巡檢機器人導航路徑提取方法

張振乾1，李世超2，李晨陽1，曹如月1，張 漫1※，李 寒2，李修華3

（1. 中國農業(yè)大學現代精細農業(yè)系統集成研究教育部重點實驗室，北京 100083；2. 中國農業(yè)大學農業(yè)農村部農業(yè)信息獲取技術重點實驗室，北京 100083； 3. 廣西大學電氣工程學院，南寧 530004）

為實現移動機器人香蕉園巡檢自動導航，研究提出了一種基于雙目視覺的香蕉園巡檢路徑提取方法。首先由機器人搭載的雙目相機獲取機器人前方點云，進行預處理后對點云感興趣區(qū)域進行二維投影并將投影結果網格化，得到網格地圖；然后采用改進的K-means算法將道路兩側香蕉樹分離，其中初始聚類中心通過對網格地圖進行垂直、水平投影以及一、二階高斯擬合確定；最后基于最小包圍矩形提取導航路徑，將道路兩側網格以最小矩形框包圍，提取兩包圍框中間線作為期望導航路徑。測試結果表明，改進的K-means算法聚類成功率為93%，較傳統方法提高了12個百分點；導航路徑提取平均橫向偏差為14.27 cm，平均航向偏差為4.83°，研究方法可為香蕉園巡檢機器人自動導航提供支持。

機器人；機器視覺；香蕉園；巡檢；路徑提取

0 引 言

香蕉是重要水果之一，中國作為傳統香蕉生產大國，香蕉產量常年位居世界前列，并且近年來產業(yè)處于持續(xù)增長態(tài)勢[1-2]。長期以來，香蕉園工作以人工為主，屬于勞動密集型工作，強度極大，工作環(huán)境濕熱[3]。隨著城市化的推進和人口老齡化問題加深，香蕉種植采摘工作人力成本不斷升高，傳統作業(yè)方式已無法滿足現階段生產需要[4]，未來香蕉種植方式應向智能化、無人化方向發(fā)展。

在香蕉種植過程中，需要時刻關注其生長情況、病蟲害、果穗情況等并采取對應管理措施，這直接關系到香蕉產量及品質[5]。傳統管理模式中管理人員需要步行或駕駛非機動車在區(qū)域內部進行巡檢，耗費較多人力，因此由巡檢機器人的研發(fā)具有重要意義。實現自動巡檢的前提是香蕉園內機器人導航技術，其中核心是導航路徑提取方法。受香蕉種植工藝影響，香蕉園內存在兩種道路。一是不同種植區(qū)域間的機動車道，可以行駛汽車，二是區(qū)域內部留出的巡檢道路，主要供管理人員駕駛非機動車進行巡檢，無法行駛大型農機。農業(yè)機器人體型較小，行駛靈活，能夠在上述兩種道路上行駛，本文旨在研究一種導航路徑提取方法能夠適應香蕉園內兩種道路。

目前已經有多種技術能夠實現農田環(huán)境下的路徑探測[6-8]?；贕NSS（Global Navigation Satellite System）的農業(yè)導航系統已經廣泛應用，能夠在已知邊界的地塊自動規(guī)劃作業(yè)路徑。對于成熟期香蕉樹，巨大的葉片遮擋了衛(wèi)星信號，測試中發(fā)現在香蕉樹下接收的GNSS信號無法提供高精度導航信息。激光雷達實現了對前方作物的精準探測但是成本較高，另外在存在較多香蕉樹殘茬、枯葉等復雜因素的香蕉園環(huán)境下，激光雷達稀疏的點云給路徑提取帶來了一定困難。視覺傳感器分辨率較高，成本低，在果園環(huán)境下能夠取得較好的效果[9]。因此本研究中香蕉園巡檢機器人采用視覺導航方法。

近年來國內外研究人員已開展了基于視覺的農業(yè)機器人導航路徑提取。Hiremath等基于粒子濾波研究了田間機器人在玉米地內的路徑提取方法[10]。孟慶寬等通過粒子群算法對大豆、小麥、圓白菜作物進行了作物行提取[11]。Zhai等將PCA（Principal Component Analysis）方法和RANSAC（Random Sample Consensus）方法結合，在三維視覺下實現了棉花采摘路徑檢測[12]。王帥先提出了基于單目視覺測量與二維碼標靶相結合的果園機器人視覺導航方法[13]。García-Santillán等研究了基于最小二乘法的路徑提取方法[1415]。王鵬等采用視覺傳感器識別地面導航線和QR（Quick Response）碼實現了溫室內視覺導 航[16]。張雄楚等對單目圖像進行Otsu法二值化和Hough變換實現了紅棗收獲機路徑提取[17]。李秀智等使用RANSAC算法結合最小二乘法針對小麥、花生、玉米、馬鈴薯作物進行了研究[18]。Kim等運用patch-based CNN方法實現了半結構化地面的機器人巡檢路徑檢測[19]。

目前國內外相關研究解決了部分農業(yè)場景下的導航路徑提取問題，但是幾乎沒有涉及香蕉園環(huán)境?，F有研究大多基于單目圖像，過去受相機分辨率和計算機算力的限制，雙目視覺在重建效果和實時性上的不佳表現影響了其應用。隨著GPU（Graphics Processing Unit）技術的發(fā)展，移動機器人可搭載的邊緣計算設備算力逐步提高，為基于雙目視覺技術進行導航路徑快速提取提供了基礎。在對雙目圖像進行三維重建獲取前方作物及地面點云后，通過作物三維點云形態(tài)特征及其與地面的高度差實現作物區(qū)域識別與定位，進而提取可行駛地面區(qū)域及導航路徑[20]。此類方法不受陰影和光線照射角度變化的影響，但只適用于高度上與地面有明顯區(qū)分的作物。對于香蕉園環(huán)境，地面情況復雜不利于基于顏色、紋理的單目圖像檢測方法，香蕉樹和地面具有明顯區(qū)分，立體圖像的優(yōu)點更加凸顯。因此本研究以雙目視覺傳感器為感知設備，研究香蕉園巡檢機器人導航路徑提取方法，使機器人能夠在香蕉園內兩種路徑下實現導航。

1 材料與方法

1.1 巡檢機器人系統總體設計

1.1.1 硬件平臺

巡檢機器人由雙目相機、主控單元和機器人底盤組成，如圖1所示。

圖1 香蕉園巡檢機器人組成

雙目相機選用Stereo Labs公司的ZED雙目相機，水平視場角為90°，垂直視場角為60°，最高支持15 Hz頻率輸出4416×1242（像素）的雙目圖像，通過USB3.0傳輸至主控單元。主控單元選用NVIDIA Jetson Nano開發(fā)板，搭載Tegra X1異構SOC，大小為100 mm×80 mm×29 mm，在Ubuntu 18.04系統下以ROS為導航基礎框架，通過RS-485與底盤進行通信。底盤選用四驅機器人底盤結構件（巨匠機器人有限公司，惠州，中國），如圖2a所示，長414 mm，寬325 mm。底盤控制芯片為STM32單片機，輸出PWM信號通過LS伺服驅動器控制4個GM37-520直流電機實現機器人直線行駛及左右側輪差速轉向。ZED相機在機器人上的安裝效果如圖2b所示，相機固定于球形云臺上，可以較方便調整相機角度。機器人在香蕉園中的數據采集場景如圖2c所示。

圖2 巡檢機器人平臺

1.1.2 導航路徑提取方法

導航路徑提取流程如圖3所示。由ZED相機采集雙目圖像，由Jetson Nano完成提取導航路徑的相關操作。首先對雙目圖像進行三維重建獲取前方作物及地面點云，然后對點云進行坐標系轉換、空間限制等操作完成點云預處理。對預處理后點云進行雙閾值分割，投影至二維平面。然后對投影結果通過改進的K-means聚類分離左右兩側網格，分別用最小矩形框包圍，最后進行導航路徑提取。

圖3 導航路徑提取流程

1.2 點云獲取

由ZED相機獲取行駛方向道路環(huán)境的雙目圖像，如圖4所示。由廠商Stereo Labs提供的SDK部署在Jetson Nano開發(fā)板上，能夠對雙目圖像進行實時三維重建，獲取0.4～40 m深度范圍內的點云。原始點云如圖5a所示，坐標系為三維笛卡爾右手坐標系，方向為機器人橫向，方向為機器人航向，為垂直地面方向，坐標系原點為相機左目。

圖4 香蕉園雙目圖像

因為只需保留前方一定范圍內的道路信息，為減小計算量，對點云進行空間限制，只保留{∈[–10 000 mm, 10 000 mm]，∈[0, 20 000 mm]，∈[–500 mm, 2 000 mm]}范圍內點云的位置信息。為使地面高度置為0，將點云位置在軸方向進行28 cm（相機中心距離地面高度）的補償，并且將點云沿軸進行–6 cm（相機左目到相機中心的距離）補償，將點云坐標系原點從相機左目轉換至相機中心在地面的投影點。預處理后的點云如圖5b所示。

注：坐標原點為相機中心點在地面的投影點。

1.3 雙閾值分割點云

由于預處理后的點云依然包含部分香蕉樹冠及地面壟溝，會對導航路徑提取產生干擾，需要將樹冠及地面點云濾除，只保留香蕉樹干部分作為參考。取20幅圖像進行分析，預處理后的點云高度直方圖如圖6a所示，地面點主要分布在–0.2～0.3 m之間。根據香蕉種植經驗，壟的高度在0.5 m以下，濾除高度低于0.5 m的點云可消除地面高度變化及壟溝帶來的干擾。成熟期香蕉樹1.5 m以上部分主要為葉片，需要將其濾除，因此將高閾值設置為1.5 m。因此高程0.5～1.5 m范圍作為機器人導航路徑提取的感興趣區(qū)域。

將感興趣區(qū)域內點云在--平面上進行投影，得到二維投影結果如圖6b。藍色部分是香蕉樹產生的點云投影，兩側投影中間的為巡檢道路，機器人行駛路徑應在道路中心。

1.4 點云網格化

為減小計算量，對點云投影結果進行網格化，即將一定范圍的點歸入同一個網格。網格設置越大，計算量越小，但是精度越低。綜合考慮計算量和提取精度，根據經驗將網格設置為100 mm×100 mm，點云二維投影結果被分為200×200個網格。香蕉園內存在機動車道和非機動車道兩種道路，對機器人在2種道路下采集的點云分別進行網格化，效果如圖7所示。

圖7 點云投影網格化

1.5 改進的K-means算法聚類

在機器人巡檢過程中，道路左右兩側始終為香蕉樹區(qū)域，將兩側區(qū)域分別識別后可以得到中間的道路范圍，進而提取導航路徑。對于此類問題通常采用聚類方法，K-means算法由于伸縮性好、復雜度低，實際應用較廣，但是存在需要人為預先設定期望的簇數量（值）、對初始聚類中心敏感、只能得到局部最優(yōu)解的不足。在香蕉園巡檢導航路徑檢測任務中，道路左右兩側分別為一個類別，因此簇數目可以確定為2。若能夠指定較準確的初始聚類中心，一方面可以提高聚類成功率，避免陷入局部最優(yōu)解，另一方面可以提升聚類速度。傳統K-means算法初始聚類中心為隨機生成，在此提出了可以自動判斷合適的初始聚類中心的改進的K-means算法。由于道路兩側香蕉樹分為2簇，簇中心應位于點云網格分布較為密集的位置范圍，通過投影和高斯擬合計算點云網格在畫面中的分布情況可近似得到較接近真實中心的初始聚類中心。改進的K-means算法流程如圖8所示。

圖8 改進的K-means聚類流程

以圖7a為例進行改進的K-means聚類。首先按式（1）對網格地圖進行垂直投影。

式中()表示第列的投影結果；(,)表示第行第列網格的值，值為0代表該網格中沒有點云，值為1代表存在點云。投影結果如圖9a所示，橫坐標為列號，縱坐標為該列的非空白網格的數量。由圖可知，投影結果明顯分為左右兩部分。中間投影結果為0的部分對應沒有作物存在的道路位置。兩側香蕉樹點云網格的垂直投影存在明顯的峰值。投影結果近似呈雙峰分布，峰值代表在水平方向上網格最集中的位置，通過對投影結果進行擬合，求擬合曲線極大值點來求得峰值橫坐標，將其作為初始聚類中心的橫坐標。對垂直投影結果進行二階高斯擬合，得到擬合曲線如式（2）。

式中1，1，1，2，2，2為擬合參數，擬合曲線如圖9a中紅色曲線所示。將擬合曲線的兩個極大值點的橫坐標1，2作為兩個初始聚類中心橫坐標。

以式（3）作為分界線將網格地圖初步劃分為左、右兩個區(qū)域，將道路兩側的網格分離，式中c表示分界線橫坐標。按式（4）～（5）分別對左、右兩個區(qū)域進行水平投影，并對投影結果進行一階高斯擬合，式中(L)表示左側區(qū)域第行的水平投影結果，(R)表示右側區(qū)域第行的水平投影結果；(,)表示第行第列網格的值。結果如圖9b、9c所示，橫坐標為行號，縱坐標為該行的非空白網格的數量。左、右側區(qū)域在豎直方向上網格集中在圖9b、9c擬合曲線峰值附近。因此將圖9b、9c擬合曲線的極大值點分別作為左、右兩側初始聚類中心的縱坐標。

至此，通過以上計算得到兩側網格最為集中的位置。以該位置作為初始聚類中心，然后計算各網格到聚類中心的歐氏距離并將各網格歸入距離最近的聚類中心，所有網格被分類到兩個簇中，計算簇質心作為新的聚類中心。不斷重復以上過程直至質心不再發(fā)生變化。對兩類道路的聚類效果如圖10所示。

圖9 網格地圖投影結果與高斯擬合曲線

圖10 機動車道和非機動車道點云網格聚類效果

1.6 基于最小包圍矩形的路徑提取

將左右兩側點云網格分離后，為獲取兩側香蕉樹中間的道路范圍，對每一簇網格以最小矩形框進行包圍，具體計算流程如圖11所示。

圖11 最小包圍矩形計算流程

兩包圍框中間區(qū)域即為道路，將兩包圍框靠近中心線一側的邊的延長線作為路徑參考邊緣，兩條延長線的中心線作為導航路徑。2種道路的包圍框和導航路徑提取效果如圖12所示。

2 結果與分析

在香蕉園中對路徑檢測方法進行驗證。試驗時間為2021年4月14日至4月17日。試驗地點是位于廣西壯族自治區(qū)崇左市扶綏縣的廣西亞熱帶農科新城，該基地共種植香蕉130余公頃，第一代苗于2018年末種植，品種為威廉斯B6，種植株間距為2.5 m，試驗時已生長至第三代。香蕉園內存在不同種植區(qū)域間的機動車道以及區(qū)域內部留出的供管理人員巡檢的非機動車道。在香蕉園內機動車道和非機動車道上手動控制機器人進行巡檢作業(yè)，巡檢過程中通過基于編碼器的里程計監(jiān)測作業(yè)速度，保持行駛速度為0.2 m/s，同時通過ZED雙目相機以1 Hz頻率對機器人前方點云數據進行采集。

2.1 改進的K-means聚類測試與分析

在機動車道和非機動車道巡檢過程中采集的點云圖像中各隨機選取50幅圖像，分別采用傳統K-means方法和改進的K-means方法進行聚類測試。采用傳統K-means方法聚類成功率平均為81%，其中機動車道的50幅圖像中的45幅聚類成功；非機動車道的50幅圖像中的36幅圖像聚類成功。采用改進的K-means方法聚類成功率平均為93%，較傳統K-means方法提高了12個百分點，其中機動車道的50幅圖像中49幅圖像聚類成功，非機動車道的50幅圖像中的44幅圖像聚類成功。

改進的K-means聚類方法在機動車道環(huán)境中聚類效果較好，聚類失敗大部分發(fā)生在非機動車道環(huán)境。主要原因是非機動車道較窄并且遠端點云簇稀疏，在路邊枯葉、分生幼苗等因素的干擾下，兩側點云距離過近導致被歸為一類。下一步將根據香蕉園道路點云特征研究新的聚類方法以進一步提升聚類成功率。

2.2 導航路徑提取測試與分析

將本文方法提取的路徑與人工標注的路徑進行對比。機器人期望路徑應為道路中線，道路邊界可由兩側香蕉樹位置確定。因此標注道路兩側香蕉樹位置可計算得到道路中心線位置。以圖6為例，人工標注期望導航路徑的方法如下：

1）在原始點云中香蕉園巡檢道路左側與右側邊界各人工標注5個特征點，記錄其在––平面的坐標，結果如表1所示。

表1 人工標注特征點坐標

2）將左右兩側特征點以最小二乘法擬合為道路邊界線，得到左、右側邊界描述方程，如式（6）～（7）。

left=31.695 7+124.920 6 （6）

right=108.237 8–258.144 8 （7）

3）求解左右邊界線的中心線，得到期望導航路徑如式（8）。

=49.048+38.080 4 （8）

導航路徑提取結果如圖13所示，紅線為人工標注的導航路徑，藍線為提取的導航路徑。對改進的K-means聚類測試中聚類成功的93幅圖像進行測試，統計方向0～2 m范圍的導航路徑平均橫向距離偏差和航向角偏差，得到導航路徑平均橫向偏差為14.27 cm，平均航向角度偏差為4.83°。

圖13 人工標注與本研究提取的導航路徑對比

由測試結果可知，導航路徑平均偏差較大，一方面是網格化降低了提取精度，另一方面是因為道路兩側的香蕉樹并不是嚴格沿道路邊排列，同時在道路邊分生的香蕉幼苗也對最小包圍框產生了干擾。下一步將減小點云網格面積，并采用RANSAC方法提取道路地面點云生成導航路徑，與本方法提取的路徑進行融合，提高路徑檢測精度。

3 結 論

本研究針對香蕉園環(huán)境提出了一種巡檢機器人導航路徑提取方法，該方法在一定程度上能適應香蕉園內兩種不同路徑。提出了一種改進的K-means聚類方法，以投影結合高斯擬合確定初始聚類中心，在兩種道路樣本范圍內聚類成功率為93%，相較傳統K-means算法提高了12個百分點。提出了一種基于最小包圍矩形的路徑檢測方法，以兩矩形框靠中心側邊的中心線作為參考導航路徑，在0～2 m范圍提取路徑平均橫向偏差為14.27 cm，平均航向偏差為4.83°。測試結果表明，本研究能夠為香蕉園巡檢機器人提供一定支持。

[1] 劉以道，張慧堅. 世界香蕉產業(yè)發(fā)展概況及發(fā)展趨勢[J]. 世界農業(yè)，2013(10)：76-79.

[2] 凌榮娟. 廣西香蕉產業(yè)發(fā)展現狀與對策研究[D]. 南寧：廣西大學，2018.

Ling Rongjuan. Research on Present Situation and Countermeasures of Banana Industry Development in Guangxi[D]. Nanning: Guangxi University, 2018. (in Chinese with English abstract)

[3] 李斌，王先敬，劉碧光. 香蕉栽培技術[J]. 現代園藝，2017，(1)：43-44.

[4] 蘇繼龍，劉遠力，吳金東. 香蕉采摘機械的研究現狀與發(fā)展趨勢[J]. 中國農業(yè)大學學報，2019，24(7)：131-137.

Su Jilong, Liu Yuanli, Wu Jindong. Research status and development trend of banana picking machine[J]. Journal of China Agricultural University, 2019, 24(7): 131-137. (in Chinese with English abstract)

[5] 高廣平，易干軍，魏岳榮. 香蕉栽培管理技術研究概況[J]. 中國農學通報，2010，26(10)：337-342.

[6] Roshanianfard A, Noguchi N, Okamoto H, et al. A review of autonomous agricultural vehicles (The experience of Hokkaido University)[J]. Journal of Terramechanics, 2020, 91: 155-183.

[7] 張漫，季宇寒，李世超，等. 農業(yè)機械導航技術研究進展[J]. 農業(yè)機械學報，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18.(in Chinese with English abstract)

[8] Ball D, Ross P, English A, et al. Farm workers of the future: Vision-based robotics for broad-acre agriculture[J]. IEEE Robotics & Automation Magazine, 2017, 24(3): 97-107.

[9] Radcliffe J, Cox J, Bulanon D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.

[10] Hiremath S, Van Evert F, Braak C, et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering, 2014, 121: 85-95.

[11] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農業(yè)機械導航路徑識別[J]. 農業(yè)機械學報，2016，47(6)：11-20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11-20. (in Chinese with English abstract)

[12] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.

[13] 王帥先. 基于農業(yè)機器人試驗平臺的郁閉型果園視覺導航系統研究[D]. 楊凌：西北農林科技大學，2017.

Wang Shuaixian. Research on Visual Navigation System in Canopy Orchard Based on Agricultural Robot Test Platform[D]. Yangling: Northwest A&F University, 2017. (in Chinese with English abstract)

[14] García-Santillán I, Guerrero J M, Montalvo M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19(1): 18-41.

[15] 李云伍，徐俊杰，王銘楓，等. 丘陵山區(qū)田間道路自主行駛轉運車及其視覺導航系統研制[J]. 農業(yè)工程學報，2019，35(1)：52-61.

Li Yunwu, Xu Junjie, Wang Mingfeng, et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 52-61. (in Chinese with English abstract)

[16] 王鵬，耿長興，王蓬勃. 設施農業(yè)噴霧機器人的組合視覺導航方法[J]. 江蘇大學學報：自然科學版，2019，40(3)：307-312.

Wang Peng, Geng Zhangxing, Wang Pengbo. Visual navigation method of agro-spraying robot based on navigation line and QR code combination[J]. Journal of Jiangsu University : Natural Science Edition, 2019, 40(3): 307-312. (in Chinese with English abstract)

[17] 張雄楚，陳兵旗，李景彬，等. 紅棗收獲機視覺導航路徑檢測[J]. 農業(yè)工程學報，2020，36(13)：133-140.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract)

[18] 李秀智，彭小彬，方會敏，等. 基于RANSAC算法的植保機器人導航路徑檢測[J]. 農業(yè)機械學報，2020，51(9)： 40-46.

Li Xiuzhi, Peng Xiaobin, Fang Huimin, et al. Navigation path detection of plant protection robot based on RANSAC algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 40-46. (in Chinese with English abstract)

[19] Kim W, Lee D, Kim Y, et al. Path detection for autonomous traveling in orchards using patch-based CNN[J]. Computers and Electronics in Agriculture, 2020, 175: 105620.

[20] Kneip J, Fleischmann P, Berns K . Crop edge detection based on stereo vision[J]. Robotics and Autonomous Systems, 2020, 123: 103323.

Navigation path detection method for a banana orchard inspection robot based on binocular vision

Zhang Zhenqian1, Li Shichao2, Li Chenyang1, Cao Ruyue1, Zhang Man1※, Li Han2, Li Xiuhua3

(1.100083; 2.100083,; 3.530004)

Banana is one of the most important fruits. A non-motorized vehicle can often be driven to inspect an orchard during the traditional planting management. However, the labor-intensive and time-consuming mode cannot fully meet the large-scale production in modern agriculture. Alternatively, it is very necessary to develop inspection robots with automatic navigation for banana orchards, particularly on the detection of navigation paths in a complex field. In this study, a navigation path detection was proposed to realize the automatic inspection in a banana orchard using binocular vision of mobile robots. The inspection robot also consisted of a binocular camera, a main control unit, and a robot chassis. The specific procedure was as follows. 1) The binocular images were acquired to reconstruct in three dimensions using the ZED camera mounted on the mobile robot. Then, the point cloud was preprocessed, including the coordinate system conversion and space limit. After that, the point cloud was segmented by double thresholds. Specifically, the height of the point cloud was obtained for the banana trees, where the heights of ground points were mainly distributed below 0.5 m, and those of leaves were above 1.5 m. Therefore, the height range of 0.5～1.5 m was selected as the region of interest (ROI) of the point cloud in the navigation path detection. 2) The ROI region was projected onto a two-dimensional plane. The projection of the point cloud was also gridded to reduce the amount of calculation. A traditional K-means clustering was improved, according to the grid’s distribution of banana trees. The initial centers of the cluster were also determined to improve the clustering effect using the vertical and horizontal projection of the grid map, together with the first and the second order Gaussian fitting. Specifically, the grid map was first projected vertically, thereby to be fitted using the second-order Gaussian curve. Among them, the-axis for the two maximum points of the fitted curve was taken as the-axis for the two initial centers of the cluster. The grid map was then divided into two areas on the left and right by the center line of two-axes. After that, a horizontal projection was performed on the two regions, further to be fitted by the first-order Gaussian curve. The maximum points of two curves were selected as the coordinates of the initial cluster centers on the left and right areas. A calculated position was utilized as the initial clustering center. The grids of banana trees on both sides of the road were also divided into two clusters using the K-means clustering. Correspondingly, the clusters were surrounded by the smallest rectangular boxes. The middle line of the two boxes was detected as the navigation path. 3) The path detection was tested in the banana orchards. The robot was manually controlled to perform the inspection operations on the motorized and non-motorized lanes in the banana garden, while the point cloud images in the front were acquired simultaneously. The point cloud images were used to test the path detection. The results showed that the clustering success rate of the improved K-means clustering was 93%, compared with the traditional one of 81%. The positions on the edge of banana trees near the road were also labeled manually. The least square method was then utilized to fit the positions for the road boundary line. The center line of the left and right boundary lines was taken as the desired navigation path. The 93 clustered images were tested successfully by the improved K-means. Consequently, the path extraction demonstrated that the average distance deviation of the navigation path within 2 m was 14.27 cm, and the average angle deviation was 4.83°, compared with the manually labeled path. The findings can provide strong support to the automatic navigation of inspection robots in a banana orchard.

robots; machine vision; banana orchard; inspection; path extraction

10.11975/j.issn.1002-6819.2021.21.002

S24

A

1002-6819(2021)-21-0009-07

張振乾，李世超，李晨陽，等. 基于雙目視覺的香蕉園巡檢機器人導航路徑提取方法[J]. 農業(yè)工程學報，2021，37(21)：9-15.doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

Zhang Zhenqian, Li Shichao, Li Chenyang, et al. Navigation path detection method for a banana orchard inspection robot based on binocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 9-15. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

2021-05-15

2021-10-18

廣西創(chuàng)新驅動發(fā)展專項資金（桂科AA18118037）；國家重點研發(fā)計劃（2019YFB1312305）；中國農業(yè)大學建設世界一流大學（學科）；特色發(fā)展引導專項資金（2021AC006）

張振乾，博士生，研究方向為農業(yè)機器人自主導航技術。Email：cauzzq@126.com

張漫，教授，博士，研究方向為精細農業(yè)及其支持技術。Email：cauzm@cau.edu.cn