采用改進(jìn)Unet網(wǎng)絡(luò)的茶園導(dǎo)航路徑識(shí)別方法

趙 巖，張人天，董春旺，劉中原1,，李 楊

采用改進(jìn)Unet網(wǎng)絡(luò)的茶園導(dǎo)航路徑識(shí)別方法

趙 巖1,3，張人天1,2,3，董春旺2，劉中原1,2，李 楊2※

（1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832000；2. 中國農(nóng)業(yè)科學(xué)院茶葉研究所，杭州 310000；3. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，石河子 832000）

針對(duì)目前在茶園壟間導(dǎo)航路徑識(shí)別存在準(zhǔn)確性不高、實(shí)時(shí)性差和模型解釋困難等問題，該研究在Unet模型的基礎(chǔ)上進(jìn)行優(yōu)化，提出融合Unet和ResNet模型優(yōu)勢的Unet-ResNet34模型，并以該模型所提取的導(dǎo)航路徑為基礎(chǔ)，生成路徑中點(diǎn)，通過多段三次B樣條曲線法擬合中點(diǎn)生成茶園壟間導(dǎo)航線。該研究在數(shù)據(jù)增強(qiáng)后的茶園壟間道路訓(xùn)練集中完成模型訓(xùn)練，將訓(xùn)練完成的模型在驗(yàn)證集進(jìn)行導(dǎo)航路徑識(shí)別，根據(jù)梯度加權(quán)類激活映射法解釋模型識(shí)別過程，可視化對(duì)比不同模型識(shí)別結(jié)果。Unet-ResNet34模型在不同光照和雜草條件下導(dǎo)航路徑分割精度指標(biāo)平均交并比為91.89%，能夠?qū)崿F(xiàn)茶園壟間道路像素級(jí)分割。模型處理RGB圖像的推理速度為36.8 幀/s，滿足導(dǎo)航路徑分割的實(shí)時(shí)性需求。經(jīng)過導(dǎo)航線偏差試驗(yàn)可知，平均像素偏差為8.2像素，平均距離偏差為0.022 m，已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%。茶園履帶車行駛速度在0～1 m/s之間，單幅茶壟圖像平均處理時(shí)間為0.179 s。研究結(jié)果能夠?yàn)椴鑸@視覺導(dǎo)航設(shè)備提供技術(shù)和理論基礎(chǔ)。

導(dǎo)航；深度學(xué)習(xí)；茶園可視化；路徑識(shí)別；語義分割；樣條曲線擬合

0 引 言

中國是世界上最大的茶葉種植、消費(fèi)、出口國之一，茶產(chǎn)業(yè)已成為茶區(qū)推進(jìn)鄉(xiāng)村振興戰(zhàn)略和實(shí)現(xiàn)共同富裕的支柱產(chǎn)業(yè)。近年來，城鄉(xiāng)人口逐步向城市轉(zhuǎn)移，農(nóng)業(yè)勞動(dòng)力老齡化趨勢明顯，面對(duì)茶業(yè)生產(chǎn)“機(jī)器換人”發(fā)展的迫切需求，急需開展以精準(zhǔn)、智能為導(dǎo)向的茶園裝備研究[1]。隨著智能農(nóng)機(jī)裝備導(dǎo)航技術(shù)不斷發(fā)展，機(jī)器視覺和衛(wèi)星定位導(dǎo)航技術(shù)逐漸成為主流[2]。衛(wèi)星導(dǎo)航系統(tǒng)適用于大田壟間種植距離較寬的場景，機(jī)器視覺導(dǎo)航技術(shù)符合茶園行間距較窄的環(huán)境，能夠?yàn)椴鑸@智能履帶車提供實(shí)時(shí)路徑信息[3-4]。已有學(xué)者針對(duì)傳統(tǒng)機(jī)器視覺路徑導(dǎo)航技術(shù)開展了研究，Montalvom等[5]為了區(qū)分樹冠與天空，提取圖像中不同的G值，擬合桃樹行中心線為導(dǎo)航路徑。張成濤等[6]通過Cg分量灰度化彩色圖像，進(jìn)而利用改進(jìn)遺傳算法和線性相關(guān)系數(shù)約束法檢測作物行直線，導(dǎo)航跟蹤試驗(yàn)表明，其橫向偏差分別小于33和12 mm，但后者算法檢測導(dǎo)航線耗時(shí)較長。關(guān)卓懷等[7]運(yùn)用2R-G-B綜合閾值算法進(jìn)行圖像二值化處理，并采用多段三次B樣條曲線擬合水稻收獲區(qū)域的邊緣。傳統(tǒng)機(jī)器視覺圖像處理算法因人工選擇顏色、紋理等特征，會(huì)產(chǎn)生較大局限性，通常只適合特定環(huán)境識(shí)別路徑，在復(fù)雜環(huán)境中泛化能力不強(qiáng)，在茶園行間復(fù)雜環(huán)境中仍存在識(shí)別困難的問題[8-10]。同時(shí)，履帶車在茶園前進(jìn)過程中需根據(jù)道路情況實(shí)時(shí)進(jìn)行調(diào)整，因此對(duì)圖像數(shù)據(jù)的實(shí)時(shí)處理速度提出較高要求[11]。

近年來，深度學(xué)習(xí)在機(jī)器視覺導(dǎo)航領(lǐng)域得到廣泛應(yīng)用[12]，尤其是全卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在各類非結(jié)構(gòu)化的農(nóng)業(yè)道路識(shí)別場景中[13-15]，并實(shí)現(xiàn)較好的識(shí)別效果。李云伍等[16]使用全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）在丘陵檢測田間道路，道路分割平均交并比（Mean Intersection over Union，MIoU）為0.732。Lin等[17]在全卷積網(wǎng)絡(luò)（FCN）的基礎(chǔ)上運(yùn)用E-Net模型完成茶行蓬面像素分割，茶行分割平均交并比（MIoU）為0.734，利用Hough變換擬合茶行輪廓中心線，為跨行乘坐式采茶機(jī)提供實(shí)時(shí)導(dǎo)航。韓振浩等[18]基于U-Net語義分割模型獲取果園道路信息，使用掃描法獲取邊緣點(diǎn)并生成道路中點(diǎn)，最終運(yùn)用多段三次B樣條曲線擬合果園導(dǎo)航線。果園道路在不同光照下交并比（MIoU）為89.52%、86.45%、86.16%，道路實(shí)際平均距離誤差為0.044 m。饒秀勤等[19]提出基于Unet網(wǎng)絡(luò)剪枝后的Fast-Unet模型，模型在導(dǎo)航路徑精確度變化不大的情況下，進(jìn)一步提升了推理速度。上述基于深度學(xué)習(xí)算法的不同農(nóng)田道路場景分割試驗(yàn)為本研究思路的提出提供了較好的借鑒。

目前茶園道路導(dǎo)航線識(shí)別方法依然有以下問題：1）采用傳統(tǒng)圖像處理算法易受復(fù)雜環(huán)境和光照變化等因素的干擾，精確性不高；2）由于茶樹低矮，較難識(shí)別樹干等特征，茶園道路不規(guī)則等問題，采用垂直投影法、最小二乘法等直線擬合方法不適合曲線路徑檢測?；谏鲜鰡栴}，該研究提出Unet-ResNet34實(shí)時(shí)茶園道路語義分割模型，實(shí)現(xiàn)圖像中茶園壟間道路像素級(jí)分割，生成道路對(duì)應(yīng)的掩碼區(qū)域；通過掃描掩碼圖像獲取兩側(cè)邊緣信息和道路中點(diǎn)，并利用多段三次B樣條曲線擬合茶園導(dǎo)航路徑。本研究為解決茶園復(fù)雜環(huán)境、路徑不規(guī)則的問題提供參考。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集構(gòu)建

數(shù)據(jù)采集地點(diǎn)位于浙江省杭州市中國農(nóng)業(yè)科學(xué)院茶葉研究所龍井種植園，茶樹品種為龍井43、中茶108和白葉1號(hào)，拍攝時(shí)間為2021年10月1日至11月1日，拍攝條件包括不同光照強(qiáng)度（強(qiáng)光、弱光）、不同雜草密度（雜草茂密、雜草稀疏）、不同雜草種類和葉片遮擋等情況。

使用履帶式底盤模擬機(jī)具作業(yè)狀態(tài)，車頂搭載Intel公司的D455深度相機(jī)采集道路信息，視頻數(shù)據(jù)存入筆記本電腦中。相機(jī)通過云臺(tái)安裝于底盤前端，向下傾斜15°，拍攝方向?yàn)樾凶呗肪€正前方。底盤前進(jìn)速度約為1.2 m/s，圖像分辨率為1 920×1 080像素。隨機(jī)選取1 824幅圖像用于茶園壟間道路數(shù)據(jù)集制作，數(shù)據(jù)集按4∶1劃分為訓(xùn)練集和驗(yàn)證集，其中1 568幅為訓(xùn)練集，256幅為驗(yàn)證集。本文采用Matlab 2019中Image Labeler人工標(biāo)注茶園壟間道路圖像數(shù)據(jù)，將標(biāo)簽分為2類，分別是茶園壟間道路和背景，將茶園壟間道路進(jìn)行標(biāo)注，背景不做標(biāo)注。不同環(huán)境下茶園壟間道路數(shù)據(jù)集及標(biāo)注結(jié)果如圖1所示。

圖1 不同環(huán)境下茶園道路數(shù)據(jù)集及標(biāo)注結(jié)果

1.2 數(shù)據(jù)增強(qiáng)

為了擴(kuò)大訓(xùn)練樣本的數(shù)據(jù)量，提高模型在復(fù)雜茶園環(huán)境中學(xué)習(xí)的準(zhǔn)確性和泛化能力，本文在訓(xùn)練過程中對(duì)輸入圖像執(zhí)行旋轉(zhuǎn)、亮度變化、顏色變換、對(duì)比度增強(qiáng)和隨機(jī)添加噪聲等方法。在每次訓(xùn)練時(shí)，訓(xùn)練集中的茶園壟間圖片按圖2中的方式進(jìn)行數(shù)據(jù)增強(qiáng)，除模糊方法外，其余方法都會(huì)有80%的概率觸發(fā)。其中，隨機(jī)旋轉(zhuǎn)為在±30°以內(nèi)的任意角度，可模擬茶園行間導(dǎo)航道路的不同方向；亮度變化為在（?32，32）范圍內(nèi)隨機(jī)增加或減小圖像中每個(gè)像素的值來改變圖像的亮度；顏色變換為在HSV顏色空間（?18，18）范圍內(nèi)增加或減小圖像的H通道值來改變色度，并通過對(duì)圖像的S通道乘以一個(gè)系數(shù)（0.5，1.5）中的隨機(jī)值來改變飽和度；對(duì)比度增強(qiáng)為對(duì)圖像中每個(gè)像素的值乘以（0.5，1.5）范圍內(nèi)的任意數(shù)；模糊為隨機(jī)添加均值為0方差為1.0的高斯噪聲，亮度、顏色、對(duì)比度方面的數(shù)據(jù)增強(qiáng)可模擬茶園不同的光照強(qiáng)度和場景。

圖2 數(shù)據(jù)集增強(qiáng)

1.3 評(píng)價(jià)指標(biāo)

在語義分割任務(wù)中，一般從模型精度、推理速度、浮點(diǎn)運(yùn)算次數(shù)（Floating Point Operations，F(xiàn)LOPs）和參數(shù)量等幾個(gè)方面進(jìn)行考量。模型精度估算一般選取平均交并比（Mean Intersection-over-Union，MIoU）和像素準(zhǔn)確率Acc（Pixel accuracy），推理速度代表模型的運(yùn)算速度，浮點(diǎn)運(yùn)算次數(shù)和模型參數(shù)量代表模型的大小和復(fù)雜度。本文茶園壟間道路分割任務(wù)采用的評(píng)價(jià)指標(biāo)主要包括平均交并比MIoU、像素準(zhǔn)確率、型推理速度、浮點(diǎn)運(yùn)算次數(shù)和參數(shù)量。推理速度（inference speed）為模型每秒處理茶園圖片幀數(shù)（Frames Per Second，F(xiàn)PS）。FLOPs是指模型所需的計(jì)算次數(shù)，參數(shù)量是算法在運(yùn)行時(shí)實(shí)際占用計(jì)算機(jī)內(nèi)存資源數(shù)值。

平均交并比（MIoU）是真實(shí)值與預(yù)測值兩個(gè)集合的交集占并集的比例，計(jì)算公式

像素準(zhǔn)確率（Acc）為判斷正確像素?cái)?shù)在圖像總像素?cái)?shù)中占的比值，計(jì)算公式

式中num_pixel是實(shí)際為類且預(yù)測也為類的像素?cái)?shù)，num_pixel是實(shí)際為類但預(yù)測為類的像素?cái)?shù)，num_pixel是實(shí)際為類但預(yù)測為類的像素?cái)?shù)，num_pixel是圖像總像素?cái)?shù)；為總類別數(shù)量，由于本文只區(qū)分茶園壟間道路和背景，因此= 1。

1.4 試驗(yàn)平臺(tái)

試驗(yàn)選用的硬件配置為Intel Core i7-8700CPU，基準(zhǔn)頻率為3.2 GHz，32 GB內(nèi)存，NVIDIA GeForce GTX3090 GPU。

在Windows 10系統(tǒng)下，CUDA 10.2，cuDNN 7.6.05，運(yùn)用Python3.7語言進(jìn)行編程，基于PyTorch1.8框架搭建本文語義分割模型。

2 基于語義分割的茶園壟間道路識(shí)別模型

2.1 茶園道路語義分割網(wǎng)絡(luò)構(gòu)建

茶園道路識(shí)別存在光照強(qiáng)度變化、相機(jī)角度變化、圖片尺度變化、非結(jié)構(gòu)化茶園環(huán)境和茶樹葉片遮擋道路等多種場景，基于傳統(tǒng)圖像處理算法的導(dǎo)航路徑提取方法難以適應(yīng)上述場景。針對(duì)這一問題，為滿足茶園道路識(shí)別的精準(zhǔn)性和實(shí)時(shí)性要求，本文提出語義分割模型Unet-ResNet34對(duì)茶園壟間道路圖像進(jìn)行逐像素分類。

Unet是傳統(tǒng)全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的一種擴(kuò)展網(wǎng)絡(luò)，采用U型編碼、解碼結(jié)構(gòu)，兩側(cè)結(jié)構(gòu)對(duì)稱分布，適用于語義簡單、數(shù)據(jù)集較小的分割任務(wù)[20-23]。相較于淺層網(wǎng)絡(luò)，擁有更多隱含層的深層神經(jīng)網(wǎng)絡(luò)能處理更為復(fù)雜的數(shù)據(jù)[22-23]，ResNet包含的殘差單元能大幅增加網(wǎng)絡(luò)深度，而不給網(wǎng)絡(luò)訓(xùn)練帶來額外計(jì)算量。Unet編碼結(jié)構(gòu)與ResNet編碼結(jié)構(gòu)相同，都是通過卷積、池化等操作提取圖像復(fù)雜特征[24]。因此，Unet的編碼結(jié)構(gòu)可以由不同深度的ResNet所取代，從而形成一個(gè)全新圖像分割模型。

在殘差結(jié)構(gòu)中，輸出（Output）數(shù)學(xué)表達(dá)式

式中為特征輸入向量，F(xiàn)()為卷積層函數(shù)，為線性整流單元（ReLU）的激活函數(shù)，1和2為前兩層的權(quán)重，為偏差。兩層殘差結(jié)構(gòu)輸出（Output）數(shù)學(xué)表達(dá)式

當(dāng)恒等映射輸入變量與經(jīng)卷積層操作后輸出的數(shù)值尺寸不同時(shí)，應(yīng)將恒等映射改為線性映射，即在捷徑連接（shortcut connection）處加入卷積層以匹配圖像尺寸。

茶園壟間道路分割網(wǎng)絡(luò)（如圖3）由編碼（圖中虛線框）和解碼階段組成：編碼階段用ResNet34特征提取模塊替換Unet相應(yīng)模塊，特征圖首先輸入卷積核大小為7×7的卷積層和3×3的最大池化層，粗略提取圖片特征并減小尺寸，然后進(jìn)入堆疊殘差層，殘差層主要包括4個(gè)階段，每個(gè)階段分別由3、4、6、3個(gè)的殘差模塊組成。同一個(gè)階段之間的特征傳遞數(shù)量和特征圖像尺寸不變，但特征圖像尺寸為前一個(gè)階段的一半。解碼階段包含4個(gè)上采樣模塊，每個(gè)模塊包含1個(gè)2×2反卷積層、1個(gè)跳躍連接層和1個(gè)3×3卷積層，網(wǎng)絡(luò)末端添加1個(gè)1×1卷積層，網(wǎng)絡(luò)中所有卷積層后都加入了批歸一化（BN）和線性整流函數(shù)（RELU）。每個(gè)模塊先經(jīng)過反卷積層處理，隨后與對(duì)應(yīng)編碼階段的特征圖進(jìn)行維度拼接，通過跳躍連接進(jìn)行維度拼接方法改進(jìn)了像素定位和分類問題。

模型訓(xùn)練時(shí)，輸出特征圖中逐像素回歸值p()的計(jì)算公式

式中a()為位置特征通道像素得分；為類的數(shù)量；p()為像素特征通道逐像素回歸值。

能量函數(shù)為逐像素回歸值交叉熵?fù)p失函數(shù)，計(jì)算公式

式中p(x)()為像素的softmax損失函數(shù)；()為像素標(biāo)簽值；()為像素權(quán)重。

茶園道路分割模型訓(xùn)練結(jié)束后，輸入測試集圖像可得到回歸概率，道路分割情況如圖4b所示。

2.2 模型可視化

為了方便理解本文語義分割模型，使用Grad-CAM方法可視化解釋道路識(shí)別任務(wù)。Grad-CAM神經(jīng)元權(quán)重為最后1×1卷積層的梯度信息，并只解釋模型輸出層中特定決策內(nèi)容。Grad-CAM中特征圖對(duì)應(yīng)類別權(quán)重計(jì)算公式

式中Z表示圖像中總像素個(gè)數(shù)；vc表示對(duì)應(yīng)類別C的概率，表示特征圖（第d個(gè)）在位置（i, j）上的像素。

2.3 導(dǎo)航路徑與導(dǎo)航線識(shí)別

現(xiàn)有路徑識(shí)別方法主要通過垂直投影法、最小二乘法、Hough變換等算法線性擬合直線路徑。受茶樹長勢和茶園環(huán)境的影響，茶園壟間道路邊緣呈不規(guī)則形狀且導(dǎo)航線多為曲線，運(yùn)用上述方法對(duì)路徑進(jìn)行擬合偏差較大。本文采用斜向+水平掃描法提取茶園道路兩側(cè)關(guān)鍵信息點(diǎn)，然后對(duì)兩側(cè)信息點(diǎn)運(yùn)用加權(quán)求和法得到道路中點(diǎn)，最后基于三次B樣條曲線原理擬合導(dǎo)航線。

2.3.1 邊緣信息與擬合中點(diǎn)提取

二值化操作Unet-ResNet34模型分割后的掩碼圖片，選取道路掩碼最大區(qū)域并進(jìn)行中值濾波和膨脹處理，使道路邊緣更加平滑。二值化后道路形狀呈“凸”字形，道路起始和中間區(qū)域形狀都為長方形，盡頭區(qū)域形狀為三角形。如果只采用垂直投影法掃描道路，會(huì)出現(xiàn)邊緣信息不完整的問題，針對(duì)上述特點(diǎn)，本文提出了一種基于斜向+水平掃描法的道路兩側(cè)信息點(diǎn)獲取方法，獲取方法如流程圖所示，具體步驟如下：

1）選取二值化圖像起始區(qū)域下半部分道路中心點(diǎn)作為起始點(diǎn)，最大掩碼區(qū)域軸上像素最小點(diǎn)為道路終點(diǎn)，進(jìn)而求得兩點(diǎn)斜率，斜率公式為

式中（start，start）為道路起始點(diǎn)坐標(biāo)；（end，end）為道路終點(diǎn)坐標(biāo)。

2）以道路起始點(diǎn)和終點(diǎn)連線為中心線，分別在中心線左右兩側(cè)選取距離其間距為的斜向掃描線，掃描線斜率由步驟1）生成，其中間距為的第對(duì)斜向掃描線公式如下

式中為掃描間距。

3）對(duì)圖像進(jìn)行二值化處理后，掩碼區(qū)域像素灰度為255，背景區(qū)域像素灰度為0，在圖像中沿斜向掃描線由上到下進(jìn)行逐像素掃描。當(dāng)以某點(diǎn)為中心左右連續(xù)兩個(gè)相鄰像素灰度值變化，則該點(diǎn)為道路邊緣關(guān)鍵點(diǎn)，具體解釋如下：該點(diǎn)左邊相鄰位置連續(xù)2個(gè)像素灰度為0，右邊相鄰位置連續(xù)2個(gè)像素灰度為255，則該點(diǎn)為左側(cè)邊緣關(guān)鍵點(diǎn)；相反，若該點(diǎn)左邊相鄰位置連續(xù)2個(gè)像素灰度為255，右邊相鄰位置連續(xù)2個(gè)像素灰度為0，則為右側(cè)邊緣關(guān)鍵點(diǎn)。

4）通過斜向掃描生成道路兩側(cè)多對(duì)邊緣關(guān)鍵點(diǎn)，對(duì)邊緣關(guān)鍵點(diǎn)坐標(biāo)加權(quán)求和，得到自上而下的茶園壟間道路中點(diǎn)，第個(gè)擬合中點(diǎn)坐標(biāo)數(shù)學(xué)表達(dá)式為

其中

式中（xleft,yleft）為道路左側(cè)關(guān)鍵點(diǎn)坐標(biāo)；（xright,yright）為道路右側(cè)關(guān)鍵點(diǎn)坐標(biāo)；（xmiddle,ymiddle）為擬合中點(diǎn)坐標(biāo)；wleft、wright分別為左、右側(cè)權(quán)重值；為斜向掃描次數(shù)；為修正系數(shù)。

其中

由式（16）可知，由道路邊緣關(guān)鍵點(diǎn)計(jì)算的前兩個(gè)路徑中點(diǎn)連線為道路夾角的角平分線，因此路徑中點(diǎn)的權(quán)重w,left和w,right會(huì)隨著相機(jī)視角和道路形狀發(fā)生變化，在每幅圖像由式（14）、（15）、（16）、（17）聯(lián)立所得。

5）道路最大掩碼區(qū)域近似為“凸”字型，只采用單一斜向掃描獲得的道路兩側(cè)信息不能完全反映道路形狀，斜向掃描完成后，以步驟4）中最后一個(gè)擬合中點(diǎn)距離50像素的位置開始進(jìn)行水平掃描，這里“50像素”的選取依據(jù)為經(jīng)過多張圖片試驗(yàn)所得，為經(jīng)驗(yàn)值。由于此值和相機(jī)視角、圖片分辨率、相機(jī)焦距、相機(jī)位置等均有關(guān)系，當(dāng)相機(jī)的相關(guān)參數(shù)發(fā)生變化時(shí)，此值會(huì)稍有不同。

6）運(yùn)用水平掃描法生成多對(duì)道路兩側(cè)邊緣關(guān)鍵點(diǎn)，然后對(duì)關(guān)鍵點(diǎn)坐標(biāo)加權(quán)求和得到茶園壟間道路剩余擬合中點(diǎn)。由于此處為“凸”字型的下半部分，其為長方形，因此在每幅圖像中兩側(cè)權(quán)重均為定值0.5。

茶園道路邊緣關(guān)鍵點(diǎn)和擬合中點(diǎn)效果如圖5c，由圖可知，道路兩側(cè)邊緣關(guān)鍵點(diǎn)提取方法能適應(yīng)茶園道路不同形狀并得到較為精準(zhǔn)的擬合中點(diǎn)。

2.3.2 基于B樣條曲線的導(dǎo)航線擬合方法

茶園壟間道路邊緣呈不規(guī)則形狀且導(dǎo)航線多為曲線，使用B樣條曲線方法擬合導(dǎo)航路徑具有連續(xù)性、局部可控等優(yōu)勢，適合智能履帶車導(dǎo)航路徑生成。本文把路徑起始點(diǎn)、導(dǎo)航擬合中點(diǎn)和道路終點(diǎn)作為控制點(diǎn)，完成多段三次B樣條曲線擬合，生成道路導(dǎo)航線[25-26]。

導(dǎo)航線擬合基于+ 1個(gè)控制頂點(diǎn)(=0, 1, 2, 3,…,)，三次B樣條曲線擬合基于已知的4個(gè)控制頂點(diǎn)，即4個(gè)相鄰擬合中點(diǎn)可得一段曲線，第段三次B樣條曲線表達(dá)式

式中為曲線參數(shù)；,4()為三次B樣條曲線基函數(shù)；-2為曲線相應(yīng)控制頂點(diǎn)；, 4()為包含橫縱坐標(biāo)的曲線。

樣條曲線基函數(shù)

式中為曲線參數(shù)。

第段三次B樣條曲線矩陣數(shù)學(xué)表達(dá)式

第段三次B樣條曲線始末端點(diǎn)坐標(biāo)位置、一階及二階導(dǎo)數(shù)分別為

根據(jù)上述公式推導(dǎo)，完成多段三次B樣條曲線擬合，生成的道路導(dǎo)航線如圖4d所示?；跇訔l曲線擬合原理，掃描間距越小，三次B樣條曲線擬合的中點(diǎn)越多，擬合精度越高，但會(huì)導(dǎo)致曲線過擬合且計(jì)算量較大。相反，掃描間距越小，擬合的中點(diǎn)越少，擬合精度則會(huì)下降。經(jīng)多張圖片試驗(yàn)所得，本文掃描間距取35像素，能真實(shí)反應(yīng)茶園道路信息且計(jì)算量較小。由于掃描間距取值與相機(jī)視角、圖片分辨率等均有關(guān)系，因此不同大小圖像取值會(huì)稍有不同。

圖4 導(dǎo)航線生成流程

2.3.3 導(dǎo)航線測試方法

履帶車在茶園中行駛并不斷采集茶園壟間圖像，在茶園壟間道路圖像中等距選取10個(gè)實(shí)際道路中點(diǎn)。茶園壟間道路圖像中等距選取實(shí)際道路中點(diǎn)的具體步驟：在實(shí)際茶園中，對(duì)照?qǐng)D像選取的實(shí)際茶園路徑點(diǎn)，在實(shí)際道路中用卷尺測量壟間道路并標(biāo)記道路中點(diǎn)，按相應(yīng)位置標(biāo)記在圖片中。與相同橫坐標(biāo)的識(shí)別路徑點(diǎn)進(jìn)行縱坐標(biāo)像素計(jì)算，對(duì)計(jì)算結(jié)果取絕對(duì)值，公式如下

式中detect為識(shí)別路徑點(diǎn)像素縱坐標(biāo)；actual為實(shí)際道路點(diǎn)像素縱坐標(biāo)。

為了將圖像中的像素誤差轉(zhuǎn)換為實(shí)際茶園中的距離誤差，根據(jù)針孔相機(jī)成像模型將實(shí)際路徑點(diǎn)和識(shí)別路徑點(diǎn)的像素坐標(biāo)轉(zhuǎn)化成相機(jī)坐標(biāo)，通過兩點(diǎn)歐氏距離的計(jì)算得到實(shí)際茶園距離誤差。相機(jī)內(nèi)外參數(shù)和畸變系數(shù)已標(biāo)定，其中f=1 559.249 53，f=1 557.660 1，0=540.697 63，0=955.759 58，1=?0.022 97、2=0.314 68、1=0.000 23、2=0.000 04，由于12較小，代入公式時(shí)按0處理。近距離誤差測量為1%。坐標(biāo)轉(zhuǎn)換公式

式中（,）為像素坐標(biāo)；f、f、0、0為相機(jī)內(nèi)部參數(shù)；（corrected,corrected）為歸一化平面糾正坐標(biāo)；1、2、1、2為相機(jī)畸變參數(shù)；為歸一化平面極徑；（,,）為相機(jī)坐標(biāo)系坐標(biāo)。

3 結(jié)果與分析

通過道路分割和導(dǎo)航線識(shí)別試驗(yàn)，驗(yàn)證本文提出的導(dǎo)航線提取方法在茶園壟間道路數(shù)據(jù)集中的準(zhǔn)確性和有效性。

3.1 參數(shù)設(shè)置與模型訓(xùn)練

訓(xùn)練周期（Epochs）為450，單次批量訓(xùn)練圖像數(shù)量為（Batch Size）8，選擇隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD）作為優(yōu)化算法，負(fù)對(duì)數(shù)似然損失方法（Negative Log-likelihood Loss，NLLLoss）作為損失函數(shù)；學(xué)習(xí)率進(jìn)行動(dòng)態(tài)調(diào)整，初始學(xué)習(xí)率為0.01，每訓(xùn)練5個(gè)周期學(xué)習(xí)率衰減0.8，動(dòng)量因子為0，權(quán)重衰減系數(shù)為0.0001。本文模型可直接輸入茶園壟間道路圖像進(jìn)行訓(xùn)練，圖像尺寸為1 920像素×1 080像素，為了加快訓(xùn)練速度，圖像分辨率統(tǒng)一縮放為960像素×544像素；茶園壟間道路分割模型使用遷移學(xué)習(xí)法進(jìn)行訓(xùn)練，加載ImageNet數(shù)據(jù)集預(yù)訓(xùn)練權(quán)重初始化方法。

本文可選擇18、34和50層的Unet-ResNet模型，通過對(duì)比不同深度模型分割效果，初步確定茶園壟間道路分割模型的深度。不同深度模型訓(xùn)練損失函數(shù)曲線如圖5所示。

圖5 不同深度模型訓(xùn)練損失函數(shù)曲線

觀察圖5損失曲線可知，訓(xùn)練集損失始終小于測試集損失，隨著迭代次數(shù)增加，模型損失值趨于收斂。Unet-ResNet34測試集損失值最小，說明其在測試集上的泛化性最好。

分別對(duì)Unet、Unet-ResNet18、Unet-ResNet34、Unet-ResNet50和FCN-8s-VGG16模型最后的卷積層進(jìn)行解釋，茶園壟間道路可視化結(jié)果如圖6所示。

觀察不同模型可視化Grad-CAM熱力圖，可以看出對(duì)茶園壟間道路關(guān)注區(qū)域各有不同，從圖6c和6d中觀察到模型Unet-ResNet18和FCN-8s-VGG16只關(guān)注茶園壟間道路局部區(qū)域，即紅色區(qū)域過于分散，不同尺度特征之間缺乏聯(lián)系，圖像特征識(shí)別存在極大缺陷。從圖6e、6f和6g中觀察到模型Unet、Unet-ResNet34和Unet-ResNet50關(guān)注茶園壟間道路內(nèi)的特征，讀取的特征接近圖6b人工標(biāo)簽，但從圖6e和6g中可以觀察到，Unet模型對(duì)道路圖像的下半部分關(guān)注不足，即下半部分紅色區(qū)域較為分散未能覆蓋道路，Unet-ResNet50模型對(duì)壟間道路識(shí)別強(qiáng)度較高，即紅色區(qū)域完全覆蓋道路，但模型有過擬合的可能，會(huì)較低模型運(yùn)算速度。

3.2 模型性能驗(yàn)證

將960×544像素的茶園壟間導(dǎo)航路徑測試集圖片輸入模型進(jìn)行測試，模型分割結(jié)果如表1所示?？梢钥闯觯琔net-ResNet34模型的像素準(zhǔn)確率為95.86%，平均交并比為91.89%，均優(yōu)于另外4種模型且推理速度僅次于Unet-ResNet18，能滿足實(shí)時(shí)性需求。同時(shí)在浮點(diǎn)運(yùn)算次數(shù)和參數(shù)量上可以看出，模型Unet-ResNet34相比Unet-ResNet18略大，相比Unet-ResNet50和原始Unet均較小，而模型FCN-8s-VGG16雖然參數(shù)量較小，但浮點(diǎn)運(yùn)算次數(shù)較大，因此綜合考慮模型性能和大小，本文選擇Unet-ResNet34模型作為最終分割模型。

注：在Grad-CAM圖中，藍(lán)色區(qū)域是模型關(guān)注少的部分，紅色區(qū)域是模型關(guān)注多的部分，顏色越紅的區(qū)域表示模型越關(guān)注的部位。

表1 模型訓(xùn)練結(jié)果對(duì)比

導(dǎo)航路徑的連續(xù)性導(dǎo)致本文數(shù)據(jù)集相鄰幀的圖像可能差距不大，當(dāng)前圖像的壟行估計(jì)可以在上一幀的基礎(chǔ)上加以修正，但是這種方法會(huì)隨著算法的迭代使導(dǎo)航誤差不斷累計(jì)。同時(shí)，當(dāng)壟行圖像發(fā)生較大變化時(shí)，此算法也將很難適用。而Unet-ResNet34模型速度較快，從獲取圖像到完成提取路徑的耗時(shí)約36.8幀/s（250 ms），參數(shù)量為26.72 M，并未過多增加計(jì)算成本，且能夠適應(yīng)不同的場景，因此具有一定的優(yōu)勢。其在茶園壟間道路測試集的分割效果如圖7所示。

圖7 不同環(huán)境下路徑分割和識(shí)別結(jié)果

3.3 路徑識(shí)別結(jié)果

茶園壟間道路像素偏差和實(shí)際距離結(jié)果如表2，從像素偏差結(jié)果可以看出，低光照強(qiáng)度且不同雜草密度情況下，道路平均像素偏差為7.1、10.2、10.3像素。高光照強(qiáng)度且不同陰影情況下，道路平均像素偏差為3.3、10.2、7.8像素。綜上可得，不同茶園環(huán)境下壟間道路平均像素偏差為8.2像素。從實(shí)際距離偏差結(jié)果可以看出，低光照強(qiáng)度且不同雜草密度情況下，道路平均實(shí)際距離偏差為0.02、0.022、0.034 m。高光照強(qiáng)度且不同陰影情況下，道路平均實(shí)際距離偏差為0.011、0.024、0.023 m。不同環(huán)境下道路平均距離偏差為0.022 m。路徑點(diǎn)到相機(jī)的實(shí)際距離為0.985～6.435 m之間，隨著實(shí)際路徑點(diǎn)與相機(jī)距離不斷增大（表2路徑點(diǎn)10表示圖7中道路最近點(diǎn)，點(diǎn)1表示圖7中道路最遠(yuǎn)點(diǎn)），歐式距離變大，因此由像素偏差換算后的道路實(shí)際偏差越大。由上述試驗(yàn)結(jié)果可知，在復(fù)雜茶園環(huán)境條件下，本文提出的Unet-ResNet34模型對(duì)茶園道路的識(shí)別效果受環(huán)境影響較小，邊緣提取法可以正確識(shí)別茶園壟間道路輪廓，通過加權(quán)求和方式得到邊緣不斷變化的道路中點(diǎn)，三次B樣條曲線擬合法能得到連續(xù)、順滑的導(dǎo)航路徑。已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%，從獲取圖像到完成提取路徑的耗時(shí)總計(jì)0.179 s。分別在不同光照強(qiáng)度、不同雜草密度和不同陰影方向等茶園環(huán)境測試集圖片中完成壟間道路識(shí)別試驗(yàn)，道路識(shí)別結(jié)果如圖7所示。

表2 茶園壟間道路識(shí)別偏差結(jié)果

4 結(jié) 論

本文針對(duì)智能履帶車實(shí)現(xiàn)茶園壟間道路中的自動(dòng)導(dǎo)航問題，在Unet模型的基礎(chǔ)上通過優(yōu)化結(jié)構(gòu)提出Unet-ResNet34模型。然后根據(jù)模型分割后的掩碼圖像提取茶園壟間道路兩側(cè)邊緣信息，并運(yùn)用加權(quán)求和法生成壟間道路中點(diǎn)，最后基于多段三次B樣條曲線擬合導(dǎo)航路徑。結(jié)論如下：

1）本研究在Unet基礎(chǔ)上提出Unet-ResNet34模型，該模型在不同光照和雜草條件下壟間道路平均分割交并比為91.89%，像素準(zhǔn)確率為95.86%，推理速度為36.8幀/s，滿足茶園壟間道路導(dǎo)航的精確性和實(shí)時(shí)性要求。

2）運(yùn)用Grad-CAM方法解決不同模型在茶園壟間道路分割過程中難以可視化解釋的問題。從Grad-CAM圖中激活區(qū)域的強(qiáng)度和位置參數(shù)出發(fā)進(jìn)一步說明模型的關(guān)注區(qū)域，驗(yàn)證了Unet-ResNet34模型的合理性。

3）通過斜向+水平道路邊緣掃描法和基于三次B樣條曲線提取方法從模型分割的茶園壟間道路中提取道路中線，作為履帶車導(dǎo)航線。經(jīng)過導(dǎo)航線偏差試驗(yàn)可知，本文提出算法的平均像素偏差為8.2像素，平均距離偏差為0.022 m。已知茶園壟間道路平均寬度為1 m，道路平均距離偏差占比2.2%，從獲取圖像到完成提取路徑的耗時(shí)總計(jì)0.179 s。本文提出的道路識(shí)別方法有較高的精度和實(shí)時(shí)性，能夠?yàn)橹腔鄄鑸@自動(dòng)駕駛技術(shù)提供部分視覺參考。

[1] 董春旺. 茶葉智能化加工技術(shù)的創(chuàng)新思考[J]. 中國茶葉，2019，41(3)：53-55.

Dong Chunwang. Innovative thinking on intelligent tea processing technology[J]. Chinese Teas, 2019, 41(3): 53-55. (in Chinese with English abstract)

[2] 胡靜濤，高雷，白曉平，等. 農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：1-10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles [J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2015, 31(10): 1-10. (in Chinese with English abstract)

[3] 孟慶寬，張漫，仇瑞承，等. 基于改進(jìn)遺傳算法的農(nóng)機(jī)具視覺導(dǎo)航線檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(10)：39-46.

Meng Qingkuan, Zhang Man, Qiu Ruicheng, et al. Navigation line detection for farm machinery based on improved genetic algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 39-46. (in Chinese with English abstract)

[4] 張雄楚，陳兵旗，李景彬，等. 紅棗收獲機(jī)視覺導(dǎo)航路徑檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：133-140.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract)

[5] Montalvo M, Pajares G, Guerrero J M, et al. Automatic detection of crop rows in maize fields with high weeds pressure [J]. Expert Systems with Applications, 2012, 39(15): 11889-11897.

[6] 張成濤，譚彧，吳剛，等. 基于達(dá)芬奇平臺(tái)的聯(lián)合收獲機(jī)視覺導(dǎo)航系統(tǒng)路徑識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(S1)：271-276.

Zhang Chengtao, Tan Yu, Wu Gang, et al. Path recognition of visual navigation system of combine harvester based on da vinci platform[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(S1): 271-276. (in Chinese with English abstract)

[7] 關(guān)卓懷，陳科尹，丁幼春，等. 水稻收獲作業(yè)視覺導(dǎo)航路徑提取方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(1)：19-28.

Guan Zhuohuai, Chen Keyin, Ding Youchun, et al. Visual navigation path extraction method in rice harvesting[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 19-28. (in Chinese with English abstract)

[8] 趙立明，葉川，張毅，等. 非結(jié)構(gòu)化環(huán)境下機(jī)器人視覺導(dǎo)航的路徑識(shí)別方法[J]. 光學(xué)學(xué)報(bào)，2018，38(8)：267-276.

Zhao Liming, Ye Chuan, Zhang Yi, et al. Path recognition method of robot vision navigation in unstructured environments[J]. Acta Optica Sinica, 2018, 38(8): 267-276. (in Chinese with English abstract)

[9] 呂艷鵬，潘玉田. 基于BP神經(jīng)網(wǎng)絡(luò)的非結(jié)構(gòu)化道路識(shí)別[J]. 機(jī)械工程與自動(dòng)化，2014(3)：178-180.

Lü Yanpeng, Pan Yutian. Unstructured road recognition based on BP neural network [J]. Mechanical Engineering and Automation, 2014(3): 178-180. (in Chinese with English abstract)

[10] 韓樹豐，何勇，方慧. 農(nóng)機(jī)自動(dòng)導(dǎo)航及無人駕駛車輛的發(fā)展綜述[J]. 浙江大學(xué)學(xué)報(bào)（農(nóng)業(yè)與生命科學(xué)版），2018，44(4)：381-391，515.

Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A review[J]. Journal of Zhejiang University (Agriculture & Life Sciences), 2018, 44(4): 381-391, 515. (in English with Chinese abstract)

[11] Lin Y, Chen S. Development of navigation system for tea field machine using semantic segmentation[J]. IFAC PapersOnLine, 2019, 52 (30): 108-113.

[12] Lecun Y, Bengio Y, Hinton G. Deep learning [J]. Nature, 2015, 521(7553): 436-444.

[13] Saleem M, Potgieter J, Arif K. Automation in agriculture by machine and deep learning techniques: A review of recent developments[J]. Precision Agriculture, 2021, 22(6): 2053-2091.

[14] Kamilaris A, Prenafeta-boldu F X. A review of the use of convolutional neural networks in agriculture[J]. Journal of Agricultural Science, 2018, 156(3): 312-322.

[15] 鐘昌源，胡澤林，李淼，等. 基于分組注意力模塊的實(shí)時(shí)農(nóng)作物病害葉片語義分割模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(4)：208-215.

Zhong Changyuan, Hu Zelin, Li Miao, et al. Real-time semantic segmentation model for crop disease leaves using group attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 208-215. (in Chinese with English abstract)

[16] 李云伍，徐俊杰，劉得雄，等. 基于改進(jìn)空洞卷積神經(jīng)網(wǎng)絡(luò)的丘陵山區(qū)田間道路場景識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(7)：150-159.

Li Yunwu, Xu Junjie, Liu Dexiong, et al. Field road scene recognition in hilly regions based on improved dilated convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(7): 150-159. (in Chinese with English abstract)

[17] Lin J, Wang W, Huang S, et al. Learning based semantic segmentation for robot navigation in outdoor environment[C]// Otsu: Proceedings of the Joint World Congress of International Fuzzy Systems Association & International Conference on Soft Computing & Intelligent Systems, 2017.

[18] 韓振浩，李佳，苑嚴(yán)偉，等. 基于U-Net網(wǎng)絡(luò)的果園視覺導(dǎo)航路徑識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(1)：30-39.

Han Zhenhao, Li Jia, Yuan Yanwei, et al. Path recognition of orchard visual navigation based on U-Net[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 30-39. (in Chinese with English abstract)

[19] 饒秀勤，朱逸航，張延寧，等. 基于語義分割的作物壟間導(dǎo)航路徑識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(20)：179-186.

Rao Xiuqin, Zhu Yihang, Zhang Yanning, et al. Navigation path recognition between crop ridges based on semantic segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2021, 37(20): 179-186. (in Chinese with English abstract)

[20] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. Ieee Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[21] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[J]. Springer International Publishing, 2015, 9351: 234-241

[22] 李琳，余勝生. 基于深度學(xué)習(xí)模型的圖像質(zhì)量評(píng)價(jià)方法[J]. 華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，44(12)：70-75.

Li Lin, Yu Shengsheng. Image quality assessment based on deep learning model[J]. Journal of Huazhong University of Science and Technology: Science and Technology, 2016, 44(12): 70-75. (in Chinese with English abstract)

[23] Wu Z, Shen C, Van Den Hengel A. Wider or deeper: Revisiting the ResNet model for visual recognition[J]. Pattern Recognition, 2019, 90: 119-133.

[24] Zhou D, Li M, Li Y, et al. Detection of ground straw coverage under conservation tillage based on deep learning[J]. Computers and Electronics in Agriculture, 2020, 172: 105369.

[25] 呂恩利，林偉加，劉妍華，等. 基于B樣條曲線的智能叉車托盤拾取路徑規(guī)劃研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(5)：394-402.

Lü Enli, Lin Weijia, Liu Yanhua, et al. Pallet picking path planning of intelligent forklift based on B-spline curve[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 394-402. (in Chinese with English abstract)

[26] 王曉棟，徐成，劉彥. 一種實(shí)時(shí)魯棒的非結(jié)構(gòu)化道路檢測算法[J]. 計(jì)算機(jī)應(yīng)用研究，2010，27(7)：2763-2765，2769.

Wang Xiaodong, Xu Cheng, Liu Yan. Real-time and robust method for unstructured roads detection[J]. Application Research of Computers, 2010, 27(7): 2763-2765, 2769. (in Chinese with English abstract)

Navigation path recognition between tea ridges using improved Unet network

Zhao Yan1,3, Zhang Rentian1,2,3, Dong Chunwang2, Liu Zhongyuan1,2, Li Yang2※

(1.,,832000,; 2,,310000,;3,,832000,)

Navigation path recognition has been widely regarded as one of the most important sub-tasks of intelligent agricultural equipment. An intelligent tracked vehicle can also be expected to realize the automatic navigation on the road between the tea garden ridges. However, there are still some challenges on the navigation path recognition between tea ridges using deep learning models, such as the low accuracy, real-time performance, and model interpretability. In this research, a new Unet-ResNet34 model was proposed to accurately and rapidly recognize the navigation path between the tea ridges using semantic segmentation. The midpoints of the navigation path were then generated using the navigation path extracted from the model. Finally, the multi-segment cubic B-spline curve equation was used to fit the midpoints, in order to generate the navigation line between the tea garden ridges. The Image Labeler toolbox in the Matlab 2019 platform was selected to label the navigation path in the collected images for the navigation path dataset. A navigation path dataset was then obtained consisting of 1 824 images. Among them, 1 568 and 256 images in the dataset were randomly selected for the training and the validation set, respectively. Under different illumination and weed conditions, the Mean Intersection over Union (MIoU) was utilized as the accuracy indicator of the Unet-ResNet34 model, which was 91.89% for the tea road segmentation. The navigation path segmentation mask was also used to generate the navigation information and keypoints for the path fitting. Furthermore, the multi-segment cubic B-spline curve equation was selected to calculate the navigation line of the tea road between ridges using the midpoints as the control points. Additionally, the navigation line was selected to further calculate the pixel and distance error. The mean difference between the predicted pixel and distance error of tea navigation paths were 8.2 pixels and 0.022 m, respectively. As such, the width of the tea navigation path was achieved about 1 m, where the ratio was 2.2% between the average distance error and the width of the tea navigation path. In terms of real-time performance and the number of parameters, the inference speed of the Unet-ResNet34 model was 36.8 frames per second. The number of parameters of the Unet-ResNet34 model was 26.72 M. The inference speed was 36.8 frames per second to process the RGB image with a size of 960×544. A visualization method of gradient weighted class activation mapping (Grad-CAM) was used to visually represent the final extraction feature of the improved models. More importantly, the special features were highlighted on the navigation path between the tea inter-ridges in the optimized Unet-ResNet34 structure, while retaining only the most crucial feature extractors. The speed of the tracked vehicle in the tea was mostly 0-1 m/s, particularly with the 0.179 s average processing time of a single tea inter-ridge image. In summary, the improved model can be fully realized the real-time and accurate navigation path recognition of tea ridges. The finding can also provide the technical and theoretical support to the intelligent agricultural equipment in the tea environment.

navigation; deep learning; visualization of tea garden; path recognition; semantic segmentation; spline curve fitting

10.11975/j.issn.1002-6819.2022.19.018

S24

A

1002-6819(2022)-19-0162-10

趙巖，張人天，董春旺，等. 采用改進(jìn)Unet網(wǎng)絡(luò)的茶園導(dǎo)航路徑識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(19)：162-171.doi：10.11975/j.issn.1002-6819.2022.19.018 http://www.tcsae.org

Zhao Yan, Zhang Rentian, Dong Chunwang, et al. Navigation path recognition between tea ridges using improved Unet network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 162-171. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.19.018 http://www.tcsae.org

2022-06-01

2022-07-26

浙江省“尖兵”研發(fā)攻關(guān)計(jì)劃（2022C02010）；中央級(jí)院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)（1610212021004；1610212022004）

趙巖，教授，研究方向?yàn)檗r(nóng)業(yè)機(jī)械化工程。Email：115374865@qq.com

李楊，博士，助理研究員，研究方向?yàn)橹悄苻r(nóng)業(yè)裝備。Email：Li91yang@163.com