基于FCN的無(wú)人機(jī)玉米遙感圖像壟中心線提取

趙 靜，曹佃龍，蘭玉彬，潘方江， 溫昱婷，楊東建，魯力群

（1. 山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院，淄博 255000； 2. 山東理工大學(xué)交通與車輛工程學(xué)院，淄博 255000； 3. 山東理工大學(xué)國(guó)家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國(guó)際聯(lián)合研究中心，淄博 255000）

0 引言

遙感技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用越來(lái)越廣泛，利用無(wú)人機(jī)遙感圖像進(jìn)行農(nóng)田現(xiàn)狀精準(zhǔn)化制圖，輔助農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航具有重要的應(yīng)用價(jià)值[1]。農(nóng)田壟中心線對(duì)于農(nóng)業(yè)機(jī)器人的導(dǎo)航十分重要，也是當(dāng)前基于機(jī)器視覺(jué)的田間導(dǎo)航需要解決的關(guān)鍵問(wèn)題[2-3]。為減少對(duì)作物的傷害，田間機(jī)器人需要行駛在行間，通過(guò)一份田壟中心線柵格圖可以自動(dòng)進(jìn)行全局路徑規(guī)劃，提高作業(yè)效率。

目前田間機(jī)器視覺(jué)導(dǎo)航多先通過(guò)斜向照片提取到行中心點(diǎn)相關(guān)特征點(diǎn)，再通過(guò)直線或曲線擬合的方式提取作物田壟中心線或行中心線，然后生成導(dǎo)航參數(shù)輔助導(dǎo)航作業(yè)，研究者如姜國(guó)權(quán)等[4]利用窗口移動(dòng)法獲取中心水平線上作物的定位點(diǎn)，再通過(guò)隨機(jī)方法獲得作物行線；袁佐云等[5]通過(guò)穩(wěn)健回歸法對(duì)位置點(diǎn)進(jìn)行線性擬合提取作物行；馬紅霞等[6-8]通過(guò)Hough變換提取行線；Zhang等[9]用大津法與粒子群優(yōu)化技術(shù)相結(jié)合，實(shí)現(xiàn)雜草與農(nóng)作物分離，確定特征點(diǎn)集后用最小二乘線性回歸法得到了作物中心線。

斜向照片對(duì)于壟中心線的提取存在視野范圍小、無(wú)法對(duì)整塊田地進(jìn)行全局路徑規(guī)劃的問(wèn)題，部分學(xué)者利用無(wú)人機(jī)遙感圖像提取種植壟或者種植行信息，蘇偉等[10]基于無(wú)人機(jī)影像超綠特征，利用影像分割投影法提取玉米壟線的中心點(diǎn)，再使用Hough變換提取壟數(shù)。de Souza等[11]通過(guò)使用歸一化植被指數(shù)（Normalized Difference Vegetation Index，NDVI）和像素最小/最大濾波算法增強(qiáng)無(wú)人機(jī)遙感影像作物行和行間的差異，分割裸地和作物，最終提取了甘蔗田的種植行線地圖；Osco等[12]基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）使用一種雙分支結(jié)構(gòu)，同時(shí)對(duì)玉米和柑橘的無(wú)人機(jī)遙感圖像進(jìn)行植物計(jì)數(shù)和種植行中心線的提??；Pang等[13]使用基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Region-CNN，RCNN）有效地提取了玉米行種植位置區(qū)域，通過(guò)無(wú)人機(jī)影像進(jìn)行出苗率檢測(cè)。

目前利用無(wú)人機(jī)遙感圖像對(duì)田間作物線信息提取的研究多數(shù)是作物種植行中心線提取。作物種植行的中心線提取，便于統(tǒng)計(jì)種植和檢測(cè)苗木生長(zhǎng)，通過(guò)這些信息可以用來(lái)評(píng)估作物的產(chǎn)量，對(duì)農(nóng)場(chǎng)管理有一定意義[14]。相對(duì)于提取壟中心線，由于作物多數(shù)為中心向四周擴(kuò)散，種植行中心線更易通過(guò)特征提取的方式獲得。如Miyoshi等[15]使用改進(jìn)置信圖的多級(jí)模組來(lái)獲取目標(biāo)中心，使用置信圖方式利用了植物中心到四周葉子分布均勻的特征，在密度圖中，值越高代表越靠近中心和，而壟中心線不存在這種壟中心向四周分布的特征。

目前對(duì)于可用于導(dǎo)航的無(wú)人機(jī)遙感圖像壟中心線提取研究較少，更多的研究為用于農(nóng)田管理的行中心線提取服務(wù)。當(dāng)前的衛(wèi)星定位系統(tǒng)精度越來(lái)越高，完整詳細(xì)的壟中心線柵格地圖可以作為田間自動(dòng)行駛的后臺(tái)柵格地圖，輔助前向的機(jī)器視覺(jué)導(dǎo)航，在自動(dòng)作業(yè)時(shí)既能通過(guò)地圖進(jìn)行全局路徑規(guī)劃，又能在探測(cè)到障礙時(shí)輔助進(jìn)行局部路徑導(dǎo)航。農(nóng)機(jī)全局路徑規(guī)劃算法中的柵格法，具有直觀、安全系數(shù)高的優(yōu)點(diǎn)[16]。田間導(dǎo)航柵格的制作需要確定壟中心線的位置，傳統(tǒng)研究中壟中心線提取方法多使用直線提取算法，而Hough變換等方法可對(duì)直線或已知形狀曲線進(jìn)行擬合，對(duì)連續(xù)彎曲的航線識(shí)別效果不佳，且傳統(tǒng)圖像處理算法對(duì)復(fù)雜變化的田間環(huán)境魯棒性不強(qiáng)，例如葉片遮擋和雜草干擾。深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)作為一種強(qiáng)大的圖像處理方法，近幾年在農(nóng)業(yè)領(lǐng)域這種比較復(fù)雜的環(huán)境中有著較好應(yīng)用效果[17]。語(yǔ)義分割網(wǎng)絡(luò)在農(nóng)業(yè)中主要用于目標(biāo)提取與分割，圖像源可分為無(wú)人機(jī)圖像和對(duì)地面拍攝圖像。張瑞瑞等[18]通過(guò)使用U-Net網(wǎng)絡(luò)對(duì)無(wú)人機(jī)影像中的松材線蟲導(dǎo)致的松材變色木進(jìn)行提?。籞hang等[19]提出了一種結(jié)合遷移學(xué)習(xí)和Deeplab V3+網(wǎng)絡(luò)方法對(duì)小麥不同生長(zhǎng)階段無(wú)人機(jī)影像中倒伏區(qū)域進(jìn)行了提取。楊蜀秦等[20]為將農(nóng)田進(jìn)行精細(xì)化管理，對(duì)無(wú)人機(jī)遙感影像基于DeepLab V3模型進(jìn)行了準(zhǔn)確的作物分類；韓振浩等[21]使用U-net語(yǔ)義分割模型對(duì)地面拍攝的果園行間影像進(jìn)行了道路分割，對(duì)分割后的區(qū)域使用樣條曲線擬合原理完成了導(dǎo)航路徑的識(shí)別。目前在遙感圖像道路提取研究領(lǐng)域，有大量的研究使用深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行處理，如Zhou等[22]對(duì)無(wú)人機(jī)圖像中的道路使用一種基于全局上下文的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了語(yǔ)義分割，提取了道路。Lan等[23]提出了一個(gè)由兩個(gè)編碼器到解碼器網(wǎng)絡(luò)構(gòu)成的體系結(jié)構(gòu)對(duì)道路進(jìn)行了分割提取。

全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks, FCN）是Long等[24]在2014年提出的圖像分割算法，是深度學(xué)習(xí)應(yīng)用在圖像分割的開創(chuàng)性作品。FCN是一種端到端的圖像語(yǔ)義分割方法，讓每個(gè)像素通過(guò)神經(jīng)網(wǎng)絡(luò)做像素級(jí)別的預(yù)測(cè)直接得出真值圖[25]。FCN網(wǎng)絡(luò)中所有層都是卷積層，且通過(guò)跳躍結(jié)構(gòu)融合了不同尺寸層的特征并最后通過(guò)上采樣還原成像素級(jí)的預(yù)測(cè)。語(yǔ)義分割網(wǎng)絡(luò)多用于復(fù)雜背景區(qū)域分割問(wèn)題[26]，通過(guò)將全部像素點(diǎn)按語(yǔ)義進(jìn)行分類可將圖像分為不同區(qū)域。已有文獻(xiàn)中對(duì)作物之間壟區(qū)域的提取是以作物和土壤作為邊界進(jìn)行提取，再通過(guò)算法得到壟中心線。為更好地提取中心線可將作物壟線區(qū)域看作壟中心線周圍具有一定寬度的區(qū)域，此區(qū)域并不具有明顯的邊界。作物壟區(qū)域也屬于一種可進(jìn)行語(yǔ)義分割的區(qū)域，針對(duì)行間壟區(qū)域的語(yǔ)義分割問(wèn)題研究未見(jiàn)報(bào)道。

該研究基于農(nóng)田玉米無(wú)人機(jī)遙感可見(jiàn)光正射影像，利用全卷積神經(jīng)網(wǎng)絡(luò)，對(duì)整塊田地進(jìn)行處理，以期得到整片田地的壟中心線區(qū)域。對(duì)壟中心線區(qū)域分布圖進(jìn)行處理提取出中心線分布圖，為農(nóng)業(yè)機(jī)器人在無(wú)人農(nóng)場(chǎng)的路徑規(guī)劃提供技術(shù)參考。

1 材料和方法

1.1 玉米田塊無(wú)人機(jī)遙感影像獲取

無(wú)人機(jī)遙感數(shù)據(jù)采集試驗(yàn)于2020年7月20日（玉米喇叭口期）在山東省淄博市臨淄區(qū)禾豐種業(yè)試驗(yàn)田（118°12'48″N, 36°57'14″E）進(jìn)行，總面積約12 hm2。淄博市屬半濕潤(rùn)半干旱的大陸性氣候，年平均氣溫12.3～13.1 ℃。試驗(yàn)采用大疆精靈4RTK無(wú)人機(jī)，最大飛行速度16 m/s，最大飛行時(shí)間30 min，搭載相機(jī)型號(hào)為DJI FC6310R，采用25.4 mm CMOS傳感器，數(shù)據(jù)格式為.jpg的單通道可見(jiàn)光圖像，分辨率為5 472×3 684像素。試驗(yàn)時(shí)天氣狀況良好，晴朗無(wú)風(fēng)，拍攝時(shí)間為12:00左右，溫度32 ℃，濕度43%，光照強(qiáng)度140 000 lx。大疆精靈4RTK無(wú)人機(jī)帶有RTK定位設(shè)備，可自動(dòng)獲取高精度無(wú)人機(jī)POS信息（拍照瞬間的位置參數(shù)、姿態(tài)參數(shù)）。無(wú)人機(jī)飛行高度為70 m，飛行速度為6 m/s，旁向重疊為70%，航向重疊為80%。飛行覆蓋區(qū)域?yàn)檎麄€(gè)試驗(yàn)田，拍攝總數(shù)212張。使用無(wú)人機(jī)航拍影像拼接軟件Pix4Dmapper拼接，獲得試驗(yàn)田的正射影像（圖1）。

玉米品種為金陽(yáng)光六號(hào)，播種采用機(jī)器播種，壟寬60 mm，株距30 mm種植100行，玉米生育期為喇叭口期，此時(shí)玉米植株有11～12片葉子，但葉片未完全將地面覆蓋，尚未封壟，玉米種植行之間的玉米葉片只有少數(shù)葉尖發(fā)生交叉。

1.2 FCN網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集制作

壟中心線為兩行物行之間的中心線，為了方便對(duì)壟中心線進(jìn)行提取，定義壟區(qū)域（Ridge Area, R-area）為長(zhǎng)度為d像素的線段垂直于壟中心線移動(dòng)掃掠得到寬度為d的區(qū)域。如圖2中橙色區(qū)域。

1.2.1 玉米田塊無(wú)人機(jī)遙感圖像壟中心線數(shù)據(jù)標(biāo)注

由于遙感圖像較大，進(jìn)行深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)訓(xùn)練需要進(jìn)行切塊，常規(guī)進(jìn)行數(shù)據(jù)集制作需要先切塊再對(duì)需要進(jìn)行語(yǔ)義分割的區(qū)域進(jìn)行標(biāo)注，但先切塊再標(biāo)注時(shí)只能觀察到窗口區(qū)域內(nèi)的作物壟走向，且對(duì)于連續(xù)缺苗不易進(jìn)行判斷，造成標(biāo)注錯(cuò)誤，不能獲得正確結(jié)果。為此該研究數(shù)據(jù)集制作時(shí)采用先在原圖進(jìn)行標(biāo)注處理，再切分的方法。

為方便模型對(duì)壟線區(qū)域分割進(jìn)行學(xué)習(xí)，先對(duì)圖1中的全部區(qū)域使用折線段進(jìn)行標(biāo)注。

壟中心線用折線段表示，壟的起點(diǎn)為S，終點(diǎn)為E，中間點(diǎn)為A，壟中心線總數(shù)量為N，則壟中心線L表示為

式中z代表從左往右的其中一壟，k代表每個(gè)中心線的折線端點(diǎn)從上到下計(jì)數(shù)。在進(jìn)行標(biāo)注時(shí)對(duì)以下四種情況定義標(biāo)注規(guī)則：

1）玉米播種和出苗較為規(guī)整的情況下，如圖3a，選擇玉米苗生長(zhǎng)朝向垂直于行線方向的葉子最外點(diǎn)，因此時(shí)玉米葉子剛有接觸，可通過(guò)此條件選擇壟中心線L的中間點(diǎn)A，如圖中紅點(diǎn)。

2）在行走向歪斜的情況下，如圖3b，按照實(shí)際走向選用符合條件的葉尖點(diǎn)進(jìn)行轉(zhuǎn)折，因拖拉機(jī)行走歪斜導(dǎo)致壟寬變大處的折線點(diǎn)按照不偏移圖像進(jìn)行標(biāo)注，如圖3b左數(shù)第三根。

3）對(duì)于缺苗行，按照原有正常出苗進(jìn)行標(biāo)注，選用一側(cè)的葉間點(diǎn)進(jìn)行標(biāo)注，如圖3c左數(shù)第四、五根標(biāo)注線。苗過(guò)小沒(méi)有葉尖相交時(shí)，按照兩行苗中心連線的中點(diǎn)進(jìn)行標(biāo)注。

4）對(duì)于多苗行圖3d，在行中間連續(xù)有作物時(shí)不進(jìn)行標(biāo)注，行中存在單獨(dú)苗時(shí)，可繼續(xù)進(jìn)行標(biāo)注不設(shè)斷點(diǎn)。

利用Arcgis標(biāo)注得到了人工標(biāo)注圖（圖3），圖中線元素為矢量元素，要用于語(yǔ)義分割模型進(jìn)行訓(xùn)練需要進(jìn)一步處理，生成可用于訓(xùn)練的帶有語(yǔ)義信息的真值圖。

先將人工標(biāo)注圖中的線元素L按照拼接后的原圖像大小進(jìn)行柵格化，使用柵格化函數(shù)R對(duì)L進(jìn)行操作，得到柵格化的壟中心線I。

柵格化后的I中，原有線元素被轉(zhuǎn)化為一系列相鄰像元，柵格化后的人工標(biāo)注線寬為1像素，像素值為255，其余像素值為0。此線位置為理論中心線位置，考慮到無(wú)人機(jī)圖像獲取精度，允許線的區(qū)域位置存在誤差偏移，所以使用式（3）[27]中的卷積規(guī)則對(duì)圖像進(jìn)行卷積，H代表最終卷積完成的結(jié)果函數(shù)，可通過(guò)坐標(biāo)(x,y)獲取某一像素的取值，G是二維高斯函數(shù)，卷積核大小選擇為ksize×ksize，式（4）中常數(shù)σ為1。設(shè)定壟區(qū)域左右偏差最大范圍為77 mm，超出此區(qū)域被認(rèn)為偏離壟中心線，灰度值為0，試驗(yàn)區(qū)原圖的像元大小為9.05 mm/像素，得出ksize的大小為17。

式中(m,n)代表高斯矩陣位置坐標(biāo)。

指定閾值為T，將得到的壟線概率分布圖上的像素取值H(x,y)通過(guò)灰度值進(jìn)行閾值分割，由式（5）得到用于語(yǔ)義分割網(wǎng)絡(luò)訓(xùn)練的標(biāo)簽圖的像素取值M(x,y)，灰度值為1的區(qū)域代表可能存在壟中心線的位置。

1.2.2 無(wú)人機(jī)原圖像和標(biāo)簽圖切塊

將原圖像分為訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集劃分比例為3:1，訓(xùn)練集和測(cè)試集田塊劃分方式如圖4。

使用滑動(dòng)窗口法[28]進(jìn)行訓(xùn)練集切割，窗口大小224×224像素，將訓(xùn)練集域按照等步長(zhǎng)112像素進(jìn)行切塊，將測(cè)試集按照等步長(zhǎng)224像素進(jìn)行切塊，經(jīng)過(guò)數(shù)據(jù)清選刪除空白區(qū)域，最終得到訓(xùn)練集5 100張，測(cè)試集807張。

1.3 壟區(qū)域提取模型網(wǎng)絡(luò)結(jié)構(gòu)配置

該研究使用FCN網(wǎng)絡(luò)對(duì)玉米田地遙感影像切塊進(jìn)行預(yù)測(cè)，編碼端通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)壟線區(qū)域的位置和周圍植被分布的規(guī)則，解碼端將帶有位置不變性的熱力圖進(jìn)行上采樣還原，得到最后壟線區(qū)域的語(yǔ)義分割圖。該研究采用的FCN網(wǎng)絡(luò)，前部分使用VGG16網(wǎng)絡(luò)并將全連接層替換為1×1卷積層，在進(jìn)行反卷積時(shí)，采用了FCN-8s結(jié)構(gòu)，此結(jié)構(gòu)比FCN-16s和FCN-32s有更好的效果[24]。

1.4 測(cè)試田塊圖像拼接與壟中心線提取

將測(cè)試田塊按照224×224像素窗口大小，112像素步長(zhǎng)進(jìn)行切塊，得到圖像1 614張，使用訓(xùn)練好的模型對(duì)圖像進(jìn)行預(yù)測(cè)，將預(yù)測(cè)好的圖像按切塊窗口原位置放回，重疊區(qū)域的結(jié)果進(jìn)行覆蓋保留。由于玉米種植方向基本一致，傾斜角度不大，按照此結(jié)構(gòu)特點(diǎn)，使用影像分割投影法[10]對(duì)得到的行間壟區(qū)域圖像求中心點(diǎn)。設(shè)測(cè)試田塊原圖寬度為Ws，高度為Hs，該研究目的是得到一份壟中心線柵格圖，切條高度選取為h，切條寬度和原圖寬度Ws相同，此時(shí)得到的每條壟線的中心點(diǎn)個(gè)數(shù)為Hs-h個(gè)。

式中i=1, 2, 3, ...,h，j=1, 2, 3, ...,Ws，其中g(shù)(i,j)代表在切條中點(diǎn)(i,j)的像素值，其中s(j)為j處h個(gè)像素向下投影后得到的灰度值之和，ms為j處s(j)的平均值。對(duì)每個(gè)切條使用判定規(guī)則：當(dāng)s(j)m>s(j+1)時(shí)為壟線區(qū)域右邊界，將所有得到的j進(jìn)行排序，如果j為左邊界，j+1屬于右邊界，且為進(jìn)行濾波，過(guò)濾噪聲點(diǎn)，當(dāng)滿足式（7）時(shí)，標(biāo)記為中心點(diǎn)。

1.5 模型訓(xùn)練和中心線提取精度評(píng)價(jià)

1.5.1 FCN模型訓(xùn)練

用于FCN模型訓(xùn)練的電腦參數(shù)：Intel(R) Core(TM) i7-7700HQ CPU @2.80GHz，16 GB內(nèi)存，2T硬盤，NVDIA GeForce GTX1070顯卡，8 GB顯存。FCN模型訓(xùn)練使用Tensorflow 2.2.0，選用Adam優(yōu)化器，損失函數(shù)使用交叉熵函數(shù)，訓(xùn)練80次，批（batch）大小16，學(xué)習(xí)率0.000 1，ksize選為17，閾值T選為5。

1.5.2 中心線提取精度評(píng)價(jià)

壟區(qū)域以長(zhǎng)度為d的直線掃掠后，得到壟區(qū)域?qū)挾葹閐的標(biāo)簽圖，壟區(qū)域?qū)挾萪的大小對(duì)模型訓(xùn)練結(jié)果影響巨大，為探究壟區(qū)域?qū)挾萪對(duì)試驗(yàn)提取結(jié)果的影響，設(shè)計(jì)了試驗(yàn)，選用不同的分割灰度值閾值0、1、3、6、12、20按照相同的方法制作訓(xùn)練集和測(cè)試集，并選用同樣的訓(xùn)練參數(shù)進(jìn)行模型訓(xùn)練，在預(yù)測(cè)后進(jìn)行拼接，分別得到6張壟區(qū)域預(yù)測(cè)圖和對(duì)應(yīng)的標(biāo)簽圖，對(duì)應(yīng)的標(biāo)簽中的壟區(qū)域?qū)挾萪分別為17、15、13、11、9、7像素。

對(duì)測(cè)試田塊的6張預(yù)測(cè)圖和標(biāo)簽圖分別計(jì)算混淆矩陣[29]，評(píng)價(jià)模型對(duì)壟區(qū)域的分類預(yù)測(cè)結(jié)果，其中壟區(qū)域?yàn)檎?，非壟區(qū)域?yàn)樨?fù)值，并計(jì)算準(zhǔn)確率（Ac）、精確率（P）、召回率（R）和調(diào)和平均值（F1）作為精度評(píng)價(jià)指標(biāo)，準(zhǔn)確率為正確預(yù)測(cè)壟線的數(shù)量與樣本總像素點(diǎn)個(gè)數(shù)的比值，總像素點(diǎn)個(gè)數(shù)為真正例（TP）、真負(fù)例（TN）、假正例（FP）、假負(fù)例（FN）的總和，精確率為真正例占所有預(yù)測(cè)正例樣本之比，召回率表示預(yù)測(cè)正例與正例樣本總數(shù)之比，F(xiàn)1值為精確率與召回率的調(diào)和平均值。

中心線提取是通過(guò)模型預(yù)測(cè)圖片后按照原窗口放回后的結(jié)果再計(jì)算得到的，模型訓(xùn)練精度不代表最終中心線提取精度，為探究不同壟區(qū)域?qū)挾萪對(duì)最終中心線提取精度的影響，對(duì)選用不同壟區(qū)域?qū)挾萪得到的6張測(cè)試田塊的壟區(qū)域預(yù)測(cè)圖提取中心線，計(jì)算中心線像素在sizek取不同值時(shí)得到的壟線概率分布圖中非零區(qū)域的像素個(gè)數(shù)和中心線像素個(gè)數(shù)的比值，作為中心線在不同左右偏差范圍內(nèi)的像素準(zhǔn)確率，即通過(guò)不同的壟區(qū)域?qū)挾萪標(biāo)簽圖得到的中心線，在不同左右偏差范圍的準(zhǔn)確率，代表中心線靠近人工標(biāo)注真值的程度。

2 結(jié)果與分析

2.1 FCN模型訓(xùn)練結(jié)果

圖5為FCN模型每次迭代時(shí)在測(cè)試集和訓(xùn)練集上的模型預(yù)測(cè)精度和損失值。由圖5可知，隨著訓(xùn)練迭代次數(shù)的增加，模型的精度數(shù)值逐漸收斂，模型在訓(xùn)練集和測(cè)試集模型預(yù)測(cè)精度分別為99.01%、97.19%，訓(xùn)練集和測(cè)試集模型預(yù)測(cè)損失值分別為0.02、0.202。測(cè)試集像素點(diǎn)中預(yù)測(cè)是壟區(qū)域?qū)嶋H為壟區(qū)域的個(gè)數(shù)為3 086 504個(gè)，實(shí)際為非壟區(qū)域的是571 602個(gè)；測(cè)試集像素點(diǎn)中預(yù)測(cè)是非壟區(qū)域，實(shí)際是非壟區(qū)域?yàn)?3 308 704個(gè)，實(shí)際是壟區(qū)域?yàn)? 536 678個(gè)，準(zhǔn)確率Ac為98%，精確率P為84%，召回率R為54%，F(xiàn)1值為66%。說(shuō)明在選用閾值T為5時(shí)模型可以被正確訓(xùn)練。

2.2 壟區(qū)域預(yù)測(cè)精度評(píng)價(jià)結(jié)果

該研究選取不同壟區(qū)域?qū)挾冗M(jìn)行試驗(yàn)，統(tǒng)計(jì)測(cè)試田塊預(yù)測(cè)圖像和標(biāo)簽圖像，得出表1中混淆矩陣值，通過(guò)式（8）～（11）計(jì)算了評(píng)價(jià)指標(biāo)值。由表1得出該壟區(qū)域提取方法在測(cè)試田塊上選用不同壟區(qū)域?qū)挾冗M(jìn)行模型訓(xùn)練時(shí)，評(píng)價(jià)指標(biāo)存在變化差異，各指標(biāo)達(dá)不同范圍，精確率可達(dá)66.1%～83.4%，召回率可達(dá)51.1%～73.9%，F(xiàn)1值可達(dá)57.6%～78.4%?？梢钥闯鲭S著壟區(qū)域?qū)挾萪變小，預(yù)測(cè)準(zhǔn)確率上升，但精確率、召回率和F1值都有下降。

表1 不同壟區(qū)域?qū)挾鹊玫降臏y(cè)試田塊混淆矩陣值和評(píng)價(jià)指標(biāo)值 Table 1 Confusion matrix value and evaluation index value of test field obtained from different Ridge area (R-area) width

2.3 測(cè)試田塊壟中心線提取及精度評(píng)價(jià)結(jié)果

測(cè)試田高度Hs為19 342像素，切條高度選為3像素，得到了19 339個(gè)切條，對(duì)每個(gè)切條求中心點(diǎn)，并將結(jié)果按切條順序排列，得到高度為19 339像素，寬度為Ws的中心點(diǎn)分布圖像。由于得到的壟區(qū)域較為平滑，相鄰切條得到的中心點(diǎn)像素左右偏差很小，多數(shù)中心點(diǎn)緊密相鄰，連接成線，每條壟的中心點(diǎn)的取值數(shù)量為原圖高度Hs減去切條高度h，并減去式（7）中過(guò)濾的點(diǎn)，最終結(jié)果為19 339個(gè)左右，若中心點(diǎn)的取值數(shù)量減少，則不可以直接形成柵格圖中的連線，還需算法對(duì)每壟再計(jì)算。通過(guò)該方法求得的中心線直接為當(dāng)前分辨率下的柵格地圖，可直接用于機(jī)器人的田間導(dǎo)航。

表2是通過(guò)試驗(yàn)對(duì)比不同壟區(qū)域?qū)挾冗M(jìn)行訓(xùn)練對(duì)中心線提取的影響得出的，由像素寬度按照?qǐng)D片像元大小可計(jì)算實(shí)際的偏差范圍，試驗(yàn)分別選取7、9、11、13、17像素寬度，得出實(shí)際左右偏差范圍分別為31.5、40.5、49.5、58.5、67.5、77 mm。

從表2可以看出，隨著壟區(qū)域?qū)挾萪減小，提取到的壟中心線準(zhǔn)確率在各個(gè)偏差范圍內(nèi)有先增大再減小的趨勢(shì)，在訓(xùn)練標(biāo)簽圖壟區(qū)域?qū)挾萪選取為9像素時(shí)，在77 mm左右偏差范圍內(nèi)可達(dá)到91.2%，在最小左右偏差范圍31.5 mm內(nèi)也可以達(dá)到61.5%。

通過(guò)表1和表2的結(jié)果可知，當(dāng)壟區(qū)域?qū)挾萪取值過(guò)小時(shí)，容易造成模型對(duì)玉米行間信息學(xué)習(xí)的不充分，使模型的學(xué)習(xí)效果變差，最后導(dǎo)致中心線提取效果不佳。當(dāng)壟區(qū)域?qū)挾萪取值過(guò)大時(shí)，模型可學(xué)習(xí)到更多特征，模型訓(xùn)練效果較好，但中心線提取精度不高，所以模型訓(xùn)練及中心線提取的關(guān)鍵是選擇合適的壟區(qū)域?qū)挾取?/p>

表2 不同壟區(qū)域?qū)挾鹊玫街行木€不同偏差范圍下的準(zhǔn)確率 Table 2 Accuracy of the centerline obtained by the width of different ridge areas under different error intervals

2.4 測(cè)試田塊提取效果分析

圖6為最終提取效果圖像，為清楚觀察提取結(jié)果，選取了部分測(cè)試田塊的原正射影像圖、標(biāo)簽圖、預(yù)測(cè)中心線圖、預(yù)測(cè)壟區(qū)域圖，通過(guò)圖片可得出，該研究方法最后可得到一張和原圖相同像素尺寸大小的中心線分布圖，壟區(qū)域和其提取的中心線較為平滑。

通過(guò)圖7可看出模型對(duì)圖3中所示的四種特殊情況在測(cè)試田塊上都進(jìn)行了有效的學(xué)習(xí)，具有較好的泛化能力。通過(guò)圖7b可以看出該方法對(duì)于缺壟現(xiàn)象可以按照標(biāo)注時(shí)的規(guī)則進(jìn)行學(xué)習(xí)，能將缺行的兩側(cè)也進(jìn)行正確的預(yù)測(cè)；通過(guò)7c可以看出該方法對(duì)于歪斜行按照標(biāo)注規(guī)則，在歪斜的兩行中間按照不歪斜的進(jìn)行預(yù)測(cè)；通過(guò)圖7d可以看出該方法在遇到單棵多苗現(xiàn)象時(shí)可以按照正常標(biāo)注進(jìn)行預(yù)測(cè)，不會(huì)有斷點(diǎn)；通過(guò)圖7e和圖7d可看出式（7）提出的濾波算式對(duì)求壟中心線時(shí)拼接邊界產(chǎn)生的誤差有很好的過(guò)濾效果，可以過(guò)濾掉拼接圖像時(shí)產(chǎn)生的毛刺。

3 討 論

傳統(tǒng)的基于Hough變換的作物行提取方法大多使用閾值分割后的二值圖，對(duì)特征點(diǎn)進(jìn)行提取[30-33]，通過(guò)直線提取算法對(duì)特征點(diǎn)進(jìn)行擬合，得到最后的作物行線或壟線，其中多使用過(guò)綠特征對(duì)圖像進(jìn)行二值化，結(jié)合大津法對(duì)作物和背景進(jìn)行分割[34-36]。該研究對(duì)部分遙感影像使用過(guò)綠特征進(jìn)行二值化，對(duì)二值化后的圖使用影像分割投影法，求得中心點(diǎn)，再使用Hough直線提取，以對(duì)比傳統(tǒng)方法和該研究方法，形成了對(duì)原圖中四個(gè)區(qū)域的識(shí)別結(jié)果（圖8），由圖8a可知，傳統(tǒng)方法對(duì)作物壟的提取，在長(zhǎng)勢(shì)比較均勻，行線比較規(guī)整的情況下，有著十分不錯(cuò)的提取效果，每行都可以被正確的提取出來(lái)；如圖8b，當(dāng)作物種植處缺苗時(shí)，會(huì)導(dǎo)致Hough直線提取時(shí)曲線重合點(diǎn)的閾值確定困難，苗少的區(qū)域會(huì)提取不到結(jié)果，使用該研究方法得到的壟線，在缺苗處也有很好的提取效果；如圖8c，在作物種植時(shí)，由于拖拉機(jī)控制誤差等會(huì)出現(xiàn)行線彎曲的情況，此時(shí)使用傳統(tǒng)的直線提取就會(huì)出現(xiàn)行提取失敗問(wèn)題，使用該研究方法得到壟線可以擬合作物種植過(guò)程中的彎曲壟線；如圖8d，作物種植過(guò)程中由于機(jī)械故障會(huì)出現(xiàn)缺苗的情況，傳統(tǒng)方法會(huì)將缺苗部分的兩個(gè)壟線合為一個(gè)，該研究在人工標(biāo)注時(shí)會(huì)將此種情況認(rèn)為兩壟，模型學(xué)習(xí)后可以對(duì)此情況進(jìn)行正確預(yù)測(cè)；玉米種植初期田間隨著玉米出苗，生長(zhǎng)了大量低矮雜草，圖8d中作物行間含有大量雜草，土地大片呈綠色，如果使用傳統(tǒng)方法，對(duì)這兩張圖進(jìn)行二值化分割，會(huì)因雜草干擾而影響二值化分割效果。對(duì)比傳統(tǒng)方法和該研究提出的基于深度學(xué)習(xí)的語(yǔ)義分割方法的提取效果，基于深度學(xué)習(xí)語(yǔ)義分割的方法，對(duì)各種情況具有更好的適用性和魯棒性，減少使用傳統(tǒng)方法的人工調(diào)參工作，提取到的行線更符合實(shí)際。

通過(guò)訓(xùn)練結(jié)果損失值可以看出，在測(cè)試集上的損失值隨著訓(xùn)練次數(shù)增加有提高的趨勢(shì)，分析發(fā)現(xiàn)造成這一現(xiàn)象的原因是數(shù)據(jù)集中由于人工標(biāo)注誤差而產(chǎn)生的噪聲，標(biāo)注時(shí)人眼通過(guò)目視解譯對(duì)壟中心線的位置進(jìn)行標(biāo)注，導(dǎo)致標(biāo)注時(shí)容易形成誤差，如圖9a中的第三根線標(biāo)注的比較靠左，但是隨著訓(xùn)練進(jìn)行，模型學(xué)習(xí)到了正確的規(guī)則，計(jì)算出的區(qū)域在人工標(biāo)注紅線的右側(cè)；該研究模型訓(xùn)練和最終于圖像拼接采用的是滑動(dòng)窗口法，但是在將圖片放回原位置時(shí)，由于圖像的大小固定，在壟線邊界位置預(yù)測(cè)有誤差，造成不同圖像拼接后壟線錯(cuò)位的現(xiàn)象，如圖9b所示，第二根線中部存在著明顯的拼接痕跡，此錯(cuò)位現(xiàn)象的存在使得計(jì)算中心線時(shí)，像素點(diǎn)不能很好的緊密相連，存在著跳動(dòng)。如圖9c中第三根線，真值是連續(xù)的直線，但是由于切塊窗口尺寸問(wèn)題，看不到此條直線的上下部分，所以模型僅通過(guò)兩側(cè)的圖像進(jìn)行預(yù)測(cè)，因規(guī)則不明顯，導(dǎo)致預(yù)測(cè)結(jié)果失效（圖9d）。

該研究使用的深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)，在各種復(fù)雜背景下，有很好的提取效果，如圖10a中含有雜草和噴藥桿且較為明亮；圖10b中土地由于含較多有機(jī)肥，玉米生長(zhǎng)狀況不優(yōu)，且土地呈棕紅色；圖10c中最右一行，雜草和玉米顏色十分接近，且玉米苗較??；圖10d中含有空行、弱小長(zhǎng)勢(shì)行、正常長(zhǎng)勢(shì)行；圖10e中含有雜草和空行；圖10f中含有噴藥機(jī)的車輪。模型通過(guò)對(duì)復(fù)雜背景中標(biāo)簽圖的學(xué)習(xí)，更加適用于實(shí)際環(huán)境，也具有更強(qiáng)的魯棒性。

4 結(jié) 論

1）深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)FCN可對(duì)壟區(qū)域這一沒(méi)有明顯邊界的語(yǔ)義區(qū)域進(jìn)行分割提取，模型在測(cè)試田塊上精確率達(dá)66.1%～83.4%，召回率達(dá)51.1%～73.9%，調(diào)和平均值為57.6%～78.4%。

2）選擇9像素壟區(qū)域?qū)挾冗M(jìn)行訓(xùn)練，最后得到的中心線在77 mm偏差范圍準(zhǔn)確率為91.2%，在31.5 mm偏差范圍內(nèi)為61.5%

該研究得到的中心線位置圖受無(wú)人機(jī)影像的精準(zhǔn)度影響，且該方法沒(méi)有利用不同時(shí)期的玉米無(wú)人機(jī)遙感數(shù)據(jù)進(jìn)行分析，只利用了葉尖稍有交叉時(shí)期的數(shù)據(jù)進(jìn)行分析。未來(lái)的研究工作中，將針對(duì)不同生育期、不同光照條件下的玉米田無(wú)人機(jī)遙感圖像壟中心線提取進(jìn)行研究，以期得到更加穩(wěn)定適用性更強(qiáng)的壟中心線提取方法。