多傳感器融合低成本農(nóng)機(jī)自動(dòng)導(dǎo)航方法

俞娟 盧偉 曾夢(mèng)潔 趙思佳

摘要：針對(duì)現(xiàn)有大田農(nóng)機(jī)高精度衛(wèi)星導(dǎo)航成本高，且受氣象環(huán)境影響較大的問(wèn)題，該文提出了一種基于 D-S-CNN 的農(nóng)田多傳感器融合的自動(dòng)導(dǎo)航方法，實(shí)現(xiàn)田間低成本、高精度定位導(dǎo)航。首先，將低成本衛(wèi)星導(dǎo)航、慣性導(dǎo)航、視覺(jué)導(dǎo)航傳感器的數(shù)據(jù)進(jìn)行預(yù)處理，分別得到拖拉機(jī)的位置、姿態(tài)信息，然后通過(guò) D-S 證據(jù)理論進(jìn)行傳感器失效檢驗(yàn)，最后將三種傳感器的位置、姿態(tài)信息以及 D-S 證據(jù)信任函數(shù)矩陣輸入 CNN 神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合實(shí)現(xiàn)田間高精度定位。實(shí)驗(yàn)表明，采用基于 D-S-CNN 的農(nóng)田多信息融合導(dǎo)航方法，在離線(xiàn)測(cè)試中，無(wú)傳感器失效情況下定位精度為4 cm，單個(gè)傳感器失效情況下定位精度為10 cm，定位時(shí)間約17 ms;在實(shí)際測(cè)試中，無(wú)傳感器失效情況下定位精度為6 cm，單個(gè)傳感器失效情況下定位精度為13 cm，且該算法具有較好的魯棒性和實(shí)用性。

關(guān)鍵詞：智能拖拉機(jī);導(dǎo)航;傳感器信息融合;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： TP274.2文獻(xiàn)標(biāo)志碼： A文章編號(hào)：1674–5124（2021）12–0106–08

Low-cost agricultural machinery intelligent navigation method based on multi-sensor information fusion

YU Juan1，LU Wei2，ZENG Mengjie2，ZHAO Sijia2

（1. Sanjiang University， Nanjing 210012， China;2. College of Artificial Intelligence， NanjingAgricultural University， Nanjing 210031， China）

Abstract： The existing agricultural machinery precise navigation method using GPS/BD costhighlyand also stronglyinfluencedbythecomplicatedfieldmicroclimate. Thispaperproposedafarmlandintelligent navigation method basedon multi-sensorand visualfusion usingD-S-CNN to realizelowcostand high precision positioning navigation infield. Firstly， satellite navigation， inertial navigation and visual navigation information were got after preprocessing. Then the sensors failure test was carried out and the D-S evidence trust matrix was calculated by using D-S evidence theory. Finally， the high precision position navigation was achieved by using sensors data of position， posture and D-S evidence trust matrix as input. The experiments results showed that the position accuracies were 4 cm and 10 cm in the cases of none and one failure sensor respectively. And the positioning time was 17 ms. The experimental position accuracies in actualworkcondition were 6 cm and 13 cm in the case of none and one failure sensor with good robustness.

0引言

隨著農(nóng)業(yè)自動(dòng)化的進(jìn)一步發(fā)展，導(dǎo)航技術(shù)在農(nóng)機(jī)應(yīng)用中更為廣泛。目前導(dǎo)航定位技術(shù)包括絕對(duì)定位和相對(duì)定位兩種。其中常用的絕對(duì)定位技術(shù)是衛(wèi)星導(dǎo)航定位[1]，主要為全球定位系統(tǒng)（globalpositionsystem， GPS）和北斗衛(wèi)星導(dǎo)航系統(tǒng)（BeiDou NavigationSatellite System， BDS）。GPS 和 BDS 能夠提供定位物體的絕對(duì)位置信息，由于在復(fù)雜多變的農(nóng)田中存在小氣象環(huán)境和偏僻的地理位置，常因惡劣天氣導(dǎo)致衛(wèi)星信號(hào)弱、樹(shù)木遮擋衛(wèi)星信號(hào)等因素，造成衛(wèi)星信號(hào)短時(shí)丟失甚至中斷。差分全球定位系統(tǒng)（differential global position system， DGPS）[2]雖然精度較高，但是由于天線(xiàn)放置于拖拉機(jī)頂部，當(dāng)農(nóng)田中車(chē)體傾斜時(shí)，定位位置與車(chē)輪實(shí)際位置產(chǎn)生較大誤差，且成本較高，不適用于農(nóng)田導(dǎo)航。農(nóng)機(jī)中相對(duì)定位技術(shù)應(yīng)用較為廣泛的是慣性導(dǎo)航、視覺(jué)導(dǎo)航以及激光雷達(dá)。慣性導(dǎo)航器件的特點(diǎn)是體積、質(zhì)量、功耗都較小，但目前對(duì)于慣性導(dǎo)航系統(tǒng)的姿態(tài)角測(cè)量一般采用航位推算原理，其積分運(yùn)算使導(dǎo)航誤差迅速積累，無(wú)法滿(mǎn)足長(zhǎng)時(shí)間工作的高精度導(dǎo)航系統(tǒng)的指標(biāo)要求。Liu[3]等提出一種根據(jù)最優(yōu)導(dǎo)航控制原理自動(dòng)跟蹤目標(biāo)路徑的系統(tǒng)，系統(tǒng)硬件由兩個(gè) GPS 模塊，兩個(gè) Zigbee 無(wú)線(xiàn)傳輸模塊和一個(gè)慣性傳感器組成，利用 GPS 模塊對(duì)慣性導(dǎo)航數(shù)據(jù)進(jìn)行修正，實(shí)驗(yàn)表明最大橫向誤差分別為0.16 m 和0.27 m，實(shí)際應(yīng)用中誤差較大。為實(shí)現(xiàn)大田的精確導(dǎo)航，激光平地機(jī)作為一種新型農(nóng)田平整技術(shù)[4]被研究出來(lái)用以提高農(nóng)機(jī)的導(dǎo)航精度，并作為標(biāo)準(zhǔn)化農(nóng)田的前道工序[5]。此外，近年來(lái)，單目視覺(jué) SLAM（simultaneouslocalization and mapping）技術(shù)發(fā)展迅速，由最初的基于濾波的方法逐漸發(fā)展到基于關(guān)鍵幀的方法。齊乃新等[6]提出了一種基于輔助匹配的1點(diǎn) RANSAC 單目視覺(jué)導(dǎo)航算法，解決了主動(dòng)視覺(jué)匹配失效問(wèn)題，提高了1點(diǎn) RANSAC 單目視覺(jué)導(dǎo)航算法的導(dǎo)航精度，SIFT 求解的有效匹配點(diǎn)精度在5個(gè)像素之內(nèi)， 減小了航向角、俯仰角、滾動(dòng)角的平均誤差;但僅靠單一視覺(jué)導(dǎo)航作業(yè)，導(dǎo)航精度難以有較大提升。視覺(jué)導(dǎo)航成本低廉，具有短距離導(dǎo)航精度高的特性，但是由于田間光照環(huán)境復(fù)雜多變，有時(shí)會(huì)造成視覺(jué)定位的失效。由于攝像頭的局部感知特性，在復(fù)雜多變的作業(yè)環(huán)境下常常使用視覺(jué)導(dǎo)航實(shí)現(xiàn)局部的環(huán)境感知[7]，輔助其他導(dǎo)航系統(tǒng)減小導(dǎo)航數(shù)據(jù)誤差以提高導(dǎo)航精度。Bengochea-Guevara[8]等設(shè)計(jì)了一種田間自主導(dǎo)航車(chē)輛，該車(chē)輛通過(guò)視覺(jué)跟蹤作物行并遵循車(chē)輛定位路徑規(guī)劃進(jìn)行自動(dòng)導(dǎo)航，在平緩地面有較好的導(dǎo)航效果，但在不規(guī)則及起伏較大的地面效果不佳。目前智能無(wú)人駕駛車(chē)輛[9]多采用激光雷達(dá)等進(jìn)行導(dǎo)航，但其安裝高度較低，在農(nóng)田中易受污而影響檢測(cè)且成本較高，且其高速轉(zhuǎn)動(dòng)部件難以適應(yīng)農(nóng)田強(qiáng)振動(dòng)環(huán)境。

為了增強(qiáng)導(dǎo)航系統(tǒng)在環(huán)境復(fù)雜多變的農(nóng)田中的適應(yīng)性和魯棒性，許多學(xué)者開(kāi)始將多傳感器信息融合方法作為農(nóng)機(jī)導(dǎo)航研究的重點(diǎn)方向[10]。Zaidner[11]等提出了一種用于傳感器數(shù)據(jù)融合的高精度定位系統(tǒng)的方法，利用似然比檢驗(yàn)作為選擇最可能狀態(tài)估計(jì)的決策技術(shù)，實(shí)現(xiàn)了 DGPS，IMU 和視覺(jué)傳感器的數(shù)據(jù)融合，與標(biāo)準(zhǔn)卡爾曼濾波器相比定位效果更好，但僅停留在仿真階段。張鐵民[12]等設(shè)計(jì)了多傳感器信息融合的導(dǎo)航控制系統(tǒng)，實(shí)現(xiàn)小車(chē)的路徑跟蹤控制，但對(duì)規(guī)范路徑依賴(lài)性高。黃鈺平[13]設(shè)計(jì)了一種 GNSS/DR 組合導(dǎo)航系統(tǒng)，該系統(tǒng)使用自適應(yīng)擴(kuò)展卡爾曼濾波器進(jìn)行優(yōu)化，能夠在衛(wèi)星失效的區(qū)域內(nèi)獲得可靠的定位信息，但成本相對(duì)高昂。張京[14]等提出一種 GNSS/INS 航向信息融合導(dǎo)航系統(tǒng)，實(shí)驗(yàn)結(jié)果表明，融合后的導(dǎo)航精度有了明顯提高，并且能夠消除 GNSS 航向角的測(cè)量噪聲，GNSS 航向角解算值的更新速率也得到了有效提高，但對(duì)于復(fù)雜多變的農(nóng)田環(huán)境應(yīng)用性相對(duì)較低。

由于目前農(nóng)業(yè)稻麥作物行距正常在10～20 cm以?xún)?nèi)，不同的農(nóng)作物的理想行距會(huì)有細(xì)微差異，農(nóng)機(jī)導(dǎo)航精度要求已經(jīng)逐漸提升到厘米級(jí)。文獻(xiàn)[15]中以東方紅 X-804拖拉機(jī)為平臺(tái)，開(kāi)發(fā)了一種基于 RTK-DGPS 定位和雙閉環(huán)轉(zhuǎn)向控制相組合的農(nóng)業(yè)自動(dòng)導(dǎo)航系統(tǒng)，橫向跟蹤誤差不超過(guò)9 cm，但針對(duì) DGPS 信號(hào)短時(shí)丟失問(wèn)題沒(méi)有較好處理。文獻(xiàn)[16]針對(duì)視覺(jué)導(dǎo)航系統(tǒng)在果園環(huán)境中面臨的圖像背景復(fù)雜、干擾因素多等問(wèn)題，提出了一種基于 U-Net 網(wǎng)絡(luò)的果園視覺(jué)導(dǎo)航路徑識(shí)別方法，平均距離誤差為4.4 cm，但其適用范圍小。文獻(xiàn)[17]針對(duì)農(nóng)機(jī)在環(huán)境干擾情況下 BDS 失調(diào)、INS 單獨(dú)導(dǎo)航誤差大的不足， 以 BDS/INS 兩者間位置、速度差值為模型，提出蜂群算法優(yōu)化 BP 神經(jīng)網(wǎng)絡(luò)輔助卡爾曼濾波的算法組合導(dǎo)航，精準(zhǔn)定位農(nóng)機(jī)位置速度信息，使速度誤差小于0.6m/s，位置誤差小于30 m，其導(dǎo)航精度偏低。

針對(duì)目前農(nóng)田環(huán)境復(fù)雜傳感信號(hào)短時(shí)失效、農(nóng)機(jī)導(dǎo)航精度不高以及導(dǎo)航設(shè)備價(jià)格昂貴的問(wèn)題，本文提出一種基于 D-S-CNN 的農(nóng)田多傳感器/視覺(jué)信息融合導(dǎo)航方法，將 D-S 證據(jù)理論與 CNN 神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)時(shí)獲取傳感器的故障概率，提高數(shù)據(jù)融合可靠性，減小數(shù)據(jù)融合誤差，從而提升導(dǎo)航數(shù)據(jù)的精度至厘米級(jí)。在復(fù)雜環(huán)境下實(shí)現(xiàn)大田農(nóng)機(jī)的高精度、低成本導(dǎo)航。

1實(shí)驗(yàn)裝置

實(shí)驗(yàn)裝置由拖拉機(jī)本體（常發(fā) CFD504A）和北京合眾思?jí)压镜?MG858S 高精度 GIS 采集器、HiPNUC公司的 H1219M 陀螺儀以及視覺(jué)攝像頭（PC CAMERA）組成。由于可見(jiàn)光攝像頭的感知距離有限，攝像頭選擇安裝在農(nóng)機(jī)前方，攝像范圍是農(nóng)機(jī)前方幾米內(nèi)的距離，安裝位置如圖1所示。傳感器具體數(shù)據(jù)如表1所示。實(shí)驗(yàn)選取部分小麥田進(jìn)行導(dǎo)航實(shí)驗(yàn)研究。

2基于多傳感器/視覺(jué)信息融合的定位導(dǎo)航技術(shù)

考慮到融合的多傳感器信息為多輸入、非線(xiàn)性強(qiáng)，且田間復(fù)雜環(huán)境中個(gè)別傳感器可能存在實(shí)現(xiàn)狀態(tài)，傳統(tǒng)的融合模型精度較低，因此，本文擬采用 D- S 證據(jù)理論結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）進(jìn)行多傳感器信息融合，技術(shù)框架如圖2所示。

2.1基于 GPS 的田間導(dǎo)航

GPS 定位技術(shù)用于農(nóng)田信息采集和作業(yè)時(shí)，為了方便地計(jì)算距離和速度，常常需要將 GPS 測(cè)定到的拖拉機(jī)的經(jīng)緯度坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為以地平面上平面直角坐標(biāo)系中的X、Y 坐標(biāo)。

已有研究表明，GPS 數(shù)據(jù)通過(guò)卡爾曼濾波處理后效果較好，因此本文先采用卡爾曼濾波對(duì)采集的經(jīng)度數(shù)據(jù)進(jìn)行處理，具體步驟如下：

1）首先建立采集系統(tǒng)狀態(tài)方程

式中：Li、Ni——經(jīng)度系統(tǒng)狀態(tài)與測(cè)量向量; Oi、Fi——狀態(tài)噪聲與測(cè)量噪聲向量;

Ai、Gi與Ji——系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣、輸入關(guān)系矩陣與測(cè)量關(guān)系矩陣。

2）卡爾曼濾波假定Oi和Fi為零均值、不相關(guān)的高斯白噪聲，即滿(mǎn)足

式中：Ki、Zi——Oi和Fi的協(xié)方差矩陣;

dij——克羅內(nèi)克函數(shù)。

3）測(cè)量更新方程

4）時(shí)間更新方程

式中：i| j——經(jīng)度狀態(tài)估計(jì)值;

Pi|j?系統(tǒng)狀態(tài)估計(jì)誤差△i|j = Li? i|j的方差矩陣。

緯度數(shù)據(jù) B 也采用上述方法處理。然后采用高斯-克呂格投影法來(lái)將橢球面上的經(jīng)緯度坐標(biāo)轉(zhuǎn)為平面坐標(biāo)。高斯—克呂格投影族通用公式，如式?????? （5）和（6）所示：

其中，c =0.99996為比例因子，S 為從赤道開(kāi)始的子午線(xiàn)弧長(zhǎng)，l 為地理經(jīng)度與中央經(jīng)線(xiàn)的經(jīng)度之差，B 為地理緯度，a 為地球長(zhǎng)半軸，bl為地球短半軸，g 為重力加速度，c =a2/ bl，t =tan B，η= e＼2gcos2 B，N = c/√l +η2，e＼=√a2? bl2/c。得到的平面坐標(biāo)（ xp，yp）記為PG。

2.2基于慣性技術(shù)的田間導(dǎo)航

慣性導(dǎo)航中用互補(bǔ)濾波的方式估計(jì)姿態(tài)效果較好，因此本文先將采集到的數(shù)據(jù)進(jìn)行卡爾曼濾波，然后將濾波后的數(shù)據(jù)進(jìn)行互補(bǔ)濾波得到拖拉機(jī)位姿信息。慣性導(dǎo)航系統(tǒng)中涉及的坐標(biāo)系主要有導(dǎo)航坐標(biāo)系、拖拉機(jī)坐標(biāo)系、大地坐標(biāo)系，本文分別用 n，b， e 表示以上3個(gè)坐標(biāo)系。慣性導(dǎo)航系統(tǒng)中主要的姿態(tài)參數(shù)包括拖拉機(jī)的橫滾角、俯仰角以及航向角，本文分別用θ，?，ψ表示。方向余弦矩陣反映兩個(gè)不同坐標(biāo)系之間的關(guān)聯(lián)關(guān)系，使用Cn（b）體現(xiàn)拖拉機(jī)坐標(biāo)轉(zhuǎn)換為導(dǎo)航坐標(biāo)的關(guān)系。四元數(shù)法是姿態(tài)解算過(guò)程中常用的方法，本文使用該方法對(duì)陀螺儀的信息進(jìn)行解算。

四元數(shù)是空間變量，有4個(gè)自由度，由實(shí)數(shù)加上3個(gè)元素i，j，k 組成，一般可記為Q = q0+ iq1+ jq2+ kq3。

1）四元數(shù)與方向余弦矩陣的換算關(guān)系如下：

2）從四元數(shù)中獲得重力向量和磁場(chǎng)向量

3）令bx =√hx（2）+ hy（2），bz = hz，得

4）計(jì)算誤差得

5）利用誤差修正陀螺儀

6）更新四元數(shù)

7）由此得出四元數(shù)與拖拉機(jī)姿態(tài)角關(guān)系：

將獲得加速度信號(hào)去除奇異點(diǎn)以及強(qiáng)力去噪，再進(jìn)行一重積分（采用梯形法求速度）獲得拖拉機(jī)的運(yùn)動(dòng)速度信號(hào)，再通過(guò)對(duì)運(yùn)動(dòng)速度信號(hào)的一重積分獲得拖拉機(jī)運(yùn)動(dòng)位移，結(jié)合位姿信息求解拖拉機(jī)在平面坐標(biāo)系中的運(yùn)動(dòng)路徑（xI，yl）坐標(biāo)記為 PI。

2.3基于視覺(jué)圖片序列的田間導(dǎo)航

近些年來(lái)，機(jī)器視覺(jué)伴隨著圖像處理技術(shù)，模式識(shí)別技術(shù)，人工智能技術(shù)和計(jì)算機(jī)控制技術(shù)的發(fā)展，技術(shù)方法逐漸完善，己經(jīng)成為智能機(jī)器人的重要組成部分。目前，在農(nóng)業(yè)機(jī)械視覺(jué)導(dǎo)航方面一般采用作物行直線(xiàn)檢測(cè)，在復(fù)雜背景及雜草噪聲較強(qiáng)的環(huán)境下不能準(zhǔn)確提取作物行信息，對(duì)此本文采取使用單目攝像機(jī)采集視頻信息，進(jìn)行幀間圖像特征匹配的視覺(jué)導(dǎo)航方法。由于成像系統(tǒng)和目標(biāo)的距離和方位的原因，會(huì)導(dǎo)致形成的圖像發(fā)生透視而不再是正視圖，這對(duì)于圖像的特征提取非常不利，需要進(jìn)行圖像矯正，同時(shí)在特征提取時(shí)又要保證特征點(diǎn)對(duì)于圖像的尺度變換、仿射變換等具有特征不變性及較好的實(shí)時(shí)性，本文提出一種基于 Hough-PT- ORB 特征提取的圖像序列匹配視覺(jué)導(dǎo)航算法，具體步驟如下：

1）利用張正友標(biāo)定法對(duì)相機(jī)內(nèi)參數(shù)進(jìn)行標(biāo)定，標(biāo)定矩陣 K 如下：

2）利用標(biāo)定之后的相機(jī)采集拖拉機(jī)在實(shí)驗(yàn)田間的運(yùn)動(dòng)視頻，獲取圖像序列，進(jìn)行圖像矯正，具體步驟如下：

①一個(gè)二維圖像經(jīng)過(guò)透視變換成為另外一個(gè)平面圖像，這個(gè)過(guò)程表示為：

式中：（x，y ）——畸變圖像的像素坐標(biāo);

（u，v ）——正視圖的像素坐標(biāo);

h，o，p，q，r，f，s，w ?透視變換（perspective transformation，PT）參數(shù)。

②把畸變圖像中的各個(gè)像素點(diǎn)坐標(biāo)記為（x1，y1），（x2，y2），（x3，y3），（x4，y4）;相應(yīng)的正視圖中的點(diǎn)坐標(biāo)記為（u1，v1），（u2，v2），（u3，v3），（u4，v4）：

③可以得到透視參數(shù) M

④用解出的透視參數(shù)對(duì)原透視圖像進(jìn)行透視變換，得到矯正圖。

3）用 ORB（Oriented FAST and Rotated BRIEF）算法對(duì)矯正后的圖像進(jìn)行特征提取

①建立圖像高斯金字塔，提取每一層圖像的FAST （Features From Accelerated Segment Test）特征點(diǎn)。

②添加特征點(diǎn)的方向因子。以特征點(diǎn)為中心建立一個(gè)圖像塊，定義圖像塊各像素點(diǎn)的矩為

式中：α，β——矩的階次;

I（x，y）——圖像灰度表達(dá)式。

利用零階矩和一階矩來(lái)計(jì)算質(zhì)心的坐標(biāo)。建立一個(gè)從圖像塊的中心到質(zhì)心的向量作為方向因子，向量的方向可簡(jiǎn)化為z = arctan（m01 ， m10）。

③引入旋轉(zhuǎn)因子。利用二進(jìn)制魯棒獨(dú)立的基本特征（binary robust independent elementary features， BRIEF）方法描述特征點(diǎn)，并在此基礎(chǔ)上采用方向因子驅(qū)動(dòng)法實(shí)現(xiàn)二進(jìn)制字符串向量的旋轉(zhuǎn)。在 BRIEF 方法中，對(duì)于一個(gè)Na×Na大小的圖像塊p，有如下定義：

選取nv個(gè)特征點(diǎn)得到的nv維向量如下：

定義一個(gè)2×nv的矩陣：s =），利用方向因子 e 和基礎(chǔ)旋轉(zhuǎn)矩陣Rλ，定義Sl = Rls。得到最終的特征點(diǎn)描述子如下式所示。只要λ確定了，便可快速獲得描述子。

4）利用提取的特征進(jìn)行匹配推算位移，得到的平面坐標(biāo)（xv，yv）記為 PV。

3基于 D-S-CNN 的農(nóng)田多傳感器/視覺(jué)信息融合導(dǎo)航模型

3.1基于 D-S-CNN 的多傳感器信息融合算法

CNN 具有良好的容錯(cuò)能力、并行處理能力和自學(xué)習(xí)能力，運(yùn)行速度快、自適應(yīng)性能好，且具有較高的分辨率，可以用于多傳感器導(dǎo)航信息融合，提高定位精度。但是由于大田復(fù)雜的小氣象環(huán)境和偏僻的地理位置，以及農(nóng)田惡劣的作業(yè)環(huán)境，田中 GPS、慣性導(dǎo)航以及視覺(jué)導(dǎo)航可能會(huì)出現(xiàn)短時(shí)間單個(gè)甚至多個(gè)失效的現(xiàn)象，從而導(dǎo)致導(dǎo)航模型輸出結(jié)果誤差較大，魯棒性差。同時(shí)，D-S （dempster/shafer）證據(jù)理論能夠較好地鑒別信息的可信度。因此，本文提出一種基于 D-S-CNN 的多傳感器信息融合算法，通過(guò) D-S 證據(jù)理論同步分析多個(gè)傳感器實(shí)時(shí)可信度，減小訓(xùn)練模型中誤差數(shù)據(jù)輸入，再利用 CNN 結(jié)合實(shí)時(shí)可信度進(jìn)行多傳感器信息融合，從而提升導(dǎo)航系統(tǒng)的準(zhǔn)確性和魯棒性，具體結(jié)構(gòu)如圖3所示。

其中，融合結(jié)構(gòu)分為兩級(jí)，第一級(jí)功能為基于證據(jù)理論信息融合，將三種傳感器采集的拖拉機(jī)位置信息作為證據(jù)，經(jīng)過(guò)證據(jù)理論綜合產(chǎn)生決策信息，輸出判決結(jié)果矩陣 KC。第二級(jí)功能為將三種傳感器的拖拉機(jī)位置信息及決策結(jié)果矩陣 KC 輸入 CNN 神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合建模，具體過(guò)程為：

1）采集傳感器信息，并進(jìn)行相應(yīng)預(yù)處理，得到 GPS 數(shù)據(jù)記為 PG，慣性導(dǎo)航數(shù)據(jù)記為 PI，視覺(jué)導(dǎo)航數(shù)據(jù)記為 PV;

2）將傳感器數(shù)據(jù)進(jìn)行歸一化處理后作為證據(jù)，用證據(jù)組合規(guī)則進(jìn)行證據(jù)組合，產(chǎn)生新的信任函數(shù)矩陣，記為 KC 。具體步驟如下：

①基本信任分配函數(shù)：定義集合 E，E 為集合 D 的子集，G 為2D上的基本信任分配函數(shù)（mass 函數(shù)），G（A）表示對(duì) E 的信度程度大小。G：2?→[0，1]，則函數(shù) G 滿(mǎn)足：

中全部元素的基本概率之和為1

②合成規(guī)則：G1，G2，G3是2?上三個(gè)概率分配函數(shù)，其正交和 G=G1+G2+G3定義為：G （?）=0， E =?;

其中信任函數(shù)矩陣 KC 的取值為?3={0， 1}，矩陣中1表示傳感器判決為有效，0表示判決為無(wú)效。

3）將 PG，PI，PV，KC 作為輸入，離線(xiàn)訓(xùn)練 CNN 神經(jīng)網(wǎng)絡(luò)，其中訓(xùn)練集1000個(gè)，測(cè)試集392個(gè);

①CNN 卷積層計(jì)算過(guò)程如下：

式中：

第 n 層第 j 個(gè)節(jié)點(diǎn)的計(jì)算結(jié)果;

激活函數(shù);

第 n 層第j個(gè)輸出特征圖所對(duì)應(yīng)的多個(gè)輸入特征圖的索引集合;

偏置項(xiàng)，所有輸入特征圖共用這一個(gè)偏置項(xiàng);

卷積核。

②池化層為特征映射層，每個(gè)池化層由多個(gè)特征映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。經(jīng)過(guò)池化層，可降低特征的維數(shù)，也可防止過(guò)擬合。池化層的計(jì)算過(guò)程如下：

式中：down（·）——下采樣函數(shù);

βj（n）——乘性偏置。

4）利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行傳感器信息的綜合，求出神經(jīng)網(wǎng)絡(luò)的輸出拖拉機(jī)的位姿信息 P*。

3.2基于 D-S-CNN 的多傳感器組合導(dǎo)航算法

基于農(nóng)田環(huán)境復(fù)雜，本文提出一種基于 D-S- CNN 的多傳感器組合導(dǎo)航算法，該算法能夠有效結(jié)合三種導(dǎo)航傳感單元，增強(qiáng)導(dǎo)航精度以及抗干擾性。該算法首先同時(shí)運(yùn)行 GPS 定位算法、慣性導(dǎo)航算法以及視覺(jué)導(dǎo)航算法，分別獲取三種導(dǎo)航的實(shí)時(shí)導(dǎo)航坐標(biāo)。而后將三種方法的平面坐標(biāo)同步輸入 D-S 證據(jù)理論網(wǎng)絡(luò)中，獲取三種算法的實(shí)時(shí)可靠概率，經(jīng)診斷來(lái)確定是否將數(shù)據(jù)輸入 CNN 網(wǎng)絡(luò)。最后在 CNN 網(wǎng)絡(luò)中，結(jié)合每種數(shù)據(jù)的實(shí)時(shí)可靠概率來(lái)進(jìn)行信息融合，得到拖拉機(jī)的準(zhǔn)確位置信息。基于多傳感器信息融合導(dǎo)航的算法總流程如圖4所示。

4實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在南京農(nóng)業(yè)大學(xué)浦口校區(qū)試驗(yàn)場(chǎng)進(jìn)行，場(chǎng)地內(nèi)部路面平坦，周?chē)嬖谟幸恍?shù)木，實(shí)驗(yàn)采用白粉畫(huà)線(xiàn)設(shè)置預(yù)期路徑，如圖5所示。周?chē)鷺?shù)蔭遮擋可能會(huì)造成 GNSS 信號(hào)丟失，同時(shí)烈日強(qiáng)光偶爾也會(huì)造成攝像頭信息失效，接近大田實(shí)際環(huán)境。實(shí)驗(yàn)過(guò)程中使用華碩 X555L 筆記本電腦，操作系統(tǒng) Windows7，電腦64位、處理器為 Core（TM）i5雙核2.4 GHz、系統(tǒng)內(nèi)存為4 GB，軟件基于Matlab R2017b 編寫(xiě)。

由于環(huán)境因素的影響，會(huì)造成單個(gè)甚至多個(gè)傳感器短時(shí)失效的情況。通過(guò)對(duì)比不同分類(lèi)算法在無(wú)傳感器失效時(shí)、單個(gè)傳感器失效、兩個(gè)傳感器失效的導(dǎo)航精度，建立最優(yōu)的信息融合導(dǎo)航模型，分別如圖6～圖8所示。

實(shí)驗(yàn)結(jié)果對(duì)比分析如下：

1）基于 BP、CNN 信息融合的導(dǎo)航結(jié)果如圖6所示。基于 CNN 信息融合導(dǎo)航精度為4 cm，基于 BP 信息融合導(dǎo)航精度為10 cm，因此，CNN 信息融合導(dǎo)航模型優(yōu)于 BP 信息融合導(dǎo)航模型。

2）由于環(huán)境因素的影響，會(huì)造成單個(gè)傳感器短時(shí)失效的情況。單個(gè)傳感器失效時(shí)基于 CNN、D-S- CNN 信息融合的導(dǎo)航結(jié)果如圖7所示，基于 CNN 信息融合導(dǎo)航精度為89 cm，基于 D-S-CNN（其 D-S 證據(jù)信任函數(shù)矩陣為[1，1，0]/[1，0，1]/[0，1，1]）信息融合導(dǎo)航精度為10 cm，因此，在單個(gè)傳感器失效時(shí)基于 D-S-CNN 信息融合的導(dǎo)航仍然具有較好的預(yù)測(cè)精度。

3）在兩個(gè)傳感器失效時(shí)，基于 D-S-CNN 融合導(dǎo)航結(jié)果如圖8所示，其 D-S 證據(jù)信任函數(shù)矩陣分別為[0，1，0]/[1，0，0]/[0，0，1]。由于 D-S 證據(jù)可有效地判別出失效的傳感器信息，并將信任函數(shù)矩陣及三種傳感器的位置、姿態(tài)信息作為 CNN 輸入，由圖8（a）可見(jiàn)，當(dāng) GPS 和視覺(jué)導(dǎo)航失效時(shí)，誤差較大，無(wú)法滿(mǎn)足導(dǎo)航作業(yè)需求，但這種情況幾率較小，除此情況外，如圖8（b）、（c）所示，D-S-CNN 均可實(shí)現(xiàn)較高的導(dǎo)航精度。

不同條件下，不同傳感器信息融合模型的導(dǎo)航定位精度如表2所示，在大尺度上的定位采用低成本的 GPS 定位方式，其定位精度在5 m 左右，再結(jié)合慣性導(dǎo)航將信息融合可將精度提高至分米級(jí)。在此基礎(chǔ)上再結(jié)合機(jī)器視覺(jué)，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合可以實(shí)現(xiàn)厘米級(jí)的田間精確定位導(dǎo)航，基于 D- S-CNN 的農(nóng)田多傳感器/視覺(jué)信息融合導(dǎo)航方法的導(dǎo)航精度可達(dá)4 cm，且在氣象、光照、地形變化等復(fù)雜的環(huán)境下均具有較強(qiáng)的魯棒性。在實(shí)際使用中，傳感器發(fā)生失效主要因?yàn)榄h(huán)境干擾，而由于農(nóng)機(jī)的移動(dòng)，傳感器的失效為短時(shí)失效，且發(fā)生兩個(gè)傳感器同時(shí)失效的概率較低，本文所提的 D-S-CNN 的農(nóng)田多傳感器信息融合導(dǎo)航方法可通過(guò) D-S 證據(jù)信任函數(shù)動(dòng)態(tài)判斷傳感器信息的有效性，選擇有效信息輸入 CNN，實(shí)現(xiàn)農(nóng)機(jī)高精度、可靠導(dǎo)航。

5結(jié)束語(yǔ)

針對(duì)現(xiàn)有田間農(nóng)機(jī)高精度衛(wèi)星導(dǎo)航成本高且受氣象環(huán)境影響較大、慣性器件積分運(yùn)算使導(dǎo)航誤差迅速積累、視覺(jué)導(dǎo)航受限于田間光照突變等問(wèn)題，本文提出一種基于 D-S-CNN 的農(nóng)田多傳感器信息融合導(dǎo)航方法，其中視覺(jué)導(dǎo)航采用基于 Haugh-PT- ORB 的視覺(jué)導(dǎo)航算法，在此基礎(chǔ)上，采用 D-S 證據(jù)理論進(jìn)行傳感器失效檢驗(yàn)，將三種傳感器的位置、姿態(tài)信息以及 D-S 證據(jù)信任函數(shù)矩陣輸入 CNN 神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合，通過(guò)1000個(gè)訓(xùn)練集建立基于 D-S-CNN 的農(nóng)田多傳感器信息融合導(dǎo)航模型，通過(guò)392個(gè)測(cè)試集進(jìn)行驗(yàn)證給出優(yōu)化模型，該模型在無(wú)傳感器失效情況下定位精度為4 cm，單個(gè)傳感器失效情況下定位精度為10 cm。在實(shí)際環(huán)境中，由于樹(shù)蔭遮擋、強(qiáng)光照射等環(huán)境因素影響，其在無(wú)傳感器失效情況下定位精度為6 cm，單個(gè)傳感器失效情況下定位精度為13 cm。采用 D-S 證據(jù)信任函數(shù)矩陣的農(nóng)田多信息融合的田間導(dǎo)航方法，可有效避免單個(gè)傳感器失效引起的大誤差。文獻(xiàn)[14-16]提出了幾種適用于不同農(nóng)田狀況下的田間智能導(dǎo)航方法，與上述已有方法相比，本文導(dǎo)航硬件成本低、精度高，魯棒性好，可適用于復(fù)雜環(huán)境農(nóng)田環(huán)境下農(nóng)機(jī)的高可靠精確導(dǎo)航作業(yè)。本文研究表明，基于D-S-CNN 的農(nóng)田多傳感器信息融合導(dǎo)航方法能滿(mǎn)足農(nóng)田樹(shù)蔭遮擋、強(qiáng)光照射等復(fù)雜情況下的高精度、低成本導(dǎo)航作業(yè)需求。

參考文獻(xiàn)

[1]莊春華， 趙治華， 張益青， 等. 衛(wèi)星導(dǎo)航定位技術(shù)綜述[J]. 導(dǎo)航定位學(xué)報(bào)， 2014， 2（1）： 34-40.

[2]ROHANI? M，? GINGRAS? D，? GRUYER? D.? A? novel? approachfor? improved? vehicular? positioning? using? cooperative? mapmatching? and? dynamic? base? station? DGPS? concept[J]. IEEETransactions? on? Intelligent? Transportation? Systems，? 2016，17（1）： 230-239.

[3]LIU J， YUAN J， CAI J， et al. Autopilot system of agriculturalvehicles? based? on? GPS/INS? and? steer-by-wire[J].Transactions? of? the? Chinese? Society? of? AgriculturalEngineering， 2016， 32（1）： 46-53.

[4]胡煉， 殷延勃， 杜攀， 等. 水稻田激光平地技術(shù)研究與展望[J]. 中國(guó)稻米， 2020， 26（5）： 16-18.

[5]郭成洋， 張碩， 趙健， 等. 基于 RTK-BDS 的果園農(nóng)用車(chē)輛自主導(dǎo)航系統(tǒng)研究[J]. 農(nóng)機(jī)化研究， 2020， 42（8）： 254-259.

[6]齊乃新 ，? 張勝修 ，? 曹立佳 ，? 等 .? 基于輔助匹配的 1 點(diǎn)RANSAC 單目視覺(jué)導(dǎo)航算法[J]. 系統(tǒng)工程與電子技術(shù)，2018， 40（5）： 1109-1117.

[7]張青春， 王旺， 楊廣棟. 基于多目立體視覺(jué)的機(jī)械臂智能控制系統(tǒng)設(shè)計(jì)[J]. 中國(guó)測(cè)試， 2020， 46（12）： 79-85.

[8]BENGOCHEA-GUEVARA? J? M，? CONESA-MU?OZ? J，AND?JAR? D，? et? al.? Merge? fuzzy? visual? servoing? and? GPSbased? planning? to? obtain? a? proper? navigation? behavior? for ?asmall crop-inspection robot[J]. Sensors， 2016， 16（3）： 276.

[9]郭利強(qiáng). 在無(wú)人車(chē)輛中激光雷達(dá)的關(guān)鍵技術(shù)及應(yīng)用研究[J].科學(xué)技術(shù)創(chuàng)新， 2020， 35（1）： 72-73.

[10]王中立， 牛穎. 基于多傳感器信息融合的機(jī)器人障礙物檢測(cè)[J]. 中國(guó)測(cè)試， 2017， 43（8）： 80-85.

[11]ZAIDNER G， SHAPIRO A. A novel data fusion algorithm forlow-cost? localisation? and? navigation? of? autonomous? vineyardsprayer? robots[J]. Biosystems? Engineering，? 2016，? 146：? 133-148.

[12]張鐵民， 李輝輝， 陳大為， 等. 多源傳感器信息融合的農(nóng)用小車(chē)路徑跟蹤導(dǎo)航系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015， 46（3）： 37-42.

[13]黃鈺平. 基于卡爾曼濾波的組合導(dǎo)航系統(tǒng) [C]//第九屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)論文集——S02 導(dǎo)航與位置服務(wù). 中國(guó)衛(wèi)星導(dǎo)航系統(tǒng)管理辦公室學(xué)術(shù)交流中心， 2018： 118-122.

[14]張京， 陳度， 王書(shū)茂， 等. 農(nóng)機(jī) INS/GNSS 組合導(dǎo)航系統(tǒng)航向信息融合方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015， 46（S1）： 1-7.

[15]黎永鍵， 趙祚喜， 高俊文， 等. 基于 DGPS 定位與雙閉環(huán)轉(zhuǎn)向控制的農(nóng)業(yè)自動(dòng)導(dǎo)航系統(tǒng)[J]. 農(nóng)業(yè)現(xiàn)代化研究，? 2016，37（2）： 387-394.

[16]韓振浩， 李佳， 苑嚴(yán)偉， 等. 基于 U-Net 網(wǎng)絡(luò)的果園視覺(jué)導(dǎo)航路徑識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（1）： 30-39.

[17]張曉寒， 趙景波， 董振振. 農(nóng)機(jī) BDS/INS 組合導(dǎo)航算法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（2）： 171-177.

（編輯：譚玉龍）