戶外種植園行間可通行區(qū)域識別方法研究

畢 松,王遠(yuǎn)航,李嘉偉,劉 蕾

(北方工業(yè)大學(xué)電氣與控制工程學(xué)院,北京100044)

1 引言

我國種植業(yè)歷史悠久,其產(chǎn)值約占全年農(nóng)業(yè)總產(chǎn)值的50%以上,是農(nóng)業(yè)生產(chǎn)的重要組成部分[1],多以行間間作模式管理。隨著用人用工成本等問題的出現(xiàn),使用智能化農(nóng)業(yè)設(shè)施裝備替代勞動力成為必然趨勢[2]。

戶外種植園是典型的非結(jié)構(gòu)化環(huán)境,標(biāo)準(zhǔn)的種植園對果樹定植形成的行間區(qū)域為通行區(qū)域。我國種植園目前仍需依靠大量勞動力操控農(nóng)業(yè)移動設(shè)施設(shè)備進行避障或越障任務(wù)[3,4],使用具備高通過性檢測、高可通行區(qū)域識別能力的自主移動機器人是戶外種植園行間生產(chǎn)管理的關(guān)鍵。

近年來,眾學(xué)者對戶外種植園行間環(huán)境下的通過性檢測進行了多方面的研究。文獻[5]提出了一種基于經(jīng)典地形力學(xué)與車載機器人傳感器結(jié)合的識別關(guān)鍵地形參數(shù)的在線估計方法,因缺少更多的特征描述,不適用于行間場景;文獻[6]針對戶外地形,融合地面高差、地面坡度和地表粗糙度,設(shè)計2.5維柵格地圖描述方式及地形代價函數(shù),但多應(yīng)用于地理測繪大比例尺下的區(qū)域地形障礙區(qū)域估計;文獻[7]對露天礦區(qū)負(fù)障礙地形特征進行了基于MobileNetv3網(wǎng)絡(luò)的多尺度特征融合的研究,能夠準(zhǔn)確識別出負(fù)障礙地形的區(qū)域,但沒有對負(fù)障礙越障能力的研究。

由于采用傳感器和視覺融合處理的方式并不能充分發(fā)揮移動機器人自身具備的負(fù)障礙通過能力。本文采用基于車輛通行性邊界條件與地形特征提取結(jié)合的通行性檢測及可通行區(qū)域識別方法,能夠充分發(fā)揮移動機器人依靠自身的道路通過性能,檢測地形的相對不變特征參數(shù),對負(fù)障礙地形的可通行區(qū)域?qū)崿F(xiàn)準(zhǔn)確識別。

2 移動機器人通過性分析

2.1 極限傾翻角度閾值分析

移動機器人平臺觸發(fā)傾翻的條件為:汽車重力分解在側(cè)翻臺的壓力和下滑力對汽車產(chǎn)生的轉(zhuǎn)矩相等,輪地單側(cè)接觸點處正向力為零,車輛到達傾翻臨界閾值。圖1為傾翻時刻的受力分析圖。

圖1 移動機器人極限傾翻時受力分析圖

在圖1(a)中,對輪地接觸點A的動力矩守恒分析如式(1)所示,規(guī)定逆時針為正

mghsinφ-mgb0cosφ+FZ2·B-mayh=0

(1)

式(1)中,m為移動機器人的質(zhì)量,g為重力加速度,B為輪距,h為質(zhì)心離地高度,b0為質(zhì)心到左側(cè)車輪的距離,φ為傾翻角,FZ2為輪地接觸點C所受的正向力,ayy方向的重力加速度。根據(jù)牛頓第一定律可得式(2)所示側(cè)翻角正切表達式為

(2)

(3)

當(dāng)平臺直線行駛或曲線勻速行駛時,平臺向內(nèi)側(cè)翻的概率減小。式(4)為對輪地接觸點C的動力矩守恒分析,規(guī)定順時針為正。

mayh-mghsinφ-mgcosφb0+FZ1·B=0

(4)

式(4)中,FZ1為輪地接觸點A所受的正向力,對4式簡化可得,向心加速度與重力加速度的比值

(5)

在式(4-6)中,移動機器人彎道行駛發(fā)生側(cè)翻的臨界條件為FZ1=0且當(dāng)φ角較小時,sinφ=φ, cosφ=1,代入式(5)中可得式(6)所示的簡化判別公式

(6)

2.2 最大越障尺寸分析

如圖2所示為平臺不發(fā)生頂起失效[8]的負(fù)障礙越障最大尺寸參數(shù)動力學(xué)分析。

圖2 前、輪進入負(fù)障礙受力分析圖

圖2(a)中,對前輪進行如式(7)所示的動力學(xué)分析,規(guī)定逆時針方向為正方向。

(7)

式(7)中,G為平臺重量;a,b分別為長軸、短軸;F1為對前輪的反作用力;F2為后軸載荷;φ為附著系數(shù);f為滾動阻力系數(shù);β為俯仰角;hw為最低垂直距離。進一步可得出附著系數(shù)與相關(guān)參數(shù)的無因次關(guān)系方程如式(8)所示

(8)

后輪駛出負(fù)障礙時進行如式(9)所示的動力學(xué)分析

(9)

同前輪的處理方式,可得附著系數(shù)與相關(guān)參數(shù)的無因次關(guān)系方程。由式(10)可知,軸距大、前軸負(fù)荷大的車輛,其后輪越過負(fù)障礙的能力要比前輪大,因此優(yōu)先考察前輪克服負(fù)障礙的能力。

(10)

圖3中,hw為最低點垂直距離臨界。圖3(b)中l(wèi)d為越過負(fù)障礙的最大寬度;hw為越過負(fù)障礙最大深度;B、N為前輪與負(fù)障礙的接觸點,由式(11)求得ld。

圖3 跨越負(fù)障礙時hw的求解示意圖

側(cè)向方向上,運用動點聯(lián)系法,結(jié)合相對位置處的深度,進行側(cè)向深度判別,如圖4所示。

圖4 側(cè)向深度判別原理示意圖

圖4中,O為相機原點,建立坐標(biāo)系,A、B為輪地接觸點,C為底盤直線M上一動點,D為地面曲線N上一動點,假設(shè)此時C、D兩點Y向坐標(biāo)相同,設(shè)點C(YC,ZC),D(YD,ZD),OT長度為L。

Zc=Lcosθ-(Yc-Lsinθ)tanθ

(12)

如式(12)所示,若滿足當(dāng)?shù)妆P上的動點C的距離值ZC與地面曲線上的動點D的距離值ZD,均有ZC

3 地形特征提取與分析

3.1 地形相對不變特征證明

如圖5所示,為車輛前傾時刻,其俯仰角度為θ。

圖5中t為水平地面,t′為偏轉(zhuǎn)θ后的平面,在t水平地面上,相機位置P點高度為PH,離重心OG的水平距離為PL。在t′平面上,P點的高度為P′H,離重心的水平距離為P′L。由圖5可知直角三角形ΔPST～ΔQSR,由此可得如式(13)的偏轉(zhuǎn)前后的高程變化關(guān)系。

(13)

式(13)中L表示后輪到重心的水平距離。相機與重心的水平距離不變時的位置關(guān)系如式(14)所示。若車輛俯仰角θ的改變較小,可簡化如式(15)所示判斷

P′L=PL

(14)

P′H≈PH+(P′L+L)·θ

(15)

視野中某點的鄰域內(nèi)任意兩點的相對高程,在移動機器人因路面顛簸而發(fā)生位姿改變時保持不變。

3.2 坡度特征提取

根據(jù)地形的相對不變高程特性提取坡度特征,地面上某點的坡度表示地面在該點傾斜程度的矢量。坡度值等于負(fù)障礙曲面函數(shù)在該點的切平面與水平面夾角的正切。位置(i,j)處的坡度數(shù)值計算方法采用二次曲面擬合的數(shù)值解法[9],采用3×3坡度卷積模板。模型如圖6所示。

圖6 坡度卷積計算模板

根據(jù)圖6的坡度卷積計算模板可得到根據(jù)高程上兩點的相對高度而來關(guān)于X,Y(側(cè)向、縱向)方向的坡度值,式(16,17)為X,Y方向上的坡度計算:

(16)

(17)

其中,?X為垂直于機器人運動方向上的坡度,?Y為機器人運動方向上的坡度,Δd為高程網(wǎng)格間距,其中Δd=1。由此可知地形的坡度特征同樣具有相對不變性。

3.3 地形坡度特征與車輛位姿角的關(guān)系

當(dāng)車輛不考慮車輛的重心偏移和平面極限前翻角的影響,如圖17(a)所示對車輛的受力分析,根據(jù)牛頓第三定律可知在與平面的相互作用力為0時,車輛即將發(fā)生傾翻。

若平臺結(jié)構(gòu)為剛性連接,參照圖7(b)固定其在水平路面上的車輪,按照此模型使車輛位姿角減小至零度。L為軸距,R為車輪半徑,α為坡度角,θ為車輛位姿角,l為固定輪與負(fù)障礙的距離;t為過渡距離。根據(jù)圖10(b)的幾何關(guān)系由式(18)可知車輛位姿角與地形坡度之間的關(guān)系:

圖7 地形坡度與車輛位姿角關(guān)系圖

(18)

式(18)中a=Ltanα、b=L、c=Rtanα+R+Rsinαtanα,通過將高程上各像素點的坡度值進行縱向和側(cè)向的車輛位姿角轉(zhuǎn)化,實現(xiàn)地形信息與車輛信息的關(guān)聯(lián)。

4 行間通行性檢測及可通行區(qū)域識別閾值選取及數(shù)據(jù)處理

4.1 平臺通過性限制參數(shù)閾值求解

固性連接的移動機器人平臺具有結(jié)構(gòu)簡單、穩(wěn)定度高、行駛穩(wěn)定的特點,整體結(jié)構(gòu)參數(shù)如表1所示。

表1 移動機器人平臺整體參數(shù)表

根據(jù)表1數(shù)據(jù)結(jié)合(2)式及質(zhì)心位置測量方法[10]得到如表2所示的車輛前翻、側(cè)翻角度對應(yīng)表。

表2 車輛前翻、側(cè)翻角度對應(yīng)表

在縱向角度通過性方面,平臺設(shè)計角度閾值為47.6°～90.0°,而車輛前翻角度閾值為25.7°～31.7°,前翻角度閾值遠(yuǎn)小于平臺設(shè)計角度閾值,因此優(yōu)先考慮前翻角度閾值作為車輛通過性檢測的縱向角度閾值約束。側(cè)向角度閾值選取側(cè)翻閾值26.7°～35.7°。

結(jié)合表1和式(7)的頂起失效判斷可知,平臺不發(fā)生頂起失效且具備跨越負(fù)障礙的能力。進而結(jié)合式(8～13)推得最大跨越的負(fù)障礙寬度ld閾值為357.0～424.6mm,越過負(fù)障礙最大深度hw閾值為100.7～204.6mm。

4.2 深度數(shù)據(jù)校正及處理

針對戶外種植園行間地形有起伏、坡度不均的特點,采用維特智能JY901陀螺儀模塊進行車身位姿校正;根據(jù)行間地形高程相對不變特性,采用Basler ToF 3D相機進行地面深度信息的采集,Basler ToF的焦距為3.15mm,分辨率為680×480像素。對灰度圖根據(jù)如式(20)所示進行深度圖轉(zhuǎn)換。

(19)

其中Pv為圖像的像素灰度值,Dmax為拍攝設(shè)置的最大取樣距離,Dmin為拍攝設(shè)置的最小取樣距離。通過棋盤相機標(biāo)定法得到內(nèi)參矩陣和畸變矩陣參數(shù)實現(xiàn)深度圖像的畸變校正和坐標(biāo)系轉(zhuǎn)換。通過陀螺儀進行位姿校正,陀螺儀采集部分?jǐn)?shù)據(jù)如表3所示。

表3 陀螺儀采集到的部分?jǐn)?shù)據(jù)

經(jīng)位姿、外參校正后,得到如圖8所示的校正前后X、Y軸和整體的效果圖。

圖8 校正前后X、Y軸及整體的效果圖

從圖8中可以看出,沿X、Y軸及整體校正后前的距離數(shù)據(jù)整體趨勢與水平線趨于平行。位姿誤差及相機誤差得到了消除。

5 通過性檢測及通行區(qū)域識別實驗與分析

5.1 直行區(qū)域負(fù)障礙可通行區(qū)域識別

通過對負(fù)障礙區(qū)域的最小外接矩形描繪,并整合子區(qū)域,提取負(fù)障礙區(qū)域的最大寬度及最大長度。根據(jù)移動機器人平臺自身結(jié)構(gòu)參數(shù),進行如圖9所示的直行區(qū)域負(fù)障礙通行性判別。

圖9 直行區(qū)域負(fù)障礙通行性判別

圖10(a)中箭頭a指示的為實際負(fù)障礙區(qū)域最大寬度,箭頭b指示的是圖像預(yù)處理識別的負(fù)障礙區(qū)域最大寬度。當(dāng)車輛縱向直線行駛時當(dāng)負(fù)障礙區(qū)域最大寬度小于等于輪距,車輛可以沿路邊緣直線行駛通過,否則陷入負(fù)障礙區(qū)域。

圖10 直行時負(fù)障礙通行區(qū)域圖像預(yù)處理圖

根據(jù)高程相對不變特性,多負(fù)障礙高程描述如圖11(a)所示,根據(jù)深度相機及陀螺儀高1050mm的安裝高度進行負(fù)障礙平面分割,高于1050mm的深度數(shù)據(jù)即為負(fù)障礙區(qū)域,如圖11(b)所示。

圖11 負(fù)障礙區(qū)域圖

圖11(b)中箭頭a指示為相機距離地面-1050mm的拍攝高度線。負(fù)障礙深度在1050mm至1280mm之間。

5.2 負(fù)障礙地形角度閾值判別

根據(jù)相對不變坡度特征,計算每一像素點坐標(biāo)關(guān)于縱向(y)和側(cè)向(x)上的坡度值。圖12所示為關(guān)于X,Y方向的坡度與位姿角統(tǒng)計圖。

圖12 X,Y方向的坡度與位姿角統(tǒng)計圖

圖12(b)(d)為X、Y方向坡度整體視圖,坡度值隨顏色紅、黃、綠、藍顏色依次遞減,紅色、黃色定義為陡坡,綠色和藍色定義為緩坡,緩坡面積占比大,且深藍色點(坡度值為0的點)在負(fù)障礙內(nèi)部也有較大的占比。

圖12(a)(c)中,沿X、Y軸正方向,坡度值在各方向負(fù)障礙的邊界處達到了極大值,平面與負(fù)障礙的銜接處地形發(fā)生坡度突變。經(jīng)統(tǒng)計,X方向上坡度值最大為79.7°,平均坡度為23.9°;Y方向上坡度值最大為80.9°,平均坡度為22.5°。

根據(jù)地形坡度與車輛位姿角的轉(zhuǎn)換關(guān)系,得到如圖12(e)(f)所示為每一像素點的X、Y方向的位姿角。經(jīng)統(tǒng)計X方向最大位姿角為28.5°,平均位姿角為13.7°;Y方向最大位姿角為27.5°,平均位姿角為13.5°。存在使車輛發(fā)生傾翻事故的區(qū)域。

結(jié)合國家車輛通過性評價標(biāo)準(zhǔn)[11],本文規(guī)定了適用于移動機器人平臺的道路通過性評價標(biāo)準(zhǔn),其中傾翻角度σ占比70%,平均坡度τ占比30%。大于0.2的道路為不可通過狀態(tài);大于0.1小于0.2的道路為通行困難狀態(tài)。小于0.1的道路為通行性良好狀態(tài)。道路狀態(tài)評價標(biāo)準(zhǔn)如表4所示。

表4 道路狀態(tài)評價

表5中,此位置存在遠(yuǎn)大于車輛發(fā)生傾翻的角度,但平均坡度較小,車輛傾斜角度相較于整體坡度而言占比較小,地形整體經(jīng)角度閾值判斷,整體可通行。

表5 地形坡度特征及其通過性綜合評價

5.3 最大越障尺寸可通行區(qū)域判別

移動機器人平臺縱向最大越障寬度ld閾值為357.0mm～424.7mm,最大跨越深度hw閾值為100.7mm～204.6mm。側(cè)向進行如式(14)的深度判斷。如圖13所示為綜合角度約束閾值、尺寸約束閾值的通過性檢測結(jié)果及其圖像面積估計。

圖13 可通行區(qū)域識別結(jié)果

圖13中,藍色部分為經(jīng)角度約束閾值判別的不可通行區(qū)域,綠色部分為經(jīng)尺寸約束閾值判別的不可通行區(qū)域,紅字為對應(yīng)負(fù)障礙區(qū)域的編號及像素尺寸面積。對于此位置的負(fù)障礙地形無論其坡度、尺寸均不滿足通行條件。車輛可以選擇躲避綠、藍色區(qū)域以實現(xiàn)安全行駛。

6 結(jié)論

本文研究了存在負(fù)障礙環(huán)境的輪式移動機器人可通行區(qū)域識別方法。主要完成的工作包括:

1)通過基于平臺已知參數(shù)的通過性約束設(shè)計得到了適用于戶外種植園行間移動機器人平臺的角度、尺寸通過性約束集合,

2)結(jié)合深度相機垂直拍攝的地形感知及深度校正、處理方法,識別出可通行區(qū)域。提升了移動機器人于戶外種植園行間非結(jié)構(gòu)化的道路環(huán)境中的通行性識別能力。