基于CNN算法的井下無人駕駛無軌膠輪車避障方法

宋秦中 胡華亮

(1.蘇州市職業(yè)大學機電工程學院,江蘇 蘇州 215104;2.蘇州漢特士視覺科技有限公司,江蘇 蘇州 215127)

在煤礦智能化建設的過程中,作為煤礦井下重要輔助運輸裝備無軌膠輪車正朝著無人駕駛方向發(fā)展。然而,煤礦井下作業(yè)環(huán)境惡劣,運輸任務重和巷道工況可能不斷發(fā)生變化,在無軌膠輪車無人駕駛過程中,必須具有從目前位置到目標之間不發(fā)生碰撞的路徑規(guī)劃,避障控制系統(tǒng)起到了關鍵作用。另外,由于井下彎道、路口的盲區(qū)較多,場景單一、照度低等因素會導致定位困難,井下網(wǎng)絡信號強度、礦區(qū)的行業(yè)標準和安全生產(chǎn)指標限制等也是避障控制器設計和開發(fā)必須考慮的問題[1-5]。因此,為了保證無人駕駛過程中避障控制的有效性和可靠性,避障控制方法的先進性和準確性顯得尤為重要。

避障控制的實質(zhì)是局部路徑規(guī)劃問題,即部分甚至全部環(huán)境信息未知情況下的障礙物規(guī)避。局部路徑規(guī)劃中常用的有自適應預瞄路徑和風險評估方法。基于自適應預瞄路徑的避障控制方法采用多項式擬合法,根據(jù)障礙物跟蹤指標,結(jié)合粒子群優(yōu)化算法進行參數(shù)尋優(yōu),實現(xiàn)跟蹤時預瞄路徑自適應調(diào)節(jié)[3];基于風險評估的避障控制方法則通過對各種障礙特征的分析,建立風險評估的數(shù)學模型,并將其納入無人駕駛無軌膠輪車動態(tài)特征的最優(yōu)控制策略[4]。然而,上述兩種方法對井下有限空間影響的考慮不夠,實際運行中會導致無人駕駛無軌膠輪車頻繁轉(zhuǎn)向,不利于車輛安全穩(wěn)定的運行。為了解決該問題,提出了基于卷積神經(jīng)網(wǎng)絡的煤礦井下環(huán)境無人駕駛無軌膠輪車運動避障控制方法。聯(lián)合卷積神經(jīng)網(wǎng)絡和攝像頭來處理車輛外界的復雜環(huán)境信息,相較于傳統(tǒng)的方法,能夠避免使用冗余的硬件設備,并且具有更好地適應復雜環(huán)境的能力,是一種新的可行方法[5-7]。

1 數(shù)據(jù)分析處理模型

對于井下環(huán)境障礙物測距,利用改進的卷積神經(jīng)網(wǎng)絡繪制出了一張光柵地圖,能夠在一定時間內(nèi)將車輛的位置和障礙物位置信息顯示出來。根據(jù)柵格圖形進行障礙識別,通過對礦井整體查詢與監(jiān)控,識別障礙物定位結(jié)構。使用對數(shù)—正態(tài)分配方法,建立一個未知障礙物信號強度表達模型,得到障礙物與無人駕駛無軌膠輪車之間距離。

1.1 障礙物辨識

在辨識障礙方面,單純依靠無人駕駛車輛上的傳感器在一定的時間內(nèi)采集到的原始圖像難以反映其動態(tài)特征,因此要對其進行精確定位,除了要對各種情況下的圖像數(shù)據(jù)進行全面研究外,對圖像辨識的實時性非常高?；诟倪M的卷積神經(jīng)網(wǎng)絡是一種實時有效的方法,能夠?qū)φ系K物進行識別和分類[5-7]。通過改進卷積神經(jīng)網(wǎng)絡的光柵地圖,能夠精確地顯示出特定時間內(nèi)的周圍環(huán)境狀況,例如車輛的位置、障礙物的位置等。在避障體系中,可以將網(wǎng)格圖形作為最基本的環(huán)境模型,以網(wǎng)格圖形為依據(jù),實現(xiàn)無人駕駛無軌膠輪車智能決策和路徑規(guī)劃。一般情況下,對于不可移動的障礙物,采用傳統(tǒng)的二維柵格圖效果更好,但是由于車輛在移動過程中主要是移動障礙,使用該方法無法精準識別障礙物。為此,提出了基于移動的柵格法表示車輛在不同時間點與障礙物之間的位置關系,選用三維障礙物柵格圖作為建模方法,構建無人駕駛無軌膠輪車周圍的三維空間模型,將其在某一時期內(nèi)的空間分布情況用時間軸表示出來,從而能夠不斷地反映出運動特點,為下一步的操作和線路規(guī)劃提供依據(jù)[6-7]。

柵格法的基本思想是將所要辨識的周圍環(huán)境劃分為若干個同樣尺寸的小方塊,再將若干個小方塊組合后形成一個柵格,如圖1所示。

圖1 柵格法示意Fig.1 Schematic of grid method

由圖1可知,在地圖上柵格是用等級分割的。如果將一個柵格用M表示,那么就可以把所有的數(shù)據(jù)都儲存在某一塊地圖上,這樣就可以構建出一張完整的地圖,由此獲取所有需要記錄的數(shù)據(jù)。當柵格數(shù)值為1時,表示該柵格存在障礙物;當柵格數(shù)值為0時,表示該柵格不存在障礙物,由此能夠形成一幅能反映整體環(huán)境的網(wǎng)格圖。在一定的地域內(nèi),由無人駕駛無軌膠輪車來構建自己的地形圖數(shù)據(jù)庫,柵格的大小可以更準確地反映出周圍的情況,柵格的數(shù)據(jù)和特性會在一定時間內(nèi)顯示出無人駕駛無軌膠輪車的移動軌跡。

1.2 障礙物距離計算

為了獲取無人駕駛無軌膠輪車與障礙物之間距離,設計了障礙物定位系統(tǒng),如圖2所示。

該系統(tǒng)可以接收由車速傳感器和轉(zhuǎn)速儀采集器的無軌膠輪車的運行數(shù)據(jù),再通過計算機進行快速計算,計算出車輛的運行狀態(tài)和速度,從而為障礙物精確定位奠定基礎[8-12]。系統(tǒng)包括一套以無線傳感器為基礎的有線網(wǎng)絡,系統(tǒng)節(jié)點包括普通節(jié)點、單鏈路節(jié)點和網(wǎng)關節(jié)點。其中,普通節(jié)點、單鏈路節(jié)點分別承擔了數(shù)據(jù)的收集與傳送功能,而網(wǎng)關節(jié)點則完成了有線和無線的轉(zhuǎn)接,以及CAN總線連接。

在此基礎上,采用多跳轉(zhuǎn)接的方法將監(jiān)控信息傳遞給 Sink節(jié)點。無線傳感基站網(wǎng)最后與光纜主干網(wǎng)連接,將采集到的環(huán)境、定位等數(shù)據(jù)傳送到地面監(jiān)測調(diào)度站進行統(tǒng)一控制。地面監(jiān)測系統(tǒng)由數(shù)據(jù)庫和中心計算機組成,其功能是實時存儲、查詢、預警和決策,并對其進行實時監(jiān)測和管理。在煤礦井下環(huán)境中,信號傳輸途徑和通道損失的函數(shù)遵循對數(shù)—正態(tài)分配模式,由此構建的模型為

式中,λ為當初始距離l0=1 m時的接收信號強度值;l為實際距離;a為衰減因子。隨著煤礦井下環(huán)境的不同,衰減因子也將發(fā)生改變。通過該公式可獲取某個未知障礙物的接收信號強度,進而得到該障礙物與無人駕駛無軌膠輪車之間的距離。

2 運動避障控制

對直線型、彎道型、路口型無人駕駛無軌膠輪車的行駛路線進行分析,并對3種不同的碰撞點進行預測。設計運動避障控制器,使無人駕駛無軌膠輪車按照避障規(guī)劃后的軌跡行駛。建立車輛的運動學方程,實現(xiàn)無人駕駛無軌膠輪車運動避障。

2.1 碰撞點預測

在井下環(huán)境無人駕駛無軌膠輪車運動避障控制過程中,需要對無人駕駛無軌膠輪車與障礙物的撞擊位置進行預測。由于靜止障礙物不會隨時間移動,避障控制相對簡單;而移動障礙物則會隨時間移動,從而使碰撞點具有非恒定性的,必須要對其運行軌跡進行預測,并通過三維柵格圖來確定碰撞點的具體方位[13-17]。根據(jù)井下環(huán)境無人駕駛無軌膠輪車運動路徑劃分,將碰撞點預測劃分成直線型、彎道型、路口型3種類型。

(1)直線型。直線型軌跡預測是將運動障礙物的移動方向,按照當前狀態(tài)將直線型軌跡看成一個線性方程。基于此,建立的直線型線性方程如下:

通過式(2)可獲取直線型軌跡。

(2)彎道型。彎道型預測是指在無人駕駛無軌膠輪車轉(zhuǎn)彎過程中,假設無人駕駛無軌膠輪車轉(zhuǎn)彎時車速不會改變,且與轉(zhuǎn)彎時的車行道線相匹配[18]。基于此,建立的彎道型代數(shù)方程如下:

式中,(x,y)為待求取障礙物坐標;(xa,ya)為障礙物位置坐標;va為運動速度;aa為加速度;t為時間;θ為障礙物與x軸方向夾角。通過式(3)可獲取彎道型軌跡。

(3)路口型。路口型軌跡預測是指在交叉口通過路徑預測,對將要行進的路口進行篩選,通過無人駕駛無軌膠輪車當前運動方向與該路段之間角度,確定路口障礙物位置?；诖?建立的路口型代數(shù)方程如下:

通過式(4)可獲取路口型軌跡。

在這3種車道碰撞點預測過程中,需要對曲線擬合,以防止車輛側(cè)向偏離隨著時間的變化而增加。因此,在整個跟蹤預測時域內(nèi),為了確保無人駕駛無軌膠輪車的運動、避障規(guī)劃曲線的平滑,必須在與障礙物保持一定的距離后立即執(zhí)行避障指令,并對預測時域的權重進行再設計。

2.2 避障控制器設計

在無人車自主行駛避障時,傳感器根據(jù)數(shù)據(jù)處理分析模型獲得障礙物相關信息,經(jīng)數(shù)據(jù)分析模型處理后得到障礙物與無人駕駛無軌膠輪車之間距離,依據(jù)此輸出結(jié)果控制無人車安全避障。為了實現(xiàn)無人駕駛無軌膠輪車的避障性能,設計的運動避障控制器系統(tǒng)框圖如圖3所示。

圖3 避障控制器結(jié)構框圖Fig.3 Block diagram of obstacle avoidance controller structure

由圖3可知,無人車避障的本質(zhì)就是通過對車輛與障礙物的距離、位置進行判定,并通過計算得出障礙物與無人駕駛車輛的距離,對障礙物的運動軌跡進行預測,實現(xiàn)自動控制車輛的車速和方向,以達到安全避障的目的。在此過程中,通過GPS系統(tǒng)采集無人車的位置信息,并依據(jù)地圖進行路徑定位,再由雷達來獲得無人駕駛車輛附近的障礙物,由攝像機采集車輛周邊的影像,由紅外傳感器進行障礙物屬性識別[18-20]。

由無人駕駛無軌膠輪車的空間運動模型,以x軸方向為例,推導出無人駕駛無軌膠輪車運動學方程為

式中,ra為參考軌跡曲線半徑;ex為無人駕駛無軌膠輪車航向角;ξa為與x軸方向偏差距離。

由車輛運動學方程,求解沿參考軌跡行駛的車輛速度為

以ξ表示參考軌跡航向角,橫向位置偏差為

則橫向航向偏差時間導數(shù)可表示為

通常采用曲面坐標系統(tǒng)時,必須保證基準軌跡光滑。假設無人駕駛無軌膠輪車在t時刻規(guī)劃的避障軌跡預測時域為St,對該部分時域內(nèi)車輛行駛情況進行分析,并將無人駕駛無軌膠輪車的姿態(tài)、靜態(tài)障礙物的位置信息轉(zhuǎn)化為曲線坐標。沿參考路徑的x軸方向,使用Δx將x軸等距離離散化。通過分析各分立點的位置信息、車輛尺寸信息和巷道邊界情況,得出各分立點的側(cè)向偏移區(qū)間。假定在一定時間區(qū)間,障礙的側(cè)向誤差可以保持不變。由此,可以得到一個能夠避免障礙物的無人駕駛無軌膠輪車可通行安全界限。另外,在有效的安全間距中,應預留足夠的安全距離,以防止井下撞擊。

3 模型驗證與實驗分析

為了驗證井下環(huán)境無人駕駛無軌膠輪車運動避障控制方法避障性能,選擇防爆無人駕駛無軌膠輪車為實驗車輛原型,進行了仿真分析和實驗驗證,任務目標是驗證本研究方法是否能夠使車輛避開靜態(tài)或動態(tài)障礙物。以一款防爆無軌膠輪車為研究對象,建立車輛與井下巷道模型,利用CarSim與Matlab /Simulink結(jié)合車輛行駛狀態(tài)進行聯(lián)合仿真,驗證所設計的避障控制方法的可行性與有效性。

搭建了仿真實驗平臺:① 設置井下環(huán)境,忽略路面不平對車輛造成的影響,設置路面滑動摩擦因數(shù)為0.8;② 在雙移線道路上進行實驗研究,設定實驗工況車輛的正常行駛速度為4 m/s;③ 采用閉環(huán)換擋控制,仿真時長設置為100 s,仿真步長設置為0.001;④ 其中靜態(tài)障礙物主要為井下作業(yè)工具和凸起的大塊礦石,動態(tài)障礙物主要為作業(yè)人員。

3.1 模型訓練

卷積神經(jīng)網(wǎng)絡訓練過程如圖4所示,具體步驟如下:① 通過對障礙物的精確識別,建立了障礙物的圖像庫;② 對VGG-16網(wǎng)絡進行了簡單的優(yōu)化,從而獲得了適用于障礙物的卷積神經(jīng)網(wǎng)絡;③ 采用3×3卷積校驗訓練樣本進行卷積運算,再將所獲得的特征圖按2×2域進行池化運算;④ 再進行學習,獲得網(wǎng)絡模型參數(shù),最終獲得最優(yōu)的網(wǎng)絡模型。

圖4 卷積神經(jīng)網(wǎng)絡訓練過程Fig.4 Training process of convolutional neural network

通過生成式自監(jiān)督學習方式,從所關心數(shù)據(jù)中訓練得到通用卷積神經(jīng)網(wǎng)絡,并對同一數(shù)據(jù)上的不同任務進行微調(diào)。

3.2 模型驗證與分析

設置運行車道前方有兩個障礙物,將該障礙物分為靜態(tài)和動態(tài)2種情況,為了避免與障礙物發(fā)生碰撞,車輛行駛應采取相應控制操作。為了驗證設計方法的有效性,在給定理想軌跡的情況下,將設計方法與基于自適應預瞄路徑的避障控制方法和基于風險評估的避障控制方法進行對比分析。

(1)彎道車道前方障礙物。對于靜態(tài)障礙物,避障控制軌跡如圖5所示。由圖5可知,使用基于自適應預瞄路徑、風險評估的避障控制方法與理想軌跡沒有重合,使用本研究方法與理想軌跡部分重合。對于動態(tài)障礙物,避障控制軌跡如圖6所示。由圖6可知,彎道行駛時需要經(jīng)過1個必經(jīng)點,3種方法均與理想軌跡不重合,其中基于自適應預瞄路徑的避障控制方法控制軌跡長度最長,使用基于風險評估的避障控制方法容易與障礙物發(fā)生刮碰,使用本研究方法避障效果最好。

圖5 彎道車道避開靜態(tài)障礙物軌跡控制Fig.5 Control of static obstacle avoidance trajectory in curved lanes

圖6 彎道車道避開動態(tài)障礙物軌跡控制Fig.6 Control of dynamic obstacle avoidance trajectory in curved lanes

(2)直行車道前方障礙物。車輛直線前進,對于靜態(tài)障礙物,使用基于自適應預瞄路徑、風險評估的避障控制方法與理想軌跡沒有重合,且這2種方法控制軌跡長度略長;而使用本研究方法與理想軌跡部分完全重合,控制軌跡長度較短,在直行車道避開靜態(tài)障礙物軌跡控制能夠達到理想控制目的。對于動態(tài)障礙物,如圖7所示,在明確同一終點情況下,3種方法均與理想軌跡不重合,其中采取基于自適應預瞄路徑的避障控制方法路徑大幅度彎曲且距離最長,使用基于風險評估的避障控制方法相比于基于自適應預瞄路徑的避障控制方法路徑距離要短,但軌跡彎曲程度也相對較大,使用本研究方法與理想軌跡動態(tài)跟隨效果占優(yōu)。

圖7 直行車道避開動態(tài)障礙物軌跡控制Fig.7 Control of dynamic obstacle avoidance trajectories in straight lanes

(3)路口前方障礙物。對于靜態(tài)障礙物,使用基于自適應預瞄路徑避障控制方法,雖然運動路徑最短,但容易與障礙物發(fā)生刮碰;使用基于風險評估的避障控制方法與理想軌跡沒有重合,且運動路徑最長;使用本研究方法與理想軌跡基本一致,且運動路徑相對較短。對于動態(tài)障礙物,如圖8所示,3種方法均與理想軌跡未重合,其中基于自適應預瞄路徑的避障控制方法出現(xiàn)與障礙物碰撞的現(xiàn)象,本研究方法運動趨勢基本一致,最為貼近。

圖8 路口避開動態(tài)障礙物的軌跡控制Fig.8 Control of dynamic obstacle avoidance trajectory at intersections

4 結(jié) 論

(1)受到井下有限空間的影響,無人駕駛無軌膠輪車避障控制器采用傳統(tǒng)方法時存在頻繁轉(zhuǎn)向、避障控制效果不佳的問題,為此提出了基于卷積神經(jīng)網(wǎng)絡(CNN)的運動避障控制方法,設計了運動避障控制器,對直線型、彎道型、路口型的行駛路線進行分析和碰撞點預測,根據(jù)數(shù)據(jù)處理分析模型獲取障礙物相關信息及距離,采用設計的控制方法進行避障控制,使無人駕駛無軌膠輪車按照避障規(guī)劃后的軌跡行駛。

(2)針對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡存在訓練的參數(shù)數(shù)量多、參數(shù)不易學習到最優(yōu)值、容易出現(xiàn)過擬合等問題,設計中對卷積神經(jīng)網(wǎng)絡進行了改進,并結(jié)合光柵地圖,以網(wǎng)格圖形為依據(jù),減少分析過程出現(xiàn)的過多參數(shù),能夠?qū)崿F(xiàn)無人駕駛無軌膠輪車行進過程中的對靜態(tài)或動態(tài)障礙物的有效預判,避免重復轉(zhuǎn)向。

(3)基于仿真平臺的對比驗證實驗顯示:采用設計的避障控制方法能夠為無人駕駛無軌膠輪車提供可靠的神經(jīng)網(wǎng)絡結(jié)構,使無人駕駛無軌膠輪車能夠避開靜態(tài)或動態(tài)障礙物,實現(xiàn)井下無人駕駛車輛的有效避障,進而提高整個無人駕駛車輛導航系統(tǒng)的性能,保證了無人駕駛車輛安全、平穩(wěn)運行。

(4)在實際應用過程中,考慮到外界動態(tài)環(huán)境影響,還需要從控制軌跡重新規(guī)劃角度出發(fā),建立軌跡重新規(guī)劃層,結(jié)合避障控制器設計繞開障礙物的行駛軌跡。