變電站巡檢機(jī)器人避障方法研究與應(yīng)用

鮮開義， 彭志遠(yuǎn)， 谷湘煜， 梁洪軍， 蔣 鑫， 查 盛

(深圳市朗馳欣創(chuàng)科技股份有限公司成都分公司， 成都 610000)

隨著智能電網(wǎng)不斷深入以及機(jī)器人技術(shù)的高速發(fā)展，巡檢機(jī)器人被廣泛應(yīng)用于變電站環(huán)境中，逐漸代替人工對(duì)電力設(shè)備進(jìn)行巡檢[1]。對(duì)于變電站巡檢機(jī)器人而言，自主導(dǎo)航是其完成巡檢工作的前提，而有效的避障是機(jī)器人實(shí)現(xiàn)自主導(dǎo)航的基本要求之一。目前，大多數(shù)變電站巡檢機(jī)器人主要通過(guò)激光雷達(dá)、超聲波等傳感器對(duì)機(jī)器人周圍環(huán)境進(jìn)行感知[2]，同時(shí)結(jié)合相應(yīng)的避障算法(如蟻群算法、模糊控制算法等)實(shí)現(xiàn)機(jī)器人避障[3]。該方式雖然簡(jiǎn)單高效，但獲取的環(huán)境信息相對(duì)稀疏，感知能力有限[4]，在實(shí)際應(yīng)用中仍存在較多問(wèn)題，如機(jī)器人偏離(定位誤差累積)、道路上的雜草(可越過(guò)障礙物)、水坑(易鏡面反射)、碎石(影響機(jī)器人定位)等。因此，研究一種針對(duì)變電站道路場(chǎng)景且適用于巡檢機(jī)器人的避障方法可有效彌補(bǔ)傳統(tǒng)避障方法的不足，提升機(jī)器人的環(huán)境適應(yīng)能力，并對(duì)智能電網(wǎng)和無(wú)人值守變電站的發(fā)展也有較大的推動(dòng)作用。

為提升機(jī)器人對(duì)環(huán)境的感知理解能力，不少學(xué)者采用視覺(jué)方法[5]指導(dǎo)機(jī)器人導(dǎo)航避障，并取得了一系列成果。王天濤等[6]針對(duì)雙目視覺(jué)避障的實(shí)時(shí)與準(zhǔn)確性問(wèn)題，采用圖像增強(qiáng)、種子填充、邊緣檢測(cè)等算法來(lái)提取障礙物輪廓以及位置信息，進(jìn)而實(shí)現(xiàn)避障。He等[7]提出一種將視覺(jué)與超聲波傳感器相結(jié)合的避障策略，通過(guò)超聲波檢測(cè)遠(yuǎn)距離障礙物，并配合圖像處理方法對(duì)近距離障礙物的形狀進(jìn)行觀測(cè)來(lái)指導(dǎo)機(jī)器人進(jìn)行避障。而隨著近年來(lái)，由于深度學(xué)習(xí)在圖像處理領(lǐng)域的蓬勃發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的機(jī)器人避障方法也得到了廣泛的應(yīng)用。金彥亮等[8]利用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)不同場(chǎng)景下的機(jī)器人的對(duì)應(yīng)轉(zhuǎn)向角進(jìn)行訓(xùn)練，實(shí)現(xiàn)了端到端控制的機(jī)器人自主避障。劉明春等[9]針對(duì)變電站道路特點(diǎn)提出了一種適用于變電站巡檢機(jī)器人的道路場(chǎng)景理解網(wǎng)絡(luò)，有效提高了機(jī)器人對(duì)場(chǎng)景理解能力。Tiago等[10]采用基于Q-Learning的強(qiáng)化學(xué)習(xí)方法，通過(guò)機(jī)器人不斷試錯(cuò)來(lái)達(dá)到自主避障的效果。盡管這些避障策略中基于傳統(tǒng)機(jī)器視覺(jué)圖像處理的方法效率較高，但受環(huán)境影響較大，障礙物特征需要人工設(shè)計(jì)，并且泛化能力較弱；而基于深度學(xué)習(xí)的方法雖然有效地緩解了傳統(tǒng)圖像處理的缺點(diǎn)，但其效率相對(duì)較低，并且對(duì)于不同的應(yīng)用場(chǎng)景，不同網(wǎng)絡(luò)模型的側(cè)重點(diǎn)也不盡相同。因此，如何根據(jù)變電站環(huán)境特點(diǎn)來(lái)設(shè)計(jì)一種適用于變電站巡檢機(jī)器人自主避障的方法也是一個(gè)極具實(shí)際應(yīng)用價(jià)值的課題。

針對(duì)以上問(wèn)題，在前人研究成果的基礎(chǔ)上，現(xiàn)提出一種聯(lián)合圖像分類以及語(yǔ)義分割的深度學(xué)習(xí)避障方法。該方法以深度可分離卷積為基礎(chǔ)搭建輕量級(jí)特征提取網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)提取的特征分別對(duì)變電站道路場(chǎng)景進(jìn)行語(yǔ)義分割和機(jī)器人行駛方向分類，最后轉(zhuǎn)化分割結(jié)果并與分類結(jié)果相結(jié)合來(lái)共同指導(dǎo)機(jī)器人自主避障。

1 深度學(xué)習(xí)避障模型

1.1 整體框架

所搭建的變電站巡檢機(jī)器人避障網(wǎng)絡(luò)整體框架如圖1所示。該模型由特征提取結(jié)構(gòu)、分類結(jié)構(gòu)、語(yǔ)義分割結(jié)構(gòu)構(gòu)成輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，并結(jié)合后處理實(shí)現(xiàn)機(jī)器人避障。特征提取結(jié)構(gòu)主要由基本網(wǎng)絡(luò)層(如可分離卷積、批處理層、激活層等)堆疊而成，逐步深入提取圖像特征信息；分類結(jié)構(gòu)通過(guò)全連接操作對(duì)提取的特征進(jìn)一步抽象化為機(jī)器人行駛方向信息；語(yǔ)義分割結(jié)構(gòu)采用上采樣操作從特征信息中分割出各個(gè)目標(biāo)在圖像中的區(qū)域；后處理即將語(yǔ)義分割結(jié)果轉(zhuǎn)化為機(jī)器人理解的行駛方向信號(hào)。最后，結(jié)合后處理與分類結(jié)果，共同指導(dǎo)機(jī)器人下一時(shí)刻動(dòng)作，實(shí)現(xiàn)自主避障。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The structure diagram of network

1.2 分類網(wǎng)絡(luò)

目前，用于解決計(jì)算機(jī)視覺(jué)任務(wù)的深度學(xué)習(xí)算法中，其網(wǎng)絡(luò)的搭建基本采用骨干網(wǎng)絡(luò)與特定任務(wù)網(wǎng)絡(luò)相結(jié)合的模式。圖像分類在計(jì)算機(jī)視覺(jué)任務(wù)中相對(duì)簡(jiǎn)單，主要由骨干網(wǎng)絡(luò)提取圖像有效特征，再結(jié)合全連接將提取的信息抽象成類別即構(gòu)成分類網(wǎng)絡(luò)。隨著深度學(xué)習(xí)的高速發(fā)展，研究者們已提出很多經(jīng)典的骨干網(wǎng)絡(luò)，如VGG[11]、ResNet[12]、MobileNet[13]、SENet[14]等。由于本文方法主要應(yīng)用于變電站巡檢機(jī)器人，為保證網(wǎng)絡(luò)效率，所提分類網(wǎng)絡(luò)主要借鑒了輕量級(jí)網(wǎng)絡(luò)，采用深度可分離卷積為基本卷積單元搭建而成。

分類網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)如表1所示，網(wǎng)絡(luò)主要通過(guò)串聯(lián)多個(gè)卷積塊結(jié)構(gòu)來(lái)由淺到深地提取圖像特征，再經(jīng)池化(pool)、全連接(fully connected，F(xiàn)C)等操作對(duì)圖像進(jìn)行分類。而每個(gè)卷積塊又由多個(gè)輕量級(jí)逆殘差模塊和注意力模塊堆疊而成，其基本結(jié)構(gòu)如圖2所示。其中，輕量級(jí)逆殘差模塊主要是在傳統(tǒng)殘差模塊的基礎(chǔ)上改進(jìn)而成，通過(guò)對(duì)特征圖先升維，再利用深度可分離卷積(DWconv)提取特征后進(jìn)行降維的方式，降低了傳統(tǒng)殘差先降維后升維對(duì)特征多樣性信息的丟失；同時(shí)，該模塊以深度可分離卷積來(lái)替代傳統(tǒng)卷積提取特征也有效提升網(wǎng)絡(luò)效率；最后，沿用傳統(tǒng)殘差模塊的殘差連接來(lái)緩解網(wǎng)絡(luò)訓(xùn)練時(shí)梯度消失等問(wèn)題。而注意力模塊主要由全局池化(global pooling)、全連接、Sigmoid激活函數(shù)構(gòu)成，該模塊通過(guò)訓(xùn)練為每個(gè)特征通道學(xué)習(xí)一個(gè)權(quán)重，用于衡量每個(gè)特征通道對(duì)當(dāng)前任務(wù)的重要程度，可提升有效特征的權(quán)值，并降低無(wú)效特征對(duì)網(wǎng)絡(luò)精度的影響。整個(gè)分類結(jié)構(gòu)與目前主流分類網(wǎng)絡(luò)(Inception、ResNet等)相比更為精簡(jiǎn)高效，對(duì)平臺(tái)性能要求更低，盡管網(wǎng)絡(luò)以損失部分特征信息為代價(jià)，但對(duì)于變電站道路場(chǎng)景的分類而言，其分類類別較少，目標(biāo)特征相對(duì)簡(jiǎn)單，所提網(wǎng)絡(luò)足以滿足巡檢機(jī)器人對(duì)道路場(chǎng)景分類的需求。

表1 分類網(wǎng)絡(luò)結(jié)構(gòu)

圖2 骨架網(wǎng)絡(luò)模塊Fig.2 Skeleton network module

1.3 語(yǔ)義分割結(jié)構(gòu)

分類網(wǎng)絡(luò)主要從圖像全局信息的角度來(lái)保證巡檢機(jī)器人的正確行駛方向，但對(duì)于機(jī)器人避障而言，單靠分類網(wǎng)絡(luò)難以滿足其局部動(dòng)態(tài)避障。因此，本文在分類結(jié)構(gòu)基礎(chǔ)上增加語(yǔ)義分割支路來(lái)對(duì)圖像進(jìn)行像素級(jí)分類，通過(guò)對(duì)障礙物實(shí)時(shí)識(shí)別分割來(lái)進(jìn)一步提升機(jī)器人避障效果。

圖3 分割模塊Fig.3 Segmentation module

語(yǔ)義分割任務(wù)與分類相比，其難度相對(duì)較大，網(wǎng)絡(luò)結(jié)構(gòu)也更為復(fù)雜。因此，為保證網(wǎng)絡(luò)在實(shí)際變電站場(chǎng)景中的分割精度以及效率，采用了多種策略來(lái)搭建分割結(jié)構(gòu)，如圖3所示。為有效獲取圖像中各目標(biāo)空間細(xì)節(jié)信息，網(wǎng)絡(luò)通過(guò)逐層上采樣與骨干網(wǎng)絡(luò)中對(duì)應(yīng)維度的特征圖進(jìn)行融合，如圖3(a)所示。該結(jié)構(gòu)首先將分類網(wǎng)絡(luò)中最后一個(gè)5×5卷積后的特征圖最大池化后再上采樣至卷積塊7特征圖尺度進(jìn)行融合(eltwise)，然后將融合后的特征圖再上采樣融合，以此類推。其中，上采樣過(guò)程采用雙線性插值的方法，避免引入過(guò)多的參數(shù)而降低了網(wǎng)絡(luò)效率，同時(shí)，由于淺層特征圖包含較多噪聲，故網(wǎng)絡(luò)只融合了尺度小于1/8原圖的特征圖，即圖中卷積塊n分別為卷積塊4、卷積塊6、卷積塊7中最后一層，上采樣i為卷積塊n對(duì)應(yīng)尺寸的上采樣層。圖3(b)結(jié)構(gòu)主要進(jìn)一步挖掘目標(biāo)細(xì)節(jié)特征以及全局信息，采用類似圖像金字塔結(jié)構(gòu)的特征提取方式，將骨干網(wǎng)絡(luò)中卷積塊4最后一層通過(guò)不同空洞率的空洞卷積和平均池化(mean pooling)操作進(jìn)行信息提取，再將空洞卷積后上采樣至卷積塊4進(jìn)行拼接(concat)。最后，將圖3(a)和圖3(b)兩種結(jié)構(gòu)輸出的特征圖通過(guò)批正則化來(lái)平衡權(quán)重后通過(guò)點(diǎn)卷積來(lái)融合，最后再將融合后的特征圖上采樣至原圖大小，實(shí)現(xiàn)語(yǔ)義分割。語(yǔ)義分割支路從多個(gè)角度來(lái)獲取目標(biāo)全局和邊緣信息，保證變電站巡檢機(jī)器人在實(shí)時(shí)避障過(guò)程中對(duì)障礙物類別以及相對(duì)位置準(zhǔn)確獲取，進(jìn)而指導(dǎo)機(jī)器人實(shí)現(xiàn)高效避障。

1.4 后處理

對(duì)于語(yǔ)義分割結(jié)果，機(jī)器人只能判斷出圖像中每個(gè)像素的類別，而對(duì)于避障信息需要通過(guò)對(duì)分割圖像進(jìn)一步轉(zhuǎn)化提取。針對(duì)變電站巡檢機(jī)器人避障問(wèn)題，將語(yǔ)義分割結(jié)果轉(zhuǎn)化成了障礙物類別、可行道路區(qū)域等信息。障礙物類別信息主要提取影響機(jī)器人正常行駛的區(qū)域目標(biāo)，即機(jī)器人正前方目標(biāo)信息。為有效輔助機(jī)器人避障，在機(jī)器人正前方選擇了遠(yuǎn)近兩個(gè)區(qū)域來(lái)識(shí)別目標(biāo)，兩個(gè)區(qū)域的大小為機(jī)器人所占面積的映射，如圖4(c)所示。其中，遠(yuǎn)距離的區(qū)域目標(biāo)可指導(dǎo)機(jī)器人提前進(jìn)行路徑規(guī)劃；近距離區(qū)域目標(biāo)判斷機(jī)器人是否可行。

當(dāng)機(jī)器人前方出現(xiàn)不可越過(guò)障礙物時(shí)，對(duì)于機(jī)器人對(duì)避障區(qū)域的選擇，采用相對(duì)簡(jiǎn)單直觀的方法，即通過(guò)對(duì)比障礙物左右兩邊的道路區(qū)域面積(可由道路像素?cái)?shù)量表示)來(lái)規(guī)劃?rùn)C(jī)器人避障路線，如圖4(d)所示。其中，對(duì)比區(qū)域與障礙物的判斷方式類似，也選擇了遠(yuǎn)近兩組區(qū)域，當(dāng)無(wú)障礙物或遠(yuǎn)目標(biāo)區(qū)域出現(xiàn)障礙物時(shí)，使用遠(yuǎn)區(qū)域來(lái)判斷結(jié)果引導(dǎo)機(jī)器人行駛；當(dāng)障礙物由遠(yuǎn)及近出現(xiàn)在近目標(biāo)區(qū)域時(shí)，選擇近區(qū)域保證機(jī)器人準(zhǔn)確避障。最后，結(jié)合分割結(jié)果與分類結(jié)果的避障信息，共同控制機(jī)器人避障，控制策略如下。

(1)兩支路輸出相同時(shí)，執(zhí)行輸出方向；當(dāng)相反時(shí)，由于分割支路的判斷精度更高，故由分割支路決定。

(2)出現(xiàn)轉(zhuǎn)向和直行時(shí)，若無(wú)障礙物，則執(zhí)行分類輸出；反之執(zhí)行分割支路輸出。

(3)出現(xiàn)轉(zhuǎn)向和停止時(shí)，執(zhí)行轉(zhuǎn)向。

(4)出現(xiàn)直行和停止時(shí)，執(zhí)行停止。

對(duì)于每次轉(zhuǎn)向角度的選擇根據(jù)實(shí)際變電站巡檢機(jī)器人情況(如巡檢速度、相機(jī)位姿等)來(lái)確定。

圖4 機(jī)器人前方目標(biāo)區(qū)域Fig.4 The target area in front of robot

2 實(shí)驗(yàn)與結(jié)果分析

主要利用Caffe深度學(xué)習(xí)框架來(lái)對(duì)所提網(wǎng)絡(luò)進(jìn)行搭建，實(shí)驗(yàn)以搭載Titan X顯卡的臺(tái)式電腦和搭載NVIDIA Jetson TX2嵌入式模塊的變電站巡檢機(jī)器人為硬件平臺(tái)，通過(guò)公開數(shù)據(jù)集和實(shí)際變電站場(chǎng)景分別對(duì)網(wǎng)絡(luò)的有效性以及在實(shí)際變電站巡檢機(jī)器人上的避障效果進(jìn)行了測(cè)試驗(yàn)證。由于該網(wǎng)絡(luò)包含多個(gè)任務(wù)，故在訓(xùn)練時(shí)的損失函數(shù)為分類和分割誤差的疊加，而分割相當(dāng)于是對(duì)像素的分類，因此都以交叉熵作為損失函數(shù)來(lái)計(jì)算誤差，損失函數(shù)公式如式(1)～式(3)所示。

(1)

(2)

Lall=Lcls+Lseg

(3)

式中：aj為樣本屬于第j類的概率；T為類別數(shù)；Sj為將第j類概率softmax處理；yj為標(biāo)簽值；L為交叉熵?fù)p失函數(shù)；log底數(shù)為任意整數(shù)；Lcls為分類損失；Lseg為分割損失；Lall為總的損失。

對(duì)于網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置，為了方便與同類型網(wǎng)絡(luò)進(jìn)行對(duì)比，主要借鑒文獻(xiàn)[13，16]中的網(wǎng)絡(luò)訓(xùn)練參數(shù)。訓(xùn)練時(shí)設(shè)置學(xué)習(xí)率為0.005，動(dòng)量參數(shù)為0.9，權(quán)值衰減系數(shù)為0.000 2，網(wǎng)絡(luò)以Adam優(yōu)化策略進(jìn)行權(quán)重更新。同時(shí)，對(duì)于網(wǎng)絡(luò)性能評(píng)價(jià)，由于分類任務(wù)中每幅圖像值對(duì)應(yīng)一個(gè)類別，因此采用平均精度(average precision，AP)來(lái)衡量；語(yǔ)義分割采用全局精度( global precision，G)、平均精度( mean accuracy，C)以及交除并均值(mean intersection over union, IoU)來(lái)評(píng)價(jià)。

(4)

(5)

(6)

(7)

(8)

式中：Pi、AP為分類評(píng)價(jià)指標(biāo)，G、C、IoU為分割評(píng)價(jià)指標(biāo)；Pi為類別i的精度;N(TP)i為類別i被正確分類數(shù)量；N(Total)i為類別i的圖像總數(shù)；Ncls為總的分類類別數(shù)；i，j分別為類別i和類別j；nji為屬于類別j卻被預(yù)測(cè)為類別i的像素個(gè)數(shù)；nc1為分割總的類數(shù)；ti為類別i的總像素。

2.1 標(biāo)準(zhǔn)數(shù)據(jù)集測(cè)試

為快速驗(yàn)證本文網(wǎng)絡(luò)，實(shí)驗(yàn)采用搭載Titan X GPU的臺(tái)式機(jī)訓(xùn)練網(wǎng)絡(luò)，將訓(xùn)練好的網(wǎng)絡(luò)利用NVIDIA Jetson TX2進(jìn)行測(cè)試。實(shí)驗(yàn)首先利用Animals和CamVid標(biāo)準(zhǔn)數(shù)據(jù)集分別對(duì)分類和分割兩個(gè)分支進(jìn)行測(cè)試；然后，手動(dòng)標(biāo)注Animals數(shù)據(jù)集，對(duì)聯(lián)合分類和分割的網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試。其中，Animals為動(dòng)物分類數(shù)據(jù)集，包含貓、狗和大熊貓三類目標(biāo)，每個(gè)類別約1 000張圖像；CamVid為城市道路場(chǎng)景分割數(shù)據(jù)集，包含十多類標(biāo)注的目標(biāo)，約700張圖像。兩個(gè)數(shù)據(jù)集都相對(duì)較小，可以方便快速測(cè)試各個(gè)改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)于分類網(wǎng)絡(luò)的測(cè)試，首先將Animals數(shù)據(jù)集圖像尺寸歸一化為360×480，以2∶8的比例隨機(jī)將每類圖像分為測(cè)試集和訓(xùn)練集(后續(xù)數(shù)據(jù)集都是該比例分配)，并采用遷移學(xué)習(xí)的方法對(duì)網(wǎng)絡(luò)訓(xùn)練收斂后與文獻(xiàn)[12-13]中的分類網(wǎng)絡(luò)進(jìn)行對(duì)比，對(duì)比結(jié)果如表2所示。同理，對(duì)于分割網(wǎng)絡(luò)的驗(yàn)證與分類網(wǎng)絡(luò)類似，只需替換訓(xùn)練數(shù)據(jù)和移除分類支路即可，同時(shí)將其分割精度與同類型網(wǎng)絡(luò)文獻(xiàn)[15-16]進(jìn)行對(duì)比，結(jié)果如表3所示。其中，分割效率為TX2上測(cè)試結(jié)果。

表2 分類網(wǎng)絡(luò)對(duì)比

表3 分割網(wǎng)絡(luò)測(cè)試結(jié)果對(duì)比

注：FPS(frames per second)表示每秒處理幀數(shù)。

對(duì)于同時(shí)分類和語(yǔ)義分割的測(cè)試，由于目前大多數(shù)語(yǔ)義分割數(shù)據(jù)集中每幅圖像包含目標(biāo)類別較多，與本文針對(duì)的應(yīng)用有一定的差別。因此，為更好地切合實(shí)際應(yīng)用，將Animals數(shù)據(jù)集中的圖像通過(guò)Labelme標(biāo)注軟件進(jìn)行標(biāo)注為動(dòng)物、道路、植物、天空以及背景。訓(xùn)練時(shí)，每幅圖像對(duì)應(yīng)兩個(gè)標(biāo)簽(即兩個(gè)loss)，可同時(shí)優(yōu)化分類和分割支路參數(shù)。測(cè)試結(jié)果如表4所示。

表4 網(wǎng)絡(luò)測(cè)試結(jié)果

根據(jù)上述實(shí)驗(yàn)結(jié)果可以看出，本文網(wǎng)絡(luò)可以有效地實(shí)現(xiàn)分類和語(yǔ)義分割任務(wù)，同時(shí)，與同類型網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)的兩個(gè)獨(dú)立分支在精度與效率上都得到了有效的平衡。由表4的實(shí)驗(yàn)結(jié)果可以看出，聯(lián)合分類和分割后的網(wǎng)絡(luò)由于支路增加，因此效率有一定的下降；同時(shí)，由于兩個(gè)支路同時(shí)訓(xùn)練，網(wǎng)絡(luò)所需要學(xué)習(xí)的目標(biāo)特征種類也有所增加，任務(wù)復(fù)雜度增大，故精度都略微有所降低。總體來(lái)說(shuō)，本文所提方法較好地兼顧了網(wǎng)絡(luò)精度與效率，可以更好地應(yīng)用于變電站巡檢機(jī)器人平臺(tái)。

2.2 變電站場(chǎng)景測(cè)試

為進(jìn)一步驗(yàn)證本文方法在實(shí)際變電站環(huán)境下的可行性，分別測(cè)試了網(wǎng)絡(luò)在變電站環(huán)境下的適應(yīng)性以及巡檢機(jī)器避障效果。對(duì)于網(wǎng)絡(luò)適應(yīng)性測(cè)試主要通過(guò)巡檢機(jī)器人對(duì)變電站道路圖像進(jìn)行采集(主要為機(jī)器人正常、偏離道路以及避障行駛的圖像)，從中篩選出重復(fù)率較低的圖像約5 000張，將其分為直行、左偏、右偏、停止4類，同時(shí)將圖像的雜草、道路、石頭、路坑和背景5類目標(biāo)進(jìn)行標(biāo)注，并將圖像歸一化為224×224后構(gòu)建訓(xùn)練數(shù)據(jù)集。通過(guò)Titan X訓(xùn)練迭代收斂后在TX2上的測(cè)試結(jié)果如表5和圖5所示。

對(duì)于巡檢機(jī)器人避障效果測(cè)試主要通過(guò)機(jī)器人在特定情況下(如機(jī)器人偏離道路、前方有障礙物等)，本文方法對(duì)每一幀圖像判斷情況，即是否正確預(yù)測(cè)機(jī)器下一步動(dòng)作。實(shí)驗(yàn)分別測(cè)試了單支路和聯(lián)合支路的網(wǎng)絡(luò)在機(jī)器人正常行駛、偏離行駛、障礙物、偏離和障礙物同時(shí)出現(xiàn)的情況下的預(yù)測(cè)結(jié)果。其中，每種情況分別測(cè)試7段道路路，每段道路包含2 000～3 000幀圖像，最后對(duì)每種情況預(yù)測(cè)結(jié)果取平均精度，測(cè)試結(jié)果如表6所示。其中，正常指機(jī)器人行駛道路中無(wú)雜物或部分雜草、積水等可越過(guò)障礙物；偏離指機(jī)器人偏離道路中心一定閾值；障礙物指機(jī)器人需繞過(guò)物體。

表5 網(wǎng)絡(luò)測(cè)試結(jié)果

圖5 分類分割結(jié)果Fig.5 Classification and segmentation results

為了更好地體現(xiàn)本文方法的有效性，將該方法分別與基于神經(jīng)網(wǎng)絡(luò)的視覺(jué)避障[17]、基于模糊控制的超聲波避障[18]以及基于人工勢(shì)場(chǎng)的激光雷達(dá)避障[19]方法進(jìn)行了對(duì)比。為方便對(duì)比，通過(guò)巡檢機(jī)器人相機(jī)、超聲波、激光雷達(dá)傳感器同時(shí)對(duì)表6中的每一段路進(jìn)行數(shù)據(jù)采集，再通過(guò)對(duì)應(yīng)的避障方法判斷機(jī)器人方向，根據(jù)統(tǒng)計(jì)每一時(shí)刻各方法的判斷結(jié)果來(lái)計(jì)算避障精度，實(shí)驗(yàn)結(jié)果如表7所示。

表6 機(jī)器人偏離測(cè)試結(jié)果

表7 機(jī)器人避障方法對(duì)比

由表5、圖5可知，本文網(wǎng)絡(luò)可以有效地遷移至變電站場(chǎng)景數(shù)據(jù)集，相對(duì)于標(biāo)準(zhǔn)數(shù)據(jù)集，變電站場(chǎng)景數(shù)據(jù)集圖像分辨率較低，目標(biāo)類別種類及背景卻更多、更復(fù)雜，故網(wǎng)絡(luò)分類及分割精度有一定下降，但保障了機(jī)器人實(shí)際應(yīng)用的效率。由表6可知，不同支路的避障效果不同，分類支路獲取圖像整體信息更多，更有利于判斷機(jī)器人偏離情況；語(yǔ)義分割支路包含目標(biāo)更多局部細(xì)節(jié)信息，再通過(guò)后處理降低了分割精度對(duì)避障的影響，保障機(jī)器人局部避障。通過(guò)將兩支路結(jié)合，使各支路信息相互補(bǔ)充，進(jìn)一步彌補(bǔ)網(wǎng)絡(luò)在精度上的不足，從而實(shí)現(xiàn)機(jī)器人高效避障。同時(shí)，表7的實(shí)驗(yàn)結(jié)果也較好地體現(xiàn)了本文方法的優(yōu)越性，單純利用視覺(jué)分類的方式難以滿足機(jī)器人局部動(dòng)態(tài)實(shí)時(shí)避障；而超聲波與激光雷達(dá)的方式無(wú)法較好地理解環(huán)境(如可越過(guò)障礙物等)，在實(shí)際變電站場(chǎng)景中也存在較大的局限性。綜上，本文方法完全以變電站場(chǎng)景特點(diǎn)為基礎(chǔ)，以提升巡檢機(jī)器人避障性能為目的，通過(guò)輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)適應(yīng)性能較低的機(jī)器人平臺(tái)，采用分割后處理以及多支路聯(lián)合方式保障避障效果，使最終網(wǎng)絡(luò)效率達(dá)到20/s左右，對(duì)于速度相對(duì)較慢的變電站巡檢機(jī)器人來(lái)說(shuō)，基本滿足其對(duì)實(shí)時(shí)避障的需求。

3 結(jié)論

針對(duì)目前變電站巡檢機(jī)器人自主避障存在的不足，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的避障方法。該方法聯(lián)合圖像分類與語(yǔ)義分割兩類計(jì)算機(jī)視覺(jué)任務(wù)，分類結(jié)構(gòu)可以獲取更多圖像全局信息，使機(jī)器人偏離道路情況得到改善；語(yǔ)義分割結(jié)構(gòu)主要關(guān)注局部細(xì)節(jié)信息以及近距離目標(biāo)，可有效輔助機(jī)器人避開障礙物，將兩者結(jié)合使機(jī)器人能最大程度理解環(huán)境信息，進(jìn)而進(jìn)行正確判斷。通過(guò)多個(gè)數(shù)據(jù)集測(cè)試結(jié)果表明，本文方法有效兼顧了網(wǎng)絡(luò)精度以及效率，同時(shí)，在實(shí)際變電站場(chǎng)景下，該方法也能有效地應(yīng)用于巡檢機(jī)器人中，輔助機(jī)器人矯正偏離航向以及實(shí)現(xiàn)障礙物的識(shí)別和自主避障。

本文方法盡管基本滿足變電站巡檢機(jī)器人對(duì)避障的需求，但仍有較多需要改進(jìn)的地方，后續(xù)工作將嘗試進(jìn)一步完善網(wǎng)絡(luò)的避障策略，提升其避障準(zhǔn)確性；其次，將該方法與其他傳感器(如激光雷達(dá)、超聲波等)進(jìn)行聯(lián)合避障，提升其導(dǎo)航避障能力。