基于Transformer的實(shí)時(shí)語義分割網(wǎng)絡(luò)及應(yīng)用

劉 青,李 寧,熊 俊,鄭天宇,丁一銘

(北京卓越電力建設(shè)有限公司,北京 100027)

1 引 言

隨著電力系統(tǒng)發(fā)展,電纜隧道、綜合管廊數(shù)量迅速增長,應(yīng)用機(jī)器人替代人工巡檢并完成應(yīng)急處置是必然趨勢。電纜隧道巡檢機(jī)器人的應(yīng)用,對保障電網(wǎng)安全運(yùn)行具有重要意義。研究人員通過開發(fā)一系列電網(wǎng)巡檢機(jī)器人[1-3],不僅實(shí)現(xiàn)了對電網(wǎng)設(shè)備運(yùn)行狀態(tài)和環(huán)境的實(shí)時(shí)監(jiān)測,提高了巡檢過程的自動(dòng)化程度、準(zhǔn)確度及精度,也實(shí)現(xiàn)了機(jī)器對人工的替代,降低了運(yùn)維人員的作業(yè)風(fēng)險(xiǎn),提高了工作效率。

近年來,以深度學(xué)習(xí)為中心的機(jī)器學(xué)習(xí)技術(shù)飽受人們關(guān)注。在機(jī)器人應(yīng)用逐漸廣泛化的過程中,機(jī)器人場景理解成為當(dāng)前研究的熱點(diǎn)內(nèi)容。目前,語義分割作為解決機(jī)器人場景理解的關(guān)鍵性技術(shù)[3-5],其主要任務(wù)是將圖像中的每個(gè)像素鏈接到類標(biāo)簽。語義分割的結(jié)果圖可以幫助機(jī)器人理解場景并輔助完成規(guī)劃路徑或緊急避障。

目前圖像語義分割可分為基于全卷積編解碼、基于擴(kuò)張卷積、基于注意力機(jī)制以及基于語義細(xì)節(jié)雙分支的方法等。全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network,FCN)在語義分割領(lǐng)域應(yīng)用廣泛[5],它能夠獲取任意大小的圖像并生成相應(yīng)空間維度的輸出,采用像素級損失和網(wǎng)絡(luò)內(nèi)上采樣來增強(qiáng)密集預(yù)測。針對全卷積神經(jīng)網(wǎng)絡(luò)在語義分割時(shí)感受野固定和分割物體細(xì)節(jié)容易丟失或被平滑的問題,Vijay等人提出SegNet網(wǎng)絡(luò)[6],采用池化索引保存圖像的輪廓信息并降低參數(shù)量。Olaf等人提出了U-Net網(wǎng)絡(luò)[7],在U型對稱結(jié)構(gòu)中加入跳躍連接融合相同分辨率上采樣及下采樣特征圖,對醫(yī)學(xué)圖像產(chǎn)生更精確的分割。Simon等人提出FC-DenseNets網(wǎng)絡(luò)[8],通過將網(wǎng)絡(luò)層與后續(xù)層建立密集連接完成特征的復(fù)用?；谌矸e對稱語義分割模型得到分割結(jié)果較粗糙,忽略像素之間的空間一致性關(guān)系,因此,Chen等人提出Deeplab網(wǎng)絡(luò)[9],采用擴(kuò)張卷積增加感受野獲得更多語義信息[10],并使用完全連接條件隨機(jī)場提高模型捕獲細(xì)節(jié)的能力。Deeplab-V2增加空洞空間金字塔池化模塊,利用多個(gè)不同采樣率的擴(kuò)張卷積提取特征,再將特征融合以捕獲不同尺度的語義信息[11]。Deeplab-V3在空洞空間金字塔池化模塊中加入了全局平均池化,同時(shí)在多尺度擴(kuò)張卷積后添加批量歸一化,有效捕獲全局語義信息[12]。由于卷積層結(jié)構(gòu)限制,提供的上下文信息不足。因此,Wang等人受計(jì)算機(jī)視覺中經(jīng)典的非局部均值啟發(fā),提出Non-local建立圖像上相距較遠(yuǎn)像素之間的聯(lián)系[13]。Fu等人引入通道及空間注意力機(jī)制,更好聚合不同類別之間的上下文信息[14]。Huang等人提出交叉循環(huán)注意力,更好捕獲上下文信息的同時(shí)大量減少計(jì)算量[15]。近年來,受到自然語言處理領(lǐng)域中Transformer成功應(yīng)用的啟發(fā)[16],嘗試將標(biāo)準(zhǔn)的Transformer結(jié)構(gòu)直接應(yīng)用于圖像[17],將整幅圖像拆分成小圖像塊,經(jīng)過線性嵌入后作為輸入送入網(wǎng)絡(luò)中,使用監(jiān)督學(xué)習(xí)的方式進(jìn)行圖像分類的訓(xùn)練。

由于上述方法非常耗時(shí),因此不能直接部署在機(jī)器人上,輕量級分割算法越來越受到關(guān)注[18-22]。Yu等人提出了一種由細(xì)節(jié)和語義分支組成的新型雙分支網(wǎng)絡(luò)BiSeNet[23],網(wǎng)絡(luò)架構(gòu)如圖1(a)所示,主要包括語義分支、空間分支以及融合模塊。語義分支首先使用輕量級骨干網(wǎng)絡(luò)Xception[24]通過快速下采樣特征學(xué)習(xí),獲取足夠的感受野,同時(shí)采用全局池化來降低計(jì)算量,穩(wěn)定最大感受野。下采樣的特征圖再經(jīng)過注意力優(yōu)化模塊,借助全局平均池化捕獲上下文語義信息,計(jì)算注意力向量,優(yōu)化語義分支中的輸出特征?？臻g分支主要負(fù)責(zé)保留空間信息并且生成高分辨率特征,通過3個(gè)Conv-BN-ReLU(ConvBR)卷積層將輸入圖像降采樣到原始圖像的1/8。特征融合模塊首先將兩種特征進(jìn)行通道連接,經(jīng)過一個(gè)ConvBR卷積層后,使用殘差結(jié)構(gòu)對原始特征及注意力優(yōu)化后的特征進(jìn)行融合。最終直接采用雙線性插值上采樣到原圖像分辨率,得到圖像的分割結(jié)果。這種雙分支網(wǎng)絡(luò)實(shí)現(xiàn)比當(dāng)時(shí)基于編解碼器的方法[25]更高的分割精度。

圖1 網(wǎng)絡(luò)架構(gòu)

針對以上的分析,本文設(shè)計(jì)了一種新型網(wǎng)絡(luò)架構(gòu)Dual-Former,如圖1(b)所示。網(wǎng)絡(luò)中設(shè)計(jì)了分割Transformer模塊(Segmentation Transformer module,STM)和通道遞減卷積模塊(Channel Decreasing Convolution Module,CDCM)分別提取語義和細(xì)節(jié)信息,最后通過特征融合模塊(Feature Fusion Module,FFM)將底層的空間細(xì)節(jié)信息和深層的上下文語義信息融合得到不同尺度的圖像特征,獲得良好的分割結(jié)果。

2 基于Transformer的語義分割網(wǎng)絡(luò)

在語義分割任務(wù)中,圖像的全局上下文語義信息和局部細(xì)節(jié)信息對于分割結(jié)果至關(guān)重要,BiSeNet采用雙分支框架,將低級細(xì)節(jié)和高級語義信息結(jié)合起來,然而,添加額外的分支來獲取低層特征是耗時(shí)的,并且BiSeNet提取的語義和細(xì)節(jié)信息十分粗略,經(jīng)過融合后物體邊界分割模糊,不同類別存在混淆,無法得到精細(xì)的分割結(jié)果。為此,構(gòu)建了基于Transformer的語義分割網(wǎng)絡(luò),并提出分割Transformer模塊、通道遞減卷積模塊和特征融合模塊以提升模型分割能力。

2.1 網(wǎng)絡(luò)架構(gòu)

基于Transformer的語義分割網(wǎng)絡(luò)的架構(gòu)如圖2所示,該網(wǎng)絡(luò)由特征提取主干、語義分支、空間分支及融合分割部分組成。特征提取主干首先使用卷積核大小為3×3,步長為2的ConvBR卷積層和步長為2的通道遞減卷積模塊將原始圖像下采樣至原始分辨率的1/4,特征提取主干將圖像下采樣的同時(shí),能夠較好保留圖像的原始信息與特征,解決了BiSeNet使用雙分支獲取低層特征造成計(jì)算冗余的問題,便于特征語義和細(xì)節(jié)信息的提取。語義分支使用Transformer提取圖像全局上下文語義信息,每層逐漸降低特征圖分辨率并加深通道數(shù),經(jīng)過注意力優(yōu)化后獲取更深層的語義信息,最后對特征圖進(jìn)行上采樣到原始分辨率的1/8。細(xì)節(jié)分支首先使用步長為2的通道遞減卷積模塊對特征圖進(jìn)行下采樣到原始分辨率的1/8,經(jīng)過通道遞減卷積模塊的特征圖能夠更好保留圖像的多尺度細(xì)節(jié)信息。然后使用兩個(gè)步長為1的通道遞減卷積模塊,提取高分辨率特征圖的局部細(xì)節(jié)信息。由于保持特征圖分辨率維持在原始分辨率的1/8,能夠更好提取原始圖像中的細(xì)節(jié)信息。融合分割部分首先經(jīng)過特征融合模塊,由于兩分支的輸出不屬于同一種特征,因此不能使用簡單相加的方式對特征進(jìn)行融合。特征融合模塊將語義和細(xì)節(jié)分支的特征圖采用通道維度疊加,即將語義分支特征圖通道與細(xì)節(jié)分支特征圖通道進(jìn)行級聯(lián),經(jīng)過通道注意力選取特征。之后經(jīng)過分割模塊,采用一個(gè)3×3的ConvBR卷積層和一個(gè)3×3的卷積層將特征圖的通道映射到實(shí)際分割任務(wù)的類別數(shù)目,出于速度的考慮,最后使用簡單的雙線性插值將編碼階段變小的特征圖還原到輸入圖像分辨率,從而達(dá)到與標(biāo)簽一一對應(yīng)的分割效果,實(shí)現(xiàn)端到端的訓(xùn)練。

圖2 Dual-Former網(wǎng)絡(luò)整體架構(gòu)

2.2 語義分割

語義分割的目標(biāo)是識別每一個(gè)像素,要分割的對象或內(nèi)容經(jīng)常受尺度、光照和遮擋的影響,由于卷積運(yùn)算本身屬于局部操作,使用卷積神經(jīng)網(wǎng)絡(luò)獲取高級語義信息需要通過不斷地堆積卷積層來完成對圖像從局部信息到全局信息的提取,不斷堆積的卷積層慢慢擴(kuò)大了感受野直至覆蓋整個(gè)圖像。具有相同標(biāo)簽的像素的特征可能具有一些差異,這些差異因感受野受限被放大,引入了類內(nèi)不一致性并影響了卷積神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確性。由于Transformer將一幅圖像分割成小圖像塊作為輸入,不需要疊加就可以獲得與輸入大小相同的感受野,能夠較好解決感受野受限問題,并提取圖像全局信息。

分割Transformer模塊如圖3所示,首先將小圖像塊進(jìn)行位置編碼與向量化,特征圖維度從(C,H,W)轉(zhuǎn)化成(C,N(H×W)),其中C代表通道數(shù),H和W代表高和寬。然后向量作為Transformer編碼器的輸入,經(jīng)過多頭注意力對輸入分別乘以三個(gè)隨機(jī)初始化的矩陣WQ,WK,WV,便得到了三個(gè)矩陣Q,K,V。多頭注意力計(jì)算過程如公式(1)所示,式中dhead代表注意力頭的數(shù)量(本文取3),經(jīng)過注意力的優(yōu)化后作為多層感知機(jī)(MLP)提取深層語義信息,擴(kuò)大模型感受野,能夠更好捕獲特征圖的高級特征。

圖3 分割Transformer模塊

(1)

視覺Transformer使用顯式位置編碼引入位置信息[16],然而,顯式位置編碼的分辨率是固定的,因此當(dāng)測試分辨率不同于訓(xùn)練分辨率時(shí),需要對位置編碼進(jìn)行插值,這通常會(huì)導(dǎo)致精度下降。為了緩解這個(gè)問題,使用padding為0的3×3卷積對小圖像塊進(jìn)行隱式位置編碼,實(shí)驗(yàn)結(jié)果證明3×3卷積足以為Transformer提供位置信息。

大學(xué)生對工作崗位陌生，對工作環(huán)境和人際關(guān)系不適應(yīng)，學(xué)校的理論知識與實(shí)際工作存在差異等。面對這些問題，校企雙方要共同協(xié)商解決。企業(yè)導(dǎo)師制有效解決了此方面的難題[4]164-166。企業(yè)專業(yè)導(dǎo)師不僅能夠幫助學(xué)生快速熟悉業(yè)務(wù)，獲得專業(yè)技能，還能以其獨(dú)特的人格魅力感染學(xué)生，掌握實(shí)際工作中應(yīng)具備的職業(yè)道德和敬業(yè)精神，深化崗位認(rèn)知，快速適應(yīng)新環(huán)境，勝任新工作。

2.3 細(xì)節(jié)分支

語義分割任務(wù)需要區(qū)分空間中的每類樣本,用于分割的特征需要保留更多細(xì)節(jié)特征。低層特征有助于網(wǎng)絡(luò)生成精細(xì)的分割邊界,降采樣操作雖然能夠降低模型計(jì)算量,但同時(shí)也伴隨著細(xì)節(jié)信息的丟失,使得網(wǎng)絡(luò)在細(xì)小目標(biāo)和目標(biāo)邊緣上性能下降。

細(xì)節(jié)分支將特征圖的分辨率只下采樣到原始分辨率的1/8,保持高分辨率的特征圖來更好獲取圖像中的細(xì)節(jié)信息。通道遞減卷積模塊如圖4所示,圖4(a)代表步長為1的通道遞減卷積模塊,其中M和N分別代表輸入和輸出通道數(shù),首先使用3×3的ConvBR卷積層將特征通道從M映射到N/2,再使用兩個(gè)3×3的ConvBR卷積層依次對特征通道進(jìn)行遞減,考慮到最后一層特征圖通道數(shù)量較少,因此,使用1×1的ConvBR卷積層提取最后的細(xì)節(jié)特征。在圖像分類網(wǎng)絡(luò)中,在更高層使用更多通道是一種常見的作法,但是在語義分割任務(wù)中,我們關(guān)注的是可擴(kuò)展的感受野和多尺度信息。通道遞減卷積模塊各層感受野如表1所示,低層需要足夠的通道來編碼較小感受野的細(xì)粒度信息,較大的感受野更注重于高層的語義信息,由于所提算法將高層特征提取的重心放在語義分支上,因此,如果與低層設(shè)置相同的通道可能會(huì)造成信息冗余。圖4(b)代表步長為2的通道遞減卷積模塊,其中下采樣操作只在Block2中進(jìn)行。為了豐富特征信息,通過跳躍連接將x1到xn的特征圖連接。CDCM的輸出如公式(2)所示。

表1 CDCM中不同Block的感受野

圖4 CDCM結(jié)構(gòu)

xoutput=F(x1,x2,…,xn)

(2)

式中,xoutput表示CDCM模塊的輸出;x1,x2,…,xn是所有塊的特征圖;F代表特征的融合方式,考慮到效率,采用通道融合的方式對特征圖進(jìn)行連接。在細(xì)節(jié)分支中,由于保持特征圖分辨率維持在原始圖像的1/8,采用一個(gè)步長為2和兩個(gè)步長為1的通道遞減卷積模塊。該模塊的輸出連接所有特征圖,并采用通道數(shù)遞減的方式保留了可縮放的細(xì)節(jié)和多尺度信息。

2.4 融合模塊

在特征表示的層面上,上述雙分支的特征并不相同。因此不能簡單對雙分支的輸出特征進(jìn)行加權(quán)。由空間分支捕獲的空間信息編碼了絕大多數(shù)的豐富細(xì)節(jié)信息,而語義分支的輸出特征主要編碼語義信息。換言之,空間分支的輸出特征是低層級的,語義分支的輸出是高層級的。因此,設(shè)計(jì)了一個(gè)獨(dú)特的特征融合模塊,如上文圖2所示,它首先將雙分支輸出特征在通道維度上級聯(lián),采用全局平均池化產(chǎn)生通道相關(guān)的統(tǒng)計(jì)信息,然后使用1維卷積生成通道特征表達(dá),最后通過Sigmoid激活函數(shù)計(jì)算權(quán)重向量,該權(quán)重向量可以對特征重新加權(quán),相當(dāng)于特征選擇和組合,能夠?qū)㈦p分支的輸出特征進(jìn)行較好融合。

3 實(shí)驗(yàn)與結(jié)果分析

所提方法在兩個(gè)公開數(shù)據(jù)集Cityscapes、CamVid上同當(dāng)前其他算法進(jìn)行了對比,并對所提出STM及CDCM在Cityscapes數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),進(jìn)一步擴(kuò)展到電纜隧道的應(yīng)用場景中。

3.1 實(shí)驗(yàn)平臺及數(shù)據(jù)集

實(shí)驗(yàn)平臺操作系統(tǒng)為Windows 10,顯卡是Nvidia GeForce GTX 3060,12 G顯存,CUDA版本為11.1,內(nèi)存32 GB,CPU為英特爾酷睿i7-11700 2.5 GHz,網(wǎng)絡(luò)結(jié)構(gòu)基于Pytorch平臺實(shí)現(xiàn)。

Cityscapes是關(guān)注城市街道場景解析的知名數(shù)據(jù)集之一[26]。它包含2975個(gè)用于訓(xùn)練的精細(xì)注釋圖像、500個(gè)用于驗(yàn)證的圖像和1525個(gè)用于測試的圖像。在訓(xùn)練過程中,所提算法不使用額外的20000個(gè)粗糙標(biāo)記的圖像。其中共有19個(gè)類可用于語義分割任務(wù)。由于圖像的分辨率為1024×2048,因此對語義分割任務(wù)具有一定的挑戰(zhàn)性。

CamVid是一個(gè)由劍橋大學(xué)采集并標(biāo)注的道路場景數(shù)據(jù)集[27],它是從駕駛汽車的角度拍攝的。該數(shù)據(jù)集包含從視頻序列提取的701幅帶注釋的圖像,其中367幅用于訓(xùn)練,101幅用于驗(yàn)證,233個(gè)用于測試。圖像分辨率為960×720,有32個(gè)語義類別,其中11個(gè)類別的子類用于進(jìn)行語義分割。

3.2 網(wǎng)絡(luò)參數(shù)

表2 網(wǎng)絡(luò)參數(shù)

3.3 評估指標(biāo)

本文使用語義分割任務(wù)中常用評估指標(biāo)mIoU(mean intersection over union),即所有類別交集和并集之比的平均值,其計(jì)算過程如公式:

(3)

式中,k表示像素的類別數(shù);pii表示實(shí)際類別為i類,且實(shí)際預(yù)測類別為i的像素?cái)?shù)目,同理,pjj表示實(shí)際類別為j類,且實(shí)際預(yù)測類別為j的像素?cái)?shù)目;而pji表示實(shí)際類別為i類,而實(shí)際預(yù)測類別為j的像素?cái)?shù)目。ti表示i類像素的總數(shù)。

3.4 實(shí)驗(yàn)對比分析

將所提算法與其他方法進(jìn)行對比,在Cityscapes數(shù)據(jù)集分割效果對比如表3所示。與BiSeNet相比,所提算法在Cityscapes數(shù)據(jù)集上的mIoU值提高了8.8 %,證明所提算法采用特征提取主干替代BiSeNet雙分支網(wǎng)絡(luò)架構(gòu)對分割精度的影響較小,并且模型提取圖像語義及細(xì)節(jié)信息的能力更強(qiáng)。相比于FCN[5]和Dilation10[10]等非實(shí)時(shí)分割算法,分割精度分別提升11.9 %、10.1 %,FPS幀數(shù)分別提升20.2倍、160.6倍。

表3 Cityscapes分割效果對比

在Cityscapes數(shù)據(jù)集的分割結(jié)果如圖5所示,其中第一、四行代表原始圖像與分割標(biāo)簽,第二、三行分別代表BiSeNet和Dual-Former分割結(jié)果,由圖5(a)可以看出,相比于BiSeNet對一些邊緣細(xì)節(jié)分割的不連貫性,所提算法對于物體邊界細(xì)節(jié)分割更為精確,證明Dual-Former提取細(xì)節(jié)信息能力更強(qiáng);從圖5(b)中得出,相比于BiSeNet會(huì)產(chǎn)生誤分類的現(xiàn)象,比如:樹林中混入卡車,引擎蓋中混入道路等,所提算法通過STM提取多尺度的上下文信息,增強(qiáng)了像素之間的依賴,較好解決誤分類的問題,證明Dual-Former提取上下文信息能力更強(qiáng);從圖5(c)中發(fā)現(xiàn),相比于BiSeNet對遠(yuǎn)距離及小尺度物體分割誤分類及邊界粗糙的問題,所提算法展現(xiàn)對其優(yōu)良的邊界細(xì)節(jié)分割以及精準(zhǔn)分類能力,這在電纜隧道機(jī)器人環(huán)境感知任務(wù)中至關(guān)重要。在分辨率為512×1024圖像測試時(shí)FPS幀數(shù)達(dá)到40.4,同時(shí)分割精度提高8.8 %,完全滿足機(jī)器人實(shí)時(shí)分割的需求,證明Dual-Former更適應(yīng)于電纜隧道機(jī)器人環(huán)境感知任務(wù)。

圖5 Dual-Former與BiSeNet分割結(jié)果

CamVid[27]數(shù)據(jù)集分辨率較小,但訓(xùn)練圖像數(shù)量相比于Cityscapes數(shù)據(jù)集銳減,因此考驗(yàn)?zāi)Ｐ驮谟邢迶?shù)據(jù)情況下精準(zhǔn)分割的能力。所提方法在CamVid數(shù)據(jù)集上同其他方法的分割精度如表4所示。

表4 CamVid分割效果對比

所提算法在CamVid數(shù)據(jù)集上達(dá)到了76.8 %的mIoU值,相比BiSeNet提高了8.1 %,證明Dual-Former面對較小數(shù)據(jù)集仍能保持較好的分割精度,模型魯棒性較強(qiáng)。相比于SegNet[7]和Deeplab[10]等非實(shí)時(shí)分割算法,分割精度分別提升21.2 %、15.2 %,FPS幀數(shù)分別提升13.3倍、12.5倍。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證用于提取細(xì)節(jié)語義信息的CDCM和STM的有效性,將所提方法在Cityscapes數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表5所示。

表5 消融實(shí)驗(yàn)結(jié)果

由于本文所提算法是在BiSeNet網(wǎng)絡(luò)基礎(chǔ)上,針對其提取語義和細(xì)節(jié)信息能力進(jìn)行改進(jìn)。因此針對細(xì)節(jié)和語義分支中的CDCM和STM以及FFM分別設(shè)計(jì)消融實(shí)驗(yàn),從表5實(shí)驗(yàn)結(jié)果可以得出,所提出的CDCM在增加少量計(jì)算量情況下,減少特征圖的下采樣操作,保留特征圖的空間細(xì)節(jié)信息,并將卷積后的特征圖通道數(shù)進(jìn)行逐步衰減,并使用它們的聚合作為圖像的特征表示,減少特征圖的冗余信息。增強(qiáng)細(xì)節(jié)信息的提取,能夠?qū)ξ矬w邊界產(chǎn)生精準(zhǔn)的分割,提升模型mIoU值2.3 %。而STM得益于Transformer強(qiáng)大的提取圖像全局信息的能力,其相比于卷積神經(jīng)網(wǎng)絡(luò)具有更大的感受野,能夠更好學(xué)習(xí)像素之間的相關(guān)性。利用注意力的方式來捕獲全局的上下文信息從而對遠(yuǎn)距離的像素建立相關(guān)性,從而為網(wǎng)絡(luò)獲取更豐富的上下文語義信息,能夠較好解決分割類別混淆的問題,提升模型mIoU值4.2 %。FFM利用可忽略的參數(shù)量和較少的計(jì)算量融合雙分支的輸出特征,通過通道注意力機(jī)制對特征進(jìn)行選擇和組合,以較小的開銷進(jìn)一步提升模型分割效果,模型mIoU值提升2.3 %。根據(jù)消融實(shí)驗(yàn)可以得出,本文提出的CDCM和STM具有較好改善網(wǎng)絡(luò)提取細(xì)節(jié)和語義信息的能力。

3.6 電纜隧道機(jī)器人環(huán)境感知

由于語義分割數(shù)據(jù)集標(biāo)注困難,工作耗時(shí),因此首先使用Cityscapes數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,再將少量隧道內(nèi)采集并完成標(biāo)注的圖像在模型上進(jìn)行遷移學(xué)習(xí)。其中,隧道分割數(shù)據(jù)集將訓(xùn)練集與測試集劃分為8∶2,以獲得更好的分割效果。

由圖6可知,所提出的分割網(wǎng)絡(luò)可以有效地遷移至電纜隧道場景中,相對于標(biāo)準(zhǔn)數(shù)據(jù)集,電纜隧道數(shù)據(jù)集目標(biāo)類別種類較少,但背景卻更多、更復(fù)雜,因此在物體邊界分割精度有一定下降,但能夠保障機(jī)器人實(shí)際應(yīng)用的效率。

圖6 電纜隧道分割結(jié)果

為方便變電站巡檢機(jī)器人實(shí)際應(yīng)用,采用固定位姿的攝像頭獲取變電站道路圖像。對于機(jī)器人前方目標(biāo)的判斷,則通過對固定攝像頭位姿下圖像進(jìn)行語義分割,根據(jù)分割結(jié)果獲取圖像中固定區(qū)域各類別像素個(gè)數(shù),并選擇像素最多的類作為前方目標(biāo)。對于巡檢機(jī)器人偏離道路情況采用對比分割圖像中左右固定面積區(qū)域的道路像素個(gè)數(shù)來判斷。

從圖6(a)中可以看出,所提算法對電纜隧道內(nèi)可行走道路進(jìn)行良好分割,并精準(zhǔn)分割兩旁電纜及工作人員的邊界;從圖6(b)中可以看出,所提算法對隧道內(nèi)工作人員的分割較為精細(xì);從圖6(c)中可以看出,所提算法對隧道內(nèi)電纜的分割較為精細(xì);從而提升機(jī)器人整體環(huán)境感知能力及避障能力。

4 結(jié) 論

電纜隧道巡檢機(jī)器人能夠有效提高工作人員的安全系數(shù)并減少人員的勞動(dòng)強(qiáng)度,緩解電力部門目前存在的結(jié)構(gòu)性人員缺失狀況,為提升電纜隧道場景機(jī)器人環(huán)境感知能力,提出新型語義分割網(wǎng)絡(luò)架構(gòu)Dual-Former,圖像首先經(jīng)過統(tǒng)一主干網(wǎng)絡(luò)進(jìn)行下采樣并減少特征的損失。最終通過FFM融合STM和CDCM的語義和細(xì)節(jié)信息,突出低級特征細(xì)節(jié)信息和高級全局信息,提高分割效果,并在Cityscapes數(shù)據(jù)集上達(dá)到77.2 %的mIoU以及40.4的FPS,進(jìn)一步應(yīng)用在電纜隧道機(jī)器人中,保證實(shí)時(shí)分割的前提下,擁有較好的分割精度。提高智能化電網(wǎng)的運(yùn)營能力,為電力部門做出貢獻(xiàn)。