基于圖像的輸電線路語義分割技術(shù)研究

李健　趙建輝　時(shí)洪剛

【摘? 要】研究輸電線路的語義分割是一個(gè)有重要意義同時(shí)也兼具挑戰(zhàn)性的工作，更好的輸電線路的語義分割方法能為后續(xù)的輸電線路的覆冰檢測、侵入檢測、繪制檢測電線上的電器組件、災(zāi)難監(jiān)測、巡線無人機(jī)導(dǎo)航避障等任務(wù)打下墓礎(chǔ)，提供技術(shù)保障。本文的主要工作是設(shè)計(jì)了一種準(zhǔn)確率更高的輸電線路語義分割方法，為實(shí)際工程的后續(xù)應(yīng)用提供技術(shù)保障。

【關(guān)鍵詞】輸電線路;語義分割技術(shù)

1基于圖像的輸電線路語義分割技術(shù)研究現(xiàn)狀

輸電線路語義分割研究屬于線檢測的技術(shù)領(lǐng)域，線檢測技術(shù)可根據(jù)有無使用深度學(xué)習(xí)技術(shù)大致分為兩大類。一類是墓于較為傳統(tǒng)的數(shù)字圖像處理技術(shù)的線檢測方法，該類方法大致分為邊緣檢測和獲得線方程兩個(gè)步驟，且大多以檢測直線為主。這是目前在電線檢測應(yīng)用中較為主流，研究成果較多的方法。另一類則是基于卷積神經(jīng)網(wǎng)絡(luò)的輸電線路檢測方法。由于近幾年以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)在圖像分類、檢測和分割等領(lǐng)域的應(yīng)用中取得了較大的性能優(yōu)勢，部分學(xué)者也將神經(jīng)網(wǎng)絡(luò)用于輸電線路的語義分割中。所以在本文中也著重調(diào)研了基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，作為本文主要方法的重要支撐和基礎(chǔ)。目前基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法比較新興，研究成果比較少，而通過語義分割的神經(jīng)網(wǎng)絡(luò)用于輸電線路的檢測的方法更少，但是卻有著很大的發(fā)展前景。

2基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法

2.1網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中最為重要的部分之一。在語義分割的領(lǐng)域中，因?yàn)橐玫捷斎雸D中每個(gè)像紊點(diǎn)的類別信息，所以分類卷積神經(jīng)網(wǎng)絡(luò)的最后幾層全連接層需要改為卷積層，形成全卷積網(wǎng)絡(luò)。并且，最后輸出的預(yù)測圖的尺寸應(yīng)該與輸入圖的大小保持一致。但是之前所述的分類網(wǎng)絡(luò)在提取特征的過程中，用到了一些降采樣手段，比如池化層和卷積層中的步進(jìn)參數(shù)，會(huì)導(dǎo)致最后輸出圖尺寸下降，所以在之后要采用上采樣模塊，逐步擴(kuò)大到輸入圖像大小。這些處理得到的最直接的網(wǎng)絡(luò)就是全連接網(wǎng)絡(luò)FCN。在FCN之后語義分割神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)分為兩大類，第一大類是編碼器一解碼器結(jié)構(gòu)，以U-Net和SegNet為代表;第二大類是利用空洞卷積層的結(jié)構(gòu)，以DeepLab系列為代表。下面分別進(jìn)行介紹。編碼器一解碼器結(jié)構(gòu)的網(wǎng)絡(luò)是由一個(gè)逐漸減小特征圖尺寸和獲得更高層語義信息的編碼器和一個(gè)逐漸增大特征圖尺寸和恢復(fù)底層空間信息的解碼器組成。其實(shí)FCN也可以理解為一種簡單的編碼器一解碼器結(jié)構(gòu)的網(wǎng)絡(luò)，與U-Net的區(qū)別在于后者的解碼器設(shè)計(jì)得更為復(fù)雜，并且有了更多的skip結(jié)構(gòu)來連接淺層、局部的特征信息和高層、全局的特征信息，這么做的優(yōu)點(diǎn)在于能提高分割邊緣的精度。以DeepLabv1、DeepLabv2、DeepLabv3這一系列為代表采用空洞卷積層的網(wǎng)絡(luò)結(jié)構(gòu)是另一種常見的語義分割網(wǎng)絡(luò)結(jié)構(gòu)。采用空洞卷積層的網(wǎng)絡(luò)結(jié)構(gòu)可以通過設(shè)置不同的空洞率來控制不同的感受野，從而融合底層特征和高層特征?？斩淳矸e層還可以取代池化層。

（2）skip結(jié)構(gòu)

skip結(jié)構(gòu)的作用是結(jié)合淺層的、局部的特征和深層的、較為全局的特征信息，這在語義分割網(wǎng)絡(luò)中的編碼器和解碼器之間的通信過程中經(jīng)常被使用，因?yàn)檎Z義分割需要判斷每個(gè)像素點(diǎn)的類別，這既取決于像素點(diǎn)自身的像素值，又取決于像素點(diǎn)周圍的特征信息。

2.2上采樣模塊

語義分割網(wǎng)絡(luò)結(jié)構(gòu)中都會(huì)有上采樣模塊，主要的作用是擴(kuò)大特征圖的尺寸。上采樣的具體方法可以分為最近鄰插值、線性插值、雙線性插值、三線性插值等，其中最近鄰插值和雙線性插值是最為常用的兩種方法。例如，其中最近鄰插值是一種最基本、最簡單的圖像縮放算法，效果也是最不好的，放大后的圖像有很嚴(yán)重的馬賽克，縮小后的圖像有很嚴(yán)重的失真。效果不好的根源就是其簡單的近似方法引入了嚴(yán)重的圖像失真。

2.3空洞卷積

語義分割網(wǎng)絡(luò)一般都是全卷積網(wǎng)絡(luò)，即沒有全連接層，所以卷積層是網(wǎng)絡(luò)的重要組成部分。而在DeepLab系列的語義分割方法中都使用了空洞卷積層，使用空洞卷積層的作用是抵消刪減掉池化層帶來的影響，因?yàn)槌鼗瘜拥膭h減，導(dǎo)致了信息匯聚程度的不足夠，即無法從局部信息中匯聚到全局信息，而空洞卷積層的一個(gè)作用就是能夠自由地控制感受野。空洞卷積層還有一個(gè)好處是能夠保持特征圖的尺寸，相比之下，經(jīng)過帶有下采樣的池化層處理后常常導(dǎo)致特征圖的尺寸減半。此外，空洞卷積層的另一個(gè)優(yōu)點(diǎn)是能夠在訓(xùn)練和測試的時(shí)候采用不同的輸出步幅而不會(huì)改變參數(shù)量和計(jì)算量，也不用重新訓(xùn)練。

2.4通道可分離卷積

除了空洞卷積，通道可分離卷積是另一種卷積的變形方式。通道可分離卷積在DeepLabv3+中被應(yīng)用到了語義分割網(wǎng)絡(luò)中，通道可分離卷積的作用是減少了參數(shù)量，降低了計(jì)算復(fù)雜度。通道可分離卷積是由一個(gè)depthwise卷積和一個(gè)pointwise卷積組成的。其中depthwise卷積是分層卷積。普通卷積每一個(gè)卷積核的尺寸是三維立體的，需要與輸入特征圖的每一層都進(jìn)行乘法，最后加在一起作為輸出特征圖的某一層的某一個(gè)像素點(diǎn)的特征值，但是分層卷積的卷積核是平面的，每一個(gè)卷積只需要與對應(yīng)的一層特征圖進(jìn)行卷積操作，輸出的特征圖的通道數(shù)與輸入的特征圖的通道數(shù)一致。為了使各層通道之間可以交流信息，且自由改變輸出特征圖的通道數(shù)，還需要在后面接一個(gè)pointwise卷積，pointwise卷積其實(shí)是一個(gè)1*1的卷積。

2.5條件隨機(jī)場的結(jié)構(gòu)化預(yù)測

不同深度和寬度的卷積神經(jīng)網(wǎng)絡(luò)為輸電線路語義分割任務(wù)提供了強(qiáng)大的統(tǒng)計(jì)模型?；谏疃忍卣鲗W(xué)習(xí)和推斷，通過分類器對像素逐個(gè)進(jìn)行分類，實(shí)現(xiàn)對輸電線路航拍圖像中關(guān)鍵部件類別、位置和形狀的解析。FCN基于輸電線路航拍圖像訓(xùn)練樣本的統(tǒng)計(jì)得到絕緣子、桿塔、線路金具、導(dǎo)/地線預(yù)測和分類結(jié)果。若單獨(dú)利用深度模型得到航拍圖像中關(guān)鍵部件精確的分割結(jié)果，需要深度網(wǎng)絡(luò)提取到足夠好的特征。為了滿足上述要求，需要很強(qiáng)分辨率的輸電線路航拍圖像，但要以足夠的計(jì)算資源和計(jì)算時(shí)間為前提，一般的深度網(wǎng)絡(luò)都會(huì)將分辨率大的圖像進(jìn)行壓縮，以節(jié)約時(shí)間資源和時(shí)間成本。在輸電線路航拍圖像語義分割任務(wù)中，目標(biāo)的邊緣像素及部分困難樣本對深度網(wǎng)絡(luò)是最難以預(yù)測的。概率圖模型在語義分割和邊緣提取的結(jié)構(gòu)化預(yù)測任務(wù)中已經(jīng)有了廣泛的應(yīng)用。與深度網(wǎng)絡(luò)統(tǒng)計(jì)模型不同的是，條件隨機(jī)場（CRF）作為一種概率圖模型，是一種判別式無向圖模型。條件隨機(jī)場對輸電線路中的絕緣子、導(dǎo)線等目標(biāo)的邊緣像素多個(gè)變量信息的條件分布進(jìn)行建模，以像素間的依賴關(guān)系為先驗(yàn)對目標(biāo)的邊緣像素進(jìn)行判別，以增強(qiáng)航拍圖像中對關(guān)鍵部件邊界的定位。另外，深度模型與條件隨機(jī)場結(jié)合，可以從一定程度上避免深度模型由于樣本噪音、參數(shù)過多產(chǎn)生過擬合現(xiàn)象。本文的重點(diǎn)是將深度網(wǎng)絡(luò)模型與概率圖模型的結(jié)構(gòu)化預(yù)測能力相結(jié)合，通過將深度網(wǎng)絡(luò)與CRF兩個(gè)模塊進(jìn)行級聯(lián)，實(shí)現(xiàn)輸電線路關(guān)鍵部件的準(zhǔn)確分割。CRF在圖像處理任務(wù)上經(jīng)常被用來平滑分割圖中的噪聲，通過耦合相近的節(jié)點(diǎn)，對目標(biāo)的邊緣鄰近像素分配相同的像素標(biāo)簽，提升分割效果。在輸電線路航拍圖像的語義分割目標(biāo)任務(wù)中，與平滑目標(biāo)分割結(jié)果不同的是，使用全連接的CRF模型恢復(fù)輸電線路圖像關(guān)鍵部件的局部結(jié)構(gòu)。

3結(jié)束語

目前線檢測方法都是基于傳統(tǒng)的數(shù)字圖像處理技術(shù)，而本文的目的在于結(jié)合時(shí)下效果更好的基于深度學(xué)習(xí)技術(shù)的語義分割卷積神經(jīng)網(wǎng)絡(luò)和較為傳統(tǒng)的數(shù)字圖像處理技術(shù)檢測得到的圖像紋理等特征信息，在電線的語義分割領(lǐng)域中找到一種更優(yōu)解。

參考文獻(xiàn)：

[1]江錦東.基于卷積神經(jīng)網(wǎng)絡(luò)的室內(nèi)RGB-D圖像語義分割方法[D].華南理工大學(xué)，2018.