基于改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的遙感影像語(yǔ)義分割

陳天華，鄭司群，林宇驍

(北京工商大學(xué)人工智能學(xué)院，北京 100048)

1 引言

遙感技術(shù)是利用遙感器探測(cè)物體反射和輻射電磁波，并對(duì)其特性進(jìn)行分析的一種新興技術(shù)[1]。現(xiàn)如今隨著數(shù)據(jù)存儲(chǔ)和傳輸技術(shù)的不斷進(jìn)步，遙感信息處理的方法越來(lái)越科學(xué)，遙感的應(yīng)用方面越來(lái)越寬，已經(jīng)滲透到國(guó)民經(jīng)濟(jì)的很多部門。我國(guó)目前的衛(wèi)星遙感數(shù)據(jù)已覆蓋了超過(guò)80%的國(guó)土面積[2]。通過(guò)獲取遙感數(shù)據(jù)、分析和處理，應(yīng)用到城市規(guī)劃、資源調(diào)查、導(dǎo)航、測(cè)繪、農(nóng)業(yè)監(jiān)測(cè)和交通等諸多領(lǐng)域[3]，這些技術(shù)為人們的生產(chǎn)生活帶來(lái)了巨大的便利。

目前，世界上超過(guò)50%的人口聚居在城市[4]，全球涌現(xiàn)出越來(lái)越多的超級(jí)城市。在現(xiàn)代城市基礎(chǔ)設(shè)施建設(shè)、城市規(guī)劃、大型裝備檢測(cè)、城市空間變化分析等區(qū)域范圍廣、耗時(shí)長(zhǎng)、需要的人力物力資源多的大型工程中，衛(wèi)星遙感技術(shù)擁有獨(dú)特的優(yōu)勢(shì)。通過(guò)遙感影像信息分析能夠在較短的時(shí)間內(nèi)獲得大量有用信息，并可以動(dòng)態(tài)監(jiān)測(cè)、持續(xù)檢測(cè)和連續(xù)數(shù)據(jù)更新，很好的解決了人工實(shí)地調(diào)查難以避免的低效率、高成本等問(wèn)題[5]。目前，無(wú)論軍工或民用，建筑物已經(jīng)成為國(guó)民經(jīng)濟(jì)和軍事領(lǐng)域的重要目標(biāo)，因此，建筑物的特征提取和識(shí)別已成為航天遙感對(duì)城市信息獲取的一個(gè)重要環(huán)節(jié)。

對(duì)于建筑物等目標(biāo)的識(shí)別，至關(guān)重要的一個(gè)環(huán)節(jié)就是圖像分割。只有對(duì)圖像進(jìn)行正確分割之后，才可以做出正確的識(shí)別。在過(guò)去幾十年中，已有大量的專家學(xué)者對(duì)圖像分割的研究做出巨大貢獻(xiàn)。閾值分割、邊緣分割等傳統(tǒng)算法取得了較好的效果[6]。

近幾年一直處于高熱度的深度學(xué)習(xí)在圖像分類、目標(biāo)檢測(cè)、圖像分割和機(jī)器視覺(jué)等領(lǐng)域不斷取得突破、越來(lái)越有優(yōu)勢(shì)。相比于傳統(tǒng)方法，深度學(xué)習(xí)的主要優(yōu)勢(shì)在于能夠兼具精度和速度，一些分類算法在精確度上甚至已經(jīng)超過(guò)了人類的辨識(shí)能力。不僅如此，深度學(xué)習(xí)的語(yǔ)義分割能夠提供傳統(tǒng)分割算法所不具備的語(yǔ)義信息，而且，遙感圖像不同于日常生活中的普通圖像，其海量數(shù)據(jù)是研究中的難題。因此，將深度學(xué)習(xí)方法應(yīng)用于遙感圖像的處理是一種技術(shù)發(fā)展的必然趨勢(shì)。本文以遙感影像中的建筑物作為研究對(duì)象，采用改進(jìn)的高性能深度學(xué)習(xí)方法，對(duì)遙感數(shù)據(jù)進(jìn)行圖像分割，并通過(guò)實(shí)驗(yàn)驗(yàn)證了所提方法具有可行性。

2 深度神經(jīng)網(wǎng)絡(luò)分析

2012年，Krizhevsky等人創(chuàng)造了AlexNet網(wǎng)絡(luò)[8]，改進(jìn)了LeNet-5網(wǎng)絡(luò)[7]的缺點(diǎn)，提出了dropout方法降低了LeNet-5網(wǎng)絡(luò)容易出現(xiàn)的過(guò)擬合現(xiàn)象。隨后，牛津大學(xué)Simonyan等對(duì)AlexNet網(wǎng)絡(luò)深度對(duì)性能的影響進(jìn)行了研究，提出了對(duì)圖像領(lǐng)域貢獻(xiàn)巨大的VGG網(wǎng)絡(luò)[9]。谷歌團(tuán)隊(duì)Szegedy等人提出GoogLeNet網(wǎng)絡(luò)，并通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，增加網(wǎng)絡(luò)寬度，降低了網(wǎng)絡(luò)復(fù)雜度[10]。GoogLeNet網(wǎng)絡(luò)的核心結(jié)構(gòu)被稱為Inception結(jié)構(gòu)，其突出點(diǎn)是減少了訓(xùn)練的參數(shù)總數(shù)，進(jìn)一步降低了網(wǎng)絡(luò)模型的復(fù)雜程度。

2014年提出的全卷積網(wǎng)絡(luò)(FCN)是CNN網(wǎng)絡(luò)模型一種提升和結(jié)構(gòu)改造，形成端到端，像素到像素的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[11]。FCN的重要特點(diǎn)是所有結(jié)構(gòu)都是卷積層，即去除了原有卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中的全連接層，并使用反卷積層將經(jīng)過(guò)多次卷積池化處理后分辨率減小的特征圖進(jìn)行上采樣，得到與輸入圖像相同尺寸的特征圖，對(duì)輸入樣本的尺寸不再有任何限制。

2015年提出的SegNet網(wǎng)絡(luò)是由編碼器和解碼器構(gòu)成的深層分割網(wǎng)絡(luò)[12]。前半部分網(wǎng)絡(luò)結(jié)構(gòu)由卷積層和池化層組成，稱為編碼器；后半部分由卷積層和上采樣層組成解碼器。該網(wǎng)絡(luò)編碼器的作用主要是提取特征圖像，解碼器的主要功能是將特征圖像返回到輸入圖像的原始尺寸，以此方式實(shí)現(xiàn)端到端的網(wǎng)絡(luò)結(jié)構(gòu)。全卷積網(wǎng)絡(luò)主要是由以下幾部分構(gòu)成的。

2.1 卷積層

卷積網(wǎng)絡(luò)中，圖像通過(guò)卷積層來(lái)提取特征，每一個(gè)不同的卷積核能提取到的特征都不同。經(jīng)過(guò)大數(shù)量的圖像的處理，即學(xué)習(xí)過(guò)程，網(wǎng)絡(luò)逐漸學(xué)會(huì)選擇特定類型的特征，卷積核的數(shù)量越多，卷積提取到的特征就越多。通過(guò)一層一層的學(xué)習(xí)特征、提取特征，后接分類器分類后，以達(dá)到網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類的目標(biāo)。卷積的過(guò)程可表示為

(1)

假設(shè)輸入大小為：

W1*H1*D1

(2)

需要確定的超參數(shù)有：卷積核個(gè)數(shù)K，卷積核大小F，步長(zhǎng)S和邊界填充P；則可以確定輸出的大小為

(3)

(4)

D2=K

(5)

2.2 池化層

池化層將前一層的特征圖作為輸入，對(duì)特征圖進(jìn)行采樣，使得網(wǎng)絡(luò)的復(fù)雜度降低，減小特征圖的尺寸，簡(jiǎn)化卷積網(wǎng)絡(luò)的計(jì)算量，其過(guò)程可表示為

(6)

2.3 激活函數(shù)層

在卷積神經(jīng)網(wǎng)絡(luò)中，需要解決非線性的分類問(wèn)題，因此需要引入非線性函數(shù)作為激活函數(shù)。常見(jiàn)的激活函數(shù)有：tanh函數(shù)，f(x)=tanh(x)；Sigmoid函數(shù)，f(x)=(1+e-x)-1以及ReLU函數(shù)，f(x)=max(0，x)等。

2.4 反卷積層

也稱上采樣層，通過(guò)前面卷積、池化的步驟獲取特征后，由于池化層的作用，使得特征圖像尺寸小于原有的輸入圖像尺寸數(shù)倍。因此需要使用反卷積層將分辨率降低、尺寸變小的特征圖像恢復(fù)到原有的輸入圖像尺寸。如此便得到了與輸入圖像尺寸相同的分割圖像。

3 方法與網(wǎng)絡(luò)

本研究采用了一種性能優(yōu)越、成熟U-net網(wǎng)絡(luò)模型作為主體，并對(duì)其進(jìn)行了改進(jìn)，作為實(shí)驗(yàn)中進(jìn)行訓(xùn)練和測(cè)試的網(wǎng)絡(luò)模型。下面首先簡(jiǎn)要介紹U-net模型基本原理，再探討對(duì)于U-net模型的改進(jìn)方法。

3.1 U-net網(wǎng)絡(luò)

圖像的語(yǔ)義分割就是對(duì)圖像中的每一個(gè)像素進(jìn)行分類，全卷積網(wǎng)絡(luò)的出現(xiàn)推廣了原有的DCNN結(jié)構(gòu)。隨后出現(xiàn)的幾種改良的語(yǔ)義分割網(wǎng)絡(luò)SegNet、U-net等都延續(xù)了FCN所采取的去除全連接層的做法以實(shí)現(xiàn)任意尺寸的輸入圖像的分割任務(wù)。其中，本文選用了表現(xiàn)優(yōu)秀的U-net網(wǎng)絡(luò)模型[13]，該網(wǎng)絡(luò)最初用以細(xì)胞為目標(biāo)，基于少量數(shù)據(jù)的進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的模型結(jié)構(gòu)，在隨后的發(fā)展中，發(fā)現(xiàn)其對(duì)于其它目標(biāo)也能形成很好的分割效果。U-net的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-net網(wǎng)絡(luò)結(jié)構(gòu)

U-net分為下采樣(左側(cè))和上采樣(右側(cè))兩個(gè)部分，將其連接在一起，形成一個(gè)“U”字型的網(wǎng)絡(luò)結(jié)構(gòu)模型，故稱為“U-net”。左側(cè)的下采樣部分又卷積層Conv和池化層Pool組成，每一級(jí)的卷積核數(shù)量是上一級(jí)的二倍，以此來(lái)增加網(wǎng)絡(luò)對(duì)于特征提取的能力和效果。右側(cè)的上采樣部分疊加了左側(cè)下采樣部分相對(duì)應(yīng)尺寸的特征圖，以保證深度網(wǎng)絡(luò)在后面這一部分的分辨率的質(zhì)量，即特征圖像的精細(xì)程度。

表1中，Input為輸入層，Conv為卷積層，卷積核尺寸均為3×3。從第一層開(kāi)始，卷積核數(shù)量分別為64、128、256、512、1024個(gè)。從第六層開(kāi)始再逐漸由512、256、128至第九層64個(gè)卷積核。Pool為池化層，選用2×2最大池化Max Pooling，Upsampling為上采樣層，Merge為疊加層。

表1 U-net網(wǎng)絡(luò)結(jié)構(gòu)表

3.2 改進(jìn)的U-net模型

研究中對(duì)U-net進(jìn)行了改進(jìn)，以實(shí)現(xiàn)更高的分割精度和更快的訓(xùn)練速度。根據(jù)遙感影像數(shù)據(jù)特點(diǎn)，主要改進(jìn)包括：

1)提升上采樣特征圖的精細(xì)度

在上采樣階段，經(jīng)過(guò)卷積核的層層學(xué)習(xí)，細(xì)節(jié)信息轉(zhuǎn)化為抽象信息，而在此時(shí)需要增加一定的細(xì)節(jié)信息來(lái)保證特征圖的分辨率。

2)減少網(wǎng)絡(luò)計(jì)算負(fù)擔(dān)

深度神經(jīng)網(wǎng)絡(luò)靠前幾層結(jié)構(gòu)主要提取基本的幾何和輪廓信息，靠后層主要提取的信息為抽象意義的特征。遙感影像主要是區(qū)分輪廓為主要任務(wù)，并不需要提取過(guò)多抽象意義的信息，因而，并不需要靠后卷積層中過(guò)多的卷積核數(shù)量。因此可減少下采樣部分靠后層的卷積核數(shù)量，以減輕網(wǎng)絡(luò)計(jì)算負(fù)擔(dān)，提升網(wǎng)絡(luò)效率。

3)克服過(guò)擬合

過(guò)擬合和精度被稱為深度學(xué)習(xí)兩大難點(diǎn)。由于遙感影像可用的訓(xùn)練數(shù)據(jù)量較少，而深度學(xué)習(xí)本身需要建立在大量數(shù)據(jù)訓(xùn)練的基礎(chǔ)上。數(shù)據(jù)量不足的情況下容易產(chǎn)生過(guò)擬合問(wèn)題。

首先，針對(duì)網(wǎng)絡(luò)結(jié)構(gòu)，減少中間部分的卷積核數(shù)量，將所有卷積層的卷積核數(shù)量都定為64個(gè)。針對(duì)遙感影像中的目標(biāo)，不需要中間部分大量的卷積核來(lái)提取抽象的特征，因此64個(gè)卷積核能夠完成對(duì)于目標(biāo)輪廓信息的提取。簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)后，參數(shù)數(shù)量明顯減少，降低了網(wǎng)絡(luò)運(yùn)算壓力，可在相同硬件條件下增加訓(xùn)練中的Batch Size，有利于提升網(wǎng)絡(luò)訓(xùn)練精度。

其次，為了有效抑制過(guò)擬合問(wèn)題，在網(wǎng)絡(luò)中加入BN層，將神經(jīng)元中非線性函數(shù)的輸入值歸一化，使其處在對(duì)輸入值敏感區(qū)域，可有效地提升收斂速度，防止梯度消失，抑制過(guò)擬合，提升訓(xùn)練的穩(wěn)定性，可以減少甚至省去此前對(duì)于過(guò)擬合問(wèn)題大量使用的Dropout層[14]。

此外，針對(duì)深度神經(jīng)網(wǎng)絡(luò)提取特征的過(guò)程中，由于上采樣插值的原因造成細(xì)節(jié)模糊，通過(guò)引入前一半下采樣中的細(xì)節(jié)信息來(lái)彌補(bǔ)這個(gè)缺點(diǎn)。將Input層疊加到原有的Merge9層，即改進(jìn)后的Merge9的輸入由Input、Conv1＿2和Upsampling9組成；將Pool1的結(jié)果特征圖疊加到原有Merge8層，即改進(jìn)后的Merge8的輸入由Pool1、Conv2＿2和Upsampling8組成。并以同樣的方法將Pool2和Pool3分別疊加到Merge6和Merge7中。改進(jìn)后的U-net深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)U-net網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)驗(yàn)分析

硬件配置上，本文采用GPU進(jìn)行深度網(wǎng)絡(luò)訓(xùn)練，其高效的運(yùn)算速度與能力使深度學(xué)習(xí)在時(shí)間成本和效率考量中成為了當(dāng)前最炙手可熱的人工智能技術(shù)之一。

先采用VOC2012數(shù)據(jù)集對(duì)U-net網(wǎng)絡(luò)和改進(jìn)的U-net網(wǎng)絡(luò)進(jìn)行測(cè)試，可以得到改進(jìn)的U-net網(wǎng)絡(luò)在相同的硬件條件與訓(xùn)練參數(shù)下比原始的U-net網(wǎng)絡(luò)速度有所提升，訓(xùn)練時(shí)間由19個(gè)小時(shí)縮短至約17.5個(gè)小時(shí)；測(cè)試1449張圖片的時(shí)間由原來(lái)的25分鐘縮短2分鐘，U-net網(wǎng)絡(luò)測(cè)試精度為79.8，改進(jìn)的U-net網(wǎng)絡(luò)的測(cè)試精度為80.4，精度相近。

實(shí)驗(yàn)運(yùn)行環(huán)境為Ubuntu系統(tǒng)16.04版本，采用開(kāi)源深度學(xué)習(xí)框架Keras，使用TensorFlow后端，硬件環(huán)境為Dell7910工作站，搭配NVIDIA GeForce GTX 1080Ti GPU。

改進(jìn)的U-net網(wǎng)絡(luò)先使用前端CNN網(wǎng)絡(luò)部分對(duì)ImageNet的ILSVRC2012數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。ImageNet數(shù)據(jù)集規(guī)模達(dá)128萬(wàn)幅256×256的訓(xùn)練圖像，包含1000個(gè)分類，使用ImageNet數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)可增加網(wǎng)絡(luò)的泛化能力，避免過(guò)擬合。之后，去掉全連接層，改為全卷積網(wǎng)絡(luò)對(duì)MS COCO數(shù)據(jù)集進(jìn)行分割網(wǎng)絡(luò)的微調(diào)。再將預(yù)訓(xùn)練好的網(wǎng)絡(luò)用于目標(biāo)數(shù)據(jù)集，INRIA Aerial Image Dataset進(jìn)行訓(xùn)練和測(cè)試。該數(shù)據(jù)庫(kù)采集了多個(gè)城市的遙感影像，覆蓋面積810平方公里，其中訓(xùn)練集、測(cè)試集各占405平方公里?？臻g分辨率0.3米，RGB三通道圖像。對(duì)于建筑物進(jìn)行二分類，即類別包含建筑和非建筑。其中測(cè)試集中包含了五個(gè)城市遙感圖像數(shù)據(jù)，分別是Bellingham、Bloomington、Innsbruck、San Francisco和Tyrol，共180張圖像。

改進(jìn)網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置，batch size設(shè)為64，初始學(xué)習(xí)率設(shè)為0.001，若連續(xù)5個(gè)epoch沒(méi)有提升學(xué)習(xí)效果，將學(xué)習(xí)率調(diào)低至原來(lái)的0.1倍，10個(gè)epoch后學(xué)習(xí)率恢復(fù)；若連續(xù)20個(gè)epoch沒(méi)有提升學(xué)習(xí)效果，則終止訓(xùn)練。其中，監(jiān)控指標(biāo)為val＿loss。初定最大學(xué)習(xí)epoch為100。

改進(jìn)的U-net網(wǎng)絡(luò)分割2500×1700像素圖像的時(shí)間約2.63秒，比原U-net縮短8%以上。IoU(Intersection over Union)作為測(cè)量算法準(zhǔn)確度的一個(gè)標(biāo)準(zhǔn)，它體現(xiàn)了測(cè)量值與真實(shí)值之間的重疊程度，重疊比越高，IoU值越大。另一個(gè)測(cè)試標(biāo)準(zhǔn)為Kappa系數(shù)。Kappa系數(shù)是衡量分類精度的一種指標(biāo)。它是通過(guò)把所有地表真實(shí)分類中的像元總數(shù)乘以混淆矩陣對(duì)角線的和，再減去某一類地表真實(shí)像元總數(shù)與該類中被分類像元總數(shù)之積對(duì)所有類別求和的結(jié)果，再除以總像元數(shù)的平方減去某一類地表真實(shí)像元總數(shù)與該類中被分類像元總數(shù)之積對(duì)所有類別求和的結(jié)果所得到的[15]。實(shí)驗(yàn)數(shù)值如表2所示。

表2 U-net和本文改進(jìn)的U-net網(wǎng)絡(luò)在INRIA Aerial Image Dataset的訓(xùn)練結(jié)果

可以看到，改進(jìn)的U-net網(wǎng)絡(luò)在對(duì)遙感圖像中的建筑物分割效果優(yōu)于原U-net網(wǎng)絡(luò)。改進(jìn)網(wǎng)絡(luò)和原網(wǎng)絡(luò)的分割效果的對(duì)比示例如圖3所示。

圖3 改進(jìn)網(wǎng)絡(luò)和原網(wǎng)絡(luò)的分割效果對(duì)比圖

使用改進(jìn)U-net預(yù)測(cè)一張256×256像素圖像的速度測(cè)試成績(jī)優(yōu)于原U-net的測(cè)試速度，具體信息如表3所示。

表3 U-net和改進(jìn)U-net在INRIA Aerial Image Dataset的測(cè)試速度對(duì)比

U-net網(wǎng)絡(luò)和改進(jìn)U-net網(wǎng)絡(luò)的學(xué)習(xí)曲線如圖4所示。從圖中可分析出結(jié)果：改進(jìn)的U-net比原U-net網(wǎng)絡(luò)有效的抑制了過(guò)擬合問(wèn)題。

圖4 U-net(左)和改進(jìn)U-net(右)的學(xué)習(xí)曲線網(wǎng)絡(luò)

通過(guò)實(shí)驗(yàn)結(jié)果可看出，在將網(wǎng)絡(luò)中卷積層的卷積核數(shù)量全都定為64、在相應(yīng)位置增加了BN層、將網(wǎng)絡(luò)靠前位置的特征圖結(jié)合到上采樣部分之后，經(jīng)過(guò)改進(jìn)的U-net網(wǎng)絡(luò)相比于原始的U-net網(wǎng)絡(luò)在訓(xùn)練速度上有8%的提升，精度也有明顯的提高，從結(jié)果圖像中可看出，預(yù)測(cè)結(jié)果的細(xì)節(jié)有明顯的優(yōu)化。證明了改進(jìn)的網(wǎng)絡(luò)對(duì)于遙感影像的分割問(wèn)題具有可行性，因此可以得出結(jié)論：本文改進(jìn)的U-net網(wǎng)絡(luò)性能優(yōu)于原始的U-net網(wǎng)絡(luò)模型，在實(shí)踐中具有一定優(yōu)勢(shì)。

5 總結(jié)與展望

通過(guò)對(duì)U-net網(wǎng)絡(luò)進(jìn)行適當(dāng)改進(jìn)，使用ImageNet數(shù)據(jù)集和MS COCO數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，再對(duì)遙感影像數(shù)據(jù)集INRIA Aerial Image Dataset進(jìn)行圖像分割訓(xùn)練。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，改進(jìn)U-net網(wǎng)絡(luò)模型比原型U-net網(wǎng)絡(luò)在訓(xùn)練速度和測(cè)試精度的具有明顯的優(yōu)勢(shì)，訓(xùn)練過(guò)程中可更快的收斂，可有效抑制過(guò)擬合，在預(yù)測(cè)結(jié)果中體現(xiàn)了更多的細(xì)節(jié)信息，證明該方法適用于遙感圖像的語(yǔ)義分割，研究結(jié)果也表明，若圖像邊界信息較少，在對(duì)目標(biāo)進(jìn)行分割時(shí)，邊緣部分存在一定誤差，部分邊界區(qū)域的分割可能存在接縫，需通過(guò)邊緣連接方法進(jìn)行改進(jìn)。此外，由于多光譜和高光譜遙感圖像具有高維數(shù)據(jù)，能夠得到大量RGB遙感圖像所獲取不到的光譜信息，但是又存在著數(shù)據(jù)冗余和信號(hào)混疊問(wèn)題，由此，深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)，同樣可以應(yīng)用于處理多光譜和高光譜的遙感數(shù)據(jù)，而不局限于RGB遙感圖像。