語(yǔ)義分割網(wǎng)絡(luò)重建單視圖遙感影像數(shù)字表面模型

盧俊言 賈宏光* 高 放 李文濤 陸 晴

①(中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 長(zhǎng)春 130033)

②(中國(guó)科學(xué)院大學(xué) 北京 100049)

③(長(zhǎng)光衛(wèi)星技術(shù)有限公司 長(zhǎng)春 130102)

1 引言

遙感影像的數(shù)字表面模型(Digital Surface Model,DSM) 是在數(shù)字高程模型(Digital Elevation Model,DEM)的基礎(chǔ)上，進(jìn)一步包含了地面上的建筑、道路橋梁，以及樹(shù)木植被等地物高度的模型，在許多基于遙感場(chǎng)景的問(wèn)題研究中有重要應(yīng)用，例如城市遙感影像的語(yǔ)義標(biāo)注[1]、變化檢測(cè)等[2,3]。

當(dāng)前，DSM的獲取主要是通過(guò)機(jī)載激光雷達(dá)的激光探測(cè)與測(cè)量(Light Detection And Ranging,LiDAR)數(shù)據(jù)，因此主要存在兩個(gè)獲取難點(diǎn)：第一，昂貴的時(shí)間、設(shè)備和人力成本；第二，由于發(fā)展、變遷等導(dǎo)致的歷史影像數(shù)據(jù)的DSM無(wú)法獲得。此外，當(dāng)前技術(shù)多通過(guò)立體攝影測(cè)量方法(例如空中三角測(cè)量等)，基于多視圖(multi-view)影像建立DSM，而僅通過(guò)單視圖(single-view)影像建立DSM鮮有成熟的方法論，主要原因是該問(wèn)題屬于不適定問(wèn)題(ill-posed problem)[4]。

近年來(lái)隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其在圖像處理領(lǐng)域中很多不適定問(wèn)題的求解上表現(xiàn)出了卓越的效果，例如圖像修復(fù)[5]，圖像超分辨率重建等[6,7]。本文研究的DSM重建問(wèn)題本質(zhì)上是遙感影像的高度預(yù)測(cè)(height prediction)，與其相似的一類問(wèn)題是圖像的深度估計(jì)(depth estimation)，二者的對(duì)比如圖1所示。圖1中(a)和(b)分別表示常規(guī)圖像與其深度標(biāo)簽(來(lái)自NYU Depth V2數(shù)據(jù)集)，(c)和(d)分別表示遙感影像與其DSM數(shù)據(jù)。

在基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)的單視圖影像深度估計(jì)和高度預(yù)測(cè)方法上，國(guó)內(nèi)外學(xué)者進(jìn)行了一些相關(guān)研究。例如，EigeN等人[8]采用了兩個(gè)CNN組合實(shí)現(xiàn)了單視圖影像的深度估計(jì)，其中一個(gè)CNN用于全局深度結(jié)構(gòu)的回歸分析，另一個(gè)CNN用于圖像分辨率的提升；EigeN等人[9]在后續(xù)研究中，又提出了結(jié)合語(yǔ)義標(biāo)注和表面法向量的多尺度CNN結(jié)構(gòu)，在深度估計(jì)的細(xì)粒度上達(dá)到了更好的效果；Liu等人[10]將CNN與條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)算法進(jìn)行結(jié)合，在超像素分割的基礎(chǔ)上采用CNN學(xué)習(xí)并提取圖像特征，實(shí)現(xiàn)了單視圖影像的深度估計(jì)；Srivastava等人[11]提出了一種將語(yǔ)義分割誤差和高度預(yù)測(cè)誤差進(jìn)行線性結(jié)合的損失函數(shù)用于CNN模型訓(xùn)練，實(shí)現(xiàn)了單視圖影像的高度預(yù)測(cè)。

然而上述方法對(duì)于本文的研究對(duì)象而言適用性較差或存在一定的缺陷。首先，文獻(xiàn)[8,10]當(dāng)中采用的是深度估計(jì)的方法，其研究對(duì)象是室內(nèi)或室外的常規(guī)影像，而本文的研究對(duì)象是遙感影像，二者存在很大的差異，一方面遙感影像大多為正射影像，其目標(biāo)的上下文信息非常有限，以至于表面法向量和條件隨機(jī)場(chǎng)等方法不再適用；另一方面遙感影像的覆蓋范圍廣、分辨率相對(duì)較低、地物復(fù)雜程度很高，因此結(jié)構(gòu)較為簡(jiǎn)單的CNN難以有效提取到遙感影像中復(fù)雜的語(yǔ)義信息。其次，文獻(xiàn)[11]采用的高度預(yù)測(cè)方法依賴于遙感影像的語(yǔ)義標(biāo)注，然而人工語(yǔ)義標(biāo)注的成本極高，因此該方法的實(shí)現(xiàn)和大規(guī)模應(yīng)用較為困難，而相比之下無(wú)人機(jī)LiDAR數(shù)據(jù)的獲取更加經(jīng)濟(jì)和便捷。

圖1 深度估計(jì)與高度預(yù)測(cè)

綜上所述，本文旨在實(shí)現(xiàn)一種僅依靠LiDAR數(shù)據(jù)，基于深度學(xué)習(xí)的語(yǔ)義分割技術(shù)重建單視圖遙感影像DSM的方法，并實(shí)現(xiàn)端到端的輸出。

2 基本原理

2.1 任務(wù)描述

本文旨在實(shí)現(xiàn)針對(duì)單視圖遙感影像的DSM重建，即像素級(jí)的高度值預(yù)測(cè)。假設(shè) ( x,y)分別代表遙感影像與其對(duì)應(yīng)的DSM數(shù)據(jù)，并假設(shè)其聯(lián)合概率分布為p (x,y)，本文的任務(wù)可描述為建立一個(gè)映射f :x →y，使得如式(1)的目標(biāo)函數(shù)最小化

式中， f (x)表示遙感影像經(jīng)過(guò)映射得到的DSM預(yù)測(cè)數(shù)據(jù)； y表示遙感影像的DSM真實(shí)數(shù)據(jù)；l (·)表示損失函數(shù)，即評(píng)估預(yù)測(cè)值f (x) 與 真值y 差距的函數(shù)；Ex,y表 示在聯(lián)合概率分布p (x,y)下的數(shù)學(xué)期望。

像素級(jí)高度預(yù)測(cè)任務(wù)可以借鑒像素級(jí)圖像分類任務(wù)(語(yǔ)義分割任務(wù))的基本思路，區(qū)別在于后者是一個(gè)分類問(wèn)題，而前者是一個(gè)回歸問(wèn)題。假設(shè)映射f可以通過(guò)一個(gè)語(yǔ)義分割模型實(shí)現(xiàn)，模型的參數(shù)為Θ，當(dāng)給定了遙感影像與其DSM數(shù)據(jù)的樣本集{xi,yi}， 可以通過(guò)學(xué)習(xí)優(yōu)化獲得一組最優(yōu)參數(shù)Θ ?，使得式(1)的目標(biāo)函數(shù)最小化，即

2.2 多尺度殘差融合編碼-解碼的語(yǔ)義分割網(wǎng)絡(luò)

一些關(guān)于CNN原理以及特征圖(feature map)可視化的研究表明[12,13]，CNN模型的淺層網(wǎng)絡(luò)用于提取圖像局部的、低級(jí)的細(xì)節(jié)特征，例如邊、角、輪廓等；深層網(wǎng)絡(luò)用于提取圖像全局的、高級(jí)的、辨識(shí)度強(qiáng)的語(yǔ)義特征。因此對(duì)于傳統(tǒng)編碼-解碼結(jié)構(gòu)的深度學(xué)習(xí)語(yǔ)義分割模型，例如全卷積網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)[14]而言，淺層特征圖包含更多的圖像細(xì)節(jié)特征(邊緣、紋理等)，但語(yǔ)義信息較弱；深層的特征圖包含了更多的語(yǔ)義信息，但損失了圖像的細(xì)節(jié)特征。此外，編碼的下采樣過(guò)程也丟棄了像素的位置信息，宏觀上像素位置信息又組成了圖像的結(jié)構(gòu)信息。在解碼過(guò)程中雖然將編碼后的特征圖重新上采樣，但上采樣屬于一個(gè)不適定問(wèn)題，因此原始圖像的細(xì)節(jié)特征和結(jié)構(gòu)信息都無(wú)法真正恢復(fù)。楊宏宇等人[15]在一項(xiàng)利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行氣象雷達(dá)噪聲圖像語(yǔ)義分割的研究成果中，采用了一種將圖像高維全局語(yǔ)義信息與局部細(xì)節(jié)特征融合的方法來(lái)提高分割精度，為上采樣的細(xì)節(jié)損失問(wèn)題提供了一種解決思路。

綜上并基于任務(wù)描述，本文提出了一種多尺度殘差融合編碼-解碼(Multi-scale Residual Fusion Encode-Decode, MRFED)的語(yǔ)義分割網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在編碼部分，遙感影像輸入MRFED后經(jīng)過(guò)一系列編碼塊(encode block)逐步提取圖像特征，得到高維度的特征圖(特征圖#5)，其中包含了圖像的全局語(yǔ)義信息，語(yǔ)義信息中又包含了高度信息，特征圖#5的分辨率較低；在解碼部分，特征圖#5經(jīng)過(guò)一系列解碼塊(decode block)逐步恢復(fù)至原圖尺寸，通過(guò)回歸運(yùn)算最終實(shí)現(xiàn)像素級(jí)的高度預(yù)測(cè)，得到DSM預(yù)測(cè)數(shù)據(jù)。為了解決輸入圖像細(xì)節(jié)特征和結(jié)構(gòu)信息丟失的問(wèn)題，MRFED采用了一種跳躍級(jí)聯(lián)(skip connections)的策略，將編碼過(guò)程中的淺層特征圖直接復(fù)制拼接(copy & concatenate)到解碼過(guò)程中相同分辨率的深層特征圖上，繼而進(jìn)行后續(xù)傳播。一方面，該策略使輸出結(jié)果保留了原始圖像的細(xì)節(jié)特征和結(jié)構(gòu)信息；另一方面，使用該策略后的網(wǎng)絡(luò)模型參數(shù)量?jī)H增加了約0.7‰(原參數(shù)量約為1.2e+08，增加了約8.4e+04)，增加的運(yùn)算代價(jià)微乎其微。

舒曼是學(xué)面案的。他認(rèn)為這種專業(yè)可以一輩子餓不著。舒曼和那個(gè)一蹶不振的藝術(shù)家在一起生活的時(shí)候就經(jīng)常挨餓。于是，舒曼毫不猶豫地選擇了“吃”這個(gè)專業(yè)。就舒曼的藝術(shù)才能而言，他完全可以報(bào)考一家藝術(shù)院校，他的小提琴拉得也不錯(cuò)。但他沒(méi)那么做。

圖2 MRFED網(wǎng)絡(luò)結(jié)構(gòu)示意圖

He等人[16]提出的殘差融合(residual fusion)方法有效解決了卷積神經(jīng)網(wǎng)絡(luò)隨著深度增加而出現(xiàn)的退化問(wèn)題。羅會(huì)蘭等[17]的研究結(jié)果表明，在語(yǔ)義分割方法中使用多尺度提取相互重疊的區(qū)域，能夠得到更加精細(xì)的物體分割邊界，證實(shí)了多尺度的特征融合能夠提高語(yǔ)義分割的精度。因此，基于Res-Net的殘差融合思想，本文提出了一種多尺度殘差融合的編碼塊與解碼塊單元，結(jié)構(gòu)如圖3所示。圖中 Ki表 示 N 個(gè)級(jí)聯(lián)的3 ×3 卷 積核，當(dāng)i =2,3,4時(shí)，對(duì)應(yīng)的 N =1,2,3，級(jí)聯(lián)的卷積核越多，輸出結(jié)果的感受野(receptive field)越大，即對(duì)應(yīng)了原圖像不同尺度的特征提取結(jié)果。編解碼塊將多尺度的特征提取結(jié)果相疊加，再進(jìn)行類似瓶頸塊的殘差融合，具體過(guò)程如下：在編碼塊中，輸入首先經(jīng)過(guò)1 ×1的卷積層改變通道數(shù)(channels)，得到的特征圖按通道數(shù)平均分為4部分，記為 x1～x4; Ki的卷積操作不改變輸入 xi的尺寸和通道數(shù)，對(duì)應(yīng)的輸出為y1～y4,xi與yi的關(guān)系如式(3)所示

將y1～y4進(jìn)行拼接(concatenation)，再經(jīng)過(guò)一個(gè) 1 ×1，步長(zhǎng)為2的卷積層，輸出特征圖的尺寸為輸入的1/2，通道數(shù)為輸入的2倍；最后，將整個(gè)編碼塊的輸入經(jīng)過(guò)同上的卷積層，結(jié)果與前者的輸出按位相加(element-wise addition)，即殘差融合，得到整個(gè)編碼塊的輸出。解碼塊的結(jié)構(gòu)與編碼塊基本一致，唯一的不同是將編碼塊的下采樣操作變?yōu)樯喜蓸?。解碼塊采用了反卷積(deconvolution)[18]進(jìn)行上采樣操作，通過(guò)選擇合適的膨脹率(dilation rate)和補(bǔ)零策略(padding)，即可輸出目標(biāo)尺寸的特征圖。本文設(shè)計(jì)的編解碼塊在ResNet瓶頸塊的基礎(chǔ)上增加了模型復(fù)雜度，但僅增加了很少的參數(shù)量和運(yùn)算量(相比ResNet-50而言，其原本的參數(shù)量約為4.6e+07，本文的編解碼塊增加了約6.0e+05參數(shù)，增量約為1.3%)。上述的編解碼塊具備下采樣和上采樣功能，但除此之外，MRFED中還存在一部分編解碼塊，只對(duì)輸入進(jìn)行特征提取，而不改變輸入的尺寸，此類編解碼塊的結(jié)構(gòu)與上述基本一致，只是用于上下采樣的卷積層改為等尺寸輸出，因此不再單獨(dú)描述。整個(gè)網(wǎng)絡(luò)的特征圖尺寸和通道數(shù)信息如表1所示。

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)樣本生成

本文采用的訓(xùn)練數(shù)據(jù)集來(lái)自IEEE GRSS(Geoscience and Remote Sensing Society)提供的一個(gè)公開(kāi)數(shù)據(jù)集，該數(shù)據(jù)集包含2783張單視圖多期遙感影像，影像尺寸均為 1024×1024, RGB三通道，成像地點(diǎn)是美國(guó)的兩座城市：佛羅里達(dá)州的杰克遜維爾(Jacksonville, Florida)，以及內(nèi)布拉斯加州的奧馬哈(Omaha, Nebraska)；影像數(shù)據(jù)由Digital Globe公司的worldview系列衛(wèi)星拍攝，地面采樣間隔(Ground Sampling Distance, GSD)為0.35 mpp(m per pixel)；影像的DSM數(shù)據(jù)由LiDAR獲取。

MRFED默認(rèn)的輸入尺寸為5 12×512，因此首先將原數(shù)據(jù)集的圖片和DSM進(jìn)行裁剪，然后再進(jìn)行數(shù)據(jù)增量操作。本文采用的數(shù)據(jù)增量方法均為無(wú)損變換，即不增加或者損失圖片的任何信息，主要包括：

(1) 隨機(jī)水平或豎直翻轉(zhuǎn)；

(2) 隨機(jī)旋轉(zhuǎn)90°；

(3) 隨機(jī)x-y坐標(biāo)軸轉(zhuǎn)置。

3.2 損失函數(shù)設(shè)計(jì)、模型初始化方法與超參數(shù)選取

本文的實(shí)驗(yàn)基于Keras深度學(xué)習(xí)框架實(shí)現(xiàn)了算法模型。

(1) 損失函數(shù)設(shè)計(jì)：實(shí)驗(yàn)時(shí)分別采用了平均絕對(duì)誤差(Mean Absolute Error, MAE)和均方根誤差(Root Mean Squared Error, RMSE)作為損失函數(shù)，二者的公式如式(4)和式(5)所示

圖3 編碼塊與解碼塊結(jié)構(gòu)

表1 MRFED各層的特征圖尺寸和通道數(shù)信息

式中， yi表示真值，y ?i表示預(yù)測(cè)值；實(shí)驗(yàn)結(jié)果表明采用MAE作為損失函數(shù)的效果略好，訓(xùn)練迭代相同次數(shù)的情況下，模型的測(cè)試精度高于RMSE約2.4%。

(3) 超參數(shù)(hyper parameters)選?。簩?shí)驗(yàn)采用Adam算法[20]作為梯度下降的優(yōu)化算法，其中的超參數(shù)均選用算法推薦的默認(rèn)值，分別為：β1=0.9,β2=0.999, ε =1e-08 , η =0.0001；訓(xùn)練每次迭代的BatchSize設(shè)為1，迭代次數(shù)設(shè)為1e+06(訓(xùn)練過(guò)程中視收斂情況手動(dòng)停止)；本實(shí)驗(yàn)的GPU設(shè)備采用NVIDIA GeForce GTX TITAN X (算力6.1 TFLOPs，顯 存12 GB)，訓(xùn)練時(shí)長(zhǎng)約為60 h。

3.3 實(shí)驗(yàn)結(jié)果

MRFED在測(cè)試集上的DSM重建效果如圖4所示。圖4中(a1)-(a4)分別為測(cè)試集中包含密集建筑物、大面積高植被、承重高架橋和大面積水域的遙感影像；(b1)-(b4)分別為(a1)-(a4)的DSM真值熱力圖；(c1)-(c4)分別為(a1)-(a4)的DSM重建結(jié)果熱力圖；熱力圖中藍(lán)綠色表示高度值較小，橙紅色表示高度值較大。從圖4中可以看出，DSM重建結(jié)果與真值的數(shù)據(jù)范圍基本一致，多種地物類型的高度預(yù)測(cè)結(jié)果都較為準(zhǔn)確，熱力圖的相似性尤其是結(jié)構(gòu)相似性很高。

在數(shù)據(jù)指標(biāo)方面，本文采用測(cè)試集上DSM真值和測(cè)試結(jié)果的MAE, RMSE和SSIM來(lái)評(píng)價(jià)DSM重建效果。其中結(jié)構(gòu)相似性 (Structural SIMilarity,SSIM)是衡量?jī)蓮垐D片結(jié)構(gòu)相似性的指標(biāo)，如式(6)所示

式中， μy和 μy?表 示y 和y ? 的 均值，σy和σy?表 示y 和y ?的標(biāo) 準(zhǔn) 差， σyy?表 示y 和y ? 的 協(xié) 方 差，C1和C2為 常 數(shù)，其中C1=6.5025, C2=58.5225。

本文選取了兩個(gè)經(jīng)典的語(yǔ)義分割模型與MRFED進(jìn)行縱向?qū)Ρ葘?shí)驗(yàn)，分別是FCN和U-net[21]，其中FCN的主干網(wǎng)絡(luò)(backbone)采用VGG16, U-net的主干網(wǎng)絡(luò)采用ResNet-50，針對(duì)本文的任務(wù)對(duì)二者進(jìn)行了如下修改：將二者最后一個(gè)用于分類的激活層去掉(Softmax或Sigmoid)，增加一個(gè)輸出維度為1的全連接層用于回歸運(yùn)算，以輸出高度預(yù)測(cè)值。FCN, U-net與MRFED在測(cè)試集上(共1670個(gè)樣本)的實(shí)驗(yàn)結(jié)果數(shù)據(jù)指標(biāo)如表2所示，三者的MAE, RMSE和SSIM實(shí)驗(yàn)結(jié)果曲線如圖5所示。從測(cè)試結(jié)果可知，MRFED的DSM重建效果明顯優(yōu)于經(jīng)典的語(yǔ)義分割網(wǎng)絡(luò)FCN和U-net；其中FCN采用了沒(méi)有殘差融合結(jié)構(gòu)的VGG16作為主干網(wǎng)絡(luò)，編碼階段提取語(yǔ)義特征的能力較弱，因而結(jié)果較差；U-net采用了具有殘差融合結(jié)構(gòu)的ResNet-50作為主干網(wǎng)絡(luò)，能夠較為有效地提取語(yǔ)義特征，因而結(jié)果得到了明顯提升；MRFED在殘差融合的基礎(chǔ)上又增加了多尺度的設(shè)計(jì)，使得編碼階段得到了更好的語(yǔ)義特征提取效果，同時(shí)表2中關(guān)于跳躍級(jí)聯(lián)的消融實(shí)驗(yàn)(ablation study)結(jié)果，證實(shí)了解碼階段采用該策略能夠有效提高精度，并顯著提高結(jié)果與真值的結(jié)構(gòu)相似性。MRFED在測(cè)試集上最終取得了MAE為2.1e-02, RMSE為3.8e-02, SSIM為92.89%的實(shí)驗(yàn)結(jié)果，實(shí)現(xiàn)了高精度的DSM重建，并且有效保留了原始圖像的細(xì)節(jié)特征和結(jié)構(gòu)信息。

本文還與文獻(xiàn)[11]中所提方法ST loss進(jìn)行了橫向?qū)Ρ葘?shí)驗(yàn)。文獻(xiàn)[11]中的實(shí)驗(yàn)采用了國(guó)際攝影測(cè)量與遙感協(xié)會(huì)(International Society for Photogrammetry and Remote Sensing, ISPRS)提供的一個(gè)公開(kāi)數(shù)據(jù)集Vaihingen，本文將MRFED在該數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試，具體細(xì)節(jié)上：Vaihingen數(shù)據(jù)集中共有16幅影像帶有DSM標(biāo)注，選取其中的12幅為訓(xùn)練集，4幅為測(cè)試集；影像的平均像素尺寸約為2500 × 2000，采用與3.1節(jié)中相同的方法對(duì)影像進(jìn)行裁剪和數(shù)據(jù)增強(qiáng)，最終得到的訓(xùn)練集共包含1260個(gè)5 12×512的RGB與DSM影像對(duì)，測(cè)試集包含420個(gè)RGB與DSM影像對(duì)。MRFED在該數(shù)據(jù)集上訓(xùn)練后取得了優(yōu)于文獻(xiàn)[11]的DSM重建結(jié)果 ，如表3所示。

圖4 MRFE的DSM重建結(jié)果

表2 測(cè)試結(jié)果的數(shù)據(jù)指標(biāo)

4 結(jié)論

圖5 測(cè)試結(jié)果的數(shù)據(jù)指標(biāo)

表3 Vaihingen數(shù)據(jù)集上的DSM重建結(jié)果對(duì)比

在單視圖遙感影像的3維重建技術(shù)還并不成熟的研究現(xiàn)狀下，本文提出了一種新穎的基于深度學(xué)習(xí)技術(shù)的單視圖遙感影像DSM重建方法。本方法設(shè)計(jì)了一種多尺度殘差融合編碼-解碼的語(yǔ)義分割網(wǎng)絡(luò)--MRFED，在編碼階段，通過(guò)多尺度殘差融合的CNN實(shí)現(xiàn)了遙感影像中復(fù)雜語(yǔ)義信息的有效提取，進(jìn)而回歸得到高精度的高度預(yù)測(cè)值；在解碼階段，采用特征圖跳躍級(jí)聯(lián)的策略保留了輸入圖像的細(xì)節(jié)特征和結(jié)構(gòu)信息。本方法的實(shí)現(xiàn)僅依賴于遙感影像及其DSM數(shù)據(jù)，無(wú)需遙感影像的語(yǔ)義標(biāo)簽，因而節(jié)省了昂貴的人工語(yǔ)義標(biāo)注成本；本方法實(shí)現(xiàn)了端到端的輸出，在公開(kāi)數(shù)據(jù)集上進(jìn)行了測(cè)試， DSM重建結(jié)果與真值的MAE為2.1e-02, RMSE為3.8e-02, SSIM為92.89%，實(shí)驗(yàn)證實(shí)本方法能夠有效實(shí)現(xiàn)單視圖遙感影像的DSM重建，具有較高的精度和較強(qiáng)的地物分布結(jié)構(gòu)重建能力。