結(jié)合上下文編碼與特征融合的SAR圖像分割

范藝華，董張玉,3*，楊學(xué)志

1. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，合肥 230031； 2. 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，合肥 230031；3. 智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室，合肥 230031； 4. 合肥工業(yè)大學(xué)軟件學(xué)院，合肥 230031

0 引 言

合成孔徑雷達(dá)(synthetic aperture radar，SAR)具有全天時(shí)、全天候的特點(diǎn)，在對(duì)地觀測(cè)、土地利用和災(zāi)害監(jiān)測(cè)等領(lǐng)域具有獨(dú)特優(yōu)勢(shì)(Moreira等，2013)。因此，SAR圖像解譯越來越受到重視，包括圖像分類、圖像分割和目標(biāo)檢測(cè)等。而SAR圖像分割是后續(xù)解譯任務(wù)的重要步驟，目的是為每個(gè)像素點(diǎn)分配語義標(biāo)簽(Ma等，2011)。圖像特征的提取是圖像分割的關(guān)鍵。最初使用基于閾值、邊緣檢測(cè)的算法進(jìn)行圖像分割，但這些方法大多只獲得了圖像的灰度特征。之后，提出了許多基于圖像紋理分析的方法，包括灰度共生矩陣(gray-level co-occurrence matrix，GLCM)、Gabor小波、樹結(jié)構(gòu)小波和差直方圖等(Soh和Tsatsoulis，1999)。此外，相繼提出了一些基于圖模型的算法，以學(xué)習(xí)相鄰像素之間的空間上下文信息。如馬爾科夫隨機(jī)場(chǎng)(Markov random filed，MRF)(Song等，2017)和條件隨機(jī)場(chǎng)(conditional random fields，CRF)(Wang等，2017)。上述這些傳統(tǒng)方法采用人工特征提取的方法獲得圖像特征，而SAR圖像由于斑點(diǎn)噪聲等因素干擾，常常難以獲取滿足魯棒性與判別性的特征。

近年來，深度學(xué)習(xí)成為計(jì)算機(jī)視覺的焦點(diǎn)，在圖像分割領(lǐng)域得到了廣泛應(yīng)用。其中，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)因具有強(qiáng)大的特征提取能力受到廣泛關(guān)注。Zhou等人(2016)研究了深度CNN在極化SAR圖像監(jiān)督分類中的適用性及潛力。Zhang等人(2017)提出了可利用極化SAR圖像中相位信息的網(wǎng)絡(luò)。但CNN只接受固定的輸入尺寸，且一次只能預(yù)測(cè)每個(gè)區(qū)域的單類標(biāo)簽，即基于像素塊的分類。Long等人(2015)認(rèn)為全連接層可看做是一種內(nèi)核為整個(gè)輸入?yún)^(qū)域大小的特殊卷積，提出全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)，將全連接層替換為卷積層，可以接受任意尺寸的圖像作為輸入且完成了像素級(jí)的預(yù)測(cè)。

全卷積神經(jīng)網(wǎng)絡(luò)提出的編解碼結(jié)構(gòu)是很多分割算法的基本結(jié)構(gòu)?；诖讼嗬^提出了SegNet(Badrinarayanan等，2017)和U-Net(Ronneberger等，2015)，它們都是端到端的網(wǎng)絡(luò)架構(gòu)，但是捕獲上下文信息的能力不足，限制了分割精度。為了獲取更加豐富的上下文信息，Yu和Koltun(2016)使用空洞卷積進(jìn)行多尺度聚合，融合多尺度的上下文信息。Zhao等人(2017)提出金字塔場(chǎng)景解析網(wǎng)絡(luò)(pyramid scene parsing network，PSPNet)，使用金字塔池化操作整合上下文。然而，這些算法僅考慮從少數(shù)周圍像素收集的局部空間上下文信息，缺少全局空間上下文信息。Hu等人(2018)認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)的核心構(gòu)建模塊是卷積核，通?？醋鍪窃诰植扛惺芤吧?，將空間上的信息和通道上的信息進(jìn)行聚合的信息聚合體，因此除了空間信息，通道信息同樣不可忽視。然而，神經(jīng)網(wǎng)絡(luò)前期的低層特征富含空間信息而缺乏語義信息，而后期的高級(jí)特征富含語義信息而缺乏空間信息，但二者相互隔離難以充分利用(Zhang等，2019)?，F(xiàn)有的編解碼網(wǎng)絡(luò)解決方法多為簡(jiǎn)單地將低層特征與高層特征逐像素相加或連接起來，但這樣的方式收效甚微。

針對(duì)以上SAR圖像分割的問題，本文提出一種改進(jìn)的全卷積分割網(wǎng)絡(luò)。該網(wǎng)絡(luò)在編碼階段提取圖像的局部上下文、通道上下文和全局上下文信息，并使用新的特征融合方式，提高低層特征的語義表示，且不丟失其空間細(xì)節(jié)，極大提升了高層和低層特征融合的有效性。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

整體網(wǎng)絡(luò)遵循編解碼結(jié)構(gòu)，即U型結(jié)構(gòu)，受空洞卷積、殘差網(wǎng)絡(luò)(He等，2016)和注意力機(jī)制的啟發(fā)，網(wǎng)絡(luò)由上下文編碼模塊與特征融合模塊組成，如圖1所示。輸入為SAR圖像，輸出為同尺寸的分類圖。在編碼階段，堆疊了4個(gè)上下文編碼模塊獲取圖像特征，如多尺度特征、局部上下文信息、通道信息、空間特征和語義信息等。之后，將高層特征與低層特征分別連接特征融合模塊的兩個(gè)輸入端，獲得全局上下文信息，并將高層特征中的語義信息嵌入低層特征中，使得低層特征在不損失空間特征的情況下富含語義信息。最后，將增強(qiáng)的低層特征連接入解碼階段，使解碼器更高效且準(zhǔn)確。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of the overall network

1.2 上下文編碼模塊

SAR圖像中的斑點(diǎn)噪聲阻礙空間上下文特征的提取。另外，卷積核作為CNN的核心，使網(wǎng)絡(luò)能夠通過在每一層的局部感受野內(nèi)融合空間和通道信息來構(gòu)造特征。但現(xiàn)有算法在提高空間信息編碼能力的同時(shí)，忽略了通道上下文關(guān)系。針對(duì)這些問題，本文提出上下文編碼模塊，以增強(qiáng)提取特征中上下文信息的聚合。該模塊具體設(shè)計(jì)如圖2所示。

圖2 上下文編碼模塊示意圖Fig.2 Detail structure of context encoder module

上下文編碼模塊由1個(gè)殘差連接、1個(gè)標(biāo)準(zhǔn)卷積、2個(gè)不同空洞率的空洞卷積和通道注意力機(jī)制組成。殘差的核心思想是連接卷積層的輸入和輸出，以避免出現(xiàn)網(wǎng)絡(luò)退化問題。具體定義為

ya=h(xa)+F(xa,Wa)
xa+1=f(ya)

(1)

式中，xa與xa+1是第a個(gè)單元的輸入與輸出，x0為輸入圖像。Wa為第a層的濾波器參數(shù)，F(xiàn)(·)是殘差函數(shù)，h(xa)=xa是恒等映射。f(ya)為激活函數(shù)，例如ReLU，可實(shí)現(xiàn)單側(cè)抑制，防止梯度爆炸，定義為

(2)

式中，x為輸入神經(jīng)元。

為了獲取局部特征，首先使用一個(gè)卷積核大小為3×3的標(biāo)準(zhǔn)卷積，后接批量歸一化和激活函數(shù)ReLU，以防止出現(xiàn)過擬合。同時(shí)，要挖掘周圍的上下文信息，需要進(jìn)一步擴(kuò)大感受野，為此，連續(xù)使用空洞率分別為2和3的空洞卷積。圖3是標(biāo)準(zhǔn)卷積與空洞卷積的比較圖。圖3(b)是一個(gè)空洞卷積示例，它可以保持與標(biāo)準(zhǔn)卷積一致的分辨率，并在不增加額外參數(shù)的情況下擴(kuò)大感受野。其感受野具體計(jì)算為

k′=k+(k-1)×(d-1)

(3)

式中，k為空洞卷積的卷積核大小，d是空洞率，k′是其等效卷積核大小，i為層數(shù)，st表示步長(zhǎng)，RFi+1表示當(dāng)前層的感受野，RFi表示上一層的感受野。從式(3)可以看出，不同的空洞率會(huì)獲取不同大小的感受野，即得到了多尺度信息。

圖3 標(biāo)準(zhǔn)卷積與空洞卷積比較圖Fig.3 Comparison of standard convolution and dilated convolution ((a) 3×3 standard convolution; (b) 3×3 dilated convolution (rate = 2))

為獲得通道上下文信息，本文采用通道注意力機(jī)制來建模通道之間的依賴關(guān)系。具體地說，通過獲取每個(gè)特征通道的重要程度，并依據(jù)這個(gè)重要程度增強(qiáng)有用的特征，抑制對(duì)當(dāng)前任務(wù)用處不大的特征(翟鵬博 等，2020)。

首先，將最后一個(gè)空洞卷積得到的特征圖u經(jīng)過全局平均池化(global average pooling，GAP)(Lin等，2014)處理，其中u∈RW×H×C。全局平均池化后的結(jié)果zc具體計(jì)算為

(4)

式中，W與H分別為特征圖的寬和高，uc(i,j)表示第c維通道的像素點(diǎn)，z∈R1×1×C。

為了減少計(jì)算量，全局平均池化操作獲取的特征通過全連接(fully connected，F(xiàn)C)層以縮小維度至原來的1/16。之后由另一個(gè)全連接層擴(kuò)展到原始維度。計(jì)算過程為

s=σ(W2δ(W1z))

(5)

式中，σ與δ分別為sigmoid和ReLU，W1是降維層參數(shù)，W2是升維層參數(shù)。

最后，將特征圖u與s相乘，即實(shí)現(xiàn)了對(duì)通道的加權(quán)。

1.3 特征融合模塊

神經(jīng)網(wǎng)絡(luò)中，低級(jí)特征與高級(jí)特征在空間分布和物理意義上都存在差異(Ding等，2019)，所富含的信息類型也不同。為了更好地利用這些特征，提出了一個(gè)新的特征融合方式，在不犧牲低層特征空間細(xì)節(jié)信息的前提下，彌合了高層特征和低層特征間的差距。該模塊設(shè)計(jì)如圖4所示。

圖4 特征融合模塊示意圖Fig.4 Detail structure of feature fusion module

首先，使用全局平均池化將每幅特征圖壓縮為一個(gè)實(shí)數(shù)，這個(gè)實(shí)數(shù)在某種程度上具有全局的感受野。由式(4)可知，輸出的維度與輸入特征圖的維度一致，它表示在特征通道上響應(yīng)的全局分布，即完成了對(duì)高層特征全局上下文信息的提取。接著，通過1×1的卷積以修改維度，達(dá)到與低級(jí)特征一致。假設(shè)高層特征為uh∈RWh×Hh×Ch，經(jīng)全局平均池化后是Ug∈R1×1×Ch，低層特征為Ul∈RWl×Hl×Cl，然后使用1×1的卷積將Ug的維度修改為Cl，即U′g∈R1×1×Cl。同時(shí)，對(duì)低層特征進(jìn)行3×3的卷積保持其空間特征。然后，將其與U′g相乘，完成向低層特征嵌入全局上下文信息，豐富了低層特征的語義信息。最后，將增強(qiáng)的低層特征送入解碼網(wǎng)絡(luò)，提高解碼器準(zhǔn)確率。

1.4 解碼網(wǎng)絡(luò)

特征解碼網(wǎng)絡(luò)用于恢復(fù)高級(jí)語義特征，生成與輸入數(shù)據(jù)尺寸相同的密集標(biāo)簽圖。網(wǎng)絡(luò)選擇雙線性插值法進(jìn)行上采樣操作，以恢復(fù)特征的分辨率。與編碼網(wǎng)絡(luò)的下采樣數(shù)量一致，進(jìn)行了3次上采樣操作，在后兩次上采樣之前，將經(jīng)過特征融合模塊的增強(qiáng)的特征圖與前端解碼過的特征圖級(jí)聯(lián)起來。通過引入上述的跳過連接，補(bǔ)救連續(xù)下采樣操作造成的空間信息丟失和上采樣過程中的語義信息丟失。上采樣之后，使用3個(gè)卷積核為3×3的卷積依次將特征圖的維度減少至原來的1/4，以提高計(jì)算效率。每個(gè)卷積層后連接批量歸一化和非線性激活函數(shù)ReLU。整個(gè)分割網(wǎng)絡(luò)每個(gè)模塊的輸出大小與維度如表1所示。

表1 網(wǎng)絡(luò)的輸出參數(shù)Table 1 Output parameters of the network

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境如下：CUDA版本為8.0，CUDNN版本為6.0.21，處理器是Intel(R) Xeon(R) CPU E5- 2620 v4 @ 2.10 GHz，顯卡是Quadro M2000。采用的框架為Keras2.0.8，以Tensorflow1.4為后端。優(yōu)化函數(shù)采用隨機(jī)梯度下降算法(stochastic gradient descent，SGD)，設(shè)置初始學(xué)習(xí)率為0.01，動(dòng)量為0.9，訓(xùn)練進(jìn)行100個(gè)回合。

2.1 實(shí)驗(yàn)設(shè)置

為避免單一地物對(duì)實(shí)驗(yàn)結(jié)果的影響，實(shí)驗(yàn)采用兩幅包含了植被、水體以及不同類型建筑物等豐富場(chǎng)景信息的真實(shí)SAR圖像進(jìn)行驗(yàn)證，分別是RS2-Flevoland(Radarsat-2 Flevoland)和RS2-SF-Bay(Radarsat-2 San-Francisco-Bay)(許開煒 等，2019)，分辨率均為12 m×8 m(距離向×方位向)。圖像RS2-Flevoland的尺寸是1 000×1 400像素，包括5類地物，分別為森林、農(nóng)作物1、農(nóng)作物2、城市和水體。原始圖像與標(biāo)簽圖如圖5(a)(b)所示。數(shù)據(jù)集制作過程如下：首先使用滑動(dòng)窗口在整幅圖上切割128×128像素的子圖像，滑動(dòng)窗口步長(zhǎng)為50。然后在子圖像中為每類地物選取5幅圖像，其中4幅作為訓(xùn)練數(shù)據(jù)，1幅作為驗(yàn)證數(shù)據(jù)。接著使用數(shù)據(jù)增強(qiáng)對(duì)圖像進(jìn)行擴(kuò)充，例如旋轉(zhuǎn)、對(duì)稱和加噪等。圖像RS2-SF-Bay的尺寸為1 010×1 160像素，同樣包括5類地物，分別為水體、植被、建筑物1、建筑物2和建筑物3。原始圖與標(biāo)簽圖如圖6(a)(b)所示。數(shù)據(jù)集制作與圖像RS2-Flevoland一致。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

使用總體精度(overall accuracy，OA)、平均精度(average accuracy，AA)和Kappa系數(shù)作為評(píng)價(jià)指標(biāo)。

OA表示預(yù)測(cè)正確的像素個(gè)數(shù)占總像素個(gè)數(shù)的比例，具體計(jì)算為

(6)

式中，K和N分別表示地物類別數(shù)與總像素個(gè)數(shù)。pii表示混淆矩陣中坐標(biāo)(i,i)處的元素。

AA的計(jì)算包括兩步。首先計(jì)算每類預(yù)測(cè)正確的與真實(shí)情況下屬于該類像素之間的比值，之后再取每一類的精度的平均值。具體計(jì)算為

(7)

Kappa系數(shù)具體計(jì)算為

(8)

式中，p0=fOA，pe具體計(jì)算為

(9)

2.3 特征可視化與分析

為解釋所提網(wǎng)絡(luò)的內(nèi)部機(jī)制，本文將特征圖可視化?？紤]到清晰度與簡(jiǎn)單性，選擇一幅128×128像素的圖像塊作為輸入，如圖5(a)如示。本節(jié)分別展示CEM與FFM的可視化結(jié)果。

2.3.1 CEM編碼可視化

為展示編碼網(wǎng)絡(luò)提取圖像特征的過程，選取每個(gè)CEM輸出特征圖中的某一維度并縮放至同一尺寸，以便于查看，如圖5(b)—(e)所示。從圖5(b)—(e)可以看出，淺層編碼器專注于提取詳細(xì)的結(jié)構(gòu)信息，隨著網(wǎng)絡(luò)的加深，編碼器越來越關(guān)注于更抽象的語義輪廓特征。圖5(a)中的斑點(diǎn)噪聲造成圖5(b)中存在許多獨(dú)立的小區(qū)域，同一地物類別之間非勻質(zhì)，如紅框內(nèi)所示，其亮度與黑框內(nèi)地物極為相似，像素級(jí)分類時(shí)易錯(cuò)分其類別。經(jīng)過后續(xù)的編碼，獲取紅色區(qū)域周圍更廣泛的信息以及不同類別間的相互作用，即上下文信息，從而提供更高的置信度來引導(dǎo)中心像素的分類。如圖5(e)中紅框內(nèi)所示，該區(qū)域更加同質(zhì)化。充分表明了上下文信息的重要性以及CEM捕獲上下文信息的能力。

圖5 編碼網(wǎng)絡(luò)的可視化結(jié)果Fig.5 Visualization of the coding network ((a) input patch; (b) CEM_1; (c) CEM_2; (d) CEM_3; (e) CEM_4)

2.3.2 FFM融合可視化

傳統(tǒng)應(yīng)用于編解碼網(wǎng)絡(luò)的融合方式是將編碼與解碼階段尺寸一致的特征圖逐像素相加或級(jí)聯(lián)。為提高融合效果，F(xiàn)FM先增強(qiáng)編碼階段的低層特征，再進(jìn)行級(jí)聯(lián)。圖6(a)—(c)分別為逐像素相加、低層特征以及增強(qiáng)的低層特征中某一維度的特征效果圖。逐像素相加會(huì)導(dǎo)致錯(cuò)誤像素點(diǎn)增多，如圖6(a)紅圈內(nèi)所示。級(jí)聯(lián)使參與上采樣的特征圖維度增加，有助于將上下文信息傳播至更高分辨率的層。對(duì)比圖6(b)(c)，后者比前者類間區(qū)別度更高、類內(nèi)相似度更高，是增強(qiáng)的低層特征中全局上下文信息引導(dǎo)的結(jié)果。

圖6 特征融合對(duì)比圖Fig.6 Comparison of different feature fusion algorithms ((a) element-wise add; (b) ordinary concatenation; (c) FFM)

2.4 分割結(jié)果與分析

為了證明所提算法的有效性，對(duì)CEM與CEM-FFM分別進(jìn)行實(shí)驗(yàn)，并與幾種相關(guān)方法進(jìn)行比較，分別為SegNet、U-Net、PSPNet、FCN-DK3(Mullissa等，2018)和CAEN(context-aware encoder network)(Liang等，2020)。

2.4.1 RS2-Flevoland的實(shí)驗(yàn)結(jié)果

表2列出了對(duì)比方法和所提方法的各類別的準(zhǔn)確度、OA、AA和Kappa系數(shù)?？梢钥闯觯珻AEN在對(duì)比方法中效果最優(yōu)。在不加入FFM的情況下，所提網(wǎng)絡(luò)在OA和Kappa系數(shù)上都得到了比CAEN高約1%的準(zhǔn)確度，但在AA指標(biāo)上，弱了約0.6%。加入FFM之后，3個(gè)評(píng)價(jià)指標(biāo)皆達(dá)到最優(yōu)結(jié)果，均比CAEN結(jié)果提高了3%以上，獲得了最佳的分割性能。從類別來看，CEM-FFM在農(nóng)作物2這一類別上提升效果最為顯著，相較FCN-DK3和CAEN高出10%以上。所有算法對(duì)水體的分割準(zhǔn)確率都在99%左右，這得益于水體與其他類別的類間差距最大，根本原因在于SAR特殊的成像方式，水體的后向散射系數(shù)相對(duì)較低，因此在圖像上表現(xiàn)為黑色，更容易區(qū)別于其他類別。

表2 不同方法在RS2-Flevoland圖像上的分割性能Table 2 Segmentation performance of different methods on RS2-Flevoland image

圖7顯示了各類方法的分割效果圖?？梢灾庇^地看出，SegNet和U-Net對(duì)農(nóng)作物2的區(qū)域分割較為粗糙，PSPNet、FCN-DK3和CEM有所改善，但精確度仍有所不足，而CEM-FFM的分割性能達(dá)到最優(yōu)。并且，在5類地物中，CEM-FFM相較于其他方法，分割圖在區(qū)域內(nèi)更加平滑。可以看出，改進(jìn)的方法的分割圖與標(biāo)簽圖最為相似，有效減少了錯(cuò)誤分類的像素?cái)?shù)量。

圖7 不同方法在RS2-Flevoland圖像上的分割圖Fig.7 Segmentation maps of different methods on RS2-Flevoland image((a) original image; (b) ground truth; (c) SegNet; (d) U-Net; (e) PSPNet; (f) FCN-DK3; (g) CAEN; (h) CEM; (i) CEM + FFM)

2.4.2 RS2-SF-Bay的實(shí)驗(yàn)結(jié)果

不同方法在RS2-SF-Bay圖像上的分割性能如表3所示。CAEN在對(duì)比方法中效果仍是最優(yōu)。在不加入FFM的情況下，CEM在OA、AA和Kappa系數(shù)這3個(gè)指標(biāo)方面均高出CAEN約1%。加入FFM后，這3項(xiàng)數(shù)據(jù)又比CEM提升約3%。另外，在水體這一類別上，CEM的表現(xiàn)比SegNet、U-Net和PSPNet略遜一籌，CEM-FFM超過SegNet和U-Net，但低于U-Net。

分割效果圖如圖8所示。其中，建筑物3的類內(nèi)相似度較低，易出現(xiàn)分類結(jié)果不一且有斑駁，如圖8(c)所示。由圖8(c)—(i)可知，隨著算法對(duì)特征提取能力的增強(qiáng)，建筑物3這一類別的分類結(jié)果越來越同質(zhì)化。另外，SegNet、U-Net、PSPNet和FCN-DK3模型的分割結(jié)果中存在許多錯(cuò)誤分類的像素，尤其是建筑物2區(qū)域內(nèi)，大量像素錯(cuò)誤分類為建筑物1和建筑物3，而所提網(wǎng)絡(luò)極大改善了這種情況。

3 結(jié) 論

本文設(shè)計(jì)了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割網(wǎng)絡(luò)，提出了上下文編碼模塊和特征融合模塊，并將兩個(gè)模塊并入編解碼結(jié)構(gòu)。具體結(jié)論如下：1)上下文編碼模塊具有強(qiáng)大的特征提取能力。該模塊從空間與通道兩個(gè)維度上提取上下文特征，實(shí)驗(yàn)表明，CEM取得了顯著改進(jìn)的分割結(jié)果。2)特征融合模塊進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)的特征表征能力。低層與高層特征的融合使得已提取的特征最大限度地被網(wǎng)絡(luò)使用，且CEM-FFM達(dá)到了最優(yōu)分割效果。

圖8 不同方法在RS2-SF-Bay圖像上的分割圖Fig.8 Segmentation maps of different methods on RS2-SF-Bay image((a) original image; (b) ground truth; (c) SegNet; (d) U-Net; (e) PSPNet; (f) FCN-DK3; (g) CAEN; (h) CEM; (i) CEM + FFM)

然而，特征的編碼和融合仍有改進(jìn)的空間，且本文方法是基于像素級(jí)的分割，如何將像素級(jí)與區(qū)域級(jí)結(jié)合融入網(wǎng)絡(luò)結(jié)構(gòu)是接下來的研究重點(diǎn)。