基于DRN和空洞卷積的圖像語義分割算法改進(jìn)

高建瓴 韓毓璐 孫健 馮嬌嬌

摘? 要： 為了提高圖像語義分割時(shí)的識別和分割能力的問題，本文提出了一種基于DeepLabV3+改進(jìn)的算法。改進(jìn)的算法以DeepLab模型作為主體，結(jié)合了DRN的結(jié)構(gòu)，減少了分割過程中圖像出現(xiàn)網(wǎng)格化的情況。同時(shí)為了能夠檢測到更多邊緣信息，有效提高檢測分割結(jié)果，算法中改進(jìn)了空洞卷積的部分，提高了分割精度，避免遺漏太多圖像信息。通過PASCAL VOC 2012數(shù)據(jù)集開展的語義分割實(shí)驗(yàn)顯示，改進(jìn)的算法有效的提高了在分割時(shí)的精度和準(zhǔn)確率，本文所提出的網(wǎng)絡(luò)對圖像分割有極大的參考價(jià)值。

關(guān)鍵詞： 語義分割;空洞卷積;擴(kuò)張殘余網(wǎng)絡(luò)

中圖分類號： TN391? ? 文獻(xiàn)標(biāo)識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.09.040

本文著錄格式：高建瓴，韓毓璐，孫健，等. 基于DRN和空洞卷積的圖像語義分割算法改進(jìn)[J]. 軟件，2020，41（09）：148152

【Abstract】： In order to improve the problem of recognition and segmentation ability in image semantic segmentation， this paper proposes an improved algorithm based on DeepLabV3+ model. The improved algorithm takes the DeepLab model as the main body and combines the structure of the dilated residual network to reduce the gridding of the image during the segmentation process. At the same time， in order to be able to detect more edge information and effectively improve the detection segmentation results， the dilated convolution part is improved in the algorithm. The segmentation accuracy is improved， and the image avoid missing too much image information. The semantic segmentation experiment carries out through the PASCAL VOC 2012 dataset shows that the improved algorithm effectively improves the accuracy and accuracy of the segmentation. The network proposed in this paper has great reference value for image segmentation.

【Key words】： Semantic segmentation; Dilated convolution; Dilated residual network

0? 引言

隨著當(dāng)今社會人工智能愈發(fā)成熟，人工智能中與計(jì)算機(jī)視覺相關(guān)的應(yīng)用越加廣泛。圖形處理已經(jīng)成為當(dāng)今社會計(jì)算機(jī)視覺等領(lǐng)域的研究重點(diǎn)，其中圖像分割[1]又在圖像處理中具有重要的意義。圖像分割可以看做是像素級的分類，也就是說將圖像中的每一個(gè)像素都?xì)w為同一類別。而圖像語義分割作為一類典型的像素級別的分類任務(wù)，它在場景理解、環(huán)境感知、醫(yī)療圖像處理等具有十分廣泛的應(yīng)用場景。圖像語義分割其主要目標(biāo)是對圖片進(jìn)行逐像素分割，從而將圖片分成若干個(gè)具有相似特征的區(qū)域，用于后續(xù)的圖像分析和語義概念分析任務(wù)。傳統(tǒng)的圖像語義分割[2]模型主要是通過人工添加標(biāo)簽并且人為設(shè)置規(guī)則來進(jìn)行規(guī)范的，但是這樣處理人工工作量太大，難以實(shí)現(xiàn)復(fù)雜問題的處理[3]。因此近些年來不斷有人提出了模型來進(jìn)行語義分割的工作。

隨著技術(shù)逐漸進(jìn)步，基于深度學(xué)研究圖像語義分割成為當(dāng)下熱點(diǎn)[4]。2012年，Krizhevsky等人提出了AlexNet架構(gòu)，使大家看到了深度學(xué)習(xí)解決復(fù)雜計(jì)算機(jī)視覺任務(wù)的可能性。于是卷積神經(jīng)網(wǎng)絡(luò)被不斷應(yīng)用，研究人言提出了多種改進(jìn)方法[5]，其中最著名的包括VGGNet、GoogleNet和ResNet等。2015年，Vijay Badrinarayanan等人提出來SegNet[6]，擁有較少參數(shù)的輕量級網(wǎng)絡(luò)。同年，Lonjong等人提出了全卷積網(wǎng)絡(luò)（FCN），F(xiàn)CN是以VGG16為基礎(chǔ)改進(jìn)而來的，其將后半部分的全連接層改成卷積層，從而支持任意尺寸圖像輸入的分割功能，相比于早期的算法，效果明顯提升。Google[7]團(tuán)隊(duì)在2015年提出了一個(gè)DeepLabV1模型，是由DCNN和CRF模型的結(jié)合，二者結(jié)合極大的提高了效率，精準(zhǔn)度高并且結(jié)構(gòu)簡單。DeepLabV2就是在DeepLabV1模型的基礎(chǔ)上進(jìn)行了改進(jìn)，但是特征分辨率低和空間不變性導(dǎo)致的細(xì)節(jié)信息丟失還是有待改進(jìn)。而在2017年提出的DeepLabV3則改進(jìn)了級聯(lián)的方式，綜合運(yùn)用串行和并行的方式，同時(shí)在ASPP中使用了BN層，實(shí)現(xiàn)對多尺度物體分割。2018年，Google團(tuán)隊(duì)進(jìn)一步改進(jìn)，提出了DeepLabV3+，對原來的模型進(jìn)行改進(jìn)。他將原來的DeepLabV3作為編碼器，同時(shí)加入ResNet101[8]和深度卷積，可以更快的實(shí)現(xiàn)了分割，但是輸出圖的放大效果不夠好，信息太少，有待改進(jìn)。

為了進(jìn)一步的提高圖像分割時(shí)的準(zhǔn)確度，本文為了增強(qiáng)對復(fù)雜圖像的分割處理的精度改進(jìn)了空洞卷積，同時(shí)引進(jìn)了DRN模型，提升了模型的精度，并通過實(shí)驗(yàn)對改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)的效率進(jìn)行了驗(yàn)證，在PASCAL-VOC數(shù)據(jù)集上有著一定的提升。

1? 相關(guān)工作

1.1? DRN擴(kuò)張殘余網(wǎng)絡(luò)

卷積網(wǎng)絡(luò)的圖像分類過程中會逐步降低分辨率，直到圖像被表示為微小的特征圖，而圖片中有場景的空間結(jié)構(gòu)則會變得不明顯。這種空間敏銳度的喪失會限制圖像分類的準(zhǔn)確性。這些問題可以通過擴(kuò)張來緩解，擴(kuò)張可以提高輸出特征圖的分辨率，而不會減少單個(gè)神經(jīng)元的接受域。在不增加模型深度和復(fù)雜性的情況下，擴(kuò)展的殘差網(wǎng)絡(luò)在圖像分類方面優(yōu)于非擴(kuò)展殘差網(wǎng)絡(luò)。

擴(kuò)張殘余網(wǎng)絡(luò)（DRN， dilated residual network）[9]是在卷積網(wǎng)絡(luò)中保持空間分辨率以進(jìn)行圖像分類的網(wǎng)絡(luò)。雖然漸進(jìn)式下采樣在對物體或圖像進(jìn)行分類時(shí)非常成功，但空間信息的丟失可能不利于對自然圖像進(jìn)行分類，并可能嚴(yán)重妨礙轉(zhuǎn)移到涉及空間詳細(xì)圖像理解的其他任務(wù)。自然圖像通常包含許多對象[10]，這些對象的身份和相對配置對于理解場景非常重要。當(dāng)關(guān)鍵對象在空間上不占主導(dǎo)地位時(shí)，分割任務(wù)就會變得困難，也就是說例如，當(dāng)被標(biāo)記的對象是薄的（例如，一個(gè)三腳架）或圖像中有一個(gè)大的背景物體。物體的信號由于向下采樣而丟失，那么在訓(xùn)練過程中恢復(fù)信號的希望就很小。然而，假設(shè)在整個(gè)模型中保持高空間分辨率，并提供密集覆蓋輸入域的輸出信號，那么反向傳播可以學(xué)會保存關(guān)于更小、更不突出的對象的重要信息。

DRN是以Resnet為基礎(chǔ)，提出了一個(gè)改進(jìn)方法，在resnet的top layers移除下采樣層，這可以保持feature map的空間分辨率，但后續(xù)的卷積層接收野分辨率下降了，這不利于模型聚合上下文信息。針對這一問題，論文使用擴(kuò)張卷積替換下采樣，在后續(xù)層合理使用擴(kuò)張卷積，在保持feature map的空間分辨率同時(shí)維持后續(xù)層接收野的分辨率。

1.2? 空洞卷積

因?yàn)楝F(xiàn)有的模型在進(jìn)行圖像分割任務(wù)的時(shí)候，存在著個(gè)關(guān)鍵的問題：下采樣過程中導(dǎo)致部分信息丟失[11]。一般來說我們采用下采樣[12]，是為了能夠使感受野擴(kuò)大，使得每個(gè)卷積輸出都包含較大范圍的信息，但這種情況下，會導(dǎo)致圖像的分辨率不斷下降，包含的信息越來越抽象，而圖像的局部信息與細(xì)節(jié)信息會逐漸丟失，還是不可避免的會造成信息的損失。

空洞卷積可以明確的設(shè)定深度卷積網(wǎng)絡(luò)的特征圖大小，同時(shí)也可以通過設(shè)定卷積核感受視野大小通過卷積操作提取多尺度信息。下圖2（a）為常規(guī)的卷積操作，使用擴(kuò)張率為1的空洞卷積生成，對應(yīng)的感受野為3*3，9個(gè)紅點(diǎn)代表卷積核的9個(gè)權(quán)重。圖2（b）為atrous rate 等于2的空洞卷積，使用了擴(kuò)張率為2的空洞卷積處理，是第一次空洞卷積的卷積核大小等于第二次空洞卷積的一個(gè)像素點(diǎn)的感受野，即生成的感受野為7*7。同樣有9個(gè)權(quán)重，但是這個(gè)卷積核的感受視野變大了，在卷積運(yùn)算時(shí)只與紅點(diǎn)所在位置的輸入進(jìn)行運(yùn)算，而綠色部分輸入被忽略。圖2（c）為atrous rate等于4的空洞卷積，處理同上，第二次空洞卷積的整個(gè)卷積核大小等于第三次空洞卷積的一個(gè)像素點(diǎn)的感受野，生成的每一個(gè)點(diǎn)感受野為15*15。相比之下，如果僅僅使用stride為1的普通3*3卷積，三層之后的感受野僅僅為7。

空洞卷積能夠使卷積層在不降低空間維度和不增加參數(shù)的情況下，獲得更大的感受野，能夠?qū)W(wǎng)絡(luò)分割效果的提升和改善?？斩淳矸e能夠使我們能夠更加清晰明確的控制神經(jīng)網(wǎng)絡(luò)特征響應(yīng)的空間分辨率。

1.3? DeepLabV3+網(wǎng)絡(luò)模型

DeepLabV3+模型是由Google團(tuán)隊(duì)來提出的，在VOC比賽中取得了非常優(yōu)異的成績，是目前應(yīng)用廣泛的一種語義分割網(wǎng)絡(luò)，效果優(yōu)秀，但是DeepLabV3+模型中也存在著一些限制缺點(diǎn)和不足。針對現(xiàn)有的圖像數(shù)據(jù)原模型很容易出現(xiàn)多目標(biāo)檢測效果不夠好的情況，因此希望對現(xiàn)有的DeepLabV3+模型進(jìn)行一定的改進(jìn)，以提升效果。DeepLabV3+的輸出能夠編碼豐富的語義信息，其利用空洞卷積來控制編碼輸出的特征分辨率。DeepLabV3+通過添加一個(gè)簡單而有效的解碼器模塊來恢復(fù)對象邊界，擴(kuò)展了DeepLabV3原有的模型。DeepLabV3+中使用了兩種類型的神經(jīng)網(wǎng)絡(luò)，分別是空間金字塔模塊（Atrous Spatial Pyramid Pooling，ASPP）和編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)做語義分割。DeepLabV3+結(jié)合了這二者的優(yōu)點(diǎn)，擴(kuò)展了一個(gè)簡單有效的模塊用于恢復(fù)邊界信息。

圖3（a）是原來DeepLabV3的結(jié)構(gòu)，使用ASPP模塊獲取多尺度上下文信息，直接上采樣得到預(yù)測結(jié)果。圖3（b）是通用的編碼器-解碼器結(jié)構(gòu)，高層特征提供語義，解碼器逐步恢復(fù)邊界信息。圖3（c）是DeepLabV3+結(jié)構(gòu)，以原有的DeepLabV3為編碼器，解碼器結(jié)構(gòu)簡單。

在DeepLabV3+中使用了空間金字塔池化， 即帶有空洞卷積的空間金字塔結(jié)構(gòu)，增加了不同尺度范圍內(nèi)的語義信息的提取和區(qū)分，以實(shí)現(xiàn)對目標(biāo)圖像中多尺度的物體進(jìn)行分割。

原有的模型中使用了DeepLabV3當(dāng)做編碼器。 DeepLabV3 采用了使用了空洞卷積的深度卷積神經(jīng)網(wǎng)絡(luò)可以以任意分辨率提取特征。此外，DeepLabv3+增強(qiáng)了ASPP模塊，該模塊通過應(yīng)用具有不同比率的空洞卷積和圖像級特征來獲取多尺度的卷積特征。經(jīng)過ASPP模塊再經(jīng)過1×1的分類層后直接雙線性插值到原始圖片大小。但是這種方法得到的分割結(jié)構(gòu)不夠優(yōu)秀，故DeepLabV3+模型中借鑒了編碼器-解碼器結(jié)構(gòu)，引入了新的解碼器模塊。首先將編碼器得到的特征，然后與編碼器中對應(yīng)大小的低級特征concat，如ResNet中的Conv2層，由于編碼器得到的特征數(shù)只有256，而低級特征維度可能會很高，為了防止編碼器得到的高級特征被弱化，先采用1×1卷積對低級特征進(jìn)行降維。兩個(gè)特征concat后，再采用3×3卷積進(jìn)一步融合特征，最后再雙線性插值得到與原始圖片相同大小的分割預(yù)測。

2? 本文模型

2.1? 引入擴(kuò)張殘余網(wǎng)絡(luò)的deeplabv3+模型

擴(kuò)張殘余網(wǎng)絡(luò)是在Resnet網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)的來的，他們具有相同的參數(shù)和類似的網(wǎng)絡(luò)結(jié)構(gòu)。DRN在Resnet網(wǎng)絡(luò)的基礎(chǔ)上移除了最大池化層，這樣有效的減少了gridding的影響。同時(shí)考慮到gridding的影響，在網(wǎng)絡(luò)末端加入了去除殘差模塊的卷積網(wǎng)絡(luò)，這樣能夠有效的避免過程中出現(xiàn)混疊的情況發(fā)生。DRN-D-105采取了殘差模塊和去除了殘差的卷積網(wǎng)絡(luò)組合在一起，與Resnet相比在精度上由明顯提升。因此在本文當(dāng)中Deeplabv3+的卷積模塊就選用了DRN-D來代替Resnet，能夠獲得更佳的效果。圖5展示了本文所用模型框架。

2.2? 引入改進(jìn)ASPP的deeplabv3+算法

一般來說，空洞卷積是通過不使用池化和下采樣的操作來增加感受野的效果，讓每一個(gè)卷積都能夠擁有較好的效果。ASPP是以空洞卷積為基礎(chǔ)的，讓圖像通過同樣一個(gè)feature map，接下來使用不同的dilation rate的空洞卷積去處理它，然后將得到的各個(gè)結(jié)果連接在一起，擴(kuò)大了通道數(shù)，最后再通過一個(gè)1*1的卷積層，將通道數(shù)降到我們想要的結(jié)果。

原本的ASPP是通過一個(gè)1*1的卷積，之后使用了三個(gè)rate，分別為6、12、18，通過這幾種不同的采樣率的空洞卷積來捕捉多尺度信息，通過實(shí)驗(yàn)對比，我發(fā)現(xiàn)再添加一個(gè)采樣率更高的空洞卷積能夠達(dá)到會更好的效果，這樣能夠更好的捕捉邊緣信息，達(dá)到更好的分割精度。圖6中為文中所使用的模塊結(jié)構(gòu)。

3? 實(shí)驗(yàn)分析

本實(shí)驗(yàn)所用配置為linux操作系統(tǒng)openSUSE Leap 42.3，選用intel（R）Core（TM）i5-7500的CPU，GeForce RTX2080Ti的GPU，深度學(xué)習(xí)框架為Pytorch。實(shí)驗(yàn)所用數(shù)據(jù)集為PASCAL VOC數(shù)據(jù)集，該數(shù)據(jù)集包括20個(gè)類別，即飛機(jī)、自行車、鳥、船、瓶子、公共汽車、小轎車、貓、椅子、牛、桌子、狗、馬、摩托車、人類、植物、羊、沙發(fā)、火車、電視，共12023張圖片。

3.1? 評價(jià)指標(biāo)

本文對分割結(jié)果的評價(jià)使用了四種業(yè)內(nèi)公認(rèn)的評價(jià)指標(biāo)，分別為PA，MPA，MIou，F(xiàn)WIou。假設(shè)pij表示應(yīng)該屬于i類語義但卻被誤判為j類的像素點(diǎn)數(shù)量，pii表示預(yù)測正確的像素點(diǎn)的數(shù)量，k+1代表共有類的數(shù)量，

PA（Pixel Accurary，像素精度）：像素精度顧名思義就是描述圖像的精準(zhǔn)度，用于標(biāo)記正確的像素占總像素的比例。

MPA（Mean Pixel Accurary，平均像素精準(zhǔn)度）：是PA的一種簡單提升，指計(jì)算每個(gè)類內(nèi)被正確分類的像素?cái)?shù)比例，之后求平均。

MIou（Mean Intersection over Union，均交并比），：是語義分割的標(biāo)準(zhǔn)度量，是指計(jì)算量兩個(gè)集合的交集和并集之比，在語義分割中，這兩個(gè)集合分別為真實(shí)值和預(yù)測值，然后在每個(gè)類上計(jì)算Iou，平均得到結(jié)果。

FWIou（Frequency Weighted Intersection over Uion，頻權(quán)交并比）根據(jù)每一個(gè)類出現(xiàn)的頻率為其設(shè)置權(quán)重。

3.2? 數(shù)據(jù)分析

實(shí)驗(yàn)中設(shè)置初始的訓(xùn)練數(shù)據(jù)由：batch-size為8，初始學(xué)習(xí)率為0.007，epoch為50，得到最終的模型。本文中每個(gè)模型都使用的是同樣的訓(xùn)練數(shù)據(jù)，并在PASCAL VOC2012數(shù)據(jù)集上驗(yàn)證模型的性能，并計(jì)算出所有的實(shí)驗(yàn)數(shù)據(jù)所對應(yīng)分割圖像相對應(yīng)的評價(jià)指標(biāo)值作為最后的標(biāo)準(zhǔn)。

本文選用了Segnet，F(xiàn)CN8s，原模型和本文改進(jìn)后的模型進(jìn)行對比試驗(yàn)，下圖為實(shí)驗(yàn)得到的數(shù)據(jù)結(jié)果。

我們可以看出他們之間的精度差距很大，尤其是本文提出的模型相比傳統(tǒng)的Segnet和FCN8s在分割精度上有了極大的提升大于10%的提升，而且和Deeplabv3+相比，也有了3.1%的提升，改進(jìn)確實(shí)有效。

同時(shí)對與改進(jìn)的ASPP模塊試驗(yàn)前后進(jìn)行對比，得出了以下結(jié)果：

通過實(shí)驗(yàn)結(jié)果我們得知改進(jìn)后的ASPP模塊應(yīng)用在實(shí)際算法中，在MIou精度上1.4%的提升，在FWIou上也有1.6%的精度提升，能夠通過捕捉更加細(xì)致的信息，達(dá)到更好的效果。

從上面可以看出本文模型不僅在MIou指標(biāo)上，且在各個(gè)指標(biāo)上都超過了Deeplabv3+，有了明顯的提升。本文模型在PASCAL VOC數(shù)據(jù)集上的PA達(dá)到了92.5%，與Deeplabv3+相比有了1%的提升，而MPA值相比較于Deeplabv3+也有了2.8%的提升。而在其他兩項(xiàng)評判指標(biāo)上，本文方法也分別達(dá)到了74.9%和87.1%，均優(yōu)于Deeplabv3+的結(jié)果，分別超出3.1%和2.5%。本文的模型不僅在分割精度的指標(biāo)上超過Deeplabv3+和FCN8s等，同時(shí)因?yàn)楦倪M(jìn)了ASPP模塊，獲得了更大的感受野而得到了更好的邊緣信息，PA也有了較大的提升。

但是改進(jìn)的網(wǎng)絡(luò)確實(shí)因?yàn)榫W(wǎng)絡(luò)的改進(jìn)，參數(shù)量的提升而導(dǎo)致網(wǎng)絡(luò)模型的整體速度不如Deeplabv3+，整體略有下降，這也是有待改進(jìn)的地方。

4? 總結(jié)

本文中，我們?yōu)榱颂岣哒Z義分割的精度和準(zhǔn)確度，使用了基于深度學(xué)習(xí)的語義分割網(wǎng)絡(luò)模型，改進(jìn)了DeepLabV3+網(wǎng)絡(luò)，提升了其分割精度和準(zhǔn)確度。通過實(shí)驗(yàn)對比，改進(jìn)的網(wǎng)絡(luò)相比較于原網(wǎng)絡(luò)在精度等多項(xiàng)指標(biāo)上得到了大幅提升，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)處理圖像數(shù)據(jù)的效果。但是本文改進(jìn)的方法并沒有達(dá)到極限，接下來我思考逐步改進(jìn)模型，使其能夠提升精度的同時(shí)減少計(jì)算量，進(jìn)一步提升模型各方面的性能。

參考文獻(xiàn)

[1]Simonyan K， Zisserman A. Very deep convolutional networks for large-iamge recognition [J] . Computer Science， 2014.

[2]周飛燕， 金林鵬， 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 2017， 40（6）： 1229-1251.

[3]郭璇， 鄭菲， 趙若晗， 等. 基于閾值的醫(yī)學(xué)圖像分割技術(shù)的計(jì)算機(jī)模擬及應(yīng)用[J]. 軟件， 2018， 39（3）： 12-15.

[4]尹宗天， 謝超逸， 劉蘇宜， 等. 低分辨率圖像的細(xì)節(jié)還原[J]. 軟件， 2018， 39（5）： 199-202.

[5]De S， Bhattacharyya S， Chakraborty S， et al. Image Segmentation： A Review[M]//Hybrid Soft Computing for Multilevel Image ang Data Segmentation. Springer International Publishing， 2016.

[6]Badrinarayanan V， Kendall A， Cipolla R. SegNet： a deep conzolutional encoder-decoder architecture for scene segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 99（12）： 2481-2495.

[7]Chen L C， Papandreou G， Kokkinos I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2018， 40（4）： 834-848.

[8]趙勇， 巨永鋒. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)[J]. 測控技術(shù)， 2018， 37（6）： 9-14.

[9]Yu F， Koltun V， Funkhouser T. Dilated residual network[C]// Proceddings of the IEEE conference on computer vision and pattern recognition. 2017： 472-480. 趙

[10]羅笑玲， 黃紹鋒， 歐陽天優(yōu)， 等. 基于多分類器集成的圖像文字識別技術(shù)及其應(yīng)用研究[J]. 軟件， 2015， 36（3）： 98-102.

[11]文可， 孫玉國. 彈性RBF神經(jīng)網(wǎng)絡(luò)在人臉識別中的應(yīng)用研究[J]. 軟件， 2018， 39（5）： 203-206.

[12]張曉明， 尹鴻峰. 基于卷積神經(jīng)網(wǎng)絡(luò)和語義信息的場景分類[J]. 軟件， 2018， 39（01）： 29-34.