基于密集連接空洞卷積神經(jīng)網(wǎng)絡(luò)的青藏地區(qū)云雪圖像分類

(南京信息工程大學 自動化學院，江蘇 南京 210044)

0 引言

隨著我國的人造衛(wèi)星技術(shù)的不斷發(fā)展，衛(wèi)星遙感影像技術(shù)的應(yīng)用也越來越廣泛[1]。在氣象領(lǐng)域，衛(wèi)星圖像的重要性不言而喻，己經(jīng)成為天氣預(yù)報、災(zāi)害天氣預(yù)測的最直接、可靠的信息來源[2]。隨著衛(wèi)星遙感技術(shù)及圖像處理技術(shù)的飛速發(fā)展，深度學習方法開始與衛(wèi)星圖像相結(jié)合，使得衛(wèi)星云圖的應(yīng)用有了極大的進步[3]。而我國的青藏高原地區(qū)，每年都會有大雪給畜牧業(yè)生產(chǎn)與牧民的生活造成危害，所以相關(guān)部門做好大雪預(yù)測、及時發(fā)現(xiàn)積雪覆蓋范圍，幫助牧民采取有效措施，較少人畜損失是一項重要工作。而在冬季，青藏地區(qū)降雪明顯增多，降雪檢測就顯得更加困難，所以我們利用深度學習技術(shù)進行青藏高原地區(qū)的雪災(zāi)識別就尤為重要。因為云雪的全色波段的光譜特性具有相似性，所以衛(wèi)星云雪圖像識別存在一定的技術(shù)難題[4]。李騰騰[5]等提出一種基于灰度共生矩陣與平均梯度的方法提取云雪紋理信息從而實現(xiàn)云雪分離方法。該方法主要是利用灰度均值與灰度共生矩陣計算的能量作為特征參數(shù)提取云的特征，再利用改進的平均梯度和分形維數(shù)的方法實現(xiàn)云雪分離。陳婷[6]等針對全色圖像的冰雪識別問題，以過渡區(qū)理論為基礎(chǔ),提出基于過渡區(qū)特征的冰雪識別方法。該方法首先利用聚類方法分離冰雪識別方法。該方法首先利用聚類方法分離雪、云與其物體再通過邊緣檢測提取過渡區(qū)圖像，并且與過渡區(qū)的均值和方差特征量組合成特征向量,用以分析過渡區(qū)特征,識別具有冰雪過渡區(qū)的點構(gòu)成冰雪邊界，實現(xiàn)冰雪識別。

上述方法沒有充分利用云雪的光譜特性，因而存在局限性。綜上所述，以上的識別方法在分析云雪樣本時，由于云雪特征復雜、全色光譜信息相似，存在提取云雪圖像特征單一、多光譜信息沒有充分利用等問題，檢測方法存在一定的局限性，不具備較好的泛化能力[7]。隨著深度學習技術(shù)的快速發(fā)展，尤其是在圖像處理領(lǐng)域取得巨大的成功[8]。深度卷積神經(jīng)網(wǎng)絡(luò)具備了較強圖像特征提取能力，實現(xiàn)了很多以前難以實現(xiàn)的功能[9]。這些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)也存在不足。本文將密集連接網(wǎng)絡(luò)(Densenet)與空洞卷積相結(jié)合應(yīng)用于多光譜衛(wèi)星云雪圖像識別分類，可以有效地利用云雪的光譜特征信息解決衛(wèi)星云雪圖像識別的問題。本文的方法相比于常見的機器學習方法，準確率高，泛化能力強。

1 密集連接卷積神經(jīng)網(wǎng)絡(luò)

1.1 密集連接卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在解決圖像識別領(lǐng)域得到了廣泛應(yīng)用[10]。本文將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于衛(wèi)星云雪圖像識別，也取得很好的識別效果。密集連接卷積神經(jīng)網(wǎng)絡(luò)模型是在深度殘差卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上采用了一種全新的連接方式的改進[11]。密集連接卷積神經(jīng)網(wǎng)絡(luò)的密集連接是通過密集連接塊實現(xiàn)的[11]。本文在密集連接塊中采用了空洞卷積。密集塊采用空洞卷積可以減少參數(shù)，擴大局部感受野，充分地提取衛(wèi)星云雪圖像的光譜信息特征。

1.2 密集連接空洞卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

密集連接卷積神經(jīng)網(wǎng)絡(luò)在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上進行改進，將網(wǎng)絡(luò)中的卷積層進行兩兩連接，從而網(wǎng)絡(luò)中每一個卷積層都可以接收前面所有層的特征與信號。密集連接卷積神經(jīng)網(wǎng)絡(luò)在深度殘差網(wǎng)絡(luò)的基礎(chǔ)上改變連接方式，在達到相同的精度時，其參數(shù)量與計算量均為深度殘差網(wǎng)絡(luò)的一半[12]。

1.2.1 改進的密集連接卷積神經(jīng)網(wǎng)絡(luò)

密集連接卷積神經(jīng)網(wǎng)絡(luò)中密集連接是通過密集塊實現(xiàn)的。在密集塊中，第l層的輸出等于將前面所有層的輸出特征進行級聯(lián)操作，再進行非線性變換H(·)，非線性變換公式:

Xl=Hl([x0,x1,……,xl-1])

(1)

密集塊中的密集連接方式如圖1所示。

圖1 密集連接塊結(jié)構(gòu)圖

其中，H1，H2，H3，H4表示非線性變換，x0,x1,x2,x3表示特征圖。非線性變換H(·)是一種由3種操作函數(shù)組成的復合函數(shù)。3種操作函數(shù)分別是批歸一化函數(shù)(Batch Normalization,BN)，Relu激活函數(shù)，卷積操作(conv)。

從密集連接塊中，可以看出每一層都兩兩連接，網(wǎng)絡(luò)使用較少的參數(shù)就可以使得大量特征得到復用。在密集塊中，每層的特征圖都要進行非線性變換。在密集塊中采用卷積操作采用了1x1的卷積核與3x3的空洞卷積核相結(jié)合的卷積操作。其中，采用1x1的卷積核的卷積層作為密集塊的瓶頸層。瓶頸層主要是用來減少下一層輸入的特征圖數(shù)量，因此提高了卷積操作效率。在密集連塊中，如果每層產(chǎn)生k個特征圖，則它會在第l層輸入特征圖的個數(shù)是k0+k(l-1)，其中k0是輸入層的通道數(shù)，則超參數(shù)k為網(wǎng)絡(luò)的增長率。其中，超參數(shù)k是卷積核的個數(shù)。k值越大則卷積核提取特征的能力越強，網(wǎng)絡(luò)中流通的信息量也會越大，但也會相應(yīng)地提高模型的復雜度。所以k值不能太大，本文采用的k值設(shè)為32?？斩淳矸e是在原卷積核的基礎(chǔ)之上設(shè)置一個參數(shù),擴張率為r。將原卷積核進行擴張在膨脹系數(shù)所限制的范圍內(nèi)。這樣得到的空洞卷積核的高度為h+(h-1)(r-1)，寬度為w+(w-1)(r-1)。其中，h為原卷積核的高，w為原卷積核的寬。密集塊通過使用空洞卷積核，可以增大卷積核的局部感受野而不增加參數(shù)量。本文設(shè)置的膨脹參數(shù)r為2，這樣2x2的卷積核就與3x3卷積核具有相同的感受野，同時減少了卷積核的參數(shù)量。原始卷積核與空洞卷積核如圖2所示。圖2(a)為2x2的原始卷積核，假設(shè)在原始卷積核中的參數(shù)分別為a、b、c、d。原始卷積核在進行擴張后如圖2(b)所示。原卷積核未被占用的區(qū)域用0進行填充。本文采用的密集塊就可以擴大卷積核的局部感受野，從特征圖中充分提取云雪的光譜特征信息。

圖2 原始卷積核與空洞卷積核

1.2.2 密集連接卷積神經(jīng)網(wǎng)絡(luò)過渡層

由于網(wǎng)絡(luò)的密集塊中的每一層都會接受前面所有層的特征作為輸入，這樣的采用級聯(lián)方式使得網(wǎng)絡(luò)層數(shù)不斷加深，因此為了在網(wǎng)絡(luò)結(jié)構(gòu)中進行下采樣處理，就需要在密集塊之后采用過渡層進行數(shù)據(jù)降維操作。過渡層中主要是包含1x1的卷積層和2x2的平均池化層兩部分。

過度層主要目的是減少特征圖的數(shù)量和大小，實現(xiàn)數(shù)據(jù)降維的目的。如果密集塊包含m個特征映射，為了在過渡層中減少特征圖，可以使過渡層生成θm輸出特征圖，其中0<θ≤1 被稱為壓縮因子。本文的密集連接網(wǎng)絡(luò)采用的壓縮因子θ=0.5。

1.2.3 密集連接卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)

本文采用的密集連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含一個常規(guī)的卷積層、3個密集塊、2個過渡層、全局平均池化層、一個全連接層、一個輸出層。

其中，常規(guī)卷積層包含卷積操作、relu函數(shù)激活以及最大池化降維操作。密集塊與過渡層交替出現(xiàn)。3個密集塊的層數(shù)分別是6層、12層、24層。3個過渡層包含1x1卷積核操作與1x1池化操作。最后3層是全局平均池化層、全連接層、輸出層。密集連接卷積神經(jīng)網(wǎng)絡(luò)采用跨層連接的方式，使得網(wǎng)絡(luò)結(jié)構(gòu)中大量特征的重用，可以充分利用衛(wèi)星云雪圖像的光譜特征信息。同時，反向誤差信號傳播過程中，不會出現(xiàn)隨著層數(shù)加深而變得越來越小，緩解了梯度消失的問題。密集連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。

圖3 密集深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

隨著網(wǎng)絡(luò)層數(shù)的不斷加深，神經(jīng)網(wǎng)絡(luò)模型的深度與復雜度也逐漸加深。如果卷積神經(jīng)網(wǎng)絡(luò)層數(shù)太少就不能充分提取云雪樣本的光譜信息特征。如果網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)的參數(shù)就增加，訓練時間較慢[12]，同時網(wǎng)絡(luò)在訓練數(shù)據(jù)時，梯度信號會逐漸消失， 從而導致網(wǎng)絡(luò)模型難以優(yōu)化[12]。本文將改進的密集連接卷積神經(jīng)網(wǎng)絡(luò)與空洞卷積核相結(jié)合，應(yīng)用與多光譜衛(wèi)星云雪圖像檢測較好地解決了這些問題。

2 密集連接空洞卷積神經(jīng)網(wǎng)絡(luò)的云雪識別模型

本文的多光譜衛(wèi)星云雪圖像采集主要來自于中國HJ1A/1B衛(wèi)星，該衛(wèi)星是我國用來進行環(huán)境與自然災(zāi)害的監(jiān)測預(yù)報。本文基于HJ1A/1B的四個可見光通道的數(shù)據(jù)實現(xiàn)云雪數(shù)據(jù)識別。本文采用的數(shù)據(jù)集中云、雪、云雪混合、無云無雪樣本數(shù)量都是9 600個。每類取7 680個樣本作為訓練集，每類取1 920個樣本作為測試集。利用密集連接卷積神經(jīng)網(wǎng)絡(luò)對多光譜衛(wèi)星云雪圖像進行檢測，實現(xiàn)4分類任務(wù)。4分類分別是只有云的區(qū)域，只有雪的區(qū)域，無云無雪區(qū)域，云雪混合區(qū)域。在密集連接卷積神經(jīng)網(wǎng)絡(luò)中，首先將每個多光譜衛(wèi)星云雪圖像輸入到網(wǎng)絡(luò)模型中。在常規(guī)的卷積層中，網(wǎng)絡(luò)模型利用7×7×64、步長為2的卷積核對圖像數(shù)據(jù)進行特征提取，然后利用2×2的最大池化進行降維， 生成7×7×64的特征圖。特征圖進入到密集塊1中。密集連接塊1包含6層神經(jīng)網(wǎng)絡(luò)，使得每層網(wǎng)絡(luò)輸出32個特張圖，即增長率為32。每層再和前面所有層的特征圖進行級聯(lián)，然后進行非線性函數(shù)變換。特征圖送入到過渡層1，進行1×1的卷積與2×2 池化操作。因為在過渡層設(shè)置了壓縮因子為0.5，使得過渡層1輸出的特征圖變?yōu)槊芗B接塊1輸出的一半。過渡層1輸出的特征圖經(jīng)過后面的多個密集塊與過渡層，再經(jīng)過全局平均池化層、全連接層。當特征圖經(jīng)過全連接層是，每張?zhí)卣鲌D大小已經(jīng)變?yōu)?×1，所以全連接層輸出的特征圖維度是1×1×1 024，最后的輸出層輸出包含4個類別的類別概率向量，最終實現(xiàn)4分類任務(wù)。利用密集連接卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)云雪圖像分類過程如圖4所示。

圖4 衛(wèi)星云雪圖像分類過程

3 實驗結(jié)果分析

圖5為不同算法的衛(wèi)星云雪識別效果圖，圖6為另一組衛(wèi)星云雪檢測效果圖。在實驗效果圖中，只有云的區(qū)域由深灰色表示，只有雪的區(qū)域由淺灰色表示，無云無雪區(qū)域由黑色表示，云雪混合區(qū)域由白色表示。本文分別使用了支持向量機(SVM)、隨機森林(RandomForest)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、卷積密集連接神經(jīng)網(wǎng)絡(luò)(Densenet)。

本文采用灰度共生矩陣經(jīng)云雪圖像的紋理特征轉(zhuǎn)化為SVM模型的分類特征。由于多光譜云雪衛(wèi)星云雪圖像樣本的紋理特征是通過在空間位置重復出現(xiàn)灰度分布而形成的，所以在圖像空間已一定的距離隔開兩個像素之間存在一定的灰度關(guān)系，即圖像的灰度空間相關(guān)性?；叶裙采仃囀菆D像的的像素距離和角度的矩陣函數(shù)，通過計算圖像中兩點灰度之間的相關(guān)性，從而反映云雪圖像的的紋理特征的綜合信息[7]。

我們就可以用灰度共生矩陣描述多光譜云雪衛(wèi)星云雪圖像的紋理特征，灰度共生矩陣的統(tǒng)計量有:ASM能量、對比度、相似性、熵等。本文將灰度共生矩陣的ASM能量、對比度、相似性、熵等作為SVM模型的分類特征。其中,對于SVM，本文采用的非線性分類SVM可以用于4分類任務(wù)。非線性分類SVM采用RBF作為核函數(shù)，選取合適懲罰系數(shù)是20。這樣在訓練樣本數(shù)據(jù)時，就可以使用核技巧以及軟間隔最大化，學得一個非線性SVM模型，實現(xiàn)云雪圖像識別。

RandomForest是以決策樹為基學習器的的集成學習方法[13]。該算法簡單、容易實現(xiàn)。決策樹在對樣本訓練劃分屬性時，是從當前屬性集合中選擇一個最優(yōu)屬性進行劃分。隨機森林模型在決策樹訓練過程中，引入隨機性選擇訓練集屬性，對屬性進行分割，直至葉節(jié)點。本文在使用隨機森林模型時，采用的分裂選擇度量為gini指數(shù)。選擇100棵決策樹組成RandomForest，提取樣本的紋理特征，進行云雪識別[14]。

本文的CNN模型總共有7層，分別是卷積層、池化層、 卷積層、池化層、全連接層、全連接層、輸出層[15-16]。圖5是本文采用的支持向量機(SVM)、隨機森林(RandomForest, RF)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、密集連接卷積神經(jīng)網(wǎng)絡(luò)(Densenet)的云雪圖像預(yù)測實驗結(jié)果對比圖。圖5(a)是衛(wèi)星云圖原始圖像，圖5(b)是SVM分類的效果圖，圖5(c)是RandomForest分類的效果圖，圖5(d)是CNN檢測的效果圖，圖5(e)是Densenet檢測的效果圖。

通過對圖5中各個檢測效果進行分析，可以得到如下結(jié)論：圖5(b)中深灰色區(qū)域部分較多，淺灰色區(qū)域較少，使得云的過多檢測，SVM的檢測效果比較差。圖5(c)中深灰色區(qū)域比(b)中減少，淺灰色區(qū)域增多，RandomForest的識別效果有所提升，依然有云的誤檢，圖5(d)中淺灰色區(qū)域較多，深灰色區(qū)域較少，存在雪的誤檢。但是檢測效果比SVM與RandomForest有所提升。圖5(e)的檢測效果比較好，Densenet根據(jù)訓練樣本的光譜特征與紋理信息來進行檢測，能比較好地區(qū)分出云與雪的區(qū)域，以及在云雪混合和無云無雪區(qū)域的上檢測效果較好。

圖5 不同算法的云雪預(yù)測圖

圖6為另一組不同算法的云雪檢測預(yù)測圖。我們從實驗結(jié)果對比圖中，仍然會發(fā)現(xiàn)SVM的結(jié)果圖6(b)中，存在云的誤檢，深灰色區(qū)域較多，SVM的檢測效果依然較差。在RandomForest的結(jié)果圖中6(c)淺灰色區(qū)域較少，存在雪的誤檢, RandomForest的識別效果不理想。CNN的實驗結(jié)果圖識別結(jié)果比SVM與RandomForest的效果較好，能提取云雪的大致輪廓，較好的區(qū)分樣本的特征，泛化效果較好。在6(e)圖中，Densenet的效果比CNN更好，該模型能有效提取云雪的光譜特征與紋理信息，有效區(qū)分樣本特征。

圖6 不同算法的云雪預(yù)測圖

為了進一步對實驗結(jié)果進行有效分析，采用100張不同區(qū)域的衛(wèi)星云圖測試結(jié)果作為統(tǒng)計的平均值進行對比。表1是RandomForest、SVM、CNN、Densenet等方法的預(yù)測結(jié)果。從表中，可以看出，SVM的效果最差，RandomForest的效果優(yōu)于SVM，CNN的結(jié)果優(yōu)于RandomForest。本文使用的Densenet識別的準確率高于其他幾類方法。CNN、Densenet在多光譜衛(wèi)星云雪圖像的訓練集準確率和驗證集準確率變化趨勢如圖7～8。圖7是CNN的準確率變化圖。圖8是Densenet的準確率變化圖。

圖7是CNN在訓練集與測試集的準確率變化圖。圖7是Densenet在訓練集與測試集的準確率變化圖。我們可以看出Densenet的收斂速度快于CNN。Densenet并且無論是在訓練集還是測試集的準確率也高于CNN。所以，從實驗結(jié)果圖上可以看出Densenet的測試結(jié)果要優(yōu)于CNN。CNN、Densenet在多光譜衛(wèi)星云雪圖像的訓練集損失和驗證集損失變化趨勢如圖9～10所示。圖9是CNN的損失變化圖。圖10是Densenet的損失變化圖。我們可以看Densenet的損失減少速度快于CNN。所以，從圖9～10我們可以看出Densenet的在損失減少的方面要優(yōu)于CNN。所以Densenet在多光譜衛(wèi)星云雪圖像上的預(yù)測效果要優(yōu)于CNN的預(yù)測效果。

表1 衛(wèi)星云雪圖檢測平均準確率

圖7 CNN的準確率變化圖

圖8 Densenet的準確率變化圖

圖9 CNN的損失變化圖

圖10 Densenet的損失變化圖

4 總結(jié)

由于云雪表面特征復雜與光譜特征的相似性，傳統(tǒng)機器學習方法不能很好地提取樣本特征，使得云雪檢測效果不理想。本文將密集連接卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于多光譜衛(wèi)星云雪圖像檢測方面，提升衛(wèi)星云雪圖像的檢測效果。因為密集連接卷積神經(jīng)網(wǎng)絡(luò)具有能效解決梯度消失問題[17]、強化特征傳播、支持特征的重用、減少了參數(shù)量等優(yōu)點[18]，所以在圖像領(lǐng)域應(yīng)用廣泛[19]。密集連接卷積神經(jīng)網(wǎng)絡(luò)每一層提取的特征都相當于對輸入數(shù)據(jù)的進行一個非線性變換，而隨著深度的增加，變換的復雜度也逐漸增加相當于更多非線性函數(shù)的復合[20]。相比于一般神經(jīng)網(wǎng)絡(luò)的分類器直接依賴于網(wǎng)絡(luò)最后一層(復雜度最高)的特征，密集連接卷積神經(jīng)網(wǎng)絡(luò)可以綜合利用淺層復雜度低的特征，因而泛化能力較好。本文的采用密集連接卷積神經(jīng)網(wǎng)絡(luò)對HJ1A/1B衛(wèi)星拍攝的我國青藏高原地區(qū)的多光譜衛(wèi)星云雪圖像進行識別[21]。最后通過實驗結(jié)果對比，說明密集連接卷網(wǎng)絡(luò)在識別多光譜衛(wèi)星云雪圖像時具有較好的泛化能力，但是其對于雪的誤檢還有待降低。雖然本文采用密集連接卷積神經(jīng)網(wǎng)絡(luò)進行多光譜衛(wèi)星云雪圖像，識別效果比傳統(tǒng)的機器學習方法進一步提升，但是相關(guān)研究中還處于初始階段，存在一些不足，需要進一步優(yōu)化與改進模型。本文的網(wǎng)絡(luò)模型主要在以下方面進行改進：1)保證識別模型檢測精度的前提下，提高模型的檢測的速度，因此應(yīng)該進一步優(yōu)化模型網(wǎng)絡(luò)結(jié)構(gòu)。2)著重提高模型的抗干擾的能力，在衛(wèi)星圖像中存在云霧、降水等干擾因素對數(shù)據(jù)樣本產(chǎn)生影響。所以，我們要提升模型的抗干擾能力[22]。3)隨著計算機硬件技術(shù)的快速發(fā)展，模型可以與計算機硬件水平相適應(yīng)設(shè)，向著檢測方法快速化、精準化的方向發(fā)展[23]。