基于CNN的多光譜遙感圖像地物覆蓋分類*

李玉峰，林 輝

（沈陽航空航天大學(xué)電子信息工程學(xué)院，沈陽110136）

1 引 言

衛(wèi)星遙感圖像處理技術(shù)一直以來都是各國研究的重點(diǎn)。遙感圖像分類，是把在圖像中的每個(gè)像元[1]劃分為若干類別中的一種，通過分析各種類地物的光譜信息和空間信息，提取有效特征[2]，分析并從中選擇適合的特征參數(shù)，將特征空間劃分為多個(gè)互不交割的子空間，再將影像內(nèi)各個(gè)像元?jiǎng)澐值竭@些空間中去[3]。衛(wèi)星遙感圖像的處理對(duì)于自然資源的保護(hù)、民用設(shè)備的技術(shù)支持以及軍方偵察的技術(shù)支撐起到了至關(guān)重要的作用[4]。

傳統(tǒng)的衛(wèi)星遙感圖像分類方法一般為監(jiān)督分類、非監(jiān)督分類、半監(jiān)督分類，以及更加古老的目視解譯[5]。目視法耗時(shí)長，并對(duì)解譯人員要求極高。較為常用的監(jiān)督分類方法有支持向量機(jī)（Support Vector Machine, SVM）、最小距離分類（Minimum Distance Classification，MDC）、最大似然分類（Maximum Likelihood Classification，MLC）等；而無監(jiān)督分類有迭代自組織數(shù)據(jù)分析技術(shù)A（Iterative Self-organizing Data Analysis Techniques A, ISODATA）分類、K 均值聚類算法分類等。其中，最小距離分類、最大似然分類、K均值聚類算法分類算法在處理高分辨率衛(wèi)星圖時(shí)出現(xiàn)精度達(dá)不到預(yù)期的問題[6]。上述分類算法皆為淺層學(xué)習(xí)算法。由于只經(jīng)過了較少層的線性與非線性處理，對(duì)于輸入的信號(hào)，淺層學(xué)習(xí)網(wǎng)絡(luò)無法效地表達(dá)復(fù)雜函數(shù)，無法適應(yīng)較為復(fù)雜的樣本。在這個(gè)數(shù)據(jù)爆炸的時(shí)代，衛(wèi)星遙感圖像樣本的復(fù)雜度已遠(yuǎn)遠(yuǎn)超出過去的水準(zhǔn)，這樣的淺層模型也終將會(huì)逐漸被一些新興的方法取代。

深度學(xué)習(xí)的概念自從被加拿大多倫多大學(xué)教授Hinton 等人[7]在2006 年于頂尖學(xué)術(shù)刊物《科學(xué)》上被提出后，廣泛引起了各行業(yè)人員的高度重視。Hithon 采用一種類似人腦多層的機(jī)構(gòu)模型，對(duì)信息進(jìn)行降維和分類。這種深度學(xué)習(xí)方法已經(jīng)在圖像、語音識(shí)別等領(lǐng)域取得了重大成果[8]。而Lecun 等人提出的卷積神經(jīng)網(wǎng)絡(luò)（CNN）則為一種多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有極好的訓(xùn)練性能[9],在遙感圖像處理中有良好的運(yùn)用[10]。但是，國內(nèi)將深度學(xué)習(xí)應(yīng)用到高分辨率衛(wèi)星遙感圖像解譯的研究工作相對(duì)較少。故此，提出一種對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化的高分辨率遙感影像地物分類方法。本方法基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)高分辨率多光譜遙感圖像進(jìn)行的自動(dòng)分類，將傳統(tǒng)CNN 框架進(jìn)行優(yōu)化，并加入了Inception 結(jié)構(gòu)，橫向比對(duì)其與支持向量機(jī)算法分類效果之間的差異。

2 傳統(tǒng)分類法及其原理

2.1 支持向量機(jī)分類方法

支持向量機(jī)是由Vapnik 在1995 年所提出[11]，它基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)最小風(fēng)險(xiǎn)原理，針對(duì)小樣本進(jìn)行訓(xùn)練和分類。SVM 致力于建立一個(gè)最優(yōu)決策超平面，從而使平面兩側(cè)的距離該平面最近的兩類樣本之間的距離最大，這樣則使其對(duì)分類問題產(chǎn)生較好的泛化功能[12]。SVM 學(xué)習(xí)效率高，泛化性強(qiáng)，使得其在空間信息分析領(lǐng)域有良好的表現(xiàn)，在衛(wèi)星遙感圖像的處理上，如遙感圖像土地覆蓋分類、遙感影像融合、高光譜圖像處理等，表現(xiàn)更為優(yōu)異，尤其在解決Hughes 現(xiàn)象的問題上有至關(guān)重要的作用。對(duì)其技術(shù)原理的詳細(xì)討論如下：

對(duì)于最優(yōu)超平面，考慮K 個(gè)線性可分樣本｛(X1,d1),(X2,d2),...,(Xk,dk),...,(XK,dK) ｝，任意樣本Xk，期望的輸出為dk＝±1（代表兩類的類別表述）。用于分類超平面的方程為：

其中，X 為輸入向量，M 為權(quán)值向量，c 為偏置，則有：

針對(duì)多維的樣本數(shù)據(jù)集，隨機(jī)產(chǎn)生一個(gè)分類超平面并不斷地進(jìn)行移動(dòng)，來對(duì)樣本進(jìn)行分類，直到樣本中不屬于同類別的樣本點(diǎn)全都落于該分類超平面的兩側(cè)?？赡苡卸鄠€(gè)超頻面滿足這個(gè)條件，但同時(shí)要保證分類的精度，也要找到一個(gè)可以使兩側(cè)的空白區(qū)達(dá)到最大的超平面，從而達(dá)到最優(yōu)的分類效果。

SVM 可以對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)、分類和預(yù)測，其分類流程圖如圖1 所示。

圖1 SVM分類流程圖

2.2 徑向基函數(shù)分類方法

徑向基函數(shù)（Radial Basis Function, RBF）神經(jīng)網(wǎng)絡(luò)的主要優(yōu)勢在于逼近能力、分類能力和學(xué)習(xí)速度等方面。在這幾個(gè)方面RBF 神經(jīng)網(wǎng)絡(luò)皆比BP 神經(jīng)網(wǎng)絡(luò)能力強(qiáng)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相對(duì)簡單，訓(xùn)練的方式也較簡潔。由于其參數(shù)的并非隨機(jī)初始化，故其學(xué)習(xí)的收斂速度很快，可以無限接近任意的非線性函數(shù)，且能夠克服局部極小值的問題。

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)是具有單隱層的三層前向網(wǎng)絡(luò)[13]。第一層是輸入層，包括信號(hào)源的節(jié)點(diǎn)。第二層是隱藏層，該層的節(jié)點(diǎn)數(shù)量視所要解決問題的需要而定，隱藏層中的神經(jīng)元變換函數(shù)便是徑向基函數(shù)，它是一個(gè)對(duì)于中心點(diǎn)的徑向?qū)ΨQ且不斷衰減的非負(fù)線性函數(shù)。其與之前的前向網(wǎng)絡(luò)中的全局響應(yīng)的變換函數(shù)不同，為局部響應(yīng)函數(shù)，這種差異具體體現(xiàn)在可見層到隱藏層之間的變換方式。第三層是輸出層，它是對(duì)輸入所得到的響應(yīng)。輸入層的作用是傳輸信號(hào)，輸入層和隱含層之間則是完全連接，即連接權(quán)值為1。隱含層的作用是將低維度的模式輸入數(shù)據(jù)變換到高維空間中去，以便于輸出層的識(shí)別與分類。而隱含層和輸入層需要實(shí)現(xiàn)的功能目標(biāo)是相異的，所以二者所采用的學(xué)習(xí)策略也不盡相同。

輸出層需要針對(duì)線性權(quán)做調(diào)整，其使用方法是線性優(yōu)化，故學(xué)習(xí)速度比較快。而對(duì)于隱含層來說，則需要對(duì)激活函數(shù)（Activation Function, AF）的參數(shù)來做調(diào)整，其使用的方法是非線性優(yōu)化，所以學(xué)習(xí)速度相對(duì)較慢。本研究的激活函數(shù)采用高斯函數(shù)：

式中：Ch為基函數(shù)的中心，而ρ 則為寬度。

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)如圖2 所示。

圖2 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)

2.3 基于CNN的分類方法

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種典型模型。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)示意圖如圖3 所示。通常，卷積神經(jīng)網(wǎng)絡(luò)模型由不同結(jié)構(gòu)層來表示，包括卷積層、池化層（下采樣層）、一個(gè)或多個(gè)完全連接層，以及輸出層。卷積層用于使用指定的過濾器卷積輸入圖像，并通常與池化層交替出現(xiàn)。

圖3 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)示意圖

在普通的神經(jīng)網(wǎng)絡(luò)當(dāng)中，一個(gè)神經(jīng)元連接到下一層中的所有神經(jīng)元。在卷積神經(jīng)網(wǎng)絡(luò)CNN 中，神經(jīng)元之間稀疏地連接，通常只在每個(gè)指定神經(jīng)元的自定義感受范圍內(nèi)連接。另外，在一層中相互連接的一些神經(jīng)元具有相同的權(quán)重和偏差。它們?cè)诤艽蟪潭壬峡梢詭椭鷾p少參數(shù)。池化層是特征提取層[14]，將上一層卷積得到的特征圖中的連續(xù)范圍作為作用區(qū)域，并且只對(duì)由重復(fù)的隱藏單元所產(chǎn)生的特征進(jìn)行池化，這些池化單元便具有了平移不變性（Translation invariant），進(jìn)而整個(gè)卷積神經(jīng)網(wǎng)絡(luò)也獲得了這一平移不變性。即使輸入圖像經(jīng)過一個(gè)小的平移之后，依舊會(huì)產(chǎn)生相同的特征。

3 改進(jìn)的CNN分類方法

在改進(jìn)的CNN 分類方法中，卷積神經(jīng)網(wǎng)絡(luò)中的輸入層用于接收?qǐng)D像，卷積層用來提取圖像中的各種特征并減小噪聲對(duì)分類的影響[15]。用于分類的卷積神經(jīng)網(wǎng)絡(luò)如圖4 所示。

圖4 用于分類的卷積神經(jīng)網(wǎng)絡(luò)

假定原始的輸入圖像為X，Yi表示第i 層的特征圖，所以Y0＝X，則：

式中，Ki表示第i 卷積層核的權(quán)重；運(yùn)算符*表示Ki與第i-1 層的特征圖進(jìn)行卷積操作；bi表示第i 層的偏置向量；f 為激活函數(shù)，一般采用ReLU 函數(shù)。ReLU 的表達(dá)式為：

池化層一般緊跟在卷積層后，基于圖像的局部相關(guān)性對(duì)上一池化層輸出的特征圖進(jìn)行采樣，并保持其尺度不變。池化層的作用方式一般分為兩種，最大池化（Max pooling）與平均池化（Mean pooling）。

在此采用AlexNet 網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型是由Alex Krizhevsky 在2012 年發(fā)表的一種卷積神經(jīng)網(wǎng)絡(luò)模型。Alex 在2012 屆ImageNet 圖像分類挑戰(zhàn)上提出的這種網(wǎng)絡(luò)結(jié)構(gòu)模型獲得了ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽的冠軍[16]。由于AlexNet 網(wǎng)絡(luò)模型層數(shù)沒有過于深，而且有較好的分類能力，故此選用它作為基本框架，為遙感圖像分類做出優(yōu)化。另外，對(duì)池化層采用最大池化方法，使用非重疊采樣的方式來進(jìn)行，其原理是選取圖像區(qū)域的最大值來作為該區(qū)域采樣后的值。

卷積層和池化層是交替進(jìn)行連接的。完全連接層綜合成先前提取的特征，將圖像特征信息從二維減小到一維。最后的輸出層根據(jù)完全連接層獲得的特征向量來產(chǎn)生樣本對(duì)應(yīng)的標(biāo)簽。

基于卷積神經(jīng)網(wǎng)絡(luò)分類過程的核心在于整個(gè)網(wǎng)絡(luò)的訓(xùn)練與人類大腦的學(xué)習(xí)過程相似。過程分為兩個(gè)階段。第一個(gè)階段是前向傳播，使得樣本圖像經(jīng)過輸入層最后到達(dá)輸出層的特征被學(xué)習(xí)[17]。第二個(gè)階段則是反向傳播，依據(jù)損失函數(shù)來計(jì)算實(shí)際輸出值與期望輸出值之間的誤差（又被稱為“殘差”），并根據(jù)梯度下降法調(diào)整網(wǎng)絡(luò)參數(shù)。采用CNN 在使用上最為廣泛的交叉熵（Cross Entropy，CE）損失函數(shù)。交叉熵被用于評(píng)價(jià)模型訓(xùn)練得到的實(shí)際輸出與期望輸出的差異，減小交叉熵?fù)p失可提高模型的預(yù)測準(zhǔn)確率。此函數(shù)據(jù)的離散形式為：

式中，p(x)是期望輸出，q(x)是通過計(jì)算得到的實(shí)際輸出。對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的目標(biāo)即是通過梯度下降法來不斷減小網(wǎng)絡(luò)的損失函數(shù)。

多層神經(jīng)網(wǎng)絡(luò)模型有兩個(gè)缺點(diǎn)，一是費(fèi)時(shí)，二是容易過擬合。故此采用加入Dropout 的方式[18]，來解決這兩個(gè)缺點(diǎn)帶來的問題。過擬合和費(fèi)時(shí)幾乎成了深度學(xué)習(xí)的通病，對(duì)此，加入Dropout 可有很好的解決。每次經(jīng)過Dropout，相當(dāng)于從原有網(wǎng)絡(luò)得到一個(gè)更精巧的網(wǎng)絡(luò)。某神經(jīng)網(wǎng)絡(luò)A 的結(jié)構(gòu)圖如圖5 所示，經(jīng)過Dropout 后神經(jīng)網(wǎng)絡(luò)A 的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖6 所示。

圖5 神經(jīng)網(wǎng)絡(luò)A結(jié)構(gòu)圖

圖6 Dropout處理后的神經(jīng)網(wǎng)絡(luò)A結(jié)構(gòu)圖

使用這樣的方式便可以將深度神經(jīng)網(wǎng)絡(luò)從費(fèi)時(shí)的問題中解脫出來。

一般傳統(tǒng)改進(jìn)CNN 的方法大多是加深網(wǎng)絡(luò)的層數(shù)從而提高整個(gè)網(wǎng)絡(luò)的特征提取能力。如果用來訓(xùn)練的數(shù)據(jù)集有限，但是參數(shù)過多，則容易產(chǎn)生過擬合。而且網(wǎng)絡(luò)越大，計(jì)算量和計(jì)算的復(fù)雜度也在不斷增長，導(dǎo)致網(wǎng)絡(luò)延滯，難以實(shí)際應(yīng)用。而網(wǎng)絡(luò)越深，越容易產(chǎn)生梯度彌散現(xiàn)象，導(dǎo)致難以優(yōu)化模型的情況發(fā)生。故此，在傳統(tǒng)的CNN 分類模型中加入結(jié)合了Network in Network 思想的Inception 結(jié)構(gòu)。該模塊先聚合輸入特征，然后利用其非線性變換能力對(duì)特征進(jìn)行再加工和濾波處理，以此實(shí)現(xiàn)多尺度特征的利用。Inception 結(jié)構(gòu)通過并聯(lián)不同尺度卷積核來增加網(wǎng)絡(luò)寬度，獲取遙感圖像中多種尺度特征，從而提高網(wǎng)絡(luò)特征提取能力。添加的Inception 結(jié)構(gòu)如圖7 所示。此Inception 結(jié)構(gòu)所在的層數(shù)越高且通道數(shù)越多，該方法的效率就越高。

圖7 添加的Inception結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的輸出層一般采用一個(gè)分類器，而輸出層中神經(jīng)元節(jié)點(diǎn)的數(shù)目則要依據(jù)不同的分類任務(wù)決定。此處采用的是Softmax 分類器。Softmax 分類器以多項(xiàng)式分布為模型來建立，通過它，還可以得到不同分類可能的概率。所以Softmax 分類器對(duì)多種互不重疊的種類進(jìn)行分類表現(xiàn)更優(yōu)。Softmax 分類器對(duì)于n 類分類的系統(tǒng)方程如下：

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)采用TensorFlow1.1.0 開源框架，搭建環(huán)境為PC，操作系統(tǒng)為Ubuntu 16.04，處理器為Intel(R)Core (TM)i5-7400 CPU@3.50GHz，顯卡為NVIDIA GTX1070 8G 顯存版本，運(yùn)行內(nèi)存為16G，CUDA 版本為8.0。

實(shí)驗(yàn)中受測試的圖像為美國某農(nóng)場遙感圖像，如圖8。圖像來源于美國國家海洋和大氣管理局(National Oceanic and Atmospheric Administration,NOAA)的公開衛(wèi)星數(shù)據(jù)。

圖8 NOAA公開的美國某農(nóng)田遙感圖像

改進(jìn)CNN 對(duì)衛(wèi)星遙感圖像的分類效果與SVM及RBF 的對(duì)比情況如圖9～圖11 所示?？梢?，改進(jìn)后的分類方法在分類效果上有顯著提升。

最后，為證明該CNN 分類方法的優(yōu)勢，選取了數(shù)等因子對(duì)兩種分類方法進(jìn)行評(píng)價(jià)。評(píng)價(jià)結(jié)果如表1 所示。

圖9 基于支持向量機(jī)的分類結(jié)果

圖10 基于徑向基的分類結(jié)果

圖11 改進(jìn)CNN分類結(jié)果

表1 兩種分類方法精度評(píng)價(jià)對(duì)比

5 結(jié)束語

采用改進(jìn)型卷積神經(jīng)網(wǎng)絡(luò)，AlexNet 網(wǎng)絡(luò)模型，并加入Inception 結(jié)構(gòu)，使網(wǎng)絡(luò)分類效果得到了提升。而Softmax 分類器也對(duì)本方法的分類精度提升起到了極大的作用。相較于SVM 分類，本研究的改進(jìn)CNN 模型對(duì)于高分辨率多光譜遙感圖像分類總體精度提升10.47%，實(shí)現(xiàn)了更高的精度和更好的分類效果，具有良好的實(shí)用價(jià)值和應(yīng)用前景。