基于改進的膠囊網(wǎng)絡(luò)模型的高光譜圖像分類方法

周衍挺 韋 慧

(安徽理工大學數(shù)學與大數(shù)據(jù)學院 安徽 淮南 232001)

0 引 言

高光譜圖像具有豐富的光譜與空間信息，已經(jīng)被廣泛應(yīng)用于各個領(lǐng)域[1-3]。對高光譜圖像的每個像元進行分類是高光譜圖像研究領(lǐng)域的重要內(nèi)容，然而高光譜圖像具有波段多、數(shù)據(jù)量大的特點，導致傳統(tǒng)的分類方法不能有效提取圖像特征，進而對圖像進行地物分類[4-6]。目前，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)由于可以提取圖像不同層次的特征，在圖像處理領(lǐng)域得到了廣泛的應(yīng)用[7-10]，許多研究人員開始利用CNN來對高光譜圖像進行分類。

研究發(fā)現(xiàn)，CNN具有強大的特征提取能力，但是其無法充分地提取高光譜圖像的特征信息，導致圖像分類精度不高[11-12]。近幾年，國內(nèi)外研究者提出了結(jié)合圖像空間信息和光譜信息的圖像分類方法，圖像分類的精度得到了顯著的提高[13-16]。Xu等[13]利用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)去提取高光譜圖像的光譜信息同時利用CNN提取圖像的空間信息，從而提升分類精度。歐陽寧等[14]利用雙通道卷積網(wǎng)絡(luò)同時提取圖像的光譜與空間特征，并采用多模態(tài)壓縮雙線性池化來獲得空譜聯(lián)合特征，達到了提升圖像分類精度的目的。然而文獻[13-14]中的模型在提取空間信息時，對原始數(shù)據(jù)塊進行主成分分析(Principal Component Analysis，PCA)降維處理，導致光譜信息有所損失，降低了模型的分類性能。Chen等[15]利用3D-CNN直接提取圖像塊的光譜-空間信息，保留了圖像光譜高維特征。劉冰等[16]將殘差學習引入3D-CNN，可以提取更深層次的光譜與空間特征，但是其網(wǎng)絡(luò)結(jié)構(gòu)復雜，參數(shù)量大，容易導致過擬合現(xiàn)象。

現(xiàn)有文獻中大部分分類方法都能夠有效地提取高光譜圖像的光譜與空間信息，然而絕大多數(shù)方法無法有效識別特征之間的空間位置、平移與旋轉(zhuǎn)關(guān)系，從而限制了模型的分類能力。文獻[17]中提出膠囊網(wǎng)絡(luò)可以較好地提取特征之間的空間位置?，F(xiàn)有文獻中，將膠囊網(wǎng)絡(luò)應(yīng)用到高光譜圖像分類的相關(guān)研究還比較罕見[18-19]。Paoletti等[18]提出的膠囊網(wǎng)絡(luò)在降低網(wǎng)絡(luò)設(shè)計復雜度的同時，可以提取高光譜圖像的抽象特征，顯著提升了模型在高光譜圖像上的分類精度。Deng等[19]提出了2種淺層膠囊網(wǎng)絡(luò)結(jié)構(gòu)，可以充分提取小樣本高光譜訓練數(shù)據(jù)的特征，進而提升模型在小樣本高光譜圖像上的分類性能。

基于膠囊網(wǎng)絡(luò)的優(yōu)勢，結(jié)合雙通道卷積網(wǎng)絡(luò)模型，本文提出一個基于膠囊網(wǎng)絡(luò)的改進模型(Improved Capsule Networks，ICAP)。該模型不僅能夠充分提取高光譜圖像光譜和空間特征，同時考慮到特征之間的空間位置關(guān)系，降低在高光譜圖像上的分類誤差。

1 膠囊網(wǎng)絡(luò)簡介

1.1 膠囊網(wǎng)絡(luò)結(jié)構(gòu)

膠囊網(wǎng)絡(luò)中包含許多膠囊結(jié)構(gòu)，膠囊是由許多神經(jīng)元組成的，其輸入輸出都是向量。膠囊向量的長度表示膠囊所代表實體的存在概率，方向表示了實體的顏色、方向、位置等屬性。

膠囊網(wǎng)絡(luò)主要由普通的卷積層、PrimaryCaps層以及DigitCaps層組成。卷積層負責提取圖像的初級特征。這一層對圖像進行卷積操作，再經(jīng)過激活函數(shù)得到輸出值。PrimaryCaps層是初始膠囊層，這一層開始使用膠囊來傳遞信息，可以組合前一層卷積層提取的初級特征，并將特征信息以膠囊的形式保留下來。PrimaryCaps層到DigitCaps層之間的連接是向量與向量之間的連接，由動態(tài)路由算法[17]迭代計算出這兩層之間的最優(yōu)參數(shù)。DigitCaps層的膠囊個數(shù)為最終的分類種數(shù)，每個膠囊代表一種實物，其長度代表實物出現(xiàn)的概率。膠囊網(wǎng)絡(luò)采用的是Margin loss損失函數(shù)，其函數(shù)表達式如下：

Lk=Tkmax(0,m+-‖vk‖)2+

λ(1-Tk)max(0,‖vk‖-m-)2

(1)

式中：Lk表示類別k的損失，如果類別k存在，則Tk為1，否則為0。‖vk‖表示膠囊向量的模長，即類別k存在的概率。m+、m-為閾值函數(shù)，表示膠囊之間的連接強度，大于0.9可以認為膠囊之間完全連接，小于0.1可以認為膠囊之間沒有連接。m+為上邊緣閾值，通常取值為0.9，m-為下邊緣閾值，通常取值為0.1。λ為稀疏系數(shù)，可以調(diào)整兩者的比重，通常取值為0.5。

1.2 動態(tài)路由算法

圖1為動態(tài)路由過程。

圖1 動態(tài)路由過程

如圖1所示，一個膠囊的輸入sj是上一層預(yù)測向量uj|i的加權(quán)總和，uj|i為上一層輸出向量的線性組合，如式(2)所示。

(2)

輸入向量sj經(jīng)過擠壓函數(shù)(squashing)處理，得到輸出向量vj，擠壓函數(shù)表達式如下：

(3)

動態(tài)路由算法的主要目的是希望找到一組耦合系數(shù)cij，使得預(yù)測向量uj|i符合輸出向量vj。cij是由路由softmax計算得到的，即：

(4)

其中bij初始化為0，其更新方式為：

bij←bij+ui|j·vj

(5)

2 ICAP模型結(jié)構(gòu)

高光譜圖像是復雜的三維立方體數(shù)據(jù)，且標注訓練樣本的代價過于昂貴，導致訓練樣本較少。從小樣本高光譜圖像中高效提取出圖像的特征信息是解決高光譜圖像分類問題的關(guān)鍵。淺層CNN結(jié)構(gòu)無法充分提取高光譜圖像特征信息，深層CNN結(jié)構(gòu)可以提取圖像更加抽象的高級特征，然而深層的網(wǎng)絡(luò)架構(gòu)參數(shù)量大，在小樣本高光譜圖像分類中容易過擬合。此外，CNN模型中神經(jīng)元之間的傳遞數(shù)據(jù)是標量，無法表示出特征之間的位置關(guān)系。膠囊網(wǎng)絡(luò)利用膠囊向量可以表示出特征的位置、方向以及形變等信息，極大地提升了模型的特征提取能力。

為此，本文給出了一種改進的膠囊網(wǎng)絡(luò)淺層模型，可以在較少的訓練數(shù)據(jù)條件下，充分提取高光譜圖像特征信息，從而取得較高的分類精度。圖2為改進的膠囊網(wǎng)絡(luò)結(jié)構(gòu)，含有5個卷積層、2個PrimaryCaps層、1個融合層(Concat Layer)以及1個DigitCaps層。圖像信息在經(jīng)過卷積處理后，都會經(jīng)過批標準化(Batch Normalization，BN)[20]處理，從而加快訓練速度，降低模型過擬合。1×1卷積核可以對原始圖像塊進行降維，從而減少模型參數(shù)，提升模型的運行效率。雙通道的設(shè)計可以讓圖像信息同時經(jīng)過5×5卷積核與7×7卷積核處理，多尺度提取圖像初級信息，充分獲取圖像的局部與全局特征。虛框里是2個PrimaryCaps層，可以將圖像初級信息封裝為膠囊向量，提取出高光譜圖像特征之間的相對位置信息，并在融合層將2個PrimaryCaps層進行拼接。最后，在DigitCaps層計算出各個地物類別存在的概率，以及Margin Loss損失函數(shù)。

圖2 改進的膠囊網(wǎng)絡(luò)機構(gòu)

3 實驗仿真

3.1 實驗環(huán)境與數(shù)據(jù)集

實驗操作系統(tǒng)為Windows7，主頻為2.60 GHz，顯卡為GTX-1060，并且以keras為框架，使用Python3.6為開發(fā)語言。實驗數(shù)據(jù)為Indian Pines和Pavia University兩個高光譜數(shù)據(jù)集。

Indian Pines數(shù)據(jù)集(IP)由AVIRIS傳感器在美國印第安納州西北部采集得到。數(shù)據(jù)集大小為145×145pixel，包含16種地物，各個地物的樣本數(shù)目如表1所示。空間分辨率為20m/pixel，共有224個波段，去除受覆蓋區(qū)域水吸收的24個波段，保留剩余的200個波段。最后實驗的Indian Pines數(shù)據(jù)集大小為145×145×200。

表1 Indian Pines數(shù)據(jù)集地物樣本數(shù)目

Pavia University數(shù)據(jù)集(PU)是用ROSIS傳感器在帕維亞大學拍攝的高光譜數(shù)據(jù)。數(shù)據(jù)集大小為610×340pixel，包含9種地物，各個地物的樣本數(shù)目如表2所示?？臻g分辨率為1.3m/pixel，共有115個波段，去除受噪聲影響的12個波段，保留剩余的103個波段。最后實驗的Pavia University數(shù)據(jù)集大小為610×340×103。實驗數(shù)據(jù)集在輸入模型之前，要先對數(shù)據(jù)集進行邊緣填充以及數(shù)據(jù)歸一化處理，然后取出圖像塊對模型進行訓練。

表2 Pavia University數(shù)據(jù)集地物樣本數(shù)目

3.2 實驗設(shè)置

表3列出了改進模型的參數(shù)，模型的卷積填充方式均為same模式。

表3 改進模型參數(shù)

Indian Pines數(shù)據(jù)集輸入的圖像塊大小為200×27×27。圖像塊經(jīng)過1×1卷積核的降維處理后，得到64幅大小為27×27的特征圖。然后將64幅特征圖分別輸入兩個卷積通道，經(jīng)過2個卷積層與1個平均池化層的處理，均得到16幅大小為13×13的卷積特征圖。將16幅特征圖在PrimaryCaps層封裝成2×8×7×7的四維張量，并將兩個通道的輸出張量在第一維度上進行拼接，得到4×8×7×7的張量。最后輸入DigitCaps層，得到16個類別膠囊向量。每個膠囊向量的模長代表了對應(yīng)類別存在概率，并以此計算出分類損失。Pavia University數(shù)據(jù)集輸入的圖像塊大小為103×11×11，其分類過程與Indian Pines數(shù)據(jù)集類似。

Indian Pines數(shù)據(jù)集隨機分為10%訓練集、10%驗證集、80%測試集，其中類別Grass-pasture-mowed與Oats的訓練樣本數(shù)目增加到5個，其余類別不變。Pavia University數(shù)據(jù)集隨機分為2%訓練集、2%驗證集、96%測試集。此外，本文采用總體分類精度(OA)，平均分類精度(AA)，Kappa系數(shù)來評估模型的性能。每個模型迭代100次，并將在驗證集中損失函數(shù)最小的模型作為最終測試模型。每個模型均測試5次，取5次實驗精度的平均值為最終結(jié)果。

為了驗證ICAP模型的圖像分類能力，本文設(shè)計了1個2D-CNN模型，圖3為2D-CNN模型的結(jié)構(gòu)圖，該模型全連接層的神經(jīng)元個數(shù)都設(shè)置為128，并在全連接層后都添加Dropout機制，其值設(shè)置為0.5，其余參數(shù)與ICAP模型相同。此外，為了驗證雙通道網(wǎng)絡(luò)的特征提取能力，本文還設(shè)計了兩個膠囊網(wǎng)絡(luò)，記作CAP-1、CAP-2。CAP-1僅保留通道一，CAP-2僅保留通道二，其余參數(shù)與ICAP相同。

圖3 2D-CNN結(jié)構(gòu)

3.3 實驗結(jié)果與分析

圖4與圖5為各模型在Indian Pines數(shù)據(jù)集與Pavia University數(shù)據(jù)集上的分類結(jié)果圖，圖4(a)與圖5(a)為真實值標記圖。從圖中可以看出本文的ICAP模型在2個數(shù)據(jù)集里的分類效果要優(yōu)于2D-CNN、CAP-1、CAP-2。表4為各模型在兩個數(shù)據(jù)集上的分類精度。從表4中可以看出，本文提出的ICAP模型的分類精度要優(yōu)于其他模型。ICAP模型在2個數(shù)據(jù)集里的OA、AA、Kappa系數(shù)均優(yōu)于2D-CNN，說明了膠囊網(wǎng)絡(luò)相比于2D-CNN，可以更好地提取圖像中的光譜與空間信息，并識別特征之間的空間位置信息、平移與旋轉(zhuǎn)關(guān)系，從而提升模型的圖像分類能力。此外，ICAP模型相比于CAP-1、CAP-2模型，OA、AA、Kappa系數(shù)也得到一定的提高。說明了包含5×5、7×7卷積核的雙通道模型可以多尺度的提取圖像初級信息，減少了卷積過程中的信息損失，進而改善模型的分類精度。

圖4 Indian Pines分類結(jié)果

圖5 Pavia University分類結(jié)果

表4 各模型的分類精度對比(%)

3.4 與其他分類方法對比

為了對比其他文獻中的模型，本文使用與文獻中模型相同數(shù)量的訓練樣本與測試樣本進行實驗。

表5列出了各模型在兩個數(shù)據(jù)集上的分類精度，文獻[14]中的SSF-Net模型利用雙通道卷積神經(jīng)網(wǎng)絡(luò)同時提取圖像的光譜與空間信息，并采用多模態(tài)壓縮雙線性池化來獲得空譜聯(lián)合特征，進一步提升了圖像分類精度。文獻[15]中3D-CNN模型利用三維卷積核來提取高光譜圖像的光譜與空間信息，并利用L2正則化、Dropout與構(gòu)造虛擬樣本技術(shù)來減輕模型的過擬合，使得模型在有限的訓練樣本下，仍舊有著較高的分類精度。文獻[18]中的膠囊網(wǎng)絡(luò)重新定義了膠囊結(jié)構(gòu)，使其可以充分提取高光譜圖像的特征信息，在多個高光譜數(shù)據(jù)集上具有較高的分類精度。文獻[19]提出了一種適用于高光譜圖像分類的膠囊網(wǎng)絡(luò)模型，可以提取小樣本高光譜數(shù)據(jù)集中的光譜與空間信息，具有較高的圖像分類精度。

表5 各模型在兩個數(shù)據(jù)集上的分類精度對比(%)

從表5中可以看出，本文ICAP模型不需要添加虛擬樣本，而在Indian Pines數(shù)據(jù)集上的OA、AA、Kappa系數(shù)相比于3D-CNN模型要高出0.81%、0.13%、1.03%，在Pavia University數(shù)據(jù)集上的OA、AA、Kappa系數(shù)相比于3D-CNN模型要高出0.28%、0.17%、0.35%。本文ICAP模型在提取高光譜圖像像素的空間鄰域信息與光譜信息的同時，考慮了特征之間的位置關(guān)系，并且通過在模型中加入1×1卷積層與批標準化層來減輕模型的過擬合，進而提升了模型的分類能力，在Indian Pines數(shù)據(jù)集上的OA、AA、Kappa系數(shù)相比于SSF-Net模型要高出1.12%、0.10%、1.29%，在Pavia University數(shù)據(jù)集上的OA、AA、Kappa系數(shù)相比于SSF-Net模型要高出0.19%、0.84%、0.27%。此外，ICAP模型采用了雙通道結(jié)構(gòu)，進一步提升了膠囊網(wǎng)絡(luò)的特征提取能力。從表5中可以看出，在相等數(shù)量訓練樣本的前提下，ICAP模型在高光譜數(shù)據(jù)集上的OA、AA、Kappa系數(shù)均優(yōu)于文獻[18-19]中的膠囊網(wǎng)絡(luò)。

4 結(jié) 語

膠囊網(wǎng)絡(luò)是目前深度學習領(lǐng)域的研究熱點，在高光譜圖像分類領(lǐng)域里有著巨大的發(fā)展?jié)摿ΑＳ捎趥鹘y(tǒng)CNN模型不能充分提取高光譜圖像特征信息，從而導致圖像分類精度不高。針對這個問題，本文基于膠囊網(wǎng)絡(luò)給出了一種ICAP模型。實驗結(jié)果表明，ICAP模型中多尺度卷積核的選擇有效地改善了高光譜圖像特征信息的細節(jié)提取，充分利用了膠囊網(wǎng)絡(luò)對高光譜圖像細節(jié)特征的提取能力，提取出特征之間空間位置關(guān)系，以提高圖像分類精度。