聯合分離卷積與密集連接輕量級神經網絡的高光譜圖像分類

宋廷強，宗達，劉童心，范海生，黃騰杰，蔣曉旭，王浩宇

1.青島科技大學 信息科學技術學院,青島 266061;

2.珠海歐比特宇航科技股份有限公司 人工智能研究院,珠海 519080

1 引 言

高光譜圖像中的光譜信息和空間信息可以充分反映地物的物理結構和化學成分，單個像素點包含的信息遠大于高分辨率圖像或者雷達圖像，對于不同的地物類型的敏感度更高，因此更適合用于地物的分類，并已廣泛應用于地物監(jiān)測（Prey 等，2018）、農作物疾病檢測（Zheng 等，2018）、資源勘測（Kirsch 等，2018）等多個領域。

高光譜分類任務需對高光譜圖像的每一個像素點給出其所屬類別。影響分類準確率的原因主要有兩個方面：首先是受成像傳感器的影響，空間分辨率低導致單個像素包含多種地物，出現混合像元（Chang 等，1998）的情況，天氣和大氣氣體的變化也會影響地物的光譜特性（周雨霽和田慶久，2008）；其次是高光譜圖像的高維性，在樣本有限的情況下，當用于分類的特征超過一定限度時，分類精度反而會下降（孫偉偉等，2018）。

在早期的高光譜圖像分類中，人們更關注于圖像的光譜信息，使用支持向量機（Archibald 和Fann，2007）、隨機森林（Joelsson 等，2005）等方法進行分類，Melgani 和Bruzzone（2004）提出了基于支持向量機SVM（Support Vector Machine）的分類方法，但是該方法更適用于解決二分類問題，對于多分類問題和高維度的高光譜數據，矩陣的存儲和計算需要占用大量的機器內存和計算資源。Li 等（2019a）對SVM 進行了改進，基于boost 算法使用多核SVM進行訓練，具有更好的分類性能.

傳統機器學習（Li 等，2015）方法依賴于復雜的特征提取工程，采用主成分分析PCA（Principal Component Analysis））或者其他方法進行降維處理，特征提取的好壞直接影響分類器的效果。隨著深度學習的發(fā)展，卷積神經網絡在特征提取與特征融合方面顯示出了強大的優(yōu)勢，端到端的訓練過程舍棄了特征工程，并在多個領域出色的完成了任務（Redmon 和Farhadi，2018）。同時近年來深度學習也成為高光譜圖像分類的研究熱點（Ball 和Wei，2018；Gao 等，2018；Makantasis等，2015； 張康等，2018），光譜信息與空間信息融合（Mei 等，2017；Fu 等，2015）成為高光譜圖像分類的常用方法。

3D 卷積（He 等，2017）被驗證適用于高光譜圖像的分類任務。Liu 等（2018）提出了高光譜圖像分類的新思路，基于3D 卷積搭建網絡結構，通過遷移學習和數據增強來解決樣本小的問題，這種訓練方式取得了較好的效果，但是以3D 卷積搭建的神經網絡信息傳遞的效率低，3D 卷積的卷積核帶來了大量的參數；Jiao 等（2017）通過計算機視覺中語義分割的方法來完成高光譜圖像分類任務，首先利用PCA 降維和空譜特征融合方法對輸入圖像處理，得到圖像的空間特征，然后使用全卷積網絡FCN（Fully Convolutional Networks）進行分類，具有創(chuàng)新性，但是這種方法無可避免的丟失了大量信息，也舍棄深度學習端到端的優(yōu)勢；Paoletti 等（2019）提出基于殘差結構的神經網絡，但是相比于密集連接，殘差結構雖然保留了信息傳遞但是增加了大量的網絡參數，對于高光譜小樣本來說增大了過擬合的風險；王雷全等（2021）提出使用雙向RNN 提取圖像的光譜信息不適用于高光譜圖像，因為像素中光譜信息相互獨立，使用卷積神經網絡提取光譜變化信息效果要優(yōu)于RNN。

由于高光譜圖像空間分辨率通常較低，標注困難；小樣本類別地物的占地面積小，數據量少，不足以提供大量訓練數據（崔賓閣等，2017）。高光譜分類需要算法增強信息提取能力，同時防止小訓練樣本造成的過擬合情況。為解決上述問題，本文提出了一種基于可分離卷積（Separable convolution）和密集連接（Dense connection）的輕量級卷積神經網絡（Light Network），簡稱SDLN，在光譜信息提取部分使用密集連接，提高特征圖的復用，加入歸一化層和Dropout 降低過擬合的概率，使用可分離卷積替換3D 卷積減少網絡參數，聯合空間光譜信息，在小訓練樣本的情況下也可實現較高的分類精度。

2 相關工作

2.1 可分離卷積

卷積神經網絡（Krizhevsky 等，2012）是一類主要包含卷積計算的前饋神經網絡統稱，按計算方法分為：一維卷積、二維卷積和三維卷積。一維卷積用于處理序列信號的特征，二維卷積用于提取圖像空間特征，三維卷積跟據卷積核的設置可以同時提取空間信息與序列信息，而高光譜圖像可以被視為具有空間信息與光譜信息的三維立體數據塊。許多研究者使用3D 卷積作為基礎結構（Rao 等，2020），但是這種方法需要更多的計算，影響分類效率。

假設輸入數據為(N，Cin，Hin，Win，Din)，3D卷積核大小為(Kh，Kw，Kd)，個數為Kc，空洞率（dilation）為(d1，d2，d3)，步長（Stride）為（S1，S2，S3，），填充（padding）為(P1，P2，P3)則輸出特征圖的大小和卷積計算量FLOPS如下：

Howard 等（2017）提出專注于移動端和嵌入式設備中的輕量級CNN 網絡MobileNet，使用深度可分離卷積替換傳統的卷積操作，將標準卷積分解為depthwise convolution（逐通道卷積）和pointwise convolution（逐點卷積），如圖1所示，首先使用空間卷積對輸入進行特征提取，同時保持通道維度不變，然后使用深度卷積進行通道合并，在有同樣效果的情況下大大降低了模型參數量。

圖1 使用分離卷積代替3D卷積Fig.1 Use the separable convolution instead of 3D convolution

受MobileNet 啟發(fā)，本文將分離卷積引入高光譜分類任務，使用分離卷積代替3D 卷積，將傳統的3D卷積核（Kh，Kw，Kd）替換為（Kh，Kw，1）和（1，1，Kd），保證有相同輸出的同時減少了計算量 。 分 離 卷 積 的 計 算 量 如 下 ：

假設卷積之后的輸出與輸入相同，則分離卷積與3D卷積計算量之比如下：

由此可得，卷積核越大時，分離卷積的計算量相對于3D卷積越少。

2.2 密集連接

高光譜圖像一般包括數百個波段，地物的類別越多，就需要更加細致、更加豐富的特征提取，對于深度學習來說是一個挑戰(zhàn)。傳統的卷積神經網絡為了提高性能一般是加深網絡層數，例如VGG （Visual Geometry Group Network）（Simonyan和Zisserman，2014），或者加寬網絡結構Inception（Szegedy 等，2015），但是這種方法給網絡帶來了更多的參數，對于高光譜圖像數據難標注、數據小的問題，容易出現過擬合的現象。

Huang等（2017）提出了密集連接卷積神經網絡（DenseNet），解決了這一問題，如圖2 所示，該網絡結構的思想是盡可能的保留輸入層到輸出層的信息傳遞，在每一層的輸入之前，將之前所有層的輸出進行連接，作為一個整體的輸入連接到下一層。layerm表示第m層輸出，Hm表示第m層的卷積等操作，計算過程如下：

圖2 密集連接結構Fig 2 Dense block

2.3 Dropout

Dropout 是在神經網絡訓練時正則化的一種手段（Srivastava 等，2014），如圖3 所示，它的原理是使某一層的每個神經元以P的概率失活，把輸入x通過修改后的網絡進行前向傳播，然后把損失結果通過修改后的網絡后向傳播，在第二次前向傳播的過程中，激活全部神經元，再次使每個神經元以P的概率失活，不斷重復以上過程。這種方法減少了神經元之間的相互作用，避免對某一特征的過度依賴。

圖3 全連接層和加入Dropout后全連接層Fig.3 The connection layer and the connection layer with Dropout

由于采用大量的訓練參數和有限的訓練樣本，使得基于深度學習高光譜分類中經常存在過擬合問題。因此，本文在網絡中加入了Dropout來防止這種現象。

2.4 歸一化層（Batch Normalization）

神經網絡訓練的過程本質是擬合訓練數據的過程，當第一層參數出現變化時勢必會影響后面每一層的數據與參數變化，這種現象稱為內部協變量偏移（Internal Covariate Shift）（Santurkar 等，2018）；造成這種現象的原因是在網絡訓練時不同批次的數據分布可能差距過大，網絡為了擬合不同分布的數據會不斷波動，導致網絡難收斂，泛化能力差，BN 層（Ioffe 和Szegedy，2015）的提出解決了這個問題，它的作用是將不同的數據分布拉成均值為0，方差為1 的標準正態(tài)分布，加快了網絡收斂，同時緩解神經網絡中的“梯度彌散”問題。以一個批次（batch）激活層函數的輸出作為輸入，B={x1…m}；計算過程如下：

2.5 網絡結構

網絡結構如圖4所示，首先對全部數據進行歸一化處理，降低不同維度數據之間的差異性，提高網絡梯度下降求最優(yōu)解的速度，假設圖像光譜波段數為N，以11 × 11 ×N的數據塊作為輸入數據。網絡結構整體分為光譜信息提取，光譜壓縮，空間信息與光譜信息融合，投票求解共4個部分。

圖4 網絡結構Fig.4 The network structure

在光譜信息提取部分，目的是對像素點的光譜信息進行深層次提取，密集連接支持特征圖的復用，使用小量卷積核可以生成大量深層特征，搭建3 層卷積層，每層使用1 × 1 × 7 的卷積核進行光譜信息提取，并保持空間信息的獨立性，個數設置為60。結合DenseNet 思想，將第一層網絡輸出與第二層網絡輸出進行光譜維度拼接，輸入到第三層網絡；將第一層、第二層與第三層的輸出同樣進行維度拼接輸入到光譜壓縮部分。

在光譜壓縮部分，使用1 × 1 × 7 的卷積核，設置步長為3，對光譜維進行壓縮，通過減少特征圖的大小，降低更深層網絡的參數量。

在空間信息與光譜信息融合部分，目的是以3 × 3 ×K的感受野同時整合數據的空間信息和光譜信息，其中K的值等于輸入特征圖的光譜維度。使用3D 卷積會引入大量參數，因此使用可分離卷積代替3D 卷積，將3 × 3 ×K的卷積核分解為3 ×3 × 1 的空間卷積和1 × 1 ×K的光譜卷積，此時輸出40張9 × 9 × 1的特征圖。

投票的含義是指如果大部分像素點的輸出為同一個值，則所有值的平均值也會拉到這個值的附近。因此在投票求解部分，使用無參的全局平均池化，將9 × 9 × 1 的特征圖投票得出1 × 1 × 1 的輸出值，將其他總共40個輸出值拼接輸入兩個全連接層，通過softmax 輸出分類。為了避免歸一化層和Dropout層同時使用帶來的方差偏移（Variance Shift）（Li 等，2019b），BN 層放在卷積層之后，Dropout設置在網絡最深層的全連接層之后。

3 實驗和結果分析

3.1 數據集描述

在本文中，基于Indian Pines （IP）、Pavia University（PU）和Kennedy Space Center（KSC）作為研究對象，數據集從http://www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes［2020?08?11］獲得。

（1） Indian Pines （IP）：Indian Pines 數據集（圖5）是由機載可視紅外成像光譜儀（AVIRIS）于1992 年對美國印第安納州一塊區(qū)域進行成像，空間分辨率為20 m，包括苜蓿、免耕玉米地、玉米幼苗、玉米、草地—牧場、草地—樹木、修剪后草地、干草—料堆、燕麥、免耕大豆地、大豆幼苗、修剪后的大豆地、小麥、樹林、建筑—草—樹木—機器、石頭—鋼—塔等16 個地物類型（圖5），成像波長400—2500 nm，共220 個波段，但由于第104—108 波段、第150—163 波段和第220 波段不能被水反射，因此在實驗中剔除這20個波段，選取其他200個波段作為研究對象。

圖5 Indian Pains數據集Fig.5 Indian Pains data set

（2）Pavia University（PU）：Pavia University 數據集（圖6）是由德國的機載反射光學光譜成像儀

ROSIS?03 （Reflective Optics Spectrographic Imaging System）于2003 年對意大利北部帕維亞上空飛行時捕捉到的場景，空間分辨率為1.3 m，包括柏油路、草地、碎石地、樹木、金屬板、裸地、瀝青路、瓷磚路、陰影等9 個地物類型（見圖6），成像波長430—860 nm，共115 個波段，在實驗中剔除了12 個噪聲波段，選取其他103 個波段作為研究對象。

圖6 Pavia University數據集Fig.6 Pavia University dataset

（3） Kennedy Space Center （KSC）：Kennedy Space Centery 數據集是由機載可視紅外成像光譜儀（AVIRIS）于1996 年佛羅里達州肯尼迪航天中心（KSC）成像取得，空間分辨率18 m，如圖7 所示，由于某些植被類型的光譜特征相似，很難區(qū)分這種環(huán)境下的土地覆蓋。為了進行分類，定義了13 個類別，代表該環(huán)境中出現的各種土地覆蓋類型，涵蓋多種濕地及沼澤，共13種類型（見圖7），圖像成像波長400—2500 nm，共224波段，剔除噪聲波段，選用剩余的176個波段作為研究對象。

圖7 Kennedy Space Center數據集Fig.7 Kennedy Space Center data set

3.2 實驗設置

所有的實驗基于Pytorch框架，CPU為Intel Xeon Silver 4114、Memory 為256 G、GPU 為NVIDIA GeForce TITAN Xp。對于本文提出的方法，初始學習率設為0.0005，采用學習率自動下降的方法，迭代次數設為200，每個批次訓練集大小為32；其它方法按照論文作者所設置的參數；同時，為了減少訓練樣本帶來的隨機性，每個試驗重復10 次取平均值作為最終試驗結果。

實驗采用分層抽樣的方式，每個類別按一定比例抽取訓練樣本，舍棄每個類別抽取相同數量訓練樣本的抽樣方式，雖然會增加樣本不均衡問題，但是這種方法會更接近地面真實數據分布。

3.3 用于對比試驗的分類器描述

為了證明比較實驗的有效性，本文選取了經典的機器學習算法和多種先進的深度學習方法作對比試驗：

（1）SSRN：Zhong 等（2018）提出的3D 空譜聯合深度學習網絡，SOTA算法；

（2） SVM?RBF：基于高斯核函數的支持向量機；

（3）MDGCN：Wan 等（2020）提出的多尺度動態(tài)圖卷積網絡用于高光譜圖像分類；

（4）DBDA：Li 等（2020）提出基于空間注意力機制與光譜注意力機制的雙分支神經網絡，通過搭建光譜分支與空間分支提取信息后進行信息融合；

（5）pResNet：Paoletti 等（2019）通過使用金字塔形殘差塊搭建深層卷積網絡模型。

3.4 實驗及結果

為驗證分類效果，本實驗采用總體精度OA（Overall Accuracy）、平均精度AA（Average Accuracy）和Kappa系數（Kappa）進行評價。

第1 個實驗采用Indian Pines 數據集，按照分層抽樣的方法，每個類別選取5%的數據作為訓練集，實驗結果如表1和圖8所示。

圖8 不同方法的Indian Pines分類結果圖Fig.8 Results of Indian Pines data set classification by different methods

表1 Indian Pines數據集不同方法分類精度Table 1 Accuracy of Indian Pines data set classification by different methods

由表1 給出的實驗結果可以看出，本文提出的網絡對于IP 數據集有更好的分類性能，使用5%數據集訓練，整體精度達到97.4%，平均精度達到95.0%，Kappa 達到0.97，相比于雙分支雙注意力機制網絡，OA 提高1%，Kappa 提高0.21，相比于支持向量機，整體性能提高20%以上；SDLN相比于pResNet、SVM 的結果基本消除了“椒鹽現象”。

第2 個實驗采用Pavia University 數據集，按照分層抽樣的方法，每個類別選取0.5%的數據作為訓練集，實驗結果如表2和圖9所示。

表2 Pavia University數據集不同方法分類精度Table 2 Accuracy of Pavia University data set classification by different methods

圖9 不同方法的Pavia University分類結果圖Fig.9 Results of Pavia University data set classification by different methods

從表2 給出的實驗數據中可以看出，在使用0.5%數據集訓練，OA、AA、Kappa分別達到97.6%，97.1%，0.968，優(yōu)于其他方法，草地、裸土、瀝青路這3種地物的分類準確率高于99%，柏油路、樹木、金屬板、陰影這4 種地物的分類準確率高于97%；第8 類是瓷磚路，5 種方法對該類的分類精度不高，錯分的情況比較多，本文提出的方法取得了最好的結果，相比pResNet網絡提高23.8%。

第3 個實驗采用Kennedy Space Center 數據集，按照分層抽樣的方法，每個類別選取5%的數據作為訓練集，實驗結果如表3和圖10所示。

從表3 給出的實驗數據中可以看出，在使用5%數據集訓練，OA、AA、Kappa分別達到99.2%，98.8%，0.991，同時在沼澤、硬木、米草濕地、香蒲濕地、水這5個類別中分類準確率達到了100%；從圖10 可以看出，本文方法的分類結果更接近地面的真實值。

圖10 不同方法的Kennedy Space Center分類結果圖Fig.10 Results of Kennedy Space Center data set classification by different methods

表3 Kennedy Space Center 數據集不同方法分類精度Table 3 Accuracy of Kennedy Space Center data set classification by different methods

3.5 消融實驗

為了驗證密集連接和可分離卷積的有效性，刪除了密集連接、使用3D 卷積替換可分離卷積并進行了實驗。由于刪除了密集連接，網絡輸出特征圖的第3個光譜維度減少，深層的卷積核大于特征圖的維度，因此對卷積核進行了縮放處理。實驗結果見圖11，從中可以得出，加入密集連接和可分離卷積使網絡平均有2.7%以上的精度提高。

圖11 密集連接和可分離卷積的有效性Fig.11 Effectiveness of the Dense Connection and Separable Convolution

3.6 不同數量訓練樣本對結果的影響

本文對算法進行了進一步的評估，在IP、UP、KSC 這3 個數據集上，設置不同大小的訓練數據，測試了不同算法的泛化能力。

從圖12 給出的分析結果中可以看出，隨著數據集的增加，各種方法的整體精度、平均精度、Kappa系數都不斷提高，精度差距縮小。本文提出的網絡即使在小樣本的情況下，也取得較好的分類表現，達到了最高分類精度。對于IP 數據集，使用3%數據作為訓練，總體分類精度可以達到96%，使用5%作為訓練，總體分類精度可以達到97%；對于Pavia University 數據集，該數據集的空間分辨率高，混合像元少，使用0.6%的數據足以使整體分類精度達到98%，使用更大的數據對提升分類精度效果不大；對于KSC 數據集，本文提出的網絡在OA、AA 指標上都優(yōu)于其他算法，使用5%數據訓練，OA達到99.2%。

圖12 SSRN，SVM，MDGCN，DBDA，pResNet和本文方法在IP，PU，KSC中不同訓練集大小下的OA、AA、Kappa結果Fig.12 The OA，AA，Kappa results of SVM，MDGCN，DBDA，pResNet and SDLN methods with varying proportions of training samples on the IP，PU

3.7 測試不同大小訓練樣本輸入對結果的影響

在IP 數據集進行輸入數據大小對分類精度的測試，Batchsize 為32，Epoch 為200，將全部數據集按5%：95%的比例劃分為訓練集、測試集。如圖13 所示，左側代表實驗指標（Kappa×100），右側代表訓練所需時間（單位為秒）。結果表明，增大輸入數據的尺寸能使數據帶有更多的空間信息，也會使每一層的特征圖尺寸增加，造成網絡參數增加，訓練時間加長。當輸入數據為9 × 9 和11 ×11 時，網絡能達到精度與效率的平衡；因為IP 數據集的空間分辨率為20 m，當輸入數據為13 × 13時，太大的空間信息對于網絡分類精度的提升并沒有幫助，效果反而下降。

圖13 不同大小輸入數據分類精度與訓練所需時間Fig.13 Classification accuracy and training time of input data of different sizes

3.8 比較各個算法的運行時間

對IP 數據集測試了不同算法訓練測試所需的時間，Batchsize 為16，Epoch 為200，輸入數據設定為5 × 5 的數據塊，將全部數據集按5%：95%的比例劃分為訓練集、測試集。如圖14 所示，柱狀圖代表訓練所需時間，折線圖代表測試所需時間（單位為秒）。

圖14 不同算法訓練測試所需時間Fig.14 Time required for training and testing of different algorithms

由圖14 可知，在相同數據大小輸入下，本文提出的網絡在速度上達到了最優(yōu)，網絡使用淺層密集連接，減少了卷積核參數量，增加了信息傳遞效率，在空間特征提取部分使用無參數的全局平均池化，減少了訓練參數量。相比pResNet 網絡，訓練時間縮短66.8%，測試時間縮短76.5%。

4 結 論

為了提高小樣本下高光譜圖像分類的精度和速度，采用光譜密集連接方式增加了特征圖的復用，提高了算法的光譜特征提取能力，使用分離卷積代替3D 卷積提高算法運行效率，基于IP、PU和KSC 這3 個數據集，與SSRN 等先進深度學習進行精度對比、消融實驗、運行時間對比等多個實驗，證明了本文提出的算法可以有效提高高光譜圖像的分類精度，在精度和效率上都獲得了理想的效果，相比于3D 卷積，深度可分離卷積能夠有效提高算法運行效率，密集連接能夠更好的提取地物的光譜信息，提高分類精度。

同時也研究了訓練數據大小與輸入數據大小對分類精度的影響，隨著訓練數據的增加或者輸入數據的增大，網絡的分類精度提升，但是超過一定界限，過多的訓練數據和過大的輸入數據會帶來冗余信息增加，使分類精度降低。

通過實驗發(fā)現在高光譜數據集和真實的遙感圖像中普遍存在樣本不均衡的問題，每個地物的數量是不同的，但是數量少的地物并不意味著重要程度低。不平衡的樣本類別會造成分類模型的效果下降，分類器會偏向于學習大的類別，小類別數據的分類精度降低，因此下一步將重點研究高光譜圖像中類別不均衡問題，提高小類別數據的分類效果。

志 謝感謝珠海歐比特人工智能研究院提供的技術支持和山東省重點研發(fā)計劃的基金資助，在此表示衷心的感謝！