融合棧式自編碼與CNN的高光譜影像作物分類方法

郭 交 李儀邦 董思意 張偉濤

(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院， 陜西楊凌 712100；2.陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室， 陜西楊凌 712100；3.西安電子科技大學(xué)先進(jìn)遙感技術(shù)研究院， 西安 710071)

0 引言

通過遙感技術(shù)對農(nóng)作物進(jìn)行精準(zhǔn)分類，對于指導(dǎo)農(nóng)業(yè)生產(chǎn)具有重要的意義。在遙感技術(shù)方面，涌現(xiàn)出普通光學(xué)遙感、多光譜遙感、微波遙感等一系列遙感技術(shù)。其中高光譜遙感技術(shù)作為一種新型的對地觀測方法，相較于普通光學(xué)遙感，具有空間信息與光譜信息合一、光譜分辨率高的特點(diǎn)，可提供豐富的觀測信息，進(jìn)而實(shí)現(xiàn)精準(zhǔn)的作物參數(shù)反演、病蟲害檢測、作物估產(chǎn)與精細(xì)分類。高光譜遙感技術(shù)逐漸在農(nóng)業(yè)遙感及精準(zhǔn)農(nóng)業(yè)領(lǐng)域獲得了廣泛的應(yīng)用[1-4]。

高光譜遙感地物分類的過程中，原始光譜數(shù)據(jù)維度高，若直接使用完整的原始光譜信息進(jìn)行分類，會導(dǎo)致Hughes現(xiàn)象[5]，嚴(yán)重影響高光譜遙感影像地物分類的精度。此外，在大尺度的高光譜影像地物分類任務(wù)中，難以完整獲取準(zhǔn)確的地面真實(shí)分布信息，存在訓(xùn)練樣本過少的問題，無法有效地發(fā)揮神經(jīng)網(wǎng)絡(luò)技術(shù)的分類能力。如何有效利用原始影像數(shù)據(jù)中豐富的光譜信息，在盡可能使用少量的訓(xùn)練樣本下提升分類精度，同時(shí)避免Hughes現(xiàn)象，成為研究熱點(diǎn)[6]。對于傳統(tǒng)的高光譜影像，地物分類方法都采用先降維后分類的處理思路。在高光譜影像特征降維方面，通常采用主成分分析(Principal component analysis，PCA)、獨(dú)立分量分析(Independent component analysis，ICA)等算法[7-8]進(jìn)行特征降維，但這類方法僅利用了光譜信息，沒有利用空間信息。為了更好地利用高光譜影像中的空譜信息，形態(tài)學(xué)特征、空間變換域特征等空間信息的加入，優(yōu)化了高光譜影像的降維效果[9-11]。在分類方法方面，K最近鄰(K-nearest neighbor，KNN)算法、支持向量機(jī)(Support vector machine，SVM)算法等在高光譜影像分類方面取得了較好的效果?；谌斯ど窠?jīng)網(wǎng)絡(luò)(Artificial neural network，ANN)的深度學(xué)習(xí)方法憑借其出色的特征提取能力，在高光譜影像處理領(lǐng)域得到了廣泛應(yīng)用[12-17]。除了直接應(yīng)用于數(shù)據(jù)分類外，棧式自編碼網(wǎng)絡(luò)(Stacked autoencoder，SAE)作為一種典型的深度學(xué)習(xí)網(wǎng)絡(luò)，在高光譜影像特征降維方面也體現(xiàn)出一定優(yōu)勢。HINTON等[18]研究表明深層的自編碼器(Autoencoder，AE)可以有效地對高維特征進(jìn)行低維表征，取得了很好的降維效果[19-21]。

在實(shí)際使用深度學(xué)習(xí)方法進(jìn)行高光譜影像分類過程中，這種先特征降維，后分類的數(shù)據(jù)處理方式將特征降維與分類2個(gè)步驟割裂開，而且理論上無法保證降維后的特征一定適應(yīng)分類網(wǎng)絡(luò)的要求，從而影響分類效果。文獻(xiàn)[22]提出了直接使用SAE對高光譜影像進(jìn)行分類的方法，通過SAE的“微調(diào)”(Fine-tuning)過程，優(yōu)化網(wǎng)絡(luò)參數(shù)，提高分類精度。但該方法的分類方法較為簡單，并未較好地利用降維后的數(shù)據(jù)進(jìn)行分類。

針對以上問題，本文充分利用SAE的數(shù)據(jù)降維優(yōu)勢與卷積神經(jīng)網(wǎng)絡(luò)(CNN)的分類優(yōu)勢，通過對這2種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的有機(jī)融合，構(gòu)建用于高光譜影像作物分類的統(tǒng)一架構(gòu)，僅通過一次監(jiān)督訓(xùn)練，即可實(shí)現(xiàn)原始高光譜影像的直接分類，從理論上確保降維后的特征與分類器需求完全一致，以期簡化傳統(tǒng)高光譜影像作物分類的處理流程，提高分類精度。

1 研究方法

針對高光譜影像分類中訓(xùn)練樣本不足，特征降維與分類過程割裂等問題，本文結(jié)合SAE高效的降維能力與CNN網(wǎng)絡(luò)的分類能力[23]，提出了一種融合棧式自編碼網(wǎng)絡(luò)與CNN的高光譜影像作物分類方法，構(gòu)建了一種降維與分類為一體的融合網(wǎng)絡(luò)。

1.1 棧式自編碼網(wǎng)絡(luò)

SAE是一種多層網(wǎng)絡(luò)結(jié)構(gòu)，它由簡單的自編碼器棧式連接而成[24]。圖1為單層自編碼器結(jié)構(gòu)圖，包括輸入層、中間隱層與輸出層。自編碼器盡可能使輸入數(shù)據(jù)等于輸出數(shù)據(jù)，在中間隱層中重構(gòu)輸入信號，實(shí)現(xiàn)數(shù)據(jù)的有效降維[25]。

在自編碼器中，數(shù)據(jù)會通過編碼與解碼過程，實(shí)現(xiàn)數(shù)據(jù)降維。規(guī)定輸入數(shù)據(jù)為x={x1,x2,…,xn}，中間隱層輸出為h={h1,h2,…,hm}，自編碼器輸出為y={y1,y2,…,yn}。在自編碼器的編碼與解碼過程中，輸入數(shù)據(jù)分別經(jīng)過變換

h=f(Wyx+by)

(1)

y=g(Wzh+bz)

(2)

式中f(·)、g(·)——激活函數(shù)，一般取sigmoid函數(shù)

Wy——輸入層神經(jīng)元與中間隱層神經(jīng)元間的權(quán)重矩陣

by——輸入層神經(jīng)元與中間隱層神經(jīng)元間的偏置

Wz——輸出層神經(jīng)元與中間隱層神經(jīng)元間的權(quán)重矩陣

bz——輸出層神經(jīng)元與中間隱層神經(jīng)元間的偏置

自編碼網(wǎng)絡(luò)的訓(xùn)練可以概括為通過反向傳播算法(Backpropagation algorithm)，不斷訓(xùn)練參數(shù){Wy,Wz}與{by,bz}來最小化損失函數(shù)，本文規(guī)定損失函數(shù)為均方誤差(Mean square error，MSE)。

SAE由簡單的自編碼網(wǎng)絡(luò)棧式連接而成，每層自編碼器均進(jìn)行單獨(dú)訓(xùn)練，將前一層自編碼的輸出作為下一層自編碼器的輸入，構(gòu)成SAE，具備更好的數(shù)據(jù)低維特征提取能力，如圖2所示。

在完成SAE的無監(jiān)督訓(xùn)練后，提取編碼器網(wǎng)絡(luò)。將編碼器網(wǎng)絡(luò)與Softmax分類器連接，使用少量的樣本進(jìn)行簡單的有監(jiān)督訓(xùn)練，實(shí)現(xiàn)編碼器網(wǎng)絡(luò)參數(shù)的微調(diào)(Fine-tuning)，使編碼器網(wǎng)絡(luò)的泛化能力更強(qiáng)[26-28]，得到更好的數(shù)據(jù)降維效果，其訓(xùn)練模式如圖3所示。

1.2 SAE與CNN融合的可行性分析

高光譜遙感影像作為一種高維遙感數(shù)據(jù)，采用SAE對高維遙感數(shù)據(jù)進(jìn)行特征降維并使用CNN對降維后數(shù)據(jù)進(jìn)行分類，在分類精度上具有較大的優(yōu)勢[24]，但是數(shù)據(jù)的特征降維過程與數(shù)據(jù)的分類過程仍然是兩步的割裂過程。

首先，通過深入分析SAE與CNN 2種網(wǎng)絡(luò)結(jié)構(gòu)可以看出，二者均采用原理相同的前向傳播和基于梯度下降的誤差反向傳播，在訓(xùn)練的過程中存在共性，具備網(wǎng)絡(luò)融合的理論基礎(chǔ)。其次，在完成SAE的訓(xùn)練后，可以提取編碼器網(wǎng)絡(luò)，結(jié)合Softmax分類器對SAE監(jiān)督訓(xùn)練，實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)的微調(diào)和更好的數(shù)據(jù)降維效果。基于以上分析，利用CNN網(wǎng)絡(luò)代替原先網(wǎng)絡(luò)中的Softmax分類器，進(jìn)一步對降維后的數(shù)據(jù)進(jìn)行特征提取。最終在同一個(gè)網(wǎng)絡(luò)中同時(shí)實(shí)現(xiàn)高維數(shù)據(jù)的降維與分類，充分利用SAE的數(shù)據(jù)降維能力與CNN的特征提取與分類能力，構(gòu)建融合網(wǎng)絡(luò)，簡化數(shù)據(jù)處理流程，并且使降維后的低維特征更加適合CNN進(jìn)行分類，提高分類精度，2種網(wǎng)絡(luò)的融合示意圖如圖4所示。

1.3 整體網(wǎng)絡(luò)結(jié)構(gòu)

結(jié)合SAE較強(qiáng)的數(shù)據(jù)特征提取能力與CNN網(wǎng)絡(luò)的分類能力，提出了如圖5所示的網(wǎng)絡(luò)融合結(jié)構(gòu)，完成2個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的有機(jī)融合，簡化數(shù)據(jù)處理流程，并提高數(shù)據(jù)分類精度。

本文構(gòu)建的網(wǎng)絡(luò)整體上由數(shù)據(jù)輸入、數(shù)據(jù)降維、CNN特征提取及數(shù)據(jù)分類4部分組成。在數(shù)據(jù)降維部分，構(gòu)建了一個(gè)4層的SAE，實(shí)現(xiàn)單個(gè)像素點(diǎn)原始光譜數(shù)據(jù)的x-220-64-32-24降維；在CNN特征提取部分，構(gòu)建了一個(gè)3分支并行結(jié)構(gòu)的一維卷積神經(jīng)網(wǎng)絡(luò)(1 dimensional convolutional neural networks，1d-CNN)，該結(jié)構(gòu)借鑒了Inception模塊結(jié)構(gòu)[24]，通過多個(gè)并行的CNN分支來實(shí)現(xiàn)不同感知野的特征提取，其中分支1首先采用了20個(gè)1×3卷積核進(jìn)行卷積，隨后采用60個(gè)1×3卷積核進(jìn)行卷積；分支2則采用了60個(gè)1×3卷積核進(jìn)行卷積；分支3采用了50個(gè)1×3卷積核完成卷積。上述每個(gè)卷積操作后均加入批量標(biāo)準(zhǔn)化(Batch normalization，BN)層與線性整流函數(shù)(Rectified linear units，ReLU)層；在數(shù)據(jù)分類部分，即在3個(gè)分支網(wǎng)絡(luò)結(jié)構(gòu)后，使用Add操作將3個(gè)分支所提取的特征激活值進(jìn)行累加，最終由Softmax分類器得到n類的概率結(jié)果，完成分類。

在模型使用中，首先選取一定數(shù)量或比例的已知像素點(diǎn)作為訓(xùn)練集，采用逐層貪婪式訓(xùn)練算法預(yù)訓(xùn)練SAE，并提取編碼器網(wǎng)絡(luò)，其次將提取的編碼器網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)連接，使用有監(jiān)督訓(xùn)練方式對整體網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對CNN參數(shù)的訓(xùn)練以及預(yù)編碼器網(wǎng)絡(luò)參數(shù)的微調(diào)，最終完成模型訓(xùn)練。

1.4 數(shù)據(jù)集選擇

選擇了Pavia University和雄安地區(qū)2組公開的高光譜遙感影像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。Pavia University數(shù)據(jù)集由ROSIS成像光譜儀在意大利Pavia University上空采集。對應(yīng)的觀測場景中包含9種地物類別。數(shù)據(jù)集共包含115個(gè)光譜波段信息，其波長范圍為400～860 nm，空間分辨率為1.3 m。去除12個(gè)干擾噪聲波段，最終剩下103個(gè)有效波段信息，圖像尺寸為610像素×340像素。Pavia University數(shù)據(jù)集信息如圖6所示。

雄安新區(qū)馬蹄灣村航空高光譜遙感影像分類數(shù)據(jù)集由中國科學(xué)院空天信息創(chuàng)新研究院發(fā)布[29]，對應(yīng)場景中包含20種地物類別。數(shù)據(jù)集包含了400～1 000 nm的250個(gè)有效光譜波段信息，空間分辨率為0.5 m，圖像尺寸為3 750像素×1 580像素，雄安數(shù)據(jù)集信息如圖7所示。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)與評價(jià)

將本文方法與文獻(xiàn)[14]提出的1d-CNN方法、文獻(xiàn)[22]提出的SAE方法進(jìn)行對比，其中對文獻(xiàn)[14]中的1d-CNN方法進(jìn)行了修改，實(shí)現(xiàn)類似x-220-64-32-24的降維過程。在分類效果評估中，使用了總體分類精度(Overall accuracy，OA)與Kappa系數(shù)(Kappa)作為分類性能的評估指標(biāo)。此外，本實(shí)驗(yàn)采用的硬件環(huán)境為Intel i7-8750H CPU，Quadro P600 GPU，使用的軟件環(huán)境為Python 3.8.2，TensorFlow 2.3.1。

其它實(shí)驗(yàn)參數(shù)設(shè)置：訓(xùn)練集均采用隨機(jī)方式進(jìn)行選取，對于Pavia University數(shù)據(jù)集，每一類的訓(xùn)練集數(shù)量為該類像素?cái)?shù)的10%；對于雄安數(shù)據(jù)集，訓(xùn)練集樣本數(shù)量約為每一類像素?cái)?shù)目的1%。 對于本文提出的方法，在訓(xùn)練的過程中，預(yù)訓(xùn)練采用的損失函數(shù)為均方誤差損失函數(shù)(MSE)，采用的優(yōu)化器為自適應(yīng)矩估計(jì)(Adaptive moment estimation，Adam)，學(xué)習(xí)率設(shè)定為0.001；整體訓(xùn)練采用損失函數(shù)為交叉熵?fù)p失函數(shù)(Categorical cross entropy)，采用的優(yōu)化器為Adam，學(xué)習(xí)率設(shè)定為0.000 1。預(yù)訓(xùn)練階段采用較大的學(xué)習(xí)率，用于加速網(wǎng)絡(luò)的收斂，節(jié)約預(yù)訓(xùn)練的時(shí)間。在整體訓(xùn)練的過程中，采用較小的學(xué)習(xí)率，讓網(wǎng)絡(luò)參數(shù)均得到最優(yōu)解，優(yōu)化參數(shù)微調(diào)效果[30]。

2.2 Pavia University數(shù)據(jù)集實(shí)驗(yàn)與結(jié)果分析

圖8為Pavia University數(shù)據(jù)集在3種不同方法下的分類結(jié)果，表1為分類精度結(jié)果統(tǒng)計(jì)。由圖8、表1可以看出，在采用相同測試集的情況下，本文提出的方法優(yōu)于其他方法，其OA與Kappa系數(shù)分別為98.73%和0.983 1，其中OA相較于SAE和1d-CNN分別提高了9.25個(gè)百分點(diǎn)和8.79個(gè)百分點(diǎn)，Kappa系數(shù)分別提升了0.126 1和0.118 8。

2.3 雄安數(shù)據(jù)集實(shí)驗(yàn)與結(jié)果分析

雄安地區(qū)高光譜遙感數(shù)據(jù)集共包含了20種地物，圖9為該數(shù)據(jù)集在不同方法下的分類結(jié)果，表2為分類精度指標(biāo)統(tǒng)計(jì)結(jié)果。在采用相同測試集的情況下，本文方法的OA與Kappa系數(shù)分別達(dá)到了98.04%和0.977 3，其中OA相較于其它方法分別提高了9.00個(gè)百分點(diǎn)和7.07個(gè)百分點(diǎn)，Kappa系數(shù)分別提高了0.104 9和0.082 4。

2.4 實(shí)驗(yàn)結(jié)果分析

通過以上實(shí)驗(yàn)結(jié)果可以看出，本文所提出的高光譜影像作物分類方法相較于其它方法在分類精度上均有所提升，對于Pavia University數(shù)據(jù)集與雄安數(shù)據(jù)集，在選用訓(xùn)練集僅占全部像素點(diǎn)數(shù)目10%與1%的情況下，其整體分類精度最高分別提升了8個(gè)百分點(diǎn)和7個(gè)百分點(diǎn)，而且對于觀測場景中的每一類作物，本文所提出的算法均取得了較優(yōu)的分類精度。

表1 不同方法在Pavia University數(shù)據(jù)集的分類效果Tab.1 Classification results with different methods of Pavia University dataset

表2 不同方法在雄安數(shù)據(jù)集的分類效果Tab.2 Classification results with different methods of Xiong’an dataset

3 結(jié)論

(1)提出了一種融合棧式自編碼網(wǎng)絡(luò)與CNN的高光譜影像作物分類方法，該方法結(jié)合了SAE與CNN的優(yōu)點(diǎn)，只需經(jīng)過簡單的無監(jiān)督預(yù)訓(xùn)練和一次有監(jiān)督訓(xùn)練，即可在一個(gè)網(wǎng)絡(luò)中同時(shí)實(shí)現(xiàn)高光譜遙感數(shù)據(jù)的有效降維與分類，簡化了傳統(tǒng)高光譜影像分類的復(fù)雜流程。

(2)通過本文所提出的分類方法，在數(shù)據(jù)量較小的Pavia University數(shù)據(jù)集中，分類精度達(dá)到了98.73%，相對于傳統(tǒng)方法提高了約8個(gè)百分點(diǎn)，在數(shù)據(jù)量較大的雄安數(shù)據(jù)集中，分類精度達(dá)到了98.04%，相對于傳統(tǒng)方法提高了約7個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法適用于高光譜影像作物分類任務(wù)，能夠提高農(nóng)作物的識別分類精度。