面向高光譜圖像分類的半監(jiān)督雙流網(wǎng)絡(luò)

黃 鴻，張 臻，嵇 凌，李政英

（1.重慶大學(xué) 光電技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400044；2.中國(guó)電子科技集團(tuán)公司第三十四研究所，廣西 桂林 541004）

1 引 言

高光譜遙感技術(shù)利用高光譜傳感器，以連續(xù)細(xì)分的波段對(duì)目標(biāo)區(qū)域同時(shí)成像，獲取的圖像包含豐富的輻射、空間和光譜信息，廣泛應(yīng)用于地物分類、像元解混等研究中。高光譜遙感圖像分類在土地監(jiān)測(cè)、環(huán)境保護(hù)、防震減災(zāi)等領(lǐng)域發(fā)揮著重要的作用［1-2］。影響高光譜遙感分類精度的因素主要有兩個(gè)，其一是高光譜圖像波段多所導(dǎo)致的“維數(shù)災(zāi)難”問題，其二是光譜異質(zhì)性導(dǎo)致的“同物異譜”“同譜異物”問題［3］。

針對(duì)“維數(shù)災(zāi)難”問題，學(xué)者們提出一系列特征提取方法以改善地物分類性能。按照是否利用樣本先驗(yàn)信息，特征提取方法可分為無(wú)監(jiān)督、監(jiān)督和半監(jiān)督學(xué)習(xí)3種。其中，無(wú)監(jiān)督學(xué)習(xí)方法在無(wú)類別信息的前提下學(xué)習(xí)特征進(jìn)行分類，如主成 分 分 析（Principle Component Analysis，PCA）［4］、鄰域保持嵌入（NPE）［5］。監(jiān)督學(xué)習(xí)方法利用樣本的先驗(yàn)信息來(lái)提升分類性能，典型方法如 線 性 判 別 分 析（LDA）［6］、邊 界Fisher分 析（MFA）［7］和部幾何結(jié)構(gòu)Fisher分析（LGSFA）［8］。高光譜圖像由于標(biāo)記樣本困難，存在著大量未標(biāo)記樣本，半監(jiān)督學(xué)習(xí)能夠同時(shí)利用少量標(biāo)記樣本和大量無(wú)標(biāo)記樣本，取得了更好的分類性能［9］，典型方法包括半監(jiān)督鑒別分析（SDA）［10］、半監(jiān)督局部鑒別分析（SELD）［11］、基于稀疏編碼的幾何子空間投影（SCGSP）［12］和監(jiān)督稀疏流形鑒別分析（S3MDA）［13］。上述方法在高光譜遙感圖像分類中取得了較好的分類結(jié)果，但依賴淺層特征描述子，在地物類別多且空間分布復(fù)雜時(shí)其分類性能受限［14］。

深度學(xué)習(xí)技術(shù)以其優(yōu)秀的非線性映射能力，通過端到端方式從數(shù)據(jù)中分層學(xué)習(xí)高層抽象特征，有效提升了分類性能，代表方法有SAE，DBN，CNN等［15-16］。然而，深度學(xué)習(xí)參數(shù)量較大，依賴于大規(guī)模訓(xùn)練樣本以保證模型的可靠性，且忽略了對(duì)高光譜圖像中內(nèi)部流形結(jié)構(gòu)的探索［17］。黃鴻等提出DMRBN，將對(duì)深層特征的提取和對(duì)高光譜流形結(jié)構(gòu)的探索同時(shí)考慮在內(nèi)，在樣本量較少時(shí)優(yōu)于常用的特征提取方法和端到端模型［18］。然而高光譜圖像具有空間一致性［19］，該方法忽略了訓(xùn)練樣本豐富的空間信息，不利于改善“同物異譜”“同譜異物”問題。

為了綜合利用高光譜圖像標(biāo)記樣本和大量未標(biāo)記樣本的局部空間信息以及光譜信息，本文提出了一種基于深度-流形學(xué)習(xí)的半監(jiān)督雙流網(wǎng)絡(luò)（Semi-supervised Dual Path Network，SSDPNet），以解決“維數(shù)災(zāi)難”以及“同物異譜”“同譜異物”問題。SSDPNet以神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）作為光譜流，2DCNN作為空間流，分別提取深度光譜、空間特征。為了使提取到的特征更具有鑒別性，并且綜合利用大量未標(biāo)記樣本，在圖嵌入框架下設(shè)計(jì)了一種半監(jiān)督流形重構(gòu)圖模型，以度量標(biāo)記樣本之間的流形邊界并保持無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)關(guān)系。此外，設(shè)計(jì)了基于均方誤差和流形學(xué)習(xí)的聯(lián)合損失函數(shù)，以優(yōu)化空間流與光譜流網(wǎng)絡(luò)，通過全連接層自適應(yīng)調(diào)整兩路網(wǎng)絡(luò)權(quán)重，最后利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)測(cè)試像素的標(biāo)簽進(jìn)行預(yù)測(cè)。在黑河與WHU-Hi龍口高光譜數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，該方法有效地利用了光譜和空間信息互補(bǔ)的優(yōu)勢(shì)，在分類精度上具有明顯的優(yōu)勢(shì)。

2 半監(jiān)督雙流網(wǎng)絡(luò)

針對(duì)高光譜圖像分類領(lǐng)域少量標(biāo)記樣本的高維特性，以及光譜異質(zhì)性導(dǎo)致的“同物異譜”、“同譜異物”問題，本文綜合利用大量無(wú)標(biāo)記樣本信息，提出了SSDPNet算法，其流程如圖1所示。

圖1中，x l=[x l，1，x l，2，x l，3…，x l，Nl]，表示標(biāo)記樣本，x u=[x u，1，xu，2，x u，3…，x u，Nu]，表示無(wú)標(biāo)記樣本，以上述樣本為中心，選取11×11尺寸的圖像塊并經(jīng)過PCA算法降維后作為空間流輸入，分別 表 示 為。假 設(shè) 高 光 譜 數(shù) 據(jù) 集χ=[x1，x2，x3，…，x N]，N為樣本個(gè)數(shù)，每個(gè)樣本包含D個(gè)光譜波段，樣本標(biāo)簽l(x i)∈{1，2，…，c}，其中c為樣本類別數(shù)。

圖1 SSDPNet算法流程Fig.1 Flow chart of SSDPNet algorithm

SSDPNet模型由NN，2DCNN，半監(jiān)督流形重構(gòu)圖模型，以及自適應(yīng)全連接層四部分組成。NN和2DCNN分別提取標(biāo)記樣本和大量未標(biāo)記樣本的光譜-空間信息。為了使提取到的特征具有鑒別性，在圖嵌入框架下設(shè)計(jì)了一種半監(jiān)督流形重構(gòu)圖模型，以度量標(biāo)記樣本之間的流形邊界且保持無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)關(guān)系，再由全連接層自適應(yīng)學(xué)習(xí)空-譜兩個(gè)網(wǎng)絡(luò)權(quán)重，得到光譜-空間聯(lián)合鑒別特征，之后進(jìn)行分類。

2.1 半監(jiān)督流形重構(gòu)圖模型

半監(jiān)督流形重構(gòu)圖模型由監(jiān)督重構(gòu)圖M1(·)和無(wú)監(jiān)督圖M2(·)組成。監(jiān)督重構(gòu)圖可學(xué)習(xí)到少量標(biāo)記樣本中的內(nèi)蘊(yùn)流形結(jié)構(gòu)信息。具體來(lái)講，首先對(duì)各樣本點(diǎn)利用與其屬于同一類別的近鄰點(diǎn)進(jìn)行重構(gòu)；然后，利用同類樣本點(diǎn)的近鄰點(diǎn)以及各近鄰點(diǎn)對(duì)應(yīng)的重構(gòu)點(diǎn)設(shè)計(jì)類內(nèi)重構(gòu)圖，在特征提取空間中保持頂點(diǎn)間的相似性，使得類內(nèi)特征更加聚集；與此同時(shí)，利用不同類別樣本點(diǎn)的近鄰點(diǎn)以及各近鄰點(diǎn)對(duì)應(yīng)的重構(gòu)點(diǎn)設(shè)計(jì)類間重構(gòu)圖，在低維投影空間中抑制點(diǎn)間關(guān)系，使得類間特征更加分離。無(wú)監(jiān)督圖用來(lái)探究大量無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)信息，并在特征提取空間中保持這種關(guān)系，使得提取到的特征保持其原有的幾何近鄰結(jié)構(gòu)。

2.1.1 面向標(biāo)記樣本流形結(jié)構(gòu)學(xué)習(xí)的監(jiān)督重構(gòu)圖

由于高光譜圖像具有空間一致性，相鄰像素大概率屬于同類地物，即存在大量同質(zhì)區(qū)域。通過對(duì)各樣本點(diǎn)周圍的同類近鄰樣本進(jìn)行線性重構(gòu)可減少噪聲所帶來(lái)的影響，同時(shí)能更好地保持同類數(shù)據(jù)間的局部線性結(jié)構(gòu)。

對(duì) 于 樣 本點(diǎn)x l，i以及 其 鄰 域點(diǎn)x l，j，二者 之 間的重構(gòu)權(quán)重R ij通過最小化重構(gòu)誤差獲得，相應(yīng)的目標(biāo)函數(shù)定義如下：

為實(shí)現(xiàn)地物精細(xì)分析，對(duì)于從雙流網(wǎng)絡(luò)中提取到的空-譜特征，期望來(lái)自同一類的樣本盡可能地接近，而來(lái)自不同類的樣本盡可能地遠(yuǎn)離。為了實(shí)現(xiàn)該目標(biāo)，在半監(jiān)督流形重構(gòu)圖模型下設(shè)計(jì)了監(jiān)督重構(gòu)圖，它包含一個(gè)類內(nèi)重構(gòu)圖Gw(X，W w)和 一 個(gè) 類 間 重 構(gòu) 圖Gb(X，W b)。Gw(X，W w)用于描述數(shù)據(jù)中被期望保留的特性，其中X表示圖的頂點(diǎn)，為類內(nèi)圖權(quán)值矩陣，用于度量樣本x l，i和x l，j之間的類內(nèi)相似性。若 圖 中 兩 個(gè) 頂 點(diǎn)x l，i，x l，j屬 于 同 一 地 物 類別的kw個(gè)類內(nèi)近鄰點(diǎn)，則用權(quán)值為w wij的邊連接二者，w wij表示了兩頂點(diǎn)之間的相似關(guān)系，具體定義如下：

Gb則表示應(yīng)該被避免的特性，X同樣表示圖的頂點(diǎn)為類間圖權(quán)值矩陣，用于度量樣本x l，i和x l，j之間的類間相似性。若x l，j屬于x l，i的kb個(gè)類間最近鄰點(diǎn)，則將二者用權(quán)值為的邊連接，權(quán)重定義如下：

式中：x l.i∈N K b(x l，j)表示x l，j是x l.i非同類數(shù)據(jù)的K b近鄰點(diǎn)，l(·)同樣代表標(biāo)記樣本標(biāo)簽的one-hot編碼向量。

為使提取到的特征具有可分性，期望類內(nèi)近鄰點(diǎn)與其相應(yīng)重構(gòu)點(diǎn)的距離越來(lái)越近，類間近鄰點(diǎn)與其重構(gòu)點(diǎn)的距離越來(lái)越遠(yuǎn)。因此，類內(nèi)圖目標(biāo)函數(shù)Jw(·)和類間圖目標(biāo)函數(shù)Jb(·)可分別表示為：

式中M w和M b分別定義如下：

因此，監(jiān)督重構(gòu)圖的目標(biāo)函數(shù)M1(·)定義為：

2.1.2 面向未標(biāo)記樣本流形結(jié)構(gòu)學(xué)習(xí)的無(wú)監(jiān)督圖

對(duì)于從雙流網(wǎng)絡(luò)中提取到無(wú)標(biāo)記樣本的空-譜特征，為使它在低維嵌入空間中保持其原有的幾何近鄰結(jié)構(gòu)，在半監(jiān)督流形重構(gòu)圖模型下設(shè)計(jì)了無(wú)監(jiān)督圖。無(wú)監(jiān)督圖利用無(wú)標(biāo)記樣本探索高光譜數(shù)據(jù)的局部幾何鄰域關(guān)系，并在網(wǎng)絡(luò)優(yōu)化過程中，由無(wú)標(biāo)記樣本提取到的深度特征能夠保持原始樣本間的結(jié)構(gòu)信息。

式中：w uij由第i個(gè)和第j個(gè)訓(xùn)練樣本之間的幾何距 離 確 定，且表 示 無(wú)標(biāo)記樣本數(shù)。無(wú)監(jiān)督圖可以在深度特征中保持無(wú)標(biāo)記樣本間的幾何近鄰關(guān)系，相應(yīng)的目標(biāo)函數(shù)為：

式中參數(shù)α和β用于平衡標(biāo)記樣本和無(wú)標(biāo)記樣本對(duì)模型的影響。

2.2 光譜流殘差-流形協(xié)同度量

SSDPNet算法用NN作為光譜流以提取深度光譜特征。假設(shè)NN有H層，則第h層（1＜h＜H）第i個(gè)樣本輸入輸出之間的代數(shù)關(guān)系為：

式中A h和b h是神經(jīng)網(wǎng)絡(luò)第h層的參數(shù)。NN同樣引入均方誤差損失函數(shù)來(lái)度量預(yù)測(cè)值與實(shí)際值的殘差，計(jì)算如下：

SSDPNet的光譜流構(gòu)造了一個(gè)協(xié)同損失函數(shù)，不僅可以計(jì)算預(yù)估結(jié)果和真實(shí)標(biāo)簽向量之間的差值，而且通過設(shè)計(jì)好的半監(jiān)督圖模型提高了提取到的深度特征的可分性，相應(yīng)的損失函數(shù)表示如下：

迭代過程是網(wǎng)絡(luò)優(yōu)化的關(guān)鍵步驟，光譜流的迭代策略設(shè)計(jì)見式（14），并采用隨機(jī)梯度下降法計(jì)算最佳的模型參數(shù)。光譜流損失函數(shù)J1關(guān)于NN第h層網(wǎng)絡(luò)參數(shù)矩陣的梯度：

式中：

算法在訓(xùn)練過程中根據(jù)每一層計(jì)算得到的導(dǎo)數(shù)更新該層的網(wǎng)絡(luò)參數(shù)，若η1表示光譜流學(xué)習(xí)率，則第h層的參數(shù)更新為：

2.3 空間流殘差-流形協(xié)同度量與反向傳播機(jī)制

本文算法采用2DCNN作為空間流提取深度局部空間特征。若輸入N個(gè)圖像塊X Pi(1≤i≤N)，則卷積后特征圖的生成過程如下：

式中：表示卷積神經(jīng)網(wǎng)絡(luò)第m-1層的特征圖，k m表示第m層的卷積核，b m表示偏移向量，最后通過f(·)即sig非線性激活函數(shù)得到第m層的特征圖Y P，mi。

原始圖像X P經(jīng)過卷積層和池化層的交替?zhèn)鬟f，最后通過全連接網(wǎng)絡(luò)得到提取出的特征，并使用均方誤差作為損失函數(shù)。JC(Y P|k，b，AFc)表示為原始圖像X P經(jīng)過前向傳導(dǎo)后所得輸出與期望值的殘差，表示為：

式中：AFc為全連接層權(quán)重，real(·)表示樣本的真實(shí)值。為了使卷積網(wǎng)絡(luò)提取到的局部空間特征具有鑒別性，設(shè)計(jì)了基于空間流的深度流形聯(lián)合損失函數(shù)J2以協(xié)同度量卷積網(wǎng)絡(luò)殘差以及流形間距，J2表示為：

第m層卷積核網(wǎng)絡(luò)參數(shù)b m，k m的梯度分別為：

式中：

若η2表示空間流學(xué)習(xí)率，則第m層參數(shù)更新為：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用黑河以及WHU-Hi龍口公開高光譜數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。黑河數(shù)據(jù)集［20］是由中國(guó)國(guó)家自然科學(xué)基金委員會(huì)黑河計(jì)劃科學(xué)數(shù)據(jù)中心用CASI/SASI傳感器于中國(guó)甘肅省黑河流域地區(qū)采集到的高光譜圖像。該圖像由684×453個(gè)像素和135個(gè)光譜波段組成，共104 917個(gè)已標(biāo)記樣本點(diǎn)?？臻g分辨率為2.4 m，包含玉米、土豆等8種土地物類別，假彩色圖和真實(shí)地物分布如圖2所示。

圖2 黑河數(shù)據(jù)集假彩色圖與顏色標(biāo)記的真實(shí)地物圖Fig.2 False color map and color marked real feature map of Heihe dataset

WHU-Hi龍口數(shù)據(jù)集［21］由武漢大學(xué)RSIDEA研究組收集和共享的高光譜圖像分類研究的基準(zhǔn)數(shù)據(jù)集，是通過安裝在無(wú)人機(jī)頭部上的納米級(jí)高光譜傳感器在中國(guó)湖北省各地的農(nóng)業(yè)區(qū)獲得的，包含玉米、棉花、芝麻、闊葉大豆、窄葉大豆和水稻等9種地物類別。圖像的空間分辨率約為0.463 m，尺寸為550×400，包含270個(gè)波段，假彩色圖和真實(shí)地物分布如圖3所示。

圖3 龍口數(shù)據(jù)集假彩色圖與顏色標(biāo)記的真實(shí)地物圖Fig.3 False color map and color marked real feature map of LongKou dataset

3.2 實(shí)驗(yàn)設(shè)置

為驗(yàn)證本文算法的有效性，選取RAW，無(wú)監(jiān)督學(xué)習(xí)方法PCA，NPE，監(jiān)督學(xué)習(xí)方法LDA，MFA，LGSFA，1DCNN，2DCNN，3DCNN，DMRBN，DLPNet，半 監(jiān) 督 學(xué) 習(xí) 方 法SDA，SELD，SCGSP，S3MDA等與本文方法進(jìn)行對(duì)比。其中，RAW表示不進(jìn)行任何特征提取，直接采用分類器對(duì)樣本進(jìn)行分類。對(duì)于SSDPNet，根據(jù)經(jīng)驗(yàn)α與β均取0.1，訓(xùn)練次數(shù)為3 000，學(xué)習(xí)率設(shè)置為1。以上實(shí)驗(yàn)均在64位Windows操作系統(tǒng)，i7-7800X中央處理器，32 G內(nèi)存的條件下進(jìn)行。每種算法重復(fù)進(jìn)行10次實(shí)驗(yàn)，以均值±標(biāo)準(zhǔn)差（STD）的形式表征總體分類精度（Overall Accuracy，OA）、平均分類精度（Average Accuracy，AA）以及Kappa系數(shù)（Kappa Coefficient，KC），以便綜合比較并判斷各算法的分類性能。OA表示樣本分類正確的個(gè)數(shù)除以總個(gè)數(shù)，它從總體上展現(xiàn)了所有樣本分類正確的概率。AA指每種地物的分類精度取和后求得的平均值，但OA和AA僅側(cè)重于分類結(jié)果正確的樣本，未考慮錯(cuò)分樣本和漏分樣本。鑒于此，引入以離散多元法為基礎(chǔ)的KC來(lái)更全面地評(píng)估算法性能。

為了分析無(wú)標(biāo)記樣本數(shù)目對(duì)網(wǎng)絡(luò)性能的影響，在黑河數(shù)據(jù)集中每類選取5個(gè)標(biāo)記樣本，并且每類分別選取50～500的無(wú)標(biāo)記樣本作為訓(xùn)練集，其余樣本作為測(cè)試，進(jìn)行10次實(shí)驗(yàn)，結(jié)果如圖4所示。

圖4 黑河數(shù)據(jù)集上不同無(wú)標(biāo)記樣本數(shù)目下的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of different unlabeled sample numbers on Heihe data set

從圖4可以看出，OA和KC隨著無(wú)標(biāo)記樣本數(shù)的增加而逐漸變高，而后逐漸趨于穩(wěn)定，證明通過構(gòu)建無(wú)監(jiān)督圖，保持無(wú)標(biāo)記樣本的局部幾何結(jié)構(gòu)，能夠提升網(wǎng)絡(luò)的性能。但當(dāng)無(wú)標(biāo)記樣本數(shù)達(dá)到一定程度后，其內(nèi)部包含的結(jié)構(gòu)信息逐漸趨于飽和，分類精度趨于平穩(wěn)。

3.3 黑河數(shù)據(jù)集實(shí)驗(yàn)

為了評(píng)估每種方法在不同標(biāo)記樣本數(shù)目下的分類精度，每類隨機(jī)選取ni個(gè)（ni=5，10，20，…，50）標(biāo)記樣本，每類500個(gè)無(wú)標(biāo)記樣本進(jìn)行試驗(yàn)。表1給出了每種特征提取方法以及不同標(biāo)記樣本下的10次實(shí)驗(yàn)結(jié)果的分類精度以及標(biāo)準(zhǔn)差。

從表1可以看出，當(dāng)樣本量很小時(shí)，由于先驗(yàn)信息不足，監(jiān)督學(xué)習(xí)方法性能受限，CNN等深度學(xué)習(xí)方法陷入過擬合，LDA，LGSFA等監(jiān)督流形學(xué)習(xí)方法的性能遜于無(wú)監(jiān)督學(xué)習(xí)方法（如PCA、NPE），半監(jiān)督學(xué)習(xí)方法（如SDA，SELD等）優(yōu)于無(wú)監(jiān)督、監(jiān)督學(xué)習(xí)方法。因?yàn)榘氡O(jiān)督學(xué)習(xí)方法不僅可以利用少量標(biāo)記樣本中的先驗(yàn)信息，還可以利用無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)信息。隨著標(biāo)記樣本數(shù)目的增加，各種算法的分類精度逐漸增加，其中深度學(xué)習(xí)方法增速尤為明顯，這是因?yàn)闃?biāo)記樣本可提供充足的鑒別信息，深度學(xué)習(xí)方法可以學(xué)習(xí)到泛化性更強(qiáng)的抽象特征。本文算法在同時(shí)利用了標(biāo)記樣本的空-譜鑒別特征以及大量無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)信息，因此不論樣本數(shù)多還是少，分類精度與其他監(jiān)督、半監(jiān)督、無(wú)監(jiān)督方法相比均具有較強(qiáng)的競(jìng)爭(zhēng)力。

表1 不同算法在黑河數(shù)據(jù)集上的分類結(jié)果（總體分類精度±標(biāo)準(zhǔn)差）Tab.1 Classification results with different methods on Heihe data set（overall accuracy±Std） （%）

為了探究SSDPNet各個(gè)模塊的作用，在黑河數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)中每類選取5個(gè)、50個(gè)標(biāo)記樣本，無(wú)標(biāo)記樣本均為每類500個(gè)。具體設(shè)置為：（1）僅使用2DCNN提取空間特征；（2）在2DCNN基礎(chǔ)上引入半監(jiān)督流形重構(gòu)圖模型，這里稱為2DCNN+SSGragh；（3）僅使用神經(jīng)網(wǎng)絡(luò)提取光譜特征，稱為NN；（4）在神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入半監(jiān)督流形重構(gòu)圖模型，稱為NN+SSGragh。消融實(shí)驗(yàn)結(jié)果如表2所示。

表2 黑河數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果（總體分類精度±標(biāo)準(zhǔn)差）Tab.2 Ablation experimental results on Heihe dataset（overall classification accuracy±standard deviation）

消融實(shí)驗(yàn)結(jié)果表明，2DCNN和NN在半監(jiān)督流形重構(gòu)圖的作用下，分類精度得到進(jìn)一步提升。這是因?yàn)閳D模型可以挖掘樣本中的內(nèi)部流形結(jié)構(gòu)，并且保持無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)，因此可以得到更有鑒別性的特征。SSDPNet的分類結(jié)果是最高的，因?yàn)槠渫ㄟ^全連接層自適應(yīng)調(diào)整空-譜兩路網(wǎng)絡(luò)的權(quán)重，得到具有鑒別性的空間-光譜特征。

為了對(duì)比每種算法在不同地物類別上的分類精度，從黑河數(shù)據(jù)集中隨機(jī)選取0.1%的標(biāo)記樣本、1%的無(wú)標(biāo)記樣本用作訓(xùn)練，其余用作測(cè)試。表3為不同算法下不同地物類別的OA，AA和KC。圖5展示了相應(yīng)的實(shí)際地物分類效果。

從圖5可以看出，本文算法相比其他方法分類圖錯(cuò)分點(diǎn)較少，更為平滑，尤其是在“Corn”“Artificial Surface”類別上取得不錯(cuò)的效果，而其余算法則出現(xiàn)了“椒鹽”現(xiàn)象。表3中，本文算法由于同時(shí)考慮了樣本的局部空間特征、光譜特征以及內(nèi)在流形結(jié)構(gòu)的探索，分類性能得到了有效的提升，因此OA，AA，KC均為最高，且在大多數(shù)地物類別上也取得不錯(cuò)的效果。深度學(xué)習(xí)方法（1DCNN、3DCNN）等在某些地物類別上精度較低且標(biāo)準(zhǔn)差值較大，這是因?yàn)榇祟惖匚飿颖緮?shù)過少以致其陷入過擬合。

圖5 各算法在黑河數(shù)據(jù)集上的分類結(jié)果Fig.5 Classification results of each algorithm on Heihe data set

表3 不同算法在黑河數(shù)據(jù)集上各類地物的分類結(jié)果Tab.3 Classification results of each class samples via different methods on Heihe data set （%）

3.4 龍口數(shù)據(jù)集實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文方法的有效性，同樣在龍口數(shù)據(jù)集中每類隨機(jī)選取ni個(gè)（ni=5，10，20，…，50）標(biāo)記樣本，500個(gè)無(wú)標(biāo)記樣本進(jìn)行試驗(yàn)。表4給出了每種特征提取方法以及不同標(biāo)記樣本下的10次實(shí)驗(yàn)結(jié)果的分類精度以及標(biāo)準(zhǔn)差。

從表4可以看出，各個(gè)算法的分類精度均隨著標(biāo)記樣本數(shù)目的增加而增加，這是因?yàn)閿?shù)目越多的標(biāo)記樣本可以提供的類別先驗(yàn)知識(shí)更加豐富。深度學(xué)習(xí)方法（如CNN，DMRBN）在樣本量較少時(shí)，分類精度不如傳統(tǒng)流形學(xué)習(xí)方法（如MFA，SELD）。這是因?yàn)閿?shù)目不足的訓(xùn)練樣本使其陷入過擬合，但是隨著樣本數(shù)的增加，其強(qiáng)大的非線性映射能力使得其精度逐漸優(yōu)于其他流形學(xué)習(xí)方法。深度流形學(xué)習(xí)方法優(yōu)于1DCNN等深度學(xué)習(xí)方法，因?yàn)樗粌H提取深度抽象信息，還探索了內(nèi)部的流形結(jié)構(gòu)，不過由于只考慮了光譜信息，因此性能遜于3DCNN。本文方法不管在小樣本還是大量樣本的情況下都取得了較高的精度，這是因?yàn)榕c深度學(xué)習(xí)方法相比，SSDPNet不僅利用了標(biāo)記樣本與未標(biāo)記樣本的深度光譜特征，還利用了其周圍的局部空間特征，可以自適應(yīng)調(diào)整空-譜網(wǎng)絡(luò)權(quán)重。此外，還利用了無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)信息。

表4 不同算法在龍口數(shù)據(jù)集上的分類結(jié)果（總體分類精度±標(biāo)準(zhǔn)差）Tab.4 Classification results with different methods on LongKou data set（overall accuracy±std） （%）

為進(jìn)一步研究SSDPNet各個(gè)模塊的作用，在龍口數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)中每類選取5個(gè)、50個(gè)標(biāo)記樣本，500個(gè)無(wú)標(biāo)記樣本。具體設(shè)置為：（1）僅使用2DCNN提取空間特征；（2）在2DCNN基礎(chǔ)上引入半監(jiān)督流形重構(gòu)圖模型，實(shí)驗(yàn)中稱為2DCNN+SSGragh；（3）僅使用神經(jīng)網(wǎng)絡(luò)提取光譜特征，實(shí)驗(yàn)中稱為NN；（4）在神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入半監(jiān)督流形重構(gòu)圖模型，稱為NN+SSGragh。消融實(shí)驗(yàn)結(jié)果如表5所示。

表5 龍口數(shù)據(jù)集下的消融實(shí)驗(yàn)結(jié)果Tab.5 Ablation experimental results on Longkou data set

在龍口數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果證明，訓(xùn)練樣本數(shù)目不同時(shí)，NN和2DCNN兩路網(wǎng)絡(luò)的性能有些許差異，因此需要通過全連接層自適應(yīng)調(diào)整空-譜兩路網(wǎng)絡(luò)的權(quán)重，使得精度占有優(yōu)勢(shì)的網(wǎng)絡(luò)權(quán)重更大，反之權(quán)重更小，SSDPNet性能更加優(yōu)異。該結(jié)果同樣可以證明半監(jiān)督流形重構(gòu)圖對(duì)2DCNN和NN的優(yōu)化作用，因?yàn)樗梢酝诰驑?biāo)記樣本中的內(nèi)部流形結(jié)構(gòu)，并且保持無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)。

為了對(duì)比每種算法在不同地物類別上的分類精度，從龍口數(shù)據(jù)集中隨機(jī)選取0.1%的標(biāo)記樣本、1%的無(wú)標(biāo)記樣本用作訓(xùn)練，其余用作測(cè)試。表6為不同算法下不同地物類別的OA，AA和KC。圖6展示了龍口數(shù)據(jù)集實(shí)際地物分類效果。

圖6中，本文算法產(chǎn)生的同質(zhì)區(qū)域更為平滑，尤其是在“Rice”“Corn”類別上取得了不錯(cuò)的效果。從表6可以看出，SSDPNet對(duì)龍口數(shù)據(jù)集上各類地物的分類精度均較高，各項(xiàng)評(píng)價(jià)指標(biāo)均為最高。由此表明，本文算法能有效地提取標(biāo)記樣本的深度空-譜鑒別信息，比其他只能利用光譜鑒別信息的算法鑒別性更高，性能更好。同時(shí)，SSDPNet能夠有效利用無(wú)標(biāo)記樣本中的局部幾何結(jié)構(gòu)信息，比3DCNN等只能利用標(biāo)記樣本信息的算法精度更高。

圖6 各算法在龍口數(shù)據(jù)集上的分類結(jié)果Fig.6 Classification results of each algorithm on Longkou data set

表6 不同算法在龍口數(shù)據(jù)集上各類地物的分類結(jié)果Tab.6 Classification results of each class samples via different methods on Heihe data set （%）

4 結(jié) 論

本文提出了一種半監(jiān)督雙流網(wǎng)絡(luò)，該網(wǎng)絡(luò)由空-譜雙流網(wǎng)絡(luò)結(jié)構(gòu)、半監(jiān)督流形重構(gòu)圖和一種融合方案組成。光譜流采用NN提取每個(gè)像素點(diǎn)光譜波段的光譜信息，以前述樣本為中心構(gòu)建圖像塊并在空間流中采用2DCNN來(lái)提取空間信息。此外，構(gòu)建了半監(jiān)督圖模型，并設(shè)計(jì)了基于深度-流形聯(lián)合損失函數(shù)以優(yōu)化NN和2DCNN。在網(wǎng)絡(luò)末端通過全連接層來(lái)自適應(yīng)平衡兩個(gè)網(wǎng)絡(luò)的權(quán)重，充分平衡提取到的空-譜特征。在WHU-Hi-龍口和黑河高光譜數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法優(yōu)于其他算法，尤其是在訓(xùn)練樣本量比較少時(shí)具有更加明顯的優(yōu)勢(shì)。但是該方法忽略了利用圖像上下文之間的關(guān)系，因此下一步將探討如何引入圖卷積網(wǎng)絡(luò)，以進(jìn)一步提取圖像豐富上下文信息，并將該算法拓展到目標(biāo)檢測(cè)領(lǐng)域。