有監(jiān)督的鄰域保留嵌入的高光譜遙感影像特征提取

駱仁波,皮佑國(guó)

華南理工大學(xué)自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室,廣東廣州 510640

有監(jiān)督的鄰域保留嵌入的高光譜遙感影像特征提取

駱仁波,皮佑國(guó)

華南理工大學(xué)自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室,廣東廣州 510640

提出一種名為判別監(jiān)督鄰域保留嵌入的新型特征提取算法(discriminative supervised neighborhood preserving embedding,DSNPE)。在高維超光譜遙感圖像特征提取過程中,DSNPE不但能保留圖像的局部流形結(jié)構(gòu)和鄰域信息,而且采用像素點(diǎn)由鄰域同類像素點(diǎn)線性表示,將鄰域中同類和非同類像素點(diǎn)分開處理,利用判別分式求解最優(yōu)投影矩陣,使高維像素點(diǎn)投影到低維空間時(shí),同類點(diǎn)離得盡可能近,非同類點(diǎn)離得盡可能遠(yuǎn),有利于圖像的分類。對(duì)3幅超光譜遙感圖像的特征提取及分類的試驗(yàn)說明,與主成分分析(PCA)、非參數(shù)權(quán)重特征提取(NWFE)、局部保留投影(LPP)、鄰域保留嵌入(NPE)等相比,具有一定的優(yōu)越性和可判別性。

超光譜遙感圖像;特征提取;分類

1 引 言

隨著遙感技術(shù)的不斷發(fā)展,超光譜遙感圖像數(shù)據(jù)的獲取也變得越來越容易。超光譜遙感圖像包含的光譜頻帶波段數(shù)量多,信息豐富,廣泛應(yīng)用于地表目標(biāo)識(shí)別領(lǐng)域,如環(huán)境監(jiān)測(cè)[1]、土地農(nóng)作物分析[2]、氣象分析[3]等。近年來,如何精確智能地區(qū)分超光譜地表遙感圖像中不同種類的地物已成為一個(gè)新興熱門的研究領(lǐng)域,其面臨的主要困難是圖像分類時(shí)訓(xùn)練樣本的數(shù)量有限,不能建立精確的分類器模型,且易產(chǎn)生Hughes現(xiàn)象[4]。因而高維遙感圖像特征提取算法研究引起了廣泛的興趣并獲得了快速發(fā)展,如log Gabor濾波器[5]、基于融合點(diǎn)云的特征提取法[6]。圖像特征提取在降維的同時(shí)還能夠保留圖像盡可能多的信息[7],有利于后續(xù)的圖像處理。

主成分分析(principal component analysis, PCA)[8]是一種無監(jiān)督特征提取算法,并廣泛用于遙感圖像處理[9]。它通過分析原始數(shù)據(jù)的協(xié)方差矩陣來進(jìn)行特征提取,協(xié)方差矩陣的特征值大小代表信息量的多少,特征值較大代表有用信息,較小特征值代表的可能是噪聲信息。但是作為一種無監(jiān)督特征提取算法,PCA不能較好地利用類別標(biāo)簽信息。線性判別分析(linear discriminant analysis,LDA)和非參數(shù)權(quán)重特征提取(nonparametric weighted feature extraction,NWFE)是廣泛用于遙感圖像的兩種有監(jiān)督降維方法,它們找到一個(gè)最優(yōu)投影矩陣,在投影子空間中最大化類內(nèi)散度矩陣的跡同時(shí)最小化類間散度矩陣的跡。近幾年,這兩種算法得到不斷地?cái)U(kuò)展,如:改進(jìn)的Fisher線性判別分析、正則線性判別分析[10-13]等等。然而,這些算法只注重全域歐幾里德結(jié)構(gòu)而忽略了高維遙感數(shù)據(jù)的局部空間結(jié)構(gòu)信息。

對(duì)于小樣本問題,可運(yùn)用線性化來構(gòu)建鄰域結(jié)構(gòu)圖進(jìn)行特征提取,如有監(jiān)督局部保留投影(supervised locality preserving projection,SLPP)[14]—Laplacian eigenmaps(LE)[15]的線性化,鄰域保留嵌入(neighborhood preserving embedding, NPE)[16]—局部線性嵌入(locally linear embedding,LLE)[17]的線性化。SLPP能夠保留樣本固有的局部流形結(jié)構(gòu)不變,利用局部結(jié)構(gòu)信息和全域標(biāo)簽信息,構(gòu)造鄰域相似性矩陣和類相關(guān)矩陣,根據(jù)使投影后的同類像素點(diǎn)之間的距離盡可能小的目標(biāo),利用求最優(yōu)解方法求得最優(yōu)投影矩陣。因此,SLPP能把同類像素點(diǎn)盡可能投影在一起,把不同類的像素點(diǎn)盡可能分開。NPE利用局部鄰域點(diǎn)信息,每個(gè)像素點(diǎn)可以被周圍幾個(gè)像素點(diǎn)線性表示,各權(quán)重系數(shù)由與目標(biāo)像素點(diǎn)的距離決定。由此可以找到一個(gè)最優(yōu)鄰域嵌入映射矩陣,使得在低維空間中鄰域信息得到很好的保留。然而,對(duì)于分類問題,NPE忽略了同類與非同類樣本的差異。

本文在NPE基礎(chǔ)上,提出了一種算法,名為判別監(jiān)督鄰域保留嵌入(DSNPE)特征提取算法。DSNPE算法中,每個(gè)像素點(diǎn)由鄰域中的同類像素點(diǎn)線性表示,而不是所有鄰域中的像素點(diǎn),這與SLPP算法構(gòu)造相似性矩陣和類相關(guān)矩陣的方式完全不同。同時(shí)在所投影的低維空間中,DSNPE能使非同類的像素點(diǎn)之間盡可能離得遠(yuǎn)。DSNPE主要有三大優(yōu)點(diǎn):①算法同時(shí)考慮了類內(nèi)結(jié)構(gòu)和類間結(jié)構(gòu),使分類時(shí)效果更好;②考慮了鄰域點(diǎn)中同類樣本與非同類樣本的區(qū)別,使可判別性更高;③在低維空間中,能使同類樣本離得更近而非同類樣本離得更遠(yuǎn)。

2 鄰域保留嵌入算法(NPE)

設(shè)X＝[x1,x2,…,xN]為一組高維原始數(shù)據(jù)向量集,其中{x1,x2,…,xN}∈Rn,Y＝[y1,y2,…,yN]表示與高維原始數(shù)據(jù)映射對(duì)應(yīng)的低維空間向量集,{y1,y2,…,yN}∈Rd,(d? n),n表示遙感圖像光譜波段數(shù),d表示特征提取后特征空間的維數(shù),N表示樣本總數(shù)。特征提取的目標(biāo)是找到一個(gè)n×d的投影矩陣A,使每一個(gè)原始數(shù)據(jù)點(diǎn)xi都能通過yi＝ATxi,映射到另一特征空間,并且保留高維數(shù)據(jù)的絕大部分信息。

NPE算法中每個(gè)像素點(diǎn)可由其鄰域點(diǎn)線性表示,建構(gòu)鄰域結(jié)構(gòu)連接圖,表示其鄰域信息。某些情況下,局部子流形結(jié)構(gòu)是非線性的,可以將其近似線性化。假設(shè)xi表示第i個(gè)像素點(diǎn),如xj在xi的鄰域內(nèi),則將他們連接起來,構(gòu)建鄰域結(jié)構(gòu)圖,用矩陣W來表示鄰域結(jié)構(gòu)圖連接權(quán)重,Wij表示點(diǎn)xj到點(diǎn)xi的權(quán)重,若Wij值為0則表示xj不在點(diǎn)xi的鄰域內(nèi)。權(quán)重系數(shù)可以通過求解最小化目標(biāo)方程(式(1))求取

然后求解廣義特征根方程(式(2))得出轉(zhuǎn)換矩陣A

可以看出M是對(duì)稱矩陣且半正定,設(shè)列向量a1、a2、…、ad為方程(2)的解,它們對(duì)應(yīng)的特征值分別為λ1、λ2、…、λd,且λ1≤λ2≤…≤λd,則嵌入公式如下

式中,yi是d維向量;A是n×d矩陣。

3 判別監(jiān)督鄰域保留嵌入(DSNPE)

與NPE算法不同,DSNPE算法中每個(gè)像素點(diǎn)由鄰域中的同類像素點(diǎn)線性表示,而非所有像素點(diǎn),即像素點(diǎn)xi由xi1、xi2、…、xil線性表示, xi1、xi2、…、xil與xi屬于同一類,且都屬于xi的K個(gè)最近鄰域點(diǎn),表示如下

為了突出鄰近點(diǎn)重要性,本文權(quán)重系數(shù)的計(jì)算采用鄰域像素點(diǎn)與xi的距離倒數(shù)計(jì)算出來, dist(a,b)即表示a到b的距離,假如xij與xi的距離越近,倒數(shù)越大,它的權(quán)重就越大,接近于1,否則權(quán)重越小,接近于0,其他非鄰域像素點(diǎn)xj, Wij＝0。設(shè)Y＝[y 1 y2…ym]T為映射后的低維空間中的點(diǎn)集,則可以推出下列最小化目標(biāo)方程

4 試驗(yàn)設(shè)計(jì)

本文采用美國(guó)Indian Pine、KSC和Washington DC Mall 3幅超光譜遙感圖像作為試驗(yàn)對(duì)象,選擇PCA、NWFE、LPP和NPE 4種有代表性的特征提取算法與DSNPE進(jìn)行對(duì)比。試驗(yàn)過程是先用這5種特征提取算法對(duì)原始圖像進(jìn)行特征提取,然后在相同條件下采用相同分類器進(jìn)行分類,比較分類效果,即總體分類正確率和Kappa系數(shù)。分類器選取最近鄰分類器。

4.1 試驗(yàn)對(duì)象

試驗(yàn)對(duì)象假彩色圖像如圖1所示。

圖1 試驗(yàn)對(duì)象假彩色圖Fig.1 Simulated grayscale IR image for experiment

(1)圖像India Pine拍攝對(duì)象是Indian Pine的西北部部分區(qū)域的光譜圖像[15],地面空間分辨率為18 m,大小是145像素×145像素,此圖含有220個(gè)波段,通過去除噪聲通道頻帶后保留了185個(gè)波段,覆蓋的波長(zhǎng)范圍是0.4～2.4μm。此區(qū)域所含類別數(shù)為16,為了方便試驗(yàn),本文選取了其中樣本數(shù)超過100的13類(見表1),試驗(yàn)樣本總數(shù)為10 221。此圖更詳細(xì)資料參見文獻(xiàn)[18]。

表1 試驗(yàn)樣本類別及數(shù)量Tab.1 Classes and corresponding numbers of experimental samples

(2)圖像KSC是在肯尼迪太空中心拍攝佛羅里達(dá)州的超光譜圖像,地面空間分辨率為18 m,含有224個(gè)波段,去除噪聲通道頻帶后保留了176個(gè)波段,覆蓋的波長(zhǎng)范圍是0.4～2.4μm。本文截取512像素×614像素大小的區(qū)域進(jìn)行試驗(yàn)。此區(qū)域所含類別數(shù)為13(見表1),試驗(yàn)樣本總數(shù)為5211。此圖更詳細(xì)信息參見文獻(xiàn)[19]和http:∥www.csr.utexas.edu網(wǎng)站。

(3)圖像DC Mall拍攝對(duì)象是美國(guó)華盛頓城市的一片區(qū)域[16],地面空間分辨率為18 m,大小是1280像素×307像素,去掉噪聲通道頻帶后保留了191個(gè)波段,覆蓋的波長(zhǎng)范圍是0.4～2.4μm。本文選取了550像素×307像素大小的區(qū)域進(jìn)行試驗(yàn)。這個(gè)區(qū)域所含類別數(shù)為7,選取其中樣本數(shù)超過100的6類(見表1),試驗(yàn)樣本總數(shù)為4452。此圖更詳細(xì)信息參見文獻(xiàn)[20]。

4.2 試驗(yàn)結(jié)果及分析

為了探索各種特征提取算法的效果,本文選取了3組不同訓(xùn)練樣本數(shù)目進(jìn)行試驗(yàn),訓(xùn)練樣本的數(shù)量為在每類中隨機(jī)分別選取20、40、100。試驗(yàn)時(shí),選取一定比例的樣本作為訓(xùn)練樣本,其他樣本作為測(cè)試樣本。因?yàn)楦髟囼?yàn)圖像所含類別數(shù)不同,分別為13、13和6,所以提取的最大特征數(shù)分別設(shè)置為20、20和15。試驗(yàn)重復(fù)10次,平均值作為最終試驗(yàn)結(jié)果。

試驗(yàn)結(jié)果見圖2—圖4和表2。圖2—圖4是當(dāng)訓(xùn)練樣本數(shù)量不變時(shí),平均分類正確率隨著提取特征數(shù)的不斷增長(zhǎng)而變化的曲線圖;表2的數(shù)據(jù)是指最高平均分類正確率(對(duì)應(yīng)的特征數(shù))和Kappa系數(shù)。通過DSNPE和其他幾種算法對(duì)遙感圖像Indian Pine特征提取后,分類結(jié)果如圖5所示。分析上述結(jié)果可以得到以下幾點(diǎn):

(1)與其他幾種特征提取算法相比,DSNPE分類效果最好,分類正確率最高。

(2)與NPE相比,DSNPE不僅僅考慮到類內(nèi)樣本與類間樣本的區(qū)別,還加入了類間樣本的判別信息,使不同類樣本之間離得盡可能遠(yuǎn),因此分類效果得到了提高。

(3)隨著提取特征數(shù)的增加,NWFE的分類正確率上升到一定程度后開始下降,而DSNPE不會(huì)下降。

(4)DSNPE分類效果同樣好于PCA和LPP,說明DSNPE提取的特征更具判別性。

圖2 Indian Pines分類平均正確率曲線圖Fig.2 Curves of average classification accuracies for Indian Pine(Ni＝100)

圖3 KSC分類平均正確率曲線圖Fig.3 Curves of average classification accuracies for KSC(Ni＝100)

圖4 DC mall分類平均正確率曲線圖Fig.4 Curves of average classification accuracies for DC mall(Ni＝100)

5 結(jié) 論

本文提出了一種判別監(jiān)督鄰域保留嵌入(DSNPE)超光譜遙感圖像特征提取算法。該算法充分利用訓(xùn)練樣本的標(biāo)簽信息,在目標(biāo)樣本線性化表示時(shí)選擇鄰域中同類樣本而不是鄰域中所有樣本,并且將鄰域中同類和非同類像素點(diǎn)分開處理,利用判別分式求解最優(yōu)投影矩陣,使高維像素點(diǎn)投影到低維空間時(shí),同類點(diǎn)離得盡可能近,非同類點(diǎn)離得盡可能遠(yuǎn)。與PCA、NWFE、LPP和NPE等特征提取算法的對(duì)比試驗(yàn)也說明DSNPE有一定的優(yōu)越性,提取的特征判別性更強(qiáng),使分類正確率得到提高。

圖5 Indian Pine分類效果圖(Ni＝40)Fig.5 Classification maps for Indian Pine(Ni＝40)

表2 分類平均最高正確率(提取特征數(shù))及對(duì)應(yīng)的Kappa系數(shù)Tab.2 Highest classification accuracies(features)and coreponding Kappa

續(xù)表2

[1] AGYEMANG T K,HEBLINSKI J.Accuracy Assessment of Supervised Classification of Submersed Macrophytes: The Case of the Gavaraget Region of Lake Sevan, Armenia[J].Hydrobiologia,2011,661(1):85-96.

[2] TRACOL Y,GUTIERREZ J R.Plant Area Index and Microclimate underneath Shrub Species from a Chilean Semiarid Community[J].Journal of Arid Environments, 2011,75(1):1-6.

[3] TOMLINSON C J,CHAPMAN L.Remote Sensing Land Surface Temperature for Meteorology and Climatology: A Review[J].Meteorological Applications,2011,18(3): 296-306.

[4] HUGHES G F.On the Mean Accuracy of Statistical Pattern Recognizers[J].IEEE Transactions on Information Theory,1968,14(1):55-63.

[5] XIAO Pengfeng,FENG Xuezhi.Segmentation of Highresolution Remotely Sensed Imagery Based on Features in Frequency Domain[J].Acta Geodaetica et Cartographica Sinica,2008,37(3):401-409.(肖鵬峰,馮學(xué)智.高分辨率遙感圖像頻域特征提取與圖像分割研究[J].測(cè)繪學(xué)報(bào),2008,37(3):401-409.)

[6] WU Hangbin.Classification and Feature Extraction of Airborne LiDAR Data Fused with Aerial Image[J].Acta Geodaetica et Cartographica Sinica,2011,40(1):134-140.(吳杭彬.融合航空影像的機(jī)載激光掃描數(shù)據(jù)分類與特征提取[J].測(cè)繪學(xué)報(bào),2011,40(1):134-140.)

[7] FONG M.Dimension Reduction on Hyperspectral Images [R].Los Angeles:University of California,2007.

[8] SCHOTT J.Remote Sensing:The Image Chain Approach [M].Oxford:Oxford University Press,1996.

[9] FAUVEL M,CHANUSSOT J,BENEDIKTSSON J A.Kernel Principal Component Analysis for the Classification of Hyperspectral Remote-sensing Data over Urban Areas[J].EURASIP Journal on Advances in Signal Processing,2009,2009(3):1-15.

[10] DU Q.Modified Fisher’s Linear Discriminant Analysis for Hyperspectral Imagery[J].IEEE Geoscience and Remote Sensing Letters,2007,4(4):503-507.

[11] BANDOS T V,BRUZZONE L,CAMPS-VALLS G.Classification of Hyperspectral Images with Regularized Linear Discriminant Analysis[J].IEEE Transactions on Geoscience and Remote Sensing,2009,47(3):862-873.

[12] YANG J M,YU P T,KUO B C.A Nonparametric Feature Extraction and Its Application to Nearest Neighbor Classification for Hyperspectral Image Data[J].IEEE Transactions on Geoscience and Remote Sensing,2010, 48(3):1279-1293.

[13] HUANG H Y,KUO B C.Double Nearest Proportion Feature Extraction for Hyperspectral-image Classi-fication[J].IEEE Transactions on Geoscience and Remote Sensing, 2010,48(11):4034-4046.

[14] LUO Renbo,PI Youguo,LIAO Wenzhi.Research on Supervised LPP Feature Extraction for Hyperspectral Image[J].Remote Sensing Technology and Application, 2012,27(6):46-52.(駱仁波,皮佑國(guó),廖文志.超光譜遙感圖像有監(jiān)督LPP特征提取研究[J].遙感技術(shù)與應(yīng)用, 2012,27(6):46-52.)

[15] HE X F,CAI D,YAN S C,et al.Neighborhood Preserving Embedding[C]∥Proceedings of IEEE 2005 International Conference on Computer Vision.Beijing:IEEE, 2005:1208-1213.

[16] BELKIN M,NIYOGI P.Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering[C]∥Advances in Neural Information Processing System:14.Cambridge: MIT Press,2002:585-591.

[17] ROWEISS T,SAUL L K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science,2000,290 (5500):2323-2326.

[18] University of Texas at Austin.AVIRIS NW Indiana’s Indian Pines 1992 Data Set[EB/OL].Texas:University of Texas at Austin,1992[2013-02-23].ftp:∥ftp.ecn.purdue.edu/biehl/MultiSpec/92AV3C.

[19] HAM J,YANGCHI C,CRAWFORD M,et al.Investigation of the Random Forest Framework for Classification of Hyperspectral Data[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(3):492-501.

[20] LANDGREBE D A.Signal Theory Methods in Multispectral Remote Sensing[M].Hoboken:Wiley,2003.

(責(zé)任編輯:叢樹平)

Supervised Neighborhood Preserving Embedding Feature Extraction of Hyperspectral Imagery

LUO Renbo,PI Youguo
Key Laboratory of Autonomous Systems and Network Control of Ministry of Education,South China University of Technology,Guangzhou 510640,China

A novel hyperspectral remote sensing imagery feature extraction algorithm called discriminative supervised neighborhood preserving embedding(DSNPE)is proposed for supervised linear feature extraction.DSNPE can preserve the local manifold structure and the neighborhood structure.What’s more, for each data point,DSNPE aims at pulling the neighboring points with the same class label towards it as near as possible,while simultaneously pushing the neighboring points with different labels away from it as far as possible.Numerical experiments in three real hyperspectral-image datasets are reported to illustrate the out performance of DSNPE when compare DSNPE with a few computing methods,such as PCA,NWFE, LPP and NPE.

hyperspectral-image;feature extraction;classification

LUO Renbo(1986—),male,PhD candidate, majors in hyperspectral remote sensing imagery processing.

PI Youguo

P237

A

1001-1595(2014)05-0508-06

廣東省教育部產(chǎn)學(xué)研結(jié)合項(xiàng)目(2009B090300269)

2013-09-11

駱仁波(1986—),男,博士生,研究方向?yàn)槌庾V遙感圖像處理。

E-mail:luo.rb＠m(xù)ail.scut.edu.cn

皮佑國(guó)

E-mail:auygpi＠scut.edu.cn

LUO Renbo,PI Youguo.Supervised Neighborhood Preserving Embedding Feature Extraction of Hyperspectral Imagery[J].Acta Geodaetica et Cartographica Sinica,2014,43(5):508-513.(駱仁波,皮佑國(guó).有監(jiān)督的鄰域保留嵌入的高光譜遙感影像特征提取[J].測(cè)繪學(xué)報(bào),2014,43(5):508-513.)

10.13485/j.cnki.11-2089.2014.0079

收稿日期:2013-05-10