結合K-L散度和互信息的無監(jiān)督波段選擇算法

王 琪，楊 桄，張儉峰，向英杰，田張男

(空軍航空大學 航空航天情報系，長春 130022)

引 言

相比于普通的遙感圖像，高光譜圖像增加了光譜維，不僅包含了豐富的空間信息還具有高光譜分辨率。高光譜遙感器能夠同時獲取目標區(qū)域的2維幾何空間信息與1維光譜信息，因此高光譜數(shù)據(jù)具有圖像立方體的形式和結構，體現(xiàn)出圖譜合一的特點和優(yōu)勢[1-2]。高光譜圖像豐富的光譜和空間信息對目標探測及地物分類具有重要作用。然而，高光譜圖像維數(shù)眾多，導致數(shù)據(jù)量增加，相鄰波段之間信息冗余度大，存在“維數(shù)災難”，使得高光譜影像的降維、目標檢測等面臨很大的難題，不利于數(shù)據(jù)處理[3]。如何高效充分地利用高光譜圖像豐富的信息，又能提高數(shù)據(jù)處理的效率，是目前研究的重點。高光譜圖像降維是解決這一問題的常用方法。

針對高光譜圖像數(shù)據(jù)冗余問題，常用降維方法來解決。波段選擇是尋找與強化最具可分性的光譜波段的過程，它能在不損失重要信息的情況下有效降低維數(shù)[4]。波段選擇方法是對高光譜源數(shù)據(jù)進行波段特征排序搜索和對光譜波段進行特征聚類[5]，是對特定對象選擇光譜特征空間中的一個子集，這個子集是一個簡化了的光譜特征空間，但它包括了該對象的主要特征光譜，并且在一個含有多種目標對象的組合中，該子集能夠最大限度地區(qū)別于其它地物。波段選擇按是否需要先驗知識可分為有監(jiān)督波段選擇和無監(jiān)督波段選擇。有監(jiān)督波段選擇是指已知目標或背景的先驗知識條件下，最大限度地保留探測目標的信息。無監(jiān)督波段選擇是指在沒有先驗知識的情況下，選出信息量大的波段。由于高光譜圖像目標或背景等先驗信息通常未知，所以無監(jiān)督波段選擇算法具有較強的實用意義。

當前對波段選擇的研究有：基于搜索的方法，如結合遺傳算法的蟻群算法，這類較為復雜，運算時間較長；基于排序的思想，如最大方差主成分分析(maximum-variance principle component analysis,MVPCA)方法[6]、聚類(affinity propagation，AP)算法[7]、基于互信息(mutual information,MI)的方法[8-9]、基于最大信息量的無監(jiān)督波段選擇算法[10]，這類算法是利用某一指標(如信息量)進行排序忽略了波段間的相似性、冗余度，導致選擇結果不準確。為了提高波段選擇精度，本文中提出了一種結合K-L (Kullback-Leibler)散度和互信息的無監(jiān)督波段選擇算法，利用K-L散度和互信息的比值定義了聯(lián)合K-L散度-互信息(joint K-L divergence-mutual information, KLMI)準則。首先按信息熵大小對波段排序，然后通過最大化波段間K-L散度和最小化波段間互信息量，選出高信息量低相似度的波段。本文中的算法既能保留原始波段的有用信息特征又考慮了波段間差異性，有利于提高目標探測效率和分類精度。

1 算法描述

1.1 K-L散度

K-L散度同光譜相關系數(shù)、光譜角制圖、離散度都是常見的相似性度量算法，分別從不同角度衡量波段間的相似性。K-L散度是一種在信息論中得到廣泛應用的信號相似性度量[11]。P和Q是兩個離散隨機信號的概率分布函數(shù)，P=[P1,…,Pi,…,PN]T,Q=[Q1,…,Qi,…,QN]T，定義Q相對于P的K-L散度為:

(1)

(2)

由(2)式可知，K-L散度越大，用第j波段表示第i個波段的難度越大，兩波段間信息量之差越大，相似度越低。

1.2 互信息

互信息是信息論中的一個概念，它描述了兩個系統(tǒng)的統(tǒng)計相關性，或者說一個系統(tǒng)存在于另一個系統(tǒng)中的信息量[13]，可表示為：

(3)

式中，P(x,y)是隨機變量X和Y的聯(lián)合概率密度，P(x),P(y)分別是變量X和Y的邊緣概率密度。

互信息的實質是當某一隨機變量已知的情況下，另一隨機變量的不確定性的減小值，不僅可以衡量兩隨機變量共有信息量的多少，還可以衡量隨機變量之間的相關程度。MI值越大，兩變量之間的共有信息越多，相關度越大；當兩變量相互獨立時，MI的值為0。

對于高光譜圖像而言，給定的兩波段圖像X和Y，由(3)式可得圖像X和Y的互信息為:

(4)

式中，變量x為圖像X中的元素，變量y為圖像Y中的元素，Pi(x),Pj(y)為變量x和變量y在第i個狀態(tài)和第j個狀態(tài)下的邊緣概率密度，Pi,j(x,y)為變量x,y的聯(lián)合概率密度。

1.3 聯(lián)合散度互信息(KLMI)的波段選擇

對于高光譜圖像波段選擇而言，既要滿足信息量最大的要求又要使地物目標之間的可分性最大化。為了選取高信息量的波段，需要計算波段信息量并進行排序，將排在前面的單個波段進行組合獲得最優(yōu)波段集合。衡量波段信息量的大小可以利用K-L散度指標。因此，可以選出K-L散度值較大的波段組成集合，根據(jù)(2)式最大化K-L散度可用如下公式表示：

(5)

但是，高信息量的波段組合并不一定能最大程度上保持圖像的原始波段信息，因為這些波段可能是鄰近波段，相似性很大，提供的額外信息量幾乎沒有。有的波段雖然信息量不是很豐富，但是能提供與其它波段互補的信息。因此，就需要選擇信息互補且相似度較低的波段。任意波段間的相似度可用互信息I(Xi,Xj)(1≤i,j≤N)衡量，根據(jù)(4)式，最小化互信息可用如下公式表示：

(6)

將(5)式和(6)式做比值，定義了聯(lián)合散度互信息(KLMI)準則：

(7)

由上述分析可知，KLMI值用于衡量各個波段之間的相似度，KLMI值越大，說明波段間相似度、冗余性越低，在該波段集合上的信息互補性和可分性越好。

本文中提出的KLMI波段選擇方法，通過最大化K-L散度和最小化波段之間的互信息來進行波段選擇。首先計算原始波段中信息熵最大的波段作為初始波段，然后選擇與初始波段的KLMI最大且自身信息熵也越大的波段作為第2個波段，組成波段子集。然后選擇與波段子集中所有波段KLMI值越大且自身信息熵越大的波段歸入所選波段子集，以此類推，選擇包含k個波段的子集作為結果。

1.4 算法步驟

本文中提出的KLMI波段選擇算法步驟主要由4步組成：(1)利用信息熵指標選擇信息量最大的波段b1作為初始波段，產(chǎn)生波段子集Φ1={b1}；(2)利用聯(lián)合散度互信息(KLMI)準則計算剩余波段與Φ1中元素的相似度，找出KLMI值最大時對應的波段，同時考慮波段自身的信息熵，選擇KLMI值越大且信息熵大的波段b2，將b2波段加入子集Φ1中，即Φ2=Φ1∪{b2}；(3)循環(huán)步驟(2)，直到波段集合Φ中波段的數(shù)量滿足分類需求;(4)更新波段集合Φ，Φ中元素即為波段選擇結果。

2 實驗驗證

2.1 實驗數(shù)據(jù)

實驗中采用的是于1992年由AVIRIS傳感器獲取的高光譜圖像數(shù)據(jù)Indian Pines，成像地區(qū)為美國印第安納西北地區(qū)，該數(shù)據(jù)共220個波段，波長范圍為0.4μm～2.5μm，光譜分辨率為10nm，空間分辨率為17m，圖像大小為145pixel×145pixel，該數(shù)據(jù)常用于高光譜圖像的分類研究。去除水的吸收帶和噪聲波段，處理后保留了200個有效波段用于本實驗。Purdue大學給出了一份關于該地區(qū)的實地調(diào)查報告[14]。該地區(qū)主要被農(nóng)作物(約占總面積2/3，包括大豆、玉米、小麥、干草堆)和植被(約占總面積的1/3，包括樹林、草地等)所覆蓋。除農(nóng)作物與植被外，還有鐵路、公路、高速公路、房屋和無線電發(fā)射塔等地物。實驗數(shù)據(jù)的假彩色合成和地面真實標記如圖1所示。

Fig.1 Synthetic false color image and real markings image

2.2 波段選擇結果

根據(jù)本文中算法步驟，進行實驗驗證，計算圖像各波段的熵值，得出第112波段熵值最大，因此選擇第112波段作為初始波段b1，最終選出10個波段。同時為了更好比較本文中算法性能，實驗還實現(xiàn)了常用的MVPCA方法、AP方法、MI方法及K-L散度方法的波段選擇結果。然后計算各波段選擇算法結果中各波段的信息熵的總和，信息熵總和及波段選擇結果如表1所示。

由表1可知，本文中算法選擇的波段信息熵之和最大，即信息量最大，而AP算法多所選波段包含的信息量最少。同時MVPCA,MI,AP及K-L散度方法4種方法得到的結果，波段比較集中，說明它們之間的冗余度較大；本文中方法所選波段分布范圍較廣，且遠離光譜范圍的邊緣，效果較好。本文中方法所選前10個波段如圖2所示。

Table 1 Comparison of band selection results and information

Fig.2 The results of band selection

2.3 分類結果

Purdue大學給出的Indian Pines數(shù)據(jù)實地調(diào)查指出該區(qū)域有16類不同地物，每一類地物中，分別隨機選取5%和10%數(shù)量的樣本作為訓練樣本，剩余樣本作為測試樣本，將波段選擇后的結果進行分類實驗，本實驗中采用k最近鄰(k-nearest neighbor，KNN)分類算法，經(jīng)過多次實驗反復調(diào)整k值，選取最優(yōu)近鄰個數(shù)為k=7時分類精度最高且噪聲數(shù)據(jù)干擾降到最低。各算法總體精度與波段維數(shù)的關系如圖3所示，橫坐標為波段維數(shù)，縱坐標為分類精度?？傮w分類精度公式為:總體分類精度(overall acuracy,OA)=正確分類的像元數(shù)/像元總數(shù)。

Fig.3 Overall classification accuracy of different samples with various bands

a—5% samples b—10% samples

由圖3可知，隨著訓練樣本數(shù)量的增加，目標的先驗知識就越多，分類的性能越好，分類的總體精度也就越高。在5%和10%的樣本比例下，且維數(shù)大于2時，本文中算法相比于其它3種波段選擇算法均取得了較好的分類效果。在樣本比例僅為5%的條件下，本文中算法的分類精度就能達到82%。

表2、表3中給出了訓練樣本分別為5%和10%的情況下，不同算法中各類地物的分類精度、總體精度(OA)及κ。κ的計算公式[15]為:κ=(總體精度-期望精度)/(1-期望精度)。

Table 2 Classification accuracy of various types of objects (5% samples)

κ>0.8時說明分類精度高，κ在0.4～0.8之間，分類精度中等，κ<0.4時，分類效果較差。在相同樣本比例情況下，本文中方法的OA及κ均優(yōu)于其它3種算法，分類效果比其它3類算法效果好。這是因為本文中算法采用KLMI準則進行波段選擇，實現(xiàn)了波段的高信息量及波段間的低冗余度，使得同類別數(shù)據(jù)間的相似性突出，且不同類別的數(shù)據(jù)之間的差異性更加明顯。同時，對于大多數(shù)地物，本文中方法的分類精度優(yōu)于其它算法，但是存在少數(shù)地物分類精度不高。

Table 3 Classification accuracy of various types of objects (10% samples)

隨著訓練樣本數(shù)量的增加，各類地物的分類精度、OA和κ均有所提高。綜上所述，本文中算法取得了較好的分類效果，性能優(yōu)于其它3種算法。

3 結 論

本文中提出了一種結合K-L散度和互信息的無監(jiān)督波段選擇算法，將K-L散度與互信息的比值定義為新的聯(lián)合散度互信息準則，通過最大化散度和最小化波段間的互信息量，從原始波段中選出高信息量且低相似度的波段集合。首先基于信息熵選擇初始波段，然后利用KLMI準則進行后續(xù)波段的選擇，最終將本文算法及MVPCA,AP,MI這3種無監(jiān)督波段選擇算法應用于高光譜圖像分類實驗。實驗結果表明，本文中算法相比于其它算法在分類實驗中取得了較好的效果，算法具有較為優(yōu)越的性能。該算法存在的不足為波段選擇數(shù)量閾值需要人為設定，算法沒有實現(xiàn)自動確定閾值功能，這是下一步研究的重點，進一步提高算法的智能性和自動化水平。

[1] ZHANG B.Current progress of hyperspectral remote sensing in China[J].Journal of Remote Sensing, 2016, 20(5):1062-1090(in Chinese).

[2] BIOUCAS-DIAS J M, PLAZA A, CAMPS-VALLS G,etal. Hyperspectral remote sensing data analysis and future challenges[J]. IEEE Geoscience & Remote Sensing Magazine, 2013, 1(2):6-36.

[3] XIANG Y J,YANG G,ZHANG J F,etal.Dimensionality reduction for hyperspectral imagery manifoldlearning based on spectral gradient angles[J].Laser Technology, 2017,41(6):921-926(in Chinese).

[4] QIN F J, ZHANG A W, WANG Sh M,etal.Hyperspectral band selection based on spectral clustering and inter-class separability factor[J].Spectroscopy and Spectral Analysis, 2015，35(5):1357-1364(in Chinese).

[5] TAN Y Q.Unsupervised band selection for hyperspectral image based on multiobjective optmization[D].Xi’an:Xidian University,2014：19-21(in Chinese).

[6] MYRONENKO A, SONG X. Point set registration: Coherentpoint drifts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2262-2275．

[7] CHENG H，WANG Zh Q，ZHANG Y Y．Research on geometric rectification of aerial images[J].Journal of Northeast Normal University，2009，41(3): 50-54(in Chinese)．

[8] BATTITI R. Using mutual information for selecting features in supervised neural net learning [J].IEEE Transactions on Neural Networks,1994,5(4):537-550.

[9] KWAK N, CHOI Ch H. Improved mutual information feature selector for neural networks in supervised learning [C]//Proceeding of 1999 International Joint Conference on Neural Networks.New York,USA:IEEE, 1999:1313-1318.

[10] LIU X S,GE L,WANG B,etal.An unsupervised band selection algorithm for hyperspectral imagery based on maximal information[J].Journal of Infrared and Millimeter Waves，2012，31(2)：166-176(in Chinese).

[11] SHI Y, EBERHART R. A modified particle swarm optimizer [J].IEEE Xplore, 1998,7803(5):69-73.

[12] KULLBACK S. Information theory and statistics [M]. New York,USA: John Wiley and Sons, 1959：55-70.

[13] ZHOU Y, LI X R, ZHAO L Y. Modified linear-prediction based band selection for hyperspectral image[J].Atca Optica Sinica, 2013,33(8):0828002(in Chinese).

[14] LANDGREBE D. Multispectral data analysis: A signal theory perspective[R]. West Lafayette,USA: Purdue University, 1998:56-89.

[15] YANG J,HUA W Sh,LIU X,etal.Band selection algorithm for hyperspectral imagery based on K-L divergence and spectral divisibility distance[J].Journal of Applied Optics，2014,35(1):71-75(in Chinese).