基于支持向量機(jī)與相關(guān)向量機(jī)的高光譜圖像分類

齊 濱，趙春暉，王玉磊

(哈爾濱工程大學(xué)信息與通信工程學(xué)院，哈爾濱150001)

20世紀(jì)80年代初，在多光譜遙感技術(shù)基礎(chǔ)上出現(xiàn)了高光譜遙感技術(shù)，通過成像光譜儀記錄帶有地物光譜信息的太陽輻射信號，在可見光、近紅外、短波紅外、中紅外等電磁波譜范圍內(nèi)利用狹窄的光譜間隔成像，獲取近似連續(xù)、反映地物屬性的光譜特征曲線;將表征地物屬性特征的光譜信息與表征地物幾何位置關(guān)系的空間信息有機(jī)地結(jié)合在一起，使地物的精確定量分析與細(xì)節(jié)提取成為可能。隨著遙感圖像處理技術(shù)的不斷發(fā)展，高光譜遙感圖像的光譜分辨率不斷提升，與傳統(tǒng)的多光譜遙感相比，高光譜圖像提供的地物光譜信息更加豐富，使其無論在描述地物細(xì)節(jié)方面還是鑒別地物類別方面都有大幅度的提高，為地物精確分類的實現(xiàn)提供了有利的保障［1］，高光譜遙感的發(fā)展得益于光譜成像技術(shù)的逐漸成熟。光譜成像技術(shù)是集信號檢測技術(shù)、探測器技術(shù)、精密光學(xué)技術(shù)和計算機(jī)信號處理技術(shù)于一體的綜合性技術(shù)，其最大特點是將二維成像技術(shù)與光譜探測技術(shù)相結(jié)合，在對目標(biāo)地物的空間特征進(jìn)行成像的同時，對每個空間像元經(jīng)過色散形成幾百乃至幾千個窄波段，進(jìn)行近似連續(xù)的光譜波段覆蓋，這樣獲得圖像的每個像元將包含多個光譜特征。因此形成的高光譜數(shù)據(jù)可以用三維“數(shù)據(jù)立方體”形象地描述，其中二維表征地物的空間位置特征，另外一維表征地物的光譜波段特征［2］。

高光譜圖像分類被定義為根據(jù)高光譜圖像的光譜特征，對圖像像素進(jìn)行劃分，將具有相似特征屬性的像素劃分為同一類，是高光譜圖像處理的重要研究內(nèi)容之一［3］。支持向量機(jī)是建立在結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則和VC維理論基礎(chǔ)上，根據(jù)統(tǒng)計學(xué)理論，在有限的訓(xùn)練樣本信息下，通過權(quán)衡經(jīng)驗風(fēng)險與置信風(fēng)險，在機(jī)器學(xué)習(xí)模型復(fù)雜度與機(jī)器學(xué)習(xí)方法能力之間尋求最佳折衷，在解決小樣本、非線性以及高維模式識別中表現(xiàn)出特有的優(yōu)勢，具有較好的泛化能力［4］。相關(guān)向量機(jī)是在貝葉斯框架基礎(chǔ)上提出的一種稀疏機(jī)器學(xué)習(xí)模型［5］，與支持向量機(jī)相比，相關(guān)向量機(jī)不受梅西定理的限制，可以構(gòu)建任意的核函數(shù)，不需要設(shè)置懲罰因子，不僅獲得二值輸出，而且獲得具有統(tǒng)計意義預(yù)測概率的結(jié)果輸出。由于RVM引入了超參數(shù)向量，使得RVM更加稀疏，極大地減少了核函數(shù)的計算量，使得測試時間更短，具有更強(qiáng)的泛化能力［6］。由于支持向量機(jī)和相關(guān)向量機(jī)在處理高維數(shù)據(jù)分類時具有較高的分類精度，為此本文通過對支持向量機(jī)與相關(guān)向量機(jī)的理論對比分析，將這兩種機(jī)器學(xué)習(xí)算法應(yīng)用于高光譜圖像分類中。實驗結(jié)果表明，這兩種機(jī)器學(xué)習(xí)算法均能較好地處理高光譜圖像中存在的非線性特性，相比之下，支持向量機(jī)的總體分類精度要略高于相關(guān)向量機(jī)。

1 支持向量機(jī)分類器

支持向量機(jī)的基本思想是尋求一個最優(yōu)分類超平面，使原數(shù)據(jù)中的兩類樣本可以被盡可能的分開，并且這兩類樣本間具有盡可能大的距離［7－8］，如圖1所示。

圖1 具有最大間隔的最優(yōu)分類超平面Fig.1 Optimal classification hyperplane with maximal margin

訓(xùn)練樣本集{(x1，y1)，…，(xn，yn)}∈(RN，Y)，yi∈Y={－1，1}，i=1，2，…，n，支持向量機(jī)的目的為尋找最優(yōu)分類超平面(w·x)+b=0的參數(shù)w和b，使得標(biāo)號為+1和-1的樣本點分別位于分類面的兩側(cè)。設(shè)標(biāo)號為+1或-1的樣本點中，通過距最優(yōu)分類面距離最近且與最優(yōu)分類面平行的兩個平面為

兩個平面間的距離為

因此支持向量機(jī)的最優(yōu)化問題轉(zhuǎn)變?yōu)閷ο率綑?quán)值向量w和參量b的求解

對于一般分類問題，由于存在線性不可分情況，為此引入松弛變量ξi，原凸二次規(guī)劃問題變?yōu)?/p>

式中:ξ=(ξ1，ξ2，…，ξn);C＞0為懲罰參數(shù)。引入拉格朗日乘子αi和βi，式(4)求解方程為

對w，b，ξi分別求偏導(dǎo)得

將式(6)代入式(5)中得到關(guān)于α的函數(shù)

對于高維空間，如果用內(nèi)積K(x，x')代替最優(yōu)分類面中的點積(x·x')，求解上述問題后，得到的支持向量機(jī)判別函數(shù)為

式中:

2 相關(guān)向量機(jī)

2.1 貝葉斯模型

對于兩類分類問題，假定訓(xùn)練樣本集為{xn，tn，xn∈Rd為訓(xùn)練樣本，tn∈{0，1}為訓(xùn)練樣本標(biāo)號，ti為預(yù)測樣本標(biāo)號，ti=yi+εi，其中:w0為分類預(yù)測模型;εi為均值為0，方差為σ2附加噪聲，εi～N(0，σ2)，ti～N(yi，σ2)。假設(shè)訓(xùn)練樣本集獨立同分布，觀測結(jié)果向量t服從下式分布

RVM通過樣本標(biāo)號t預(yù)測測試樣本標(biāo)號t*

為使權(quán)值向量w的大部分分量為0，減少核函數(shù)的計算量，為權(quán)值向量w添加附加條件。設(shè)wi服從均值為0，方差為 α－1i的分布wi～ N(0，)

式中:α為權(quán)值向量w先驗分布的超參數(shù)向量。

式中:p(t*|w，α，σ2)=N(t*|y(x*;w)，σ2)。

2.2 模型參數(shù)估計

由于p(w，α，σ2|t)不能通過積分獲得，故利用貝葉斯公式將其分解

對p(t|w，σ2)和p(w|α)的乘積的積分得

式中:Ω=σ2I+ΦA(chǔ)－1ΦT，A=diag(α0，α1，…，αN)

式中:Σ=(σ－2ΦTΦ+A)－1，μ=σ－2ΣΦTt。

由于p(α，σ2|t)∝p(t|α，σ2)p(α)p(σ2)，因p(α，σ2|t)無法積分求解，使用最大似然函數(shù)法近似替代p(α，σ2|t)，即

αMP和的迭代求解過程如下所示

式中:Σi，i是Σ中第i項對角線上的元素，對于給定的初始α與σ2初值，通過式(19)的不斷更新，獲得逼近的αMP和。足夠多次更新后，大部分的αi會接近無限大，與之對應(yīng)的wi為0，其他αi接近有限值，此時對應(yīng)的xi稱之為相關(guān)向量。

2.3 相關(guān)向量機(jī)分類

對于二分類問題，目標(biāo)值{ti只能為0或1，我們采用S形函數(shù)對非線性基函數(shù)映射，進(jìn)行類別判定

若每次觀測都為獨立事件，得到觀測結(jié)果為

對于權(quán)值w，使用最大似然法對其求解

3 實驗結(jié)果與分析

為驗證SVM和 RVM的分類性能，使用AVIRIS高光譜數(shù)據(jù)對這兩種算法進(jìn)行驗證。高光譜圖像拍攝于1992年6月，圖像為美國印第安納州印第安農(nóng)林實驗區(qū)的一部分，如圖2所示。圖像大小為144×144，共220個波段，去除一些受噪聲影響較大的波段，從原始的220波段中選取200個波段作為研究對象。實驗選取9類樣本像素點個數(shù)較多的地物對SVM和RVM的分類性能進(jìn)行比較，主要包括:玉米1、玉米2、牧場、灌木、干草、大豆1、大豆2、大豆3和喬木。訓(xùn)練樣本與測試樣本如表1所示。

圖2 AVIRIS高光譜圖像Fig.2 AVIRIS hyperspectral imagery

表1 訓(xùn)練樣本與測試樣本Table 1 Training sam p les and testing sam p les

為便于比較，支持向量機(jī)和相關(guān)向量機(jī)均采用高斯徑向核函數(shù)，由于支持向量機(jī)含有規(guī)則化系數(shù)C，在分類時需要設(shè)置，因此使用交叉驗證網(wǎng)格搜索法來獲取。對于本實驗所使用的AVIRIS數(shù)據(jù)，獲取得到的規(guī)則化系數(shù)C=181.02，高斯徑向核函數(shù)的參數(shù)γ=1.41。為便于與支持向量機(jī)比較，相關(guān)向量機(jī)的核函數(shù)參數(shù)設(shè)置與支持向量機(jī)相同。支持向量機(jī)和相關(guān)向量機(jī)的分類結(jié)果如圖3所示，各類分類精度與總體分類精度如表2所示。

表2 SVM和RVM的分類精度Table 2 Classification accuracy of SVM and RVM

圖3 AVIRIS數(shù)據(jù)的分類結(jié)果Fig.3 Classification results of AVIRIS data

從表2中可以看出，相對于玉米1、玉米2、大豆1、大豆2和大豆3等5種地物，牧場、灌木、干草和喬木等4種地物的各類分類精度較高。與相關(guān)向量機(jī)相比，支持向量機(jī)的總體分類精度略高。

4 結(jié)束語

本文介紹了支持向量機(jī)和相關(guān)向量機(jī)的理論基礎(chǔ)、基本原理和算法的實現(xiàn)。支持向量機(jī)是建立在結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則和VC維理論基礎(chǔ)上，依據(jù)統(tǒng)計學(xué)理論，在訓(xùn)練樣本信息有限的情況下，在機(jī)器學(xué)習(xí)模型復(fù)雜度與機(jī)器學(xué)習(xí)能力之間尋求最佳折衷，很大程度上克服了傳統(tǒng)機(jī)器學(xué)習(xí)中的維數(shù)災(zāi)難和局部極小等問題。核函數(shù)的引入使得支持向量機(jī)在解決非線性數(shù)據(jù)處理和高維數(shù)據(jù)模式識別中表現(xiàn)出顯著的優(yōu)勢。相關(guān)向量機(jī)的訓(xùn)練是在貝葉斯框架下進(jìn)行的，在先驗參數(shù)的結(jié)構(gòu)下基于主動相關(guān)決策理論移除不相關(guān)的點，從而獲得稀疏化的模型。在樣本數(shù)據(jù)的迭代學(xué)習(xí)過程中，大部分參數(shù)的后驗分布趨于零，非零參數(shù)所對應(yīng)的學(xué)習(xí)樣本，與決策域的樣本并不相關(guān)，因此這些樣本體現(xiàn)了數(shù)據(jù)中最核心的特征。與支持向量機(jī)相比，相關(guān)向量機(jī)沒有規(guī)則化系數(shù)，核函數(shù)不受梅西定理的限制，可以構(gòu)建任意的核函數(shù)，不需要對懲罰因子做出設(shè)置，不僅獲得二值輸出，還可以獲得具有統(tǒng)計意義的概率輸出，但在訓(xùn)練時間上，相關(guān)向量機(jī)要比支持向量機(jī)長。支持向量機(jī)和相關(guān)向量機(jī)對非線性問題和不可分問題的處理技巧體現(xiàn)了這兩種機(jī)器學(xué)習(xí)算法的獨特優(yōu)勢。

［1］Li J，Bioucas JM，Plaza A.Spectral－spatial hyperspectral image segmentation using subspace multinomial logistic regression and markov random fields［J］.IEEE Transanctions on Geoscience and Remote Sensing，2012，50(3):809－823.

［2］Zhang L，Zhang L，Tao D.On combining multiple features for hyperspectral remote sensing image classification［J］.IEEE Transanctions on Geoscience and Remote Sensing，2012，50(3):879－893.

［3］Zhong Y，Zhang L.An adaptive artificial immune network for supervised classification ofmulti－/hyperspectral remote sensing imagery［J］.IEEE Transactions on Geoscience and Remote Sensing，2012，50(3):894－909.

［4］Lin K P，Chen M S.On the design and analysis of the privacy－preserving SVM classifier［J］.IEEE Transanctions on Knowledge and Data Engineering，2011，23 (11):1704－1717.

［5］Mianji F A，Zhang Y.Robust hyperspectral classification using relevance vectormachine［J］.IEEE Transanctions on Geoscience and Remote Sensing，2011，49(6):2100－2112.

［6］Wei L，Yang Y，Nishikawa R M.Relevance vector machine for automatic detection of clusteredmicrocalcifications［J］.IEEE Transanctions on Medical Imaging，2005，24(10):1278－1285.

［7］Tarabalka Y，F(xiàn)auvel M，Chanussot J.SVM－and MRF－based method for accurate classification of hyperspectral images［J］.IEEE Geoscience and Remote Sensing Letters，2010，7(4):736－740.

［8］Pal M，F(xiàn)oody G M.Feature selection for classification of hyperspectral data by SVM［J］.IEEE Transactions on Geoscience and Remote Sensing，2010，48(5):2297－2307.