基于S3VM模型的高光譜遙感影像分類

魏立飛，俸秀強(qiáng)，李丹丹，牟紫薇

(1. 湖北大學(xué)資源環(huán)境學(xué)院，湖北 武漢 430062； 2. 區(qū)域開發(fā)與環(huán)境響應(yīng)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430062； 3. 農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100081)

基于S3VM模型的高光譜遙感影像分類

魏立飛1,2，俸秀強(qiáng)1，李丹丹3，牟紫薇1,2

(1. 湖北大學(xué)資源環(huán)境學(xué)院，湖北 武漢 430062； 2. 區(qū)域開發(fā)與環(huán)境響應(yīng)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430062； 3. 農(nóng)業(yè)部農(nóng)業(yè)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100081)

針對傳統(tǒng)的高光譜遙感影像分類受限于訓(xùn)練樣本的個(gè)數(shù)，難以取得較好分類結(jié)果的不足，提出了一種基于聚類核的半監(jiān)督支持向量機(jī)(S3VM)模型的高光譜遙感影像分類方法。該算法在半監(jiān)督支持向量機(jī)的體系上加入未標(biāo)記樣本來輔助構(gòu)建核矩陣，從而獲得更優(yōu)異的分類器，在小樣本的基礎(chǔ)上提高分類精度。試驗(yàn)結(jié)果表明，本文方法的分類精度好于傳統(tǒng)方法，并且穩(wěn)定性良好。

高光譜遙感影像；S3VM模型；未標(biāo)記樣本，半監(jiān)督分類

高光譜遙感影像具有豐富的地物光譜信息，可以獲取地物精細(xì)的光譜曲線[1-3]。利用高光譜影像進(jìn)行地物分類，是高分辨率遙感影像的一項(xiàng)重要應(yīng)用[4]，已經(jīng)廣泛應(yīng)用于地礦分析、環(huán)境監(jiān)測、土地利用評估、農(nóng)業(yè)遙感等領(lǐng)域[5-7]。

目前，利用機(jī)器學(xué)習(xí)理論進(jìn)行高光譜遙感影像分類是一個(gè)研究熱點(diǎn)，機(jī)器學(xué)習(xí)方法共同的基礎(chǔ)理論之一是統(tǒng)計(jì)學(xué)，傳統(tǒng)統(tǒng)計(jì)學(xué)研究的假設(shè)都是在樣本趨近于無窮時(shí)的基礎(chǔ)上。在實(shí)際的分類問題中，樣本的獲取并不容易，較難獲得足夠數(shù)量的樣本來滿足傳統(tǒng)統(tǒng)計(jì)理論[8]。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比，統(tǒng)計(jì)學(xué)習(xí)理論是一種研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論[9-10]。該理論針對小樣本統(tǒng)計(jì)問題建立了一套新的理論體系，在這種體系下的統(tǒng)計(jì)推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果[11-13]。

為了能在小樣本的情況下獲得更高精度的分類結(jié)果，本文基于統(tǒng)計(jì)學(xué)習(xí)理論提出了一種半監(jiān)督支持向量機(jī)模型的高光譜遙感影像分類方法。該方法基于半監(jiān)督支持向量機(jī)體系，在小樣本的前提下加入未標(biāo)記樣本點(diǎn)，使用未標(biāo)記樣本中的結(jié)構(gòu)信息來輔助構(gòu)建SVM，完成對影像的分類處理，增加計(jì)算效率，提高影像的分類精度[14-15]。

1 研究模型

本文提出的S3VM模型同時(shí)兼顧標(biāo)記樣本和未標(biāo)記樣本，在其基礎(chǔ)上對高光譜影像進(jìn)行分類計(jì)算，整個(gè)框架具體如下。

1.1 未標(biāo)記樣本特征提取

本文利用S3VM模型分類，使用了大量的未標(biāo)記樣本，其計(jì)算花費(fèi)的時(shí)間極大。為了克服這一局限，首先對所選擇的大量未標(biāo)記樣本進(jìn)行特征提取，然后將這一新特征融入標(biāo)記樣本中。具體采用K-means算法對未標(biāo)記樣本進(jìn)行迭代計(jì)算，使得目標(biāo)函數(shù)J達(dá)到最小值，此時(shí)獲得其最優(yōu)聚類結(jié)果，即滿足如下公式

(1)

1.2 樣本綜合訓(xùn)練

獲得未標(biāo)記樣本的聚類特征后，將其與標(biāo)記樣本進(jìn)行訓(xùn)練分析。進(jìn)行訓(xùn)練前，需要計(jì)算基核矩陣。對于標(biāo)記樣本而言，為了控制影像中可能存在的錯(cuò)誤標(biāo)記樣本，本部分利用高斯徑向核函數(shù)計(jì)算基核KSVM矩陣，具體公式如下

(2)

式中，(x,y)為訓(xùn)練樣本；l為樣本個(gè)數(shù)，且0

對未標(biāo)記樣本，在確定相同的類別數(shù)k的前提下，使用K-means算法對其進(jìn)行t次迭代運(yùn)算，每一個(gè)Xi都得到一個(gè)聚類值Cp(Xi)，其中p=1，2，…，t。此時(shí)，根據(jù)Xi和Xj為同一類別的次數(shù)得到其聚類核Kbag(xi,xj)

(3)

式中， (xi,xj)為樣本；p是K-means算法進(jìn)行迭代計(jì)算次數(shù)。

此時(shí)，獲得未標(biāo)記樣本和標(biāo)記樣本的基核矩陣KSVM和Kbag。為避免預(yù)設(shè)核存在數(shù)據(jù)分布假設(shè)上的不足或錯(cuò)誤等局限， 本文采用原始核函數(shù)和聚類核

函數(shù)之和來修正聚類核K(xi,xj)，具體如下

K(xi,xj)=Kbag(xi,xj)+KSVM(xi,xj)

(4)

將式(2)和式(3)代入式(4)可得

K(xi,xj)=

(5)

將K(xi,xj)用來訓(xùn)練新的SVM，將其訓(xùn)練結(jié)果代入高光譜影像，進(jìn)行分類計(jì)算。

2 基于S3VM模型的高光譜遙感影像分類方法

本文采用聚類核的方法先將未標(biāo)記樣本進(jìn)行聚類，然后將聚類后的結(jié)果和標(biāo)準(zhǔn)SVM 核進(jìn)行組合訓(xùn)練，進(jìn)行分類計(jì)算，具體如圖1所示。

圖1 本文技術(shù)流程

3 試驗(yàn)與分析

本文試驗(yàn)數(shù)據(jù)為1992 年6 月美國印第安納州西北部印第安遙感試驗(yàn)區(qū)的AVIRIS 影像，影像大小為145×145 像素。原始參考影像一共16類，除去較少的4類后剩下12個(gè)類別，待分影像、參考影像及類別顏色對應(yīng)信息如圖2所示。

圖2 原始試驗(yàn)影像和參考數(shù)據(jù)

圖2(b)將12種地物類別在AVIRIS影像中已經(jīng)分別標(biāo)注出來，對這12種地物類別信息作樣本統(tǒng)計(jì)，具體見表1。

表1 AVIRIS影像類別樣本統(tǒng)計(jì)

3.1 不同樣本的SVM分類比較

本文針對標(biāo)準(zhǔn)SVM算法在小樣本的情況下分類精度不足的問題，提出一種基于S3VM的高光譜影像分類方法。因此，本文首先分析標(biāo)準(zhǔn)SVM算法在不同樣本下的分類精度，具體分類結(jié)果如圖3所示。

圖3 不同樣本的SVM分類對比

從圖3可知，每類5個(gè)樣本的分類結(jié)果目視效果非常差，存在很多明顯的錯(cuò)分現(xiàn)象。逐步增加每類樣本數(shù)時(shí)，分類結(jié)果的目視效果逐漸變好，錯(cuò)分現(xiàn)象能夠得到一定程度的改善。通過與分類參考圖目視比較，當(dāng)每類的訓(xùn)練樣本小于40個(gè)時(shí)，分類結(jié)果都不太好，訓(xùn)練樣本為40～100個(gè)時(shí)可以取得比較好的結(jié)果，每類樣本數(shù)達(dá)到200個(gè)時(shí)，出現(xiàn)了更好的結(jié)果。這說明，利用標(biāo)準(zhǔn)的SVM算法進(jìn)行影像分類時(shí)，分類精度的高低與樣本數(shù)量的多少成正比，存在大量正確樣本的前提下才有可能獲得較高的分類精度。對其進(jìn)行定量分析具體見表2。

表2 不用樣本的標(biāo)準(zhǔn)SVM分類精度比較

從表2可以看出，利用標(biāo)準(zhǔn)SVM算法進(jìn)行分類時(shí)，當(dāng)每類樣本數(shù)較少時(shí)，往往無法得到較高的精度，如每類樣本數(shù)為5個(gè)時(shí)，僅能得到30.58%的OA精度。當(dāng)增加每類樣本個(gè)數(shù)時(shí)，分類精度逐步遞增。這說明利用標(biāo)準(zhǔn)的SVM算法進(jìn)行高光譜遙感影像分類，如果要獲得較好的精度，需要大量的正確樣本，從而大大增加計(jì)算時(shí)間，降低分類效率。而且，選擇的樣本數(shù)越多，存在樣本標(biāo)記錯(cuò)誤的風(fēng)險(xiǎn)也越大，可能導(dǎo)致分類精度下降。同時(shí)，標(biāo)準(zhǔn)SVM算法進(jìn)行分類時(shí)，樣本的增多對于分類精度的提升并非是無限的。當(dāng)每類樣本數(shù)達(dá)到100個(gè)時(shí)，OA精度達(dá)到了70.11%，再增加50個(gè)樣本后，OA精度提高了2.75%。增加到每類200個(gè)樣本時(shí)，分類精度較每類100個(gè)樣本時(shí)提高了4.24%。綜上，隨著每類樣本的增加，精度提升得越來越慢，直至達(dá)到比較穩(wěn)定的分類精度。

3.2 SVM與S3VM分類比較

S3VM算法是當(dāng)樣本較少時(shí)，使用加入的未標(biāo)記樣本來改善核矩陣的構(gòu)建，從而在影像分類上具有更優(yōu)異的表現(xiàn)。下面來分析標(biāo)準(zhǔn)SVM算法與S3VM算法的分類精度。圖4是當(dāng)設(shè)定每類訓(xùn)練樣本數(shù)為5個(gè)時(shí)，兩種算法的分類效果圖。

圖4 加入不同數(shù)量未標(biāo)記點(diǎn)的分類圖

從圖4目視可知，當(dāng)每類使用5個(gè)訓(xùn)練樣本而不加入任何未標(biāo)記樣本時(shí)，即等同利用標(biāo)準(zhǔn)的SVM算法分類，由于此時(shí)樣本數(shù)量較小，因此其分類的結(jié)果非常差。特別是在分類效果圖的左上部分，很多類別存在明顯的錯(cuò)分現(xiàn)象。但是當(dāng)利用S3VM算法加入未標(biāo)記樣本后，其分類結(jié)果有了明顯改善，且分類精度隨著加入的未標(biāo)記點(diǎn)的增加而提高。對圖4結(jié)果進(jìn)行定量分析，具體見表3。

表3 加入不同數(shù)量未標(biāo)記點(diǎn)的精度比較

從表3可以看出，當(dāng)每類使用5個(gè)訓(xùn)練樣本而不加入任何未標(biāo)記樣本時(shí)，其分類OA精度為30.58%；當(dāng)加入200個(gè)未標(biāo)記樣本時(shí)，OA精度為41.27%；加入600個(gè)未標(biāo)記樣本時(shí)，其OA精度提升為約54.28%，提高了23.7%。結(jié)果表明，在小樣本的前提下，標(biāo)準(zhǔn)的SVM算法進(jìn)行高光譜遙感影像分類，其精度無法滿足需要，利用S3VM算法加入未標(biāo)記樣本后，其分類結(jié)果有了明顯改善，證明未標(biāo)記樣本在影像分類中的正面作用。

為了驗(yàn)證本文方法的有效性，試驗(yàn)增加每類訓(xùn)練樣本數(shù)，并以同樣多的未標(biāo)記樣本數(shù)加入到標(biāo)記樣本中。此次試驗(yàn)中每類訓(xùn)練樣本個(gè)數(shù)為50個(gè)，分別加入200、400、600個(gè)未標(biāo)記樣本，試驗(yàn)結(jié)果如圖5所示。

從圖5目視可知，當(dāng)每類使用50個(gè)訓(xùn)練樣本而不加入任何未標(biāo)記樣本時(shí)，其分類結(jié)果優(yōu)于只使用5個(gè)訓(xùn)練樣本不加入任何未標(biāo)記樣本的分類結(jié)果。當(dāng)增加未標(biāo)記樣本后，分類結(jié)果有所改善，但不如每類5個(gè)樣本時(shí)那么明顯，目視差別不大，僅僅在一些細(xì)節(jié)上有所好轉(zhuǎn)。定量的評價(jià)見表4。

從表4可知，當(dāng)每類訓(xùn)練樣本數(shù)達(dá)到50個(gè)時(shí)，僅使用標(biāo)準(zhǔn)SVM的分類精度已達(dá)到63.48%，增加未標(biāo)記樣本數(shù)從200到600后，分類精度提升有限，僅有約10.03%的改善，改善程度不及每類訓(xùn)練樣本為5個(gè)時(shí)。這一結(jié)論表明在每類訓(xùn)練樣本數(shù)非常少的情況下，加入大量的未標(biāo)記樣本對于分類結(jié)果的改善是顯著的，但當(dāng)訓(xùn)練樣本數(shù)較多的情況下，則對于分類結(jié)果的改善將沒有那么明顯，但也能促進(jìn)影像分類精度的提升。

圖5 加入不同數(shù)量未標(biāo)記點(diǎn)的分類

表4 加入不同數(shù)量未標(biāo)記點(diǎn)的精度比較

4 結(jié) 語

本文提出了一種基于S3VM模型的高光譜遙感影像分類方法，該方法在小樣本的情況下，使用未標(biāo)記樣本中的結(jié)構(gòu)信息來輔助構(gòu)建SVM，增加計(jì)算效率，提高影像的分類精度。試驗(yàn)結(jié)果表明，在小樣本的情況下，標(biāo)準(zhǔn)的SVM算法的分類精度較低，無法滿足需要，在同樣樣本數(shù)量時(shí)，加入不同的未標(biāo)記樣本，可以有效提高分類精度。本文提出的算法對影像的預(yù)處理要求不高，具有較好的適應(yīng)性，其結(jié)果可以為城市變化發(fā)展、環(huán)境監(jiān)測等領(lǐng)域提供決策支持。

[1] 張兵，高連如.高光譜圖像分類與目標(biāo)探測[M].北京：科學(xué)出版社，2011.

[2] 浦瑞良.高光譜遙感及其應(yīng)用[M].北京：高等教育出版社,2000.

[3] 雒立群,郭舟,趙文智，等.結(jié)合高光譜和高空間分辨率影像提取城市固體廢棄物堆[J].測繪通報(bào),2016 (2):38-41.

[4] ZHONG Y，ZHANG L，HUANG B，et al.An Unsupervised Artificial Immune Classifier for Multi-hyperspectral Remote Sensing Imagery[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44(2)：420-431.

[5] 譚琨,杜培軍.基于再生核Hilbert空間小波核函數(shù)支持向量機(jī)的高光譜遙感影像分類[J].測繪學(xué)報(bào),2011，40(2):142-147.

[6] 丁勝,袁修孝,陳黎.粒子群優(yōu)化算法用于高光譜遙感影像分類的自動波段選擇[J].測繪學(xué)報(bào),2010，39(3):257-263.

[7] WAN L，TANG K，LI M，et al.Collaborative Active and Semisupervised Learning for Hyperspectral Remote Sensing Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53(5)：2384-2396.

[8] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī) [J].自動化學(xué)報(bào)，2000，26(1)：32-42.

[9] CHERKASSKY V S，MULIER F.Learning from Data：Concepts，Theory，and Methods [M].Wiley：IEEE Press，2007.

[10] VAPNIK V N.An Overview of Statistical Learning Theory[J].IEEE Transactions on Neural Networks，1999，10(5)：988-999.

[11] MAYORAZ E，ALPAYDIN E.Support Vector Machines for Multi-class Classification[C]∥Procecdings of the International Workshop on Engineering Applications of Bio-Inspired Artificial Neural Networks.[S.l.]:IEEE,1999.

[12] BREDENSTEINER E J，BENNETT K P.Multicategory Classification by Support Vector Machines [J].Computational Optimization and Applications，1999，12(1)：53-79.

[13] HSU C W,LIN C J.A Comparison of Methods for Multiclass Support Vector Machines [J].IEEE Transactions on Neural Networks，2002，13(2)：415-425.

[14] ZHANG J S，PAN Y Z，HE C Y，et al.The High Spatial Resolution Remote Sensing Image Classification Based on SVM with the Multi-source Data[J].IEEE International Geoscience & Remote Sensing Symposium，2005(6)：3818-3821.

[15] ZHANG J S，HE C Y，PAN Y Z，et al.The High Spatial Resolution RS Image Classification Based on SVM Method with the Multi-Source Data[J].Journal of Remote Sensing，2006，10(1)：49-57.

ClassificationofHyperspectralRemoteSensingImageBasedonS3VMModel

WEI Lifei1,2，F(xiàn)ENG Xiuqiang1,LI Dandan3，MOU Ziwei1，2

(1. Faculty of Resources and Environmental Science，Hubei University，Wuhan 430062，China; 2. Hubei Key Laboratory of Regional Development and Environmental Response，Wuhan 430062，China; 3. Key Laboratory of Agri-informatics，Ministry of Agriculture，P.R.China，Beijing 100081，China)

The traditional hyperspectral remote sensing image classification is limited by the number of training samples，so it is difficult to obtain the better classification results.This paper proposes a hyperspectral remote sensing image classification method based on semi-supervised support vector machine of clustering kernel.The method constructs a kernel matrix to obtain more excellent classifier by semi-supervised support vector machine and unlabeled sample，and improves classification accuracy based on small sample.The experimental results show that the classification accuracy of this method proposed in this paper is better than the traditional method，and has good stability.

hyperspectral remote sensing image；S3VM model；unlabeled sample；semi-supervised classification

2017-03-15；

2017-05-24

國家自然科學(xué)基金(61201341；41371344)；干旱氣象科學(xué)研究基金(IAM201512)；數(shù)字制圖與國土信息應(yīng)用工程國家測繪地理信息局重點(diǎn)實(shí)驗(yàn)室開放研究基金(GCWD201407)

魏立飛(1979—)，男，博士生，講師，主要研究方向?yàn)槌鞘羞b感及遙感影像智能化處理。E-mail：weilifeihb@163.com

魏立飛，俸秀強(qiáng)，李丹丹，等.基于S3VM模型的高光譜遙感影像分類[J].測繪通報(bào)，2017(12)：43-47.

10.13474/j.cnki.11-2246.2017.0376.

P237

A

0494-0911(2017)12-0043-05