基于卷積神經(jīng)網(wǎng)絡(luò)的青海湖區(qū)域遙感影像分類①

馬 凱,羅 澤

1(中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

青海湖作為我國(guó)最大的內(nèi)陸湖,其在維持當(dāng)?shù)氐纳鷳B(tài)環(huán)境平衡以及人類正常的社會(huì)生產(chǎn)生活中都起到了非常重要的作用.因此,青海湖區(qū)域的土地利用覆蓋情況得到了許多研究人員的關(guān)注.

遙感影像分類是研究青海湖區(qū)域土地利用與覆蓋分類的一項(xiàng)非常重要的支撐技術(shù).幾十年來,相關(guān)研究人員與機(jī)構(gòu)不斷提出各種遙感影像分類算法,極大的推進(jìn)了遙感數(shù)據(jù)處理與分析技術(shù)的進(jìn)步.

上世紀(jì)80年代,研究人員主要是利用統(tǒng)計(jì)模式識(shí)別的方法進(jìn)行遙感影像的分類研究.90年代起,出現(xiàn)了大量的機(jī)器學(xué)習(xí)遙感影像分類方法,機(jī)器學(xué)習(xí)分類算法在遙感領(lǐng)域的應(yīng)用極大的推動(dòng)了遙感影像分類技術(shù)的發(fā)展.2000年陳華[1]把K-means聚類方法應(yīng)用于多光譜圖像分類,重點(diǎn)討論了算法的技術(shù)過程.尹世源[2]用最大似然分類算法對(duì)山東丁字灣遙感影像進(jìn)行分類,并得到了較好的分類效果.楊育楨[3]基于TM影像的波段值與NDVI(歸一化植被指數(shù))、DEM(數(shù)字高程模型)坡度分析使用決策樹分類算法進(jìn)行地表覆蓋分類的分析,取得了比最大似然分類算法更好的分類效果.惠文華[4]提出一種基于SVM、光譜特征和紋理特征相結(jié)合的遙感圖像分類方法,取得了明顯優(yōu)于最大似然分類的結(jié)果.劉志剛[5]探討了一種基于支持向量機(jī)的遙感影像半監(jiān)督分類新方法.

2006年,多倫多大學(xué)的Geoff Hinton提出深度學(xué)習(xí)的概念,現(xiàn)在深度學(xué)習(xí)已經(jīng)成為了機(jī)器學(xué)習(xí)、人工智能領(lǐng)域的研究熱點(diǎn),尤其是在2012年的ImageNet LSVRC-2010比賽中,由Hinton教授及其學(xué)生提出的AlexNet模型[6]取得了驚人的效果,將to-5的錯(cuò)誤率由25%降到了17%,由此,深度學(xué)習(xí)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注.卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是深度學(xué)習(xí)網(wǎng)絡(luò)的一種,AlexNet網(wǎng)絡(luò)模型就是CNN模型的一種.曹林林[7]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到高分辨率遙感影像的分類中,取得了比SVM更好的分類效果,證明了卷積神經(jīng)網(wǎng)絡(luò)在高分辨率遙感影像分類中的可行性及精度優(yōu)勢(shì).

針對(duì)當(dāng)前的研究現(xiàn)狀,本文借鑒GoogLeNet Inception結(jié)構(gòu),設(shè)計(jì)并提出了一種卷積神經(jīng)網(wǎng)絡(luò)模型用于30米分辨率LandSat 8 OLI青海湖區(qū)域遙感影像的特征提取與分類,并設(shè)計(jì)實(shí)驗(yàn)分析了生成樣本的鄰域窗口尺寸對(duì)分類結(jié)果的影響,以及本文模型與最大似然分類和SVM分類器對(duì)分類結(jié)果的對(duì)比.實(shí)驗(yàn)結(jié)果表明窗口尺寸為9×9時(shí),CNN的總體分類效果最好,且優(yōu)于最大似然分類和SVM分類效果.證明了卷積神經(jīng)網(wǎng)絡(luò)模型在30米分辨率LandSat 8 OLI青海湖區(qū)域遙感影像分類中特征提取與分類的有效性.

1 相關(guān)工作

許多研究者對(duì)青海湖區(qū)域的土地覆蓋變化展開過研究,李小雁[8]以1977～2004年4期的遙感影像數(shù)據(jù)為基礎(chǔ),采用土地利用轉(zhuǎn)移矩陣、動(dòng)態(tài)度、利用程度等方法研究了青海湖流域1977年以來的土地利用變化特征及其空間分異規(guī)律.祁佳麗[9]選用2009～2011年的遙感影像數(shù)據(jù),采用土地利用轉(zhuǎn)移矩陣研究分析方法對(duì)青海湖流域的土地利用類型進(jìn)行了分析.劉娟[10]以青海湖的TM數(shù)據(jù)和地形數(shù)據(jù)為主要數(shù)據(jù)源,在GeoEye-1高分辨率影像和土壤圖的幫助下,采用最大似然的方法探討了遙感技術(shù)在青海湖流域土壤分類中的可行性.

卷積神經(jīng)網(wǎng)絡(luò)在高分遙感影像分類的應(yīng)用比較成熟,許多研究者提出了不同的數(shù)據(jù)處理方法.邢晨[11]考慮到提取空間信息的窗口大小可能會(huì)包含進(jìn)來與中心像素點(diǎn)不同類別的干擾像素,其嘗試了一維卷積的方式,即將一個(gè)空間鄰域的數(shù)據(jù)串聯(lián)起來的光譜數(shù)據(jù)作為一個(gè)通道的圖像,然后將3×3窗口尺寸的空間的像素?cái)?shù)作為通道數(shù),其使用的INP數(shù)據(jù)有200個(gè)波段,就得到9通道1×200的圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,這樣得到的圖像寬度就大大加寬.宋欣益[12]由原始高分?jǐn)?shù)據(jù)得到某一個(gè)像元在所有波段的光譜數(shù)值,然后轉(zhuǎn)為二維矩陣,并灰度化得到二維圖像輸入卷積神經(jīng)網(wǎng)絡(luò).

適用于高分圖像的處理方法并不適用于中分遙感影像,因?yàn)檫@些處理方式得益于高分遙感影像具有非常多的波段數(shù)據(jù),而LandSat8遙感影像只有11個(gè)波段的數(shù)據(jù),即使全部利用也只能得到1×11的圖像.

付秀麗[13]在處理中分LandSat5遙感影像時(shí),按照32×32大小的尺寸對(duì)TM影像進(jìn)行裁剪,完成對(duì)數(shù)據(jù)的預(yù)處理及樣本生成.但是對(duì)于30分辨率的遙感影像來說,32×32的窗口實(shí)在太大,必然會(huì)導(dǎo)致線條特征提取不明顯,分類邊界不夠細(xì)膩,影響圖像分類效果.張偉[14]在進(jìn)行16米空間分辨率多光譜影像的特征提取時(shí),使用了動(dòng)態(tài)窗口上采樣的方法做樣本生成,其使用預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet模型進(jìn)行特征提取,并用SVM進(jìn)行分類,取得了優(yōu)于基于光譜+紋理特征的分類結(jié)果.但是,上采樣的方法會(huì)額外增加計(jì)算量,此外,該方法也會(huì)給原始數(shù)據(jù)帶來冗余信息,擾亂圖像原始的紋理結(jié)構(gòu),在一定程度上會(huì)影響分類效果.

本文首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于青海湖區(qū)域遙感影像分類,同時(shí)為了保持圖像原始的紋理結(jié)構(gòu),保證CNN提取到最準(zhǔn)確的特征表示,本文不采用上采樣的方法做樣本生成,而是保持原始窗口大小的圖像樣本.同時(shí)為了能更好的提取到小窗口圖像的特征表示,本文借鑒GoogLeNet Inception結(jié)構(gòu)設(shè)計(jì)并提出了自己的卷積神經(jīng)網(wǎng)絡(luò)模型.

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的實(shí)驗(yàn)數(shù)據(jù)是成像于2016年10月17日的30米分辨率LandSat8 OLI青海湖區(qū)域遙感影像,云層覆蓋率低于1%.LandSat8共有11個(gè)波段的光譜數(shù)據(jù),每個(gè)波段的說明見表1.

表1中波段1主要應(yīng)用于海岸帶觀測(cè);波段9又稱卷云波段,包含水汽強(qiáng)吸收特征,一般用于云層檢測(cè);波段8、10、11的空間分辨率分別為15 m、100 m、100 m,一般不參與分類.對(duì)于一些傳統(tǒng)模型,通常會(huì)選擇波段信息量豐富、波段相關(guān)性小、地物光譜差異大、可分性好的最佳波段組合來進(jìn)行特征圖像解譯和特征提取,但是考慮到深度學(xué)習(xí)網(wǎng)絡(luò)具有極其強(qiáng)大的學(xué)習(xí)及特征表達(dá)的能力,本文將把剩余的波段2～7全部利用起來,作為輸入樣本的6個(gè)通道.本文實(shí)驗(yàn)利用了其中的6個(gè)波段,對(duì)TIF波段文件的讀取和處理使用的是Python GDAL庫(kù)以及Python Numpy庫(kù).LandSat8 數(shù)據(jù)是16位的,最大值為65 535,本文實(shí)驗(yàn)對(duì)每個(gè)波段的像元值做了層內(nèi)歸一化,歸一化到[0,1].

根據(jù)實(shí)地考察及相關(guān)資料參考,本文把青海湖區(qū)域的地物覆蓋分為7類:草地、荒地、高寒草甸、農(nóng)田、人工用地、沙地和水體.CNN訓(xùn)練是一種有監(jiān)督訓(xùn)練,需要大量有標(biāo)注的訓(xùn)練樣本.本文利用Google Earth圈定了7類樣本數(shù)據(jù),然后將標(biāo)記導(dǎo)出并導(dǎo)入到ArcGis中.

不同類別的樣本數(shù)量有較大差異.其中沙地、水體、高寒草甸樣本數(shù)量較大,而人工用地等樣本數(shù)量較少.為了避免樣本不平衡帶來的模型預(yù)測(cè)偏移的情況,本文對(duì)每類樣本隨機(jī)選取了1.5萬個(gè)樣本,此舉也使得樣本分布更為分散,減少樣本重疊的情況.

2.2 CNN模型

圖1即為GoogLeNet Inception結(jié)構(gòu)的v1版本,該結(jié)構(gòu)將 1×1、3×3、5×5 的卷積操作與 3×3 的池化操作stack在一起,一方面增加了網(wǎng)絡(luò)的寬度,另一方面也有利于網(wǎng)絡(luò)充分提取多尺度感受野的特征.

本文借鑒GoogLeNet Inception結(jié)構(gòu)設(shè)計(jì)并提出的的CNN網(wǎng)絡(luò)模型見圖2.

CNN能在圖像處理領(lǐng)域取得極大成功的一個(gè)特性就是感受野,感受野是指CNN結(jié)構(gòu)中某個(gè)特征映射到輸入空間的區(qū)域大小.本文使用1×1、3×3、5×5不同大小的卷積核來提取不同大小的感受野特征,充分挖掘中心像元與鄰域空間的特征聯(lián)系,提取到相關(guān)的特征.本文設(shè)計(jì)的CNN模型包含兩個(gè)類Inception結(jié)構(gòu),每個(gè)類Inception之后有一個(gè)Batch Normalization層,BN是將該層的輸出歸一化為均值為0,方差為1,BN操作可以有效的加快模型訓(xùn)練速度,提高模型精度.兩個(gè)類Inception之后是一個(gè)3×3的卷積層和一個(gè)512維的全連接層,最后是輸出層.

3 實(shí)驗(yàn)結(jié)果分析

3.1 鄰域窗口大小ws對(duì)分類結(jié)果的影響

如2.1小節(jié)所述,為了選擇最優(yōu)的鄰域窗口尺寸,本文選擇不同尺寸的ws做了實(shí)驗(yàn),選取的ws的尺寸為5、7、9、11、13.不同窗口尺寸的分類結(jié)果見圖3.

圖2 本文設(shè)計(jì)并提出的CNN模型結(jié)構(gòu)

從圖3可以看到,ws較小時(shí)分類圖中出現(xiàn)了較多的“椒鹽噪聲”式的細(xì)碎圖斑,分類區(qū)塊多且不連續(xù),觀察ws等于5時(shí)可以發(fā)現(xiàn),模型較好的識(shí)別出了道路等細(xì)長(zhǎng)的人工用地,這是因?yàn)榇翱谳^小時(shí),模型能較好的提取和表征狹小地物的特征,但同時(shí)對(duì)于區(qū)域面積較大的其他6個(gè)分類,小窗口能夠提取的特征較少,就非常容易出現(xiàn)錯(cuò)分的情況,可以看到在高寒草甸內(nèi)部出現(xiàn)了很多錯(cuò)分的零散的人工用地.隨著窗口ws的增大,整體分類效果也在慢慢變得合理.但是當(dāng)ws變大為11或13時(shí),可以發(fā)現(xiàn)出現(xiàn)了非常大的連片區(qū)域,分類邊界模糊,也出現(xiàn)部分區(qū)域被整體錯(cuò)分的情況;觀察人工用地,出現(xiàn)了人工用地被明顯加粗加寬的現(xiàn)象.這是因?yàn)樘蟮泥徲虼翱跁?huì)包含其他的地物信息或冗余信息,而不能使用模型提取出最能代表某一地物的特征,尤其是在邊界附近的像元,鄰域窗口越大,樣本所包含進(jìn)去的冗余信息就越多,就越不利于分類.

圖3 不同鄰域窗口尺寸下的CNN分類結(jié)果

經(jīng)過對(duì)比不同窗口尺寸的分類結(jié)果與實(shí)地地物覆蓋情況,本文認(rèn)為在鄰域窗口ws等于9時(shí),分類效果達(dá)到最好,分類結(jié)果與實(shí)地地物覆蓋分類最為吻合.

3.2 最大似然分類和SVM與CNN實(shí)驗(yàn)結(jié)果對(duì)比

使用相同的訓(xùn)練像元,本文又分別使用最大似然分類和SVM方法做了兩組對(duì)比實(shí)驗(yàn).本文采用混淆矩陣進(jìn)行精度對(duì)比,結(jié)果如表2、表3和表4.

由表2、表3和表4可知,使用CNN模型計(jì)算得到的總體分類精度為80.97%,Kappa系數(shù)為0.778,使用最大似然分類計(jì)算得到的總體分類精度為54.46%,Kappa系數(shù)為0.469.由SVM方法得到的分類結(jié)果的總體分類精度55.26%,Kappa系數(shù)為0.478.

表2 CNN精度評(píng)價(jià)

表3 最大似然分類精度評(píng)價(jià)

表4 SVM精度評(píng)價(jià)

從以上結(jié)果可以看出,不論是總體的分類精度還是Kappa系數(shù),本文設(shè)計(jì)的CNN模型都要高于最大似然分類和SVM.

最大似然分類方法假設(shè)數(shù)據(jù)服從正態(tài)分布或聯(lián)合正態(tài)分布,如果某一類的數(shù)據(jù)分布不服從正態(tài)分布,那么該方法就未必合適.我們觀察表3中,水體的預(yù)測(cè)準(zhǔn)確率只有28.4%,而SVM和CNN關(guān)于水體的預(yù)測(cè)準(zhǔn)確率都高達(dá)99%甚至100%.這是因?yàn)?遙感影像中的水體的光譜數(shù)據(jù)一般只在一個(gè)非常小的范圍內(nèi)變化,其數(shù)據(jù)分布規(guī)律不符合正態(tài)分布,因此水體的預(yù)測(cè)準(zhǔn)確率較低.此外,觀察SVM的分類結(jié)果發(fā)現(xiàn),荒地和高寒草甸的分類結(jié)果非常不理想,兩者被更多的錯(cuò)誤分類為草地和農(nóng)田,本文使用的遙感影像成像時(shí)間為10月份,4000多米海拔的青海湖區(qū)域已經(jīng)處于深秋季節(jié),所以這幾類地物具有非常相似的景觀特征,非常難以識(shí)別.而CNN的分類結(jié)果卻好很多,這也說明了卷積神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)大的特征提取與表達(dá)的能力.

圖4也直觀的展現(xiàn)最大似然分類、SVM分類與CNN分類效果的差異.

3.3 CNN在青海湖區(qū)域遙感影像分類的應(yīng)用

根據(jù)2.3.1及2.3.2兩小節(jié)對(duì)實(shí)驗(yàn)過程及結(jié)果的描述與對(duì)比,卷積神經(jīng)網(wǎng)絡(luò)在遙感影像分類中具有比最大似然分裂和SVM更好的分類效果,且對(duì)于中等分辨率的遙感影像,選擇鄰域窗口為9時(shí),分類效果最好.圖5即為使用最優(yōu)參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)在30米中分辨率青海湖區(qū)域遙感影像的分類結(jié)果圖.

圖4 CNN與最大似然分類、SVM分類結(jié)果對(duì)比

4 結(jié)論

鑒于卷積神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)大的特征學(xué)習(xí)和表達(dá)能力,本文提出并設(shè)計(jì)了一種卷積神經(jīng)網(wǎng)絡(luò)模型,并將其應(yīng)用到中分辨率青海湖區(qū)域遙感影像的分類中.同時(shí)本文針對(duì)樣本生成中鄰域窗口尺寸對(duì)分類效果的影響,以及CNN與最大似然分類和SVM分類效果的優(yōu)劣,分別作了對(duì)比實(shí)驗(yàn).本文得出以下結(jié)論:

1)與最大似然分類和SVM方法相比,卷積神經(jīng)網(wǎng)絡(luò)在遙感影像分類應(yīng)用中具有更強(qiáng)的特征提取能力與更優(yōu)的分類效果.

圖5 青海湖區(qū)域分類結(jié)果

2)針對(duì)30米分辨率的LandSat 8 OLI青海湖區(qū)域遙感影像,生成樣本時(shí)所需的鄰域窗口尺寸對(duì)最終的分類結(jié)果有一定的影響.尺寸太小,會(huì)產(chǎn)生很多“椒鹽噪聲”式的錯(cuò)分點(diǎn);尺寸太大,會(huì)導(dǎo)致部分整塊區(qū)域的錯(cuò)分以及邊界模糊.鄰域窗口尺寸為9×9時(shí)取得最好的分類效果.

3)本文方法也存在不足:本文在選取最優(yōu)鄰域窗口尺寸時(shí),采用了與實(shí)際地物覆蓋人工對(duì)比的方法,而沒有找到一個(gè)可量化的衡量指標(biāo).此外,不論生成樣本的窗口尺寸有多大,實(shí)際分類結(jié)果的邊界都會(huì)存在邊界模糊的情況.

在今后的工作中,我們將繼續(xù)探索,力求找到能較好的解決3)中所提到問題的解決方案;我們還將在樣本生成方法、模型結(jié)構(gòu)等方面繼續(xù)研究,努力為青海湖區(qū)域遙感影像分類提供新的更科學(xué)的技術(shù)方法.