基于卷積網(wǎng)絡(luò)的沙漠腹地綠洲植物群落自動分類方法

尼加提·卡斯木 師慶東 劉素紅 比拉力·依明 李 浩

(1.新疆大學(xué)干旱生態(tài)環(huán)境研究所， 烏魯木齊 830046； 2.新疆大學(xué)綠洲生態(tài)教育部重點實驗室， 烏魯木齊 830046； 3.新疆大學(xué)資源與環(huán)境科學(xué)學(xué)院， 烏魯木齊 830046； 4.北京師范大學(xué)環(huán)境遙感與數(shù)字城市北京市重點實驗室， 北京 100875)

0 引言

植物群落是土地基本屬性的綜合指標(biāo)：特定的氣候、土壤和地形條件發(fā)育了不同的植物群落，植物群落則綜合反映了土地的基本屬性[1]。因此，植物群落的整體狀況綜合體現(xiàn)了國家的生態(tài)本底，是生態(tài)恢復(fù)和生態(tài)建設(shè)以及制定土地利用政策的重要依據(jù)。充分認識植物群落的重要性和它的價值是開發(fā)、利用和保護生物資源的前提，也是生態(tài)學(xué)、環(huán)境科學(xué)和地理學(xué)等相關(guān)學(xué)科發(fā)展的需要[2]。

植物群落分布區(qū)域的獲取手段主要包括地面實際測量和遙感技術(shù)。其中利用遙感技術(shù)獲取植物群落的方法通常是基于光譜特征，主要利用紅光波段(吸收特征)和近紅外波段(反射特征)及中紅外波段(水吸收特征)等。肖海燕等[3]在光譜特征分析和地面調(diào)查的基礎(chǔ)上，采用決策樹和高光譜分析組合，進行了紅樹林群落信息提取研究。杜欣等[4]在植物群落野外調(diào)查的基礎(chǔ)上，利用高分辨率Pléiades影像，結(jié)合光譜、地形及紋理信息，通過投影尋蹤學(xué)習(xí)網(wǎng)絡(luò)的方法，實現(xiàn)了植物分類。而高空間分辨率遙感影像的地物幾何結(jié)構(gòu)和紋理信息明顯，便于認知地物目標(biāo)的屬性特征，在提取地面信息、植被信息等方面，具有較強的識別能力，可提供更多有效的空間數(shù)據(jù)信息，實現(xiàn)高空間分辨率遙感影像植物群落的識別研究[5]。

隨著無人機技術(shù)的發(fā)展，其在植被覆蓋度研究中也得到了充分應(yīng)用。但在無人機遙感數(shù)據(jù)中，包括了大量的RGB三通道圖像，受限于光譜信息不夠充足，使得利用該類數(shù)據(jù)進行圖像分類的精度提升困難[6]。特別是植物群落在可見光波長范圍內(nèi)的光譜特征較為相似，加大了不同植物群落目標(biāo)區(qū)域的提取難度，采用傳統(tǒng)的、基于像素的、只利用光譜信息的遙感圖像處理方法很難有效提取不同植物群落目標(biāo)區(qū)域[7]。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種具有深度學(xué)習(xí)能力的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)[8]。與傳統(tǒng)的圖像分類方式不同，卷積神經(jīng)網(wǎng)絡(luò)不需要針對特定的任務(wù)對圖像提取具體的手工特征，而是模擬人類的視覺系統(tǒng)對原始圖像進行層次化的抽象處理來產(chǎn)生分類結(jié)果。該方法采用局部感受野、權(quán)值共享和空間采樣技術(shù)，使得網(wǎng)絡(luò)訓(xùn)練參數(shù)相比于神經(jīng)網(wǎng)絡(luò)大大減少，具有適用性強、特征提取與分類同時進行、泛化能力強、全局優(yōu)化訓(xùn)練參數(shù)少等優(yōu)點[9]。

由于無人機影像數(shù)據(jù)往往具有較高的空間分辨率，從計算機視覺角度出發(fā)，利用圖像理解與識別方法，對目標(biāo)區(qū)域進行提取，將其從背景中分離出來，是另一種行之有效的方法。目標(biāo)的特征是區(qū)分目標(biāo)與背景的重要依據(jù)[10]。目標(biāo)特征來源于圖像信息，包括光譜信息、形狀信息、紋理信息和上下文信息等。因此，根據(jù)圖像信息結(jié)合目標(biāo)本身特點選擇合理的提取方法是目標(biāo)提取的關(guān)鍵所在[11]。

研究區(qū)檉柳目標(biāo)區(qū)域具有成片分布特點，胡楊具有一定的高度且存在陰影部分，枯枝光譜與沙漠光譜在可見光波長范圍內(nèi)具有較高的相似性，是典型的面狀地物目標(biāo)提取易混淆問題。針對研究區(qū)不同地物類內(nèi)特征復(fù)雜、類間邊界模糊的特點，以連續(xù)分布區(qū)域為研究對象，本文提出一種利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)自動獲取圖像塊狀特征來提取不同植物群落分布區(qū)域的方法。

1 數(shù)據(jù)與方法

1.1 研究區(qū)概況

研究區(qū)位于世界第二大沙漠塔克拉瑪干大沙漠腹地的達理雅博依鄉(xiāng)，是一塊被中外考古探險家稱為“世外桃源”的綠洲，因其與世隔絕、交通不便而保留了綠洲原始狀態(tài)[12]。達理雅博依是克里雅河下游流域的統(tǒng)稱，漢語譯作“大河沿”，該地區(qū)縱伸塔克拉瑪干大沙漠腹地250 km，南北長365 km，東西寬96 km，總面積2 326.98 km2，地理位置為38°16′～38°37′N，81°05′～81°46′E，海拔為1 100～1 300 m，氣候十分干燥，風(fēng)沙頻繁，年降水量14 mm，蒸發(fā)量約1 600 mm[13]。常見的植被為胡楊(PopuluseuphraticaOliv.)、檉柳(TamarixchinensisLour.)、蘆葦(Phragmitescommunis)等，主要靠地表水及地下水生存。研究區(qū)地理位置及無人機航拍區(qū)域見圖1。

圖1 研究區(qū)地理位置及UAV航拍區(qū)域Fig.1 Study area location and UAV aerial photography area

1.2 數(shù)據(jù)來源

實驗所用數(shù)據(jù)為無人機影像數(shù)據(jù)，無人機類型為SV360型固定翼無人機，搭載Sony A7R型相機，拍攝時間為2018年8月24日，地點為達理雅博依綠洲內(nèi)部，研究區(qū)內(nèi)植被類型為林地，地勢較為平坦，研究區(qū)UAV影像分辨率0.05 m，飛行高度100 m。無人機參數(shù)與相機參數(shù)如表1所示。

圖2 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 VGGNet network structure diagram

1.3 深度卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)可分為4部分：輸入層、卷積層、全連接層和輸出層。其中卷積層包括卷積層和池化層(下采樣層)兩部分[14]。對于小樣本數(shù)據(jù)，相比較于初始化訓(xùn)練網(wǎng)絡(luò)，以預(yù)訓(xùn)練網(wǎng)絡(luò)為基礎(chǔ)進行參數(shù)訓(xùn)練與網(wǎng)絡(luò)優(yōu)化，在效率與效果方面都會有很大改善。VGGNet網(wǎng)絡(luò)是在AlexNet網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展而來的，其主要貢獻在于使用非常小的3×3卷積核進行網(wǎng)絡(luò)設(shè)計(圖2)，并且將網(wǎng)絡(luò)深度增加到16～19層[15]。

表1 無人機及相機參數(shù)Tab.1 Detailed parameters of UAV and camera

VGGNet模型不僅在大規(guī)模數(shù)據(jù)集上的分類效果較好，其在其他數(shù)據(jù)集上的推廣能力也出色。ResNet50是在ImgeNet數(shù)據(jù)集上取到較好分類效果的CNN網(wǎng)絡(luò)，采用預(yù)訓(xùn)練網(wǎng)絡(luò)作為本文的方法模型。ResNet50是在現(xiàn)有訓(xùn)練深度網(wǎng)絡(luò)基礎(chǔ)上，提出的一種減輕網(wǎng)絡(luò)訓(xùn)練負擔(dān)的殘差學(xué)習(xí)框架，其更容易被優(yōu)化，并且可以在深度增加的情況下讓精度也增加[16]。ResNet50中包含了49個卷積層和1個全連接層(圖3)[17]。

1.4 研究方法

本文通過對無人機影像的規(guī)則切分獲取小圖像塊并構(gòu)建實驗數(shù)據(jù)集，分別為訓(xùn)練/驗證樣本集和測試數(shù)據(jù)集，包括胡楊、檉柳、沙漠、陰影、枯枝等目標(biāo)樣本(圖4)；利用基于CNN的VGGNet模型與ResNet模型對訓(xùn)練/驗證樣本集中的小圖像塊的圖像特征進行抽象與學(xué)習(xí)，以自動獲取圖像塊深層特征，并得到優(yōu)化后的網(wǎng)絡(luò)模型；本研究的深度卷積網(wǎng)絡(luò)選用ResNet50和VGG19兩種深度算法，總體分類流程如圖5所示。之后對測試數(shù)據(jù)集進行分類，得到目標(biāo)提取結(jié)果，并利用抽樣法進行精度驗證。

圖3 ResNet50網(wǎng)絡(luò)模型的整體結(jié)構(gòu)Fig.3 Overall structure of ResNet50 network model

圖4 研究區(qū)無人機影像及景觀圖Fig.4 UAV image and field photos in study area

圖5 深度卷積網(wǎng)絡(luò)自動分類流程圖Fig.5 Flow chart of automatic classification of deep convolution network

1.4.1數(shù)據(jù)集構(gòu)建

對影像進行規(guī)則切分獲取小圖像塊的方法有別于面向?qū)ο蟮姆指罘椒āＳ捎诘匚镱悆?nèi)特征復(fù)雜、類間邊界模糊，若以自然地物邊界進行分割需要較大的計算量，分割效果也受到一定限制?？紤]到目標(biāo)成片分布的面狀特征，根據(jù)影像空間分辨率與地物目標(biāo)大小，選擇合適尺度對影像進行規(guī)則切分，以反映連續(xù)分布區(qū)域的小圖像塊為研究對象。將切分得到的小圖像塊作為實驗數(shù)據(jù)集，以待學(xué)習(xí)與提取圖像深層特征。從中隨機選擇一定數(shù)量的數(shù)據(jù)作為訓(xùn)練/驗證樣本集，剩余數(shù)據(jù)作為測試數(shù)據(jù)集。通過對小圖像塊特征的提取來進行識別，以識別得到的圖像塊組合達到對目標(biāo)區(qū)域的提取。

1.4.2分類精度驗證

在得到提取結(jié)果后，采用抽樣法進行精度驗證。為保證抽樣點在圖像上均勻分布，利用系統(tǒng)抽樣法進行樣本抽樣，即確定抽樣間隔后，在第一間隔內(nèi)隨機選擇一個樣本，再依次加上抽樣間隔后得到后續(xù)樣本。通過人工解譯目視判讀、判斷抽樣樣本的類別正確性，得到提取結(jié)果精度。

2 結(jié)果與分析

2.1 植物群落數(shù)據(jù)切分

結(jié)合無人機影像的分辨率及不同地物目標(biāo)區(qū)域特點，為了保證規(guī)則小圖像塊的均一性并提高方法效率，對影像的切分尺度固定在10像素，即切分獲得的小圖像塊尺寸為10像素×10像素，實際地面尺寸為50 cm×50 cm。通過塊提取軟件(Extract-Interface V1.0)按固定尺度規(guī)則切分，每幅影像均可獲得10 000幅小圖像塊數(shù)據(jù)。本研究主要目標(biāo)類為胡楊、檉柳、陰影、枯枝、沙漠，結(jié)合地物不同紋理特征與結(jié)構(gòu)，本文提供了UAV影像數(shù)據(jù)集各地物類別示例(表2)。

2.2 分類結(jié)果分析

利用不同訓(xùn)練樣本數(shù)量的4種方案，結(jié)合基于CNN的VGGNet與ResNet模型將研究區(qū)典型植物群落及其他地物進行自動分類。圖6和圖7分別展示了2種深度算法(ResNet50和VGG19)以不同方案對無人機影像上典型植物及其他地物區(qū)域的提取結(jié)果。從提取結(jié)果看，不同數(shù)量的訓(xùn)練樣本在提取效果上具有一定的差異，隨訓(xùn)練樣本增多模型對數(shù)據(jù)的泛化能力有明顯增強。選取不同的訓(xùn)練樣本作為VGGNet和ResNet模型的數(shù)據(jù)集，深度學(xué)習(xí)過程對地物的識別差異較大。對分類結(jié)果以目視判讀分析發(fā)現(xiàn)，訓(xùn)練樣本為50個時，胡楊、檉柳和沙漠的識別程度比較好，而對陰影區(qū)域的分類偏多，識別程度較低(圖6a、7a)。選取200個訓(xùn)練樣本作為模型的數(shù)據(jù)集，深度學(xué)習(xí)的過程中對地物的識別精度明顯提高(圖6d、7d)。由此可得，隨著訓(xùn)練數(shù)據(jù)集的增多，枯枝目標(biāo)區(qū)域明顯降低，能更好地識別目標(biāo)區(qū)域。通過2種模型的比較，基于CNN的ResNet50模型充分發(fā)揮了其性能，能更好地克服地物類別復(fù)雜性，該模型具有較好的植物群落提取效果。

2.3 基于不同訓(xùn)練樣本的地物提取面積變化

根據(jù)本研究設(shè)定的不同訓(xùn)練樣本數(shù)量(50、100、150、200)，基于CNN的2種模型(ResNet50和VGG19)隨著訓(xùn)練樣本數(shù)量的變化，提取的地物面積也會不同(圖8)。訓(xùn)練樣本數(shù)量從50變到200時，沙漠面積總體為上升趨勢，ResNet50模型提取結(jié)果在44.71%～59.01%范圍內(nèi)，VGG19模型提取結(jié)果在47.89%～52.57%范圍內(nèi)?？葜Α㈥幱懊娣e總體呈下降趨勢，ResNet50模型提取結(jié)果分別在12.43%～26.63%、12.41%～19.15%之間，VGG19模型提取結(jié)果分別在10.86%～19.98%、14.41%～19.35%之間。結(jié)合建模精度分析發(fā)現(xiàn)，隨著訓(xùn)練樣本的增多，深度學(xué)習(xí)方法對地物的自動分類精度不斷提升，能夠準(zhǔn)確地提取地物面積。

2.4 分類精度驗證

通過深度學(xué)習(xí)得到自動分類結(jié)果后，利用系統(tǒng)抽樣法對分類結(jié)果進行精度驗證。利用隨機切割軟件(Extract-Interface V1.0)對分類后圖像進行均勻采樣，共抽樣400×9個塊圖(圖9)。選擇樣本后通過人工解譯目視判斷確定其分類的正確性，最終統(tǒng)計得到分類結(jié)果精度。

從精度驗證結(jié)果可以看出，基于CNN的自動提取圖像特征的方法在細致分類方面具有一定的潛能，特別是在測試階段，可以反映出CNN方法對數(shù)據(jù)具有較強的泛化能力。結(jié)合不同訓(xùn)練樣本數(shù)量分析發(fā)現(xiàn)，基于CNN的VGGNet模型精度隨著訓(xùn)練樣本數(shù)量增多而不斷提升，ResNet50模型與VGG19模型的建模精度從86.00%、83.33%分別提升到92.56%、90.29%，ResNet50模型分類精度為83.53%～91.83%，而VGG19模型分類精度為80.97%～89.56%，如表3所示。從而得知，模型的分類精度與適當(dāng)?shù)挠?xùn)練樣本數(shù)量之間具有一定依賴性。

表2無人機影像數(shù)據(jù)集各地物類別示例
Tab.2UAVimagedatasetexamplesofvariousgroundobjects

圖6 基于不同訓(xùn)練樣本數(shù)的ResNet50模型自動分類結(jié)果Fig.6 Automatic classification results of ResNet50 model based on different training samples

圖7 基于不同訓(xùn)練樣本數(shù)的VGG19模型自動分類結(jié)果Fig.7 Automatic classification results of VGG19 model based on different training samples

圖8 不同訓(xùn)練樣本數(shù)提取的地物面積Fig.8 Ground object area obtained from different training samples

對分類結(jié)果分析發(fā)現(xiàn)，訓(xùn)練樣本數(shù)量不低于200時，基于CNN的ResNet50模型表現(xiàn)出最佳的分類結(jié)果，對研究區(qū)不同地物的訓(xùn)練樣本選取200個，則可達到研究區(qū)不同地物的高精度分類結(jié)果。

圖9 自動分類結(jié)果精度驗證Fig.9 Automatic classification accuracy verification

模型訓(xùn)練集數(shù)量建模精度/%驗證集準(zhǔn)確量分類精度/%ResNet505086.0010085.6015087.4320092.56400×9308585.69300783.53309585.97330691.83VGG195083.3310082.8015088.2020090.29400×9295181.97291580.97316787.97322489.56

3 討論

本研究以沙漠腹地綠洲植物群落為研究對象，利用深度卷積網(wǎng)絡(luò)方法對不同植物群落進行高精度分類。為提高不同植物群落提取面積及分類精度，通過改變訓(xùn)練樣本的數(shù)量逐漸完善基于CNN的VGGNet和ResNet模型的穩(wěn)健性，為后期沙漠腹地綠洲植物群落區(qū)域尺度高精度分類及快速提取選取了有效的模型。同時為了體現(xiàn)深度卷積網(wǎng)絡(luò)方法在植物分類中的應(yīng)用，將本研究分類結(jié)果與傳統(tǒng)的6種監(jiān)督分類方法進行了對比，監(jiān)督分類精度及結(jié)果如圖10所示。結(jié)合監(jiān)督分類方法精度及提取面積分析發(fā)現(xiàn)，監(jiān)督分類最高精度可以達到84.3%，Kappa系數(shù)達到0.78；與深度學(xué)習(xí)方法相比，支持向量機模型對胡楊的提取面積相對較少，而對檉柳提取面積偏多，導(dǎo)致不同植物群落的邊界較模糊。不同的監(jiān)督分類方法提取的不同地物結(jié)果具有一定的差異，其中支持向量機分類結(jié)果更接近于深度學(xué)習(xí)分類結(jié)果(圖11)。

圖10 傳統(tǒng)的方法提取地物面積及精度統(tǒng)計Fig.10 Ground object area and overall accuracy obtained based on traditional methods

圖11 基于傳統(tǒng)方法提取不同地物結(jié)果Fig.11 Results of extracting plant communities areas based on traditional mathods

基于CNN分類方法存在監(jiān)督學(xué)習(xí)問題，需要大量的標(biāo)記數(shù)據(jù)作為訓(xùn)練樣本參與模型訓(xùn)練與特征學(xué)習(xí)。而遙感影像分類處理過程中，由于數(shù)據(jù)采集的有限性和人工標(biāo)記的“高成本”，使得有標(biāo)簽的訓(xùn)練樣本數(shù)量較為有限，是一個典型的小樣本學(xué)習(xí)問題[18]。對于深度較深的CNN網(wǎng)絡(luò)模型在海量數(shù)據(jù)集(ImageNet)上有優(yōu)異的表現(xiàn)。但在針對特定類型遙感數(shù)據(jù)進行處理時，由于有限的樣本不能很好地刻畫數(shù)據(jù)的總體分布特征，導(dǎo)致訓(xùn)練所得到的網(wǎng)絡(luò)模型分類性能會受到不同程度的影響，降低其泛化能力[19-20]。本文采用預(yù)訓(xùn)練模型(ResNet和VGGNet)，設(shè)置不同數(shù)量的訓(xùn)練數(shù)據(jù)集，通過比較基于不同數(shù)量的訓(xùn)練樣本對模型的泛化能力，使得網(wǎng)絡(luò)模型參數(shù)的訓(xùn)練更合理，解決了由于訓(xùn)練樣本數(shù)量少導(dǎo)致模型訓(xùn)練不充分的問題。本文考慮了因圖像切分尺度導(dǎo)致地物類別混淆的問題，不同切分尺度下的目標(biāo)區(qū)域提取精度和面積有一定的差異，隨著切分尺度增大，規(guī)則小圖像塊地物類別混淆過多，分類精度降低，提取目標(biāo)區(qū)域面積過大；然而切分尺度過小，實驗效率較低，人工解譯目視判讀不易識別各規(guī)則小圖像塊類別。因此，選擇規(guī)則小圖像塊的切分尺度為10像素較為合理可行。

4 結(jié)論

(1)影像規(guī)則切分尺度需考慮影像分辨率與待提取目標(biāo)地物大小，本文為保證規(guī)則小圖像塊均一性和方法效率，選擇切分尺度為10像素。

(2)基于CNN的ResNet50模型表現(xiàn)了最佳性能，訓(xùn)練/驗證數(shù)據(jù)集建模精度最高，達92.56%，測試數(shù)據(jù)集分類精度最高，達91.83%，分類結(jié)果較好，為利用無人機數(shù)據(jù)進行區(qū)域內(nèi)植物群落目標(biāo)區(qū)域提取提供了一種有效的方法，為植被覆蓋度估算方法研究、水土保持和土壤理化性質(zhì)研究以及森林火災(zāi)和生態(tài)環(huán)境研究提供了有力支持。

(3)通過對比傳統(tǒng)的人工選取圖像特征的方法和基于CNN自動提取圖像特征的方法，可以看出CNN方法在提取結(jié)果的精度和對數(shù)據(jù)的泛化能力方面均有較大的優(yōu)勢，同時在地物復(fù)雜性問題上，CNN方法仍表現(xiàn)出較好的提取結(jié)果。