基于語義分割模型和遙感的柑橘園空間信息提取*

董秀春，蔣怡，楊玉婷，郭濤，李宗南，李章成

(四川省農(nóng)業(yè)科學院遙感與數(shù)字農(nóng)業(yè)研究所，成都市，610066)

0 引言

柑橘是全球重要的經(jīng)濟作物，在中國種植面積廣、產(chǎn)量大，已成為農(nóng)村經(jīng)濟發(fā)展、農(nóng)民脫貧致富的支柱產(chǎn)業(yè)[1-3]。近年來，我國柑橘生產(chǎn)擴張明顯，種植集中化、規(guī)?；厔菁訌?，形成以江西、湖南、湖北、廣東、廣西、浙江、福建、四川、重慶等省市為主要產(chǎn)區(qū)的空間分布格局[4-6]。柑橘的快速擴增導致柑橘價格下滑、耕地減少、景觀格局改變、果園面源污染等問題[1, 7-8]，及時獲取準確的柑橘種植空間分布信息，有助于地方農(nóng)業(yè)部門進行柑橘產(chǎn)業(yè)的合理規(guī)劃、信息化管理、產(chǎn)量預(yù)測、果園環(huán)境風險評價等[9]。傳統(tǒng)人工調(diào)查方法費時耗力，獲取的柑橘數(shù)據(jù)對空間信息表達不足，遙感方法具有及時、客觀優(yōu)勢，在作物種植信息提取中應(yīng)用廣泛。相關(guān)研究人員基于Landsat TM/OLI[10]、Sentinel-2[11]、無人機影像[12]、GF-1 PMS[13]等遙感數(shù)據(jù)，采用隨機森林、可見光植被指數(shù)法、面向?qū)ο蟮确椒?，開展了柑橘果園種植信息提取方法研究。由于柑橘果園受地形、樹齡以及管理水平差異等因素影響，導致其具有較復(fù)雜的景觀特征，同物異譜現(xiàn)象明顯，尤其是在種植結(jié)構(gòu)復(fù)雜地區(qū)，常用分類方法獲取的結(jié)果存在較大不確定性。

高分辨率遙感影像具有豐富的空間信息，可清晰反映果園的紋理特征。深度學習語義分割模型通過構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，從大量、復(fù)雜特征樣本數(shù)據(jù)集中經(jīng)多個卷積和池化操作，進行由低層到高層的圖像特征提?。辉俑鶕?jù)標注信息學習、推理圖像中像素的類別，實現(xiàn)端到端圖像分類[14]，在高分辨率遙感影像分類及地物信息提取中表現(xiàn)出色[15-16]，較傳統(tǒng)分類方法具有較高的精度和效率優(yōu)勢，為復(fù)雜特征的果園信息提取帶來新的機遇。研究人員基于無人機、Worldview系列等高分辨率遙感影像和深度學習方法，開展了柑橘[17]、核桃[18]和橄欖園[19]等果園空間信息提取研究。隨著國內(nèi)外高分辨率遙感影像和開源深度學習框架平臺增加，地方農(nóng)業(yè)部門、農(nóng)戶使用開放的數(shù)據(jù)源和便捷的處理工具獲取區(qū)縣級的柑橘空間信息成為可能。研究以四川柑橘重點產(chǎn)區(qū)的蒲江縣為研究區(qū)，使用開源人工智能平臺，通過收集高分辨率Google earth圖像和地面果園調(diào)查數(shù)據(jù)，訓練柑橘園語義分割模型，實現(xiàn)柑橘種植空間信息提取，以期為地方農(nóng)業(yè)部門使用高分辨率遙感和開源的深度學習分類模型快速提取果園空間信息提供參考。

1 材料與方法

1.1 研究區(qū)概況

蒲江縣(圖1)屬四川省成都市，位于成都平原西南邊；地勢為西南高、東北低，地貌以淺丘為主，兼有平壩、深丘和山地；屬亞熱帶濕潤季風氣候，年平均氣溫16.4 ℃，降水1 280 mm，氣候溫和，雨量充沛；土壤肥沃，農(nóng)業(yè)資源豐富，適合柑橘種植。近年來，該縣通過農(nóng)業(yè)產(chǎn)業(yè)生態(tài)化發(fā)展，建設(shè)國家級特色水果現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)園，建成全國優(yōu)質(zhì)晚熟柑橘基地，形成以不知火、春見等雜柑為主要類型的種植規(guī)模和區(qū)域品牌效應(yīng)，已成為四川省柑橘重點產(chǎn)區(qū)，對促進地區(qū)經(jīng)濟的發(fā)展、農(nóng)民增收具有重大作用。

1.2 數(shù)據(jù)來源

數(shù)據(jù)包括實地調(diào)查數(shù)據(jù)和影像數(shù)據(jù)。經(jīng)實地調(diào)查，采集各類典型地物標志點位置信息約120個。研究區(qū)內(nèi)主要作物為柑橘、獼猴桃、茶，其余地物為道路、居民點、林地、耕地等。根據(jù)標志點和高分辨率影像，繪制調(diào)查樣方地物分布圖，為樣本數(shù)據(jù)集建立和精度驗證提供支持。

高分辨率的Google earth圖像在農(nóng)作物地面樣方調(diào)查和種植信息提取等多項研究中均有應(yīng)用[20-21]。柑橘屬闊葉常綠樹種，對影像獲取時相要求較低。通過Google earth獲取研究區(qū)清晰無云、空間分辨率為0.5 m 的RGB合成影像為數(shù)據(jù)源。其中，影像拍攝時間為2020年5月17日和2018年4月3日；矩形區(qū)域(圖1)為訓練區(qū)，用于樣本生產(chǎn)和模型訓練，某鄉(xiāng)鎮(zhèn)為測試區(qū)，用于模型預(yù)測和精度評價。經(jīng)重投影、影像鑲嵌等預(yù)處理，形成覆蓋研究區(qū)的高分辨率圖像。

1.3 語義分割模型

圖像語義分割即圖像標注，是將圖像進行自動分割并識別出圖像內(nèi)容，為圖像上各像素點分配語義標簽，由此應(yīng)用到遙感領(lǐng)域可解決影像分類問題[22-23]。常用深度學習語義分割模型包括U-net[24]和DeepLabv3+[25]，是全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)的改進和延伸，均利用下采樣提取特征、上采樣還原圖像尺寸的語義分割的思想，實現(xiàn)圖像的語義標注，在遙感影像的地物信息提取和影像分類應(yīng)用廣泛[26-27]。

U-net模型的結(jié)構(gòu)如圖2所示，因網(wǎng)絡(luò)整體結(jié)構(gòu)類似于大寫的英文字母U而得名。該網(wǎng)絡(luò)是標準的編碼器—解碼器網(wǎng)絡(luò)，上邊是由4個含有2個卷積層和1個最大池化層的模塊構(gòu)成的編碼器，逐層進行影像特征提取、減少特征圖的分辨率；同樣，下邊是由4個含有1個反卷積和2個卷積層的模塊構(gòu)成的解碼器，通過上采樣操作減少特征圖維數(shù)、依次還原圖像尺寸；同時通過跳躍連接，以拼接的方式將解碼器和編碼器中相同分辨率的特征圖進行特征融合，幫助解碼器更好地恢復(fù)目標細節(jié)。該網(wǎng)絡(luò)參數(shù)少、計算快，一般場景適應(yīng)性強[17]。

圖2 U-net模型結(jié)構(gòu)圖

DeepLabv3+總體結(jié)構(gòu)如圖3所示，是1個帶空洞的空間金字塔池化的編碼—解碼結(jié)構(gòu)。編碼器包括深度卷積神經(jīng)網(wǎng)絡(luò)DCNN(Deep convolution neural network)和空洞卷積空間金字塔池化ASPP(Atrous spatial pyramid pooling)兩個模塊，前者是通過改進的Xception作為骨架網(wǎng)絡(luò)對原始圖像進行特征提取，以提高模型語義分割的健壯性和運行速率；后者是在不改變特征圖大小的同時控制感受野，提取多尺度信息，對DCNN提取特征的信息進一步優(yōu)化。解碼器利用跳級結(jié)構(gòu)將DCNN提取的低層特征圖與經(jīng)過4倍雙線性內(nèi)插上采樣的高層特征圖進行融合，細化對象分割邊界，再經(jīng)上采樣操作恢復(fù)至原始圖像的分辨率，實現(xiàn)圖像的語義分割和像素預(yù)測，在對圖像信息的深層次挖掘方面具有較強優(yōu)勢。

圖3 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)圖

1.4 深度學習語義分割模型搭建

1.4.1 環(huán)境依賴搭建

模型訓練環(huán)境為Ubuntu 18.04，采用GPU為NVIDIA RTX 3090，顯存為24 G，CUDA版本為11.0；使用開源深度學習框架PaddlePaddle平臺下的圖像分割套件PaddleSeg，搭建U-net和DeepLabv3+柑橘園空間信息提取模型。

1.4.2 建立柑橘語義分割數(shù)據(jù)集

采用規(guī)則格網(wǎng)裁減研究區(qū)影像，形成空間分辨率為0.5 m、尺寸大小為256×256的影像數(shù)據(jù)集，并轉(zhuǎn)換成jpg格式，用于模型訓練和評估。結(jié)合研究區(qū)地面調(diào)查結(jié)果，根據(jù)果樹新種到成林的過程將柑橘園按樹齡分為1～2年生、3～4年生、5年以上三類，其圖像特征分別為點狀、大點狀、條狀或成林狀，典型柑橘園樣本見圖4。在訓練區(qū)選取有代表性的影像數(shù)據(jù)進行柑橘地塊人工標記，生成png格式的柑橘園地塊標注數(shù)據(jù)，由此建立柑橘訓練樣本數(shù)據(jù)集，共計400個影像—標簽對，其中，350個樣本參與模型訓練，50個樣本用于模型評估。

1.4.3 語義分割模型訓練和保存

加入樣本數(shù)據(jù)集分別進行U-net和DeepLabv3+模型訓練、精度評估和保存。在訓練過程中，主要參數(shù)設(shè)置包括網(wǎng)絡(luò)優(yōu)化函數(shù)為adam，學習率下降方法為poly，初始學習率為0.001，批處理大小為4，迭代次數(shù)為300，訓練的損失函數(shù)為Softmax，DeepLabv3+的模型骨架網(wǎng)絡(luò)選取Xception_65；訓練完成后導出模型及參數(shù)配置文件。

1.4.4 基于語義分割模型的柑橘園空間信息提取

基于Python端的模型預(yù)測腳本，使用訓練后效果最優(yōu)的U-net和DeepLabv3+模型對測試區(qū)影像進行預(yù)測，然后為分割預(yù)測結(jié)果添加空間坐標信息，經(jīng)拼接、柵格轉(zhuǎn)矢量、刪除細小圖斑等后處理，得到研究區(qū)柑橘園空間分布信息。

1.4.5 面積精度評價

在測試區(qū)建立地面樣方，目視解譯獲取樣方內(nèi)柑橘園的面積和空間分布，作為模型分類精度驗證真值，計算模型預(yù)測結(jié)果中柑橘園的總體精度和Kappa系數(shù)，評價語義分割方法提取柑橘園的性能；對樣方內(nèi)各柑橘園地塊面積排序，分區(qū)間統(tǒng)計面積精度，評價準確識別的最小斑塊面積。

2 結(jié)果與分析

2.1 語義分割模型訓練結(jié)果

基于驗證樣本數(shù)據(jù)，U-net和DeepLabv3+模型的總體精度、Kappa系數(shù)、IOU等精度評估指標及訓練耗時等結(jié)果見表1。U-net和DeepLabv3+模型的總體精度在87%～89%之間，Kappa系數(shù)和IOU差異較小，模型精度接近，表明兩種語義分割模型在少量樣本和復(fù)雜應(yīng)用場景下具有較強的圖像處理能力，對柑橘園信息提取表現(xiàn)出較好的分類效果，可滿足柑橘園遙感監(jiān)測需要；對比U-net和DeepLabv3+模型訓練所需時間，DeepLabv3+耗時較多，在少量訓練樣本條件下，結(jié)構(gòu)較為簡單的U-net模型的訓練效率和精度略優(yōu)于DeepLabv3+。

表1 U-net和DeepLabv3+模型的評價指標Tab. 1 Evaluation indicators between U-net and DeepLabv3+

2.2 基于語義分割模型的測試區(qū)柑橘園提取

基于U-net和DeepLabv3+模型預(yù)測測試區(qū)影像柑橘園圖斑，計算驗證樣方的混淆矩陣，結(jié)果見表2。測試區(qū)柑橘園分類提取的總體精度約87%左右，Kappa系數(shù)高于0.72，驗證結(jié)果接近模型評估結(jié)果，表明訓練的模型適應(yīng)性良好，可用于柑橘園的空間信息提取。對比分析錯分、漏分誤差等指標，兩種模型的錯分誤差相當，但DeepLabv3+漏分誤差略高于U-net。分析測試區(qū)柑橘園的漏分、錯分原因，主要是公路兩旁的綠化植被、少量林地以及極少量獼猴桃園的遙感特征與成林的柑橘園相似，因而被錯分為柑橘園；新種的柑橘樹因樹苗較小，遙感特征接近裸地，紋理特征不明顯，不能被準確識別和提?。簧倭科碌氐母涕賵@呈梯坎狀分布，其遙感特征與平地果園有差異，漏分現(xiàn)象明顯。

表2 基于語義分割模型的柑橘園提取精度Tab. 2 Precision analysis of citrus extraction between U-net and DeepLabv3+

測試區(qū)U-net模型預(yù)測結(jié)果及局部區(qū)域見圖5，小地塊果園面積遙感識別精度分析見圖6。

圖5 測試區(qū)U-net預(yù)測結(jié)果

圖6 地塊面積與識別精度

該區(qū)域柑橘種植分布密集，除靠城區(qū)附近平壩及海拔較高的區(qū)域種植較少之外，其余區(qū)域均以柑橘為主，種植區(qū)域在空間上呈現(xiàn)規(guī)?；?、集中化的分布特征。局部區(qū)域放大圖顯示：測試區(qū)內(nèi)不同特征的柑橘園地塊分割準確，能較好地將柑橘園與其他地物進行區(qū)分。根據(jù)圖6，地塊面積在120 m2以下的果園遙感識別精度不穩(wěn)定，各區(qū)間均低于80%；當面積大于120 m2時，各個區(qū)間的果園遙感面積精度高于85%，且隨著地塊面積增加，果園的遙感識別精度整體呈上升趨勢，表明該研究基于U-net訓練的柑橘園空間信息提取模型在0.5 m 高分辨率遙感圖像能準確識別的最小圖斑約為120 m2。

3 討論

本文通過高分辨率Google earth圖像和U-net、DeepLabv3+模型初步實現(xiàn)柑橘園空間信息精準提取。構(gòu)建的柑橘園語義分割模型是基于開源平臺，用戶僅需下載開放使用的高分辨率影像，通過云平臺服務(wù)即可便捷實現(xiàn)信息提取，對比傳統(tǒng)人工調(diào)查效率更高。經(jīng)統(tǒng)計，測試區(qū)柑橘種植面積約0.45 khm2，與該地區(qū)的農(nóng)業(yè)調(diào)查統(tǒng)計數(shù)據(jù)(0.42 khm2)比較，模型預(yù)測的面積估算精度約為92%，綜上，U-net模型適合在小樣本數(shù)據(jù)集下獲得較好的分類精度，能滿足地方農(nóng)業(yè)部門快速、自動獲取區(qū)縣范圍柑橘園種植信息的需求。

Google earth圖像通過開放獲取，便于數(shù)據(jù)收集和模型訓練驗證，但該圖像數(shù)據(jù)僅有RGB三通道，在區(qū)分紋理特征相似的成林柑橘園、部分綠化植被、少量林地等地物時，因缺少光譜特征導致不能取得較好的分割效果，從而影響柑橘園分類提取精度。隨著國產(chǎn)高分辨率光學遙感衛(wèi)星數(shù)量增加和性能提升，各地農(nóng)業(yè)部門可采用含藍、綠、紅、紅邊、近紅外等多波段的國產(chǎn)高分辨率影像開展基于高分遙感和深度學習分類模型的果園空間信息調(diào)查工作。

本文僅使用小區(qū)域的樣本進行模型訓練，在研究區(qū)內(nèi)取得較好的預(yù)測結(jié)果。由于國內(nèi)小農(nóng)經(jīng)濟模式的果園較多，品種、種植密度、樹齡、管理方式等存在差異，導致柑橘園遙感特征較為復(fù)雜，因而不同區(qū)域或大范圍的柑橘園空間信息提取，需要考慮加入更多地區(qū)及類型的訓練樣本，以提高模型穩(wěn)健性和預(yù)測的效率和精度。

4 結(jié)論

1) 使用0.5 m分辨率的RGB遙感圖像建立柑橘園樣本數(shù)據(jù)，訓練開源的語義分割模型U-net和DeepLabv3+，建立柑橘園空間信息遙感模型，提取研究區(qū)柑橘園空間信息。

2) U-net和DeepLabv3+模型的柑橘園分類總精度分別為88.30%和86.79%，Kappa系數(shù)為0.75和0.72，建議區(qū)縣范圍的果園信息提取工作采用模型結(jié)構(gòu)更為精簡的U-net模型。

3) 使用高分辨率遙感影像和深度學習語義分割方法可準確提取區(qū)域的柑橘園空間信息，最小識別圖斑面積可達120 m2。該研究對地方農(nóng)業(yè)部門應(yīng)用開放遙感數(shù)據(jù)快速調(diào)查本地果園空間信息具有參考作用。