基于U-Net網(wǎng)絡(luò)和無人機影像的松材線蟲病變色木識別

張瑞瑞，夏 浪，陳立平※，謝春春，陳梅香，王維佳

（1. 北京農(nóng)業(yè)智能裝備技術(shù)研究中心，北京 100097； 2. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097；3. 國家農(nóng)業(yè)航空應(yīng)用技術(shù)國際聯(lián)合研究中心，北京 100097； 4. 農(nóng)業(yè)智能裝備技術(shù)北京市重點實驗室，北京 100097；5. 山東瑞達有害生物防控有限公司，濟南250000）

0 引 言

松材線蟲?。≒ine Wilt Disease，PWD）是由松材線蟲（Bursaphelenchus xylophilus）引起的毀滅性森林病害，可通過松墨天牛等媒介昆蟲快速傳播，屬中國重大外來入侵病種。近年受氣候變化和人員流動等影響，該病迅速蔓延，截止2020年已在中國18?。?66個縣市）發(fā)生[1]，面積達111.46 hm2，導(dǎo)致大量松樹枯死，對中國松林資源、自然景觀和生態(tài)環(huán)境造成嚴重破壞。松樹染病后針葉顏色出現(xiàn)明顯變化，起初針葉失水，褪綠，繼而變褐，而后呈紅黃色[2]。該病當前無有效防治藥物，一旦發(fā)生，只能通過砍伐移除整株松樹，切斷病源防止擴散來進行治理。因此，盡早識別病木并定位，可以縮短對病木的處置時間，降低蔓延速度。

利用衛(wèi)星和無人機（Unmanned Aerial Vehicle，UAV）遙感技術(shù)進行森林變色木識別是當前松材線蟲病疑似染病松樹識別和定位的主要技術(shù)手段。材線蟲病變色木識別方面的相關(guān)研究主要集中于基于光譜特征的光譜波段選擇和基于遙感圖像結(jié)合分類算法開展變色松樹監(jiān)測 2個方向。例如，張衡等[3]使用高光譜數(shù)據(jù)對染病樹木進行特征分析，表明采用593 nm波段光譜數(shù)據(jù)計算一階導(dǎo)數(shù)，結(jié)合葉綠素質(zhì)量分數(shù)可作為馬尾松是否染病的特征依據(jù)。杜華強等[4]采用分形理論對高光譜數(shù)據(jù)開展馬尾松松材線蟲病發(fā)病早期探測研究。白雪琪等[5]基于高光譜數(shù)據(jù)源，構(gòu)建歸一化光譜指數(shù)（Normalized Difference Spectral Index，NDSI）、比值光譜指數(shù)（Ratio Spectral Index，RSI）、差值光譜指數(shù)（Difference Spectral Index，DSI）與葉綠素a、b含量、含水率的相關(guān)系數(shù)對油松毛蟲危害程度進行研究。黃明祥等[6]對健康和發(fā)病馬尾松針葉的時序高光譜進行觀測研究，表明近紅外波段內(nèi)最大的一階微分值、紅邊內(nèi)一階微分和與藍邊內(nèi)一階微分和的比值是指示病害發(fā)生的顯著性高光譜特征。吳瓊[7]使用顏色和紋理特征對獲取的無人機遙感圖像開展變色松樹識別研究。胡根生等[8]使用加權(quán)支持向量機（Support Vector Machine，SVM）對染病松樹展開識別研究。曾全等[9]研究無人機不同飛行高度下獲取數(shù)據(jù)對變色松樹識別效率，并采用歸一化植被指數(shù)（Normalized Difference Vegetation Index，NDVI）監(jiān)測變色松樹，取得85.70%的精度。基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像分類和分割算法，如 VGGNet[10]、Google Inception[11]、深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）[12]、U-Net分割網(wǎng)絡(luò)[13]和Fast R-CNN分割網(wǎng)絡(luò)[14]等極大地提升了圖像分類和分割的精度和魯棒性。上述方法也廣泛地運用于農(nóng)業(yè)圖像識別領(lǐng)域，例如黃雙萍等[15]使用深度卷積網(wǎng)絡(luò)Inception預(yù)報水稻稻瘟病，驗證結(jié)果表明穗瘟病害預(yù)測最高準確率達到92.00%。孫鈺等[16]使用深度學(xué)習(xí)檢測算法SSD300開展森林蟲害實時監(jiān)測研究，檢測精度達到97.00%。周云成等[17]通過改進VGGNet網(wǎng)絡(luò)，提出可用于番茄主要器官的分類方法，針對果體、花和莖的識別精度分別不低于81.64%、84.48%和53.94%。劉媛媛等[18]使用 U-Net分割網(wǎng)絡(luò)對秸稈數(shù)據(jù)開展分割研究，取得94.30%識別精度。胡志偉等[19]使用遷移學(xué)習(xí)將VGG16模型參數(shù)遷移至U-Net網(wǎng)絡(luò)，對生豬輪廓開展識別研究，取得94.32%精度。

松材線蟲病變色木識別方面暫未有基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法開展相應(yīng)研究。松材線蟲病變色木監(jiān)測工作通常在較大區(qū)域開展，一方面無人機獲取影像時外界氣象（云、霧）、光照條件的變化導(dǎo)致圖像成圖質(zhì)量存在一定差異；另一方面由于監(jiān)測區(qū)域較大，下墊面情況復(fù)雜，同類地物存在不同的光譜特性，類間干擾較大。這要求識別算法需克服復(fù)雜、多場景下的類間干擾，以提高變色木識別精度。本研究使用無人機獲取大面積地物影像，通過人工目視解譯和地面實地驗證獲得的變色松樹作為訓(xùn)練樣本，基于 U-Net圖像分割網(wǎng)絡(luò)，構(gòu)建了可用于大區(qū)域松材線蟲病變色木識別的分割器，以期望提高松材線蟲病變色木自動識別精度。

1 數(shù)據(jù)和方法

1.1 研究區(qū)概況

研究區(qū)域位于青島市嶗山區(qū)北部（36°05′N～36°19′N，120°24′E～120°42′E），如圖 1 所示。研究區(qū)西南部是城市建成區(qū)，東北部為山地，陸域面積395.79 km2，平均海拔360 m，最高海拔1 132.7 m，年平均地面溫度14.2～15.0 ℃，年均降水約660 mm，植被覆蓋以針葉林為主，是松材線蟲病高發(fā)區(qū)域。采集變色木影像試驗區(qū)域位于嶗山區(qū)仰口隧道和黑虎山區(qū)域，其中仰口隧道區(qū)域面積56.50 km2，黑虎山區(qū)域面積53.07 km2。

圖1 研究區(qū)地理位置概況Fig.1 Location of the study area

1.2 數(shù)據(jù)獲取

1.2.1 無人機航拍

航拍設(shè)備使用DB-II固定翼型無人機（圖2），該無人機以燃油為動力，具有較強抗風能力和較長續(xù)航時間；成像設(shè)備采用飛思iXU 180-R 8000萬像素相機，該相機具有寬動態(tài)特性的無人機航拍專用相機系統(tǒng)。無人機與航拍相機的具體參數(shù)信息如表1所示。

圖2 無人機與航拍路徑Fig.2 DB-II Unmanned Aerial Vehicle (UAV) and routes of aerial photography

表1 DB-II型無人機和飛思iXU 180-R航拍相機參數(shù)表Table 1 Parameters of the DB-II Unmanned Aerial Vehicle (UAV)and the iXU 180-R camera

航拍分2個架次完成，航線設(shè)計如圖2所示，黑虎山區(qū)域航拍時間為2018年10月06日，仰口隧道區(qū)域航拍時間為2018年10月14日。無人機飛行高度低于700 m，飛行速度100 km/h，等距離方式拍攝，飛行方向重疊度不低于 75%，旁向重疊度不低于 50%，采集正射影像（Digital Orthophoto Map，DOM）分辨率8 cm。另外，布設(shè)地面控制點，使用差分全球定位系統(tǒng)（Differential Global Positioning System，DGPS）設(shè)備采集地理坐標進行后期地理位置精糾正，整體定位精度達到0.4 m。航拍飛行獲得黑虎山區(qū)域1 567張航拍影像，仰口隧道2 232張航拍影像。

1.2.2 變色木地面樣點調(diào)查

對變色木識別過程中遇到的難以判讀、疑難點和集中發(fā)生區(qū)域采用智能終端采集變色木圖片，同時記錄該變色木地理坐標。開展地面調(diào)查獲取的地面樣點數(shù)據(jù)用于輔助目視解譯和驗證無人機影像變色木識別精度。地面調(diào)查共采集45處變色木圖像。

SAP10-2視野檢測程序發(fā)現(xiàn)視野損害前青光眼黃斑區(qū)視功能損傷的能力…………………… 汪星朦 孫興懷戴毅 等（6）748

1.3 數(shù)據(jù)處理

航拍無人機圖像間重疊較大，為提升解譯效率和避免重復(fù)，對無人機影像數(shù)據(jù)按照成像區(qū)域使用Pix4Dmapper軟件進行拼接生成正射影像。使用PIE軟件和 DGPS采集得到的地理坐標對拼接后正射影像進行地理位置精糾正。通過人工目視解譯，判識全部區(qū)域影像，并標記變色木。完成解譯后，仰口隧道區(qū)域影像標識1 312棵，黑虎山區(qū)域標記 356棵。將地面調(diào)查采樣結(jié)果對人工目視判讀結(jié)果進行精度驗證，得到人工目視解譯精度95.24%。

使用 PIE軟件對人工目視識別的松材線蟲變色木進行標記，并對包含變色木的圖像和掩碼標記圖像進行裁剪，裁剪尺寸128×128像素，得到訓(xùn)練樣本。圖3為包含典型干擾地物的病害變色木訓(xùn)練樣本圖像，其中干擾地物分別為巖石（圖3a）、土壤（圖3b）、巖石和土壤（圖3c）。此外，為擴充訓(xùn)練樣本數(shù)據(jù)集，對訓(xùn)練樣本進行數(shù)據(jù)擴增，具體規(guī)則如下：

1）隨機對樣本圖像和標記圖像以中心點旋轉(zhuǎn)0～45°；

2）隨機對樣本圖像和標記圖像在水平和垂直方向按照圖像寬度和高度的0～20%進行平移；

3）隨機對樣本圖像和標記圖像按照-20%～20%比例改變圖像亮度；

5）按照1:10比例對樣本圖像進行上述處理，即訓(xùn)練樣本擴大10倍。

本研究使用仰口隧道區(qū)域影像作為訓(xùn)練和驗證數(shù)據(jù)集，黑虎山區(qū)域影像數(shù)據(jù)作為測試數(shù)據(jù)集。完成數(shù)據(jù)預(yù)處理后，共得到13 120個訓(xùn)練樣本。

1.4 U-Net深度學(xué)習(xí)分割網(wǎng)絡(luò)

2015年國際醫(yī)學(xué)圖像計算和計算機輔助干預(yù)（Medical Image Computing and Computer-Assisted Intervention，MICCAA）會議首次公開用于醫(yī)療影像分割的 U-Net網(wǎng)絡(luò)[13]。由于簡潔的分割邏輯和出色的分割效率，圖像分割領(lǐng)域大量使用該網(wǎng)絡(luò)進行圖像分割[20-21]。U-Net網(wǎng)絡(luò)由下采樣（編碼）和上采樣（解碼）2個部分構(gòu)成，下采樣用于提取圖像特征，上采樣用于恢復(fù)下采樣學(xué)習(xí)獲取的特征細節(jié)，此上下結(jié)構(gòu)構(gòu)成U型網(wǎng)絡(luò)。在U-Net網(wǎng)絡(luò)中下采樣部分由5個節(jié)點構(gòu)成，前4個節(jié)點中每個節(jié)點由2個3×3卷積處理和一個2×2降尺度最大池化處理構(gòu)成，最后一個節(jié)點由2個3×3卷積和一個 2×2升尺度最大池化處理構(gòu)成。上采樣由 4個節(jié)點構(gòu)成，每個節(jié)點由2個3×3卷積處理和一個2×2升尺度卷積處理組成。此外，由于下采樣和上采樣之間使用直連網(wǎng)絡(luò)連接，網(wǎng)絡(luò)能夠獲取圖像在不同尺度上的特征，進而提升網(wǎng)絡(luò)分割能力。

圖3 包含典型干擾地物的病害變色木訓(xùn)練樣本圖像和掩碼標簽Fig.3 Training wilt images with typical obstruction items and mask labels

2 結(jié) 果

2.1 U-Net模型訓(xùn)練

用于 U-Net模型訓(xùn)練工作站參數(shù)：Intel Xeon E5-2630×2處理器，32GB內(nèi)存，4TB磁盤，RTX 2080Ti 11GB顯存顯卡。U-Net模型使用基于Tensorflow后端的Keras構(gòu)建，選用Adam優(yōu)化器，訓(xùn)練迭代30次，塊（batch）大小32，學(xué)習(xí)率0.000 1。對樣本數(shù)據(jù)以8:2劃分為訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集。圖 4為訓(xùn)練過程中每次迭代獲取的模型驗證精度、損失值和模型訓(xùn)練精度、損失值。

由圖 4可知，模型的訓(xùn)練精度隨迭代次數(shù)增加逐漸提高，模型的訓(xùn)練損失值隨迭代次數(shù)增加逐漸降低。對于模型的驗證精度和損失值，存在相同規(guī)律，沒有出現(xiàn)過擬合或欠擬合以及梯度消失等問題，表明模型被正確的訓(xùn)練?？傮w上，模型的訓(xùn)練精度和驗證精度分別達到98.74%和97.76%。

2.2 模型應(yīng)用和精度

使用訓(xùn)練后的模型，對黑虎山區(qū)域無人機影像進行預(yù)測，得到變色木圖像分割結(jié)果。圖 5所示是選取的不同光照條件、具有代表性背景地物圖像和對應(yīng)分割結(jié)果，其中圖5a～5d是無人機獲取變色木真彩色影像，圖5e～5h是U-Net網(wǎng)絡(luò)分割結(jié)果。圖5a中地物主要由變色木、常綠林混合構(gòu)成，圖5b地物由巖石、變色木構(gòu)成。圖5c地物由巖石、變色木與常綠林混合構(gòu)成，該圖成像時光照條件較差。圖5d地物由裸土、巖石、變色木和綠色樹木混合構(gòu)成，其中 2株變色木位于圖像上部，一株變色木位于圖像右下邊緣。分析圖5可知，U-Net網(wǎng)絡(luò)能夠較好的對松材線蟲病變色木進行分割，無明顯漏分和誤報，且對顏色相近的地物，如巖石、土壤和變色樹木有較高的識別精度。

圖4 U-Net模型的訓(xùn)練、驗證精度和損失值Fig.4 Training accuracy, validation accuracy, training loss values, and validation loss values of the U-Net model

圖5 U-Net網(wǎng)絡(luò)變色木分割結(jié)果Fig.5 Segmentation results of the wilt wood

為近一步評估變色木圖像分割結(jié)果的精度，使用混淆矩陣評價 U-Net分割網(wǎng)絡(luò)精度。主要步驟為在黑虎山區(qū)域驗證影像中隨機選取145幅圖像，使用U-Net網(wǎng)絡(luò)進行分割，與人工繪制變色木標記掩碼進行對比，得到混淆矩陣。由于松材線蟲變色木識別目標是單株變色木，精度的評定以分割變色木棵樹為基礎(chǔ)，不以分割的像元數(shù)量多少進行比較，為此需將分割結(jié)果轉(zhuǎn)換為棵樹。具體轉(zhuǎn)換方法為：對一個孤立松材線蟲病變色木像素構(gòu)成的圖斑，若圖斑像素和＜9，則認為該圖斑不為變色木，否則是變色木。上述處理依據(jù)：變色木大小應(yīng)＞20 cm×20 cm，無人機獲取圖像分辨約 8 cm，則對應(yīng)最小變色木圖斑像素應(yīng)＞9。此外，考慮林木之間存在一定遮擋，兩圖斑之間距離＜9像素則合并為一株變色木。

如表2所示，U-Net網(wǎng)絡(luò)分割變色木用戶精度和生產(chǎn)者精度分別是93.51%和97.30%，針對其他地物分割的用戶精度和生產(chǎn)者精度97.06%和92.96%。變色木識別遺漏會導(dǎo)致感染疫木清除不徹底，影響防治效果，因此應(yīng)用中要求較低的誤報和漏報率，且漏判率低于誤判率，以減少對染病木的漏報。本研究中變色木誤報率6.49%，漏報率2.70%，漏報率顯著低于誤報，達到較高精度?？傮w上，U-Net網(wǎng)絡(luò)變色木識別精度95.17%，Kappa系數(shù)0.90，表明分割精度較高。

表2 U-Net網(wǎng)絡(luò)分割精度Table 2 Segmentation accuracies of U-Net model

3 討 論

松材線蟲病變色木的識別亦可以使用其他圖像識別算法進行，如支持向量機[22]、隨機森林等[23]、最大似然[24]等算法。在上述算法中，隨機森林算法（Random Forest，RF）是一個常用機器學(xué)習(xí)方法，由Breiman[23]提出。該方法構(gòu)建多個相互獨立的決策樹，通過多次抽取樣本對構(gòu)建決策樹進行投票，得到最終決策結(jié)果。RF具有較高的精度，被廣泛運用于圖像分類、參數(shù)回歸擬合等方面。例如，岳繼博等[25]使用遙感數(shù)據(jù)源和RF算法估算冬小麥生物量，陳元鵬等[26]使用RF算法對工礦區(qū)復(fù)墾土地進行分類，王麗愛等[27]使用RF估算小麥葉綠素相對含量值。本研究基于Scikit-learn機器學(xué)習(xí)工具軟件[28]，使用與U-Net網(wǎng)絡(luò)相同的訓(xùn)練數(shù)據(jù)訓(xùn)練RF模型，運用訓(xùn)練的RF模型對驗證數(shù)據(jù)進行逐像素預(yù)測，形成逐像素識別結(jié)果（圖6）。

圖6 U-Net分割結(jié)果和隨機森林（RF）識別結(jié)果Fig.6 Segmentation results for U-Net and Random Forest（RF）model

由圖6可知，RF方法能夠識別松材線蟲病變色木，但相比 U-Net網(wǎng)絡(luò)分割結(jié)果存在誤報較大和識別結(jié)果不完整的問題。如圖6i～6l所示，RF算法對變色木識別不完整，變色木分割結(jié)果像元均出現(xiàn)破碎狀，椒鹽現(xiàn)象明顯。椒鹽現(xiàn)象出現(xiàn)的原因是同一地物呈現(xiàn)出差異較大的光譜信息。本研究在使用RF算法時僅僅使用光譜信息作為輸入，分類精度有待提高。為此，本研究計算局部二值模式（Local Binary Pattern，LBP）、Haralick紋理（包含角二階矩、對比度、相關(guān)性、方差、熵、均值、同質(zhì)度）與真彩色圖像疊加生成新的訓(xùn)練數(shù)據(jù)訓(xùn)練模型，得到結(jié)果如圖7所示。

圖7a～7d是圖6a～6d作為輸入圖像得到的分類結(jié)果；圖 7e～7h以圖 5a～5d作為輸入，不結(jié)合紋理信息得到分類結(jié)果；圖7i～7l以圖5a～5d為輸入，結(jié)合紋理特征得到分類結(jié)果。對比圖 7e～7h 與圖 7i～7l，圖 7a～7d 與圖 6i～6l，表明紋理信息的添加能夠降低誤報、減少椒鹽現(xiàn)象。對比圖7e與圖7i，圖7a與圖6i可知，在待分割對象與背景地物在光譜上存在較大差異時，使用紋理信息與否，RF分類器均能獲取較好精度?？傮w上，在背景較為復(fù)雜時，如變色木、巖石、土壤等顏色與變色木類似時，U-Net分割網(wǎng)絡(luò)相比RF能夠更好的識別上述背景地物。

圖7 隨機森林（RF）模型識別結(jié)果Fig.7 Results of Random Forest (RF) model

U-Net深度學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)較高精度變色木識別的前提條件在于數(shù)量足夠的高質(zhì)量訓(xùn)練樣本。為分析樣本數(shù)量和質(zhì)量對 U-Net網(wǎng)絡(luò)變色木識別精度的影響，本研究開展減少訓(xùn)練樣本和降低訓(xùn)練樣本質(zhì)量 2個方面的對比分析：1）將用于訓(xùn)練的樣本減少2/3，即隨機選取4 373個樣本訓(xùn)練模型；2）隨機對用于訓(xùn)練的13 120個樣本中50%標簽樣本添加大小1～20像素的枯死木標記，再對模型進行訓(xùn)練。使用2.2節(jié)中所用145幅影像對1）和2）兩種處理得到模型精度進行評估，且重復(fù)5次，得到平均識別精度分別為90.2%和79.1%。這在一定程度上說明樣本的質(zhì)量對于 U-Net網(wǎng)絡(luò)識別變色木更為重要，U-Net網(wǎng)絡(luò)可以在較小的數(shù)據(jù)集上獲取較高分割精度，這與U-Net網(wǎng)絡(luò)特性一致[13]。

4 結(jié) 論

本研究通過使用無人機獲取大區(qū)域無人機影像數(shù)據(jù)，結(jié)合基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)分割網(wǎng)絡(luò) U-Net對松材變色木圖像進行分割研究。人工目視解譯識別變色木與地面實際采樣點結(jié)果對比表明人工目視解譯精度95.24%。使用樣本數(shù)據(jù)和標簽掩碼對 U-Net網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練精度和驗證精度達到98.74%和97.76%，網(wǎng)絡(luò)的訓(xùn)練未出現(xiàn)局部最小值或梯度消失等情況。采用混淆矩陣評估 U-Net網(wǎng)絡(luò)分割精度表明，變色木圖像分割的用戶精度和生產(chǎn)者精度分別達到93.51%和97.30%，誤報率6.49%，漏報率2.70%?？傮w上，U-Net網(wǎng)絡(luò)變色木識別精度95.17%，分類Kappa系數(shù)0.90，達到較高精度。U-Net網(wǎng)絡(luò)較隨機森林方法能夠降低誤報，且能夠極大地降低分割噪音。U-Net分割網(wǎng)絡(luò)識別變色木，樣本質(zhì)量相比樣本數(shù)量對識別結(jié)果影響更大。U-Net深度學(xué)習(xí)分割網(wǎng)絡(luò)適用于大區(qū)域松材線蟲病變色木識別工作。