徐信羅 陶 歡 李存軍 程 成 郭 杭 周靜平
(1.南昌大學(xué)信息工程學(xué)院, 南昌 330031; 2.北京農(nóng)業(yè)信息技術(shù)研究中心, 北京 100097)
松材線蟲病是松樹的毀滅性病害,具有很強(qiáng)的傳染性,主要通過傳播媒介松墨天牛[1](Monochamusalternatus)進(jìn)行擴(kuò)散。松樹一旦感染此病(以下稱為“受害木”),從出現(xiàn)癥狀到死亡只需40 d左右,整片松林的毀滅只需3~5年[2]。KIYOHARA等[3]進(jìn)行了大規(guī)模的接種試驗(yàn),于1971年首次證實(shí)了松材線蟲(Pine wilt nematode,PWN)對(duì)松樹的致病性。在分子植物病理學(xué)中,松材線蟲是十大植物寄生線蟲之一[4]。松樹染病后,其針葉由有光澤的綠色變?yōu)辄S褐色乃至紅褐色,直至最后枯萎死亡[5]。松材線蟲病起源于北美洲,之后傳播至日本[6]。我國自1982年在南京中山陵首次發(fā)現(xiàn)感染松材線蟲病的黑松[7]后,該病在我國不斷擴(kuò)散,并造成大量松樹死亡。據(jù)國家林業(yè)和草原局2019年2月1日發(fā)布的松材線蟲病疫區(qū)公告,全國范圍內(nèi)松材線蟲病疫區(qū)已擴(kuò)散至18個(gè)省的588個(gè)縣,新增疫區(qū)282個(gè),發(fā)生面積64.93萬hm2[8]。據(jù)不完全統(tǒng)計(jì),30多年來,全國因松材線蟲病致死的松樹累計(jì)達(dá)數(shù)十億株,造成了上千億元直接和間接的經(jīng)濟(jì)損失。
殺滅松材線蟲病的傳播媒介松墨天牛是目前防控松材線蟲病的主要手段,最有效的措施是直接對(duì)受害木進(jìn)行砍伐,然后對(duì)其進(jìn)行熏蒸、焚燒或微波加熱等無害化處理[9],也可采用懸掛誘捕器[10-11]和投放天敵的方式。疫情調(diào)查是松材線蟲病防控的工作基礎(chǔ),現(xiàn)有受害木的監(jiān)測(cè)手段主要有地面調(diào)查[12]、衛(wèi)星遙感監(jiān)測(cè)[13-14]和無人機(jī)遙感監(jiān)測(cè)[15-20]。地面調(diào)查和衛(wèi)星遙感監(jiān)測(cè)有其局限性。無人機(jī)遙感具有靈活性高、應(yīng)用周期短、時(shí)間和空間分辨率高、成本低、操作簡(jiǎn)便等優(yōu)點(diǎn)[21],目前已在森林資源調(diào)查、森林火災(zāi)監(jiān)測(cè)、森林病蟲害監(jiān)測(cè)防治、森林信息提取等方面得到廣泛應(yīng)用[21-23]。在受害木的檢測(cè)中,使用無人機(jī)遙感既能節(jié)省大量的人力和物力,又能克服空間分辨率的限制,達(dá)到監(jiān)測(cè)單株受害木的目的。
基于無人機(jī)的受害木識(shí)別已有大量的研究報(bào)道。李衛(wèi)正等[15]用無人機(jī)獲取高空間分辨率的松林影像,正射處理后導(dǎo)入Geo Link軟件,通過目視判讀尋找受害木。呂曉君等[16]根據(jù)感病松樹樹冠顏色的變化,對(duì)無人機(jī)采集的數(shù)字正射圖像進(jìn)行目視判讀。利用人工對(duì)無人機(jī)影像中的受害木進(jìn)行判讀,效率低且主觀性強(qiáng)。陶歡等[17]對(duì)獲取的無人機(jī)影像采用HSV(色調(diào)、飽和度、明度)閾值法實(shí)現(xiàn)變色松樹的識(shí)別,能有效提高人工判斷的效率。隨著圖像分析技術(shù)的發(fā)展,劉遐齡等[18]用無人機(jī)獲取高分辨率影像,采用多模板識(shí)別法對(duì)不同染病階段的受害木進(jìn)行識(shí)別,結(jié)果表明,相比于目視判讀,模版匹配方法能有效提高受害木的檢測(cè)效率。當(dāng)機(jī)器學(xué)習(xí)成為研究熱點(diǎn)后,一些研究者嘗試使用機(jī)器學(xué)習(xí)的方法對(duì)受害木進(jìn)行檢測(cè)[19-20]。
基于深度學(xué)習(xí)的Faster R-CNN[24]目標(biāo)檢測(cè)算法在番茄[25]、船[26-27]、鳥[28]和飛機(jī)[27-29]等物體的檢測(cè)中都取得了較好的效果。Faster R-CNN是一種基于區(qū)域建議的目標(biāo)檢測(cè)算法,在Fast R-CNN[30]和R-CNN[31]算法基礎(chǔ)上改進(jìn)后提出。與基于回歸的SSD[32]和YOLO[33]等目標(biāo)檢測(cè)算法相比,F(xiàn)aster R-CNN算法的檢測(cè)精度更高[34]。目前,在受害木的識(shí)別中尚未見使用深度學(xué)習(xí)的方法。本文提出基于深度學(xué)習(xí)的高空間分辨率無人機(jī)遙感影像的受害木自動(dòng)檢測(cè)方法,同時(shí)考慮因其他原因(干旱或自然死亡等)致死的松樹(以下稱為“其他枯死樹”)和紅色闊葉樹對(duì)受害木識(shí)別的影響,使用包含受害木、其他枯死樹和紅色闊葉樹的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練,以達(dá)到提高受害木識(shí)別效果和檢測(cè)精度的目的。
研究區(qū)位于福建省晉江市紫帽鎮(zhèn)(24.87°~24.91°N,118.47°~118.53°E),如圖1a所示,該地區(qū)為松材線蟲病重疫區(qū)[8]。所選區(qū)域的總面積為4.25 km2,最高海拔為517.8 m,如圖1b所示。晉江市屬于亞熱帶季風(fēng)氣候,夏季長冬季短,年平均光照時(shí)間為2 100 h,年平均溫度為20~21℃,七、八月是溫度最高的2個(gè)月(平均氣溫27.8~29.4℃)。年平均降水量為911~1 231 mm,降雨主要集中在夏季,夏季以西南風(fēng)為主,其他季節(jié)盛行東北風(fēng)。在現(xiàn)有森林資源中,松林面積16 km2,占全市林分總面積的26.15%。晉江市于2015年秋季和2016年春季開展松材線蟲病及受害木普查,紫帽鎮(zhèn)為重點(diǎn)調(diào)查區(qū)域且該區(qū)域的疫情較為嚴(yán)重。由于寄主植物(松樹)和寄主昆蟲(松墨天牛)的存在以及舒適的生存環(huán)境,松材線蟲病在該區(qū)域呈爆發(fā)式傳播。
圖1 研究區(qū)域Fig.1 Research area
使用QK-4071型無人機(jī)(配備包含紅、綠、藍(lán)3個(gè)光譜的SONY A5100型數(shù)碼相機(jī))獲取研究區(qū)域的影像,將全球?qū)Ш叫l(wèi)星系統(tǒng)(Global navigation satellite system, GNSS)和慣性測(cè)量單元(Inertial measurement unit, IMU)模塊整合到無人機(jī)平臺(tái),確保水平和垂直方向的位置誤差在2 m和5 m左右。數(shù)碼相機(jī)的鏡頭與位置和方向系統(tǒng)(Position and orientation system, POS)信息的記錄同步,以確保將POS信息附加到每幅圖像上。
首先從Google Earth衛(wèi)星影像中了解研究區(qū)域的地理情況并根據(jù)天氣情況制定相應(yīng)的飛行計(jì)劃。然后在2018年3月11—13日利用無人機(jī)獲取影像,在晴朗無風(fēng)條件下共飛行了13架次,分別為:3月11日11:00—16:00,飛行5架次;3月12日11:00—16:00,飛行4架次;3月13日10:00—13:00,飛行4架次??紤]到實(shí)際地形、植被狀況以及所需覆蓋的區(qū)域,將無人機(jī)飛行的相對(duì)高度設(shè)置為300 m,每次飛行的航向重疊率和旁向重疊率分別為60%和50%。每次飛行后,檢查每幅影像的數(shù)據(jù)質(zhì)量,將無效影像刪除并再次拍攝。最后使用Pix- 4D軟件進(jìn)行圖像校準(zhǔn)和鑲嵌,得到空間分辨率為8.47 cm的數(shù)字正射模型(Digital orthogonal model, DOM)影像,利用ENVI軟件對(duì)影像進(jìn)行增強(qiáng)。使用無人機(jī)自身攜帶的差分自動(dòng)駕駛儀可以精確給出每幅影像中心點(diǎn)經(jīng)緯度坐標(biāo),再結(jié)合無人機(jī)航向、姿態(tài)數(shù)據(jù)和相機(jī)參數(shù),可精確給出影像上每個(gè)像元的坐標(biāo)信息,為受害木的定位提供準(zhǔn)確位置信息。
受害木表現(xiàn)出紅褐色的顏色特征,在無人機(jī)影像上與綠色的健康松樹存在明顯的色差。通過2018年4月1—3日的地面調(diào)查以及對(duì)無人機(jī)影像的分析發(fā)現(xiàn),研究區(qū)域存在一些顏色、紋理與受害木相近的樹木,比如其他枯死樹,此類松樹以灰褐色為主;紅色闊葉樹呈黃褐色,此類樹木與枯死樹顏色最為相近,3種樹木的無人機(jī)影像和實(shí)地圖像如表1所示。其他枯死樹和紅色闊葉樹沒有松材線蟲病,故無需對(duì)其進(jìn)行處理,但這兩種樹木對(duì)受害木的識(shí)別會(huì)造成一定干擾。
表1 3種樹木的無人機(jī)影像和實(shí)地圖像Tab.1 UAV images and field photos of three trees
首先將研究區(qū)劃分為訓(xùn)練區(qū)和測(cè)試區(qū),如圖1b所示,藍(lán)色區(qū)域?yàn)橛?xùn)練區(qū),紅色區(qū)域?yàn)闇y(cè)試區(qū)。選擇較大的區(qū)域作為訓(xùn)練區(qū),是為了保證深度學(xué)習(xí)模型學(xué)習(xí)到足夠多的特征信息。然后對(duì)訓(xùn)練區(qū)和測(cè)試區(qū)進(jìn)行影像裁剪,人工對(duì)訓(xùn)練區(qū)內(nèi)的受害木進(jìn)行標(biāo)注并裁剪圖像(256×256,圖像尺寸單位為像素,下同),在訓(xùn)練區(qū)共采集到1 283幅圖像,按8∶2的比例將訓(xùn)練區(qū)的圖像隨機(jī)分成訓(xùn)練集和驗(yàn)證集,訓(xùn)練集包含1 026幅圖像,驗(yàn)證集包含257幅圖像。通過ArcGIS軟件中的Split Raster工具將測(cè)試區(qū)的圖像裁剪為256×256,共采集到279幅圖像。由于其他枯死樹和紅色闊葉樹的存在,故將這兩種樹木與受害木同時(shí)用于模型訓(xùn)練,則該數(shù)據(jù)集包括受害木、其他枯死樹和紅色闊葉樹3類樹木。在使用LabelImg軟件制作與圖像一一對(duì)應(yīng)的可擴(kuò)展標(biāo)記語言(XML)文件時(shí),將3種類型的樹木都做上標(biāo)記,將該數(shù)據(jù)集稱為數(shù)據(jù)集1。此外,建立只包含受害木信息的數(shù)據(jù)集,即在制作XML文件時(shí)只對(duì)圖像中受害木進(jìn)行標(biāo)記,將該數(shù)據(jù)集稱為數(shù)據(jù)集2,用于驗(yàn)證在考慮了其他枯死樹和紅色闊葉樹后是否有助于提高受害木的檢測(cè)精度。數(shù)據(jù)集1中各類樹木的統(tǒng)計(jì)情況如表2所示,除受害木外,研究區(qū)內(nèi)的其他枯死樹數(shù)量相對(duì)較多,而紅色闊葉樹數(shù)量較少,整個(gè)區(qū)域共標(biāo)記2 102棵受害木、778棵其他枯死樹和192棵紅色闊葉樹,而數(shù)據(jù)集2只包含表2中的受害木部分。
2.3.1受害木識(shí)別算法的整體框架
Faster R-CNN的整體框架如圖2所示,其中FC表示全連接層,Conv表示卷積層。Faster R-CNN目標(biāo)檢測(cè)算法主要分為兩部分,分別是區(qū)域生成網(wǎng)絡(luò)(Region proposal network,RPN)和Fast R-CNN。Faster R-CNN通過共享卷積的方式將這兩部分連接起來。使用VGG16[35]作為特征提取網(wǎng)絡(luò)并使用線性整流函數(shù)(Rectified linear unit,ReLU)作為激活函數(shù),VGG16包含13個(gè)卷積層、5個(gè)最大池化層和3個(gè)全連接層。當(dāng)輸入的無人機(jī)遙感圖像經(jīng)過VGG16特征提取網(wǎng)絡(luò)后,會(huì)對(duì)受害木、其他枯死樹和紅色闊葉樹的特征信息進(jìn)行提取,并輸出特征圖。RPN網(wǎng)絡(luò)以卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖作為輸入,并通過滑窗(尺寸為3×3)獲得錨框,錨為每個(gè)滑窗的中心,結(jié)合不同尺寸和比例的區(qū)域建議,每個(gè)錨產(chǎn)生9個(gè)不同的錨框,然后輸出一系列可能包含受害木、其他枯死樹和紅色闊葉樹的矩形候選框和相應(yīng)的候選框得分。由于RPN產(chǎn)生的區(qū)域候選框的尺寸不同,故使用RoI Pooling層將不同尺寸的區(qū)域候選框映射成固定尺寸后輸入全連接層,RoI Pooling以特征提取網(wǎng)絡(luò)輸出的特征圖和RPN網(wǎng)絡(luò)輸出的區(qū)域候選框作為輸入。最后利用Softmax層對(duì)每個(gè)候選框進(jìn)行分類并輸出所屬類別的得分;同時(shí)利用邊框回歸獲得每個(gè)候選框相對(duì)實(shí)際位置的偏移量預(yù)測(cè)值,用于修正候選框的位置,以得到更精確的受害木邊界框。
圖2 Faster R-CNN整體框架Fig.2 Overall framework of Faster R-CNN
圖2 Faster R-CNN整體框架Fig.2 Overall framework of Faster R-CNN
在原始的RPN網(wǎng)絡(luò)中,錨框是基于多尺寸({1282,2562,5122})和多比例({1∶1, 1∶2, 2∶1})產(chǎn)生的。PASCAL VOC數(shù)據(jù)集中的圖像尺寸和目標(biāo)尺寸都比較大,則原始的錨框尺寸適合于該數(shù)據(jù)集,并能取得較好的實(shí)驗(yàn)結(jié)果。根據(jù)實(shí)際情況對(duì)數(shù)據(jù)集中受害木的冠幅面積進(jìn)行統(tǒng)計(jì)分析,由于3類樹木的冠幅尺寸相近,故只對(duì)受害木的冠幅進(jìn)行統(tǒng)計(jì)。由圖3可以看出,冠幅面積主要在102~602之間,且在302左右最為集中,原始錨框的像素面積尺寸遠(yuǎn)遠(yuǎn)超過了本數(shù)據(jù)集中受害木冠幅的尺寸,因此將錨框的尺寸修改為{162,322,642},使之能達(dá)到更好的識(shí)別效果。
圖3 冠幅面積統(tǒng)計(jì)Fig.3 Crown area statistics
2.3.2坐標(biāo)轉(zhuǎn)換與點(diǎn)位合并
為了方便森林防護(hù)人員及時(shí)了解受害木的分布情況并進(jìn)行高效率的處理工作,需給出模型預(yù)測(cè)結(jié)果中受害木的平面坐標(biāo)信息并以點(diǎn)的形式在測(cè)試區(qū)域中標(biāo)出。模型的輸出結(jié)果包含預(yù)測(cè)邊界框的像素位置信息,即相對(duì)于圖像左上角的像素坐標(biāo)信息,結(jié)果用4個(gè)數(shù)值表示預(yù)測(cè)邊界框的位置,分別是左上角和右下角的像素坐標(biāo)值ximin、yimin、ximax、yimax。因此需要將預(yù)測(cè)邊界框中心點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)點(diǎn)信息,然后用ArcGIS軟件進(jìn)行標(biāo)點(diǎn),所選用的坐標(biāo)系統(tǒng)為WGS_1984_UTM_zone_50N。
圖4a中的XY坐標(biāo)系為平面坐標(biāo)系,xy坐標(biāo)系為像素坐標(biāo)系,大的矩形框表示圖像,小的矩形框表示圖像中的某一預(yù)測(cè)邊界框。結(jié)合圖像獲取和圖像裁剪過程,可知每幅圖像中心點(diǎn)(X0,Y0)的平面坐標(biāo),然后根據(jù)(X0,Y0)計(jì)算每個(gè)預(yù)測(cè)邊界框的中心點(diǎn)的平面坐標(biāo)。首先計(jì)算圖像左上角的平面坐標(biāo)值
圖4 坐標(biāo)轉(zhuǎn)換與點(diǎn)位合并Fig.4 Coordinate transformation and point combination
(1)
其中
L=b=21.69 m
式中L——圖像長度所表示的實(shí)際地理長度,m
b——圖像寬度所表示的實(shí)際地理寬度,m
(X01,Y01)——圖像左上角的平面坐標(biāo),m
然后計(jì)算圖像中預(yù)測(cè)邊界框中心點(diǎn)像素坐標(biāo)值
(2)
式中i——圖像上預(yù)測(cè)框的序號(hào)
(xi,yi)——邊界框中心點(diǎn)像素坐標(biāo)
最后將預(yù)測(cè)框中心點(diǎn)的像素坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)
(3)
其中
Δx=Δy=8.47 cm
式中 Δx——水平方向上的空間分辨率,cm
Δy——垂直方向上的空間分辨率,cm
(Xi,Yi)——第i個(gè)預(yù)測(cè)邊界框中心點(diǎn)平面坐標(biāo),cm
由此可得到每個(gè)預(yù)測(cè)邊界框中心點(diǎn)的平面坐標(biāo)。
在對(duì)無人機(jī)影像進(jìn)行裁剪的過程中可能將某一棵受害木切割到兩幅甚至更多幅子圖像中,故在定位結(jié)果中會(huì)存在某一棵受害木同時(shí)由兩個(gè)以上點(diǎn)位表示的情況。為了避免這種情況,需要對(duì)同時(shí)表示一棵受害木的多個(gè)點(diǎn)進(jìn)行合并。通過對(duì)整個(gè)測(cè)試區(qū)域的分析發(fā)現(xiàn),受害木的分布較為離散,不存在連片的受害木;對(duì)受害木的冠幅尺寸進(jìn)行分析,由圖4b可以看出,冠幅的長、寬主要集中在80像素以內(nèi),再結(jié)合空間分辨率8.47 cm,故將點(diǎn)位合并的歐氏距離閾值設(shè)置為3.40 m。合并后的點(diǎn)位坐標(biāo)值為原來各點(diǎn)位的平均坐標(biāo)值。
2.4.1實(shí)驗(yàn)平臺(tái)和參數(shù)設(shè)置
實(shí)驗(yàn)操作平臺(tái)為Ubuntu16.04計(jì)算機(jī),Intel Core i7-3770 CPU@3.40 GHz,8位英特爾處理器,NVIDIA GeForce GTX 1080TiGPU,使用TensorFlow作為深度學(xué)習(xí)框架。在參數(shù)設(shè)置方面,迭代次數(shù)設(shè)置為40 000次,初始學(xué)習(xí)率設(shè)為0.001,每次迭代訓(xùn)練圖像的數(shù)量(batch size)為256,學(xué)習(xí)率的衰減系數(shù)(γ)和動(dòng)量分別為0.1和0.9[25],非極大值抑制(NMS)的閾值為0.7[29],置信度閾值設(shè)置為0.8。
2.4.2評(píng)價(jià)指標(biāo)
為了定量評(píng)價(jià)模型的性能,采用交并比(Intersection over Union,IoU)、準(zhǔn)確率P(Precision)、召回率R(Recall)、總體精度F1值和平均精度(Average precision)作為評(píng)價(jià)指標(biāo)。
(1)交并比
交并比定義為模型預(yù)測(cè)邊界框與真實(shí)標(biāo)記框的重疊比率,用于評(píng)價(jià)目標(biāo)是否被準(zhǔn)確預(yù)測(cè),結(jié)果越趨近于1表示預(yù)測(cè)越準(zhǔn)確。計(jì)算公式為
(4)
式中I——交并比A——面積函數(shù)
Bpred——預(yù)測(cè)邊界框的區(qū)域
Btruth——真實(shí)標(biāo)記框的區(qū)域
(2)召回率和準(zhǔn)確率
R和P的計(jì)算依賴于正確檢測(cè)(TP)、錯(cuò)檢(FP)和漏檢(FN) 3個(gè)參數(shù)。如果某一預(yù)測(cè)邊界框與同類的真實(shí)標(biāo)記框的交并比大于某一確定的閾值(本研究中I設(shè)定為0.5)[27],則將該預(yù)測(cè)邊界框定義為TP,即為正確檢測(cè)。否則將該預(yù)測(cè)框定義為FP,即為錯(cuò)檢。如果某個(gè)真實(shí)標(biāo)記框找不到相應(yīng)的預(yù)測(cè)邊界框與之相匹配,則將這一真實(shí)標(biāo)記框定義為FN,即為漏檢。P和R的計(jì)算公式為
(5)
(6)
式中TP——正確檢測(cè)的樣本數(shù)量
FP——錯(cuò)誤檢測(cè)的樣本數(shù)量
FN——漏檢樣本數(shù)量
P表示在某個(gè)類別的所有預(yù)測(cè)結(jié)果中,正確檢測(cè)的比例。R表示在某個(gè)類別的所有真實(shí)標(biāo)記框中,正確檢測(cè)的比例。
(3)總體精度和平均精度
F1值[35]用于評(píng)價(jià)模型的整體性能,計(jì)算公式為
(7)
式中F1——總體精度
F1值為P和R的調(diào)和平均數(shù),在0(最差)和1(最佳)之間變化。
平均精度是評(píng)價(jià)模型性能的重要指標(biāo),計(jì)算公式為
(8)
式中IAP——平均精度
若一個(gè)模型在不同的R下都能保持較高的P,則IAP就越高,說明模型對(duì)此類檢測(cè)的表現(xiàn)較好。
將由數(shù)據(jù)集1訓(xùn)練得到的模型對(duì)測(cè)試集進(jìn)行測(cè)試,得到的受害木IAP為78.42%,其他枯死樹和紅色闊葉樹的IAP分別為63.27%和33.20%,紅色闊葉樹的IAP較低,可能與其樣本量相對(duì)較少有關(guān)。本研究以受害木的識(shí)別為重點(diǎn),由于其他枯死樹和紅色闊葉樹不帶有松材線蟲病,且不需要森林防護(hù)人員進(jìn)行及時(shí)清理,故對(duì)這兩種樹木的檢測(cè)結(jié)果不做具體分析。
該模型檢測(cè)的各類樹木的準(zhǔn)確率、召回率和F1值的計(jì)算結(jié)果如表3所示,模型從572棵受害木中正確檢測(cè)出504棵,漏檢了68棵,其召回率達(dá)到了88.11%,受害木漏檢率為11.89%;模型誤判了147棵受害木,原因是將其他枯死樹和紅色闊葉樹誤判為受害木,其準(zhǔn)確率為77.42%;模型識(shí)別受害木的總體精度為82.42%。
表3 準(zhǔn)確率、召回率和F1值的計(jì)算結(jié)果Tab.3 Calculation results for precision, recall and F1 scores
模型訓(xùn)練過程中損失值(Loss)隨迭代次數(shù)變化的曲線如圖5所示。模型的迭代次數(shù)為40 000次,在模型訓(xùn)練的初始階段其Loss值保持在一個(gè)較高的水平,隨著迭代次數(shù)的增加,Loss值存在一個(gè)緩慢振蕩下降的過程,當(dāng)?shù)?5 000次之后,Loss值基本趨于穩(wěn)定且不再下降。總體來說,Loss曲線相對(duì)平滑且最終Loss值保持在0.14左右。
圖5 Faster R-CNN訓(xùn)練時(shí)的損失值曲線Fig.5 Loss curve of Faster R-CNN training
從模型的預(yù)測(cè)結(jié)果中篩選出所有被正確檢測(cè)的受害木共504棵,然后將每個(gè)受害木預(yù)測(cè)邊界框的位置信息通過式(1)~(3)轉(zhuǎn)換得到其在平面坐標(biāo)系中的點(diǎn)位坐標(biāo),并將點(diǎn)位坐標(biāo)通過ArcGIS軟件在測(cè)試區(qū)域以點(diǎn)的形式標(biāo)出。最后,通過設(shè)定的點(diǎn)位合并閾值將表示同一棵受害木的多個(gè)點(diǎn)位進(jìn)行合并,最終正確定位出494棵受害木,點(diǎn)位合并過程如圖6a所示。最終的受害木定位結(jié)果如圖6b所示。
圖6 受害木定位合并過程與定位結(jié)果分布圖Fig.6 DPT positioning process and result distribution map
使用只包含受害木信息的數(shù)據(jù)集2進(jìn)行模型訓(xùn)練與檢測(cè)。此外,使用原始錨框尺寸({1282,2562,5122})對(duì)2個(gè)數(shù)據(jù)集進(jìn)行檢測(cè)實(shí)驗(yàn),所有實(shí)驗(yàn)使用的平臺(tái)和參數(shù)設(shè)置都一致。表4為在不同模型下測(cè)試得到的IAP,表5為不同模型下受害木檢測(cè)的準(zhǔn)確率、召回率和F1值。對(duì)比表4中模型1、3和模型2、4發(fā)現(xiàn),在相同的錨框尺寸下,數(shù)據(jù)集1訓(xùn)練模型比數(shù)據(jù)集2訓(xùn)練模型的受害木的IAP分別高5.38個(gè)百分點(diǎn)和6.14個(gè)百分點(diǎn);同理,表5中模型1、2比模型3、4的F1值分別提高了5.22個(gè)百分點(diǎn)和6.10個(gè)百分點(diǎn),此外準(zhǔn)確率和召回率都有不同程度的提高;結(jié)果表明,由數(shù)據(jù)集1訓(xùn)練的模型在受害木識(shí)別上有更好的表現(xiàn)和檢測(cè)精度。對(duì)比表4中模型1、2和模型3、4發(fā)現(xiàn),在相同的數(shù)據(jù)集下,根據(jù)實(shí)際目標(biāo)大小將錨框尺寸修改為{162,322,642}后,受害木的IAP分別提高了2.68個(gè)百分點(diǎn)和3.34個(gè)百分點(diǎn),且模型1中其他枯死樹和紅色闊葉樹的IAP均高于模型2,該結(jié)果與REN等[29]在小目標(biāo)檢測(cè)中根據(jù)真實(shí)目標(biāo)大小修改錨框尺寸后得到的實(shí)驗(yàn)結(jié)果一致;同理,表5中模型1、3比模型2、4的受害木的F1值分別提高了0.68個(gè)百分點(diǎn)和1.56個(gè)百分點(diǎn),準(zhǔn)確率和召回率同樣有小幅度的提高。結(jié)果表明,在使用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)對(duì)受害木進(jìn)行檢測(cè)時(shí),根據(jù)受害木冠幅大小修改錨框尺寸后并將松林中存在的其他枯死樹和紅色闊葉樹的樣本信息加入數(shù)據(jù)集并用于模型訓(xùn)練,能提高受害木識(shí)別效果和檢測(cè)精度。
表4 不同模型的IAPTab.4 IAP values of different models %
表5 受害木在不同模型下的準(zhǔn)確率、召回率和F1值Tab.5 Precision, recall and F1 score values for DPT under different models %
使用目標(biāo)檢測(cè)技術(shù)對(duì)受害木進(jìn)行識(shí)別能達(dá)到較好的檢測(cè)精度,同時(shí)也會(huì)引起漏檢和誤判。最理想的檢測(cè)結(jié)果如圖7a所示,圖中5棵受害木均能被正確檢測(cè)出。圖7b中有2棵受害木,模型正確檢測(cè)出了1棵,漏檢了1棵。圖7c顯示的是將其他枯死樹誤判為受害木的情況,除了將1棵其他枯死樹誤判為受害木外,模型正確檢測(cè)出了其余受害木。圖7d是將紅色闊葉樹誤判為受害木的情況,模型將圖中受害木和其中一棵紅色闊葉樹正確檢測(cè)出來的同時(shí),將另一顆紅色闊葉樹誤判為受害木。誤判的原因可能是其他枯死樹和紅色闊葉樹的顏色特征相近。圖7中deadpinetrees表示受害木,otherdeadtrees表示其他枯死樹,redbroadleavedtrees表示紅色闊葉樹,黃色矩形框表示漏檢,黑色矩形框表示誤判。
圖7 模型1檢測(cè)結(jié)果可視化Fig.7 Model 1 detection results visualization
使用深度學(xué)習(xí)的方法對(duì)受害木進(jìn)行識(shí)別,F(xiàn)1值能達(dá)到82.42%,能夠滿足森林防護(hù)人員對(duì)受害木實(shí)地砍伐的要求。與傳統(tǒng)的目視判讀方法相比該方法能極大地提高受害木的識(shí)別效率并且能做到自動(dòng)識(shí)別。與陶歡等[17]提出的HSV閾值法的總體精度(58%~65%)相比,檢測(cè)精度有明顯的提高。本研究的精度略低于劉遐齡等[18]提出的模板匹配方法的正確率(83.9%),但本研究考慮了其他枯死樹和紅色闊葉樹的存在,精度的可靠性更高。使用深度學(xué)習(xí)方法檢測(cè)受害木能充分發(fā)揮計(jì)算機(jī)識(shí)別速度快的優(yōu)點(diǎn),從而達(dá)到及時(shí)檢測(cè)的目的。最后通過坐標(biāo)轉(zhuǎn)換的方法對(duì)預(yù)測(cè)結(jié)果中的受害木進(jìn)行定位,能提供每棵受害木精確的位置信息及總體分布情況,為森林防護(hù)人員尋找和清除染病松樹提供了技術(shù)支持,且能有效提高工作效率。本研究利用無人機(jī)遙感技術(shù)對(duì)松材線蟲病進(jìn)行監(jiān)測(cè)并使用目標(biāo)檢測(cè)算法對(duì)染病松樹進(jìn)行識(shí)別,表明通過結(jié)合無人機(jī)遙感和目標(biāo)檢測(cè)算法能監(jiān)測(cè)松材線蟲病的發(fā)生現(xiàn)狀和染病松樹的分布情況,為后續(xù)的實(shí)時(shí)處理提供了依據(jù),具有重要的現(xiàn)實(shí)意義。
松樹感染松材線蟲病是一個(gè)動(dòng)態(tài)過程,不同的染病階段癥狀不盡相同[37-38],染病初期只有少量松樹針葉褪色發(fā)黃,染病中期大部分針葉變?yōu)辄S褐色,染病后期全部針葉變?yōu)辄S褐色或紅褐色[18]。本方法根據(jù)顏色特征只能識(shí)別出中后期的染病松樹,無法檢測(cè)顏色變化較小的染病初期的松樹,因此不能全面對(duì)染病松樹進(jìn)行檢測(cè)。在今后的研究中將采用高光譜數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。
使用無人機(jī)遙感技術(shù)獲取超高空間分辨率的松林影像,并結(jié)合深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)對(duì)受害木進(jìn)行檢測(cè),能有效提高受害木的識(shí)別效率,且具有較高的檢測(cè)精度。當(dāng)根據(jù)受害木冠幅的實(shí)際尺寸修改RPN網(wǎng)絡(luò)中的錨框尺寸后,在數(shù)據(jù)集中加入其他枯死樹和紅色闊葉樹的樣本信息,能提高受害木的識(shí)別效果和檢測(cè)精度,受害木識(shí)別的總體精度達(dá)到82.42%。使用坐標(biāo)轉(zhuǎn)換的方法對(duì)預(yù)測(cè)結(jié)果中的受害木進(jìn)行定位,結(jié)合點(diǎn)位合并過程,最終正確定位出494棵受害木。本文方法能及時(shí)發(fā)現(xiàn)染病松樹,并確定其分布情況,有效監(jiān)測(cè)松材線蟲病疫情的發(fā)展動(dòng)態(tài),可為松林管理人員和森林防護(hù)人員及時(shí)提供準(zhǔn)確的信息,同時(shí)也為松材線蟲病災(zāi)害損失評(píng)估和松林管理部門制定松材線蟲病防控目標(biāo)等提供客觀依據(jù)。