基于無(wú)人機(jī)及深度學(xué)習(xí)技術(shù)的松材線蟲病害調(diào)查及其應(yīng)用

江曉鵬

(梅州市林業(yè)綜合服務(wù)中心,廣東 梅州 514000)

0 引言

松材線蟲是一種寄生性線蟲,以松樹作為宿主引發(fā)松材線蟲病害,是松樹林木資源面臨的重要威脅之一。其通過(guò)傳播媒介(如松墨天牛等)從一個(gè)被感染的松樹宿主傳播到其他未感染的松樹上,導(dǎo)致病害在森林中迅速擴(kuò)散,一旦病害蔓延,很難控制及治理,會(huì)給松樹種群及森林生態(tài)系統(tǒng)造成巨大的損失,對(duì)林業(yè)產(chǎn)業(yè)及生態(tài)環(huán)境造成嚴(yán)重影響。為了應(yīng)對(duì)松材線蟲病害的威脅,我國(guó)采取了一系列的防治措施,如加強(qiáng)病害監(jiān)測(cè)和預(yù)警,做好病害防控,推進(jìn)松材線蟲病害的科學(xué)研究等。但傳統(tǒng)的調(diào)查與監(jiān)測(cè)以人工排查為主,作業(yè)效率低,人工成本高。隨著科技的不斷進(jìn)步,應(yīng)用無(wú)人機(jī)進(jìn)行智能化調(diào)查逐漸受到關(guān)注。通過(guò)無(wú)人機(jī)搭載高分辨率相機(jī),結(jié)合深度學(xué)習(xí)算法,對(duì)病害進(jìn)行智能化調(diào)查及分析,可大大提高調(diào)查效率及準(zhǔn)確性。本研究探討了基于無(wú)人機(jī)與深度學(xué)習(xí)技術(shù)的松材線蟲病害調(diào)查及應(yīng)用,分析其在松材線蟲病害監(jiān)測(cè)、預(yù)警與防治方面的潛力及應(yīng)用前景[1-3]。

1 主要技術(shù)理論

1.1 YoloV3算法

YoloV3是一種基于卷積神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)算法,是You Only Look Once系列算法的第三個(gè)版本。通過(guò)對(duì)圖像進(jìn)行單次前向傳遞,直接從像素級(jí)別預(yù)測(cè)物體的類別與邊界框。YoloV3流程包括3部分:①輸入圖像的預(yù)處理,包括圖像尺寸調(diào)整及歸一化。②通過(guò)多個(gè)卷積層及特征圖進(jìn)行多尺度的物體檢測(cè)及分類。③通過(guò)非極大值抑制(NMS)過(guò)程篩選出置信度高的物體邊界框并輸出最終的檢測(cè)結(jié)果。YoloV3在物體檢測(cè)任務(wù)中表現(xiàn)出色,具有快速、準(zhǔn)確的特點(diǎn),被廣泛應(yīng)用于自動(dòng)駕駛、視頻監(jiān)控、智能安防等領(lǐng)域。YoloV3的開源便于進(jìn)行二次開發(fā)及定制,適用于不同應(yīng)用場(chǎng)景的需求。由于YoloV3算法關(guān)注不同物體的局部及邊緣檢測(cè),故本研究對(duì)顏色通道、紋理提取等網(wǎng)絡(luò)設(shè)計(jì)進(jìn)行了改進(jìn)。

1.2 OpenCV紋理特征提取

在OpenCV中,主要使用灰度共生矩陣(Gray-Level Co-occurrence Matrix,GLCM)來(lái)提取紋理特征。這是一種用于描述圖像紋理特征的矩陣,通過(guò)統(tǒng)計(jì)圖像中各個(gè)像素的灰度值來(lái)衡量在給定方向與距離上出現(xiàn)的頻率紋理特征。將圖像轉(zhuǎn)換為灰度圖像,因?yàn)榧y理特征通常在灰度圖像上更明顯,構(gòu)建灰度共生矩陣(GLCM),再?gòu)腉LCM中提取紋理特征。紋理特征包括對(duì)比度(contrast)、一致性(homogeneity)、能量(energy)及相關(guān)性(correlation)等。

1.3 無(wú)人機(jī)影像采集技術(shù)

無(wú)人機(jī)影像采集技術(shù)是利用無(wú)人機(jī)(無(wú)人駕駛飛行器)搭載的相機(jī)、傳感器或其他采集設(shè)備,通過(guò)航空或遙感設(shè)備獲取地面及空中圖像數(shù)據(jù)的技術(shù),通過(guò)無(wú)人機(jī)的高空俯瞰視角及靈活機(jī)動(dòng)性獲取高分辨率、大范圍的圖像數(shù)據(jù),在很多領(lǐng)域都有著廣泛的應(yīng)用。

2 案例實(shí)踐

實(shí)驗(yàn)測(cè)區(qū)位于M市A縣,主要以種植馬尾松為主,林業(yè)面積達(dá)到100畝。該林場(chǎng)創(chuàng)造了一個(gè)相對(duì)穩(wěn)定的生態(tài)環(huán)境,為各種植物及動(dòng)物提供棲息地,保護(hù)土壤質(zhì)量及水源,促進(jìn)地下水及水域的可持續(xù)利用,對(duì)當(dāng)?shù)亟?jīng)濟(jì)發(fā)展具有重要作用。每年春節(jié)是松材線蟲的高病發(fā)期,林場(chǎng)發(fā)現(xiàn)松材線蟲病分布,但由于林區(qū)整體面積較大,僅依靠人工巡檢難度較大,故應(yīng)用無(wú)人機(jī)航拍影像進(jìn)行病蟲害智能檢測(cè)。

2.1 外業(yè)影像數(shù)據(jù)采集

影像采集時(shí)間為2020年3月下旬,天氣狀況為陰天,拍攝時(shí)間為上午10時(shí)—11時(shí)。外業(yè)采集設(shè)備為大疆經(jīng)緯M300 RTK無(wú)人機(jī),搭載SHARE 203S PRO相機(jī)(主要參數(shù)如表1所示),應(yīng)用GPS控制站進(jìn)行輔助定位,方便后期進(jìn)行病害植株定位[4]。

表1 大疆經(jīng)緯M300 RTK無(wú)人機(jī)參數(shù)

確定測(cè)區(qū)范圍。測(cè)區(qū)面積為1.5 km2,無(wú)人機(jī)采用定高巡航飛行模式,相機(jī)鏡頭始終保持垂直向下,航向與旁向重疊率分別設(shè)置為70%、75%,設(shè)計(jì)飛行高度450 m,在確保作業(yè)效率的同時(shí)保證影像的清晰度。進(jìn)行飛行操作,按照預(yù)定航線進(jìn)行飛行,采集正射影像數(shù)據(jù),外業(yè)共采集影像數(shù)據(jù)2135張。

2.2 病害植株智能化檢測(cè)

智能化識(shí)別使用NVIDIA GRID KI作為運(yùn)算CPU,CUDA10.0+CuDNN+PyTorch1.1作為深度學(xué)習(xí)軟件平臺(tái),主要步驟分為深度學(xué)習(xí)模型訓(xùn)練與應(yīng)用兩個(gè)階段。

2.2.1 訓(xùn)練階段

進(jìn)行航拍圖像歸一化預(yù)處理,主要包括圖像切割、索引,利用中值濾波、Gamma矯正及提高對(duì)比度亮度、圖像縮放、平移、旋轉(zhuǎn)等方法進(jìn)行圖像增強(qiáng)。從圖像庫(kù)中抽取適量數(shù)目并將具有較高多樣性(至少2500株疫木)的圖像集合作為人工標(biāo)注集合。使用AutoCAD等軟件在標(biāo)注集合圖像上完成疫木輪廓標(biāo)注,對(duì)標(biāo)注DXF的文件進(jìn)行解析,映射至原圖對(duì)應(yīng)位置,生成深度學(xué)習(xí)可讀的輪廓描述json文件[5]。

將標(biāo)注圖像與json的文件按照80%∶20%的比例隨機(jī)分割為訓(xùn)練集合與測(cè)試集合。基于YoloV3設(shè)計(jì)農(nóng)林病蟲害場(chǎng)景的深度神經(jīng)網(wǎng)絡(luò),在80%的訓(xùn)練集合上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型,模型通過(guò)模仿人工標(biāo)注結(jié)果不斷迭代優(yōu)化網(wǎng)絡(luò)參數(shù),在20%的測(cè)試集合上使用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)[6]。

圖1 病蟲害智能化檢測(cè)方案流程Fig.1 Flow chart of intelligent pest detection scheme

將測(cè)試集合上的模型結(jié)果與人工標(biāo)注結(jié)果通過(guò)評(píng)估指標(biāo)進(jìn)行比對(duì),若效果符合要求則保存模型,否則修改網(wǎng)絡(luò)模型,持續(xù)迭代。

2.2.2 應(yīng)用階段

進(jìn)行航拍圖像歸一化預(yù)處理,同訓(xùn)練階段。讀取已訓(xùn)練模型,對(duì)圖像進(jìn)行預(yù)測(cè)計(jì)算,自動(dòng)識(shí)別病害植株,生成預(yù)測(cè)結(jié)果。評(píng)估方式為在相同圖片集合(合計(jì)至少包含500株疫木)上對(duì)比人工標(biāo)注與深度學(xué)習(xí)模型在不同評(píng)估指標(biāo)上的效果表現(xiàn)。識(shí)別的病害植株如圖2所示:

圖2 松線材蟲病害植株識(shí)別結(jié)果Fig.2 Identification results of pine wood nematode

2.3 DOM生成及病害植株的空間定位

在正攝影像圖(DOM)上進(jìn)行病害植株定位,利用ContextCapture Center軟件進(jìn)行二次開發(fā),基于python語(yǔ)言進(jìn)行云建模腳本的二次開發(fā),空間定位基于線性優(yōu)化算法求解相機(jī)定位參數(shù),獲得檢測(cè)的病害植株位置,再根據(jù)定位坐標(biāo)進(jìn)行現(xiàn)場(chǎng)登記及排查。

圖3 松線材蟲病害植株定位結(jié)果Fig.3 Location results of pine wood nematode

3 結(jié)果與分析

試驗(yàn)發(fā)現(xiàn),設(shè)計(jì)的方法無(wú)需任何人工交互,自數(shù)據(jù)上傳到識(shí)別結(jié)果輸出,全程100%自動(dòng)化,2000余張影像數(shù)據(jù)4 h內(nèi)完成了所有識(shí)別,并通過(guò)二次開發(fā)程序獲取研究區(qū)域的正射影像,所有病害植株均能在一張圖上展示。為驗(yàn)證該方法識(shí)別的準(zhǔn)確性,隨機(jī)抽取150張智能化檢測(cè)有病害植株影像、500張識(shí)別正常植株影像,再逐張進(jìn)行人工甄別,基于單張影像定位信息,提取枯死松樹的地理位置信息。對(duì)比后發(fā)現(xiàn),病害植株中識(shí)別錯(cuò)誤影像21張,正常植株中識(shí)別錯(cuò)誤影像44張,識(shí)別正確率分別為86%、91.2%,原因主要是異常枯死植株(非松材線蟲病害植株)也易識(shí)別為病害植株,算法還可以進(jìn)一步優(yōu)化。

將無(wú)人機(jī)影像處理提取的病害植株地理位置信息與GPS現(xiàn)地采集的地理位置信息進(jìn)行精度驗(yàn)證,統(tǒng)計(jì)后發(fā)現(xiàn),水平偏差誤差在1～5 m(統(tǒng)計(jì)結(jié)果如表2所示)。對(duì)于林間枯死松樹監(jiān)測(cè)而言,無(wú)人機(jī)病蟲害智能檢測(cè)提取的坐標(biāo)位置數(shù)據(jù)比較準(zhǔn)確,精度較高,在野外進(jìn)行林間受害樹監(jiān)測(cè)及搜尋具有較高的可操作性,可顯著提高林間松材線蟲病枯死松樹的除治效率[7]。

表2 無(wú)人機(jī)圖像識(shí)別與實(shí)測(cè)位置信息對(duì)比

4 結(jié)束語(yǔ)

通過(guò)無(wú)人機(jī)的應(yīng)用可實(shí)現(xiàn)大范圍病害的監(jiān)測(cè)及調(diào)查,提高病害識(shí)別及定位的準(zhǔn)確性。通過(guò)對(duì)圖像數(shù)據(jù)的深度學(xué)習(xí)訓(xùn)練,實(shí)現(xiàn)對(duì)松材線蟲病害的自動(dòng)識(shí)別及定位,對(duì)預(yù)防及控制松材線蟲病害的擴(kuò)散、保護(hù)我國(guó)豐富的森林資源及生態(tài)環(huán)境、推動(dòng)林業(yè)產(chǎn)業(yè)發(fā)展具有重要意義。