基于紅外熱成像和機(jī)器學(xué)習(xí)的作物早期病害識(shí)別研究進(jìn)展*

徐衍向，張敬智，蘭玉彬，3，孫越梅，韓鑫，白京波

(1. 山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院,山東淄博,255000;2. 山東思遠(yuǎn)農(nóng)業(yè)開發(fā)有限公司,山東淄博,255400; 3. 山東省農(nóng)業(yè)航空智能裝備工程技術(shù)研究中心,山東淄博,255000)

0 引言

農(nóng)作物病害是作物生產(chǎn)中最嚴(yán)重的自然災(zāi)害,細(xì)菌、真菌、病毒等的微生物等的入侵造成的作物損壞及其經(jīng)濟(jì)損失數(shù)額巨大,且一年四季均有發(fā)生,因此作物早期病害的識(shí)別就顯得尤為重要[1]。

作物病害的侵染分為侵入前期、侵入期、潛育期和發(fā)病期四個(gè)時(shí)期。病原物與其侵染植物最初的相互作用在侵入前期,對(duì)其自身的侵染和后續(xù)的擴(kuò)散有著直接影響,因此侵入前期是阻止病害發(fā)展的最佳時(shí)期。但在病害侵染之前,作物不會(huì)啟動(dòng)防御機(jī)制,無(wú)法用紅外熱成像技術(shù)進(jìn)行預(yù)防性病害防控作業(yè),直到潛育期病原物才從與寄主建立寄生關(guān)系逐步過(guò)渡到開始表現(xiàn)明顯的癥狀,病原菌在這時(shí)期從寄主體內(nèi)汲取影響,寄主啟動(dòng)相應(yīng)的防御機(jī)制,但人們?cè)谌庋凵蠠o(wú)法直接觀察到,故可在潛育期進(jìn)行作物的早期病害檢測(cè),通過(guò)提早識(shí)別染病植物,進(jìn)行農(nóng)藥的局部噴灑,抑制病菌的早期生長(zhǎng),進(jìn)而減少后續(xù)農(nóng)藥的使用。一旦進(jìn)入發(fā)病期,該病就會(huì)迅速傳播,導(dǎo)致防治難度家大、成本增高。因此,病害的早期識(shí)別檢測(cè)于病害的識(shí)別預(yù)防具有重要意義。

早期的作物檢測(cè)方法包括專家鑒定法,分離培養(yǎng)檢測(cè)法和血清檢測(cè)法[2],前者容易造成主觀誤判,后兩者會(huì)對(duì)作物的結(jié)構(gòu)造成破壞,不易用于大田作物病害檢測(cè)。隨著人工智能的發(fā)展,機(jī)器視覺(jué)等越來(lái)越多被應(yīng)用于農(nóng)業(yè)領(lǐng)域[3],尤其是機(jī)器學(xué)習(xí)深度學(xué)習(xí)越來(lái)越多的應(yīng)用于病害檢測(cè)的領(lǐng)域,能夠幫助克服人工誤判、依賴專家經(jīng)驗(yàn)、耗費(fèi)大等缺點(diǎn),解決了病害識(shí)別的問(wèn)題。隨著紅外熱成像技術(shù),高光譜技術(shù)[4]及X光檢測(cè)技術(shù)等都用于作物病害的早期檢測(cè),隨著機(jī)器學(xué)習(xí)和紅外熱成像技術(shù),機(jī)器視覺(jué)和紅外熱成像在安全、醫(yī)學(xué)和電力等領(lǐng)域進(jìn)行了許多的應(yīng)用,在農(nóng)業(yè)病害識(shí)別等方面也進(jìn)行了不少的研究,但因環(huán)境的影響和紅外熱成像技術(shù)本身的分辨率和靈敏度等的局限性,在復(fù)雜環(huán)境下應(yīng)用尚不成熟。本文首先介紹了紅外熱成像和機(jī)器學(xué)習(xí)的工作原理和以深度學(xué)習(xí)為代表的識(shí)別技術(shù)和以紅外熱成像為代表的圖像檢測(cè)技術(shù)在病害檢測(cè)上的應(yīng)用,然后介紹了兩種技術(shù)相結(jié)合用于改善紅外熱圖像質(zhì)量和監(jiān)測(cè)作物病害,最后進(jìn)行問(wèn)題分析和研究展望并得出結(jié)論。

1 基于紅外熱成像技術(shù)的作物早期病害檢測(cè)

1.1 紅外熱成像技術(shù)的作物早期病害檢測(cè)機(jī)制

1.1.1 紅外熱成像原理

紅外熱成像技術(shù)是利用物體自身各部分之間的差異性,把自身發(fā)出且肉眼不可見(jiàn)的紅外輻射轉(zhuǎn)化成可見(jiàn)的熱圖像技術(shù)[5]?？梢詸z測(cè)到作物的溫度變化,從而實(shí)現(xiàn)作物的無(wú)損檢測(cè)。主要設(shè)備為熱成像儀,成像原理如圖1所示。

簡(jiǎn)單來(lái)說(shuō),紅外熱像儀的工作原理就是把物體自身發(fā)出的紅外輻射轉(zhuǎn)變?yōu)榭梢?jiàn)的熱圖像。熱圖像的信息可以通過(guò)不同的顏色來(lái)表示不同的溫度傳達(dá)出來(lái),而且紅外輻射可由所有溫度高于絕對(duì)零度(-273 ℃)的物體發(fā)出,部分病害的發(fā)生會(huì)影響到氣孔和蒸騰作用進(jìn)而影響到其溫度,且沒(méi)有直接接觸,因此可利用紅外熱像儀進(jìn)行物體的無(wú)損檢測(cè)。隨著技術(shù)的發(fā)展,熱成像技術(shù)在葉片表皮導(dǎo)度、氣孔導(dǎo)度、蒸騰作用等與作物葉片溫度有關(guān)的方面得到了廣泛的研究[6-8]。

紅外熱成像技術(shù)的優(yōu)點(diǎn)如下:(1)檢測(cè)方式為非接觸式,影響因素減少,準(zhǔn)確率高,可進(jìn)行無(wú)損檢測(cè)。(2)成像速度快,可以直觀地反映信息,便于病害的識(shí)別。(3)圖像可以進(jìn)行錄制和存儲(chǔ),且檢測(cè)成本低,便于對(duì)多次檢測(cè)結(jié)果進(jìn)行對(duì)照分析。

1.1.2 病害發(fā)生原理

作物病害根據(jù)病原的種類可分為侵染性病害和非侵染性病害兩大類,常規(guī)病害發(fā)生原理如圖2所示。

圖2 病害發(fā)生原理

當(dāng)病原體侵染作物時(shí),會(huì)在作物傷口處形成傷素和大量化學(xué)信使等,在經(jīng)過(guò)一連串的反應(yīng)后產(chǎn)生防御反應(yīng),通過(guò)防御反應(yīng)的產(chǎn)物來(lái)抑制或殺死病原體。例如作物可以通過(guò)控制氣孔來(lái)控制蒸騰作用,用來(lái)防御病害[9]。而防御作用下的生理指標(biāo)變化會(huì)影響作物葉片的溫度,從而引起自身輻射能量的變化,這種變化可以直接反映在紅外熱圖像中,來(lái)進(jìn)行作物早期病害的識(shí)別。

1.2 紅外熱成像技術(shù)在作物早期病害檢測(cè)中的研究進(jìn)展

1.2.1 國(guó)外研究進(jìn)展

在國(guó)外,將紅外熱成像應(yīng)用于農(nóng)業(yè)起步較早,在檢測(cè)細(xì)菌、病毒和真菌作為病原體感染的植物病害方面獲得了不少的成果[9-12],通過(guò)對(duì)于葉片表面溫度的檢測(cè)的方式來(lái)評(píng)估植物和病原體的相互作用。

近年來(lái)紅外熱成像已被用于病害檢測(cè),如煙草花葉病[13-14]、黃瓜霜霉病[15]、葡萄霜霉病[16]、小麥白粉病和黑星斑病[17]等。2008年,Stoll等[18]研究發(fā)現(xiàn)利用熱紅外成像技術(shù)可在接種后3～4 d且肉眼無(wú)法觀測(cè)時(shí)檢測(cè)到葡萄霜霉病斑;2015年,Baranowski等[19]通過(guò)紅外熱成像儀檢測(cè)冬油菜感染病菌后的變化,發(fā)現(xiàn)染病葉片比健康葉片溫度高3.5 ℃,且即便在大面積種植時(shí),也能發(fā)現(xiàn)染病區(qū)域溫度的明顯差異;2015年,Rispail等[20]發(fā)現(xiàn)在控制的環(huán)境下敏感種在尖孢鐮刀菌侵染后表面葉溫度的顯著升高至少0.5 ℃,而抗性種質(zhì)溫度保持在控制水平,發(fā)現(xiàn)可用紅外熱成像技術(shù)來(lái)進(jìn)行優(yōu)質(zhì)品種的篩選;2016年,Kim等[21]發(fā)現(xiàn)在紅外熱圖像中感染煙煤病后葉片溫度健康區(qū)域和染病區(qū)的平均溫度分別為26.98 ℃和28.44 ℃,表明染病區(qū)的平均溫度明顯高于健康區(qū)域);2019年,Wang等[22]使用熱成像作為估計(jì)作物水分脅迫方法,表明接種病菌后1～7天,只有大溫差(p≤0.01)和冠層溫度(p≤0.05)參數(shù)與病害感染顯著相關(guān),可用于預(yù)測(cè)小麥真菌感染的發(fā)作。

1.2.2 國(guó)內(nèi)研究進(jìn)展

國(guó)內(nèi)起步較晚,但是發(fā)展迅速,在檢測(cè)作物水分脅迫、凍害檢和病蟲害檢測(cè)發(fā)揮了重要作用,在農(nóng)業(yè)方面被廣泛用于提前感知作物病害等不但有加強(qiáng)了作物的管理,也有利于篩選更優(yōu)秀的突變體。在煙草花葉病[23]、番茄花葉病[24]和小麥條銹病[25]等病害的識(shí)別也獲得了不少成果。2000年,江濤[26]研究發(fā)現(xiàn)利用高分辨率紅外視頻攝像機(jī),可檢測(cè)到葉片感染病毒部分的溫度高于正常部分0.3 ℃～0.4 ℃;2007年,朱圣盼[27]利用紅外熱成像進(jìn)行番茄葉片性狀的早期檢測(cè),發(fā)現(xiàn)感染葉片生理變化與溫度變化呈正相關(guān);2012年,徐小龍等[24]研究發(fā)現(xiàn)可在接種后3 d后檢測(cè)出感染番茄花葉病的番茄葉片比正常葉片高0.5 ℃～1.2 ℃;2014年,李小龍等[25]研究發(fā)現(xiàn)可利用紅外熱成像識(shí)別出受到條銹病侵染但未顯癥的小麥植株。

2012年,Wang等[28]使用熱紅外相機(jī)檢測(cè)感染尖孢鐮刀菌的黃瓜葉片的發(fā)病機(jī)理,可以對(duì)土傳病害fusariumwilt的發(fā)展過(guò)程進(jìn)行非侵入性檢測(cè)和間接可視化,而且還可以揭示與水分狀況相關(guān)的某些內(nèi)部代謝過(guò)程。2019年,姚志鳳等[29]使用紅外熱成像檢測(cè)小麥條銹病,發(fā)現(xiàn)隨著接種天數(shù)的增加,接種病害的小麥植株冠層的平均溫度會(huì)逐漸降低,葉片間的最大溫差會(huì)不斷加大,可用來(lái)進(jìn)行小麥條銹病早期檢測(cè)。

綜上所述,紅外熱成像具有無(wú)損檢測(cè)、高靈敏度強(qiáng)預(yù)警性的特點(diǎn),可在肉眼發(fā)現(xiàn)之前提前感知感染區(qū)域與正常區(qū)域之間的變化,并且隨著農(nóng)業(yè)技術(shù)的發(fā)展,越來(lái)越多的研究者將紅外熱成像的靈敏度高、無(wú)損檢測(cè)等特點(diǎn)用于作物早期的病蟲害檢測(cè)。

2 基于機(jī)器學(xué)習(xí)的作物病害檢測(cè)

隨著計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的發(fā)展,機(jī)器學(xué)習(xí)在物體識(shí)別方面取得了重大的進(jìn)展,近年來(lái)在農(nóng)業(yè)方面取得了不少的成就,尤其是深度學(xué)習(xí)方面。且深度學(xué)習(xí)對(duì)比普通的識(shí)別方法具有學(xué)習(xí)能力強(qiáng),覆蓋范圍廣、適應(yīng)性好等優(yōu)點(diǎn),在農(nóng)業(yè)方面被廣泛應(yīng)用于植物的病害檢測(cè)。

2.1 基于傳統(tǒng)的機(jī)器學(xué)習(xí)的作物病害檢測(cè)機(jī)制

傳統(tǒng)的機(jī)器學(xué)習(xí)主要依靠人工從原始數(shù)據(jù)中提取的特征,然后進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練完成分類,它的流程包括如圖3所示。

圖3 傳統(tǒng)機(jī)器學(xué)習(xí)的主要流程

可通過(guò)人工對(duì)輸入的數(shù)據(jù)進(jìn)行特征提取,后輸入到模型中進(jìn)行訓(xùn)練分類。機(jī)器學(xué)習(xí)有著算法簡(jiǎn)單、計(jì)算速度快的優(yōu)點(diǎn),但良好的特征表達(dá)對(duì)其性能至關(guān)重要,人工設(shè)計(jì)特征不僅費(fèi)時(shí)費(fèi)力,還有著無(wú)法表達(dá)高層語(yǔ)義信息,泛化能力弱且無(wú)自學(xué)習(xí)能力等缺點(diǎn)。在視覺(jué)認(rèn)知機(jī)理的啟發(fā)下,2006年提出一種稱為深度置信網(wǎng)絡(luò)的深度學(xué)習(xí)模型,克服了深層網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練上的困難,有效解決了之前存在的誤差傳播控制問(wèn)題,從而有利于數(shù)據(jù)的可視化或分類。不僅避免了繁雜的特征提取環(huán)節(jié),而且能夠更好地實(shí)現(xiàn)復(fù)雜的函數(shù)逼近。

2.2 基于深度學(xué)習(xí)的作物病害檢測(cè)機(jī)制

深度學(xué)習(xí)是一種最新的、具有精確結(jié)果的圖像處理技術(shù)。它采用自動(dòng)而不是人工提取特征,并且可以提取更為復(fù)雜的特征,使得后期分類變得簡(jiǎn)單有效,本質(zhì)是模擬人的視覺(jué)系統(tǒng)的分層處理機(jī)制。

隨著深度學(xué)習(xí)的發(fā)展,被越來(lái)越多的應(yīng)用于語(yǔ)音識(shí)別、人臉識(shí)別等方面,農(nóng)業(yè)方面在作物病害的檢測(cè)識(shí)別環(huán)節(jié)發(fā)展迅速。如圖4所示,深度學(xué)習(xí)可以從數(shù)據(jù)中提取到更加復(fù)雜的特征,且只用把提取出的特征進(jìn)行分類即可獲得較好的效果。根據(jù)統(tǒng)計(jì)可知,使用深度學(xué)習(xí)進(jìn)行的病害識(shí)別準(zhǔn)確率比傳統(tǒng)識(shí)別高出10%～20%[30]。

圖4 深度學(xué)習(xí)的主要流程

2.3 機(jī)器學(xué)習(xí)在作物病害圖像檢測(cè)中的研究進(jìn)展

在農(nóng)業(yè)方面,深度學(xué)習(xí)已被廣泛用于病害檢測(cè),如小麥病害[31]、蕎麥病害[32]、葡萄[33]和番茄病害[34]等各種病害。2018年,馬浚誠(chéng)等[35]研究發(fā)現(xiàn):一種在殘差網(wǎng)絡(luò)(ResNet18)的基礎(chǔ)上進(jìn)行改進(jìn)的多尺度卷積結(jié)構(gòu)與注意力機(jī)制結(jié)合的農(nóng)作物病害識(shí)別模型可實(shí)現(xiàn)田間環(huán)境下的病害識(shí)別;使用深度卷積網(wǎng)絡(luò)識(shí)別擴(kuò)充后的圖像數(shù)據(jù)集,得出對(duì)炭疽病、霜霉病、白粉病和目標(biāo)葉斑病4種黃瓜病害的準(zhǔn)確率為93.4%;2017年,Liu等[36]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)算法的蘋果葉片病害準(zhǔn)確識(shí)別方法精準(zhǔn)度高、速度快,可有效解決蘋果葉片病害的識(shí)別。

大多數(shù)據(jù)集都在特殊條件或簡(jiǎn)單背景下拍攝的,在田間環(huán)境下難以識(shí)別,針對(duì)此類問(wèn)題,2018年Khan等[37]結(jié)合PlantVill和普渡大學(xué)的CASC IFW數(shù)據(jù)集,使用圖像增強(qiáng)與背景分割等方法,建立了VGG VD 16和Caffe AlexNet模型,該模型對(duì)蘋果和香蕉葉斑和果實(shí)病斑的準(zhǔn)確率為98.6%。2021年黃林生等[38]提出一種多尺度卷積結(jié)構(gòu)與注意力機(jī)制結(jié)合的農(nóng)作物病害識(shí)別模型,該研究在殘差網(wǎng)絡(luò)的基礎(chǔ)上引入Inception模塊以提高特征的豐富度,還加入了注意力機(jī)制SE-Net,提高了重要特征的權(quán)重,降低了非重要特征的影響,提高了模型的提取能力和自身的魯棒性,使得田間環(huán)境中的平均識(shí)別精度達(dá)到95.62%。2021年何自芬等[39]針對(duì)蘋果葉部病害數(shù)據(jù)集因環(huán)境等各種因素造成的精度低和泛化能力差的問(wèn)題,提出了一種新型的非對(duì)稱混洗卷積神經(jīng)網(wǎng)絡(luò)ASNet,該研究通過(guò)在ResNeXt骨干網(wǎng)絡(luò)中添加scSE注意力機(jī)制來(lái)增強(qiáng)網(wǎng)絡(luò)提取特征,使用非對(duì)稱混洗卷積模塊來(lái)增強(qiáng)特征提取能力,提高了模型的分割精度和泛化能力,對(duì)實(shí)地采集的蘋果3種病害和健康葉片的平均分割精度為94.7%。2021年樊湘鵬等[40]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識(shí)別方法,該研究設(shè)計(jì)了具有5個(gè)卷積、4層池化和2個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用L2正則化和Dropout策略優(yōu)化網(wǎng)絡(luò),對(duì)復(fù)雜情況下玉米病害的識(shí)別精度為97.1%。

在營(yíng)利性養(yǎng)老服務(wù)機(jī)構(gòu)里，入住老年人不僅需要日常生活照顧、疾病診治、身體康復(fù)訓(xùn)練，還需要健康咨詢、心理安慰、營(yíng)養(yǎng)指導(dǎo)、臨終關(guān)懷等，因此需要有大量的專業(yè)人才來(lái)提供專業(yè)服務(wù)。但是目前廣西此類人才相當(dāng)缺乏，具有養(yǎng)老護(hù)理職業(yè)資格證書的服務(wù)人員更少。目前廣西養(yǎng)老機(jī)構(gòu)服務(wù)人員多數(shù)為40歲以上婦女，她們的文化程度普遍較低，沒(méi)有受過(guò)正規(guī)的專業(yè)護(hù)理培訓(xùn)，提供的服務(wù)基本屬于簡(jiǎn)單的日常照料和護(hù)理。

深度學(xué)習(xí)需要大量的數(shù)據(jù)用于訓(xùn)練網(wǎng)絡(luò)模型,但是拍攝圖片制作數(shù)據(jù)集則需要花費(fèi)大量的時(shí)間精力,而且通過(guò)學(xué)習(xí)不同領(lǐng)域、場(chǎng)景和尺度的目標(biāo)特征可實(shí)現(xiàn)端到端的檢測(cè)[41-42]。還可以通過(guò)大量的訓(xùn)練樣本學(xué)習(xí)提取圖像特征的能力,從而減少網(wǎng)絡(luò)模型訓(xùn)練所需的樣本數(shù)。龍滿生等[43]研究發(fā)現(xiàn)使用深度特征網(wǎng)絡(luò)參數(shù)遷移可以獲得性能更好的模型。

2019年Solemane等[44]提出了一種基于遷移學(xué)習(xí)和特征提取的方法識(shí)別珍珠谷霉病,準(zhǔn)確率為95.00%。2020年許景輝等[45]提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別模型,該研究在VGG-16模型的基礎(chǔ)上設(shè)計(jì)了全新的全連接層模塊,并將其在Image Net圖像數(shù)據(jù)集訓(xùn)練好的卷積層遷移到模型中,對(duì)玉米健康葉、大斑病葉、銹病葉圖像的平均識(shí)別準(zhǔn)確率為95.33%。2021年樊湘鵬等[33]引入遷移學(xué)習(xí)機(jī)制,提出了基于遷移學(xué)習(xí)和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的病害檢測(cè)系統(tǒng),該研究利用大型公開數(shù)據(jù)對(duì)VGG-16模型預(yù)訓(xùn)練,保持前端13個(gè)層的參數(shù)和權(quán)重,快速準(zhǔn)確的實(shí)現(xiàn)了對(duì)葡萄葉部病害的檢測(cè)。

3 機(jī)器學(xué)習(xí)和紅外熱成像技術(shù)相結(jié)合的作物早期病害檢測(cè)

3.1 基于機(jī)器學(xué)習(xí)的紅外熱圖像處理方法

紅外熱圖像有著分辨率差,對(duì)比度低和信息難以完整提取的缺點(diǎn),后續(xù)特征提取的難度大,但隨著機(jī)器視覺(jué)的發(fā)展,現(xiàn)在圖像增強(qiáng)技術(shù)越來(lái)越多的結(jié)合機(jī)器學(xué)習(xí)技術(shù),有研究者研究了CNN[33]和GAN[46],通過(guò)與可見(jiàn)光圖像融合、提出相對(duì)應(yīng)的算法等方法來(lái)達(dá)到提高圖像的目標(biāo)表征,增強(qiáng)場(chǎng)景理解的效果,可大批量的提取圖像特征,為之后的病害識(shí)別提供便利。尤其是對(duì)復(fù)雜背景下的紅外病害圖像的分辨率和靈敏度方面有著巨大的作用。例如圖像增強(qiáng)技術(shù)可根據(jù)人的主觀要求對(duì)圖像進(jìn)行對(duì)比度、分辨率和信噪比的優(yōu)化。也可采用不同的算法來(lái)進(jìn)行特定的圖像處理,包括多算法結(jié)合[47-48]和單一算法優(yōu)化[49]。有學(xué)者考慮采用單幀超分辨率技術(shù)來(lái)提高IRT圖像的分辨率。2016年Zhang等[50]提出了一種基于圖像偏差矯正和超分辨率CNN的系統(tǒng)方法,針對(duì)目標(biāo)像素?cái)?shù)量少,可最大顯得的獲取有效信息,以提高目標(biāo)特征分辨率和優(yōu)化目標(biāo)識(shí)別輸入的基線質(zhì)量在提出算法方面,蘇慶單等[51-54]通過(guò)提出相應(yīng)的算法,解決了紅外熱圖像模糊、清晰度差等特點(diǎn),實(shí)現(xiàn)了紅外熱圖像的增強(qiáng)。

除了簡(jiǎn)單的提高紅外熱圖像的分辨率,還可以利用可見(jiàn)光和紅外熱圖像的互補(bǔ)性來(lái)融合二者的信息,實(shí)現(xiàn)圖像的超分辨率[55]。Liu等[56]將卵生神經(jīng)網(wǎng)絡(luò)用于紅外和可見(jiàn)光圖像,直接去獲得融合的權(quán)重圖,實(shí)現(xiàn)了當(dāng)前最高水平的視覺(jué)質(zhì)量和客觀評(píng)價(jià)效果;張維林[57]將短波和長(zhǎng)波紅外圖像的融合為核心,研究了匹配算法和融合圖像的目標(biāo)檢測(cè)技術(shù),此算法相較于其他算法在多種場(chǎng)景下具有更加穩(wěn)定的表現(xiàn)。為增強(qiáng)紅外與可見(jiàn)光圖像融合的可視化效果,提出了一種GAN和ResNet相結(jié)合的方法,將兩種圖像的拼接作為信號(hào)發(fā)生器網(wǎng)絡(luò)的輸入,結(jié)果該方法明顯優(yōu)于其他九種常見(jiàn)方法[57]。

機(jī)器學(xué)習(xí)處理紅外病害圖像可通過(guò)去噪增強(qiáng)等提取目標(biāo)特征,還能通過(guò)特征信息來(lái)識(shí)別圖像,以減少環(huán)境和人為因素的干擾,進(jìn)而精準(zhǔn)區(qū)分病變區(qū)域。還可以促進(jìn)農(nóng)業(yè)監(jiān)測(cè)自動(dòng)化,新型圖像識(shí)別還可以解決復(fù)雜情況下的紅外熱圖像關(guān)于靈敏度和分類精度的問(wèn)題。

3.2 基于機(jī)器學(xué)習(xí)的作物病害紅外熱圖像識(shí)別研究進(jìn)展

近年來(lái),深度學(xué)習(xí)和紅外熱成像結(jié)合的技術(shù)在光電儀器自動(dòng)檢測(cè)[58]、醫(yī)學(xué)[59-61]、電力[62]、化工[63]、森林防火[64-68]等方面已經(jīng)較為成熟,在農(nóng)業(yè)方面大多應(yīng)用于病害的高光譜圖像的檢測(cè)識(shí)別[69-70]和果實(shí)缺陷[71-72]和病變[73-75]的紅外熱圖像檢測(cè)中,在病害的紅外熱圖像檢測(cè)識(shí)別方面比較缺乏,將其應(yīng)用到作物病害紅外熱圖像中,不僅有紅外熱成像技術(shù)對(duì)于病害的無(wú)損和早期檢測(cè)的優(yōu)點(diǎn),還可以和深度學(xué)習(xí)的快速識(shí)別、自主分類等優(yōu)點(diǎn)結(jié)合起來(lái),以實(shí)現(xiàn)對(duì)植物病害的早期快速檢測(cè)。

在果實(shí)檢測(cè)方面,2019年Farokhzad等[73]使用熱像儀和加熱箱獲取熱圖像,研究處于不同階段(感染后1～7天)的健康馬鈴薯塊莖和被茄花鐮刀菌污染的塊莖溫度,找到最佳熱成像條件,通過(guò)線性和二次判別分析方法提取并分類了一些溫度統(tǒng)計(jì)特征。結(jié)果表明,二次判別分析可以對(duì)不同時(shí)期的健康塊莖和污染塊莖進(jìn)行分類,準(zhǔn)確率高達(dá)98.5%。最終建立了一種基于主動(dòng)熱成像的可靠,無(wú)損,快速的方法來(lái)檢測(cè)馬鈴薯塊莖中的真菌。

Kheiralipour等[74]使用熱成像、QDA和ANN(人工神經(jīng)網(wǎng)絡(luò))方法對(duì)開心果的真菌污染與黃曲霉進(jìn)行分類。發(fā)現(xiàn)使用ANN和QDA方法區(qū)分健康開心果和受污染開心果的準(zhǔn)確率分別為97.70%和99.00%。

Chelladurai等[75]研究了使用紅外熱成像系統(tǒng)識(shí)別儲(chǔ)存小麥中真菌感染的可行性。受灰曲霉群、黑曲霉和青霉屬感染的散裝小麥籽粒的熱圖像。并通過(guò)線性和二次判別分析(LDA和QDA)開發(fā)了四向和成對(duì)分類模型。成對(duì)的LDA和QDA分類模型對(duì)健康樣本的最大準(zhǔn)確率分別為100%,對(duì)受感染樣本的準(zhǔn)確率分別超過(guò)97%和96%。

在葉片病害方面,2015年Raza等[76]提出了圖5所示的一種將紅外熱圖像、可見(jiàn)光圖像數(shù)據(jù)與深度信息相結(jié)合開發(fā)的一個(gè)可用于遠(yuǎn)程檢測(cè)感染番茄白粉病植物的機(jī)器學(xué)習(xí)系統(tǒng)。包括圖像匹配、深度估計(jì)、特征提取和分類。首先通過(guò)將紅外熱圖像與可見(jiàn)光圖像融合得到合成圖片并制作數(shù)據(jù)集,再將深度信息添加到數(shù)據(jù)集中,然后應(yīng)用局部特征提取和全體特征提取的方法將提取到的特征輸入分類器,最后分類器根據(jù)所輸入的信息來(lái)檢測(cè)健康植物和患病植物,結(jié)果表明,將深度和熱信息加入到特征集中可以明顯提高早期識(shí)別病害的精度,還表明了此系統(tǒng)顯著提高了遠(yuǎn)程影響再病害監(jiān)測(cè)的應(yīng)用。

圖5 病態(tài)植物檢測(cè)算法的方框圖

2017年Jafari等[77]利用可見(jiàn)光圖像和紅外熱圖像檢測(cè)感染白粉病和灰霉病的玫瑰花。并提出了如圖6所示的自動(dòng)捕獲的熱圖像和可見(jiàn)光圖像使用設(shè)計(jì)方格表面進(jìn)行預(yù)配準(zhǔn)方法,訓(xùn)練了兩個(gè)神經(jīng)模糊分類器來(lái)區(qū)分健康植物和受感染植物,設(shè)計(jì)的神經(jīng)模糊分類器的性能通過(guò)使用自動(dòng)成像設(shè)置捕獲的熱圖像進(jìn)行評(píng)估?？梢栽谌庋劭梢?jiàn)之前檢測(cè)出的感染白粉病和灰霉病的玫瑰的癥狀,在接種后的第二天達(dá)到了最佳正確估計(jì)率,為60%和80%。

圖6 熱圖像和可見(jiàn)圖像的配準(zhǔn)過(guò)程

2019年朱文靜等[78]為提高圖像檢測(cè)能力,提出了一種基于紅外熱成像技術(shù)的快速檢測(cè)和分級(jí)方法。首先通過(guò)對(duì)整株小麥樣本在不同時(shí)期的紅外熱成像圖像的平均葉溫的計(jì)算,探明了病原體侵染時(shí)的溫度變化規(guī)律;然后使用直方圖均衡化和中值濾波等預(yù)處理方法提取出圖像中低于顯癥植株溫度閾值的區(qū)域,通過(guò)閾值分割,計(jì)算病斑面積和在總面積中的占比;最后,進(jìn)行病情指數(shù)的相關(guān)分析,獲得相關(guān)系數(shù)為0.975 5,預(yù)測(cè)均方根誤差為9.79%,總識(shí)別正確率為90%。

近年來(lái)一些便攜式熱成像相機(jī)已經(jīng)可以適配移動(dòng)電話,促進(jìn)了紅外熱成像技術(shù)的發(fā)展,2017年Lopez等[79]提出了一種適應(yīng)自適應(yīng)于手機(jī)的熱感相機(jī)來(lái)自動(dòng)檢測(cè)運(yùn)動(dòng)性疲勞的方法。2017年Cho等[80]提出了一種基于低成本熱成像相機(jī)的深度學(xué)習(xí)模型,該模型可以根據(jù)人體的呼吸模式自動(dòng)識(shí)別心理壓力水平,可以將安裝在智能手機(jī)上的攝像頭放置在距離人鼻孔區(qū)域55 cm的位置,提出了一種從紅外熱視頻的鼻孔R(shí)OI恢復(fù)一維呼吸信號(hào)的呼吸跟蹤算法,對(duì)兩級(jí)壓力和三級(jí)壓力的區(qū)分準(zhǔn)確率分別為84.59%和56.52%。

研究表明,深度學(xué)習(xí)可以通過(guò)識(shí)別紅外熱圖像來(lái)進(jìn)行病害檢測(cè),還可以改進(jìn)紅外熱圖像的缺點(diǎn)并提高病害識(shí)別速度和精度,但現(xiàn)階段應(yīng)用于紅外熱圖像病害識(shí)別檢測(cè)研究較少且識(shí)別要求大、準(zhǔn)確率低,想要提高網(wǎng)絡(luò)模型的性能,就必須使用大量的數(shù)據(jù)來(lái)訓(xùn)練模型,現(xiàn)階段紅外圖像數(shù)據(jù)集種類少且公開的紅外圖像數(shù)據(jù)集的規(guī)模都較小。為解決以上問(wèn)題,在未來(lái)可通過(guò)優(yōu)化小樣本數(shù)據(jù)集下的網(wǎng)絡(luò)模型,提高模型的泛化能力和遷移能力來(lái)解決此類問(wèn)題。

4 存在問(wèn)題和研究展望

總結(jié)上述幾年紅外熱成像于機(jī)器學(xué)習(xí)相結(jié)合應(yīng)用于病害識(shí)別領(lǐng)域的研究,發(fā)現(xiàn)尚處于起步階段,仍存在不少的問(wèn)題。

1) 紅外熱圖像拍攝困難。紅外熱圖像易受光照、溫度、風(fēng)吹等環(huán)境影響,在被測(cè)物體和環(huán)境的溫度之間的溫差很小時(shí),無(wú)法準(zhǔn)確地獲得所需的信息,還容易受到光照、風(fēng)的影響導(dǎo)致溫度分布的變化?，F(xiàn)在大多數(shù)圖片都是在可控且單一背景的環(huán)境下拍攝而成的,缺乏泛化性,且紅外熱圖像本身存在著靈敏度低和分辨率低等特性,難以保證拍攝的紅外熱圖像的質(zhì)量,會(huì)引起紅外圖像的錯(cuò)誤解讀

2) 訓(xùn)練結(jié)果使用的數(shù)據(jù)量少,訓(xùn)練的模型針對(duì)特定場(chǎng)景,缺乏泛化性。深度學(xué)習(xí)需要大量數(shù)據(jù)集,拍攝數(shù)據(jù)集往往有限,且公開的紅外熱成像數(shù)據(jù)集類型和數(shù)量均較少,難以滿足深度學(xué)習(xí)的要求。

3) 現(xiàn)階段算法識(shí)別準(zhǔn)確率低且大多數(shù)基于紅外熱成像的機(jī)器視覺(jué)(IRMV)還處于實(shí)驗(yàn)室測(cè)試階段,跟實(shí)際應(yīng)用還有很大的差距。隨著人工智能的發(fā)展,算法的改進(jìn)帶來(lái)了識(shí)別上巨大的優(yōu)勢(shì),現(xiàn)階段算法對(duì)于小樣本數(shù)據(jù)集的識(shí)別精度低,后續(xù)則需要對(duì)算法進(jìn)行優(yōu)化,減少冗余,提高精度。

針對(duì)以上存在的問(wèn)題,本文提出以下建議,希望可為未來(lái)早期病害的識(shí)別提供方向。

1) 紅外熱圖像拍攝苦難?？赏ㄟ^(guò)在更改環(huán)境的溫度、濕度和光照等的條件來(lái)不斷進(jìn)行采集,直至明確各種病害最佳的拍攝條件。

2) 針對(duì)紅外熱圖像噪聲大、分辨率低和靈敏度低的特點(diǎn),可以應(yīng)用圖像處理技術(shù)來(lái)進(jìn)行圖像的優(yōu)化,可將紅外熱圖像與可見(jiàn)光圖像和高光譜圖像結(jié)合,與紅外熱圖像互補(bǔ)以獲取更多的信息,還可進(jìn)行作物病害的種類和程度的識(shí)別,還可以應(yīng)用圖像處理技術(shù)來(lái)進(jìn)行圖像的優(yōu)化,增強(qiáng)圖像的細(xì)節(jié)和邊緣信息。

3) 深度學(xué)習(xí)需要大量的數(shù)據(jù)來(lái)進(jìn)行模型的訓(xùn)練,采集紅外熱圖像則會(huì)花費(fèi)大量的時(shí)間,可將其和遷移學(xué)習(xí)相結(jié)合提高其泛化能力,使模型獲得結(jié)果,或通過(guò)優(yōu)化小樣本數(shù)據(jù)集下的網(wǎng)絡(luò)模型等來(lái)提高模型對(duì)于病害識(shí)別的準(zhǔn)確率。

4) 在實(shí)際應(yīng)用階段,隨著計(jì)算能力和儀器適配性的不斷提高,可以通過(guò)跟無(wú)人機(jī)、機(jī)器人和嵌入式設(shè)備結(jié)合來(lái)解決實(shí)際應(yīng)用問(wèn)題。

5 結(jié)語(yǔ)

紅外熱成像技術(shù)已經(jīng)成為作物病害早期監(jiān)測(cè)的關(guān)鍵技術(shù)之一,在各個(gè)領(lǐng)域發(fā)展迅速并表現(xiàn)了各方面的優(yōu)越性,在農(nóng)業(yè)方面表現(xiàn)出了巨大的潛力,針對(duì)紅外熱成像自身低分辨率、低清晰度等的特征,網(wǎng)絡(luò)模型準(zhǔn)確率低等問(wèn)題,隨著深度學(xué)習(xí)等的不斷發(fā)展和對(duì)于作物病害更好的認(rèn)知,可拍攝更高質(zhì)量的紅外熱圖像并克服田間環(huán)境的影響,進(jìn)而進(jìn)行更早和更大規(guī)模的病害檢測(cè),以減少施藥量,提高作物的品質(zhì),相信通過(guò)機(jī)器學(xué)習(xí)和紅外熱成像技術(shù)的不斷發(fā)展可以讓我國(guó)作物病害管控更加高效,在農(nóng)業(yè)方面發(fā)揮更大的作用。