基于深度學習的小麥倒伏自動分類方法研究

臧賀藏，王從勝，趙巧麗，趙 晴，張 杰，李國強，鄭國清

（1.河南省農業(yè)科學院 農業(yè)經濟與信息研究所，河南 鄭州 450002；2.農業(yè)農村部黃淮海智慧農業(yè)技術重點實驗室，河南 鄭州 450002；3.河南師范大學 計算機與信息工程學院，河南 新鄉(xiāng) 453007）

小麥是世界上重要的糧食作物，占世界膳食熱量20%[1-2]。2021年全球小麥播種面積為2.23億hm2，產量為7.76 億t[3]。河南省作為全國小麥主產區(qū)，小麥播種面積和總產均占全國1/4 左右，肩負著保障國家糧食安全重任[4]。然而，在小麥生育中后期，由于臺風天氣偏多，暴風雨時有發(fā)生，容易發(fā)生局部或大面積倒伏現(xiàn)象，為小麥產量形成帶來了許多不確定性[5]。倒伏是制約小麥產量的主要因素，尤其灌漿期倒伏對產量影響較大，嚴重時可造成50%以上減產[6-10]。因此，快速準確地檢測小麥倒伏信息有助于損失鑒定及良種選育。

在實際生產中，針對小麥倒伏程度不同、倒伏區(qū)域不均勻等特點，傳統(tǒng)小麥倒伏區(qū)域的獲取方式主要采用人工測量法，該方法效率低、費時費力，測量結果主觀且不可靠[11-13]。隨著遙感技術的快速發(fā)展，利用無人機遙感監(jiān)測小麥長勢并預測產量已成為確保糧食安全的重要手段[14-17]，在田塊級小麥災情快速監(jiān)測方面已解決許多實際問題。劉良云等[18]通過利用遙感監(jiān)測倒伏小麥和正常小麥的冠層光譜反射率的差別進行分類。趙靜等[19]基于無人機遙感平臺獲取的小麥倒伏可見光圖像，采用最大似然法和隨機森林法獲取小麥倒伏信息。楊浩等[20]通過對比分析倒伏小麥與正常小麥雷達極化特征的差異提出了利用雷達極化指數(shù)監(jiān)測小麥倒伏的方法。董錦繪等[21]利用無人機遙感平臺獲取小麥倒伏圖像，使用最大似然法提取小麥倒伏面積的整體效果高于最小距離法、神經網絡法和支持向量機法。以上這些研究主要采用傳統(tǒng)的機器學習方法識別小麥倒伏，存在特征篩選方法較為單一、模型泛化性能較弱的問題，導致倒伏區(qū)域預測精度低；而深度學習作為當前語義分割的主流技術，可以實現(xiàn)小麥倒伏區(qū)域的精準提取。

隨著人工智能技術的快速發(fā)展，機器學習算法已開始運用于作物倒伏提取領域。ZHAO 等[22]提出基于U-Net 結構的水稻倒伏分割方法，建立了水稻倒伏樣本數(shù)據(jù)集。ZHANG 等[23]采用3 種傳統(tǒng)機器學習算法和3 種神經網絡進行小麥倒伏檢測，并進行不同算法對比。YANG 等[24]將邊緣計算與EDANet 結合，以較快地估測水稻倒伏面積。YANG等[25]采用2種神經網絡架構FCN-AlexNet和SegNet，建立了圖像語義分割模型，估測了水稻倒伏面積。MARDANISAMANI 等[26]提出了一種深度卷積神經網絡架構，用于油菜和小麥育種試驗地倒伏圖像的分類；使用遷移學習技術訓練該網絡，并與10 個DCNN 倒伏模型進行對比，得出神經網絡架構在參數(shù)較少情況下效果明顯。為了使網絡在簡單樣本學習達到平穩(wěn)后，偏向于困難樣本的學習，針對現(xiàn)有小麥倒伏區(qū)域統(tǒng)計費時費力、倒伏分類方法較為單一、模型預測精度低的問題，采用深度學習模型U-Net、PSPNet、DeepLabv3+、ACSNet 自動提取小麥倒伏區(qū)域并比較其效果，為無人機遙感評估小麥受災面積及損失提供支撐。

1 材料和方法

1.1 研究區(qū)概況

研究區(qū)位于河南現(xiàn)代農業(yè)研究開發(fā)基地的小麥區(qū)域試驗試驗地，如圖1 所示。試驗采用完全隨機區(qū)組設計，播種日期為2019 年10 月9 日，種植密度195萬株/hm2，共有82個小麥品種，每個小區(qū)冬小麥新品種種植6行，重復3次，小區(qū)面積12 m2。試驗田管理措施高于普通大田。

圖1 研究區(qū)位置Fig.1 Location of study area

1.2 數(shù)據(jù)采集

2020 年5 月上旬，研究區(qū)遇到大風、暴雨等異常天氣，造成小麥倒伏。2020 年5 月14 日，基于無人機遙感平臺獲取小麥灌漿期可見光倒伏圖像，無人機型號為大疆精靈4 Pro，最大飛行時間約30 min，搭載2 000 萬像素的CMOS 傳感器，圖像分辨率為5 472 像素×3 078 像素。數(shù)據(jù)采集于當天10：00，無人機飛行高度30 m，飛行速度3 m/s，航向重疊度與旁向重疊度均為80%，共規(guī)劃5條航線，獲得原始圖像700張。

1.3 數(shù)據(jù)集構建和標注

本研究篩選出無人機姿態(tài)平穩(wěn)、拍攝清晰無遮擋、含倒伏小麥區(qū)域的700張原始圖像，每張圖像分辨率為5 472 像素×3 078 像素。700 張原始圖像經過水平翻轉、旋轉、隨機裁剪、亮度調整進行數(shù)據(jù)增強和圖像去噪，共獲得25 000 張圖像。利用Labelme 將小麥倒伏區(qū)域標注為前景，其他區(qū)域標注為背景。按照8∶1∶1 的比例將數(shù)據(jù)集分為訓練集、驗證集和測試集。為了方便網絡訓練，將原始圖像統(tǒng)一裁剪為512像素×512像素。

1.4 深度學習模型

深度學習模型的基本原理是通過卷積層、池化層和全連接層組成，對輸入數(shù)據(jù)進行自動特征提取和分類[27]。卷積層是基礎層，用于提取圖像的局部特征。池化層一般放在卷積層后面，用于優(yōu)化特征圖的空間比例。全連接層是最后一層，用于將卷積層和池化層提取的特征進行分類。本研究共選擇了4 種最先進的深度學習模型：U-Net、PSPNet、DeepLabv3+和ACSNet。所有模型都使用遷移學習方法進行了預訓練，圖2 展示了圖像采集、圖像處理、模型選擇和模型性能示意圖。

圖2 不同深度學習模型識別小麥倒伏的框架Fig.2 Framework for identification of wheat lodging using different deep learning models

U-Net[28]是最常見的全卷積神經網絡模型，其出色的性能和簡單的結構已成為目前主流的語義分割模型之一，具有良好的分割性能及較少的算力需求，但由于其網絡結構過于簡單，存在一些限制。PSPNet[29]基于卷積神經網絡，通過多個卷積層進行特征提取，能夠有效地利用全局上下文信息，并適應不同尺度的目標。其核心思想是通過金字塔池化操作捕獲不同感受野的特征信息。DeepLabv3+[30]是一種用于語義分割任務的深度學習模型，在DeepLabv3 的基礎上引入了全卷積網絡和空洞卷積等技術來提高語義分割的性能。核心思想是通過融合多尺度特征來捕獲豐富的上下文信息，并使用空洞卷積進行更有效的特征提取。采用編碼器-解碼器結構，其中編碼器負責提取圖像特征，解碼器則將特征映射恢復到原始圖像大小，從而生成像素級別的預測結果。ACSNet[31]是基于自適應上下文選擇的編碼器-解碼器結構，由局部上下文注意模塊、全局上下文模塊和自適應選擇模塊組成。

1.5 模型訓練

試驗采用Pytorch1.10 深度學習框架，CUDA11.2。所有試驗都使用Linux Ubuntu18.04 LTS操作系統(tǒng)，Intel? Core?i7-8700 CPU@3.70GHZ 處理器。將訓練集和驗證集分為多個批次，遍歷所有批次后完成一次迭代。優(yōu)化器選擇SGD，設置初始學習率為0.001，隨著迭代次數(shù)提升降低學習率至0.000 1。

1.6 評價指標

采用精準率（Pre）、召回率（Rec）、Dice相關系數(shù)（DSC）和IoU（Intersection over Union）指數(shù)作為評價指標，以上指標取值在0～1，值越大，表明評估效果越好。本研究使用參數(shù)量、計算量（FLOPs）、模型大小及耗時評估模型性能。

評價指標計算公式如下：

其中，TP代表真陽性，F(xiàn)P代表假陽性，F(xiàn)N代表假陰性，TN代表真陰性。

2 結果與分析

2.1 不同深度學習模型識別小麥倒伏的定量分析

由表1 可以看出，ACSNet 的分割效果較好，Pre、Rec、DSC 和IoU 分別為87.5%、91.7%、87.0%、88.6%。而U-Net、PSPNet和DeepLabv3+在4項評價指標上識別準確率較低。與U-Net[5]、PSPNet 和DeepLabv3+相比，ACSNet 在Pre 上分別提高13.9、4.1、2.9 百分點。由于嚴重倒伏區(qū)域占比較大，加上人工標注誤差，導致評價指標偏低。表2 展示了4種分割模型參數(shù)量、計算量、模型大小及耗時的對比，U-Net 參數(shù)量、計算量、模型大小和耗時較多，PSPNet參數(shù)量、計算量、模型大小及耗時最少，但分割精準率低；ACSNet 比U-Net、DeepLabv3+計算量低，但分割精準率高。因此，ACSNet 可以使網絡在訓練過程中解決均衡難易度和正負樣本不均衡問題。

表1 不同深度學習模型識別小麥倒伏評價指標比較Tab.1 Comparison of evaluating indicators for identifying wheat lodging using different deep learning models %

表2 不同深度學習模型參數(shù)量、計算量、模型大小及耗時對比Tab.2 Comparison of parameter quantity，calculation amount，model size and time consumption of different deep learning models

2.2 不同深度學習模型識別小麥倒伏的定性分析

由于原始采集的圖像較大，在網絡輸入圖像時，統(tǒng)一把尺寸調整為512 像素×512 像素，標注圖像和預測圖像的尺寸均為512 像素×512 像素。由圖3可以看出，預測圖中白色判斷為倒伏，黑色判斷為不倒伏。在小麥倒伏分割任務中，存在倒伏區(qū)域統(tǒng)計難度大、模型預測精度低等問題，U-Net、PSPNet 和DeepLabv3+的驗證結果較差，ACSNet 網絡模型綜合考慮了倒伏小麥圖像特點和倒伏區(qū)域數(shù)據(jù)分布特性，可以有效解決上述問題。ACSNet網絡模型實現(xiàn)小麥倒伏區(qū)域的精準提取，尤其在小樣本數(shù)據(jù)集下有效提高模型的泛化能力。

圖3 不同深度學習模型識別小麥倒伏結果定性比較Fig.3 Qualitative comparison of experimental results of identifying wheat lodging using different deep learning models

2.3 不同深度學習模型識別小麥倒伏結果分析

隨機選取10張小麥倒伏圖像，將訓練好的模型在實際獲取的倒伏圖像上進行自動分類，表3 列出了部分測試倒伏圖像的識別結果。ACSNet 對小麥倒伏預測結果與真實結果接近，識別的相對誤差為4.5%，與U-Net、PSPNet、DeepLabv3+比較，分別降低了10.2、2.9、2.3 百分點，說明ACSNet 總體預測誤差均較小，預測小麥倒伏比例結果更可靠。

表3 不同深度學習模型小麥倒伏比例識別驗證Tab.3 Verification for identification of wheat lodging ratio using different deep learning models

3 結論與討論

在田間條件下進行大規(guī)模小麥倒伏區(qū)域分類時，采用深度學習和圖像處理方法可以顯著減少人工統(tǒng)計的工作量。在主觀性方面，深度學習方法解決了個體主觀性差異引起的表型誤差問題，因此，深度學習方法在小麥倒伏檢測中具有重要意義。在背景復雜的農業(yè)生產中，小麥倒伏圖像由于表型特征差異，可變的光照條件，圖像捕獲過程中無人機的不同角度、不同飛行高度以及不同時序的地貌特征差異可能會影響圖像分割的準確性[32-34]。在實際小麥倒伏中，面臨的主要挑戰(zhàn)是在生長中后期小麥倒伏通常比較密集，小區(qū)倒伏區(qū)域互相遮擋，從而導致分割存在誤差。因此，基于深度學習的圖像分割方法在小麥倒伏圖像分割中表現(xiàn)出優(yōu)異的性能。

由于無人機飛行速度緩慢，雖然光照、角度等因素可能導致圖像外觀發(fā)生變化，但重復數(shù)據(jù)可以幫助模型更好地學習和適應這些變化，在一定程度上同樣具備訓練價值，并提高模型的魯棒性。針對現(xiàn)有小麥倒伏區(qū)域統(tǒng)計費時費力、倒伏分類方法較為單一、模型預測精度低的問題，本研究提出了基于面向困難樣本挖掘的小麥倒伏自動分類方法，評估了4 個深度學習模型用于小麥倒伏識別的效果，其中所選模型都可以實現(xiàn)對小麥倒伏區(qū)域自動分類。ACSNet模型是性能最好的模型，其預測精準率為87.5%，DSC 為87.0%，而PSPNet 和Deeplabv3+的倒伏預測精準率分別為83.4%和84.6%。ACSNet比U-Net、DeepLabv3+計算量低，但分割精準率高。在測試過程中，ACSNet 識別的相對誤差僅為4.5%。因此，ACSNet模型能夠精準高效地完成小麥倒伏自動化分類，具有較高的準確性和適用性，可滿足麥田環(huán)境下高通量作業(yè)需求，為災后確定受災面積及勘定損失提供重要依據(jù)。

但本研究仍存在一些不足，相關的理論工作需進一步改進完善。在今后的研究工作中，基于無人機遙感平臺獲取小麥倒伏圖像，逐步剖析構建的網絡結構，優(yōu)化小麥倒伏檢測模型，以便獲得更好的小麥倒伏檢測性能。