基于深度卷積神經(jīng)網(wǎng)絡(luò)的棉花葉片缺氮診斷

何相良， 戴建國(guó)， 侯文慶， 蔣 楠， 左昌鑫

(1.石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆石河子 832000； 2.兵團(tuán)空間信息工程技術(shù)研究中心，新疆石河子 832000)

我國(guó)是紡織大國(guó)，棉花在我國(guó)是僅次于糧食的大宗農(nóng)產(chǎn)品。根據(jù)國(guó)家統(tǒng)計(jì)局發(fā)布的數(shù)據(jù)來(lái)看，我國(guó)棉花使用量每年仍有上萬(wàn)噸的進(jìn)口需求，棉花生產(chǎn)的提質(zhì)增效是農(nóng)業(yè)工程領(lǐng)域內(nèi)普遍研究的問(wèn)題。長(zhǎng)期種植經(jīng)驗(yàn)表明，精準(zhǔn)施肥是提高產(chǎn)量的主要手段。隨著智慧農(nóng)業(yè)的深入研究和逐步應(yīng)用，施肥量的精確控制成為智慧農(nóng)業(yè)研究的一個(gè)重要分支，而高效精確的棉花缺氮水平診斷是精準(zhǔn)施肥的前提和基礎(chǔ)。傳統(tǒng)的生物化學(xué)方式測(cè)定植物氮含量存在檢測(cè)周期長(zhǎng)、破壞性強(qiáng)等問(wèn)題，不適用于現(xiàn)代農(nóng)業(yè)的生產(chǎn)方式。由于植物的葉片顏色、紋理、形狀甚至質(zhì)地等特征可以直接反映植株的氮營(yíng)養(yǎng)狀況，因此通過(guò)對(duì)作物的數(shù)字圖像進(jìn)行分析，可以建立光譜特征參數(shù)與實(shí)際含氮量之間的數(shù)學(xué)模型[1-5]。魏全全等通過(guò)分析馬鈴薯冠層圖像的數(shù)碼參數(shù)與氮素營(yíng)養(yǎng)指標(biāo)之間相關(guān)性，篩選出氮含量的最優(yōu)估測(cè)參數(shù)，擬合出氮營(yíng)養(yǎng)含量估測(cè)方程[6]。陳佳悅等分析冬小麥冠層數(shù)字圖像的特征參數(shù)后提出了顏色組合標(biāo)準(zhǔn)化指數(shù)，其與葉片氮含量線性擬合后的決定系數(shù)與均方根誤差分別能達(dá)到0.97、0.129 9[7]。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，國(guó)內(nèi)外學(xué)者常用機(jī)器學(xué)習(xí)和數(shù)字圖像處理技術(shù)建立植物葉片的理化特征與其氮素含量之間的回歸或分類模型，并取得了諸多成果[8-10]。李小正等提取棉花葉片圖像彩色參數(shù)與其氮含量做相關(guān)性分析，用顯著相關(guān)的向量組合訓(xùn)練不同神經(jīng)網(wǎng)絡(luò)模型，結(jié)果表明，使用藍(lán)色通道(B)、色調(diào)(H)、歸一化藍(lán)色波段指數(shù)(NBI)、歸一化紅色波段指數(shù)(NRI)、綠減紅(G-R)、綠比紅(G/R)訓(xùn)練的徑向基網(wǎng)絡(luò)在預(yù)測(cè)棉花葉片的氮含量上具有優(yōu)越性[11]。王金星等提取蘋果樹葉片圖像中的主要彩色參數(shù)構(gòu)建了基于自適應(yīng)遺傳算法優(yōu)化的主成分支持向量機(jī)(PCA-SVM)、主成分神經(jīng)網(wǎng)絡(luò)(PCA-BP)、主成分極限學(xué)習(xí)機(jī)(PCA-ELM)共3種氮含量預(yù)測(cè)模型，結(jié)果表明，經(jīng)過(guò)遺傳(GA)算法優(yōu)化后的PCA-SVM模型的預(yù)測(cè)效果最佳[12]。羅建軍等通過(guò)提取水稻葉片圖像中的顏色和幾何特征建立了基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)對(duì)水稻氮素營(yíng)養(yǎng)進(jìn)行診斷，結(jié)果表明，該模型在各施氮水平上的識(shí)別平均精確率均能達(dá)到97%以上[13]。雖然機(jī)器學(xué)習(xí)結(jié)合數(shù)字圖像處理技術(shù)在檢測(cè)作物氮營(yíng)養(yǎng)含量的研究上是一種快速、無(wú)損、高效的手段，但由于不同作物的缺氮營(yíng)養(yǎng)特性、生長(zhǎng)周期和拍攝環(huán)境以及成像方式都不同，故導(dǎo)致上述研究方法過(guò)于復(fù)雜，且普適性不強(qiáng)，受數(shù)據(jù)質(zhì)量的影響較大，不能滿足智慧農(nóng)業(yè)生產(chǎn)模式的要求。而隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已成為作物缺氮診斷中更便捷、快速、精準(zhǔn)的途徑之一。楊娟娟等改進(jìn)了VGG-16的全連接層，對(duì)不同梯度氮含量的葡萄葉片圖像進(jìn)行識(shí)別，在室內(nèi)簡(jiǎn)單背景下的識(shí)別平均精確率可以達(dá)到78%[14]。熊俊濤等利用Mask-RCNN模型對(duì)大豆葉片圖像進(jìn)行分割去除背景特征，繼而采用VGG-16完成缺素分類，該分類模型在測(cè)試集上的分類準(zhǔn)確率達(dá)到了89%[15]。綜上所述，深度學(xué)習(xí)在農(nóng)作物氮含量診斷的應(yīng)用上，研究者們主要使用較淺層網(wǎng)絡(luò)模型開展研究，這些模型由于提出的時(shí)間相對(duì)較早，與現(xiàn)在的深度神經(jīng)神經(jīng)網(wǎng)絡(luò)相比，其學(xué)習(xí)能力已落后。棉花功能葉片的顏色特征與植株含氮量之間有著緊密的聯(lián)系[16]，目前，通過(guò)作物的可見(jiàn)光數(shù)字圖像進(jìn)行氮含量檢測(cè)時(shí)，多數(shù)使用機(jī)器學(xué)習(xí)結(jié)合圖像處理的技術(shù)，而使用深度學(xué)習(xí)模型進(jìn)行研究的尚且較少，本試驗(yàn)以深度學(xué)習(xí)模型為研究對(duì)象，以尋求最適宜棉花缺氮水平診斷的模型。本試驗(yàn)基于智能手機(jī)高清攝像頭的優(yōu)勢(shì)，采集花鈴期時(shí)不同缺氮水平的棉花葉片數(shù)字圖像，比較AlexNet、VGGNet、GoogLeNet、MobileNet、Inception-v3、ResNet-v2和ResNeXt及其改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果，對(duì)比分析各模型的特征提取結(jié)構(gòu)在棉花葉片缺氮水平檢測(cè)上的優(yōu)劣，以期為自動(dòng)化棉花缺氮診斷提供算法支持，并為基于深度學(xué)習(xí)的作物營(yíng)養(yǎng)檢測(cè)研究提供借鑒和參考。

1 數(shù)據(jù)和方法

1.1 試驗(yàn)設(shè)計(jì)

田間試驗(yàn)地點(diǎn)位于新疆維吾爾自治區(qū)石河子地區(qū)新疆農(nóng)墾科學(xué)院試驗(yàn)站(85°59′35″E，44°18′45″N)。研究區(qū)所在農(nóng)業(yè)園地勢(shì)平坦，平均海拔高度 450.8 m，地處天山北麓中段，古爾班通古特大沙漠南緣，屬溫帶大陸性氣候，晝長(zhǎng)夜短，年平均氣溫 7～8 ℃。試驗(yàn)數(shù)據(jù)采集于7月中旬花鈴期，當(dāng)季平均氣溫25～26 ℃；棉花于2021年4月18日種植，4月27日第1次灌溉，用寬窄行膜下滴灌種植方式，15穴/m，1膜3行。水肥管理采用隨機(jī)區(qū)組設(shè)計(jì)。設(shè)置5個(gè)氮肥處理，每個(gè)處理重復(fù)3次，共計(jì)15個(gè)小區(qū)，每塊小區(qū)的面積約為78 m2。施氮水平正常區(qū)N240的施氮總量為240 kg/hm2，為當(dāng)?shù)孛尢锍Ｒ?guī)施氮量。在蕾期至初花期固定施入底肥60%的基礎(chǔ)上，調(diào)整盛花期和盛鈴期的施氮比例。以N240區(qū)域?yàn)槔蠢倨谥脸趸ㄆ谑┓?0%，盛花期追肥30%，盛鈴期追肥10%。其他處理區(qū)域?yàn)镹0、N72、N144和N192。詳細(xì)的施氮周期和施氮量見(jiàn)表1。

表1 不同處理下的施氮周期與施氮量

試驗(yàn)棉花品種為金墾1161，密度為 23.9萬(wàn)株/hm2。于10月1—7日進(jìn)行收獲。行距為76 cm，行內(nèi)植株間距為5.5 cm。將3行棉花用一塊寬度為205 cm的塑料薄膜覆蓋，用3條直徑為16 mm的滴灌帶進(jìn)行灌溉，流量為2.1 L/h。水肥灌溉從6月16日開始，8月16日結(jié)束，滴灌周期為 7～8 d?？偣喔攘繛? 800 m3/hm2。6月灌溉3次，占總灌溉水量的63%。7月灌水3次，占灌水總量的26%。8月灌水1次，占灌水總量的11%。K2O和P2O5的施用量分別為51、78 kg/hm2。氮肥的來(lái)源為尿素，K2O和P2O5的來(lái)源為KH2PO4。蕾期、花期至盛鈴期施氮、磷、鉀的比例均為 5 ∶11 ∶4，盛鈴后期除不施氮外，磷與鉀的比例保持不變。其他實(shí)地管理措施與當(dāng)?shù)貙?shí)際生產(chǎn)管理相同。實(shí)地試驗(yàn)設(shè)計(jì)見(jiàn)圖1。

1.2 數(shù)據(jù)獲取及預(yù)處理

1.2.1 圖像采集 本試驗(yàn)數(shù)據(jù)于7月中旬花鈴期采集，為提高本研究的泛化能力，將圖像采集試驗(yàn)分為Ⅰ、Ⅱ2組，Ⅰ組于2021年7月23日(晴) 12：00—15：00在研究區(qū)棉田進(jìn)行。試驗(yàn)內(nèi)容主要針對(duì)種植區(qū)內(nèi)5種不同氮處理下的棉花葉片進(jìn)行拍攝，拍攝時(shí)選取小區(qū)域內(nèi)長(zhǎng)勢(shì)較好植株的主莖倒1葉位葉片、主莖倒4葉位葉片和主莖倒3節(jié)位葉片[17]，且采樣時(shí)葉片表面保持無(wú)病害、無(wú)蟲卵、無(wú)其他雜質(zhì)。試驗(yàn)中為了降低植株間的群體競(jìng)爭(zhēng)所帶來(lái)的長(zhǎng)勢(shì)差異，僅對(duì)距離支水管1 m范圍以外的棉花植株葉片進(jìn)行圖像采集。Ⅱ組試驗(yàn)于2021年7月29日(多云轉(zhuǎn)陰)18：00—20：00在研究區(qū)棉田進(jìn)行，試驗(yàn)內(nèi)容和試驗(yàn)原則與Ⅰ組相同。拍攝時(shí)將手機(jī)鏡頭與葉片的距離保持在20～50 cm范圍內(nèi)，將鏡頭與葉面夾角控制在45～90°范圍以內(nèi)。最終得到原始圖像共1 156張，晴天925張，陰天231張。圖像拍攝設(shè)備使用的是華為P40-Pro，拍攝模式中各參數(shù)統(tǒng)一設(shè)置如表2所示。

表2 P40-Pro專業(yè)模式參數(shù)設(shè)置

1.2.2 氮含量測(cè)定 氮含量測(cè)定與圖像采集同期進(jìn)行，拍攝當(dāng)天在各小區(qū)內(nèi)選取經(jīng)過(guò)圖像采集后的6株長(zhǎng)勢(shì)均勻的植株進(jìn)行破壞性取樣帶回實(shí)驗(yàn)室送檢。將葉片放在自來(lái)水下沖洗干凈，用5%的鹽酸溶液清洗1～2 min，然后用無(wú)離子水潤(rùn)洗2次，放入105 ℃高溫烘箱殺青30 min，再調(diào)至80 ℃持續(xù)烘干至恒質(zhì)量，將葉片樣本研磨成粉末，稱取0.2 g干樣，用H2SO4-H2O2消解，然后在消煮爐中消煮 4 h，在消煮好的樣品中加入H2O2，之后用海能K9860全自動(dòng)凱氏定氮儀對(duì)樣本進(jìn)行氮含量檢測(cè)。最后對(duì)相同氮處理小區(qū)內(nèi)的樣本氮含量取平均值，最后即得到5種平均全氮含量水平。

1.2.3 特征分析 由實(shí)際種植經(jīng)驗(yàn)可知，缺乏氮營(yíng)養(yǎng)的棉花表型特征主要體現(xiàn)在葉片的顏色上，其中包括棉花葉片顏色發(fā)黃、葉脈根部退化成紅褐色、葉肉上的綠色變淡、葉片干枯等[18]。除此之外，為提升研究的泛化能力，本數(shù)據(jù)還包含2種不同的光照強(qiáng)度特征。基于此，數(shù)據(jù)集中的1 156張圖片可劃分為2種環(huán)境條件下的5種含氮量等級(jí)：嚴(yán)重缺氮、中度缺氮、適度缺氮、輕度缺氮、正常。本研究為了方便描述下面用N0、N72、N144、N192、N240來(lái)表示上述各對(duì)應(yīng)缺氮狀態(tài)下的葉片平均含氮量，具體如圖2所示。其中，圖2-a葉片變老，葉面黃化嚴(yán)重；圖2-b葉脈出現(xiàn)黃色斑塊，葉肉中葉綠素淡化；圖2-c葉基部逐漸呈現(xiàn)紅褐色，有輕微黃化；圖2-d植株矮小，葉面少部分枯萎；圖2-e為晴天氮含量正常葉片；圖2-f為晴天氮含量缺乏葉片；圖2-g為陰天氮含量正常葉片；圖2-h為陰天氮含量缺乏葉片。

1.2.4 數(shù)據(jù)預(yù)處理 葉片顏色是體現(xiàn)棉花氮營(yíng)養(yǎng)盈缺的主要特征，由于昏暗環(huán)境對(duì)圖像亮度的影響容易造成圖像中某些重要判別特征的模糊或某些主要生理細(xì)節(jié)的缺失，故為了減少拍攝過(guò)程中不同光照強(qiáng)度對(duì)特征學(xué)習(xí)網(wǎng)絡(luò)的干擾以及抑制圖像中的冗余信息，本研究的預(yù)處理工作主要是對(duì)光線較暗的陰天背景數(shù)據(jù)進(jìn)行特征增強(qiáng)處理。

由于用彩色分量(RGB)直接進(jìn)行增強(qiáng)處理會(huì)產(chǎn)生奇異的像素點(diǎn)，導(dǎo)致結(jié)果圖像不協(xié)調(diào)。因此本試驗(yàn)將RGB顏色空間轉(zhuǎn)換到HIS顏色空間后再做灰度變換以解決上述問(wèn)題。在進(jìn)行空間轉(zhuǎn)換后使用伽馬函數(shù)(Gamma)對(duì)圖像中的過(guò)度曝光或者曝光不足進(jìn)行修正。通過(guò)對(duì)231幅HIS數(shù)據(jù)的灰度直方圖進(jìn)行分析后發(fā)現(xiàn)，在大多數(shù)未歸一化的圖片中，像素在亮度通道上都呈現(xiàn)正偏態(tài)分布，如圖3-a所示。

因此，本研究將伽馬變換與線性變換組合，在亮度通道I的低灰度區(qū)使用Gamma函數(shù)，高灰度區(qū)使用線性函數(shù)，分段閾值設(shè)為120，如圖 3-b 所示，標(biāo)準(zhǔn)化后變換函數(shù)閾值點(diǎn)為0.47。原理為通過(guò)非線性函數(shù)讓數(shù)字圖像中較暗像素的灰度值得到拉伸，使用線性函數(shù)對(duì)圖像中高亮像素(如噪點(diǎn))進(jìn)行抑制，使細(xì)節(jié)增強(qiáng)。具體公式如下：

(1)

式中：r為標(biāo)準(zhǔn)化亮度通道的灰度值，取值范圍在 0～1之間；式中的0.47為分段閾值；s為經(jīng)過(guò)變換后的輸出灰度值。γ為變換因子，控制整個(gè)函數(shù)的縮放程度，本研究經(jīng)過(guò)多次試驗(yàn)對(duì)比后將γ設(shè)置為0.75。

為了方便后續(xù)深度學(xué)習(xí)模型的訓(xùn)練，將HIS空間中灰度增強(qiáng)后結(jié)果再轉(zhuǎn)換為RGB圖片。由于在色彩空間轉(zhuǎn)回RGB后會(huì)出現(xiàn)圖像失真等新問(wèn)題，所以使用限制對(duì)比度的自適應(yīng)直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)算法對(duì)RGB圖像再進(jìn)行一次處理。至此，本研究完成了對(duì)陰天環(huán)境下獲取的231張圖片的特征增強(qiáng)預(yù)處理，之后將所有數(shù)據(jù)一起通過(guò)高斯濾波器以消除噪點(diǎn)；最后使用雙線性插值重采樣算法來(lái)統(tǒng)一圖像的尺寸?？傮w預(yù)處理流程見(jiàn)圖4。

1.3 數(shù)據(jù)集制作

首先，通過(guò)裁剪、旋轉(zhuǎn)、鏡像等方法將數(shù)據(jù)擴(kuò)容為原來(lái)的5倍。然后對(duì)數(shù)據(jù)集進(jìn)行劃分。利用簡(jiǎn)單隨機(jī)抽樣方法將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，所占比例分別為90%、5%、5%，即5 202張圖片用于訓(xùn)練，289張圖片用于驗(yàn)證，289張圖片用于測(cè)試。數(shù)據(jù)集制作完成后各缺氮水平中所含樣本數(shù)量如表3所示。

表3 數(shù)據(jù)集樣本分布詳情

1.4 運(yùn)行環(huán)境

試驗(yàn)環(huán)境基于Ubuntu 18.04和Windows 10共2種操作系統(tǒng)，計(jì)算50層以下的淺層網(wǎng)絡(luò)時(shí)選擇在Windows環(huán)境下；將50層以上的深層網(wǎng)絡(luò)部署在性能更高的計(jì)算環(huán)境中運(yùn)行，操作系統(tǒng)為Ubuntu 18.04。詳情見(jiàn)表4。

1.5 基于深度學(xué)習(xí)的棉花葉片缺氮診斷模型

1.5.1 基礎(chǔ)網(wǎng)絡(luò)的選取 深度學(xué)習(xí)已被廣泛應(yīng)用于圖像識(shí)別等領(lǐng)域，如AlexNet、VGGNet、GoogLeNet、Inception-v3、ResNet-v2、ResNeXt、MobileNet等[19-26]，隨著殘差模塊(Residual-Block)的引入解決了深層網(wǎng)絡(luò)中梯度消失和模型退化的問(wèn)題，使得對(duì)模型的研究可以在更深的維度上展開，而分組卷積中的分割-轉(zhuǎn)換-合并策略使得深度殘差網(wǎng)絡(luò)在深度、寬度、參數(shù)量不變的情況下能達(dá)到更好的性能。本研究在對(duì)上述模型依次試驗(yàn)后，考慮到若繼續(xù)增加模型深度時(shí)則必須保證原網(wǎng)絡(luò)結(jié)構(gòu)的性能，因此選擇ResNeXt作為基礎(chǔ)網(wǎng)絡(luò)模型。

表4 硬件和軟件的配置

1.5.2 基于深度可分離和恒等映射的ResNeXt模型 由于在深度殘差網(wǎng)絡(luò)問(wèn)世后，ResNeXt和ResNet-v2這2種相互獨(dú)立的殘差模型都能提高原ResNet網(wǎng)絡(luò)的圖像識(shí)別精度，且都是在ResNet模型的基礎(chǔ)上做出改進(jìn)，前者是改進(jìn)主要特征提取結(jié)構(gòu)，后者則是微觀調(diào)控殘差單元內(nèi)各功能模塊的次序。因此本研究將上述2種模型的設(shè)計(jì)理念加以結(jié)合，即基于恒等映射原理調(diào)整批歸一化與激活函數(shù)的順序來(lái)改進(jìn)ResNeXt的分組卷積模塊。其原理是將網(wǎng)絡(luò)前端的特征信號(hào)直接傳遞到網(wǎng)絡(luò)末端的卷積層，使得網(wǎng)絡(luò)后端的卷積核抽象特征時(shí)依舊能學(xué)習(xí)到前端卷積層輸出的低層特征。具體公式如下：

(2)

式中：F為殘差單元的卷積計(jì)算；xl為第l層的輸出神經(jīng)元信號(hào)值；Wl為相應(yīng)的第l層的權(quán)值矩陣；xi為第i層的輸出信號(hào)；Wi為第i層的權(quán)值矩陣；ε為損失函數(shù)；xL為前向傳播時(shí)最后一層的輸出神經(jīng)元。因此，公式(2)表示深層梯度信號(hào)可以不經(jīng)過(guò)任何權(quán)值和非線性變換，直接反向傳播給淺層的參數(shù)。

此外，由于網(wǎng)絡(luò)前端卷積層提取的各通道顏色特征對(duì)檢測(cè)棉花葉片缺氮水平的精度有著很大的影響，而Inception中的不同尺寸的卷積核可以提取大到葉片輪廓、形狀，小到色斑、紋理、脈絡(luò)等幾何特征，豐富了傳遞到網(wǎng)絡(luò)后端的低層特征的多樣性，因此可以在ResNeXt模型的頭結(jié)構(gòu)中利用深度可分離卷積對(duì)Inception結(jié)構(gòu)進(jìn)行改進(jìn)，以便于提升網(wǎng)絡(luò)頭部對(duì)各顏色通道的特征學(xué)習(xí)效率，提高特征學(xué)習(xí)能力，減少參數(shù)量。深度可分離原理分為2步：(1)用n個(gè)卷積核對(duì)n個(gè)通道分別卷積；(2)用m個(gè)1×1×1的卷積核(m≥n)對(duì)各通道的特征矩陣進(jìn)行上采樣，以有效利用特征圖的不同通道在相同空間位置上的特征信息；隨著提取到的特征圖越來(lái)越多，各輸出通道中包含的特征組合也愈來(lái)愈多，模型的泛化能力也就越強(qiáng)，還能節(jié)省更多的參數(shù)?；诖?，本研究實(shí)際試驗(yàn)中將ResNeXt模型的第1個(gè)卷積層改為基于深度可分離的Inception結(jié)構(gòu)，并在前2個(gè)分組卷積模塊中也加入Depthwise卷積，以期在保證模型性能的前提下減少模型加深所帶來(lái)的大量參數(shù)。綜上所述，在深度卷積神經(jīng)網(wǎng)絡(luò)的淺層模型塊中使用深度可分離卷積和Inception結(jié)構(gòu)既可以減輕模型體量，也可以提升模型對(duì)葉片缺氮特征的抽象能力。ResNeXt整體結(jié)構(gòu)的改進(jìn)方式見(jiàn)圖5。

1.6 研究方法

1.6.1 訓(xùn)練方法 在模型訓(xùn)練時(shí)，為客觀對(duì)比AlexNet、VGGNet、GoogLeNet、Inception-v3、MobileNet、ResNet-v2、ResNeXt和其改進(jìn)模型的性能，訓(xùn)練時(shí)所有模型統(tǒng)一采用相同的關(guān)鍵超參數(shù)：優(yōu)化算法均采用自適應(yīng)矩估計(jì)(Adam)，損失函數(shù)使用稀疏交叉熵；所有模型訓(xùn)練都使用指數(shù)衰減學(xué)習(xí)率，隨著迭代次數(shù)的增加將學(xué)習(xí)率設(shè)置為從0.001下降至0.000 1，具體公式如下。

lr=α×δepochs/τ

。

(3)

式中：lr為學(xué)習(xí)率；α為學(xué)習(xí)率初始值；δ為學(xué)習(xí)率衰減率，δ∈(0，1)；epochs是當(dāng)前訓(xùn)練的輪次；τ為更新頻數(shù)；實(shí)際訓(xùn)練時(shí)各參數(shù)的設(shè)置為α=0.001，δ=0.811，τ=3；此外，還固定了每個(gè)模型訓(xùn)練輪次為34次，每個(gè)輪次中的迭代批次為162次(batch-size=32，batch-size表示機(jī)器學(xué)習(xí)模型每次訓(xùn)練時(shí)的所用數(shù)據(jù)規(guī)模大小)。 為研究各模型在訓(xùn)練過(guò)程中的學(xué)習(xí)能力，每訓(xùn)練一個(gè)輪次后進(jìn)行一次驗(yàn)證，同時(shí)記錄每個(gè)模型訓(xùn)練過(guò)程中的各參數(shù)指標(biāo)。

1.6.2 模型評(píng)價(jià) 本研究主要目的在于解決棉花葉片缺氮水平分級(jí)檢測(cè)的問(wèn)題，屬于多分類問(wèn)題。針對(duì)此類問(wèn)題的模型性能評(píng)價(jià)指標(biāo)包括準(zhǔn)確率(Accuracy)、查準(zhǔn)率率(PPV)、平均精確率(AP)、查全率(Recall)、Kappa系數(shù)、混淆矩陣等；上述指標(biāo)公式表示如下。

(4)

(5)

(6)

(7)

(8)

式中：T表示總樣本被正確分類的個(gè)數(shù)；A表示總測(cè)試樣本個(gè)數(shù)；ni為測(cè)試集中第i類的樣本個(gè)數(shù)；TPi表示預(yù)測(cè)的第i類樣本中正確的個(gè)數(shù)；FPi表示預(yù)測(cè)的第i類樣本中錯(cuò)誤的個(gè)數(shù)；FNi為第i類樣本沒(méi)有被預(yù)測(cè)正確的個(gè)數(shù)；aj+表示測(cè)試結(jié)果的混淆矩陣內(nèi)，第j行的總觀測(cè)數(shù)；bm+表示測(cè)試結(jié)果的混淆矩陣內(nèi)，第m列的總觀測(cè)數(shù)。其他輔助評(píng)價(jià)工具還有訓(xùn)練時(shí)驗(yàn)證集準(zhǔn)確率變化曲線；測(cè)試集上的缺氮水平分級(jí)混淆矩陣。本試驗(yàn)用上述評(píng)估參數(shù)在不同模型上進(jìn)行控制超參變量的性能對(duì)比，最終通過(guò)各模型的準(zhǔn)確率和參數(shù)量等各個(gè)方面綜合評(píng)估棉花花鈴期葉片缺氮水平診斷模型的性能優(yōu)劣。

2 試驗(yàn)結(jié)果與分析

由于深度學(xué)習(xí)的可解釋性較差，訓(xùn)練時(shí)需要通過(guò)模型在驗(yàn)證集上的表現(xiàn)動(dòng)態(tài)來(lái)反映其學(xué)習(xí)能力的優(yōu)劣以實(shí)時(shí)調(diào)整訓(xùn)練模式。本研究中，各模型訓(xùn)練時(shí)的準(zhǔn)確率變化曲線和損失函數(shù)變化曲線見(jiàn)圖6。

2.1 淺層網(wǎng)絡(luò)結(jié)果分析

從圖6中不難發(fā)現(xiàn)圖中淺層模型的損失函數(shù)值從訓(xùn)練開始后就沒(méi)有降低，一直保持著較高狀態(tài)。AlexNet、VGG-16、VGG-19的最高驗(yàn)證集準(zhǔn)確率分別只有24.4%、55.0%、50.0%。這說(shuō)明上述模型的特征學(xué)習(xí)能力不夠，無(wú)法有效地提取到葉片的缺氮等級(jí)特征。但只有28層可訓(xùn)練參數(shù)的輕量級(jí)網(wǎng)絡(luò)MobileNet和只有22層的GoogLeNet在驗(yàn)證集上的最高準(zhǔn)確率卻分別能達(dá)到91%和88%，可見(jiàn)在無(wú)需大幅增加網(wǎng)絡(luò)深度的前提下，恰當(dāng)?shù)厥褂媚承┨囟ň矸e結(jié)構(gòu)也可以實(shí)現(xiàn)相對(duì)理想的缺氮分級(jí)檢測(cè)效果。此結(jié)果表明僅僅依靠堆疊普通卷積層無(wú)法學(xué)習(xí)難以量化的葉片缺氮水平特征。相反地，間接表明了MobileNet中的深度可分離卷積和GoogLeNet中的Inception結(jié)構(gòu)至少能學(xué)習(xí)到各缺氮水平下的棉花葉片特征。

本研究在同樣的訓(xùn)練方式下又對(duì)比試驗(yàn)了在Inception結(jié)構(gòu)的基礎(chǔ)上同時(shí)增加了寬度和深度的Inception-v3模型。對(duì)比2個(gè)模型的訓(xùn)練曲線可以看出，Inception-v3這種48層的模型，其在驗(yàn)證集上的最高準(zhǔn)確率雖然能達(dá)到95%，但是在運(yùn)行了相同輪次的情況下，最終準(zhǔn)確率并不如GoogLeNet，模型的性能也不能達(dá)到穩(wěn)定。通過(guò)分析該試驗(yàn)中Inception-v3的準(zhǔn)確率曲線無(wú)法收斂的特點(diǎn)，筆者認(rèn)為，對(duì)于本研究來(lái)說(shuō)，單純地改進(jìn)Inception結(jié)構(gòu)和增加模型深度會(huì)給模型優(yōu)化過(guò)程造成梯度彌散的問(wèn)題，從而導(dǎo)致在反向傳播過(guò)程中，梯度信號(hào)在多個(gè)局部最優(yōu)之間振蕩，延長(zhǎng)了計(jì)算出全局最優(yōu)解的時(shí)間。此外，通過(guò)Inception-v3的準(zhǔn)確率曲線可知，由于其在訓(xùn)練集和驗(yàn)證集上的表現(xiàn)差異過(guò)大，該網(wǎng)絡(luò)在結(jié)果模型上必定存在著過(guò)擬合現(xiàn)象。同理，MobileNet和GoogLeNet在相同的訓(xùn)練輪數(shù)下也易產(chǎn)生過(guò)擬合。因此，本研究認(rèn)為用深度學(xué)習(xí)研究葉片的缺氮水平分級(jí)問(wèn)題時(shí)不宜采用較淺層(50層以下)網(wǎng)絡(luò)模型。

2.2 深層網(wǎng)絡(luò)結(jié)果分析

后續(xù)試驗(yàn)在增加模型深度的思路上使用了基于殘差鏈接的網(wǎng)絡(luò)結(jié)構(gòu)，即ResNet-v2(101層)、ResNeXt(101層)和Improved-ResNeXt(108層)等模型。訓(xùn)練結(jié)果(圖7)表明，在使用殘網(wǎng)絡(luò)后，隨著深度和寬度不斷增加，其在驗(yàn)證集上的準(zhǔn)確率也越來(lái)越高，模型訓(xùn)練時(shí)的收斂速度也越來(lái)越快。例如，ResNet_101的驗(yàn)證集準(zhǔn)確率最高能達(dá)到90%，ResNeXt_101的驗(yàn)證集準(zhǔn)確率最高達(dá)到了95%，Improved-ResNeXt的驗(yàn)證集準(zhǔn)確率最高則達(dá)到了99%；并且在整個(gè)訓(xùn)練過(guò)程中，深層模型在訓(xùn)練集上并沒(méi)有明顯的過(guò)擬合現(xiàn)象產(chǎn)生，收斂速度也比淺層模型快了1倍；尤其在最后幾個(gè)輪次中，驗(yàn)證集準(zhǔn)確率變化曲線的波動(dòng)范圍也穩(wěn)定在了很小的區(qū)間段內(nèi)，證明在葉片缺氮等級(jí)檢測(cè)的應(yīng)用中，深層卷積神經(jīng)網(wǎng)絡(luò)模型有著更強(qiáng)的適應(yīng)能力。

2.3 模型對(duì)比

用測(cè)試集對(duì)上述訓(xùn)練的結(jié)果模型進(jìn)行測(cè)試，其分級(jí)效果制作的混淆矩陣如圖8所示?？梢钥闯?，本研究提出的Improved-ResNeXt模型出現(xiàn)識(shí)別錯(cuò)誤的缺氮水平最少(只有N72和N192這2個(gè)級(jí)別)。此外，各模型對(duì)缺氮水平的錯(cuò)誤分級(jí)主要發(fā)生在陰天環(huán)境下采集的樣本上，因?yàn)樵?89個(gè)測(cè)試樣本上(含58個(gè)經(jīng)過(guò)預(yù)處理的陰天環(huán)境樣本)各模型對(duì)陰天樣本識(shí)別出錯(cuò)的個(gè)數(shù)均超過(guò)總識(shí)別錯(cuò)誤數(shù)的一半，但沒(méi)有一個(gè)模型對(duì)陰天樣本識(shí)別出錯(cuò)超過(guò)29個(gè)(測(cè)試集中總陰天樣本個(gè)數(shù)的一半)。以準(zhǔn)確率最低的GoogleNet模型為例，在其56個(gè)識(shí)別錯(cuò)誤的樣本中，陰天樣本占28個(gè)，這表明不同曝光程度的數(shù)據(jù)確實(shí)會(huì)影響深度學(xué)習(xí)模型在葉片缺氮水平診斷上的效果。同時(shí)，也能說(shuō)明訓(xùn)練前的特征增強(qiáng)工作起到了一定的作用。

利用圖8中的混淆矩陣計(jì)算各模型的查準(zhǔn)率、查全率評(píng)價(jià)指標(biāo)。從圖9可以看出，幾乎所有模型對(duì)N0(N_nil嚴(yán)重缺氮)和N240(N_normal氮含量正常)這2種氮素水平的葉片都能達(dá)到很好的檢測(cè)效果，說(shuō)明花鈴期時(shí)N0和N240這2種氮素等級(jí)的棉花葉片具有很高的區(qū)分度。但與之相反的是，除本研究提出的Improved-ResNeXt模型外，幾乎所有模型在檢測(cè)其他缺氮水平處于中間級(jí)別的葉片時(shí)(N192、N144、N72分別為輕度缺氮、適度缺氮、中度缺氮)，查準(zhǔn)率和查全率都不能達(dá)到理想的效果，尤其是MobileNet和GoogLeNet模型在檢測(cè)N144時(shí)的查準(zhǔn)率甚至沒(méi)有超過(guò)50%。這可能是因?yàn)檫m度缺氮和中度缺氮的葉片，其類間特征的差異性不大且類內(nèi)特征的相似度較高。而Improved-ResNeXt網(wǎng)絡(luò)模型在原ResNeXt模型原本能力的基礎(chǔ)上，改進(jìn)了殘差鏈接的信號(hào)傳遞結(jié)構(gòu)，這使得網(wǎng)絡(luò)末端的卷積層也提高了特征學(xué)習(xí)能力，進(jìn)一步增強(qiáng)了對(duì)各缺氮水平葉片上差異不明顯特征的提取效果。從圖9也不難看出，本研究提出的Improved-ResNeXt模型檢測(cè)所有缺氮水平的樣本時(shí)確實(shí)有著更高的查準(zhǔn)率和查全率。

最后統(tǒng)計(jì)各項(xiàng)綜合評(píng)價(jià)指標(biāo)(表5)，相比之下，Improved-ResNeXt不論是在驗(yàn)證集還是在測(cè)試集上的準(zhǔn)確率均已達(dá)到97%，對(duì)各類缺氮水平檢測(cè)的平均精確率也有97%，Kappa系數(shù)達(dá)到了0.96，說(shuō)明該模型的診斷結(jié)果與按實(shí)際等級(jí)分級(jí)的結(jié)果幾乎完全一致。從模型參數(shù)量來(lái)看，雖然MobileNet的參數(shù)量最少，但其作為棉花葉片缺氮檢測(cè)模型的性能卻較差，而Improved-ResNeXt模型各方面性能最優(yōu)參數(shù)量比ResNeXt反而減少。

3 討論

棉花葉片的缺氮診斷是一項(xiàng)十分復(fù)雜的任務(wù)，不止局限于本試驗(yàn)研究的情形，通過(guò)對(duì)試驗(yàn)設(shè)計(jì)、模型應(yīng)用等環(huán)節(jié)的分析，本研究應(yīng)存在以下幾點(diǎn)不足：(1)盡管較深的網(wǎng)絡(luò)層數(shù)能提高任務(wù)性能，但隨之而來(lái)的復(fù)雜結(jié)構(gòu)也會(huì)提高推理成本、消耗內(nèi)存空間。將參數(shù)量最多的3個(gè)缺氮水平診斷模型的內(nèi)存占比大小繪制成百分比堆積柱狀圖。其中，ResNet-v2 的結(jié)果模型文件大小達(dá)到了170.1 Mb，ResNeXt-101的模型文件大小為157.7 Mb，Improved-ResNeXt所占內(nèi)存大小為136.5 Mb。雖然Improved-ResNeXt所占空間大小僅有ResNet的80%，但其模型體積仍不能滿足便攜式移動(dòng)設(shè)備的部署需求，為了縮減推理時(shí)間，可能還需對(duì)基于深度學(xué)習(xí)棉花葉片缺氮診斷模型的復(fù)雜度做進(jìn)一步的簡(jiǎn)化。(2)相比于其他棉花氮素水平診斷的研究，本研究的氮素測(cè)定試驗(yàn)由于受到人力成本的限制，所測(cè)數(shù)據(jù)規(guī)模有限，為充分利用現(xiàn)有的數(shù)據(jù)，將其按照不同氮處理的種植區(qū)域劃分成5個(gè)氮含量等級(jí)，該研究方式雖然能增強(qiáng)模型的泛化能力，但也忽略了作物培育過(guò)程中的個(gè)體差異，降低了診斷模型的精細(xì)化程度[27-28]。(3)因?yàn)椴煌拿藁ㄆ贩N缺氮元素時(shí)的表型特征不同，所以對(duì)缺氮棉花進(jìn)行診斷研究時(shí)常常根據(jù)不同品種設(shè)置對(duì)照試驗(yàn)來(lái)分析模型的可移植性。但由于研究區(qū)的面積限制，本研究未比較不同的棉花品種對(duì)結(jié)果模型的影響。

4 結(jié)論

本研究針對(duì)棉花葉片可見(jiàn)光數(shù)字圖像提出了一種基于深度學(xué)習(xí)模型的棉花葉片氮含量水平檢測(cè)方法。試驗(yàn)中用灰度變換和限制對(duì)比度的自適應(yīng)直方圖均衡化算法消除光照變化對(duì)缺氮特征的影響，繼而采取5種淺層網(wǎng)絡(luò)模型和3種深層網(wǎng)絡(luò)模型進(jìn)行比較分析，并結(jié)合缺氮棉花葉片的形態(tài)學(xué)特點(diǎn)提出用恒等映射和深度可分離的Inception結(jié)構(gòu)對(duì)ResNeXt模型進(jìn)行改進(jìn)。經(jīng)分析后認(rèn)為，50層以下的淺層網(wǎng)絡(luò)不適合作為室外復(fù)雜背景下的棉花葉片缺氮水平診斷模型，而使用基于恒等映射的深度殘差網(wǎng)絡(luò)檢測(cè)棉花葉片缺氮水平時(shí)有明顯成效。此外，在ResNeXt的頭部引入基于深度可分離的Inception結(jié)構(gòu)能使卷積運(yùn)算在豐富輸出特征的同時(shí)大幅抑制參數(shù)量的增加，從而進(jìn)一步提升模型的性能。本研究提出的Improved-ResNeXt模型可以有效地解決棉花的葉片含氮量水平診斷問(wèn)題，且對(duì)陰天、晴天2種環(huán)境條件有良好的適用性，其在測(cè)試集上的準(zhǔn)確率、F1分?jǐn)?shù)、Kappa系數(shù)分別能達(dá)到97%、0.980 0、0.96，可以滿足智慧農(nóng)業(yè)發(fā)展對(duì)識(shí)別植株氮含量的精度要求。綜上所述，本研究針對(duì)棉花葉片缺氮水平診斷進(jìn)行了深度學(xué)習(xí)方法上的探索，所采用的深度學(xué)習(xí)模型可供后續(xù)其他基于數(shù)字圖像的作物營(yíng)養(yǎng)診斷研究參考。

表5 模型評(píng)估