基于LBPHSV+ResNet50融合的水稻冠層氮素營養(yǎng)監(jiān)測方法

葉 春 劉 瑩 劉繼忠 舒時富 李艷大 吳羅發(fā)

(1.南昌大學 先進制造學院，南昌 330038;2.江西省農業(yè)科學院 農業(yè)工程研究所/江西省智能農機裝備工程研究中心/江西省農業(yè)信息化工程技術研究中心，南昌 330200)

氮素(Nitrogen)是水稻生長發(fā)育需要的最重要的元素之一，不同程度的氮素缺乏會影響植物葉色、葉面積、葉片數和株高等[1]，因此，植物氮素營養(yǎng)的快速監(jiān)測對作物精確管理具有重要指導作用。作物氮素養(yǎng)分的傳統(tǒng)監(jiān)測，運用實驗室化學分析方法，不僅費時費力，且由于取樣有破壞性；便攜式葉綠素儀則需要進行多點測定，測量精度易受環(huán)境和測定方式影響[2]；近地遙感和衛(wèi)星具有精度高的特點，但技術應用成本高且實現實時監(jiān)測難度大[3]。運用數字圖像技術進行作物營養(yǎng)診斷，具有快速、便捷、無損的優(yōu)點，為實時監(jiān)測作物氮素營養(yǎng)豐缺狀態(tài)提供了技術手段和方法[4]。

近年來，多采用數字圖像技術對作物氮素營養(yǎng)進行監(jiān)測研究。例如：基于圖像冠層RGB顏色空間參數進行作物氮素營養(yǎng)監(jiān)測[5-6]，然而，其RGB 顏色空間參數受光照影響較大。針對如何消除光照影響，已有研究提出通過提取圖像形狀特征或紋理特征有利于消除光照影響，提高監(jiān)測模型準確率[7]。如：戴冕等[8]提出結合無人機圖像顏色和紋理特征指數的小麥生物量估測模型的效果要優(yōu)于單一顏色指數模型。圍繞構建其他相關性更強的復雜圖像特征用于作物養(yǎng)分監(jiān)測，張燕等[9]通過提取番茄病害葉片圖像的顏色矩(CM)、顏色聚合向量(CCV)和方向梯度直方圖(HOG)等顏色紋理特征集，建立了番茄葉部病害快速識別模型，且識別準確率高于其他典型的機器學習模型；Shi 等[10]通過提取RGB圖像的顏色特征和圖像冠層覆蓋率值，結合機器學習方法監(jiān)測水稻氮素營養(yǎng)狀態(tài)，得出隨機森林模型的集成算法在處理不同的數據集時有效地防止了過擬合，具有較好的泛化性。上述研究結果表明，數字圖像處理技術能夠比較快速、準確地構建作物氮素預測模型，且基于特征提取加機器學習的融合算法有助于提高模型的預測精確率。

作物葉片光學特性受水分、養(yǎng)分利用率及其所處生育時期等因素影響，進而導致表征作物營養(yǎng)信息的敏感顏色參數各有差異。目前，圍繞數字圖像進行作物養(yǎng)分監(jiān)測的研究多集中于提取單一圖像特征，如顏色特征[11]、形狀特征[12]、或者紋理特征[13]進行建模，機器學習算法在一定程度上解決了特征輸入的共線性問題，但面對不同年際、區(qū)域、品種的作物養(yǎng)分監(jiān)測效果不穩(wěn)定。因此，為解決單一圖像特征構建模型穩(wěn)定性和普適性較差問題，本研究擬以水稻冠層數碼圖像為研究對象，通過挖掘和分析多種常用圖像特征開展水稻冠層氮素含量的估測研究，在此基礎上，提出一種基于LBPHSV圖像特征提取+ResNet50的融合算法的水稻氮素營養(yǎng)監(jiān)測方法，并比較不同方法和不同圖像特征構建模型的差異性，以期為提升預測模型精度和穩(wěn)定性提供新的思路。

1 材料與方法

1.1 試驗點及圖像獲取方法

本試驗在江西省農業(yè)科學院高安試驗基地進行，該試驗站位于北緯28°25′27″ N，東經115°12′15″ E。試驗田耕作層含有機質38.80 g/kg，全氮2.53 g/kg，銨態(tài)氮42.4 mg/kg、硝態(tài)氮1.04 mg/kg，有效磷16.78 mg/kg，速效鉀120.1 mg/kg和pH 5.5。試驗時間為2019年3—7月。圖像采集時間選擇為晴朗無云的天氣，在太陽溫度相對穩(wěn)定的10:00—14:00進行。

1.1.1試驗設計

水稻供試品種為中嘉早17和長兩優(yōu)173；分別設置4 個施氮水平：0、75、150和225 kg/hm2，分別記為N0，N1，N2和N3，3 次重復，共計24個處理，各處理之間隨機區(qū)組排列。不同時期氮肥質量比為m(基肥)∶m(分蘗肥)∶m(穗肥)=5∶3∶2，磷肥(60 kg/hm2)作為基肥一次性施入，鉀肥(120 kg/hm2)隨氮肥同比例施入。小區(qū)面積為30 m2(5 m×6 m)，3本移栽，南北行向，小區(qū)之間以埂相隔，埂上覆膜，獨立排灌。其他栽培措施與當地高產栽培一致。

1.1.2圖像采集

試驗采用可見光相機Canon EOS型數碼相機(Canon EOS 100D，分辨率為72 dpi)拍攝水稻冠層圖像，拍攝時將相機鏡頭距離地面1.2 m (距水稻冠層約1.0 m)，與地面呈60°夾角進行，同時將相機調至Auto模式下，以自動曝光控制色彩平衡。圖片以JPEG格式存儲，分辨率為5 184×3 456。從水稻分蘗期、拔節(jié)期到孕穗期共拍攝圖像519張。

1.1.3氮含量測定

選擇在水稻分蘗期、拔節(jié)期、孕穗期、抽穗期等關鍵生育期進行破壞性取樣，在每個小區(qū)采集代表性的水稻植株20株，帶回實驗室后，莖葉分離，單獨將葉片在105 ℃下干燥30 min，接著在80 ℃下干燥至恒重量，最后用小型粉碎機粉碎。用凱氏定氮儀測定葉片氮含量LNC用于分析。

1.2 數據分析

1.2.1圖像預處理

本研究數據處理過程如下：1)大田環(huán)境較復雜，為了提高冠層圖像顏色特征值的精確度，需要對采集的圖像進行分割處理，以便把冠層圖像信息提取出來。本研究采用基于閾值ExR[8]的分割法來提取水稻冠層圖像，圖像處理效果如圖1所示；2)網絡模型選定前，將圖片按照8∶2的比例分為訓練集與驗證集，訓練集用于訓練模型參數，驗證集測試訓練好的模型參數。

圖1 水稻冠層圖像預處理Fig.1 Segmentation of canopy images of rice

本試驗的硬件環(huán)境為內存：8 G，CPU：Intel(R) Core(TM) i5-6500，GPU：Intel(R) HD Graphics 530，操作系統(tǒng)為64位，Windows 7，選用的深度學習開源架構為Tensorflow，通過Tensorflow調用GPU實現卷積神經網絡的并行運算。

1.2.2算法描述

常用于回歸預測的機器學習模型有最小二乘法LSM[14]、隨機森林RF[15]、支持向量機SVM[16]、多層感知機MLP、卷積神經網絡CNN[17]，殘差網絡ResNet50[18]、長短記憶網絡LSTM19-20]等，本研究選取LSM、RF、SVM，MLP、CNN、ResNet50殘差網絡、LSTM及基于LBPHSV+ResNet50融合的算法開展模型訓練，對水稻冠層LNC進行回歸預測。

1)ResNet50殘差網絡。與傳統(tǒng)深度神經網絡相比，ResNet網絡引入了一種新的網絡結構稱為“殘塊”，以緩和梯度消失問題[18]，ResNet50模塊分為5個階段，第1階段是數據導入的預處理，后面4個階段都由瓶頸層組成，第2階段包含3個瓶頸層，剩下的3個階段分別包含4、6、3個瓶頸層。ResNet 50主要由五個卷積層和兩個殘差塊組成。殘差塊具有3個卷積層和一個身份跳躍連接。網絡的第一層是卷積層，其中步長為2，卷積核的數量為32。第二層為殘差塊，包括3個卷積層，將步幅和卷積核的數量分別設置為1和64，第三層卷積層步幅和通道數分別為2、128。第四層也是殘差塊，包括3個步長為1的卷積層，卷積核的數量為256。ResNet的最后一層由3個卷積層組成，其中stride為2，卷積核的數量為512。

2)基于LBPHSV+ResNet50融合的回歸預測。LBPHSV+ResNet50融合模型結構主要由LBPHSV模塊來提取圖像特征，結合ResNet50算法解決回歸預測問題。步驟如下：

步驟1：根據水稻原始圖像建立原始圖像數據集；對原始圖像數據集進行定位、分割和數據增強處理，得到圖像數據集。

步驟2：從步驟1得到的圖像數據集中的圖像提取紋理特征和顏色特征；利用加權圖像融合算法對提取的紋理特征LBP和顏色特征HSV特征進行融合得到圖像融合特征，構建圖像特征融合數據集。

步驟3：利用ResNet50殘差網絡對步驟2構建的圖像特征融合數據集進行訓練并測試，得到測試準確率最高的特征集合。

步驟4：對測試集圖像進行回歸預測，得到預測結果。

圖2 LBPHSV+ResNet50模型流程圖Fig.2 Flowchart of LBPHSV+ResNet50 model

1.2.3特征提取

特征選擇對機器學習至關重要，減少特征數量會防止維度災難，減少訓練時間，增強模型泛化能力，減少過擬合，增強對特征和特征值的理解。本研究提取了水稻冠層圖像RGB顏色空間特征(HSV、L*a*b*和RGB)[21]、局部二值模式LBP特征[22]和灰度共生矩陣GLCM。

1.2.4評估指標

為了比較各模型算法的預測精度，選擇常用的決定系數R2、均方根誤差RMSE和平均絕對誤差MAE、相對預測偏差RPD為評估指標，R2取值范圍為[0，1]，越接近1代表回歸模型預測值的離散程度越低。對應的，RMSE和 MAE值越小，表明回歸模型預測值與實測值的誤差越小，預測效果越好。相對預測偏差RPD通過實測值和預測值之間標準差和均方根誤差之比來證明模型的預測能力[23]。各指標表達式分別如下：

(1)

(2)

(3)

(4)

2 結果與分析

2.1 水稻LNC時空變化規(guī)律

不同施氮水平下水稻LNC的時空變化趨勢見圖3?？芍喝趦韧惶幚硭綥NC的變化整體趨勢一致；LNC隨著生育期推進逐漸減小；隨著施肥量的增加而增加。N2和N3之間LNC值基本持平，說明施肥量到達一定量時，LNC值不再增加。隨著全生育期變化，LNC呈現波動式變化，具有較明顯時間規(guī)律性。

表格中N0、N1、N2和N3分別表示施氮量為0、75、150和225 kg/hm2。N0, N1, N2 and N3 in the table represent nitrogen application rates of 0, 75, 150 and 225 kg/hm2, respectively.

2.2 對比不同模型的預測結果

將提取的不同圖像特征分別作為輸入值，水稻LNC作為輸出值，結果見表1。可知不同圖像特征構建的模型預測精度差異較大。在傳統(tǒng)機器學習模型中，基于圖像紋理特征的預測模型R2顯著大于顏色特征，且基于LBP紋理特征構建的預測模型表現均較好。其中：RF、SVM和CNN模型預測性能較佳(R2>0.80)，以RF回歸模型表現尤為突出，其R2值為0.84，但其RMSE和MAE值偏高；其次，CNN模型的準確率R2略低于RF算法(R2=0.80)，但從模型穩(wěn)定性來看(RMSE和MAE值表現優(yōu)異)，CNN在回歸預測模型中表現優(yōu)異(表1)。

表1 不同模型預測結果對比Table 1 Comparison of regression prediction results by different models

分別采用LBP+LSTM、ResNet50、ResNet50+LSTM、LBP+ResNet50和基于LBPHSV+ResNet50融合算法對比分析水稻LNC預測模型的精度和穩(wěn)定性。結果發(fā)現相比于傳統(tǒng)機器學習算法，深度學習模型預測R2值顯著提升，預測效果明顯較好。其中，將LBPHSV特征作為輸入，ResNet50為回歸預測算法的結果顯示，提出的LBPHSV+ResNet50融合算法得到的模型決定系數值最高，R2為0.97，RMSE值最小，為0.02。在LBP+LSTM模型中，以LBP特征值為LSTM模型的輸入，LNC為輸出，得到預測結果為R2=0.89，RMSE=0.48，MAE=0.31。在ResNet50回歸預測模型中，當學習率lr=0.001，num_epochs=30，優(yōu)化器為Adam時，得到的預測結果最佳為：R2=0.83，RMSE=0.44，MAE=0.07。在ResNet50+LSTM模型中，ResNet50共提取了1 000個圖像特征，R2=0.51，RMSE為0.84。

LNC實測值和基于不同預測模型(僅展示R2排名前5位的模型)的LNC預測值曲線對比結果見圖4。可知相較于其他模型，本研究提出的方法預測結果更加接近LNC實測值，能較好的捕捉到LNC的變化規(guī)律。本研究提出的基于LBPHSV+ResNet50融合模型中，RPD值為3.71。圖5則展示了基于LBPHSV+ResNet50融合模型的LNC預測值與實測值的1∶1比較結果。結果顯示，預測值和實測值相差不大，大部分點沿對角線y=x分布均勻緊密。

圖4 不同算法對LNC值預測結果對比Fig.4 Comparison of LNC prediction results by different algorithms

圖5 LBPHSV方法對LNC預測值與實測值對比Fig.5 Comparison of predicted and measured LNC based on the LBPHSV method

3 討 論

過量施氮是目前水稻栽培中存在的普遍現象，數字圖像是診斷水稻氮素營養(yǎng)豐缺的重要手段。運用圖像特征對作物養(yǎng)分含量進行監(jiān)測目前已經有許多成果，不少學者嘗試利用深度學習算法自動提取圖像特征獲得了較好的結果。本研究提出的LBPHSV+ResNet50融合算法對水稻冠層圖像進行深層次的特征提取并預測，結果顯示，LBPHSV+ResNet50模型的預測能力和泛化能力最優(yōu)，R2和RMSE分別為 0.97、0.02，相比于RF、LBP+LSTM、ResNet50和LBP+ResNet50融合算法R2分別提升了16.36%、9.72%、16.55%和1.13%，RMSE 分別下降了 0.35、0.46、0.05和 0.002，在預測水稻LNC值時提供了總體令人滿意的性能。隨著深度學習卷積神經網絡的不斷發(fā)展，為了獲取深層次的特征，卷積的層數也越來越多[24]。但通過增加網絡層數的方法來增強網絡的學習能力的方法并不總是可行的。一旦網絡層數達到一定的深度之后，再增加網絡層數，則易出現隨機梯度消失的問題，從而導致網絡預測準確率下降[25]。傳統(tǒng)的解決方法是通過數據初始化和正則化的方法[26]，但上述方法僅有效解決了梯度消失的問題，準確率問題并沒有改善。ResNet 網絡相對于傳統(tǒng)的機器學習算法而言，其關鍵的殘差單元可以有效解決上述問題[27]，效果相當出色。目前大量應用于目標檢測[28]，圖像分割[29]和識別[30]等任務，但在作物養(yǎng)分監(jiān)測方面，目前應用的還較少。

在本研究中，相較于圖像顏色空間特征(HSV、L*a*b*和RGB)，基于LBP紋理特征構建的模型性能較好(表1)，表現為R2值差異上，LBP特征集在不同算法中均表現了較好的預測效果。原因可能是顏色特征參數易受光照、背景等環(huán)境影響[31]，且顏色特征參數之間的冗余信息多，多重共線性問題對預測結果造成一定干擾[32]，而LBP特征具有灰度不變性和旋轉不變性等顯著優(yōu)點。進一步的，該特征選擇方法用于LSTM模型中，同樣展示出較好的預測性能(R2=0.89)，水稻的生長是有機物積累的過程，各生育期間氮素營養(yǎng)信息相互關聯(lián)的，無論是從分蘗期到孕穗期還是從孕穗期到完熟期均存在時序特性方面的聯(lián)系(圖3)。從模型選擇看，在傳統(tǒng)機器學習模型中，基于LBP的隨機森林回歸算法預測能力最好，R2和RMSE分別為0.84、0.37，只是穩(wěn)定性和普適性有待提升。LBP+LSTM、LBP+ResNet50和LBPHSV+ResNet50深度學習融合算法R2均>0.85，預測準確率得到了很大的提高，但不同算法的準確率略有差異。在本研究中，深度學習融合算法的特征表示和預測分類器是聯(lián)合優(yōu)化的，可以最大程度發(fā)揮二者聯(lián)合協(xié)作的性能。如LBPHSV特征集融合了圖像紋理特征與顏色空間特征，結合ResNet50殘差網絡取得了很好的預測效果，與楊倩等[33]結論一致，說明綜合利用顏色和紋理等特征參數可提高預測效果，相比于單一特征集更加豐富、完整，使得模型預測性能最優(yōu)。深度殘差網絡可以從大大增加的深度中輕松獲得準確性收益，生成的結果實質上比以前的網絡更好[27]。因此，在相同特征提取前提下，相比于淺層機器學習模型，ResNet50殘差網絡算法能顯著提高預測的準確率。值得注意的是，ResNet50的每個block里面有3個卷積層，提取到的特征有1 000個，但輸入ResNet50預測模型后，結果并不是最佳。一方面可能是訓練集數據量太少，產生過擬合導致預測精度無法有效提升。另一方面說明并不是特征數量越多，構建的模型預測效果越好，這一結論與ZHANG等研究結論[34]一致。相對標準偏差PRD是衡量模型預測精度的重要指標，當PRD<1.5說明模型不具備預測能力；當1.52.0表明模型具有極好的預測能力[35]。在本研究中，LBPHSV+ResNet50融合算法計算的PRD值為3.71，且預測值與實測值的點靠近對角線(圖5)，說明本文提出的LBPHSV+ResNet50融合算法預測精度高。

4 結 論

通過分析不同圖像特征參數建模的差異性，本研究提出一種基于LBPHSV+ResNet50融合的水稻LNC預測的方法。本研究算法對水稻冠層圖像樣本數據的適用性較強，該方法具有穩(wěn)定性，預測R2高達97%，RMSE值為0.02，能夠很好地監(jiān)測水稻LNC值且有較好的泛化能力和魯棒性，可以用于實際應用需求。