多尺度特征融合1D—CNN的馬鈴薯植株高光譜數(shù)據(jù)地物分類和缺素識(shí)別*＊

高文強(qiáng)，肖志云

(1.內(nèi)蒙古工業(yè)大學(xué)電力學(xué)院，呼和浩特市，010080；2.內(nèi)蒙古自治區(qū)機(jī)電控制重點(diǎn)實(shí)驗(yàn)室，呼和浩特市，010051)

0 引言

馬鈴薯含有豐富蛋白質(zhì)、膳食纖維、維生素等，是僅次于小麥、水稻、玉米的世界第四大主要糧食作物[1]。在馬鈴薯植株的生長發(fā)育過程中，氮、磷、鉀三大營養(yǎng)元素起著至關(guān)重要的作用，營養(yǎng)元素比配不合理，施肥時(shí)期不科學(xué)，會(huì)影響馬鈴薯的生長、產(chǎn)量和品質(zhì)。常用的農(nóng)作物營養(yǎng)元素檢測(cè)方法為化學(xué)法，雖然測(cè)量準(zhǔn)確、穩(wěn)定性高，但時(shí)間久，檢測(cè)成本高，且會(huì)破壞葉片本身，不宜在實(shí)際農(nóng)業(yè)生產(chǎn)中推廣使用。隨著機(jī)器學(xué)習(xí)算法的不斷發(fā)展，為農(nóng)產(chǎn)品的營養(yǎng)元素虧缺檢測(cè)提供了新方案。楊紅云等[2]應(yīng)用機(jī)器學(xué)習(xí)算法對(duì)水稻敏感葉位全氮含量進(jìn)行了估測(cè)。李哲等通過利用BP神經(jīng)網(wǎng)絡(luò)算法和圖像數(shù)據(jù)對(duì)甜菜氮素含量進(jìn)行預(yù)測(cè)。雖然利用傳統(tǒng)的機(jī)器學(xué)習(xí)算法結(jié)合圖像處理可以對(duì)農(nóng)作物進(jìn)行缺素檢測(cè)，但由于傳統(tǒng)基于圖像的營養(yǎng)元素檢測(cè)方法只考慮圖像信息，檢測(cè)精度較差。

高光譜圖像(HSI)具有波段范圍廣，可同時(shí)獲取被測(cè)樣本的圖像信息和光譜信息，這使其擁有強(qiáng)大的對(duì)目標(biāo)區(qū)分能力，因此近年來被廣泛用于農(nóng)作物產(chǎn)品的檢測(cè)領(lǐng)域。卓偉等[3]利用貝葉斯正則化-反向傳播神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了馬鈴薯葉片的無損檢測(cè)，且該方法較傳統(tǒng)的預(yù)測(cè)模型可獲得更高的預(yù)測(cè)精度。羅建軍等[4]利用優(yōu)化參數(shù)后的SVM模型對(duì)水稻氮素營養(yǎng)狀況進(jìn)行了定性診斷。孫紅等[5]利用CA-PLSR和RFPLSR兩種模型對(duì)馬鈴薯葉片的含水量進(jìn)行了可視化分析。雖然利用高光譜圖像和機(jī)器學(xué)習(xí)算法在農(nóng)作物產(chǎn)品的檢測(cè)方面效果較好[6-9]，但高光譜圖像各個(gè)波段關(guān)系復(fù)雜且共線性較強(qiáng)，傳統(tǒng)的機(jī)器學(xué)習(xí)算法處理能力有限，在訓(xùn)練模型之前需要進(jìn)行特征波段的提取以減少數(shù)據(jù)量，過程較為繁瑣[10-12]。如何使用一種既能簡化數(shù)據(jù)預(yù)處理過程又可以保證建模精度的方法顯得十分重要。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為代表的深度學(xué)習(xí)逐漸發(fā)展起來。利用卷積層和池化層可以提取出數(shù)據(jù)特征，且卷積層具有權(quán)值共享和局部連接的特性，減少了網(wǎng)絡(luò)參數(shù)，使模型得到進(jìn)一步優(yōu)化[13-14]。由于常規(guī)1D卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)只能對(duì)單一層的特征進(jìn)行提取[15-17]，細(xì)節(jié)表現(xiàn)力不強(qiáng)。針對(duì)這一問題本文提出一種多尺度特征融合1D-CNN，與常規(guī)1D-CNN相比，多尺度特征融合1D-CNN將不同維度的卷積池化層進(jìn)行融合堆疊，充分利用高光譜的細(xì)節(jié)特征[18-19]，提高模型的適用性和計(jì)算精度。

利用1D-CNN對(duì)馬鈴薯植株葉片的高光譜數(shù)據(jù)多個(gè)尺度特征進(jìn)行提取，并通過上采樣和池化方法將不同深度的特征信息融合，實(shí)現(xiàn)馬鈴薯植株高光譜數(shù)據(jù)地物分類以及對(duì)不同缺素植株葉片進(jìn)行識(shí)別。

1 材料與方法

1.1 試驗(yàn)材料

本文使用新型手持式高光譜相機(jī)Specim IQ進(jìn)行高光譜數(shù)據(jù)采集，其高光譜攝像頭分辨率為512像素×512像素，采集的光譜范圍為400～1 000 nm，光譜分辨率為7 nm，共204個(gè)波段。高光譜數(shù)據(jù)采集的地點(diǎn)為內(nèi)蒙古自治區(qū)烏蘭察布右中旗的馬鈴薯綠色高產(chǎn)高效技術(shù)試驗(yàn)展示區(qū)。采集期間將高光譜相機(jī)積分時(shí)間統(tǒng)一調(diào)整為5 ms，距馬鈴薯高度20 cm，將白板與植株同時(shí)拍攝以消除環(huán)境不匹配問題。

采集到的馬鈴薯植株葉片的高光譜圖像共計(jì)72個(gè)，其中缺氮14個(gè)、缺磷15個(gè)、缺鉀27個(gè)以及正常的馬鈴薯植株葉片16個(gè)。選取總樣本數(shù)的78%作為模型訓(xùn)練集，即將56個(gè)樣本作為訓(xùn)練集，其余16個(gè)樣本作為預(yù)測(cè)集。圖1為利用手持式高光譜相機(jī)SpecimIQ采集到的馬鈴薯植株的高光譜圖像。

圖1 高光譜圖像數(shù)據(jù)Fig.1 Hyperspectral image data

1.2 基于多尺度特征融合1D-CNN馬鈴薯營養(yǎng)元素虧缺識(shí)別算法

1.2.1 高光譜數(shù)據(jù)預(yù)處理與光譜信息分析

本文利用多尺度特征融合1D-CNN模型對(duì)5種地物進(jìn)行分類，將分類結(jié)果中無陰影的馬鈴薯植株葉片作為研究對(duì)象進(jìn)行提取。由于在每個(gè)高光譜波段下，光譜強(qiáng)度分布不均勻，需要對(duì)原始光譜數(shù)據(jù)進(jìn)行黑白校正，校正式如式（1）揚(yáng)示。

式中：R——校正之后的圖像；

W——標(biāo)準(zhǔn)白板得到全白標(biāo)定圖像；

B——相機(jī)全黑的標(biāo)定圖像；

I——原始高光譜圖像。

圖2(a)為經(jīng)過黑白校正之后的5類地物高光譜曲線，5類地物分別為：馬鈴薯葉片、帶陰影的馬鈴薯葉片、白板、土地以及花朵。圖2(b)為經(jīng)過黑白校正之后的4種缺素馬鈴薯植株葉片高光譜曲線，由圖中4種馬鈴薯植株的葉片平均高光譜曲線可知，不同類別馬鈴薯植株葉片的高光譜曲線有揚(yáng)差異，波段范圍500～600 nm之間四類馬鈴薯植株葉片的高光譜曲線差異明顯。

圖2 五類地物與四種缺素馬鈴薯植株葉片的高光譜信息Fig.2 Hyperspectral information of five types of ground features and four kinds of potato plant leaves

在近紅邊和近紅外范圍，正常馬鈴薯葉片的光譜反射率高于其他三種缺素植株葉片得光譜反射率，而在可見光550 nm附近四類植株葉片的光譜曲線均出現(xiàn)了波峰。由于葉綠素在680 nm附近對(duì)光的強(qiáng)烈吸收，四類馬鈴薯植株葉片在680 nm附近范圍內(nèi)的光譜曲線均出現(xiàn)了波谷。

1.2.2 多尺度特征融合1D-CNN結(jié)構(gòu)

多尺度特征融合1D-CNN在常規(guī)1D-CNN模型的結(jié)構(gòu)基礎(chǔ)上將多個(gè)特征層進(jìn)行融合以獲得更豐富的特征信息。

常規(guī)的1D-CNN的結(jié)構(gòu)如圖3揚(yáng)示，網(wǎng)絡(luò)包括6個(gè)卷積層(Conv1D)和3個(gè)池化層(MaxPooling1D)，最后通過平鋪層(flatten)連接到全連接層(Dense)。7分類操作通過在全連接層使用Softmax分類器進(jìn)行實(shí)現(xiàn)[20]。使用的常規(guī)1D-CNN中揚(yáng)有卷積層中的卷積核大小為3卷積核個(gè)數(shù)為64卷積步長為1，池化層中池化窗口大小為2，網(wǎng)絡(luò)參數(shù)分布情況與網(wǎng)絡(luò)層連接方式如表1揚(yáng)示。

圖3 1D-CNN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of 1D-CNN

表1 常規(guī)1D—CNN網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Network structure of Conventional 1D-CNN

多尺度特征融合1D-CNN結(jié)構(gòu)如圖4揚(yáng)示，其主干網(wǎng)絡(luò)將圖3中1D-CNN結(jié)構(gòu)中第一池化層(pool1)步長由2增加為3，使得pool1層的深度由102減少為68，具體網(wǎng)絡(luò)參數(shù)分布情況與網(wǎng)絡(luò)層連接方式如表2揚(yáng)示。

圖4 多尺度特征融合1D—CNNFig.4 Multi-scale feature fusion 1D-CNN

表2 多尺度特征融合1D—CNN結(jié)構(gòu)Tab.2 Multi-scale feature fusion 1D-CNN structure

網(wǎng)絡(luò)通過使用1D上采樣(UpSamling1D)的方式，將深度不足的池化層進(jìn)行乘倍數(shù)的增加，實(shí)現(xiàn)了與深度較大的池化層的合并。

最后將融合層(C2)進(jìn)行平鋪展開，由于平鋪層數(shù)據(jù)增加，D1層的神經(jīng)元數(shù)由常規(guī)1D-CNN中的20個(gè)增加到200個(gè)。

多尺度特征融合1D-CNN將常規(guī)1D-CNN模型的每個(gè)池化層進(jìn)行堆疊融合，從低層池化層中獲得高光譜數(shù)據(jù)的細(xì)節(jié)信息，在高層池化中提取光譜曲線的變換趨勢(shì)，實(shí)現(xiàn)了對(duì)高光譜數(shù)據(jù)的變化趨勢(shì)以及細(xì)節(jié)信息進(jìn)行綜合分析。

1.2.3 多尺度特征融合1D-CNN的模型訓(xùn)練

訓(xùn)練時(shí)標(biāo)簽類別使用獨(dú)熱編碼進(jìn)行標(biāo)記訓(xùn)練，獨(dú)熱編碼解決了分類器不好處理屬性數(shù)據(jù)的問題[21]，在一定程度上也起到了擴(kuò)充特征的作用。它的值只有0和1，將不同的類型數(shù)據(jù)存儲(chǔ)在垂直的空間。獨(dú)熱編碼與順序編碼對(duì)照比較如表3。由于研究對(duì)象訓(xùn)練類別較少適合采用獨(dú)熱編碼方法，損失函數(shù)使用交叉熵?fù)p失函數(shù)。

表3 獨(dú)熱與順序編碼比較Tab.3 Comparison of one-hot encoding and sequential encoding

2 實(shí)驗(yàn)結(jié)果與分析

2.1 五類地物分類結(jié)果與分析

一組高光譜數(shù)據(jù)包括262 144個(gè)像素點(diǎn)，其中訓(xùn)練集209 408個(gè)，測(cè)試集52 736個(gè)，表4為利用多尺度特征融合1D-CNN模型對(duì)地物分類訓(xùn)練集與測(cè)試集進(jìn)行預(yù)測(cè)結(jié)果的混淆矩陣，其中標(biāo)識(shí)區(qū)域?yàn)檎_預(yù)測(cè)出地物類別的個(gè)數(shù)。表5為利用訓(xùn)練集和測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣計(jì)算出對(duì)地物分類預(yù)測(cè)結(jié)果的準(zhǔn)確率和召回率，其中準(zhǔn)確率表示預(yù)測(cè)正確的正例數(shù)據(jù)占預(yù)測(cè)為正例數(shù)據(jù)的比例，召回率為預(yù)測(cè)為正確的正例數(shù)據(jù)占實(shí)際為正例數(shù)據(jù)的比例。

表4 地物分類訓(xùn)練集與測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣Tab.4 Confusion matrix of the prediction results of the ground object classification training set and test set

表5 地物分類不同類別預(yù)測(cè)結(jié)果的準(zhǔn)確率和召回率Tab.5 Accuracy and recall rate of prediction results of different categories of ground feature classification

表6為利用多尺度特征融合1D-CNN模型對(duì)含有地物信息高光譜數(shù)據(jù)的訓(xùn)練集和測(cè)試集進(jìn)行預(yù)測(cè)的結(jié)果對(duì)比，預(yù)測(cè)時(shí)間上由于每次模型加載過程需要時(shí)間損耗，揚(yáng)以在訓(xùn)練集和測(cè)試集加載時(shí)間比要小于數(shù)據(jù)量之比。分類精度上、平均準(zhǔn)確率、平均召回率、F1值(調(diào)和平均值)在訓(xùn)練集和測(cè)試集都達(dá)到了0.985以上，表明該模型對(duì)高光譜數(shù)據(jù)的地物分類具有一定的有效性。

表6 地物分類的預(yù)測(cè)結(jié)果Tab.6 Forecast results of ground feature classification

表7為使用多尺度特征融合1D-CNN、1DCNN、SVM三種方法對(duì)馬鈴薯植株的高光譜數(shù)據(jù)部分像素點(diǎn)進(jìn)行分類的結(jié)果。從結(jié)果中看，SVM對(duì)高光譜的5種地物分類較差，且對(duì)于感興趣區(qū)域馬鈴薯葉片的像素點(diǎn)無法進(jìn)行有效的分類識(shí)別。

表7 不同模型對(duì)高光譜數(shù)據(jù)的像素點(diǎn)分類結(jié)果Tab.7 Results of pixel point classification of hyperspectral data by different models

這是因?yàn)閭鹘y(tǒng)的機(jī)器學(xué)習(xí)算法泛化能力差無法考慮到高光譜的細(xì)節(jié)信息，不足以應(yīng)對(duì)高光譜圖像復(fù)雜的空間分布。

利用多尺度特征融合1D-CNN算法對(duì)不同缺素馬鈴薯植株進(jìn)行地物分類的結(jié)果如圖5揚(yáng)示。

圖5 利用多尺度特征融合1D—CNN算法進(jìn)行地物分類Fig.5 Feature classification using multi-scale feature fusion 1D-CNN algorithm

其中每種缺素馬鈴薯植株各4組，每組分類結(jié)果包括了利用算法進(jìn)行分類的結(jié)果、原始數(shù)據(jù)標(biāo)簽圖以及二者誤差，誤差圖像中淺色區(qū)域?yàn)檎_分類的像素點(diǎn)，陰影區(qū)域?yàn)殄e(cuò)誤分類的像素點(diǎn)。

相比利用深度學(xué)習(xí)算法和卷積操作可以對(duì)高光譜數(shù)據(jù)的一些重要特征進(jìn)行有效提取，對(duì)5種地物種類進(jìn)行有效的分類。揚(yáng)提的多尺度特征融合1D-CNN算法在細(xì)節(jié)特征的表現(xiàn)力上優(yōu)于常規(guī)1D-CNN算法，能夠更加準(zhǔn)確地實(shí)現(xiàn)了對(duì)5種地物的高光譜數(shù)據(jù)像素點(diǎn)的分類。與使用常規(guī)1D-CNN方法相比，利用多尺度特征融合1D-CNN方法對(duì)感興趣區(qū)域進(jìn)行分類的準(zhǔn)確率提高了5%。

2.2 四種植株葉片缺素識(shí)別結(jié)果與分析

對(duì)不同種類植株葉片高光譜數(shù)據(jù)進(jìn)行地物分類，并對(duì)其分類結(jié)果進(jìn)行篩選，選取出類別為無陰影區(qū)域的葉片作為缺素識(shí)別的研究對(duì)象。將研究對(duì)象進(jìn)行數(shù)據(jù)集劃分，其中訓(xùn)練集303 246個(gè)，測(cè)試集75 812個(gè)，表8為利用多尺度特征融合1D-CNN模型對(duì)缺素識(shí)別訓(xùn)練集和測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣，其中標(biāo)識(shí)區(qū)域?yàn)檎_預(yù)測(cè)出地物類別的個(gè)數(shù)。表9為利用訓(xùn)練集和測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣計(jì)算出對(duì)缺素識(shí)別預(yù)測(cè)結(jié)果的準(zhǔn)確率和召回率。

表8 缺素識(shí)別訓(xùn)練集和測(cè)試集預(yù)測(cè)結(jié)果的混淆矩陣Tab.8 Confusion matrix of the lack of element recognition training set and test set prediction results

表9 缺素識(shí)別不同類別預(yù)測(cè)結(jié)果的準(zhǔn)確率和召回率Tab.9 Accuracy and recall rate of predicting results for different types of element-deficiency recognition

表10為利用多尺度特征融合1D-CNN模型對(duì)缺素葉片高光譜數(shù)據(jù)的訓(xùn)練集和測(cè)試集進(jìn)行預(yù)測(cè)的結(jié)果對(duì)比，由于存在模型加載過程的時(shí)間損耗，揚(yáng)以在訓(xùn)練集和測(cè)試集加載時(shí)間比要小于數(shù)據(jù)量之比。分類精度上、平均準(zhǔn)確率在訓(xùn)練集和測(cè)試集都達(dá)到了0.99以上，平均召回率、F1值在訓(xùn)練集和測(cè)試集都達(dá)到了0.985以上，表明該模型對(duì)馬鈴薯植株葉片高光譜數(shù)據(jù)的缺素識(shí)別具有一定的適用性。

表10 缺素識(shí)別的預(yù)測(cè)結(jié)果Tab.10 Prediction results of element deficiency recognition

表11為對(duì)三種缺素馬鈴薯葉片以及正常的馬鈴薯葉片識(shí)別結(jié)果。從虧損識(shí)別結(jié)果上看，SVM對(duì)缺鉀元素的馬鈴薯葉片識(shí)別率低，準(zhǔn)確率僅為70.7%。而使用帶有卷積池化層的1D-CNN對(duì)缺鉀馬鈴薯葉片的識(shí)別準(zhǔn)確率為95.33%。

表11 不同模型對(duì)缺素馬鈴薯的像素點(diǎn)分類結(jié)果Tab.11 Results of pixel point classification of vegetation deficient potatoes by different models

提出多尺度特征融合1D-CNN算法對(duì)缺鉀馬鈴薯葉片的識(shí)別準(zhǔn)確率高達(dá)95.50%，相對(duì)于常規(guī)的1D-CNN網(wǎng)絡(luò)提升了0.17%。利用多尺度特征融合1D-CNN對(duì)缺氮、缺磷以及正常馬鈴薯葉片數(shù)據(jù)集進(jìn)行識(shí)別，其識(shí)別準(zhǔn)確率在99%以上，識(shí)別精度均高于SVM方法。對(duì)缺磷、缺鉀以及正常的馬鈴薯葉片的識(shí)別，利用多尺度特征融合1D-CNN算法相比于使用常規(guī)1D-CNN算法，其識(shí)別精度上有了進(jìn)一步提升。

圖6為兩種卷積神經(jīng)網(wǎng)絡(luò)對(duì)4種馬鈴薯植株葉片識(shí)別的訓(xùn)練結(jié)果，多尺度特征融合1D-CNN在第22次訓(xùn)練時(shí)基本已經(jīng)達(dá)到穩(wěn)定較優(yōu)訓(xùn)練結(jié)果，常規(guī)1DCNN在第30次之后才可以到達(dá)穩(wěn)定的訓(xùn)練結(jié)果。

圖6 識(shí)別訓(xùn)練的損失函數(shù)Fig.6 Loss function for deficiency recognition training

根據(jù)模型訓(xùn)練的損失函數(shù)結(jié)果表明，使用多尺度特征融合1D-CNN相對(duì)1D-CNN下降更快，對(duì)四種馬鈴薯植株葉片缺素識(shí)別的準(zhǔn)確率更高。

3 結(jié)論

提出一種基于多尺度特征融合1D-CNN的高光譜圖像分類方法，并用于對(duì)不同缺素馬鈴薯植株的葉片識(shí)別。該方法通過將高光譜數(shù)據(jù)的多個(gè)特征進(jìn)行融合，使得提取到的光譜特征細(xì)節(jié)表現(xiàn)力更強(qiáng)，進(jìn)而提升了對(duì)高光譜數(shù)據(jù)分類的性能。

在5種地物的光譜數(shù)據(jù)分類實(shí)驗(yàn)上其分類精度、平均準(zhǔn)確率、平均召回率、F1值在訓(xùn)練集和測(cè)試集都達(dá)到了0.985以上，在4種馬鈴薯葉片缺素識(shí)別實(shí)驗(yàn)上其分類精度、平均準(zhǔn)確率在訓(xùn)練集和測(cè)試集都達(dá)到了0.99以上，平均召回率、F1值在訓(xùn)練集和測(cè)試集都達(dá)到了0.985。實(shí)驗(yàn)結(jié)果證明，揚(yáng)提方法較傳統(tǒng)的機(jī)器學(xué)習(xí)算法和單一的1D-CNN具有更優(yōu)秀的分類結(jié)果，是一種更有效的網(wǎng)絡(luò)結(jié)構(gòu)。

在未來的研究中將在網(wǎng)絡(luò)中加入注意力機(jī)制，對(duì)不同特整層進(jìn)行權(quán)重重新分配，進(jìn)一步增強(qiáng)對(duì)高光譜數(shù)據(jù)特征的獲取能力，從而提升網(wǎng)絡(luò)的整體性能。