基于全卷積神經(jīng)網(wǎng)絡(luò)的黃花梨采收期可見-近紅外光譜檢測方法

劉輝軍， 魏超宇， 韓 文， 姚 燕

中國計量學院計量測試工程學院, 浙江 杭州 310018

引 言

果實采收期的成熟度決定了水果最終食用品質(zhì)和商業(yè)價值， 選擇果實最佳的采收時間， 是降低水果損失率和提高水果品質(zhì)的關(guān)鍵。 近紅外光譜技術(shù)在水果品質(zhì)檢測領(lǐng)域已有大量成功應(yīng)用， 其快速、 無損的特點， 非常適合用于水果生長狀態(tài)、 成熟度和采收期等方面的持續(xù)性檢測， 盡管一直受到學者、 行業(yè)的重視， 但相關(guān)研究、 應(yīng)用進展緩慢。

Sharpe等較早發(fā)現(xiàn)不同成熟度的梨、 西紅柿等漫反射光譜均呈現(xiàn)較大差異， 提出該技術(shù)可進行水果成熟度檢測[1]。 Peris等通過商業(yè)采收前的天數(shù)確定蘋果的成熟度， 建立了蘋果采收期的光譜預(yù)測模型[2]， 并且發(fā)現(xiàn)當不同年份果實品質(zhì)的變異系數(shù)較小時， 模型精度較高[3]。 Zude等利用NIRS技術(shù)對3個不同采收期的蘋果正確識別率為66%[4]。 Liew等經(jīng)催熟得到6個不同成熟度的香蕉并建立了其可溶性固形物含量(SSC)和硬度的近紅外光譜檢測模型， 結(jié)果表明單一成熟度模型精度較高， 多成熟度模型預(yù)測誤差增大[5]。 趙娟等利用多個品質(zhì)指標提取蘋果成熟度SIQI指數(shù)， 建立了蘋果成熟光譜檢測模型， 表明支持向量回歸(SVR)分類模型優(yōu)于極限學習機(ELM)[6]。 McCormick等開發(fā)了可用于田間的蘋果采收期檢測儀， 指出需結(jié)合大數(shù)據(jù)技術(shù)， 氣候、 果樹負載和果徑等信息以提高檢測精度[7]。

受光照強度、 光質(zhì)等影響， 水果品質(zhì)個體差異大， 常用的化學計量學方法需進行復(fù)雜的光譜預(yù)處理， 所建模型難以滿足不同季節(jié)、 果園等需求， 是影響近紅外光譜技術(shù)在水果采收期檢測領(lǐng)域應(yīng)用的主要原因。 卷積神經(jīng)網(wǎng)絡(luò)模擬人腦機制獲取信息， 可通過自學習逐級進行特征提取， 在目標檢測、 圖像分類和自然語言處理等領(lǐng)域取得了令人矚目的成績。 近年來， 利用卷積神經(jīng)網(wǎng)絡(luò)進行近紅外光譜處理也倍受關(guān)注。 有研究通過PCA方法構(gòu)建了樣本的協(xié)方差二維光譜矩陣， 利用CNNs方法進行了近紅外光譜土壤含水率預(yù)測， 結(jié)果表明不同訓練樣本模型結(jié)果趨于一致。 Malek等將CNNs方法用于測量橙汁蔗糖含量、 葡萄酒中酒精含量和肉類脂肪含量的光譜檢測， 實驗表明當訓練樣本量較少時， 粒子群優(yōu)化算法(PSO)優(yōu)于隨機梯度下降法[8]。 Bjerrum等用貝葉斯優(yōu)化算法調(diào)整網(wǎng)絡(luò)的超參數(shù)， 利用CNN-GP結(jié)合樣本光譜擴增建立了藥片中麻醉劑含量回歸模型， 模型表現(xiàn)了出較好的傳遞性能[9]。 魯夢瑤等采用改進的LeNet-5網(wǎng)絡(luò)， 利用近紅外光譜進行了煙葉產(chǎn)地的分類[10]。 Acquarelli等統(tǒng)計每次迭代后CNNs網(wǎng)絡(luò)最后一層神經(jīng)元的正系數(shù)頻次， 得到其特征分數(shù)， 表明對特征光譜區(qū)域的選擇有較好的解釋性[11]。 Cui等通過隨機抽取部分樣品光譜與CNNs輸出分類結(jié)果的相關(guān)系數(shù)得到模型的回歸系數(shù)， 結(jié)果表明CNNs模型與PLS模型相比有更好的精度和更低的噪聲[12]。

本研究提出了利用卷積神經(jīng)網(wǎng)絡(luò)進行基于近紅外光譜的水果采收期檢測方法， 研究了黃花梨采收期的端對端檢測， 采用了不同年份測試的樣品集， 分析了CNNs模型的解釋性和泛化能力， 并與偏最小二乘判別(PLSDA)方法結(jié)果進行了比較。

1 實驗部分

1.1 樣品

樣品采自杭州市東部的商業(yè)果園， 實驗前標記了15棵樹形、 樹齡相近的果樹， 每次在果樹的東、 西、 南、 北和中方位隨機采集樣本。 最佳采收期根據(jù)果園當年的商業(yè)采收期確定， 在商業(yè)采收期及前后間隔10 d左右進行3次采樣， 分別定義成熟度為1， 2和3。 第一批樣品(2016年)每次收集130個樣本， 隨機選擇其中100個樣品歸入訓練集， 其余30個歸入測試集， 共300個樣品組成訓練集， 90個樣品組成測試集1。 第二批(2017年)樣品每次收集20個樣品， 共60個樣品組成測試集2。

1.2 光譜測量

實驗采用MCS600(Zeiss， Germany)陣列式光纖光譜儀， 光源為CHL600(10 W)， 結(jié)合自制積分球漫反射附件， 波長范圍為500～1 700 nm， 所用軟件為Aspect Plus。 沿果實赤道測量對其向光面、 背光面和任一側(cè)面的漫反射光譜， 取三個區(qū)域測量的平均光譜為樣品光譜。

1.3 建模方法

1.3.1 一維卷積神經(jīng)網(wǎng)絡(luò)模型

光譜數(shù)據(jù)是一維信號， 相鄰波長有強的相關(guān)性， 樣本量少的問題， 采用了包含5層的一維淺層卷積神經(jīng)網(wǎng)絡(luò)， 包括1個輸入層、 2個卷積層、 1個池化層、 1個全連接層和1個softmax輸出層(見圖1)， 采用誤差反向傳播算法結(jié)合隨機梯度下降法進行層與層之間的連接權(quán)重調(diào)節(jié)。 在卷積層中利用多個卷積核提取不同屬性的光譜特征， 采用非飽和線性修正單元(rectified linearunits， ReLU)為激活函數(shù)， 池化層采用Max-pooling方法進行下采樣， 其有利于減少因樣本光譜平移、 旋轉(zhuǎn)產(chǎn)生的干擾， 保留主要特征并增大輸出特征的感受野。 為進行不同光譜特征的融合， 使用卷積層代替LeNet等網(wǎng)絡(luò)中輸出層前普遍采用的全連接層， 實現(xiàn)了全卷積， 盡管在一維網(wǎng)絡(luò)中兩者具有相同的參數(shù)數(shù)量， 前者有更明確的物理意義。 輸出層使用了Softmax分類器， 將預(yù)測結(jié)果轉(zhuǎn)換為非負值， 輸出類別的歸一化概率， 得到黃花梨的采收期類別。

(1)

式(1)中，x為輸入向量，wi為第i個神經(jīng)元對應(yīng)的權(quán)重系數(shù)，k為類別數(shù)， 取3個類別。

Softmax分類器常采用交叉熵為損失函數(shù)， 與傳統(tǒng)多層感知器相比， CNN網(wǎng)絡(luò)的參數(shù)少， 結(jié)合所用的網(wǎng)絡(luò)中神經(jīng)元數(shù)目也較少， 未采用隨機失活(dropout)， 在損失(Loss)函數(shù)中加入了L2正則項， 將網(wǎng)絡(luò)權(quán)重控制在較低的水平， 可降低模型的過度擬合并提高模型泛化能力。

(2)

CNNs網(wǎng)絡(luò)的權(quán)重采用隨機初始化， 利用第一批390個樣品以內(nèi)部交叉驗證法進行網(wǎng)絡(luò)參數(shù)的選擇。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.3.2 PLSDA

偏最小二乘判別方法(PLSDA)建立在PLS算法基礎(chǔ)上， 以二進制類別變量取代目標變量值， PLSDA計算光譜向量與類別向量的相關(guān)關(guān)系， 常用“1”和“0”來表示屬于或不屬于某一類， 一般取臨界值0.5來判定樣品的類歸屬。

1.4 模型回歸系數(shù)

相關(guān)系數(shù)法是近紅外光譜模型特征變量波長選擇方法， 常用于模型的解析， 通過計算光譜變量與被測量間的相關(guān)系數(shù)， 系數(shù)越大表示對應(yīng)的波長所含信息量越大， 但其不適用于非線性模型。

互信息是機器學習和數(shù)據(jù)挖掘的特征選擇中常用方法， 可衡量變量間的非線性關(guān)系， 互信息值越大表示兩個隨機變量相關(guān)程度越高， 可用于特征波長的篩選。

(3)

式(3)中，X為樣品任一波長的光譜反射率，Y為樣本類別，p(x，y)為兩個隨機變量X和Y的聯(lián)合概率分布函數(shù)，p(x)和p(y)分別是X和Y的邊緣概率分布函數(shù)， 利用校正集樣本波長變量與成熟度類別的平均互信息MI(X∶Y)計算CNNs模型中光譜變量與樣本類別的相關(guān)程度， 以減少互信息MI(x∶y)的隨機性。

1.5 模型評價

采用訓練集和測試集的判別正確率作為模型評價指標。

1.6 軟件

CNNs模型基于Tensorflow平臺構(gòu)建， 利用Python完成編程。 PLSDA模型利用了PLS_toolbox_70工具箱。

2 結(jié)果與討論

2.1 模型結(jié)果

PLSDA和CNNs方法模型采用了相同的訓練集和測試集。 PLSDA模型中使用了Savitzky-Golay(SG)二階導(dǎo)數(shù)進行光譜預(yù)處理， 選用的隱含變量個數(shù)為5。 當訓練次數(shù)為1 200時， 模型達到穩(wěn)定。 表1為兩類模型對黃花梨采收期判別的結(jié)果， 訓練集和測試集1正確識別率均為100%。 PLSDA模型對測試集2的采收期正確識別率降為41.67%， 最佳采收期的正確識別率僅為40%。 可見， 盡管PLSDA方法常被用于水果成熟度的檢測， 但多未采用不同年份樣品對模型進行測試。 采收期前后果實內(nèi)部品質(zhì)變化復(fù)雜， 不同年份果實品質(zhì)差異大， 同時， 水果類物質(zhì)含水率高， 近紅外光譜譜峰重疊嚴重， PLSDA方法通過選擇隱含變量個數(shù)不能有效克服光譜數(shù)據(jù)的非線性影響， 難以提取樣本穩(wěn)健的光譜特征， 在同一年份測試集中往往有較好的效果， 但不適用于其他年份測試集[13]， 模型不能用于不同年份黃花梨的采收期判別。 CNNs模型對測試集2的采收期正確識別率降為88.33%， 最佳采收期的正確識別率為85%， 錯誤識別主要表現(xiàn)為相鄰采收期間的誤判， 對不同年份的黃花梨采收期判別有較好的精度。

表1 黃花梨采收期檢測結(jié)果

2.2 卷積核對CNN模型的影響

由于水果類樣品在可見-近紅外區(qū)域的光譜峰較寬， 為有利于提取譜峰信息， 第1個卷積層中使用的卷積核個數(shù)、 長度和步長分別為1～10， 3～50和1～15。 增加卷積核數(shù)量， 可以提取更多不同的光譜特征， 但當樣品數(shù)量較少時， 會降低網(wǎng)絡(luò)的泛化能力， 考慮所建的CNNs網(wǎng)絡(luò)規(guī)模以及訓練樣品數(shù)量， 當卷積核數(shù)為6、 長度為25、 步長為10時， 模型達到最優(yōu)。 圖2為模型訓練生成的6個卷積核， 分別如圖2(a)—(f)所示。

圖2 CNN模型中第1個卷積層的卷積核

由于激活函數(shù)、 池化等增加了卷積神經(jīng)網(wǎng)絡(luò)的非線性， 如何提高CNN模型可解釋性是深度學習領(lǐng)域的研究熱點， 目前針對光譜處理中CNNs模型解釋性的研究較少。 Bjerrum[10]和Cui[12]和等指出， 適當?shù)墓庾V預(yù)處理， 可減少CNNs模型的訓練時間， 且對模型精度的影響較小， 本研究所建CNNs模型中未進行光譜預(yù)處理。 由圖2(a,b,c)分別可以看出， 卷積核的作用類似于不同偏斜、 縮放的一階SG或分數(shù)階微分， 且均含有大量的非零元素， 表現(xiàn)出較好的平滑性。 其中， 卷積核2和5的變化趨勢表明分別進行前向和后向微分， 卷積后結(jié)果經(jīng)ReLU后輸出； 當反射率增大時， 卷積核3輸出的非零值減?。?當反射率降低時， 卷積核5輸出的非零值增大， 有利于在全波段中提取穩(wěn)定的光譜特征。 在模型訓練中， 卷積核參數(shù)被不斷優(yōu)化， 較傳統(tǒng)方法選擇光譜預(yù)處理節(jié)省了的大量人力， 其可解釋性尚待進一步研究， 后者則有較明確的物理意義。

2.3 模型回歸系數(shù)

兩類模型訓練集樣本波長變量與輸出采收期類別間的回歸系數(shù)如圖3， 其中, (a)為黃花梨的平均光譜。 PLSDA和CNNs模型的回歸系數(shù)曲線均含有一定噪聲， 可能由果形變化等因素引起， 但兩者呈現(xiàn)較大差異[如圖3(b)和(c)所示]。 在PLSDA模型中， 與黃花梨成熟度相關(guān)性大的波長主要集中在可見光波段， 800～1 700 nm范圍內(nèi)相關(guān)系數(shù)接近零， 主要反映了果實成熟期葉綠素、 花青素等含量的變化。 在CNNs模型中， 互信息在0.31～0.42呈較均勻分布， 除可見光波段， 在1 430 nm附近互信息也較強， 對應(yīng)水分的一階倍頻吸收區(qū)域， 主要反映水果的干物質(zhì)(DM)含量， DM是進行水果成熟度檢測中常用指標， 800～1 200 nm區(qū)域多用于可溶性固形物含量(SSC)相關(guān)的檢測， SSC易受冠層條件、 氣候等影響， 其較少用做成熟度單一評價指標。 980 nm附近對應(yīng)水分的二階倍頻吸收， 互信息較低。

PLSDA模型中所用相關(guān)波長變量較少， 不能充分反映果實采收期品質(zhì)變化， 模型易出現(xiàn)過擬合， CNNs模型則較好地利用了樣品的全波段信息， 有效避免了模型的過擬合， 且波長變量與黃花梨采收期主要品質(zhì)變化有較好的相關(guān)性及可解釋性。

圖3 PLSDA， CNNs模型的回歸系數(shù)

3 結(jié) 論

提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的黃花梨采收期近紅外光譜檢測方法。 設(shè)計了一種5層的一維卷積神經(jīng)網(wǎng)絡(luò)， 采用交叉熵結(jié)合L2正則項為損失函數(shù)， 無光譜預(yù)處理， 實現(xiàn)了黃花梨采收期的端到端檢測， 有利于實現(xiàn)水果分期分批的精細化采收。

(1)利用卷積神經(jīng)網(wǎng)絡(luò)良好的自學習功能可有效地提取光譜特征， 避免了復(fù)雜的光譜預(yù)處理。 通過對PLSDA和CNNs模型的相關(guān)系數(shù)、 互信息的分析， CNNs模型結(jié)合與樣品波長變量有較好的相關(guān)度， 能較好地反映黃花梨采收期主要品質(zhì)變化， 且有較好的可解釋性。

(2)結(jié)果表明與PLSDA方法相比， CNNs模型有較強的泛化能力， 對不同年份樣品采收期正確識別率達到88.33%， 有效克服了不同年份樣品品質(zhì)變化對模型的影響。

(3)進一步結(jié)合果園管理、 物候等先驗信息， 將有利于加快近紅外光譜技術(shù)在水果采收期、 成熟度檢測方面的實際應(yīng)用。