基于Dropout深度信念網(wǎng)絡(luò)的煙葉近紅外光譜模型研究?

張 瑞 丁香乾，2 高政緒 宮會(huì)麗，2

（1.中國(guó)海洋大學(xué)信息科學(xué)與工程學(xué)院 青島 266100）（2.中國(guó)海洋大學(xué)信息工程中心 青島 266071）（3.山東濰坊煙草有限公司煙葉生產(chǎn)技術(shù)中心 濰坊 261205）

1 引言

煙草中化學(xué)成分的測(cè)定，在煙草的選種、種植、生產(chǎn)和加工過(guò)程中具有重要意義，常規(guī)的化學(xué)分析方法費(fèi)時(shí)、費(fèi)力、操作復(fù)雜、成本高，且人為誤差相對(duì)比較大，因此科學(xué)的測(cè)定化學(xué)成分含量具有重要意義。近紅外光譜技術(shù)以其快速、簡(jiǎn)便、無(wú)污染、低成本以及樣品的非破壞性和可多組分同時(shí)測(cè)定等因素，在煙草行業(yè)已經(jīng)得到良好的發(fā)展和廣泛的應(yīng)用［1～4］。煙葉中所含有的總糖、總氮、總煙堿等指標(biāo)均含有豐富的含氫基團(tuán)，為近紅外利用樣品的吸光度和待測(cè)指標(biāo)之間的關(guān)系，以及樣品光譜信息差別來(lái)對(duì)樣品進(jìn)行定量或定性分析提供了可能。

目前近紅外光譜對(duì)化學(xué)成分分析最常用的建模方法有偏最小二乘法（PLS）、人工神經(jīng)網(wǎng)絡(luò)法（ANN）與多元線性回歸法（MLR）等。文獻(xiàn)［5］采用基于支持向量機(jī)回歸（SVR）算法，建立了煙草中主要成分總糖、還原糖、總氮、總煙堿的近紅外光譜分析模型，取得了較好的預(yù)測(cè)效果；文獻(xiàn)［6］提出了基于偏最小二乘法PLS和人工神經(jīng)網(wǎng)絡(luò)的非線性模型，預(yù)測(cè)精度優(yōu)于一般的線性算法；文獻(xiàn)［7］應(yīng)用傅里葉變換近紅外光譜分析技術(shù)，建立了基于偏最小二乘法PLS方法的煙葉總糖、總氮和總煙堿的定量模型。目前國(guó)內(nèi)煙草行業(yè)中，普遍使用偏最小二乘法（PLS）進(jìn)行定量分析，但隨著進(jìn)一步的深入，發(fā)現(xiàn)PLS并不適合分析煙草中所有的化學(xué)成分，定量模型的穩(wěn)定性也會(huì)隨著設(shè)備、水分、溫度等外部因素的影響產(chǎn)生較大的波動(dòng)，樣本數(shù)據(jù)較少時(shí)不具有較好的泛化能力。多元線性回歸分析，不考慮質(zhì)量參數(shù)相互之間的影響、不能充分利用光譜的信息，無(wú)法解決光譜矩陣的共線問(wèn)題，容易產(chǎn)生模型的過(guò)適應(yīng)性。偏最小二乘算法和多元線性回歸算法都適用于線性關(guān)系良好的體系，在面對(duì)非線性的近紅外光譜時(shí)往往不能表現(xiàn)出良好的性能。人工神經(jīng)網(wǎng)絡(luò)處理非線性數(shù)據(jù)具有一定的優(yōu)勢(shì)，但訓(xùn)練過(guò)程中容易出現(xiàn)過(guò)擬合現(xiàn)象，導(dǎo)致預(yù)測(cè)能力低下。

深度信念網(wǎng)絡(luò)，作為一種深度學(xué)習(xí)方法，已經(jīng)成功應(yīng)用于語(yǔ)言處理、文本分類(lèi)和圖像識(shí)別［8～11］。它具有深層網(wǎng)絡(luò)結(jié)構(gòu)和非線性激活功能，使得大數(shù)據(jù)的深度學(xué)習(xí)模型成為可能，尤其是各種高維非線性的數(shù)據(jù)。然而，面對(duì)煙葉數(shù)據(jù)小樣本、高維、大噪聲、非線性的特點(diǎn)，直接應(yīng)用深度學(xué)習(xí)模型會(huì)出現(xiàn)過(guò)擬合導(dǎo)致泛化能力差的現(xiàn)象，因此，本文利用深度信念網(wǎng)絡(luò)可以保證非線性建模的能力，結(jié)合Dropout可以克服小樣本過(guò)擬合的優(yōu)勢(shì)，提出了一種Dropout DBN近紅外定量建模方法，用于煙葉化學(xué)成分預(yù)測(cè)。為了驗(yàn)證該模型的有效性，我們使用相同的訓(xùn)練集和測(cè)試集，以指標(biāo)本身性質(zhì)差別比較大的總糖、總氮、總煙堿為例，對(duì)比分析PLS與Dropout深度信念網(wǎng)絡(luò)定量模型在預(yù)測(cè)性能上的差異，驗(yàn)證了Dropout DBN模型的穩(wěn)定性和適用性。實(shí)驗(yàn)表明Dropout DBN具有更好的預(yù)測(cè)效果。

2 基于Dropout的深度信念網(wǎng)絡(luò)算法

2.1 深度信念網(wǎng)絡(luò)DBN

深度信念網(wǎng)絡(luò)是一種概率生成模型，可以對(duì)輸入數(shù)據(jù)進(jìn)行一層一層特征提取，最典型的深度信念網(wǎng)絡(luò)就是由若干層限制玻爾茲曼機(jī)（Restricted Boltzmann Machines）和一層BP組成，結(jié)構(gòu)如圖1所示。

圖1 深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖

DBN在訓(xùn)練模型時(shí)分為兩步：預(yù)訓(xùn)練（pre-training）階段和微調(diào)（fune-tuning）階段。在預(yù)訓(xùn)練階段初始化參數(shù)，分別單獨(dú)無(wú)監(jiān)督訓(xùn)練每一層RBM網(wǎng)絡(luò)，由低到高逐層訓(xùn)練，輸出信息并作為向上一層RBM的輸入數(shù)據(jù)，確保特征向量映射到不同特征空間時(shí)盡可能保留特征信息。經(jīng)過(guò)多層深度訓(xùn)練后，將最后一層RBM網(wǎng)絡(luò)輸出信息作為BP神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。使用反向傳播網(wǎng)絡(luò)將錯(cuò)誤信息自頂向下傳播至每一層RBM，微調(diào)整個(gè)DBN網(wǎng)絡(luò)，使DBN克服了因隨機(jī)初始化權(quán)值參數(shù)而容易陷入局部最優(yōu)和訓(xùn)練時(shí)間長(zhǎng)的缺點(diǎn)。

2.2 受限玻爾茲曼機(jī)RBM

RBM是一種基于能量的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)由一層可見(jiàn)單元和一層隱藏單元構(gòu)成，神經(jīng)元之間的連接特點(diǎn)是層內(nèi)無(wú)連接、層間全連接［12～13］?？梢?jiàn)變量v和隱含變量h的聯(lián)合配置能量為

式中，θ=｛w，a，b｝是RBM的參數(shù)，w為可見(jiàn)單元與隱含單元之間的連接權(quán)重，b和a分別是可視層節(jié)點(diǎn)和隱含層節(jié)點(diǎn)的偏置。訓(xùn)練一個(gè)RBM意味著調(diào)整參數(shù)q，以擬合給定的訓(xùn)練樣本。

相應(yīng)的聯(lián)合概率分布為

其中歸一化因子為

RBM的訓(xùn)練過(guò)程實(shí)際就是求出一個(gè)最能產(chǎn)生訓(xùn)練樣本的概率分布，目標(biāo)就是尋找最優(yōu)的權(quán)值，為了解決這一問(wèn)題，G.Hinton提出了名為對(duì)比散度CD（Contrastive Divergence）的學(xué)習(xí)算法，它是一種高效的近似學(xué)習(xí)算法，以每個(gè)訓(xùn)練數(shù)據(jù)作為初始能量狀態(tài)，然后經(jīng)過(guò)幾次能量狀態(tài)的轉(zhuǎn)移（采用Gibbs采樣），最后以轉(zhuǎn)移后的能量狀態(tài)作為樣本，進(jìn)行均值估計(jì)。更新權(quán)重θ=θ+ε(＜vihj＞data-＜vihj＞recon)，其中ε是學(xué)習(xí)率，＜vihj＞data是輸入數(shù)據(jù)的期望，＜vihj＞recon是重構(gòu)數(shù)據(jù)的期望。

因?yàn)镽BM的特殊結(jié)構(gòu)（層內(nèi)無(wú)連接，層間有連接），所以給定可見(jiàn)單元v時(shí)，各個(gè)隱含單元h的激活狀態(tài)之間是相互獨(dú)立的，反之在給定隱含單元h時(shí)，各個(gè)可見(jiàn)單元v的激活狀態(tài)也是相互獨(dú)立的，即

此處采用的是Logistic的Sigmod函數(shù)f(x)=將開(kāi)啟的概率與一個(gè)服從u～U(0,1)分布的隨機(jī)值進(jìn)行比較：然后開(kāi)啟或關(guān)閉相應(yīng)的隱元。

2.3 基于Dropout-DBN理論方法

由于煙葉近紅外光譜數(shù)據(jù)具有小樣本、高維、非線性的特點(diǎn)，訓(xùn)練集有限時(shí)應(yīng)用深度信念網(wǎng)絡(luò)建模，往往對(duì)測(cè)試數(shù)據(jù)性能表現(xiàn)不佳，容易出現(xiàn)過(guò)擬合的問(wèn)題。防止過(guò)擬合的方法有當(dāng)驗(yàn)證集上的效果變差時(shí)提前終止、L1和L2正則化加權(quán)、soft weight sharing。一種減少測(cè)試集誤差的方法就是訓(xùn)練不同的單獨(dú)的網(wǎng)絡(luò)，然后分別對(duì)測(cè)試集應(yīng)用這些網(wǎng)絡(luò)對(duì)結(jié)果取平均，但這種方法對(duì)訓(xùn)練集和測(cè)試集來(lái)說(shuō)都是時(shí)間代價(jià)太大。因此，本文針對(duì)近紅外小樣本的問(wèn)題，在深層網(wǎng)絡(luò)的基礎(chǔ)上添加Dropout的思想，使在合理的時(shí)間內(nèi)訓(xùn)練大量不同的網(wǎng)絡(luò)成為可能，使每一次輸入到網(wǎng)絡(luò)中的樣本，能夠在網(wǎng)絡(luò)結(jié)構(gòu)有差異的同時(shí)，共享隱含層節(jié)點(diǎn)權(quán)值，從而達(dá)到求取均值的目的。使用L2權(quán)值梯度上限而不是使用L2權(quán)值懲罰項(xiàng)，使得神經(jīng)網(wǎng)絡(luò)能夠從一個(gè)大的學(xué)習(xí)速率開(kāi)始學(xué)習(xí)，同時(shí)也允許神經(jīng)網(wǎng)絡(luò)在一個(gè)大的權(quán)值空間進(jìn)行搜索，既避免過(guò)擬合又可以得到一種近似指數(shù)級(jí)的網(wǎng)絡(luò)。

Dropout是由Geoffrey Hinton在圖像識(shí)別和語(yǔ)音數(shù)據(jù)集將此概念用于前饋神經(jīng)網(wǎng)絡(luò)以防止過(guò)擬合，證明了該方法的有效性［14～15］。它的基本思想就是隨機(jī)忽略隱層的一些神經(jīng)元，使每個(gè)單元以一定的概率p獨(dú)立于其他的單元，這些單元不能夠?qū)ζ渌麊卧募皶r(shí)狀態(tài)做出響應(yīng)，權(quán)值的更新不再依賴(lài)有固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，讓這些神經(jīng)元不參與訓(xùn)練過(guò)程但保存權(quán)值，有可能在下一次迭代時(shí)參與訓(xùn)練。訓(xùn)練樣本較少時(shí)，網(wǎng)絡(luò)迭代次數(shù)過(guò)多很可能導(dǎo)致節(jié)點(diǎn)之間相互依賴(lài)，Dropout隨機(jī)刪除一些節(jié)點(diǎn)，來(lái)避免訓(xùn)練集的協(xié)同影響，有效防止過(guò)擬合。經(jīng)過(guò)交叉驗(yàn)證，隱含節(jié)點(diǎn)Dropout率等于0.5的時(shí)候效果最好，原因是0.5的時(shí)候Dropout隨機(jī)生成的網(wǎng)絡(luò)結(jié)構(gòu)最多。

本實(shí)驗(yàn)采用四層的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于訓(xùn)練集和測(cè)試集采用相同的預(yù)處理和預(yù)訓(xùn)練，引入Dropout后網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整：

1）預(yù)處理：近紅外光譜數(shù)據(jù)采用一階導(dǎo)數(shù)+Savizky Golay（5，3）平滑預(yù)處理和歸一化處理。

2）預(yù)訓(xùn)練：網(wǎng)絡(luò)隱含層使用兩層RBM自底向上逐層進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，RBM訓(xùn)練的過(guò)程中，每個(gè)RBM迭代次數(shù)為200，學(xué)習(xí)率為0.1，Sigmod函數(shù)被用作激活函數(shù)，得到節(jié)點(diǎn)的連接權(quán)值作為深度信念網(wǎng)絡(luò)隱含層的初始權(quán)值。

3）訓(xùn)練：將RBM訓(xùn)練的權(quán)重、偏置用于建立輸入光譜數(shù)據(jù)與輸出化學(xué)值之間的關(guān)系。前饋網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的輸出值以0.5的概率隨機(jī)置零，完成Dropout前饋網(wǎng)絡(luò)的構(gòu)建。

4）微調(diào)：由于前饋網(wǎng)絡(luò)中使用Dropout，在微調(diào)部分權(quán)重反向傳輸?shù)倪^(guò)程中要進(jìn)行相應(yīng)的調(diào)整，采用Dropout的隱含節(jié)點(diǎn)進(jìn)行微調(diào)，在網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)時(shí)乘以相應(yīng)的Dropout率。

5）測(cè)試階段：將更新的權(quán)重、偏置和動(dòng)量應(yīng)用到預(yù)測(cè)集，前饋網(wǎng)絡(luò)的處理與訓(xùn)練階段相同，以相同的百分比將權(quán)重置零，對(duì)化學(xué)指標(biāo)進(jìn)行預(yù)測(cè)。

3 實(shí)驗(yàn)仿真分析

3.1 實(shí)驗(yàn)樣品及制備

實(shí)驗(yàn)選取某企業(yè)提供的五個(gè)產(chǎn)區(qū)同一年份的具有代表性的上部、中部、下部位的390個(gè)代表性煙葉樣品，覆蓋不同的品種不同等級(jí)。將煙葉樣品置于烤箱中，40℃干燥4小時(shí)，剔除游離水的影響，磨碎過(guò)40目篩，密封平衡后進(jìn)行光譜測(cè)量。另外再制備上述幾個(gè)產(chǎn)區(qū)的114個(gè)樣本作為測(cè)試集，樣品盡可能分布均勻，采用相同的處理，進(jìn)行光譜采集，用于分析樣品變化對(duì)預(yù)測(cè)模型能力判斷。

3.2 光譜采集

采用FOSSDS2500近紅外光譜儀采集光譜，光譜掃描范圍為400nm～2500nm，光譜采集方式為漫反射，采集光譜前機(jī)器預(yù)熱一小時(shí)以保證機(jī)器各項(xiàng)性能穩(wěn)定，避免開(kāi)機(jī)時(shí)間太短，導(dǎo)致采集的光譜以及預(yù)測(cè)結(jié)果的不穩(wěn)定。取適量樣品置于樣品盒中，放置壓樣器自然壓實(shí)，置于儀器臺(tái)上，在溫度18℃～22℃下進(jìn)行光譜掃描，每次采集樣品光譜前都采集背景光譜。為了保證掃描結(jié)果準(zhǔn)確性，每個(gè)樣品分別重復(fù)裝樣掃描三次，取三次計(jì)算的平均值作為最終的光譜掃描結(jié)果。盡量保持建模樣品和測(cè)試樣品光譜采集的儀器設(shè)備、儀器參數(shù)設(shè)置、環(huán)境溫度盡可能一致。

4 算法執(zhí)行結(jié)果及分析

4.1 光譜預(yù)處理和降維

由于近紅外光譜吸光強(qiáng)度較弱，很容易受到噪聲的影響，再加上煙葉原始光譜中樣品狀態(tài)、測(cè)量條件等因素引起的基線飄移的影響，因此需要在建模之前對(duì)光譜進(jìn)行預(yù)處理［16］。經(jīng)過(guò)比較，一階導(dǎo)數(shù)＋Savizky Golay（5，3）平滑預(yù)處理建模效果較好，可以有效地消除光譜基線飄移的影響，突出有用信息。預(yù)處理過(guò)的光譜除去了和預(yù)測(cè)無(wú)關(guān)的噪聲，但數(shù)據(jù)中還含有大量的冗余特征，這些特征也會(huì)影響到預(yù)測(cè)的精確程度。實(shí)驗(yàn)采用PCA算法對(duì)樣本全光譜矩陣進(jìn)行降維處理，避免維數(shù)高帶來(lái)的復(fù)共線性問(wèn)題，然后利用提取的主成分?jǐn)?shù)據(jù)進(jìn)行回歸建模分析輸入，進(jìn)行歸一化處理，一是防止某個(gè)特征過(guò)大或過(guò)小，從而在訓(xùn)練中起的作用不平衡，二是為了計(jì)算速度，不平衡的數(shù)據(jù)可能造成計(jì)算困難。將歸一化后的數(shù)據(jù)進(jìn)行偏最小二乘回歸（PLS）、Dropout-DBN建立定量模型。

4.2 性能分析

本實(shí)驗(yàn)在選取煙葉樣品時(shí)不僅考慮了品種、產(chǎn)地、等級(jí)等多種因素的變化，還關(guān)注了煙葉內(nèi)在化學(xué)組分含量的差異，以本身性質(zhì)差別比較大的總糖、總氮、總煙堿指標(biāo)為例，選取的樣本在各含量梯度都有一定的分布，本實(shí)驗(yàn)選取390個(gè)煙葉樣品作為基本訓(xùn)練集分別進(jìn)行3項(xiàng)指標(biāo)建模，另外114個(gè)樣品作為測(cè)試集用于模型性能預(yù)測(cè)，數(shù)據(jù)集的樣品濃度范圍如表1。

表1 煙葉樣品濃度范圍

從表1中可以看出數(shù)據(jù)集的濃度范圍涵蓋了煙葉上部、中部、下部含量范圍，在各含量梯度都有一定的分布。分別使用偏最小二乘法（PLS）、Dropout深度信念網(wǎng)絡(luò)建立總糖、總氮、總煙堿模型，比較模型RMSEC和RMSECV大小，再利用測(cè)試樣本對(duì)所建模型進(jìn)行預(yù)測(cè)性能分析，比較SEP大小，模型性能如表2。

表2 不同方法所建模型性能比較

從表2中煙葉三項(xiàng)常規(guī)化學(xué)成分模型性能分析可以看出，采用相同的數(shù)據(jù)集，Dropout-DBN所建模型相比較于PLS所建模型，相關(guān)系數(shù)R相對(duì)較大，RMSEC、RMSECV以及SEP值相對(duì)較低，說(shuō)明應(yīng)用Dropout-DBN方法可以建立起與總糖、總氮、總煙堿常規(guī)指標(biāo)相關(guān)性強(qiáng)的近紅外光譜模型。Dropout-DBN模型的RMSEC、RMSECV和SEP三個(gè)值相互接近，說(shuō)明模型穩(wěn)定性好。使用Dropout-DBN模型分別對(duì)預(yù)測(cè)集的114個(gè)煙葉樣品光譜進(jìn)行預(yù)測(cè)，并和化學(xué)值作比較，總煙堿散點(diǎn)圖如圖2所示。

總煙堿指標(biāo)的近紅外模型預(yù)測(cè)值和化學(xué)值數(shù)據(jù)回歸方程為：y=1.009x+0.018，相關(guān)關(guān)系數(shù)R2=0.969，可以看出總煙堿模型的預(yù)測(cè)值和實(shí)際值相關(guān)系數(shù)較高，說(shuō)明該近紅外模型對(duì)總煙堿含量的預(yù)測(cè)值和實(shí)際的化學(xué)值有較好的相關(guān)性。因此本文所提出的Dropout-DBN方法對(duì)于提高煙葉近紅外定量模型的性能非常有效。

圖2 總煙堿模型預(yù)測(cè)集實(shí)測(cè)值與預(yù)測(cè)值散點(diǎn)圖

4.3 批總錯(cuò)誤率（errsum）評(píng)估

一個(gè)模型預(yù)測(cè)誤差結(jié)構(gòu)合理與否是驗(yàn)證模型性能的一個(gè)重要指標(biāo)，最簡(jiǎn)單的評(píng)估就是對(duì)數(shù)據(jù)的似然函數(shù)進(jìn)行評(píng)價(jià)，由于其歸一化因子計(jì)算數(shù)量級(jí)極大，無(wú)法通過(guò)數(shù)學(xué)計(jì)算直接得到。因此本實(shí)驗(yàn)使用批總錯(cuò)誤率（errsum）作為評(píng)價(jià)標(biāo)準(zhǔn)，采用近似方法來(lái)評(píng)估Dropout概念的加入是否提高了性能。

圖3 測(cè)試集總氮預(yù)測(cè)錯(cuò)誤率

從圖3中可以看出模型對(duì)總氮的預(yù)測(cè)錯(cuò)誤率采用隱含單元50%Dropout率的Dropout-DBN結(jié)構(gòu)顯然可以提高預(yù)測(cè)精度。Dropout的加入使得每個(gè)隱含單元單獨(dú)學(xué)習(xí)有用的特征，而不是依靠特定的隱含單元來(lái)糾正自己的錯(cuò)誤，具有更好的泛化能力。

5 結(jié)語(yǔ)

本文針對(duì)近紅外光譜小樣本、高維、非線性的特點(diǎn)，提出一種基于Dropout-DBN的模型構(gòu)建方法，建立煙草中化學(xué)成分的回歸數(shù)學(xué)模型。該方法采用深度信念網(wǎng)絡(luò)保持近紅外數(shù)據(jù)非線性結(jié)構(gòu)，引入Dropout概念對(duì)網(wǎng)絡(luò)模型進(jìn)行調(diào)整，可以有效防止訓(xùn)練過(guò)擬合現(xiàn)象，使網(wǎng)絡(luò)構(gòu)成一個(gè)均值網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的泛化能力。采用相同的數(shù)據(jù)集，分析和比較了Dropout深度信念網(wǎng)絡(luò)和偏最小二乘法回歸對(duì)煙葉近紅外光譜分析的預(yù)測(cè)能力，實(shí)驗(yàn)結(jié)果表明，本文提出的方法具有較優(yōu)的正確預(yù)測(cè)率，建立的模型更加可靠、穩(wěn)定，可以有效地應(yīng)用于煙草樣品中化學(xué)含量的實(shí)際分析。