基于LSTM網(wǎng)絡(luò)的糧食干燥機(jī)水分預(yù)測與優(yōu)化

謝輝煌, 金 毅, 張忠杰, 尹 君, 宋春芳

(江南大學(xué)機(jī)械工程學(xué)院;江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室1,無錫 214122)

(國家糧食和物資儲(chǔ)備局科學(xué)研究院;糧食儲(chǔ)運(yùn)國家工程研究中心2,北京 100037)

糧食干燥是一個(gè)復(fù)雜的非線性、時(shí)滯性以及多變量耦合的過程,且具有大批量、及時(shí)性的干燥需求,使得對(duì)干燥設(shè)備的工業(yè)化性能要求較高[1],國內(nèi)糧食干燥設(shè)備自動(dòng)化程度低,控制存在遲滯性,糧食干燥機(jī)出機(jī)水分無法精準(zhǔn)預(yù)測是最為主要的問題之一[2]。把控出機(jī)糧食水分是糧食干燥最基本的要求,水分過高會(huì)導(dǎo)致糧食水分無法滿足儲(chǔ)藏條件,過低則會(huì)造成能源浪費(fèi)以及品質(zhì)劣變等問題,因此精準(zhǔn)預(yù)測出機(jī)糧食水分對(duì)干燥機(jī)的調(diào)控具有至關(guān)重要的指導(dǎo)作用[3]。

較早的有關(guān)水分預(yù)測的方法主要是基于干燥經(jīng)驗(yàn)以理論模型所建立的[4-9],這些模型存在建模復(fù)雜,求解困難,或是存在模型建立后假設(shè)過于理想化,對(duì)現(xiàn)實(shí)因素的考量并不充分等問題,其作為預(yù)測模型的局限性也越來越明顯[10]。

近些年來,神經(jīng)網(wǎng)絡(luò)依靠其較強(qiáng)的自適應(yīng),自學(xué)習(xí)能力以及十分優(yōu)越的逼近效果,被認(rèn)為是一種處理復(fù)雜、非線性模型問題的有效方法,國內(nèi)外也已經(jīng)有一些將其應(yīng)用于糧食干燥過程水分預(yù)測的分析,其中BP神經(jīng)網(wǎng)絡(luò)作為最常用的一類神經(jīng)網(wǎng)絡(luò)已有許多報(bào)道[11-13],而傳統(tǒng)BP是一種靜態(tài)的神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)的預(yù)測輸出僅依賴于當(dāng)前時(shí)刻的輸入,比較適合輸入較為平穩(wěn)時(shí),實(shí)際某一時(shí)間的糧食出機(jī)水分是受過去一段時(shí)間糧食干燥機(jī)狀況的影響,采用依據(jù)序列的預(yù)測會(huì)更加合理且可以對(duì)數(shù)據(jù)突變有更好的抗干擾性能以及穩(wěn)定性。

長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)作為一種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)將時(shí)間序列的概念引入到神經(jīng)網(wǎng)絡(luò)的輸入中,且可以挖掘長序列數(shù)據(jù)之間前后的信息關(guān)聯(lián),目前已經(jīng)在翻譯[14]、語音識(shí)別[15]、股票[16, 17]、天氣[18]、剩余壽命[19]及軌跡[20]預(yù)測等多個(gè)領(lǐng)域得到了應(yīng)用。研究基于LSTM算法建立稻谷干燥出機(jī)水分預(yù)測模型,進(jìn)行了相關(guān)性分析,優(yōu)化模型參數(shù)并與以往的預(yù)測算法模型進(jìn)行對(duì)比,嘗試得到預(yù)測性能更好的模型,以用于干燥機(jī)稻谷出機(jī)水分預(yù)測。

1 材料與方法

1.1 實(shí)驗(yàn)設(shè)備及方案

為方便實(shí)驗(yàn),研究選用小型連續(xù)式谷物干燥機(jī)作為實(shí)驗(yàn)設(shè)備,以糧庫的大型干燥塔為原型進(jìn)行設(shè)計(jì),以保證其結(jié)果的可靠性與真實(shí)性,采用順流干燥,混流冷卻的干燥工藝。

系統(tǒng)工作流程簡圖如圖1所示,系統(tǒng)主要組成為儲(chǔ)糧倉、糧食烘干機(jī)、送料裝置。核心部分烘干機(jī)分為原糧段、干燥段、冷卻段以及排糧段,由冷風(fēng)機(jī)、加熱裝置以及熱風(fēng)機(jī)組組成。系統(tǒng)工作時(shí),濕糧通過送料裝置從儲(chǔ)糧倉運(yùn)輸?shù)胶娓蓹C(jī),并通過上下位置開關(guān)控制進(jìn)料過程,谷物從干燥機(jī)頂部落入后堆疊在烘干機(jī)內(nèi)進(jìn)行干燥作業(yè),干燥后底部冷風(fēng)器對(duì)谷物進(jìn)行冷卻,最后通過底部的閉風(fēng)器以一定速率排出。

圖1 系統(tǒng)工作流程簡圖

實(shí)驗(yàn)所選稻谷為當(dāng)季采購的早秈稻美香占2號(hào)(廣東廣州),實(shí)驗(yàn)于2021年夏季在國家糧食和物資儲(chǔ)備局科學(xué)研究院昌平中試基地進(jìn)行連續(xù)實(shí)驗(yàn)。干燥期間系統(tǒng)連續(xù)運(yùn)行進(jìn)行數(shù)據(jù)采集,通過實(shí)驗(yàn)過程中不斷改變各項(xiàng)干燥機(jī)參數(shù)及初始水分,獲取多樣性數(shù)據(jù)樣本,以用于后期神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。

1.2 數(shù)據(jù)收集

糧食干燥過程中其出機(jī)水分會(huì)受多種因素的影響,環(huán)境狀況會(huì)致使稻谷初始水分和溫度的波動(dòng),而在干燥時(shí)干燥機(jī)的干燥作業(yè)條件,諸如干燥段溫度、風(fēng)速以及排潮管狀況等都會(huì)直接影響糧食出機(jī)水分[21]。實(shí)驗(yàn)結(jié)合干燥中對(duì)出機(jī)水分影響較為主要的因素,以及設(shè)備本身所采集到的數(shù)據(jù)類別,使用PT100溫度傳感器采集各糧段溫度(Td),RST0JWSH-5傳感器采集各段排潮口溫濕度(To,Ho),FST100-2001D傳感器采集環(huán)境溫濕度(Ten,Hen),PT2703水分檢測儀采集稻谷進(jìn)出口含水率(Min,Mout)采集間隔為1 min。干燥機(jī)內(nèi)所采集的部分原始數(shù)據(jù)見表1,共計(jì)14項(xiàng)數(shù)據(jù),并確定以稻谷出機(jī)水分作為網(wǎng)絡(luò)模型的輸出,剩余因素作為網(wǎng)絡(luò)的輸入項(xiàng)。

表1 糧食干燥機(jī)部分實(shí)驗(yàn)數(shù)據(jù)樣本

1.3 數(shù)據(jù)處理

考慮到實(shí)驗(yàn)開始時(shí)的初始誤差以及干燥過程產(chǎn)生的隨機(jī)誤差,共篩選出2 438組實(shí)驗(yàn)數(shù)據(jù),由于采集數(shù)據(jù)量級(jí)不同且數(shù)據(jù)類別較多,為了降低訓(xùn)練難度,提高模型預(yù)測精度需要對(duì)數(shù)據(jù)按式(1)～式(3)進(jìn)行標(biāo)準(zhǔn)化處理:

(1)

(2)

(3)

2 LSTM模型開發(fā)

2.1 模型描述

長短期記憶神經(jīng)網(wǎng)絡(luò)是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),由Hochreiter等[22]提出,不同于傳統(tǒng)的RNN,為了在長序列問題上有更好的表現(xiàn),LSTM通過引入門的機(jī)制,有效解決了長序列數(shù)據(jù)訓(xùn)練時(shí)梯度消失和梯度爆炸的問題。LSTM在傳統(tǒng)的RNN基礎(chǔ)上,增加了記憶單元,包括有遺忘門、輸入門和輸出門3個(gè)模塊來控制內(nèi)部信息的流入與流出,其記憶單元如圖2所示,以序列的第t步為例。

圖2 LSTM記憶單元

2.1.1 遺忘門

遺忘門負(fù)責(zé)對(duì)上一時(shí)刻長期記憶單元進(jìn)行篩選丟棄,它是依據(jù)網(wǎng)絡(luò)輸入節(jié)點(diǎn)的Xt和Ht-1去決定如何修改刪除記錄,相關(guān)計(jì)算公式見式(4):

ft=σ(Wf·[Ht-1,Xt]+bf)

(4)

式中:ft為遺忘門;σ為sigmod激活函數(shù);Xt為t時(shí)刻的輸入;Ht-1為t-1時(shí)刻的短時(shí)記憶輸出;Wf為遺忘門權(quán)重;bf為遺忘門偏置。

2.1.2 輸入門

輸入門根據(jù)網(wǎng)絡(luò)輸入節(jié)點(diǎn)的Xt和Ht-1來決定需要添加到記憶中的新內(nèi)容,相關(guān)計(jì)算公式見式(5)～式(7):

ii=σ(Wi·[Ht-1,Xt]+bi)

(5)

(6)

(7)

2.1.3 輸出門

根據(jù)長期記憶單元Ct以及輸入節(jié)點(diǎn)Xt和Ht-1的狀態(tài),輸出輸出值Ht,相關(guān)計(jì)算公式為:

ot=σ(Wo·[Ht-1,Xt]+bo)

(8)

Ht=ot×tanh(Ct)

(9)

式中:ot為輸出門;Wo為輸出門權(quán)重;bo為輸出門偏置項(xiàng);Ht為t時(shí)間點(diǎn)模型的所有輸出。

2.2 稻谷出機(jī)水分LSTM預(yù)測模型構(gòu)建

稻谷干燥是一個(gè)連續(xù)且復(fù)雜的過程,容易受稻谷自身因素、環(huán)境因素、干燥介質(zhì)狀況等不確定因素影響,需要考慮多項(xiàng)因素,但對(duì)于神經(jīng)網(wǎng)絡(luò)輸入對(duì)象越多網(wǎng)絡(luò)越復(fù)雜,過多的數(shù)據(jù)也會(huì)導(dǎo)致數(shù)據(jù)本身的精確度有所下降,研究輸入與輸出根據(jù)1.2節(jié)所述設(shè)定。LSTM預(yù)測模型結(jié)構(gòu)如圖3所示,由輸入層、雙LSTM層、dropout層、全連接層、輸出層組成。輸入層是具有序列性質(zhì)的多特征輸入,采用多層LSTM較單層有著更好特征表達(dá)能力,能夠提高模型精度[23],dropout正則化可以使模型在訓(xùn)練時(shí)隨機(jī)丟棄一些神經(jīng)元從而減少局部特征的依賴性降低過擬合[24]。模型在LSTM隱藏層對(duì)特征進(jìn)行提取后,依靠全連接層輸出稻谷出機(jī)水分預(yù)測值。

圖3 LSTM預(yù)測模型結(jié)構(gòu)

2.3 模型訓(xùn)練

訓(xùn)練模型前需要對(duì)所采集的2 438條數(shù)據(jù)進(jìn)行樣本劃分,考慮到LSTM的輸入是三維張量(輸入樣本數(shù),時(shí)間步長,輸入特征維度),需要對(duì)輸入數(shù)據(jù)進(jìn)行重組,假定初始步長為100,一組輸入即為100×13的矩陣,2 438條數(shù)據(jù)共計(jì)重組成2 339組輸入,再按9∶1的比例劃分訓(xùn)練集和測試集。模型的訓(xùn)練流程如圖4所示,訓(xùn)練環(huán)境為win10操作系統(tǒng),處理器型號(hào)Intel Core i5-4210M雙核處理器,內(nèi)存16GB,編程語言采用Matlab。

圖4 基于LSTM的稻谷出機(jī)水分預(yù)測模型流程圖

2.4 性能評(píng)估

將預(yù)處理后的數(shù)據(jù)用于模型的訓(xùn)練與測試,并采用均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)和決定系數(shù)(R2)對(duì)模型的預(yù)測性能進(jìn)行評(píng)估[25],其中RMSE,MAE越小表明精確度越高,而R2越接近1則說明預(yù)測與實(shí)際的差異越小。所有模型均重復(fù)訓(xùn)練10次并取平均值作為最終結(jié)果以減小算法帶來的隨機(jī)性誤差。

(10)

(11)

(12)

3 結(jié)果與分析

3.1 影響因素相關(guān)性分析

由圖5的相關(guān)系數(shù)分析可知,出機(jī)水分Mout與所選因素Min、To2、To3、Td1、Td2、Td3相關(guān)性十分顯著,相關(guān)系數(shù)均大于>0.5,排潮口濕度與出機(jī)水分的相關(guān)性較弱,而在距離出糧口越近階段采集的因素相關(guān)系數(shù)更大,影響程度更明顯。

圖5 出機(jī)水分與各因素的相關(guān)系數(shù)

3.2 模型超參數(shù)優(yōu)化分析

采用Adam算法對(duì)模型進(jìn)行優(yōu)化,由于LSTM中的各項(xiàng)參數(shù)會(huì)對(duì)模型結(jié)果的精度,訓(xùn)練時(shí)間等有一定影響,需要對(duì)不同的模型參數(shù)進(jìn)行優(yōu)化分析,根據(jù)文獻(xiàn)可得[26 , 27],LSTM模型參數(shù)主要包括有訓(xùn)練時(shí)的學(xué)習(xí)率,迭代次數(shù)epoch,批尺寸batchsize,以及網(wǎng)絡(luò)框架中所涉及的輸入時(shí)間步長,隱含層神經(jīng)元數(shù)等。在訓(xùn)練過程中,使用RMSE作為損失函數(shù)來計(jì)算誤差,損失loss代表訓(xùn)練過程中訓(xùn)練樣本預(yù)測值和真實(shí)值的差異程度。在訓(xùn)練初期隨著訓(xùn)練次數(shù)增加誤差急劇下降,隨后誤差變化逐漸減小,繼續(xù)訓(xùn)練達(dá)到一定次數(shù)后,誤差基本穩(wěn)定,因此無需過多的增加訓(xùn)練次數(shù)。

模型訓(xùn)練過程中,學(xué)習(xí)率決定了每次權(quán)重更新的步長,批尺寸數(shù)決定了權(quán)重更新的頻率,迭代次數(shù)會(huì)影響模型訓(xùn)練精度以及時(shí)長。對(duì)不同的學(xué)習(xí)率(0.010、0.001)、批尺寸(50、100、150)和迭代數(shù)(50、100、200)訓(xùn)練下的模型進(jìn)行測試,得到如表2所示的LSTM訓(xùn)練結(jié)果,批尺寸50,學(xué)習(xí)率0.001,迭代次數(shù)50次時(shí),模型擁有較佳的訓(xùn)練效果及性能,此時(shí)模型迭代1 600次后誤差基本平穩(wěn),訓(xùn)練時(shí)長為2∶10。

表2 不同訓(xùn)練參數(shù)下LSTM網(wǎng)絡(luò)模型性能

同時(shí)為了探究網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)(輸入時(shí)間步長,LSTM層神經(jīng)元數(shù))對(duì)模型的影響,設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)中輸入時(shí)間步長10、40、70、100,以及LSTM層神經(jīng)元數(shù)50、100、150、200,通過比較不同參數(shù)組合的RMSE、MAE、R2挑選最優(yōu)結(jié)構(gòu)參數(shù),從表3中可以得到時(shí)間步長為40,隱藏層節(jié)點(diǎn)數(shù)為100×100時(shí),RMSE、MAE和R2是最優(yōu)的,分別是0.19%、0.23%和0.87。且可以發(fā)現(xiàn)當(dāng)時(shí)間步長較短時(shí),網(wǎng)絡(luò)精度隨著隱藏層神經(jīng)元數(shù)的增加而提升,而當(dāng)時(shí)間步長增加時(shí),增大神經(jīng)元數(shù)并不能使網(wǎng)絡(luò)精度不斷提升,復(fù)雜的隱藏層結(jié)構(gòu)會(huì)導(dǎo)致過擬合的產(chǎn)生使得網(wǎng)絡(luò)精度下降。綜合得到整個(gè)網(wǎng)絡(luò)的最優(yōu)參數(shù)設(shè)置如表4所示。

表3 不同LSTM網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)下的性能評(píng)估

表4 LSTM模型參數(shù)優(yōu)化結(jié)果

3.3 不同訓(xùn)練數(shù)據(jù)量模型性能分析

在最優(yōu)訓(xùn)練參數(shù)下,對(duì)比分析不同訓(xùn)練數(shù)據(jù)量條件下的模型性能。結(jié)果如表5所示,可以看到隨著訓(xùn)練數(shù)據(jù)量的增加,預(yù)測精度得到了提升,降低了模型的過擬合。在數(shù)據(jù)量較大時(shí),模型預(yù)測性能提升效果下降。

表5 LSTM模型參數(shù)優(yōu)化結(jié)果

3.4 水分預(yù)測模型對(duì)比分析

為了驗(yàn)證研究所確立的LSTM模型優(yōu)越性,將其與其他3種不同的算法進(jìn)行對(duì)比(BP、ELMAN、NARX),由于這三類算法模型的參數(shù)較少,采用網(wǎng)格搜索的方法確立其最佳參數(shù)。此外,還對(duì)比了單隱藏層LSTM以及無dropout化的LSTM的預(yù)測效果。按照2.3節(jié)中劃分的數(shù)據(jù),選取測試數(shù)據(jù)229組作為測試樣本,在相同的環(huán)境下進(jìn)行運(yùn)算且均采用效果最佳的網(wǎng)絡(luò)模型進(jìn)行測試,得到預(yù)測結(jié)果(圖6)。由圖6a可得,在所有算法中,所采用的LSTM相較于其他算法模型,預(yù)測結(jié)果更貼近于實(shí)際值,變化趨勢(shì)也與真實(shí)值更為一致,表明LSTM在處理時(shí)間序列問題的效果更好。且針對(duì)數(shù)據(jù)突變,也做出了較為及時(shí)的判斷變化,表明其較優(yōu)的響應(yīng)性能。此外可以看出,NARX由于同樣具有記憶功能以及考慮了序列因素問題,在預(yù)測效果上次優(yōu)于LSTM。而BP以及ELMAN不僅預(yù)測精度低,且其預(yù)測結(jié)果是依據(jù)一點(diǎn)數(shù)據(jù),因此導(dǎo)致曲線噪點(diǎn)多且不平滑。為了使LSTM預(yù)測模型具有更好的預(yù)測效果以及防止過擬合,加入dropout并使用雙隱藏層的網(wǎng)絡(luò)結(jié)構(gòu),從圖6b中可以看出結(jié)構(gòu)優(yōu)化后的LSTM預(yù)測性能得到了提升。

圖6 各模型測試集預(yù)測曲線

從誤差曲線圖7中可以得到,采用的LSTM模型誤差隨樣本序號(hào)變化波動(dòng)幅度最小,而其他模型均在不同位置有著較大波動(dòng),證明該LSTM模型具有較強(qiáng)的計(jì)算力以及網(wǎng)絡(luò)穩(wěn)定性。

圖7 各模型測試集誤差曲線

由表6可知,LSTM模型的各項(xiàng)誤差均為最低,MAE為0.12%,RMSE為0.20%且擬合度R2最高為0.94。相較于BP、ELMAN和NRAX,R2分別提升了20.51%、16.05%、11.90%,而較一般的LSTM,在優(yōu)化結(jié)構(gòu)后,相較于無dropout層和單隱藏層也均提升了8.82%、9.20%。這表明,使用該LSTM網(wǎng)絡(luò)相較于其他模型可以更精確地預(yù)測稻谷出機(jī)水分,一定程度提高了預(yù)測效果。

表6 各預(yù)測模型性能指標(biāo)

研究所提出的優(yōu)化LSTM模型明顯優(yōu)于其他算法模型,且相較于一般結(jié)構(gòu)的LSTM,也有著更好的預(yù)測性能。基于LSTM算法,提取長時(shí)間序列特征對(duì)稻谷出口水分預(yù)測時(shí),可以更好地逼近真實(shí)結(jié)果,模型預(yù)測結(jié)果平滑且精度和泛化能力更優(yōu)。

4 結(jié)論

通過提取小型連續(xù)式谷物干燥機(jī)的多項(xiàng)時(shí)間序列特征,構(gòu)建了基于優(yōu)化LSTM的稻谷出口水分預(yù)測模型,分析了所選因素與出機(jī)水分相關(guān)性以及訓(xùn)練參數(shù)、結(jié)構(gòu)參數(shù)、數(shù)據(jù)量對(duì)LSTM模型預(yù)測效果的影響,發(fā)現(xiàn)出機(jī)水分Mout與Min、To2、To3、Td1、Td2、Td3相關(guān)性顯著且越靠近出糧口階段的因素影響越顯著,確立了最優(yōu)參數(shù)設(shè)置為批尺寸50,學(xué)習(xí)率0.001,迭代次數(shù)50,時(shí)間步長40,神經(jīng)元個(gè)數(shù)100×100,且有效增大數(shù)據(jù)量可以降低模型的過擬合。將優(yōu)化的LSTM與BP、ELMAN、NARX等算法以及一般LSTM網(wǎng)絡(luò)(無dropout,單隱藏層)進(jìn)行對(duì)比,通過分析預(yù)測效果曲線以及性能評(píng)價(jià)指標(biāo),發(fā)現(xiàn)該優(yōu)化的LSTM網(wǎng)絡(luò)預(yù)測效果最佳,預(yù)測結(jié)果穩(wěn)定且泛化性強(qiáng),模型MAE、RMSE和R2分別為0.12%、0.20%和0.94,證明了該LSTM模型對(duì)于連續(xù)式干燥機(jī)的稻谷出機(jī)水分預(yù)測具有良好的實(shí)用性。