改進粒子群優(yōu)化GRU 網絡的儲糧溫度預測方法*

蔣思瑋 孫 妍 陳 靜 袁 昕 宋雪樺

（江蘇大學計算機科學與通信工程學院 鎮(zhèn)江 212013）

1 引言

中國作為糧食需求大國，糧食問題關乎國運民生，科學儲糧是糧食產后的重要環(huán)節(jié)。目前，如何防治害蟲、霉菌的污染是糧食存儲面臨的重大安全問題。當發(fā)生霉變、蟲害時，儲糧環(huán)境的多方面因素會受到影響，在這些因素中儲糧溫度是反映糧食安全存儲的重要指標［1］。糧食自身的呼吸作用以及糧堆內部發(fā)生蟲害、霉變時產生的代謝都會影響儲糧溫度［2］，預測儲糧溫度的變化是儲糧安全監(jiān)測和預警的有效手段。

隨著人工智能技術的發(fā)展，機器學習和神經網絡在溫度預測中得到了廣泛的應用。鄧玉睿［3］提出基于溫度、濕度、CO2 建立BP 神經網絡構建糧情監(jiān)控模型，對糧食霉變情況分類預測；郭利進［4］采用基于SOM 聚類算法和灰色關聯分析處理模型輸入向量，將灰色模型與改進BP 神經網絡相結合實現糧倉溫度預測，該方法相對于單一BP 網絡提高了溫度預測精度。BP 神經網絡結構簡單，每個隱含層之間的神經元相互獨立，在面對具有時序性的數據時，不能有效地提取數據的時序特征。糧食溫度預測需要對溫度這一時序數列的變化特征做出分析，針對這種時間依賴的特性，循環(huán)神經網絡能很好地適應這種情況［5］。林靖皓［6］等針對每年芒果產量的影響因素在時間上的關聯性，采用卷積神經網絡和雙向門控單元建立芒果產量預測模型。JIA［7］等根據拉依達準則（PauTa Criterion）和拉格朗日差值對礦井瓦斯?jié)舛缺O(jiān)測數據進行預處理，為充分利用礦井瓦斯?jié)舛葦祿臅r間序列特征，提出了一種基于門控遞歸單元（Gated Recurrent Unit，GRU）的礦井瓦斯?jié)舛阮A測模型。徐一軒等［8］采集服務器溫度監(jiān)控數據和運行參數，提出基于長短記憶網絡的溫度預測模型，預測服務器入口溫度。馮鴻超［9］基于長短期記憶網絡（Long Short-term Memory，LSTM）建立糧堆溫度預測模型，并使用Adam算法優(yōu)化網絡參數，通過將預測值與閾值對比預測儲糧糧情。

根據儲糧溫度具有時序特性，本文提出一種基于門控循環(huán)單元的儲糧溫度預測方法。該方法利用GRU 網絡提取儲糧數據的時序特征，采用非線性慣性因子和自適應學習因子的粒子群算法（Particle Swarm Optimization，PSO）優(yōu)化神經網絡的初始權重，在模型中加入Dropout 算法和RMSProp 優(yōu)化器訓練網絡參數，該方法較傳統(tǒng)的神經網絡預測誤差更小，可以有效地擬合儲糧溫度變化曲線。

2 儲糧溫度預測模型構建

2.1 預測模型框架

預測模型為三層神經網絡，輸入層和隱藏層使用GRU 網絡學習時序數據特征，通過全連接層變換維度輸出預測結果。以時間窗滑動的方式輸入時序數據，預測模型框架如圖1所示。每個GRU單元獲取當前時間步的輸入向量xt和上一時間步傳遞的隱藏層狀態(tài)?t。輸入向量進入GRU 網絡后，沿兩個方向傳播，即沿網絡層前向和沿時間梯度傳播。

圖1 預測模型網絡框架

1）時序數據特征提取

循環(huán)神經網絡（Recurrent Neural Network，RNN）是時序數據、自然語言處理的常用模型，在訓練過程中RNN 對短期記憶較為敏感，而對時序數據會有梯度消失和梯度爆炸的問題［10］。GRU 單元是長短期記憶網絡的變體，可避免在反向傳播時的梯度消失和梯度爆炸問題，對于長期依賴的時序數據有良好的學習能力。GRU 較LSTM 網絡參數少，收斂速度快。GRU 將LSTM 中的細胞狀態(tài)和隱藏狀態(tài)合并成隱藏層狀態(tài)?t，且僅包含重置門zt和更新門rt，其結構如圖2所示。

圖2 GRU模型結構圖

圖2中，?t為當前時刻的隱藏狀態(tài)；xt為當前時刻的輸入向量；yt為當前單元輸出向量；σ為sigmoid激活函數。

GRU單元計算方式如下步驟所示。

（1）確定t-1 時刻狀態(tài)信息的保留程度rt，rt越大表明保留的信息越多。

（2）確定t-1 時刻的狀態(tài)信息的遺忘程度zt，范圍在0～1之間。

（3）生成當前隱藏狀態(tài)更新候選值。

（4）更新當前隱藏狀態(tài)，zt越接近1說明t-1時刻的信息遺忘的越少，zt越接近0說明遺忘的信息越多［11］。

（5）計算單元的輸出向量。

式中：wr、wz、w?、wy為權重。

2）過擬合優(yōu)化

神經網絡在訓練過程中可能出現過擬合現象。本文在GRU 層和全連接層之間加入Dropout正則化，隨機選擇一部分神經元使其失活，其他神經元保持不變，然后訓練損失反向傳播，更新未失活的神經元參數，其他神經元參數保持不變，這種方式能有效解決過擬合問題。全連接層進行維度變換輸出下一時刻的預測值，計算預測值與期望值之間的error，如式（6）所示，使用RMSProp 優(yōu)化器局調整網絡參數。

式中：m 為預測值的個數；yt為第t時刻的期望值；yt為第t時刻的預測值。

2.2 改進粒子群算法優(yōu)化網絡

神經網絡在訓練模型時可能會陷入局部最優(yōu)的問題，在初始化網絡時使用粒子群算法對模型初始權值和閾值尋優(yōu)，將網絡權值調整到全局最優(yōu)解附近區(qū)間避免模型陷入局部極值［12］。粒子群算法（Particle Swarm Optimization，PSO）是根據鳥類覓食過程得到的群智能優(yōu)化算法，在搜尋最優(yōu)解時各個粒子相互協調，不斷迭代實現全局尋優(yōu)［13］。粒子群算法的特點是參數簡單，收斂速度快，在求解模型、優(yōu)化結構等多領域得到廣泛的應用。

在d維候選解空間中，分布有若干個優(yōu)化問題的 候 選 解 向 量 集 合X=(x1，x2，x3…xi，i=1，2，3，…，m），候選解向量xi=（xi1，xi2，xi3…xid）為粒子群中的第i個粒子當前位置。粒子的運動過程即在向量空間中搜尋最優(yōu)解的過程，粒子運動方式靠速度v和位置x決定［14］。每次粒子位置迭代更新如式（7）和（8）所示：

標準的粒子群算法使用的慣性因子ω是定值，容易存在收斂早熟，陷入局部最優(yōu)的問題。因此，本文引入非線性慣性權重［15］，如式（9）所示：

式中：ωmax為慣性因子最大值；ωmin為慣性因子最小值；Tmax為總迭代次數；T為當前迭代次數。

引入非線性慣性權重后慣性因子在迭代前期較大，全局搜尋步長變大，有利于防止粒子趨向局部極值，確保在全局范圍內搜尋最優(yōu)解，到迭代后期，粒子逐步趨向全局最優(yōu)，慣性因子取值減小，防止粒子在最優(yōu)解空間內產生震蕩，加強粒子在局部尋優(yōu)能力。同時在PSO中引入異步變化學習因子［16］調整粒子搜尋策略，如式（10）所示：

式中：c1用于控制粒子根據自身經驗的學習能力，c1，max和c1，min是c1的最大值和最小值，c2用于控制粒子根據群體經驗的學習能力，c2，max和c2，min是c2的最大值和最小值。

兩種學習因子根據自身特點使用不同的方式控制粒子尋優(yōu)，在搜尋前期注重全局尋優(yōu)的能力，盡可能地擴大搜尋范圍，粒子需要加強自我學習能力減少群體尋優(yōu)經驗對粒子的影響。在搜尋后期，需要逐漸加強群體經驗對粒子的影響，使粒子逐步收斂至全局最優(yōu)點區(qū)域，因而，c1的初始值較大，隨著迭代次數增加而減小，c2的初始值較小，隨著迭代次數增加而增大。

2.3 預測方法設計

1）數據預處理

本文采用的數據從天津科技大學模擬糧倉獲得。在每個實驗倉取上、中、下三個存儲位置的溫度、濕度，數據獲取的頻率為每小時一次。數據集的時間范圍是2019 年1 月至12 月。因儀器故障、電源斷電等意外因素，采集的數據中存在短時間的缺失值，采用均值插值方式填補。預測模型以12小時為一個時間滑動窗口預測后一時刻的數據，時間窗滑動的步長為1h。在神經網絡訓練時，由于不同特征的數量級存在差異，導致部分特征沒有表現出明顯的特性，為了消除數量級上的影響，對數據進行歸一化處理，如式（11）所示。

式中：x*為歸一化處理后得到的數據，xmin為原始數據最小值，xmax為原始數據最大值，x為原始數據。

2）IPSO優(yōu)化預測模型

IPSO 算法搜尋的最優(yōu)候選解向量的過程即優(yōu)化神經網絡中GRU單元的權值wr、wz、w?、wy和全連接層wd。具體步驟如下所示：

（1）首先確定粒子規(guī)模m、粒子集合X、學習因子初始值和終止值C1，max，C1，min，C2，max，C1，min、慣性因子最大值ωmax、慣性因子最小值ωmin、總迭代次數maxiter、粒子位置邊界B和最大飛行速度vmax。構建粒子位置集合X，X={ }x1，x2，x3…xi，i∈[1，m]，每個粒子的位置信息xi包括GRU神經網絡的權值。

（2）計算粒子適應度

適應度函數是將粒子位置作為網絡參數時神經網絡得到的損失函數，實驗中使用真實值與預測值的均方誤差MSE作為訓練損失函數。

式中：m 為預測值的個數；yi為第i個時間點的真實值；為第i個時間點的預測值。

（3）迭代更新粒子位置

在每輪迭代中，若第i個粒子的粒子適應度fitness(xi)優(yōu)于當前個體最佳適應值Fbest，i或歷史最佳適應值Fbest，g，則將該粒子位置xi更新為pi或pg。

在迭代過程中利用式（7）～（8）更新粒子位置和速度。若在計算過程中粒子位置超出邊界，則令粒子位置等于邊界值，xid=Bd；若速度超過最大速度vmax，則vid=vmax。當迭代次數達到最大迭代次數時，pg為PSO優(yōu)化得到的最優(yōu)權值。

綜上得到預測模型的初始權重，訓練神經網絡，預測方法流程如圖3所示。

圖3 預測方法流程圖

3 實驗分析

3.1 實驗及評價指標

實驗環(huán)境：64 位Windows10 操作系統(tǒng)，Intel i7處理器，16G 內存，PyCharm，TensorFlow。構建神經網絡模型時合適的超參數選擇對訓練準確度有至關重要的影響，經過多次實驗，模型的超參數設置如表1所示。

表1 預測模型超參數

為了評價模型預測效果和精度，使用均方根誤差（RMSE），平均絕對誤差（MAE），平均百分比誤差（MAPE）作為模型預測結果的評價指標，并將IPSO-GRU 與GRU、LSTM、BP 網絡對比。計算誤差如式（14）～（16）所示：

式中：n為樣本數，pi為預測值，yi為真實值。當上述三個指標值越接近零代表預測值與真實值越接近。

3.2 實驗結果分析

3.2.1 時間窗長度對比實驗

時間窗長度是模型訓練的重要指標，在無外界干擾的情況下，儲糧狀態(tài)的數值變化緩慢且具有周期性，將該特點作為參考依據本文對不同時間窗長度進行對比實驗，在GRU 網絡上設置從4～24 的不同的時間窗長度，將測試誤差作為評價模型的指標。

圖4是不同時間窗模型訓練結果，當時間窗的長度是12 時預測模型的均方誤差最小，確定時間窗長度為12。

圖4 不同時間窗長的對比實驗

3.2.2 模型訓練優(yōu)化器選擇

在訓練神經網絡時，優(yōu)化器可以影響模型收斂的速度，本實驗設置兩層GRU 網絡，一層全連接網絡，輸入層節(jié)點為64，經過300次迭代訓練，使用每次迭代的損失函數MSE 作為評價指標，計算RMSProp，Adam，AdaGrad 優(yōu)化器的訓練誤差，如圖5所示。

圖5 不同優(yōu)化器模型的訓練誤差對比

實驗表明使用AdaGrad 優(yōu)化器的模型收斂速度較慢，RMSProp，Adam 優(yōu)化器對模型收斂有較好的效果。在經過300 次迭代之后，RMSProp 的訓練誤差最小，因此選擇RMSProp作為訓練模型的優(yōu)化器。

3.2.3 不同模型預測結果對比

為評估本文模型的預測精度，選取三種模型進行對比，模型的隱含層層數和節(jié)點數和本文模型一致，迭代次數為300，過擬合參數設置為0.1。

圖6 為不同模型的溫度預測擬合曲線，其中TRUE 代表模型的期望輸出，IPSO-GRU 代表本文模型的預測輸出，從圖可以看出BP 網絡預測溫度曲線的擬合效果較差，本文模型能有效的擬合溫度變化曲線。表2是不同模型評價指標對比結果。

表2 不同模型預測評價指標對比

圖6 不同模型預測結果對比圖

從表中可知，GRU 網絡和LSTM 網絡預測準確度比較接近，BP 網絡預測的準確度最低。IPSO-GRU 在三種評價指標上的誤差分別是0.078，0.060，0.344%，均大于GRU，LSTM 和BP 網絡。IPSO-GRU 和GRU 網絡對比RMSE 誤差減小13%，和LSTM 對比誤差減小16%，和BP網絡對比誤差減小74%。

圖7是不同模型的預測誤差對比，BP網絡的預測誤差集中在0.2～0.4 之間且隨時間變化誤差逐漸增加，最大誤差為0.42。IPSO-GRU 的整體誤差小于其他模型且趨勢較為平穩(wěn)，最大誤差為0.13。IPSO-GRU 網絡，誤差集中于0～0.1之間；GRU 網絡的最大誤差為0.16，LSTM 網絡的最大誤差為0.19，兩者誤差集中于0～0.2之間。從實驗結果可以看出IPSO-GRU 模型的預測誤差最小且對于時間序列的數據預測更加準確，這是由于在處理時序數據方面GRU 網絡較BP 網絡更具優(yōu)勢，能充分利用儲糧環(huán)境因素的時間序列特征。GRU網絡經過IPSO算法全局尋優(yōu)，將網絡初始參數調整至最優(yōu)區(qū)間，采用Dropout算法防止過擬合增強模型的預測精度和泛化能力，使模型得到更好的預測效果。

圖7 不同模型預測誤差對比圖

4 結語

本文針對糧食存儲溫度時序數據的特點，提出基于改進粒子群優(yōu)化GRU 網絡的儲糧溫度預測方法。該方法使用粒子群算法優(yōu)化網絡初始權重，在粒子群中引入了非線性慣性因子和自適應學習因子，優(yōu)化粒子搜索策略，增強粒子全局搜索能力，在模型中加入Dropout算法和RMSProp優(yōu)化器訓練網絡參數。實驗使用溫濕度傳感器采集的模擬糧倉數據，為驗證模型預測精度，選取三種模型與本文模型對比，預測結果證明本文構建的IPSO-GRU 模型較其他傳統(tǒng)神經網絡的預測精度更高，為糧情預測提供了新的思路。