基于多層LSTM的海蘭褐蛋雞產(chǎn)蛋率回歸模型

蔣敏蘭 吳沛?zhèn)? 陳昊然

摘要：目前雞蛋產(chǎn)量預(yù)測模型大多使用單一影響特征或者平均考慮各特征進行建模，存在精度低、抗干擾能力差等缺點。針對上述問題，利用多層LSTM神經(jīng)網(wǎng)絡(luò)結(jié)合日齡、最高舍溫、最低舍溫、體質(zhì)量、飼料消耗量5項特征建立高精度海蘭褐蛋雞產(chǎn)蛋率回歸模型，并將得到的模型與傳統(tǒng)的SVM模型和單層LSTM模型結(jié)果進行對比。結(jié)果表明，本研究提出的利用多層LSTM模型預(yù)測雞蛋產(chǎn)量均方誤差更小，模型精度更高。

關(guān)鍵詞：多層LSTM;海蘭褐蛋雞;產(chǎn)蛋率;多特征模型

中圖分類號：S126文獻標(biāo)志碼：A

文章編號：1002-1302（2020）22-0248-04

作者簡介：蔣敏蘭（1976—），女，浙江蘭溪人，博士，副教授，從事傳感器技術(shù)、智能信號處理等研究。E-mail：xx99@zjnu.cn。

通信作者：吳沛?zhèn)?，碩士研究生，從事深度學(xué)習(xí)、機器學(xué)習(xí)研究。E-mail：761159319@qq.com。

雞蛋作為蛋類消費品的主導(dǎo)者，為人體提供豐富的蛋白質(zhì)、脂肪、礦物質(zhì)和各種維生素等，營養(yǎng)價值極高[1]。根據(jù)世界糧食與農(nóng)業(yè)組織統(tǒng)計，近5年來，中國雞蛋產(chǎn)量位居世界第一。據(jù)國家蛋雞產(chǎn)業(yè)技術(shù)體系的調(diào)研數(shù)據(jù)顯示，中國蛋雞養(yǎng)殖的規(guī)?；潭纫延休^大提升，已達70%，蛋雞養(yǎng)殖正朝著規(guī)?；?、標(biāo)準(zhǔn)化、集約化的道路發(fā)展[2]。

蛋雞產(chǎn)蛋率是一個受人為因素、環(huán)境因素、雞自身因素等多種因素綜合影響的變量，有著非線性的特點[3-4]。目前，對蛋雞產(chǎn)蛋率研究大多使用單一影響因素進行分析、回歸與建模，存在精度低、抗干擾能力差等缺點。近年來，隨著計算機技術(shù)的快速發(fā)展及對深度學(xué)習(xí)領(lǐng)域不斷地探索和研究，深度學(xué)習(xí)已經(jīng)在語音識別[5]、圖像識別[6]、自然語言[7]、回歸預(yù)測等領(lǐng)域取得成功。相比于以概率統(tǒng)計學(xué)為理論基礎(chǔ)對時間序列進行分析的方法，深度學(xué)習(xí)具有高效的非線性計算的能力以及對原始數(shù)據(jù)特征提取能力等特點，利用深度學(xué)習(xí)建立的模型具有高效、高精度的特點。

由于蛋雞產(chǎn)蛋率具有明顯的時間序列特征，通過對歷史數(shù)據(jù)的分析，可以在一定程度上對長期或短期的未來數(shù)據(jù)進行精確預(yù)測，進而實現(xiàn)養(yǎng)雞場利益最大化的同時給市場提供可預(yù)期的、穩(wěn)定的雞蛋供應(yīng)，穩(wěn)定市場。長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）是一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)，在處理時序問題時有著明顯的優(yōu)勢。根據(jù)以上特點，本研究利用蛋雞產(chǎn)蛋率及5項影響因素構(gòu)建基于LSTM的蛋雞產(chǎn)蛋率預(yù)測模型。

[WTHZ]1多層LSTM

近年來，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在處理具有時序特征的數(shù)據(jù)時有著較強的優(yōu)勢，所有RNN神經(jīng)網(wǎng)絡(luò)都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)浇Y(jié)構(gòu)，從圖1可以看出，RNN的出現(xiàn)雖然解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無法對時間序列建模的問題，但是存在長期依賴以及梯度消失的問題。LSTM是Hochreiter等提出的一種循環(huán)神經(jīng)網(wǎng)絡(luò)的擴展模型[8]，從圖2可以看出，通過引入遺忘門、輸出門、輸入門使得網(wǎng)絡(luò)結(jié)構(gòu)上除了輸出[WTHX]h在隨時間的延長流動，細(xì)胞狀態(tài)C也隨時間的延長流動，Hochreiter等通過設(shè)計特殊的門結(jié)構(gòu)解決了RNN網(wǎng)絡(luò)中存在長期依賴的問題。圖2中分別為LSTM的遺忘門、輸入門及輸出門。

如圖2所示，數(shù)據(jù)在LSTM結(jié)構(gòu)單元中的處理流程為：

第1步，利用公式（1），即遺忘門[WTHX]ft丟棄不需要的信息：

2基于多層LSTM的蛋雞產(chǎn)蛋率預(yù)測模型

2.1數(shù)據(jù)源及其預(yù)處理

本試驗數(shù)據(jù)由浙江省金華市蘭溪禽盛蛋雞養(yǎng)殖場提供，記錄了2批共19666羽（每批次9833羽）海蘭褐蛋雞從開始產(chǎn)蛋直至蛋雞售出期間，蛋雞每天產(chǎn)蛋率以及各項影響產(chǎn)蛋率特征的數(shù)據(jù)，根據(jù)張厚臣等研究，選擇最高舍溫、最低舍溫、飼料消耗、體質(zhì)量與日齡這5項特征來研究其與蛋雞產(chǎn)蛋率之間的關(guān)系[9-11]，部分?jǐn)?shù)據(jù)見表1。

試驗數(shù)據(jù)要先進行預(yù)處理，步驟如下：

（1）由于蛋雞體質(zhì)量數(shù)據(jù)養(yǎng)殖場每周測量1次，本研究假設(shè)蛋雞每天勻速增長，以此來補全缺失數(shù)據(jù)。

（2）利用公式（6）將補充完全的數(shù)據(jù)Min-Max歸一化至[0，1]區(qū)間。

2.2多層LSTM產(chǎn)蛋率預(yù)測模型建立流程

多層LSTM蛋雞產(chǎn)蛋率預(yù)測模型建立流程見圖3，其主要流程為：（1）收集需要的數(shù)據(jù)并按“2.1”節(jié)所述對其進行預(yù)處理;（2）搭建LSTM網(wǎng)絡(luò)，選擇合適的模型參數(shù)并對其進行訓(xùn)練;（3）根據(jù)設(shè)置的均方誤差獲得需要的預(yù)測模型;（4）輸入測試數(shù)據(jù)，獲得預(yù)測結(jié)果，檢驗?zāi)Ｐ偷木群涂煽啃浴?/p>

2.3多層LSTM產(chǎn)蛋率預(yù)測模型

2.3.2模型結(jié)構(gòu)及參數(shù)選擇建立合適的LSTM結(jié)構(gòu)并設(shè)置合適的參數(shù)，對網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練時間和精度起到關(guān)鍵性的作用。本研究建立的多層LSTM產(chǎn)蛋率預(yù)測模型結(jié)構(gòu)參數(shù)見表2。

除表2所列結(jié)構(gòu)參數(shù)外，網(wǎng)絡(luò)結(jié)構(gòu)中還須要設(shè)置以下重要參數(shù)：（1）Timestep在本研究中設(shè)置為1，即每個預(yù)測結(jié)果只與當(dāng)天輸入的最低室溫、最高室溫、飼料消耗、體質(zhì)量、日齡5項特征相關(guān)聯(lián);（2）BatchSize在本研究中設(shè)置為15，表示1次訓(xùn)練的樣本數(shù)目為15個;（3）Optimizer在本研究中設(shè)置為Adam，表示使用Adam優(yōu)化器來更新步長。

2.3.3評價指標(biāo)均方誤差（MSE）是用來評估回歸模型擬合精度的重要指標(biāo)，在深度學(xué)習(xí)中常采用MSE作為損失函數(shù)，本研究采用均方誤差作為多層LSTM預(yù)測模型的評價指標(biāo)，為公式（6）。

綜上所述，本研究通過堆疊LSTM神經(jīng)網(wǎng)絡(luò)層，選定合適的Timestep、BatchSize和Optimizer參數(shù)，并且在最后一層使用全連接層（FC）得到預(yù)測結(jié)果，建立1個9層的LSTM神經(jīng)網(wǎng)絡(luò)產(chǎn)蛋率預(yù)測模型。

3預(yù)測結(jié)果與分析

本研究基于python3.7編程環(huán)境，所使用的深度學(xué)習(xí)框架為Keras框架，選擇當(dāng)天的最高舍溫、最低舍溫、飼料消耗、體質(zhì)量、日齡5項特征作為LSTM的輸入數(shù)據(jù)，產(chǎn)蛋率作為輸出數(shù)據(jù)，對當(dāng)天蛋雞產(chǎn)蛋率進行預(yù)測，得到的回歸模型預(yù)測曲線見圖4，訓(xùn)練時每1次MSE見圖5，預(yù)測時每1次MSE見圖6。

從圖5和圖6可見，模型迭代500次左右時基本收斂，迭代2700～3000次時，均方誤差保持不變，表示模型已經(jīng)完全收斂。

從圖7可見，單層LSTM模型預(yù)測曲線在0～50d的擬合過程中存在較大的誤差，在150～200d內(nèi)同樣有一定的波動。傳統(tǒng)的SVM模型預(yù)測曲線自始至終都有較大的波動，與實際產(chǎn)蛋率曲線差別較大。而多層LSTM模型預(yù)測效果較好，預(yù)測曲線和實際曲線擬合度較好。在預(yù)測初期，在0～150d內(nèi)波動較小，在150～200d內(nèi)波動稍大，產(chǎn)蛋率在90%～100%區(qū)間內(nèi)擬合曲線與實際曲線略有波動，在大致趨勢上與實際曲線相似。利用SVM、單層LSTM和多層LSTM的預(yù)測均方誤差（MSE）見表3。

從表3可以看出，本研究建立的基于多參數(shù)的多層LSTM蛋雞產(chǎn)蛋率預(yù)測模型的MSE為0.2568×10-3，與傳統(tǒng)的SVM模型相比，降低3.5432×10-3，與單層LSTM比，降低3.2204×10-3。結(jié)果表明，利用本研究提出方法建立的模型精度更高，能更好地預(yù)測雞蛋產(chǎn)量。

4總結(jié)

雞蛋產(chǎn)量作為一個復(fù)雜、非線性系統(tǒng)，以往的研究中常常采用數(shù)學(xué)函數(shù)關(guān)系來進行描述，使得到的模型存在精度不高的缺陷。由于產(chǎn)蛋率與時間存在明顯的相關(guān)關(guān)系，本研究借助LSTM神經(jīng)網(wǎng)絡(luò)對時序問題有良好的適應(yīng)性特點，以影響蛋雞產(chǎn)蛋率的最低室溫、最高室溫、飼料消耗、體質(zhì)量、日齡5項影響因素為輸入特征，產(chǎn)蛋率為輸出特征，建立預(yù)測模型，測試均方誤差到達2.568×10-4，預(yù)測結(jié)果與蛋雞產(chǎn)蛋情況基本相符，為更好地預(yù)測蛋雞產(chǎn)蛋率提供了參考。

參考文獻：

[1]劉瑩瑩，鐘南.基于圖像處理的雞蛋新鮮度預(yù)測模型研究[J].食品與機械，2017，33（12）：103-109.

[2]朱寧，秦富.蛋雞產(chǎn)業(yè)發(fā)展的國際趨勢及中國展望[J].中國家禽，2016，38（20）：1-5.

[3]李飛，蔣敏蘭.基于支持向量機回歸的蛋雞產(chǎn)蛋率預(yù)測模型[J].江蘇農(nóng)業(yè)科學(xué)，2019，47（13）：249-252.

[4]李飛，蔣敏蘭.基于極限學(xué)習(xí)機的蛋雞產(chǎn)蛋性能預(yù)測[J].中國家禽，2019，41（2）：62-64.

[5]GravesA，Abdel-RahmanM，HintonG.Speechrecognitionwithdeeprecurrentneuralnetworks[C].IEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing，2013.

[6]KrizhevskyA，SutskeverI，HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C].AdvancesinNeuralInformationProcessingSystems，2012.

[7]YoungT，HazarikaD，PoriaS，etal.Recenttrendsindeeplearningbasednaturallanguageprocessing[J].IEEEComputationalIntelligenceMagazine，2018，13（3）：55-75.

[8]HochreiterS，SchmidhuberJ.Longshort-termmemory[J].NeuralComputation，1997，9（8）：1735-1780.

[9]張厚臣.冬季蛋雞產(chǎn)蛋率與環(huán)境因子的統(tǒng)計學(xué)分析[J].安徽農(nóng)業(yè)科學(xué)，2007，35（15）：4532-4533.

[10]朱建國.生物飼料對蛋雞生產(chǎn)性能影響的觀察[J].中國畜禽種業(yè)，2019，15（9）：169-170.

[11]王海濤.蛋雞產(chǎn)蛋率影響因素及提高措施[J].畜禽業(yè)，2019，30（4）：31.