改進LSTM神經(jīng)網(wǎng)絡在磨機負荷參數(shù)軟測量中的應用

保 羅，郭旭琦，喬鐵柱，閻高偉

(太原理工大學， 山西 太原 030024)

改進LSTM神經(jīng)網(wǎng)絡在磨機負荷參數(shù)軟測量中的應用

保 羅，郭旭琦，喬鐵柱，閻高偉

(太原理工大學， 山西 太原 030024)

球磨機是用于磨礦的高能耗設備，可靠測量其負荷對優(yōu)化系統(tǒng)控制和節(jié)能降耗意義重大。針對傳統(tǒng)磨機負荷參數(shù)軟測量模型未考慮特征樣本間的時間尺度信息，以及筒體振動和振聲信號之間蘊含的潛在變量信息難以充分挖掘等問題，提出了基于改進長短時記憶(LSTM)神經(jīng)網(wǎng)絡的磨機負荷參數(shù)軟測量方法。首先求取磨機筒體振動及振聲信號的頻譜，然后采用編碼神經(jīng)網(wǎng)絡提取特征參數(shù)，并使用LSTM神經(jīng)網(wǎng)絡建立軟測量回歸模型對磨機負荷參數(shù)進行檢測，最后在實驗室小型球磨機上進行實驗驗證。實驗結果表明，該方法具有較高的預測精度以及較好的穩(wěn)定性。

濕式球磨機； 軟測量； LSTM神經(jīng)網(wǎng)絡； 磨機負荷

1 前言

球磨機是廣泛應用于電力、礦山和冶金等行業(yè)的重大能耗設備，而磨機負荷(ML)是磨礦過程中的重要參數(shù)，準確檢測磨機內部的充填率(CVR)、料球比(MBVR)、礦漿濃度(PD)等負荷參數(shù)判斷ML狀態(tài)對實現(xiàn)磨礦過程的優(yōu)化控制、節(jié)能降耗以及磨礦效率的提高意義重大[1]。

實際工業(yè)過程中的球磨機由于封閉旋轉的運行特性，且其運行過程存在非線性、強耦合及易受多種不確定性干擾的問題，使得ML參數(shù)難以直接有效測量[2]，因此，基于輔助變量建模的軟測量模型得到了廣泛的應用。文獻[3]基于不同工況條件下的磨機筒體振動頻譜信號，建立了基于主元分析(PCA)和最小二乘支持向量機(LS- SVM)的ML參數(shù)軟測量模型。文獻[4]采用偏最小二乘法(PLS)進行振動信號的特征提取，然后采用極限學習機(ELM)建立軟測量模型。文獻[5]采用深度信念網(wǎng)絡(DBN)對振動信號的功率譜進行特征提取，然后將提取的有效特征輸入ELM進行建模。由于這種基于單一振動信號的軟測量模型存在著泛化性差以及預測精度低的問題，因此可采用集成模型解決這一問題，從而提高工業(yè)過程軟測量模型的泛化能力[6]。文獻[7]通過自動劃分頻段建立基于核偏最小二乘(KPLS)的各分頻段ML參數(shù)子模型，并采用信息熵加權得到最終的集成模型，但是仍然存在信息融合不充分、泛化性能差等問題。文獻[8]提出了選擇性融合多傳感器信息的ML參數(shù)選擇性集成建模，實現(xiàn)了多源多尺度頻譜特征的選擇性信息融合，提高了模型的泛化性和有效性。

上述軟測量模型對于處理單尺度信號特征以及多傳感器集成信號特征有較好的適用性，但是未考慮到多個信號特征之間的時間尺度信息，對模型的測量精度有一定的影響。針對上述問題，本文提出了一種基于LSTM神經(jīng)網(wǎng)絡的磨機負荷參數(shù)軟測量模型，利用LSTM可以處理特征樣本間的時間變量信息，將相鄰的特征樣本輸入LSTM，并結合神經(jīng)網(wǎng)絡較強的非線性擬合能力建立回歸模型，最后輸出模型的估計值。此外，為了有效提高模型的預測精度，同時將磨機筒體的振動信號及振聲信號組合進行建模。實驗結果表明，該方法可有效提高ML參數(shù)的預測精度。

2 LSTM回歸模型

2.1 基本理論

遞歸神經(jīng)網(wǎng)絡(RNN)是一種深層神經(jīng)網(wǎng)絡，能夠在輸出序列可變的環(huán)境中進行分類和生成任務，在人類語音識別、語音建模等領域獲得了廣泛應用。

長短時記憶(LSTM)神經(jīng)網(wǎng)絡是建立在RNN上的一種新型深度機器學習神經(jīng)網(wǎng)絡，其主要思想是使用特殊的神經(jīng)元在長時間范圍內存儲并傳遞信息。它可以獲得更持久的記憶，以及更輕松地捕獲長期依賴項，減緩信息衰減的速率，增加深度計算的優(yōu)勢[9]。其網(wǎng)絡模型增加了3個門的控制：輸入門、輸出門和遺忘門。它們用來選擇性記憶反饋的誤差函數(shù)隨梯度下降的修正參數(shù)。當遺忘門被打開時，自己連接權值為1，記憶單元將內容寫入自身。當遺忘門輸出為0時，記憶單元會清除之前的內容。輸出門允許在輸出值為1的時候，神經(jīng)網(wǎng)絡的其它部分將內容記入記憶單元，而輸入門則允許在輸出值為1的時候，神經(jīng)網(wǎng)絡的其它部分讀取記憶單元。

圖1 LSTM記憶模塊經(jīng)典結構

LSTM的關鍵在于記憶模塊，模塊結構如圖1所示。其單位時間的記憶單元Ct可以表示為：

(1)

式中it為輸入門，ft為遺忘門，分別控制新內容的輸入和舊內容的遺忘，計算公式如下：

it=σ(Wi[ht-1,xt]+bi)

(2)

ft=σ(Wf[ht-1,xt]+bf)

(3)

(4)

最后，一旦記憶單元更新，則當前隱含層輸出ht的計算公式如下：

(5)

式中σ表示sigmoid激活函數(shù)，Wo和bo分別表示權值矩陣和偏置向量。

2.2LSTM回歸建模

LSTM模型在訓練預測時，更傾向于分類任務，為了解決回歸任務中預測精度不高的缺點，本文在LSTM模型的基礎上進行修改，添加一層神經(jīng)網(wǎng)絡作為回歸模型的輸出層，將其改為回歸模型。

LSTM模型有多種網(wǎng)絡結構，在本文的回歸實驗中，選擇六輸入單輸出的網(wǎng)絡結構模型，如圖2所示。[x1,x2,…,x6]表示LSTM模型的輸入，h7表示LSTM模型的輸出。LSTM回歸模型如圖3所示，該模型采用反向傳播(BP)[10]算法進行訓練。在回歸模型中的損失函數(shù)包含兩個部分，首先是誤差函數(shù)，計算公式如下：

(6)

圖2 LSTM六輸入單輸出配置結構

其次是最小化的誤差函數(shù)，即損失函數(shù)：

(7)

式中N為樣本個數(shù)。訓練結束后損失函數(shù)計算的實際值相當于均方誤差(MSE)，它的值可用來衡量回歸結果的精度[11]。

圖3 LSTM回歸模型結構

3 基于LSTM回歸的軟測量模型

軟測量技術主要依據(jù)輔助變量與主導變量的數(shù)學函數(shù)模型，采用各種算法實現(xiàn)主導變量的測量或估計。本文分別采用球磨機的振動、振聲信號作為輔助變量，利用LSTM神經(jīng)網(wǎng)絡建立回歸模型估計3個磨機負荷參數(shù)。建模過程主要分為數(shù)據(jù)預處理、特征提取和回歸建模3個部分，如圖4所示。

圖4 磨機負荷參數(shù)軟測量模型流程圖

建模的具體實現(xiàn)步驟如下。

(1)數(shù)據(jù)預處理。采集振動、振聲兩個傳感器下的數(shù)據(jù)，采用Welch算法計算功率譜后進行數(shù)據(jù)分段。

(2)特征提取。采用編碼神經(jīng)網(wǎng)絡作為特征提取器對預處理后的數(shù)據(jù)提取特征，并將提取特征后的數(shù)據(jù)集劃分訓練集和測試集。

(3)回歸建模。根據(jù)三個磨機負荷參數(shù)對應的訓練集訓練LSTM神經(jīng)網(wǎng)絡，得到磨機負荷參數(shù)軟測量模型。將對應的測試集樣本輸入，可得到負荷參數(shù)的預測結果，最后采用誤差指標評估模型的性能。

4 實驗結果與分析

4.1 實驗過程及預處理

實驗在一臺小型濕式球磨機上進行。在實驗過程中，振動傳感器安置于遠離電動機一端的軸承上，音頻傳感器安裝在滾筒的筒壁上。實驗開始時，首先在滾筒內添加定量的鋼球和水，隨后每次添加適量的礦料，使球磨機運行70s并采集數(shù)據(jù)。經(jīng)過信號調理后以51.2kHz的采樣速率進行采集。實驗結束時，共采集到兩個傳感器下的各139組數(shù)據(jù)，每組數(shù)據(jù)點數(shù)為3×106。

對139組數(shù)據(jù)進行預處理，首先采用Welch方法[12]計算PSD，并通過編碼神經(jīng)網(wǎng)絡進行特征參數(shù)提取，提取后的數(shù)據(jù)維度為250。然后將每組數(shù)據(jù)均劃分為22段，取偶數(shù)段樣本組成訓練集，奇數(shù)段樣本組成測試集，最后得到振動和振聲傳感器組合訓練集規(guī)模為1 529×500，測試集規(guī)模為1 529×500。

4.2 實驗結果分析

采用訓練集數(shù)據(jù)分別針對料球比、礦漿濃度和充填率3個負荷參數(shù)建立LSTM回歸模型并輸出測量結果。為了評價該方法的建模性能，采用均方根誤差(RMSE)作為測量精度的評價指標，其計算公式如下：

(8)

式中：N——測試樣本的數(shù)量；

yi——第i個樣本的真實值；

為了驗證本文方法的有效性，采用偏最小二乘回歸(PLS)、Mean Learner方法、支持向量機(SVM)、多層感知器(MLP)、隨機森林(Random Forest)、回歸樹(Regression Tree)、近鄰回歸(Nearest Neighbors)、最小二乘支持向量機 (LS- SVM)[13]以及AdaBoost方法[14]進行對比，每種方法分別對于3個負荷參數(shù)：料球比(MBVR)、礦漿濃度(PD)以及充填率(CVR)進行建模，實驗結果如表1所示，采用LSTM回歸方法得到的3個參數(shù)的測量曲線如圖5所示。

表1 不同測量模型的性能比較

圖5 磨機負荷參數(shù)測量結果

從表1中可以看出，相比于其他回歸方法，本文提出的LSTM回歸方法在3個負荷參數(shù)的估計中RMSE 誤差均達到了最小值。這是由于在傳統(tǒng)的回歸方法中，當使用數(shù)學模型來逼近輸入與輸出之間的映射關系時，大多數(shù)方法通過輸入單個變量值估計輸出，而未考慮變量間的時間因素，使得相鄰變量間包含的時間信息丟失，從而使得信息挖掘不充分導致模型的預測精度降低。本文提出的LSTM回歸方法通過輸入多個相鄰的變量建立模型，有較多的數(shù)據(jù)信息輸入模型，從而使得建立的模型有較好的泛化性能和較高的預測精度。

從圖5中可以看出，采用LSTM回歸方法得到的負荷參數(shù)曲線與真實值的擬合程度較高，從而驗證了本文方法的有效性。

實驗采用振動信號與振聲信號集成作為輸入數(shù)據(jù)，與單獨采用振聲信號和振動信號所得實驗結果進行比較，如表2所示。實驗結果表明集成信號對環(huán)境影響具有更高的魯棒性。

表2 不同輸入信號下的參數(shù)測量性能比較

5 結論

針對傳統(tǒng)的磨機負荷參數(shù)軟測量模型中未考慮變量間的時間尺度信息使得模型的測量精度不高的問題，本文提出了一種基于LSTM神經(jīng)網(wǎng)絡的磨機負荷參數(shù)軟測量模型，首先通過Welch 算法對樣本進行轉換，并采用編碼神經(jīng)網(wǎng)絡提取樣本特征，最后建立LSTM回歸模型用于測量磨機負荷參數(shù)。通過將筒體振動信號以及振聲信號結合進行建模，進一步提高了模型的泛化性能。實驗結果表明，通過LSTM回歸模型預測負荷參數(shù)可以獲得較高的預測精度。

[1] 張立巖,柴天佑.氧化鋁回轉窯制粉系統(tǒng)磨機負荷的智能控制[J].控制理論與應用,2010,27(11):1471-1478.

[2] 湯 健,柴天佑,叢秋梅,等.基于EMD和選擇性集成學習算法的磨機負荷參數(shù)軟測量[J].自動化學報,2014,40(9):1853-1866.

[3] Tang J,Zhao L,Yu W,et al.Soft sensor modeling of ball mill load via principal component analysis and support vector machines [J].Advances in Neural Network Research and Applications.Springer Berlin Heidelberg,2010,803-810.

[4] Tang J，Wang D H，Chai T Y．Predicting mill load using partial least squares and extreme learning machines[J]．Soft Computing,2012,16(9): 1585-1594．

[5] 康 巖,盧慕超,閻高偉.基于DBN- ELM的球磨機料位軟測量方法研究[J].儀表技術與傳感器,2015,(4): 73-75.

[6] 桂衛(wèi)華,陽春華,陳曉方,等.有色冶金過程建模與優(yōu)化的若干問題及挑戰(zhàn)[J].自動化學報,2013,39(3):197-207.

[7] 湯 健,柴天佑,趙立杰,等.基于振動頻譜的磨礦過程球磨機負荷參數(shù)集成建模方法[J].控制理論與應用,2012,29(2):183-191.

[8] Tang J,Chai T,Yu W,et al.Modeling load parameters of ball mill in grinding process based on selective ensemble multisensor information[J].IEEE Transactions on Automation Science & Engineering,2013,10(3):726-740.

[9] Jozefowicz R,Zaremba W,Sutskever I.An empirical exploration of recurrent network architectures[J].2015.

[10] Kingma D,Ba J.Adam: a method for stochastic optimization[J].Computer Science,2015.

[11] Zaremba W,Sutskever I,Vinyals O.Recurrent neural network regularization[J].Eprint Arxiv,2014.

[12] Zhou yue,Si Gangquan,Cao Hui,Jia Lixin,Zhang Yanbin.A study of the power spectrum analysis application to ball mill load measurement[J].Industrial Instrumentation & Automation,2006,35(6): 21-24,32.

[13] Sapankevych N I,Sankar R.Time series prediction using support vector machines: a survey[J].IEEE Computational Intelligence Magazine,2009,4(2): 24-38.

[14] Freund Y.Experiment with a new boosting algorithm[C].Thirteenth International Conference on Machine Learning,1996.148-156.

Application of improved LSTM neural network in soft sensing of mill load parameters

Ball mill is a kind of high energy consuming equipment used in grinding. Reliable measurement of mill load is of great significance to optimize the system control and energy saving. According to the traditional soft measurement model of mill load parameter which has not considered the time scale information between characteristic samples and the information of latent variables between the cylinder vibration and acoustic signal is difficult to fully discover, a soft measurement method of mill load parameters based on improved long short term memory (LSTM)neural network is proposed. First of all, the spectrum of mill shell vibration and acoustic signal is obtained. Then the encoding neural network is used for feature extraction, and a LSTM neural network is applied to build a soft measurement regression model for detecting the parameters of mill load. At last, the experimental verification is carried out in a laboratory ball mill. The experimental results show that the method has high prediction accuracy and good stability.

wet ball mill; soft sensing; long short term memory neural network; mill load

TD679

A

2017-02-27

2017-05-04

保 羅(1989-)，男，玻利維亞留學生，碩士研究生，主要研究方向為智能信息處理。

國家自然科學基金資助項目(61450011)；山西省自然科學基金項目(2015011052)；山西省煤基重點科技攻關項目(MD 2014- 07)

1672-609X(2017)03-0066-04