基于KNN-LSTM神經網(wǎng)絡模型的爐溫預測

駱文輝

（長三角信息智能創(chuàng)新研究院，安徽蕪湖 241000)

0 引言

水泥行業(yè)是典型的流程型工業(yè)，主要生產過程可以概括為“三磨一燒”：生料磨、煤磨、水泥磨以及回轉窯燒制。水泥回轉窯工作狀態(tài)直接決定水泥的質量，溫度的控制效果直接影響熟料游離氧化鈣的含量，進而決定了水泥熟料的產品質量。回轉窯燒成系統(tǒng)要求形成0.32～5.0 cm 的球形熟料結塊，理化反應十分復雜，氣、液、固三相并存，是一個多變量、強干擾、大滯后的非線性系統(tǒng)[1]。因此，如何預測控制回轉窯溫度并穩(wěn)定控制爐溫對回轉窯熱工參數(shù)調節(jié)、穩(wěn)定窯況以及水泥熟料的正常生產和水泥質量合格率的提高具有重要意義。

文章以某水泥公司產線傳感器回傳數(shù)據(jù)為基礎，依據(jù)流程型企業(yè)生產對歷史數(shù)據(jù)的依賴性，采用時間序列算法分析輸入變量的歷史趨勢，綜合考慮時間節(jié)點之間的相關性，通過Gaussian_KNN（高斯加權的K最鄰近法）對回轉窯分解爐溫度上下游參數(shù)的歷史數(shù)據(jù)進行賦權后，應用LSTM(Long Short-Term Memory Network,長短期記憶神經網(wǎng)絡）的Sequential模型來進行預測。實驗結果表明，與其他模型相比，KNN-LSTM能夠更加準確地學習歷史數(shù)據(jù)中各節(jié)點儲存的信息以及節(jié)點之間的相關性，表現(xiàn)出更加準確的預測性能。

1 原理和方法

1.1 Gaussian_KNN

根據(jù)k個最近的鄰居的狀態(tài)來決定樣本的狀態(tài)。KNN 算法的核心思想是，基于某種距離度量，找出此樣本與其最近的K個樣本，如果K個最相鄰的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性。但KNN算法存在以下問題[2]：如果初始數(shù)據(jù)集樣本數(shù)目不平衡，極易導致k個鄰居投票類別的參與概率不一樣。也就是說，k個鄰居中，較大樣本數(shù)的類別其所屬的樣本占了絕大多數(shù)。采用Gaussian 函數(shù)進行不同距離的樣本的權重優(yōu)化，使得訓練樣本與測試樣本的距離與權重呈相反方向。給更近的鄰居分配更大的權重，而較遠鄰居的權重相應減少，取其加權平均。

1.2 LSTM

LSTM 是一種特殊的遞歸神經網(wǎng)絡，是循環(huán)神經網(wǎng)絡(RNN)的一種變體[3]。它通過在適當?shù)奈恢锰砑印伴T”結構來解決信息冗余的問題；在流經神經元時，允許信息被選擇性地保留或遺棄，從而增強了原始信息的權重，并削弱了不相關信息的權重，解決了傳統(tǒng)遞歸神經網(wǎng)絡中梯度消失、梯度爆炸、無法處理長期依賴等問題[4]。文章根據(jù)時間序列的特點，考慮時間節(jié)點之間的相關性，利用高斯優(yōu)化過的KNN 算法，挑選對當前時刻影響較大的前k個時間節(jié)點，并賦予相應的權重來計算過往時刻對當下的影響大小。距離越近，Gaussian函數(shù)計算后的權重越大，說明對當下時刻的影響越大。

1.3 KNN-LSTM

設di,j表示時間節(jié)點i與時間節(jié)點j之間的距離，則：

其中m為時間序列節(jié)點的維度，n為時間序列長度；

Wi,j表示時間節(jié)點j對時間節(jié)點i的影響權重：

其中，a是距離曲線尖峰的高度，b是尖峰中心的坐標，c稱為標準方差；

設為第i個時間節(jié)點的第j個近鄰點，則：

對賦予權重Wi,j，則：

考慮到時間序列模型依賴于數(shù)值在時間上的先后順序，首先對分解爐溫度序列進行平穩(wěn)性檢驗。平穩(wěn)性檢驗為了確定沒有隨機趨勢或確定趨勢，否則將會產生“偽回歸”問題。依據(jù)ADF單位根檢驗，結果如圖1所示，adf＜CV(1%)能拒絕原假設，即原序列不存在單位根，原序列為平穩(wěn)序列。根據(jù)此結論，時間序列模型將歷史時間節(jié)點（即t-k時刻）中分解爐溫度對當下時刻（即t時刻）的權重定義為1，即：

圖1 分解爐溫度序列ADF單位根檢驗結果圖

通過時間窗口的滑窗操作將時間序列從無監(jiān)督轉為監(jiān)督學習問題?；安僮鳟a生的數(shù)據(jù)集包含k×m列數(shù)據(jù)，如圖2所示（圖中k取10)，其中k是滑窗的步長，m為時間序列節(jié)點的維度。當前時刻（即t時刻）分解爐溫度序列為主序列，也就是目標序列；其余km-1 列為子序列，轉化后的監(jiān)督學習問題將歷史時間序列作為特征序列，剔除子序列中當前時刻（即t時刻）下m-1列序列，剩余子序列為特征序列。將特征序列賦予權重Wi,j，則新的特征序列為：

其中k為滑窗的步長，n為滑窗操作后時間序列的長度；

目標序列為：

其中k為滑窗的步長，n為滑窗操作后時間序列的長度；

為了評價該方法的有效性，采用R-square確定系數(shù)，R-square越接近1，模型準確率越高，反之，模型準確率越低。

R-square:

2 實驗

實驗數(shù)據(jù)來自水泥公司某號產線傳感器回傳數(shù)據(jù)，如圖3所示，包含二次風溫，生料喂料速度(t/h)，煤粉喂料速度(t/h)，喂煤電機轉速，喂煤秤負載，喂料閥門開度(%) 和分解爐溫度，時間為2022.7.11 0:00 至2022.7.13 2:00，共3 001 組數(shù)據(jù)，其中80%作為訓練集，20%作為測試集。

2.1 參數(shù)選擇

1)滑動窗口k值的選取

綜合產線及生產實際，實驗數(shù)據(jù)的采樣頻率為1分鐘，考慮到水泥產線各生產環(huán)節(jié)的工藝不同，不同位置所采集到的數(shù)據(jù)，彼此間可能會存在一定的延時性，比如煤粉喂料速度t/h與分解爐溫度之間就存在延時性。因此，k值的選擇非常關鍵，不宜過小或過大，應當選擇在合適的區(qū)間內，將k值假定在[1,10]區(qū)間內，通過對比選取最優(yōu)值。

2)近鄰點個數(shù)N值的選取

近鄰點個數(shù)N值表示對當前時刻而言，會考慮歷史前N個時刻的數(shù)值變化會對當前時刻產生的影響。假設通過滑窗操作產生的前k個時刻都會對當前時刻產生影響，因此，近鄰點個數(shù)N值與滑動窗口k值保持一致。

3)網(wǎng)絡結構的選取

圖4 中的網(wǎng)絡預測框架利用了機器學習中的KNN 算法以及深度學習中的Sequential 模型，來搭建多維賦權KNN-LSTM模型。經過一系列對比實驗，設置了最佳的網(wǎng)絡超參數(shù)，其中包括1 個LSTM 層、1 個Dropout 層和1個全連接層，LSTM 層的節(jié)點數(shù)為50，Dropout層的舍棄率為0.2。訓練使用的損失函數(shù)為均方誤差(Mean Squared Error,MSE)，優(yōu)化器采用Adam，每次訓練的樣本大小batch_size為72,訓練的輪數(shù)epoch為50。

圖4 網(wǎng)絡結構圖

2.2 結果與分析

1)不同k值（滑動窗口）下，實驗結果對比與分析

KNN-LSTM 模型對當前時刻的分解爐溫度進行預測，根據(jù)模型的輸入，歷史時刻的數(shù)據(jù)信息，即t-k時刻，t-k+1時刻，t-k+2時刻…t-1時刻的二次風溫，生料喂料速度(t/h)，煤粉喂料速度t/h，喂煤電機轉速、喂煤秤負載、喂料閥門開度(%)和分解爐溫度。不同歷史時刻的數(shù)據(jù)信息分別乘以對應權重Wi,j，最終構成Sequential 模型的輸入。圖5 為k取[1,10]范圍內，KNN-LSTM 模型在測試集上的表現(xiàn)，評價方法為Rsquare。由表1可知，不同k值（滑動窗口）會帶來不同的歷史信息，會構成不同的模型輸入，對未來的預測結果也不盡相同。k=4時，模型準確率最高。因此，用當前時刻的前4個歷史時間節(jié)點的相關信息來預測當前時刻下的分解爐溫度最為準確。

表1 不同K值（滑動窗口）下，實驗結果對比與分析

圖5 滑動窗口，即k=4時，分解爐溫度預測值與實際值在測試集對比

2) KNN-LSTM(Gaussian_KNN) 對比ARMA，LSTM 以及KNN-LSTM（無Gaussian)

表2為分別用ARMA，LSTM，KNN-LSTM（無Gaussian)以及KNN-LSTM(Gaussian_KNN) 對當前時刻分解爐溫預測的結果（滑動窗口k=4)，評價方法同樣為R-square。由結果可知，KNN-LSTM(Gaussian_KNN) 可以更加有效地學習到過去4個時間節(jié)點的相關信息對當前時刻分解爐溫的影響，并更加準確地預測當前時刻分解爐溫度。

表2 ARMA、LSTM、KNN-LSTM（無Gaussian)以及KNN-LSTM(Gaussian_KNN) 預測性能對比

3 結論

回轉窯的物理結構特殊，煅燒情況復雜，不易準確有效獲取窯內溫度。傳統(tǒng)的數(shù)據(jù)模型與機理模型很難去模擬回轉窯真實的工況狀態(tài)，無法準確預測和控制回轉窯內溫度的變化情況[4]。KNN-LSTM(Gaussian_KNN)通過分析回轉窯分解爐溫度上下游參數(shù)的歷史數(shù)據(jù)變化趨勢以及相關性，能夠有效地預測下一時刻分解爐溫度，在實際生產過程中，通過將預測值與實際值進行對比分析，判斷分解爐溫度的變化趨勢是否存在異常，能夠達到提升回轉窯預測性檢修的能力，從而保證窯內溫度持續(xù)穩(wěn)定，進而提高產品質量。本文實驗的主要結論如下：

根據(jù)時間序列的特點，對歷史趨勢的高度依賴以及時間節(jié)點之間的相關性，首先通過時間窗口的滑窗操作將時間序列從無監(jiān)督轉為監(jiān)督學習問題。通過實驗結果分析，發(fā)現(xiàn)滑窗操作k值的選擇尤為關鍵。k值并非越大，實驗準確率就越高。在一定區(qū)間內，選取適合的k值，預測性能越好。同時也可以判斷出，對當前時刻的分解爐溫度而言，此時選取的前k個時刻對當前爐溫的影響最為關鍵；

與傳統(tǒng)的ARMA 模型相比，基于深度學習的LSTM模型預測準確率更高。傳統(tǒng)的ARMA模型只能考慮到分解爐溫度單一時間序列的變化趨勢，而忽略了與分解爐相關參數(shù)的變化趨勢所帶來的影響；LSTM 模型相比于傳統(tǒng)的ARMA 模型，不僅將分解爐溫度的變化趨勢考慮到模型中，也將分解爐上下游的相關參數(shù)，如二次風溫、生料喂料速度(t/h)、煤粉喂料速度(t/h)、喂煤電機轉速、喂煤秤負載、喂料閥門開度(%)考慮到模型中，使得模型可以學習到更多、更準確的歷史信息，從而使模型的預測性能大幅提高。

與LSTM 相比，KNN-LSTM 的預測效果更好。KNN-LSTM 在數(shù)據(jù)傳入LSTM 模型之前，會根據(jù)歷史時間節(jié)點各維度與當前時刻各維度的距離進行相應的權重賦值。KNN-LSTM（無Gaussian)采用時間節(jié)點間距離的倒數(shù)作為權重，而KNN-LSTM(Gaussian_KNN)采用Gaussian 函數(shù)進行不同距離樣本的權重優(yōu)化，當時間節(jié)點間的距離增大，該距離值權重減少，反之增加。從實驗結果可知，KNN-LSTM(Gaussian_KNN)更加能夠擬合歷史各時間節(jié)點對當前時刻分解爐溫度影響的權重大小，使得數(shù)據(jù)傳入LSTM 模型前的信息更加準確，從而使模型的預測性能提高。