K-Similarity降噪的LSTM神經(jīng)網(wǎng)絡水質(zhì)多因子預測模型①

劉晶晶,莊 紅,鐵治欣,程曉寧,丁成富

1(浙江理工大學 信息學院,杭州 310018)

2(聚光科技(杭州)股份有限公司,杭州 310052)

地表水是人類用水的重要來源之一,人類每天生活用的自來水就是地表水經(jīng)過加工后提供的,由于工業(yè)廢水排放和人為生活廢水亂排等原因,導致地表水污染嚴重,水體中的氮、磷等元素含量增加,水污染問題已經(jīng)嚴重破壞了生態(tài)環(huán)境[1].為了有效的進行地表水水質(zhì)管理和保護,目前很多專家和學者積極進行水質(zhì)污染防控的研究,同時也迫切需要對地表水監(jiān)測因子進行分析預測,以便提供多方面的管理決策.

目前常用水質(zhì)監(jiān)測因子的預測方法有人工神經(jīng)網(wǎng)絡、深度循環(huán)神經(jīng)網(wǎng)絡、灰色預測模型等等,吳旭東、李映曦等[2]人利用基于徑向基的RBF神經(jīng)網(wǎng)絡算法建立水質(zhì)評價預測模型,實驗結(jié)果預測準確率較高;楊祎玥等[3]人利用深度循環(huán)神經(jīng)網(wǎng)絡的時間序列預測模型結(jié)合小波變換方法,采用時間進化反向傳播算法(BPTT),更新網(wǎng)絡權(quán)值進行訓練,減少了水文序列預測的滯后;張青、袁宏林等[4,5]人建立BP神經(jīng)網(wǎng)絡水質(zhì)預測模型對水質(zhì)相關(guān)指標進行預測,取得了良好的效果;李宣諭等[6]人利用動態(tài)灰色可修正模型以一定的權(quán)重對不同預測模型的預測值加權(quán)進行水質(zhì)預測,得到了較好的結(jié)果;這些算法雖然各有優(yōu)點,但是在輸入數(shù)據(jù)的噪音處理以及算法模型對時間序列的數(shù)據(jù)分析上還有欠缺,LSTM神經(jīng)網(wǎng)絡具有選擇記憶的特點,任君等[7]人用LSTM做了關(guān)于股票指數(shù)預測的研究,得到了良好的結(jié)果,通過查找相關(guān)文獻發(fā)現(xiàn)利用LSTM對地表水水質(zhì)的預測鮮有報道,因此,提出了一種基于KSimilarity降噪的LSTM神經(jīng)網(wǎng)絡水質(zhì)多因子預測方法,本算法能夠降低數(shù)據(jù)噪聲,提高預測準確度.在相同的條件下,利用某站點地表水水質(zhì)監(jiān)測數(shù)據(jù)進行仿真對比實驗,證實了所提出預測模型的優(yōu)越性.

1 LSTM算法原理

長短期記憶[8,9](Long Short-Term Memory neural network,LSTM)是一種特殊形式的遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Networks,RNN),它的選擇性記憶功能和其單元內(nèi)部的門控(輸入門、輸出門、遺忘門)結(jié)構(gòu)改進了遞歸神經(jīng)網(wǎng)絡,其基本思想是神經(jīng)元受控于多個門控,以此來克服神經(jīng)網(wǎng)絡中的梯度消失,能夠深入挖掘時間序列中的固有規(guī)律.LSTM神經(jīng)網(wǎng)絡的每個細胞有三個門控,輸入門(Input gate)、遺忘門(Forget gate)和輸出門(Output gate),其模塊結(jié)構(gòu)如圖1所示,圓圈表示逐點運算,矩形表示神經(jīng)網(wǎng)絡層.

圖1 LSTM門控模塊結(jié)構(gòu)圖

設it,ft,ot分別表示在t時刻輸入門的值、遺忘門的值和輸出門的值,則:

其中,xt表示t時刻輸入數(shù)據(jù),ht1表示t-1時刻LSTM單元輸出值,Ct1表 示t-1時刻記憶單元值,Ct表示t時刻記憶單元值;W?Δ為權(quán)重系數(shù)(例如Wxi表示對應輸入數(shù)據(jù)和輸入門之間的權(quán)值);b?為偏置向量(例如bi為 輸入門的偏置向量).σ為sigmoid函數(shù),取值為[0,1],當取0值時表示門控關(guān)閉,取1值時表示門控打開,其公式如式(4).

Ct表示當前候選記憶單元值,計算公式如式(5)所示,計算當前時刻記憶單元狀態(tài)值Ct的迭代公式如式(6)所示,tanh為雙曲正切激活函數(shù),其計算公式如(7)所示.

其中,Wxc為對應輸入數(shù)據(jù)和記憶單元之間的權(quán)值,Whc為隱藏層和記憶單元之間的權(quán)值.

設有n(n>0)維輸入x1,x2,···,xn,m(m>0)維網(wǎng)絡的隱藏層狀態(tài)序列h1,h2,···,hm,k(k>0)維輸出序列y1,y2,···,yk,yt是t時刻LSTM單元的輸出,計算公式如式(8)所示.

2 K-Similarity降噪的LSTM水質(zhì)多因子預測模型

2.1 數(shù)據(jù)樣本確定

本文以某站點的地表水水質(zhì)監(jiān)測數(shù)據(jù)為研究對象,由于有多種因子對水質(zhì)有影響,因此在預測水質(zhì)中的某一因子時,其他的因子對其含量的變化影響也不容小覷,因此采用LSTM構(gòu)建水質(zhì)多因子預測模型.

所謂的多因子預測,是指在同一時刻的水質(zhì)中含有的多種監(jiān)測因子的指標數(shù)據(jù)是受其他因子相互作用和影響的,利用多個因子的相互作用來共同預測下一時刻的某一因子的指標數(shù)據(jù).把每個因子的數(shù)值當做高維空間對應坐標軸中的坐標,多個因子共同組成高維空間中的向量.

根據(jù)地表水環(huán)境質(zhì)量標準以及水質(zhì)因子相互影響的因素,最終選取水溫(x1)、PH(x2)、氨氮(x3)、總磷(x4)、高錳酸鹽指數(shù)(x5)、溶解氧(x6)、總鉛(x7)、電導率(x8)共8個指標作為模型輸入?yún)?shù),同時,將這8個指標作為輸出參數(shù)水溫(y1)、PH(y2)、氨氮(y3)、總磷(y4)、高錳酸鹽指數(shù)(y5)、溶解氧(y6)、總鉛(y7)、電導率(y8).從某地表水水質(zhì)監(jiān)測站點采集2017年10月12日到2018年3月1日地表水水質(zhì)監(jiān)測因子相關(guān)數(shù)據(jù),采集時間周期為4個小時采樣一次,所選擇數(shù)據(jù)樣本部分數(shù)據(jù)如表1所示.

表1 部分樣本數(shù)據(jù)信息表

2.2 數(shù)據(jù)預處理

由于監(jiān)測站點采集的數(shù)據(jù)因子指標范圍較大,數(shù)據(jù)參差不齊,并且數(shù)據(jù)樣本由八個不同指標組成,這些指標具有不同的量綱和量級.為了保證時間序列數(shù)據(jù)趨于穩(wěn)定以及模型的高效性,首先對數(shù)據(jù)進行歸一化處理,將其轉(zhuǎn)換到[0,1]之間.本文采用最大值最小值歸一化方法進行處理,公式如式(9):

公式中xmax和xmin為同一水質(zhì)監(jiān)測因子的樣本數(shù)據(jù)的最大值和最小值,xt為原始樣本數(shù)據(jù),x0t為歸一化后的數(shù)值.

2.3 K-Similarity方法降噪過程

K-Similarity降噪法是本文提出的一種應用于高維空間向量簇中判別噪聲的方法,它是通過將N個數(shù)據(jù)對象劃分為K個類簇,K的意義類似于K-Means算法[10,11]中的聚類數(shù)目;在每個類簇中將向量余弦相似度[12,13](即Similarity)作為噪聲判別指標去除噪聲.若輸入類簇數(shù)目為K、數(shù)據(jù)對象為N則具體流程如下:

(1)將樣本中數(shù)據(jù)劃分為K個類簇,計算每個類簇的質(zhì)心[14](即重心向量,是衡量向量簇中的向量偏離度或相似度的重要指標)作為類簇中心.

(2)對每個類簇,計算類簇內(nèi)各向量到其質(zhì)心的余弦相似度.

(3)根據(jù)向量余弦相似度的大小來判別噪聲.

通過參考相關(guān)文獻資料[15,16]發(fā)現(xiàn),近似簡諧波變化規(guī)律的數(shù)據(jù)在降噪過程中能更容易的將偏差過大的向量分辨出來,本文所選用的地表水水質(zhì)監(jiān)測數(shù)據(jù)也呈現(xiàn)出隨著時間有近似周期變化的規(guī)律.因此利用本文提出的K-Similarity降噪法對LSTM預測模型的輸入數(shù)據(jù)進行降噪.

設LSTM中N個樣本數(shù)據(jù)按照時間t1,t2,···,tn排列,并且根據(jù)batch_size(即批量大小)劃分成數(shù)據(jù)段進行輸入,每個數(shù)據(jù)段中的數(shù)據(jù)是由time_step(即窗口大小)決定的.規(guī)定K-Similarity降噪法的每個類簇的輸入數(shù)量設為程序中LSTM的訓練集初始化參數(shù)time_step的值,即每個向量簇的大小是time_step.也即是t1,t2,···,ttime_step對應的數(shù)據(jù)為第一個類簇,t2,t3,···,ttime_step+1對應的數(shù)據(jù)為第二個類簇,tntime_step+1,tntime_step+2,···,tn對應的數(shù)據(jù)為最后一個類簇,依照上述方法將全部樣本數(shù)據(jù)劃分為多個類簇.因此,類簇數(shù)目即K值為(N-time_step+1).

為了使降噪更加高效穩(wěn)定,首先將輸入向量進行單元化(將原有的高維空間向量長度歸一),然后再計算向量簇的質(zhì)心,計算公式如式(10)和式(11),為空間向量,是向量簇的質(zhì)心,是向量簇中的向量,n是向量簇中向量的數(shù)量.

數(shù)據(jù)中的噪聲向量往往與相鄰或者相近的數(shù)據(jù)呈現(xiàn)較大差異,在高維空間中主要體現(xiàn)在噪聲向量與重心向量之間的夾角差距遠遠大于其他多數(shù)非噪聲向量與重心向量之間的夾角的差距.若兩個向量的交角越小,余弦值就越大,兩個向量也就越相似.余弦相似度計算公式如式(12),其中和是n維空間的兩個向量,θ是這兩個向量的夾角.

利用K-Similarity法降噪的具體步驟如下:

(1)確定類簇數(shù)目K,計算類簇質(zhì)心作為類簇中心.

(2)對于每個向量簇,按照1)-3)進行計算.

1)根據(jù)公式(12)計算簇內(nèi)各對象到其質(zhì)心的余弦相似度(即降噪有效性指標).

2)按照余弦相似度升序排序,計算最小值j和次小值k的相對誤差r=jjkj/jjj.

3)人工設定一個閾值λ,如果r不大于λ,則不做改變;如果r大于λ ,則將原向量定義為噪聲,若被判定是噪聲,那么將噪聲向量在時間序列中的相鄰兩向量(即數(shù)組中噪聲向量的前后相鄰向量)的平均向量作為噪聲的替代向量,計算公式如式(13).

(3)當所有數(shù)據(jù)類簇完成降噪即去除每個類簇中最大的噪聲向量時結(jié)束.

2.4 K-Similarity降噪的LSTM水質(zhì)多因子預測模型流程

K-Similarity降噪的LSTM水質(zhì)多因子預測模型主要可分為三步:

(1)數(shù)據(jù)采集預處理部分,首先對大量數(shù)據(jù)樣本進行整合處理,將無用數(shù)據(jù)和缺失數(shù)據(jù)刪除,按照時間先后進行排列作為實驗的有效數(shù)據(jù)進行分析.

(2)K-Similarity降噪部分,見上一節(jié).

(3)LSTM算法部分,通過降噪后的訓練數(shù)據(jù)進行模型訓練,選擇Adam算法[17]進行優(yōu)化,設置學習率來更新權(quán)重減少損失,最后使用測試集數(shù)據(jù)進行驗證.模型流程圖如圖2所示.

本文選取均方誤差MSE(Mean Squared Error)來評價預測性能,均方誤差是指參數(shù)估計與參數(shù)真值之差平方的期望值,計算公式如(14)所示,yt是真實數(shù)據(jù)值,pt是預測值.

圖2 模型流程圖

3 實驗結(jié)果分析

實驗平臺和環(huán)境: 實驗所使用計算機配置如下: 處理器為2.3 GHz Intel Core i5,內(nèi)存為8 GB,操作系統(tǒng)為macOS High Sierra 10.13.2;程序設計語言為Python2.7.10;集成開發(fā)環(huán)境為Pycharm Professional 2016.2.3;程序中TensorFlow由1.6.0版本實現(xiàn)、scikit-learn由0.19.1版本實現(xiàn).實驗相關(guān)參與設置:LSTM時間步長time_step為20,隱層單元數(shù)為10,批量大小batch_size為60,學習率為0.001.針對獲取的783個數(shù)據(jù)樣本,將前743個作為模型訓練數(shù)據(jù),后40個作為模型驗證數(shù)據(jù),進行預測.

為了驗證本文提出的預測模型的有效性,選取BP神經(jīng)網(wǎng)絡、RNN、傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡等預測模型進行對比實驗.四個預測模型均在相同的實驗平臺和環(huán)境下進行實驗,對于BP神經(jīng)網(wǎng)絡采用三層神經(jīng)網(wǎng)絡,11個隱層單元,學習率為0.001;對于RNN采用10個隱層單元,學習率為0.001,時間周期為20,激活函數(shù)采用relu函數(shù);對于本文K-Similarity降噪的LSTM和傳統(tǒng)的LSTM均采用Adam隨機梯度下降算法進行優(yōu)化,損失函數(shù)使用均方誤差MSE進行評價.為了消除一次實驗結(jié)果的偶然性,對每種算法模型進行50次實驗,計算出相應的誤差.實驗對每個模型均進行了100次迭代,并且在每次迭代完成后計算其均方誤差,并繪制出誤差對比結(jié)果圖,如圖3所示.從圖3中可以看出,四種模型隨迭代次數(shù)均方誤差的變化情況,本文通過K-Similarity降噪的LSTM神經(jīng)網(wǎng)絡模型與BP神經(jīng)網(wǎng)絡、RNN和傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡模型相比誤差明顯降低.

圖3 誤差對比結(jié)果圖

為了更加直觀的看出K-Similarity降噪后的算法在預測效率上的提高,以及模型對于每個因子的預測效果,分別選取測試集的12個數(shù)據(jù),繪制八個因子的實際數(shù)據(jù)與預測數(shù)據(jù)對比圖,如圖4至圖11.從圖中可以看出,降噪后的算法模型的預測結(jié)果曲線和實際數(shù)值更加吻合,與實際情況更加符合,預測結(jié)果更加準確.

圖4 水溫(x1)預測結(jié)果圖

圖5 PH(x2)預測結(jié)果圖

圖6 氨氮(x3)預測結(jié)果圖

圖7 總磷(x4)預測結(jié)果圖

根據(jù)測試集數(shù)據(jù)計算每個因子的平均相對誤差E,計算公式如式(15)所示.

每個因子的平均相對誤差計算結(jié)果如表2所示,從表中可知,本文提出的算法預測模型平均相對誤差相比于傳統(tǒng)的LSTM模型大大降低.水溫平均相對誤差比之前降低了51.4%,PH平均相對誤差比之前降低了64.1%,氨氮平均相對誤差比之前降低了65.3%,總磷平均相對誤差比之前降低了55.9%,高錳酸鹽指數(shù)平均相對誤差比之前降低了79.4%,溶解氧平均相對誤差比之前降低了44.9%,總鉛平均相對誤差比之前降低了84.5%,電導率平均相對誤差比之前降低了84.2%.

圖8 高錳酸鹽指數(shù)(x5)預測結(jié)果圖

圖9 溶解氧(x6)預測結(jié)果圖

圖10 總鉛(x7)預測結(jié)果圖

圖11 電導率(x8)預測結(jié)果圖

從以上實驗結(jié)果可知,本文提出的預測模型均方誤差最小,并且每個預測因子的平均相對誤差均明顯降低,預測結(jié)果更加準確.因此本文提出的模型可以應用到地表水水質(zhì)因子預測中,為地表水水質(zhì)預測提供參考.

表2 預測因子平均相對誤差表(%)

4 結(jié)論

本文首先針對地表水水質(zhì)預測的多因子影響因素建立高維空間坐標體系,利用最大值最小值歸一化方法對監(jiān)測站點水質(zhì)因子數(shù)據(jù)進行數(shù)據(jù)預處理,簡化了數(shù)據(jù)的波動和復雜性,然后將K-Similarity降噪法與LSTM算法結(jié)合,通過計算高維空間中向量的余弦相似度來去除噪聲,最后進行訓練和預測.實驗結(jié)果表明:本文提出的預測模型的均方誤差最小,預測結(jié)果曲線與實際數(shù)據(jù)更加吻合,平均相對誤差明顯降低,預測結(jié)果比BP神經(jīng)網(wǎng)絡、RNN和傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡模型更優(yōu),模型預測更加準確.在地表水水質(zhì)多因子預測方面能夠取得較好的效果,對于水質(zhì)預測具有重要的實踐意義.基于目前的研究,后續(xù)的主要研究工作是尋求更有效的參數(shù)優(yōu)化方法.