基于局部化雙向LSTM和狀態(tài)轉(zhuǎn)移約束的養(yǎng)殖水質(zhì)分類預(yù)測(cè)

商艷紅，張 靜

(唐山師范學(xué)院,河北 唐山 063000)

隨著人工智能和物聯(lián)網(wǎng)技術(shù)的發(fā)展，利用物聯(lián)網(wǎng)設(shè)備自動(dòng)采集養(yǎng)殖環(huán)境信息，進(jìn)而基于先進(jìn)的機(jī)器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)養(yǎng)殖水質(zhì)情況的自動(dòng)檢測(cè)和預(yù)測(cè)，已成為當(dāng)前智能化養(yǎng)殖業(yè)的研究熱點(diǎn)，對(duì)提高現(xiàn)代化水產(chǎn)養(yǎng)殖效率具有非常重要的經(jīng)濟(jì)價(jià)值和現(xiàn)實(shí)意義。目前，國(guó)內(nèi)外學(xué)者已經(jīng)做了許多關(guān)于水質(zhì)監(jiān)控和預(yù)測(cè)工作的研究。早期的研究工作主要圍繞水質(zhì)的實(shí)時(shí)監(jiān)控[1-3]，不能對(duì)水質(zhì)狀況進(jìn)行預(yù)測(cè)。隨著機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用，水質(zhì)預(yù)測(cè)研究成為該領(lǐng)域的一個(gè)研究熱點(diǎn)[4-5]。馬從國(guó)等[6]基于主成分分析技術(shù)對(duì)養(yǎng)殖水質(zhì)pH進(jìn)行預(yù)測(cè)和報(bào)警；胡海濤等[7]提出利用歷史時(shí)刻的參數(shù)值來預(yù)測(cè)將來時(shí)間段的參數(shù)值的方法；袁瑜等[8]基于BP神經(jīng)網(wǎng)絡(luò)對(duì)養(yǎng)殖水質(zhì)pH進(jìn)行預(yù)測(cè)；丁金婷等[9]利用模糊方法和BP神經(jīng)網(wǎng)絡(luò)對(duì)南美白對(duì)蝦水質(zhì)進(jìn)行預(yù)測(cè)；商志根等[10]利用多項(xiàng)式核函數(shù)和徑向基核函數(shù)的非負(fù)線性組合構(gòu)造核函數(shù)對(duì)作物需水量進(jìn)行預(yù)測(cè)。這些方法雖然在水質(zhì)預(yù)測(cè)方面取得了一定的成果，但是對(duì)于水質(zhì)各個(gè)參數(shù)之間的局部關(guān)系以及不同時(shí)間段數(shù)據(jù)的重要性差異沒有得到很好的挖掘利用，因此，其性能受到一定的影響。另一方面，基于深度學(xué)習(xí)的預(yù)測(cè)在各行各業(yè)都取得了有效的應(yīng)用[11]。王秀美等[12]將深度置信網(wǎng)絡(luò)(Deep Belief Nets，DBNs)用于小麥蚜蟲的短期預(yù)測(cè)；姚俊楊等[13]提出了基于深度置信網(wǎng)絡(luò)的藻類水華預(yù)測(cè)方法；譚娟等[14]采用深度學(xué)習(xí)的自編碼網(wǎng)絡(luò)方法進(jìn)行預(yù)測(cè)。雖然深度學(xué)習(xí)模型在許多預(yù)測(cè)應(yīng)用中都取得了較好的性能，但是這些深度模型對(duì)歷史中的所有信息都統(tǒng)一處理，沒有考慮不同歷史時(shí)間的數(shù)據(jù)對(duì)未來趨勢(shì)預(yù)測(cè)作用的不同。

1 基于雙向LSTM的局部特征數(shù)據(jù)挖掘

1.1 雙向LSTM

雙向LSTM網(wǎng)絡(luò)模型BiLSTM[15]是在LSTM[16]模型之上發(fā)展起來的，LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，簡(jiǎn)稱RNN)[17]的擴(kuò)展，是一種長(zhǎng)短期記憶模型(long short term memory)，主要目的是用來處理歷史數(shù)據(jù)中長(zhǎng)期依賴缺失的問題，其利用一個(gè)單元來存儲(chǔ)記憶，每個(gè)神經(jīng)單元(Cell)都有一個(gè)狀態(tài)。LSTM每個(gè)神經(jīng)單元都包含3種門結(jié)構(gòu)：輸入門(input gates)、遺忘門(forget gates)、輸出門(output gates)，通過門的控制，神經(jīng)單元的狀態(tài)可以進(jìn)行更新，LSTM的數(shù)據(jù)處理和傳輸過程如以下公式所示[5]：

it=σ(W(i)xt+U(i)ht-1+b(i))

(1)

ft=σ(W(f)xt+U(f)ht-1+b(f))

(2)

ot=σ(W(o)xt+U(o)ht-1+b(o))

(3)

ut=tanh(W(u)xt+U(u)ht-1+b(u))

(4)

Ct=iteut+fieCt-1

(5)

ht=ottanh(Ct)

(6)

式中：it、ft、ot和Ct表示t時(shí)刻對(duì)應(yīng)的三種門結(jié)構(gòu)和神經(jīng)單元的狀態(tài)；W∈Rk·|xt|，U∈Rk·k和b∈Rk·1為模型的參數(shù)；k為L(zhǎng)STM神經(jīng)元的個(gè)數(shù)；i∈Rk·1是輸入門；σ為sigmoid函數(shù)；e表示兩個(gè)向量對(duì)應(yīng)位置的元素相乘的操作；u∈Rk·1為上一位置輸出的特征表示和當(dāng)前輸入的特征表示組合后形成的新的特征表示；c∈Rk·1為存儲(chǔ)數(shù)據(jù)信息的內(nèi)部神經(jīng)單元；ht即為神經(jīng)單元的狀態(tài)輸出。

LSTM的結(jié)構(gòu)如圖1所示，圖中的符號(hào)表示公式(1)～(6)之間的關(guān)系，LSTM神經(jīng)單元通過門(gate)結(jié)構(gòu)控制信息的輸入和輸出，門結(jié)構(gòu)被用來讓信息選擇性地進(jìn)行傳輸。

圖1 LSTM結(jié)構(gòu)圖Fig.1 Architecture of LSTM

雙向LSTM(BiLSTM) 的目的是解決單向LSTM無法處理后續(xù)信息的問題。單向LSTM只能在一個(gè)方向上處理數(shù)據(jù)，而BiLSTM可以利用歷史信息和未來信息來學(xué)習(xí)當(dāng)前狀態(tài)信息，其結(jié)構(gòu)如圖2所示。其中自前向后循環(huán)神經(jīng)網(wǎng)絡(luò)層的更新公式為[7]：

(7)

自后向前循環(huán)神經(jīng)網(wǎng)絡(luò)層的更新公式為：

(8)

兩層循環(huán)神經(jīng)網(wǎng)絡(luò)層疊加后輸入隱藏層：

(9)

圖2 雙向LSTM結(jié)構(gòu)Fig.2 Framework of Bi-LSTM

LSTM網(wǎng)絡(luò)模型在許多應(yīng)用中都取得了重大成功[21]。主要是因?yàn)椴捎糜洃浬窠?jīng)單元控制如何丟棄和更新神經(jīng)單元的信息，能夠把序列數(shù)據(jù)中的遠(yuǎn)距離依賴信息引入到模型的學(xué)習(xí)當(dāng)中。因此，LSTM網(wǎng)絡(luò)模型可以使用到養(yǎng)殖水質(zhì)預(yù)測(cè)問題中，即根據(jù)水質(zhì)的歷史數(shù)據(jù)預(yù)測(cè)其未來情況。

1.2 局部化雙向LSTM

盡管LSTM和BiLSTM比早期的RNN能夠更加有效地記憶更長(zhǎng)距離的信息，但是在數(shù)據(jù)的持續(xù)處理過程中仍然會(huì)造成信息的不斷衰減，這使得LSTM不能有效地捕獲局部特征對(duì)水質(zhì)的影響，因?yàn)椴煌瑫r(shí)間段水質(zhì)的特點(diǎn)是不一樣的，其對(duì)水質(zhì)變化的影響也是不一樣的。為了充分利用歷史時(shí)間段中不同時(shí)刻的水質(zhì)信息來預(yù)測(cè)未來時(shí)刻的水質(zhì)情況，提出一種局部化的雙向LSTM網(wǎng)絡(luò)模型CovBiLSTM。該模型利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的卷積和Max pooling方法作用于BiLSTM得到的中間層表達(dá)上，進(jìn)而融合養(yǎng)殖水質(zhì)序列數(shù)據(jù)當(dāng)中的局部特征信息得到更加有效的數(shù)據(jù)表達(dá)，基于此，可更加有效地預(yù)測(cè)水質(zhì)情況。

CovBiLSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 CovBiLSTM結(jié)構(gòu)Fig.3 Framework of CovBiLSTM

首先把BiLSTM網(wǎng)絡(luò)每個(gè)單元的兩個(gè)方向的輸出向量合并成一個(gè)向量，然后所有單元的輸出就構(gòu)成了矩陣，在該矩陣上利用卷積函數(shù)進(jìn)行卷積處理，然后利用max pooling處理得到最終向量，最后在該向量上利用Softmax處理得到該輸入屬于各個(gè)類別的值的大小，取值最大的類別作為預(yù)測(cè)結(jié)果。使用窗口大小為k的卷積核進(jìn)行變換操作，即一次性輸入k個(gè)向量，輸出一個(gè)向量，卷積函數(shù)如下所示：

dj=hi:i+kWj+bj

(10)

式中：hi:i +k=[hi;hi+1;…;hi+k-1]∈Rd×k;Wj∈Rk×1;dj,bj∈Rd。

然后，對(duì)所有的dj進(jìn)行Max pooling操作得到最終的向量o∈Rd，即對(duì)每一維，取所有向量中的最大值，組成最終向量該維所對(duì)應(yīng)的值，最后把向量o輸入到Softmax分類器中，對(duì)輸入的數(shù)據(jù)進(jìn)行分類。

2 基于CovBiLSTM和狀態(tài)轉(zhuǎn)移約束的CovBiLSTMST

(11)

式中：x和x′分別表示變量進(jìn)行歸一化處理前和處理結(jié)束后的取值；xmin和xmax分別表示數(shù)據(jù)集中的最小數(shù)值和最大數(shù)值。

實(shí)際上，當(dāng)前時(shí)間的養(yǎng)殖水質(zhì)依賴于歷史水質(zhì)情況，所以利用局部化雙向LSTM網(wǎng)絡(luò)建立在歷史數(shù)據(jù)的基礎(chǔ)之上來預(yù)測(cè)下一時(shí)刻的水質(zhì)情況。水質(zhì)的預(yù)警級(jí)別為4類，即無警、輕警、中警和重警，分別對(duì)應(yīng)水質(zhì)正常、水質(zhì)較差、水質(zhì)很差和水質(zhì)極差。因此，水質(zhì)的預(yù)測(cè)在本文被當(dāng)作一個(gè)分類問題。在本模型中，使用一個(gè)Softmax分類器來預(yù)測(cè)從雙向LSTM網(wǎng)絡(luò)學(xué)習(xí)到的數(shù)據(jù)向量o所屬的水質(zhì)預(yù)警類別：

(12)

(13)

(14)

式中：ci∈Rm是one-hot表示；yi∈Rm表示對(duì)于輸入數(shù)據(jù)預(yù)測(cè)每個(gè)類別的概率(m是水質(zhì)預(yù)警預(yù)測(cè)目標(biāo)類別個(gè)數(shù))。

另一方面，養(yǎng)殖水質(zhì)是逐步變化的，相鄰時(shí)間段水質(zhì)的類別分布不是相互獨(dú)立的，即相鄰時(shí)間段的水質(zhì)狀態(tài)一般不會(huì)相差太大。例如，如果當(dāng)前的水質(zhì)為正常狀態(tài)，下一個(gè)時(shí)間段的水質(zhì)為重警的概率就很小。利用轉(zhuǎn)移概率來建模連續(xù)時(shí)間段水質(zhì)狀態(tài)的依賴關(guān)系，因此提出基于CovBiLSTM和狀態(tài)轉(zhuǎn)移約束的水質(zhì)預(yù)測(cè)算法CovBiLSTMST，模型的目標(biāo)函數(shù)需要在CovBiLSTM目標(biāo)函數(shù)基礎(chǔ)之上再增加一個(gè)轉(zhuǎn)移代價(jià)函數(shù)：

(15)

式中：a(tt-1,yt)表示從t-1時(shí)刻的類別標(biāo)簽yt-1轉(zhuǎn)移到t時(shí)刻的類別標(biāo)簽yt的代價(jià)權(quán)重值，該權(quán)重值可以基于訓(xùn)練數(shù)據(jù)中類別標(biāo)簽轉(zhuǎn)換的概率值來計(jì)算，概率值越大轉(zhuǎn)移代價(jià)權(quán)重值越小，試驗(yàn)中用指數(shù)函數(shù)e-p(yt-1,yt)來計(jì)算，p(yt-1,yt)表示從類別標(biāo)簽yt-1轉(zhuǎn)移到類別標(biāo)簽yt的概率值。最終，模型的損失函數(shù)表示如下：

L(θ)=J(θ)+γT(θ)

(16)

為了訓(xùn)練局部化雙向LSTM，最直接的方法是以歷史中連續(xù)相等間隔采樣n單元的水質(zhì)特征數(shù)值作為模型輸入，模型的輸出與第n+1單元的數(shù)據(jù)進(jìn)行比較。另外，還嘗試?yán)梅堑乳g隔采樣的方法來訓(xùn)練模型，例如，利用序列(Dn,Dn-1,Dn-3,Dn-7,Dn-13,Dn-18,…)來預(yù)測(cè)第n+1單元水質(zhì)情況。這種方法采樣的數(shù)據(jù)歷史更長(zhǎng)，而且考慮了不同時(shí)間間隔的數(shù)據(jù)對(duì)未來水質(zhì)的不同影響。

3 試驗(yàn)

3.1 數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn)

提取唐山某養(yǎng)殖基地2017年9月1日—9月30日30 d的水質(zhì)數(shù)據(jù)。根據(jù)實(shí)際經(jīng)驗(yàn)，采樣間隔設(shè)為2 min，選取1 700組數(shù)據(jù)作為試驗(yàn)數(shù)據(jù)，每組數(shù)據(jù)都包含連續(xù)時(shí)間段的100個(gè)樣本水質(zhì)信息，有900組數(shù)據(jù)包含水質(zhì)報(bào)警的數(shù)據(jù)。隨機(jī)選取1 000組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)對(duì)局部化雙向LSTM模型進(jìn)行訓(xùn)練，利用200組數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行模型性能的測(cè)試。n的取值為20，即利用過去的20個(gè)時(shí)間單元的數(shù)據(jù)預(yù)測(cè)未來的水質(zhì)情況。針對(duì)每個(gè)時(shí)間單元提取的水質(zhì)信息，利用人工標(biāo)注水質(zhì)狀態(tài)，包括無警、輕警、中警、重警。表1給出了水質(zhì)4種狀態(tài)所對(duì)應(yīng)的參數(shù)取值的標(biāo)準(zhǔn)。試驗(yàn)結(jié)果的評(píng)價(jià)采用分類算法的評(píng)價(jià)指標(biāo)，即準(zhǔn)確率(P)、召回率(R)和Macro(F1)。

(17)

(18)

(19)

式中：m表示分類的總數(shù)，本文中水質(zhì)分為4個(gè)類；ti表示被算法正確分到第i個(gè)類中的樣本個(gè)數(shù)；fi表示不屬于第i類而被算法分到第i類的中的樣本個(gè)數(shù)；ni表示屬于第i類而被算法分到其他類的樣本個(gè)數(shù)。

表1 水質(zhì)狀況分類標(biāo)準(zhǔn)Tab.1 Water quality classification standard

3.2 模型設(shè)置

本試驗(yàn)與目前主要的預(yù)測(cè)方法進(jìn)行比較，包括：基于SVM分類器的方法[18-19]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的方法[20]、基于單層LSTM網(wǎng)絡(luò)的預(yù)測(cè)方法[21]和基于線性擬合方法Linear Regression[22](表2)。為了測(cè)試采樣方法和狀態(tài)轉(zhuǎn)移約束對(duì)于水質(zhì)預(yù)測(cè)效果的影響，試驗(yàn)中測(cè)試了本文提出的模型的4種具體實(shí)現(xiàn)：CovBiLSTMSTequa表示采用局部雙向LSTM和狀態(tài)轉(zhuǎn)移約束進(jìn)行預(yù)測(cè)，并利用等間距采樣的歷史數(shù)據(jù)來訓(xùn)練模型；CovBiLSTMSTne表示采用局部雙向LSTM和狀態(tài)轉(zhuǎn)移約束進(jìn)行預(yù)測(cè)，但利用非等間距采樣的歷史數(shù)據(jù)來訓(xùn)練模型；CovBiLSTMequa表示僅采用CovBiLSTM基于等間距歷史數(shù)據(jù)的預(yù)測(cè)；CovBiLSTMne表示僅采用CovBiLSTM基于非等間距歷史數(shù)據(jù)的預(yù)測(cè)。

表2 不同算法水質(zhì)預(yù)測(cè)試驗(yàn)結(jié)果Tab.2 Water quality prediction result of different approaches

4 結(jié)果與分析

由表2可知，基于局部化雙向LSTM和狀態(tài)轉(zhuǎn)移約束的養(yǎng)殖水質(zhì)預(yù)測(cè)方法(CovBiLSTMSTequa)比基于SVM、RNN、LSTM和Linear regression的養(yǎng)殖水質(zhì)預(yù)測(cè)方法具有更好的性能，比現(xiàn)有最好的基于LSTM的預(yù)測(cè)方法CovBiLSTMSTequa的分類準(zhǔn)確率(P)和召回率(R)分別提高5%和4%。性能提高的主要原因：首先，基于SVM的方法不區(qū)分各個(gè)時(shí)間單元對(duì)未來水質(zhì)的不同影響，該方法不適合于時(shí)間序列預(yù)測(cè)；其次，基于RNN和LSTM的方法雖然能考慮歷史數(shù)據(jù)的依賴信息，但是這些方法只考慮前向信息的影響，沒有考慮未來信息對(duì)當(dāng)前數(shù)據(jù)的影響，此外，這些方法沒有考慮不同單元數(shù)據(jù)之間的交叉影響以及相互之間的關(guān)系，因此，其性能受到影響；最后，基于Linear Regression的方法很難有效擬合序列數(shù)據(jù)的非線性關(guān)系，因此，對(duì)于養(yǎng)殖水質(zhì)這種復(fù)雜的變化情況很難進(jìn)行有效預(yù)測(cè)。

針對(duì)CovBiLSTMST，表2的數(shù)據(jù)顯示，加入水質(zhì)狀態(tài)轉(zhuǎn)移約束條件有利于提高水質(zhì)預(yù)測(cè)結(jié)果的準(zhǔn)確性。這是因?yàn)檫@種約束信息可以減少局部噪音數(shù)據(jù)抖動(dòng)對(duì)水質(zhì)預(yù)測(cè)結(jié)果的干擾；基于等間隔序列數(shù)據(jù)的預(yù)測(cè)CovBiLSTMSTequa比基于不同間隔序列數(shù)據(jù)的預(yù)測(cè)CovBiLSTMSTne具有更好的性能，這是因?yàn)楫?dāng)前的水質(zhì)狀態(tài)受歷史數(shù)據(jù)的影響更少，不同間隔數(shù)據(jù)序列不能有效反應(yīng)數(shù)據(jù)的變化趨勢(shì)。因此，雙向局部化LSTM模型和狀態(tài)轉(zhuǎn)移約束對(duì)南美白對(duì)蝦養(yǎng)殖水質(zhì)的預(yù)測(cè)具有較好的性能，在實(shí)際應(yīng)用中利用等間隔的序列數(shù)據(jù)來進(jìn)行模型訓(xùn)練，可以得到更好的性能。

為了進(jìn)一步測(cè)試CovBiLSTMST算法在訓(xùn)練數(shù)據(jù)集大小上的性能，利用不同比例的訓(xùn)練數(shù)據(jù)來訓(xùn)練各個(gè)模型，然后比較各個(gè)模型的測(cè)試結(jié)果。圖4給出了用于模型訓(xùn)練的數(shù)據(jù)集占原有訓(xùn)練集比例從20%到100%的情況下不同模型的預(yù)測(cè)結(jié)果。在試驗(yàn)中，所有模型都利用等間隔的序列數(shù)據(jù)來訓(xùn)練模型。根據(jù)圖中結(jié)果可以得出：相比其他方法，CovBiLSTMST受到訓(xùn)練數(shù)據(jù)集大小的影響最??；Linear Regression受到訓(xùn)練數(shù)據(jù)集大小的影響最嚴(yán)重，其預(yù)測(cè)能力相對(duì)于其他方法更弱。而基于深度學(xué)習(xí)模型RNN和LSTM的方法能夠取得比淺層模型更好的效果，其受到訓(xùn)練數(shù)據(jù)的影響相對(duì)較小。研究表明，深度學(xué)習(xí)模型在預(yù)測(cè)南美白對(duì)蝦養(yǎng)殖水質(zhì)方面比傳統(tǒng)模型具有更好的性能，而考慮局部特征之間的關(guān)系和狀態(tài)轉(zhuǎn)移約束的模型，CovBiLSTMST能在訓(xùn)練數(shù)據(jù)有限的情況下進(jìn)一步提升南美白對(duì)蝦水質(zhì)預(yù)測(cè)的性能。

圖4 基于不同訓(xùn)練集大小的預(yù)測(cè)性能Fig.4 Prediction performance of different percentages of training dataset

5 結(jié)論

針對(duì)當(dāng)前養(yǎng)殖水質(zhì)監(jiān)控與預(yù)測(cè)方法存在的問題，提出一種基于局部化雙向LSTM網(wǎng)絡(luò)和水質(zhì)狀態(tài)轉(zhuǎn)移約束模型的南美白對(duì)蝦養(yǎng)殖水質(zhì)預(yù)測(cè)算法，利用雙向LSTM來建模養(yǎng)殖水質(zhì)歷史特征信息，通過卷積和max pooling等處理來預(yù)測(cè)水質(zhì)狀況。該算法可充分利用歷史不同時(shí)段的水質(zhì)特征信息，以及水質(zhì)特征之間的相互關(guān)系信息，并利用水質(zhì)相鄰狀態(tài)之間的依賴關(guān)系來進(jìn)一步提高水質(zhì)預(yù)測(cè)的效果。與現(xiàn)有方法相比，該預(yù)測(cè)模型在分類準(zhǔn)確率和召回率方面可分別提高5%和4%。該算法能夠更加有效地預(yù)測(cè)南美白對(duì)蝦水質(zhì)狀況，也可以用于其他類型養(yǎng)殖水質(zhì)狀況的預(yù)測(cè)。

□