基于三維卷積和CLSTM神經(jīng)網(wǎng)絡的水產(chǎn)養(yǎng)殖溶解氧預測

查玉坤，張其林，趙永標，杭波

湖北文理學院計算機工程學院，湖北襄陽441053

智能水產(chǎn)養(yǎng)殖系統(tǒng)是采用現(xiàn)代信息技術(shù)監(jiān)測水質(zhì)參數(shù)，如溶解氧、水溫、p H值、電導率等，有助于實時凈化、增加氧氣等操作。對于水產(chǎn)品來說，溶解氧支持著生物體的整個新陳代謝過程[1-2]，適宜的溶解氧質(zhì)量濃度可促進生物生長，縮短育種周期，提高經(jīng)濟效益。溶解氧質(zhì)量濃度過低則會抑制生物生長，甚至可能導致生物死亡，造成嚴重的經(jīng)濟損失[3]。

水環(huán)境包括水產(chǎn)養(yǎng)殖生物以及各種肉眼無法觀察到的微生物。這些微生物與水產(chǎn)養(yǎng)殖生物存在共生關(guān)系，其中有些微生物是好氧的，而有些則是厭氧的。水生物在生長過程中必須建立適當?shù)墓采P(guān)系。在溶解氧變化的動態(tài)過程中，各種環(huán)境因素之間存在著復雜的相互作用[4]。溶解氧控制方法的實施與這些方法生效之間存在一定的滯后效應，因此在整個養(yǎng)殖周期中必須預測溶解氧的變化趨勢，以便盡快實施一定的控制策略來消除這種滯后效應對水產(chǎn)養(yǎng)殖造成的風險。

由于水環(huán)境的變化受諸多因素的影響，精確預測較為困難。針對河流、湖泊等不同環(huán)境中的水質(zhì)預測問題，不少學者提出了不同的方法，諸如灰色系統(tǒng)理論[5]、神經(jīng)網(wǎng)絡[6-8]、支持向量機[9-10]、支持向量機與其他方法的融合[11]、自適應神經(jīng)推理方法[12-13]、小波神經(jīng)網(wǎng)絡[14]等。然而，上述方法存在易陷入局部極小值而導致的結(jié)果不準確、模型參數(shù)需要優(yōu)化等問題。文獻[15]采用基于聚類的Softplus極限學習機預測水產(chǎn)養(yǎng)殖溶解氧的質(zhì)量濃度，雖然提高了泛化能力，但預測準確率與BP神經(jīng)網(wǎng)絡相比并沒有明顯提升。深度學習模型的發(fā)展為水產(chǎn)養(yǎng)殖溶解氧的預測提供了有效的解決途徑。Ta等[16]提出一種簡化的反向理解卷積神經(jīng)網(wǎng)絡（convolutional neural network,CNN）模型，降低了整體計算復雜度，提高了模型的收斂性，但未考慮溶解氧的周期變化規(guī)律，于是他們進一步提出了定時衰減矩陣和CNN結(jié)合的溶解氧質(zhì)量濃度預測方法[17]。CNN已廣泛應用于解決各種問題[18-20]，如科學論文分類[21]、心電圖檢測[22]。CNN直接輸入原始數(shù)據(jù)，通過卷積、池化等一系列操作提取特征，在提高抽象層次的過程中實現(xiàn)內(nèi)容的精確識別。同時溶解氧預測也是一個時間序列問題，在水中質(zhì)量濃度的變化趨勢與水溫、電導率、pH值等影響因子的變化趨勢有著復雜的非線性關(guān)系[4]。例如：p H值越小，水的酸性越強，極性越大，而O2是非極性分子，溶解度會隨pH值的下降而略有下降。針對上述特點，本文提出一種基于三維CNN和卷積長短期記憶（convolutional long short-term memory,CLSTM）神經(jīng)網(wǎng)絡模型來預測循環(huán)水產(chǎn)養(yǎng)殖溶解氧，利用CLSTM神經(jīng)網(wǎng)絡模型提取時間維度的特征，捕獲長期依賴性，更靈敏更精準地預測目的數(shù)據(jù)在時間維度的變化規(guī)律。

1 基于三維卷積和CLSTM神經(jīng)網(wǎng)絡的溶解氧預測模型

本文提出的模型結(jié)構(gòu)如圖1所示。首先將電導率、水溫、溶氧、pH值所組成的原始向量乘以它的轉(zhuǎn)置得到一個4×4的單通道矩陣，再將前后10個時間點的數(shù)據(jù)組成一個三維矩陣，用4個1×2×2（深度、長度、寬度）的過濾器對輸入矩陣進行三維卷積操作，通過4個過濾器的卷積得到4個10×3×3三維矩陣，從而得到第1個卷積層（Conv3D_1）。第1卷積層的深度也稱為通道，等于過濾器的數(shù)目。在第1個卷積層的基礎上，用相同大小的過濾器得到第2個卷積層（Conv3D_2），即4個10×2×2的矩陣。然后，將兩次卷積后的結(jié)果送入卷積長短期記憶層進一步提取時間維度上的特征。最后，經(jīng)拉伸過程將多維矩陣變換成一個向量后送入全連接層處理。

圖1 基于三維CNN和CLSTM的神經(jīng)網(wǎng)絡模型Figure 1 Neural network model based on 3D CNN and CLSTM

1.1 輸入向量的自乘

CNN最重要的特征是以高維矩陣作為輸入，在卷積過程中利用共享權(quán)值和共享偏差獲取特征。假定C表示電導率、T表示水溫、D表示溶氧的質(zhì)量濃度、H表示pH值。為了得到各參數(shù)之間的不確定關(guān)系，同時符合CNN的輸入特性，將這4個參數(shù)組成一個輸入向量乘以它的轉(zhuǎn)置，得到一個4行4列的對稱矩陣，表達任意兩個參數(shù)的所有組合。在時間維度上取樣，形成三維矩陣作為輸入向量。設Z=(C,T,D,H)T，則

1.2 反向理解兩個連續(xù)卷積的細化提取過程

在CNN中，圖像從最底層的點開始逐層識別直至更高內(nèi)容層上的點。在此過程中，通過卷積運算和池化層簡化特征提取，提高抽象層次，實現(xiàn)更準確的判斷。同一層次的卷積用不同的方法識別圖像不同部分在同一層次的表示。每一個局部接受域描述了圖像的一個潛在特征，前一層的卷積引導后一層的卷積，從而提升抽象層次。由于溶解氧質(zhì)量濃度的變化是一個連續(xù)的動態(tài)過程，且與溫度、p H、電導率等水質(zhì)參數(shù)之間存在復雜的相互作用，很難用精確的數(shù)學模型來描述。揭示這種關(guān)系的過程是一個細化的過程，即抽象的逆向過程。向量自乘矩陣是各種因素之間的組合關(guān)系，而反向理解CNN中的第1個卷積是對4個因素的第1個潛在關(guān)系的細化，第2個卷積是對第1個卷積的進一步處理。這兩個關(guān)系的細化過程可以確定輸入?yún)?shù)之間的潛在影響關(guān)系。除此之外，這4個參數(shù)被細化為4×4=16個參數(shù)，表示參數(shù)之間的潛在關(guān)系。輸入矩陣的兩個連續(xù)卷積過程如圖2所示。

圖2 兩個連續(xù)卷積過程Figure 2 Two continuous convolution processes

輸入向量通過自乘得到輸入矩陣，按參數(shù)名稱在水平坐標和垂直坐標上進行標記，例如輸入向量Z12為

第1次卷積采用4個過濾器，且卷積過濾器大小為1×2×2。第1個“1”表示深度，即每次三維卷積操作處理的二維矩陣數(shù)目，因此第1個卷積層有1×2×2×4+4=20個參數(shù)；最后一個“4”表示每一層的共享偏差(BL1,BL2,BL3,BL4)。第1次卷積運算公式如下：

式中：f為修正線性單元（rectif ied linear unit,ReLU）的非線性變換函數(shù)，表示為f(x)=max(x,0)；Xxyz為卷積結(jié)果，x和y為層中的位置標識符，z為通道深度（層）；為共享權(quán)值，取值范圍為(0,1)，其中Li為輸出矩陣通道深度，則每個大小為2×2的過濾器對于輸入層都有2×2=4個共享權(quán)值；BLi表示范圍為(0,1)的共享偏差。

第2次卷積與第1次卷積相似，也采用4個過濾器。輸入為第1次卷積層，共有2×2×4×4+4=68個參數(shù)。第2次卷積運算公式為

然后將兩次卷積后的160(10×2×2×4)個元素送入卷積長短期記憶層進一步處理。

1.3 刪除池化層

從1.1節(jié)和1.2節(jié)的討論可以看出，反向理解CNN的所有操作是為了確定輸入?yún)?shù)之間的潛在關(guān)系，而不是抽象特征。在原始CNN中，卷積層之后的池化層用作提取特征和簡化計算，以進一步提高抽象層次，其本質(zhì)特征是先簡化計算后提取特征。這一作用與本文提出的細化參數(shù)之間的關(guān)系并不一致，因此本文模型在傳統(tǒng)CNN模型的基礎上刪除池化層，既可以滿足初始設想?yún)?shù)的細化要求，又可以降低整個模型的計算復雜性，使CNN更加實用。

1.4 CLSTM模型

Hochreiter和Schmidhuber于1997年提出長短期記憶（long short-term memory,LSTM）網(wǎng)絡模型，有效地解決了循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network,RNN）的梯度消失問題。LSTM的遺忘機制也與人類記憶的特點有許多相似之處[23]。后來出現(xiàn)了諸多改進的LSTM[24-25]，比較著名的是由Cho等[26]提出的門控循環(huán)單元（gated recurrent unit,GRU），它將忘記門和輸入門合成了一個單一的更新門，還混合了細胞狀態(tài)和隱藏狀態(tài)，因此最終的模型比標準的LSTM模型更簡單。考慮到LSTM在時序數(shù)據(jù)處理中的優(yōu)勢，將LSTM與卷積操作相結(jié)合，能更加有效地提取圖像或者二維矩陣的特征，如文獻[27]提出了CLSTM模型，不僅可以像LSTM一樣建立時序關(guān)系，而且可以像CNN一樣刻畫局部空間特征，在獲取時空關(guān)系上比LSTM更好。

循環(huán)養(yǎng)殖系統(tǒng)中溶解氧的預測就是一個時空序列問題，從前面的討論中可知輸入數(shù)據(jù)經(jīng)過兩次三維卷積得到10×2×2×4的多維矩陣。其中：“10”表示時間維度，每10個時間點的數(shù)據(jù)作為單次數(shù)據(jù)輸入模型；“2”表示矩陣的長和寬；“4”表示深度，即通道數(shù)目。多維矩陣在CLSTM模型中的處理過程如圖3所示。

圖3 多維矩陣在CLSTM模型中的處理過程Figure 3 Process of multidimensional matrices in a CLSTM model

LSTM網(wǎng)絡由input gate,forget gate,cell,output gate,hidden共5個模塊組成，通常用全連接作為不同狀態(tài)之間的轉(zhuǎn)換，而CLSTM用卷積作為不同狀態(tài)之間的轉(zhuǎn)換。CLSTM cell的內(nèi)部結(jié)構(gòu)如圖4所示。

圖4 CLSTM cell的內(nèi)部結(jié)構(gòu)Figure 4 Internal structure of CLSTM cell

CLSTM的工作原理可以表示如下：

式中：it、ft、Ct、Ot、Ht對應input gate、forget gate、cell、output gate、hidden共5個模塊；“°”表示矩陣對應元素相乘，又稱為Hadamard乘積；“*”表示卷積，σ和tanh為激活函數(shù)；Wxi、Wxf、Wxc、Wxo分別為Xt的權(quán)重矩陣；Whi、Whf、Whc、Who分別為Ht?1的權(quán)重矩陣；Wci、Wcf、Wco分別為Ct的權(quán)重矩陣；b為共享偏差；t表示時間序列上不同的時間點。

輸入數(shù)據(jù)經(jīng)過兩次卷積得到通道數(shù)目（深度）為4的10×2×2的矩陣。如圖3所示，將其按第1維度（時間維度）展開后作為X輸入至CLSTM層，得到2×2×4的矩陣，然后將矩陣中16個元素拉伸為向量送入全連接層。

2 實驗及結(jié)果

2.1 數(shù)據(jù)來源

實驗數(shù)據(jù)來源于湖北省襄陽市某家特種水產(chǎn)養(yǎng)殖有限公司。在養(yǎng)殖池安裝在線監(jiān)測系統(tǒng)，獲取溫度和溶解氧數(shù)據(jù)，離線測量pH值和電導率，由此得到水環(huán)境的變化原始數(shù)據(jù)。訓練樣本數(shù)據(jù)有2 500例，測試樣本數(shù)據(jù)有500例。訓練集的原始數(shù)據(jù)如圖5所示。

圖5 訓練集原始數(shù)據(jù)Figure 5 Raw data in training set

2.2 實驗設計

為了驗證本文方法的有效性，將本文方法與BP神經(jīng)網(wǎng)絡、Conv3D、Conv2D進行對比實驗。實驗中使用相同的初始數(shù)據(jù)，采用相同的訓練和優(yōu)化方法。簡化后的BP神經(jīng)網(wǎng)絡框架采用32×16×8的結(jié)構(gòu)，輸入?yún)?shù)為(C,T,D,H)T，如圖6所示。

圖6 BP神經(jīng)網(wǎng)絡模型結(jié)構(gòu)Figure 6 Structure of BP neural network model

模型代碼在谷歌的Tensorf low2.0框架中編寫，采用Numpy和Pandas庫實現(xiàn)矩陣操作和格式轉(zhuǎn)換。實驗的硬件環(huán)境如下：CPU為Intel core i7-9800X，GPU為NVIDIAGTX 1060，內(nèi)存為16GB DDR4 2666Hz。在模型的卷積部分，卷積模式為padding=“valid”(edge nonzero f ill)，f ilter參數(shù)為1×2×2×4，step stride為1，并以“ReLU”非線性變換函數(shù)作為激活函數(shù)。在CLSTM部分，使用padding=“same”的卷積模式，kernel size為2，也將“ReLU”非線性變換函數(shù)用作激活函數(shù)。具體流程如圖7所示。

圖7 模型代碼實現(xiàn)流程Figure 7 Implementation process of model code

在全連接層的BP神經(jīng)網(wǎng)絡中，以均方誤差（mean square error,MSE）計算mini_batch為5的誤差，MSE計算公式為

式中：Dt為預測值，D為真值。采用L2正則化對模型優(yōu)化，其計算公式為

式中：Wi表示全連接層的第i個權(quán)值(i=1,2,3)。根據(jù)MSE可知最終損失函數(shù)為

式中：b為模型的總體偏差。正則化部分為損失函數(shù)的懲罰項，控制系數(shù)為λ，根據(jù)經(jīng)驗取值為0.01。

將實驗數(shù)據(jù)進行歸一化處理，設定200個訓練周期，學習率η=0.001，采用Adam優(yōu)化器，獲取mini_batch數(shù)據(jù)的J值，并以該值執(zhí)行反向梯度更新。全連接層的更新公式為

2.3 實驗結(jié)果

2.3.1 收斂性分析

為了從不同的角度比較不同的方法，將2 500例實驗數(shù)據(jù)進行200次迭代訓練。由于后面150個周期的MSE值太小，只繪制了前50周期。分別用不同顏色實線表示不同模型的動態(tài)訓練過程，如圖8所示。其中：橫坐標為訓練步數(shù)，縱坐標為MSE值。

圖8 4種模型訓練過程Figure 8 Training processes of four models

由圖8可知4種方法在訓練過程中雖然變化趨勢相似，但差異比較明顯。在傳統(tǒng)BP算法和Conv2D模型的早期波動中，收斂速度相對較慢。因此，在數(shù)據(jù)量相同的情況下，傳統(tǒng)BP算法和Conv2D需要訓練更多的步數(shù)才能達到精度要求。對于常規(guī)的模型更新，需要在盡可能短的時間內(nèi)訓練模型，盡量降低對水質(zhì)的影響程度。Conv3D+CLSTM模型和Conv3D模型可以在較短的時間內(nèi)達到一定的的精度值，但Conv3D+CLSTM模型收斂更快。按圖8中顯示的曲線數(shù)據(jù)進行計算，得到4種方法的平均MSE如表1所示。

表1 平均MSETable 1 Average MSE

由表1可以看出，Conv3D+CLSTM模型在早期收斂性和穩(wěn)定性方面具有更好的性能。

2.3.2 預測結(jié)果分析

Conv3D+CLSTM模型和另外3種模型訓練完成后，得到500個測試樣本的預測結(jié)果如圖9所示。

圖9 預測結(jié)果比較Figure 9 Comparison of prediction results

由圖9可知4個模型均可以捕捉到真實溶解氧數(shù)據(jù)的變化趨勢。傳統(tǒng)的BP算法會產(chǎn)生較大的波動，降低預測精度。這些波動通常伴隨著參數(shù)的突然變化而發(fā)生，選取圖9中預測誤差較大的樣本點，如表2所示?？梢夿P模型在預測過程中的靈敏度不夠，Conv3D和Conv2D在預測精度上優(yōu)于BP模型，但遜于Conv3D+CLSTM模型。主要原因是融入CLSTM后，Conv3D+CLSTM模型對各個參數(shù)因子的變化更加敏感，所以能捕捉到這些數(shù)據(jù)波動的細微變化，保持較高的預測精度。

表2 部分樣本溶氧預測誤差Table 2 Dissolved oxygen prediction error of some samples mg/L

3 結(jié)論

本文提出一種基于三維卷積和CLSTM神經(jīng)網(wǎng)絡模型的水產(chǎn)養(yǎng)殖溶解氧預測模型，將輸入數(shù)據(jù)連續(xù)進行兩次三維卷積運算來細化溶解氧相關(guān)因素的特征；然后利用CLSTM神經(jīng)網(wǎng)絡模型提取時間維度特征。將本文模型與BP神經(jīng)網(wǎng)絡模型、Conv3D、Conv2D進行實驗比較，可以得出以下結(jié)論：

1）總體而言，Conv3D+CLSTM模型收斂速度快，偏差也較小，優(yōu)于其他3種模型。這種快速的收斂對工業(yè)應用尤其重要。

2）在擬合和預測穩(wěn)定性方面，Conv3D+CLSTM也同樣出色。由圖8可知，損失值在整個訓練過程中持續(xù)下降，可見本文模型有著比另外3種模型更快的收斂速度。由圖9中可知，Conv3D+CLSTM模型的預測值始終保持穩(wěn)定，可以捕捉到數(shù)據(jù)的波動情況，與真實值有良好的擬合關(guān)系。

3）影響溶解氧值的各種因素之間存在復雜的非線性關(guān)系。在全連接部分，輸入是參數(shù)之間關(guān)系的細化值，而不是具體的參數(shù)。將連續(xù)卷積求出的潛在特征值提供給模型，可以得到更快的訓練收斂速度以及更高的預測精度和預測穩(wěn)定性。因此，將更多維度的特征細化能夠獲得更加準確的結(jié)果。然而，這些更精確的結(jié)果需要更多的計算量，從而增加了計算成本。如何權(quán)衡精度與成本，將是今后的研究方向。