基于R-OSELM的海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)

李志剛 劉宇杰 韓國(guó)峰 程尚 付多民 李瑩琦

摘要為及時(shí)辨識(shí)海洋環(huán)境的變化趨勢(shì)和降低長(zhǎng)期累積的海洋環(huán)境數(shù)據(jù)對(duì)預(yù)測(cè)模型的影響，提出一種基于循環(huán)在線順序極限學(xué)習(xí)機(jī)（Recurrent Online Sequential Extreme Learning Machine R-OSELM）的海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)模型．采用完全在線的方法初始化海洋環(huán)境數(shù)據(jù)訓(xùn)練集，通過在線順序極限學(xué)習(xí)機(jī)算法對(duì)已有的海洋環(huán)境數(shù)據(jù)進(jìn)行逐塊輸入，利用極限學(xué)習(xí)機(jī)的自動(dòng)編碼技術(shù)與一種歸一化方法對(duì)輸入權(quán)重循環(huán)處理，實(shí)現(xiàn)預(yù)測(cè)模型的在線更新，最后完成對(duì)海洋環(huán)境數(shù)據(jù)的在線預(yù)測(cè)．使用該模型對(duì)溶解氧、葉綠素a、濁度、藍(lán)綠藻進(jìn)行預(yù)測(cè)，結(jié)果表明R-OSELM模型的預(yù)測(cè)精度高于對(duì)比模型，確定其具備海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)能力，可為海洋水域水體富營(yíng)養(yǎng)化與海洋環(huán)境污染預(yù)警提供參考．

關(guān)鍵詞海洋環(huán)境數(shù)據(jù);時(shí)間序列預(yù)測(cè);在線預(yù)測(cè);在線順序極限學(xué)習(xí)機(jī);循環(huán)神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)

TP311.13;P714

文獻(xiàn)標(biāo)志碼

A

收稿日期

2022-02-09

資助項(xiàng)目

國(guó)家重點(diǎn)研發(fā)計(jì)劃 （2017YFE0135700）;河北省高等學(xué)校科學(xué)技術(shù)研究項(xiàng)目 （ZD2021088）;唐山市科技計(jì)劃 （19150230E）

作者簡(jiǎn)介李志剛，男，博士，教授，研究方向?yàn)閿?shù)據(jù)挖掘．lizhigang@ncst.edu.cn

李瑩琦（通信作者），女，講師，研究方向?yàn)闄C(jī)器學(xué)習(xí)理論與應(yīng)用研究．liyingqi@ncst.edu.cn

0 引言

隨著人類活動(dòng)的加劇，海洋海域的自然生態(tài)環(huán)境遭到了嚴(yán)重的破壞［1］．隨著信息技術(shù)的發(fā)展，海洋環(huán)境數(shù)據(jù)的獲取已經(jīng)成為可能．通過數(shù)據(jù)分析［2］的手段，來對(duì)海洋環(huán)境數(shù)據(jù)實(shí)施監(jiān)控是可行的．為保護(hù)海洋生態(tài)系統(tǒng)，對(duì)海洋環(huán)境污染提供預(yù)警，許多學(xué)者利用神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)海洋環(huán)境數(shù)據(jù)．在海洋水質(zhì)預(yù)測(cè)方面，現(xiàn)有的預(yù)測(cè)模型在訓(xùn)練方式上使用批量學(xué)習(xí)算法［3-5］，即每當(dāng)收到新數(shù)據(jù)時(shí)，批量學(xué)習(xí)過去的數(shù)據(jù)和新的數(shù)據(jù)來重新訓(xùn)練模型．在海洋環(huán)境工程應(yīng)用中，當(dāng)監(jiān)測(cè)站采集到的海洋環(huán)境訓(xùn)練樣本發(fā)生變化或者有新的海洋環(huán)境訓(xùn)練樣本加入時(shí)必須對(duì)全部海洋環(huán)境訓(xùn)練樣本重新進(jìn)行訓(xùn)練，這將浪費(fèi)額外的計(jì)算資源．在離線預(yù)測(cè)中，數(shù)據(jù)被輸入到一個(gè)固定的公式或訓(xùn)練好的模型中，忽略對(duì)模型的更新，從而導(dǎo)致其學(xué)習(xí)效率低下，難以滿足模型在線預(yù)測(cè)的要求．所以，將在線預(yù)測(cè)方法應(yīng)用于海洋環(huán)境數(shù)據(jù)預(yù)測(cè)具有重要意義．

近年來，已提出許多在線預(yù)測(cè)模型和方法，如滑動(dòng)時(shí)間窗方法、在線順序極限學(xué)習(xí)機(jī)等．滑動(dòng)時(shí)間窗方法是將數(shù)據(jù)以等量樣本選擇的方式進(jìn)行在線預(yù)測(cè)，但預(yù)測(cè)模型本身沒有隨時(shí)間序列在線更新和動(dòng)態(tài)學(xué)習(xí)的能力，導(dǎo)致預(yù)測(cè)精度不優(yōu)秀．海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)是逐個(gè)或逐塊學(xué)習(xí)已有的海洋環(huán)境數(shù)據(jù)，并對(duì)未來的海洋環(huán)境數(shù)據(jù)進(jìn)行預(yù)測(cè)，從而對(duì)海洋環(huán)境實(shí)現(xiàn)污染監(jiān)測(cè)和動(dòng)態(tài)維護(hù)．在海洋環(huán)境預(yù)報(bào)中，海洋環(huán)境數(shù)據(jù)的生成是連續(xù)的，為提高學(xué)習(xí)效率，模型更新是不可避免的．但在新數(shù)據(jù)不斷到來的情況下，頻繁地更新模型計(jì)算成本高昂．在線順序極限學(xué)習(xí)機(jī)（Online Sequential Extreme Learning Machine，OS-ELM）［6-8］會(huì)在新數(shù)據(jù)到達(dá)時(shí)以較低的成本自動(dòng)更新（然后可以丟棄新數(shù)據(jù)）模型方程，通過使用遞歸最小二乘法隨機(jī)初始化輸入權(quán)重和更新輸出權(quán)重，使網(wǎng)絡(luò)能夠逐個(gè)或逐塊學(xué)習(xí)數(shù)據(jù)．同時(shí)，通過應(yīng)用遞歸最小二乘法的遺忘因子，OS-ELM可以快速適應(yīng)新的輸入模式，基于后續(xù)數(shù)據(jù)和隨機(jī)選擇隱藏節(jié)點(diǎn)參數(shù)更新權(quán)重使該方法快速準(zhǔn)確．但是OS-ELM是針對(duì)單層前饋神經(jīng)網(wǎng)絡(luò)的，并且其輸入權(quán)重?zé)o法調(diào)整，而循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［9-11］則具有記憶過去事件的能力．RNN在連續(xù)序列數(shù)據(jù)建模方面不僅考慮當(dāng)前的輸入，而且還使用它以前學(xué)到的東西．但是RNN在學(xué)習(xí)過程中存在訓(xùn)練集長(zhǎng)度過大導(dǎo)致的梯度消失或爆炸問題．因此，需要探索能夠面對(duì)長(zhǎng)期累積的海洋環(huán)境數(shù)據(jù)保證預(yù)測(cè)精度的在線預(yù)測(cè)方法．

面對(duì)長(zhǎng)期累積的海洋環(huán)境數(shù)據(jù)，現(xiàn)有的在線預(yù)測(cè)模型自身沒有隨時(shí)間序列在線更新和動(dòng)態(tài)學(xué)習(xí)的能力，導(dǎo)致模型預(yù)測(cè)精度下降．在OS-ELM的基礎(chǔ)上，以“調(diào)整輸入權(quán)重反饋更新”為原則，本文提出了基于循環(huán)在線順序極限學(xué)習(xí)機(jī)（Recurrent Online Sequential Extreme Learning Machine，R-OSELM）的海洋環(huán)境在線預(yù)測(cè)模型．以海洋環(huán)境時(shí)間序列為例進(jìn)行建模和在線預(yù)測(cè)實(shí)驗(yàn)驗(yàn)證，結(jié)果表明，R-OSELM與其他在線預(yù)測(cè)模型相比對(duì)海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)精度較好，可以滿足海洋大數(shù)據(jù)觀測(cè)監(jiān)測(cè)服務(wù)平臺(tái)對(duì)海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)的更高需求．

1 R-OSELM模型

1.1 模型結(jié)構(gòu)

R-OSELM是一種改進(jìn)的OS-ELM，它將兩種新的方法應(yīng)用于傳統(tǒng)的OS-ELM：具有歸一化的自動(dòng)編碼技術(shù)和RNN結(jié)構(gòu)的反饋更新輸入權(quán)重，如圖1所示．R-OSELM模型的構(gòu)造：在RNN框架中，其n維輸入層通過輸入權(quán)重W連接到L維隱藏層，隱藏層通過輸出權(quán)重β連接到m維輸出層，隱藏層通過隱藏權(quán)重V也連接到自身．

R-OSELM模型還定義了兩個(gè)輔助ELM-AE（Extreme Learning Machine-Auto Encoder）網(wǎng)絡(luò)，兩個(gè)輔助ELM-AE網(wǎng)絡(luò)的工作原理是通過調(diào)整隱藏層的節(jié)點(diǎn)數(shù)，將輸入特征壓縮，一個(gè)用于更新輸入權(quán)重稱為輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器，另一個(gè)用于更新隱藏權(quán)重稱為隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器（圖2）．在輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器中，其輸入層通過輸入權(quán)重連接到隱藏層，隱藏層通過輸出權(quán)重連接到輸出層．輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸入層維數(shù)和輸出層維數(shù)與R-OSELM的輸入層維數(shù)相同，輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的隱藏層維數(shù)與R-OSELM的隱藏層維數(shù)相同．隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的結(jié)構(gòu)同理，它的輸入層、輸出層和隱藏層的維數(shù)與R-OSELM的隱藏層維數(shù)相同．

每當(dāng)新的海洋環(huán)境數(shù)據(jù)輸入時(shí)，采用遞歸最小二乘法隨機(jī)初始化輸入權(quán)重與隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器．極限學(xué)習(xí)機(jī)的自動(dòng)編碼技術(shù)（ELM-AE）［12］調(diào)整隱藏節(jié)點(diǎn)數(shù)將輸入特征壓縮，然后通過應(yīng)用遞歸最小二乘法的遺忘因子，使其可以快速適應(yīng)新的輸入模式．在OS-ELM的非線性激活層的之前加入一個(gè)歸一層，通過減去特征的平均值，再除以特征的方差，簡(jiǎn)單地歸一化輸入特征．連接隱藏層的隱藏權(quán)重也會(huì)在新輸入到達(dá)時(shí)更新，使用與更新輸入權(quán)重相同的技術(shù)，這樣可使模型持續(xù)更新輸入與輸出權(quán)重．將這種在線學(xué)習(xí)方法用于學(xué)習(xí)RNN，最后可得模型的預(yù)測(cè)輸出．應(yīng)用極限學(xué)習(xí)機(jī)的自動(dòng)編碼器和歸一化方法來調(diào)整輸入權(quán)重的R-OSELM模型，使預(yù)測(cè)模型隨時(shí)間序列的更新能夠動(dòng)態(tài)調(diào)整，有利于提高海洋環(huán)境數(shù)據(jù)預(yù)測(cè)精度．R-OESELM的結(jié)構(gòu)特點(diǎn)決定了其訓(xùn)練方式的特殊性．

1.2 模型算法

R-OSELM模型組成包括兩個(gè)階段：初始化階段和在線順序?qū)W習(xí)階段．

1.2.1 初始化階段

對(duì)R-OSELM使用一種全在線初始化方法，不需要初始數(shù)據(jù)集．公式如下：

β 0=0， Ρ 0=ΙC-1.? （1）

利用式（1）設(shè)定其初始輸出權(quán)重β 0和初始輔助矩陣P 0．其隱藏層輸出的初始值H 0是隨機(jī)生成的，輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸入權(quán)重Wi和隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸入權(quán)重Wh也隨機(jī)賦值．用式（1）對(duì)它們的輸出權(quán)重βi 0，βh 0和相應(yīng)的輔助矩陣Pi 0，Ph 0初始化．

當(dāng)有一個(gè)新的海洋環(huán)境訓(xùn)練樣本為Nk+1的輸入數(shù)據(jù)塊到達(dá)時(shí)，其中k+1表示第k+1個(gè)海洋環(huán)境訓(xùn)練樣本輸入數(shù)據(jù)塊，k從0開始遞增時(shí)，進(jìn)行下面的學(xué)習(xí)過程．為了數(shù)學(xué)上的簡(jiǎn)單性，將海洋環(huán)境數(shù)據(jù)訓(xùn)練樣本Nk+1的大小設(shè)置為1．

1.2.2 在線順序?qū)W習(xí)階段

1）更新輸入權(quán)重.首先使用輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器更新R-OSELM的輸入權(quán)重．輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器將第k+1個(gè)輸入樣本x（k+1）傳送到隱藏層．輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器隱藏層的輸出矩陣Hi k+1計(jì)算公式如下：

Hi k+1=g（norm（Wi k+1x（k+1）））， （2）

norm（x）=x-μiσi2+ε，? （3）

μi=1L∑Lj=1x j， （4）

σi=1L∑Lj=1（x j-μi）2，? （5）

式（5）中，x j表示訓(xùn)練樣本，具有L個(gè)隱藏節(jié)點(diǎn)的輸出．在非線性激活層的前面加入norm函數(shù)作為歸一化層，然后使用遞歸最小二乘法計(jì)算輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸出權(quán)重βi k+1：

βi k+1=βi k+Pi k+1Hi k+1T（x（k+1）-Hi k+1βi k），? （6）

Pi k+1=1λPi k-Pi kHi k+1T（λ2+λHi k+1Pi kHi k+1T）-1Hi k+1Pi k， ?（7）

式（7）中λ為常數(shù)遺忘因子．用T k+1代替x（k+1）執(zhí)行無監(jiān)督自動(dòng)編碼［13］，公式如下：

β k+1=β k+P k+1HT k+1（T k+1-H k+1β k）.? （8）

將βi k+1的轉(zhuǎn)置作為R-OSELM模型的輸入權(quán)重W k+1：

W k+1=βi k+1T．? （9）

2）更新隱藏權(quán)重.同樣，使用隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器更新R-OSELM的隱藏權(quán)重．隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器將R-OSELM的第k個(gè)隱藏層輸出H k輸送到隱藏層，隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器隱藏層的輸出矩陣Hh k+1計(jì)算公式如下：

Hh k+1=g（norm（Wh k+1H k））．? （10）

執(zhí)行無監(jiān)督自動(dòng)編碼［13］，使用遞歸最小二乘法計(jì)算隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸出權(quán)重βh k+1：

βh k+1=βh k+Ph k+1Hh k+1T（H k-Hh k+1βh k）， （11）

Ph k+1=1λPh k-Ph kHh k+1T（λ2+λHh k+1Ph kHh k+1T）-1Hh k+1Ph k， （12）

把βh k+1的轉(zhuǎn)置當(dāng)作R-OSELM的隱藏權(quán)重V k+1：

V k+1=βh k+1T．? （13）

3）前饋傳播.用第k+1個(gè)輸入樣本x（k+1）來計(jì)算R-OSELM的隱藏層輸出矩陣H k+1，公式如下：

H k+1=g（norm（W k+1x（k+1）+V k+1H k））．? （14）

4）更新輸出權(quán)重.利用式（8）和式（15）更新R-OSELM的輸出權(quán)重β k+1：

P k+1=P k-P kHT k+1（I+H k+1P kHT k+1）-1H k+1P k. （15）

本文提出的R-OSELM不限于單個(gè)隱藏層，而是可以有m個(gè)隱藏層，此時(shí)R-OSELM有m個(gè)輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器、m個(gè)隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器．在此更深層次的結(jié)構(gòu)中，可以學(xué)習(xí)更復(fù)雜的海洋環(huán)境數(shù)據(jù)特征．

1.3 算法流程（見下頁）

2 仿真實(shí)驗(yàn)與性能評(píng)估

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用中國(guó)北部海灣海域某定點(diǎn)浮標(biāo)的實(shí)測(cè)數(shù)據(jù)驗(yàn)證R-OSELM模型性能．?dāng)?shù)據(jù)樣本選擇中國(guó)某海域的海洋環(huán)境數(shù)據(jù)，樣本選擇周期為5 min，涵蓋氣象參數(shù)和水質(zhì)參數(shù)兩種類型．在線監(jiān)控的樣本特征屬性由溶解氧、葉綠素a、濁度和藍(lán)綠藻組成．選取4種因素各8 000個(gè)海洋環(huán)境數(shù)據(jù)實(shí)驗(yàn)樣本．監(jiān)測(cè)的海洋生態(tài)環(huán)境原始數(shù)據(jù)變化曲線如圖3所示．

2.2 在線預(yù)測(cè)模型性能分析

為使模型在在線訓(xùn)練階段效果更佳，將模型輸入維數(shù)設(shè)置為100．在模型參數(shù)選擇上，將遺忘因子λ=0.915，隱節(jié)點(diǎn)數(shù)設(shè)置為21，采用sigmoid作為激活函數(shù)．本文選用標(biāo)準(zhǔn)均方根誤差（NRMSE）、平均絕對(duì)百分比誤差（MAPE）和決定系數(shù)（R2）作為模型預(yù)測(cè)性能的度量標(biāo)準(zhǔn)．

R-OSELM算法流程

步驟1（初始化階段）：1）設(shè)置隱藏節(jié)點(diǎn)數(shù)目L，隨機(jī)生成隱藏層輸出的初始值H 0，輸入權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸入權(quán)重Wi，隱藏權(quán)重下極限學(xué)習(xí)機(jī)自動(dòng)編碼器的輸入權(quán)重Wh和隱藏層偏置σi（i=1，2，…，L）.

2）使βi 0=βh 0=0，Pi 0=Ph 0=（I／C）-1．步驟2（在線順序?qū)W習(xí)階段）：For k=1，2，…

① 獲得第（k+1）個(gè)海洋環(huán)境數(shù)據(jù)訓(xùn)練樣本塊（x i，t i）∑k+1j=0N j

i=∑kj=0N j+1，其中N j表示第j個(gè)海洋環(huán)境數(shù)據(jù)訓(xùn)練樣本塊的數(shù)目;

② 由式（2）計(jì)算Hi k+1，由式（7）和式（8）計(jì)算Pi k+1和βi k+1;

③ 由式（10）計(jì)算Hh k+1，由式（12）和式（11）計(jì)算Ph k+1和βh k+1;

④ 把βi k+1和βh k+1轉(zhuǎn)置分別得出W k+1和V k+1;

⑤ 將W k+1和V k+1代入式（14）計(jì)算出H k+1;

⑥ 由式（8）和式（15）更新R-OSELM的輸出權(quán)重β k+1.

重復(fù)步驟2直到?jīng)]有新數(shù)據(jù)到達(dá).

End

NRMSE=∑Nt=1（y r（t）-y p（t））2Nσ2，? （16）

MAPE=1N∑Nt=1y r（t）-y p（t）y p（t）×100％，? （17）

R2=1-∑Nt=1（y r（t）-y p（t））2∑Nt=1 （y r（t）- r（t））2，? （18）

式中，N為海洋數(shù)據(jù)集的長(zhǎng)度，y r（t）為t時(shí)刻的實(shí)際數(shù)據(jù)， r（t）為實(shí)際數(shù)據(jù)的平均值，y p（t）為模型在t時(shí)刻的預(yù)測(cè)數(shù)據(jù)，σ2為預(yù)測(cè)值的方差

OS-ELM僅使用ELM-AE更新輸入權(quán)重，雖可獲得更好的隱藏層特征，但OS-ELM的性能會(huì)下降．本實(shí)驗(yàn)首先驗(yàn)證R-OSELM在不加入歸一化層前，ELM-AE對(duì)OS-ELM的影響，將OS-ELM與OS-ELM-AE的隱藏節(jié)點(diǎn)數(shù)分別設(shè)置為5、15、20、25，以NRMSE為度量標(biāo)準(zhǔn)．實(shí)驗(yàn)結(jié)果表明，OS-ELM在僅使用ELM-AE后，隨著隱藏節(jié)點(diǎn)數(shù)量的增加，模型的性能變得更差，如圖4所示．所以，需要對(duì)OS-ELM-AE再使用一種歸一化方法提升模型的性能．

海洋環(huán)境數(shù)據(jù)的預(yù)測(cè)和實(shí)際對(duì)比如圖5所示，可知4種海洋環(huán)境因素的預(yù)測(cè)曲線基本能擬合實(shí)際數(shù)據(jù)的變化情況，能夠準(zhǔn)確地反映出未來海洋環(huán)境的變化趨勢(shì)，驗(yàn)證了R-OSELM在海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)任務(wù)中的可行性．

4種海洋環(huán)境數(shù)據(jù)預(yù)測(cè)結(jié)果如表1所示．其中：NRMSE的值均小于0.1;MAPE的值均小于10％，尤其是溶解氧與濁度的MAPE值小于1％;R2均大于0.99．結(jié)果表明R-OSELM模型擬合效果優(yōu)秀．

2.3 與對(duì)比模型的性能比較

挑選處理在線預(yù)測(cè)任務(wù)的3種傳統(tǒng)模型：OS-ELM、在線LSTM［14］和在線SVR［15］為對(duì)比模型，對(duì)溶解氧、葉綠素a、濁度和藍(lán)綠藻4種海洋環(huán)境數(shù)據(jù)進(jìn)行在線預(yù)測(cè)實(shí)驗(yàn)，驗(yàn)證R-OSELM在海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)任務(wù)中的可行性．為保證實(shí)驗(yàn)的可對(duì)比性，對(duì)比模型的輸入層尺寸和輸出層尺寸與R-OSELM相同．

圖6給出了R-OSELM與其他3種模型對(duì)溶解氧、葉綠素a、濁度和藍(lán)綠藻數(shù)據(jù)的NRMSE對(duì)比，可以看出R-OSELM明顯優(yōu)于其他3種對(duì)比模型，其NRMSE值均在0.1以下．由圖6可知，在線LSTM與在線SVR預(yù)測(cè)能力明顯不如R-OSELM和OS-ELM，這可能是由于OS-ELM擁有對(duì)模型在線更新的能力，而前2種在線方法只是在于對(duì)樣本輸入的處理上．R-OSELM在加入提出的歸一化方法對(duì)輸入權(quán)重不斷更新后，效果優(yōu)于OS-ELM，能使其性能進(jìn)一步提高．

總體來說，R-OSELM在海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)任務(wù)中表現(xiàn)穩(wěn)定，能有效實(shí)現(xiàn)對(duì)海洋環(huán)境數(shù)據(jù)的在線預(yù)測(cè)，提升預(yù)測(cè)的準(zhǔn)確性．

3 結(jié)語

本文提出一種R-OSELM的海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)模型，對(duì)長(zhǎng)期累積的海洋環(huán)境數(shù)據(jù)，隨海洋環(huán)境時(shí)間序列在線更新，動(dòng)態(tài)調(diào)整在線預(yù)測(cè)模型提升預(yù)測(cè)精度．該模型使用ELM-AE用于提取更好的輸入特征，之后使用歸一化處理并對(duì)隱藏權(quán)重進(jìn)行循環(huán)輸入，使其能夠很好地訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)．實(shí)驗(yàn)結(jié)果表明R-OSELM應(yīng)用于海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)任務(wù)，預(yù)測(cè)精度有顯著提升．R-OSELM的特殊結(jié)構(gòu)不僅在初始學(xué)習(xí)階段能夠快速學(xué)習(xí)輸入模式，而且比其他在線預(yù)測(cè)方法更能快速適應(yīng)輸入模式的變化，可以高效完成海洋環(huán)境數(shù)據(jù)在線預(yù)測(cè)任務(wù)，滿足對(duì)海洋水質(zhì)環(huán)境在線預(yù)測(cè)的需求．

參考文獻(xiàn)

References

［1］ 王利明，馬蕾，楊曉飛，等.渤海環(huán)境污染的治理與保護(hù)對(duì)策［J］.中國(guó)資源綜合利用，2020，38（3）：109-111

WANG Liming，MA Lei，YANG Xiaofei，et al.The countermeasures for the pollution control and protection in the Bohai Sea［J］.China Resources Comprehensive Utilization，2020，38（3）：109-111

［2] Babak V P，Babak S V，Myslovych M V，et al.Methods and models for information data analysis［M］／／Diagnostic Systems for Energy Equipments.Cham：Springer International Publishing，2020：23-70

［3] 豆荊輝，夏瑞，張凱，等.非參數(shù)模型在河湖富營(yíng)養(yǎng)化研究領(lǐng)域應(yīng)用進(jìn)展［J］.環(huán)境科學(xué)研究，2021，34（8）：1928-1940

DOU Jinghui，XIA Rui，ZHANG Kai，et al.Application progress of non-parametric models in the field of river and lake eutrophication research［J］.Research of Environmental Sciences，2021，34（8）：1928-1940

［4] 張雪薇，韓震.基于Conv GRU深度學(xué)習(xí)網(wǎng)絡(luò)模型的海表面溫度預(yù)測(cè)［J］.大連海洋大學(xué)學(xué)報(bào)，2022，37（3）：531-538

ZHANG Xuewei，HAN Zhen.Sea surface temperature prediction based on ConvGRU deep learning network model ［J］.Journal of Dalian Ocean University，2022，37（3）：531-538

［5] 孫龍清，吳雨寒，孫希蓓，等.基于IBAS和LSTM網(wǎng)絡(luò)的池塘水溶解氧含量預(yù)測(cè)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（增刊1）：252-260

SUN Longqing，WU Yuhan，SUN Xibei，et al.Dissolved oxygen prediction model in ponds based on improved beetle antennae search and LSTM network［J］.Transactions of the Chinese Society for Agricultural Machinery，2021，52（sup1）：252-260

［6] Cao W P，Ming Z，Xu Z W，et al.Online sequential extreme learning machine with dynamic forgetting factor［J］.IEEE Access，2019，7：179746-179757

［7] Cao W W，Yang Q M.Online sequential extreme learning machine based adaptive control for wastewater treatment plant［J］.Neurocomputing，2020，408：169-175

［8] Al-Dhief F T，Baki M M，Latiff N M A，et al.Voice pathology detection and classification by adopting online sequential extreme learning machine［J］.IEEE Access，2021，9：77293-77306

［9] 楊麗，吳雨茜，王俊麗，等.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述［J］.計(jì)算機(jī)應(yīng)用，2018，38（增刊2）：1-6，26

YANG Li，WU Yuxi，WANG Junli，et al.Research on recurrent neural network［J］.Journal of Computer Applications，2018，38（sup2）：1-6，26

［10] Li L，Jiang P，Xu H，et al.Water quality prediction based on recurrent neural network and improved evidence theory：a case study of Qiantang River，China［J］.Environmental Science and Pollution Research，2019，26（19）：19879-19896

［11] Ye Q Q，Yang X Q，Chen C B，et al.River water quality parameters prediction method based on LSTM-RNN model［C］／／2019 Chinese Control and Decision Conference （CCDC）.June 3-5，2019，Nanchang，China.IEEE，2019：3024-3028

［12] Ding S F，Zhang N，Zhang J，et al.Unsupervised extreme learning machine with representational features［J］.International Journal of Machine Learning and Cybernetics，2017，8（2）：587-595

［13] Liu Z，Huang S L，Jin W，et al.Broad learning system for semi-supervised learning［J］.Neurocomputing，2021，444：38-47

［14] Bakhashwain N，University K F，Sagheer A，et al.Online tuning of hyperparameters in deep LSTM for time series applications［J］.International Journal of Intelligent Engineering and Systems，2021，14（1）：212-220

［15] Hu Z G，Kang H，Zheng M G.Stream data load prediction for resource scaling using online support vector regression［J］.Algorithms，2019，12（2）：37

Online prediction of marine environment data based on R-OSELM

LI Zhigang1 LIU Yujie1 HAN Guofeng2 CHENG Shang1 FU Duomin1 LI Yingqi1

1College of Artificial Intelligence／Hebei Key Laboratory of Industrial Intelligent Perception，

North China University of Science and Technology，Tangshan 063210

2Tangshan Employment Service Center，Tangshan 063000

Abstract In order to timely identify the changing trend of marine environment and reduce the influence of long-term accumulated marine environment data on prediction model，an online prediction model of marine environment data based on recurrent online sequential extreme learning machine （R-OSELM） is proposed.The marine environment data training set is initialized by an online method，the existing marine environment data is input block by block via online sequential extreme learning machine algorithm，and the input weight is cyclically processed by automatic coding technology of extreme learning machine and a normalized method，which realize the online update of the prediction model.Finally，online prediction of marine environment data is completed.The model is then used to predict dissolved oxygen，chlorophyll A，turbidity，and blue-green algae.The results show that the prediction accuracy of R-OSELM model is better than that of the comparison model.It is verified that the proposed R-OSELM model is capable of online prediction of marine environment data，which can provide support for early warning of marine eutrophication and other marine environmental pollution.

Key words marine environment data;time series prediction;online prediction;online sequential extreme learning machine;recurrent neural network