LM-BP神經(jīng)網(wǎng)絡(luò)在于橋水庫水質(zhì)預(yù)測中的應(yīng)用

田建平，曹東衛(wèi)，李海楠

（河北省唐秦水文水資源勘測局，河北 唐山 063000）

0 引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。BP 神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)中最為重要的網(wǎng)絡(luò)之一，也是迄今為止，應(yīng)用最為廣泛的網(wǎng)絡(luò)算法，實踐證明這種基于誤差反傳遞算法的 BP 網(wǎng)絡(luò)有很強(qiáng)的映射能力，可以解決許多實際問題[1]。

水環(huán)境污染是多種因素影響的結(jié)果，具有非線性、不確定性和模糊性。本文通過 BP 神經(jīng)網(wǎng)絡(luò)模型對于橋水庫高錳酸鹽指數(shù) 、五日生化需氧量 、氨氮、溶解氧等污染指標(biāo)進(jìn)行了預(yù)測，為水質(zhì)預(yù)測工作提供了新的思路。

1 BP 神經(jīng)網(wǎng)絡(luò)模型

1.1 BP 神經(jīng)網(wǎng)絡(luò)原理

BP 神經(jīng)網(wǎng)絡(luò)是一種反向傳遞并修正誤差的多層前饋映射網(wǎng)絡(luò)，其結(jié)構(gòu)簡單，可操作性強(qiáng)，在函數(shù)逼近、模式識別、分類、數(shù)據(jù)壓縮等領(lǐng)域有著廣泛的應(yīng)用。對于1個3層（輸入層、隱含層、輸出層）的 BP 網(wǎng)絡(luò)，只要其隱含層的神經(jīng)元數(shù)足夠，就可以任意精度逼近任何連續(xù)函數(shù)，實現(xiàn)任意Rn上[0，1]n到Rm的映射能力，具有自學(xué)習(xí)、自組織和適應(yīng)能力。據(jù)統(tǒng)計，有近90% 的神經(jīng)網(wǎng)絡(luò)應(yīng)用是采用 BP 網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是使用最速下降法，學(xué)習(xí)過程包括正向傳播和反向傳播。在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層加權(quán)處理傳向輸出層，經(jīng)作用函數(shù)運(yùn)算后得到的輸出值和期望值進(jìn)行比較，若有誤差，則誤差反向傳播，沿原先的連接通路返回，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。如此循環(huán)直到輸出滿足要求為止[1]。

但是，傳統(tǒng) BP 神經(jīng)網(wǎng)絡(luò)存在如下3個缺陷，會影響其實際應(yīng)用：

1）傳統(tǒng) BP 網(wǎng)絡(luò)的隱含層節(jié)點采用的是 Sigmoid函數(shù)，采用誤差梯度下降法，在有隨機(jī)擾動的情況下往往不能保證全局收斂而陷入局部極小，不能達(dá)到最佳效果，致使學(xué)習(xí)過程失效。

2）學(xué)習(xí)算法的收斂速度很慢，尤其是在目標(biāo)點附近。其中重要的原因是學(xué)習(xí)速率選擇不當(dāng)。學(xué)習(xí)速率選得太小，則收斂太慢，學(xué)習(xí)速率選得太大，則有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散。

3）難以確定神經(jīng)網(wǎng)絡(luò)的優(yōu)化結(jié)構(gòu)，網(wǎng)絡(luò)的輸入節(jié)點、輸出節(jié)點由問題而定，隱節(jié)點的選取根據(jù)經(jīng)驗， 缺乏理論指導(dǎo)，對初始權(quán)值、閾值等的選取敏感[2]。

1.2 BP 神經(jīng)網(wǎng)絡(luò)及 L-M 算法

1）傳統(tǒng)的 BP 神經(jīng)網(wǎng)絡(luò)算法[3]

設(shè)輸入的學(xué)習(xí)樣本只有α個：ξ1，ξ2，…，ξα，對應(yīng)的教師信號（即輸出的期望值）為τ1，τ2，…，τα。用這α個樣本對（ξπ，τπ），p= 1，2，…，α對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。當(dāng)?shù)趐個樣本被輸入到網(wǎng)絡(luò)后，經(jīng)網(wǎng)絡(luò)各層計算，設(shè)網(wǎng)絡(luò)的實際輸出值為yιp，ι= 1，2，…，m（設(shè)輸入向量為m維），將其與期望值相比較，可得在第p個輸入模式下輸出方差：

若輸入所有α個樣本經(jīng)正向傳遞運(yùn)算后，則網(wǎng)絡(luò)的總誤差為：

應(yīng)用最速下降法，反向調(diào)整各層連接權(quán)值，使得誤差達(dá)到最小。設(shè)ωυω為網(wǎng)絡(luò)任意?2?個神經(jīng)元之間的連接權(quán)，沿負(fù)梯度方向調(diào)整連接權(quán)ωυω的修正量為：

設(shè)n為迭代次數(shù)，應(yīng)用梯度法可得網(wǎng)絡(luò)第j層到i層的連接權(quán)的迭代關(guān)系式為：

等效誤差按上述推導(dǎo)過程由輸出層向輸入層反向傳播產(chǎn)生，經(jīng)過多次調(diào)整網(wǎng)絡(luò)最終收斂于目標(biāo)。

2）L-M（Levenberg-Marquardt）算法

在實際應(yīng)用中，傳統(tǒng)的 BP 算法很難勝任，因此國內(nèi)外出現(xiàn)了很多改進(jìn)算法。例如 L-M 算法、牛頓 BP 算法（BFG）、彈性 BP 算法（RP）、自適應(yīng) BP 算法（GDX）、變步長 BP 算法（GDA）及加動量 BP 算法（GDM）等[2]。

L-M 全局優(yōu)化算法比其它幾種使用梯度下降法的 BP 算法要快得多，但對于復(fù)雜問題，這種方法需要相當(dāng)大的存儲空間。L-M 算法的基本思想是：在實際中，為了減輕非最優(yōu)點的奇異問題，使目標(biāo)函數(shù)在接近最優(yōu)點時， 在極值點附近的特性近似2次性，以加快尋優(yōu)收斂過程。一般是給搜索方向的系數(shù)矩陣n的主對角陣中的每個元素都加1個小的正數(shù)μ（由于起阻尼作用，故稱阻尼因子）。即：

式（5）、（6）中：e為誤差；P為前進(jìn)方向；W是連接權(quán)；J是目標(biāo)誤差函數(shù)對連接權(quán)的一階導(dǎo)數(shù)；α是自適應(yīng)調(diào)節(jié)步長，通常取最優(yōu)步長；μ是阻尼因子；為單位矩陣。

L-M 優(yōu)化算法是梯度下降法與高斯牛頓法的結(jié)合，既有高斯牛頓算法的快速收斂特性又有梯度下降法的全局特性，可以有效地改善網(wǎng)絡(luò)收斂性能。

L-M 優(yōu)化方法的權(quán)值調(diào)整率選為：

式（7）中當(dāng)μ很大時接近于梯度法，當(dāng)μ很小時式（7）變成了 Gauss-Newton 法，在這種方法中，μ也是自適應(yīng)調(diào)整的。

這里采用 L-M 學(xué)習(xí)規(guī)則和動量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)函數(shù)。

2 LM-BP 神經(jīng)網(wǎng)絡(luò)模型在于橋水庫水質(zhì)預(yù)測中的應(yīng)用

根據(jù)現(xiàn)有資料，把高錳酸鹽指數(shù) 、五日生化需氧量 、氨氮、溶解氧等4項污染指標(biāo)作為網(wǎng)絡(luò)的輸入樣本。而網(wǎng)絡(luò)的輸出樣本也采用這4個指標(biāo)。以 1987～2006年的年平均數(shù)據(jù)作為樣本集，對網(wǎng)絡(luò)訓(xùn)練20000次，使目標(biāo)誤差達(dá)到 10-6mg/L，訓(xùn)練函數(shù)采用 trainlm。經(jīng)驗證，隱層單元結(jié)點選取最佳的結(jié)點個數(shù)為 12。訓(xùn)練結(jié)束后，用 sim 函數(shù)仿真輸出，并且與目標(biāo)輸出進(jìn)行比較，來檢驗網(wǎng)絡(luò)的性能。隱含層和輸出層分別采用 tansig 和 purelin 轉(zhuǎn)換函數(shù)，當(dāng)誤差達(dá)到設(shè)置學(xué)習(xí)性能目標(biāo)值（10-6mg/L）時，計算結(jié)束。

收斂效果如圖1所示，所建網(wǎng)絡(luò)經(jīng)過163步以后，網(wǎng)絡(luò)誤差達(dá)到學(xué)習(xí)要求，學(xué)習(xí)速率比較理想。

圖1 收斂效果圖

由于網(wǎng)絡(luò)的轉(zhuǎn)換函數(shù)（sigmoid 函數(shù)）在[0，1]區(qū)間的變化梯度較大，一般網(wǎng)絡(luò)訓(xùn)練時均把樣本數(shù)據(jù)變換到這一區(qū)域，防止部分神經(jīng)元達(dá)到過飽和狀態(tài)，即對數(shù)據(jù)進(jìn)行歸一化處理，最后對輸出結(jié)果進(jìn)行反歸一化處理。這里采用歸一化公式為：

式中：xi，ximin，ximax分別為各組樣本的任意值、最小值和最大值。

當(dāng)神經(jīng)網(wǎng)絡(luò)處理結(jié)束后，再對網(wǎng)絡(luò)輸出數(shù)據(jù)做反歸一化運(yùn)算，使輸出數(shù)據(jù)與原始數(shù)據(jù)在同一個區(qū)域之內(nèi)。反歸一化的公式為：

訓(xùn)練后得到的 BP 神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值為：

均方差 MSE ＝1.6491×10-4。

我們采用 Matlab 提供的神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具箱對網(wǎng)絡(luò)訓(xùn)練結(jié)果進(jìn)一步分析。神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具箱采用了線性回歸的方法分析了網(wǎng)絡(luò)輸出與目標(biāo)輸出之間的關(guān)系，即網(wǎng)絡(luò)的輸出變化相對于目標(biāo)輸出的變化率，從而評估網(wǎng)絡(luò)訓(xùn)練結(jié)果。計算值與實測值相關(guān)關(guān)系如圖2所示，相對誤差如圖3所示。圖2中R表示網(wǎng)絡(luò)輸出與目標(biāo)輸出的相關(guān)系數(shù)，R越接近1表示輸出與目標(biāo)輸出越接近，網(wǎng)絡(luò)性能越好。這里R＝1，表明網(wǎng)絡(luò)性能很好。

利用訓(xùn)練過的 BP 神經(jīng)網(wǎng)絡(luò)模型，對于橋水庫2007和 2008年高錳酸鹽指數(shù) 、五日生化需氧量、氨氮、溶解氧濃度值進(jìn)行預(yù)測并驗證。驗證結(jié)果還是較為滿意的。

根據(jù)此模型預(yù)測的于橋水庫的各污染指標(biāo)濃度值（年均值）如表1所示。

圖2 計算值與實測值相關(guān)關(guān)系圖

圖3 計算值與實測值相對誤差圖

表1 BP 神經(jīng)網(wǎng)絡(luò)模型預(yù)測的于橋水庫的各污染指標(biāo)濃度值（年均值）

3 結(jié)論

BP 神經(jīng)網(wǎng)絡(luò)模型在于橋水庫水質(zhì)預(yù)測時取得了較為理想的的精度和可靠度。如果增加樣本的容量，可以使預(yù)測結(jié)果更好。水質(zhì)參數(shù)濃度的變化是隨機(jī)的，與各種自然和人為因素有很大關(guān)系，對于這種因果關(guān)系的不確定性，BP 人工神經(jīng)網(wǎng)絡(luò)模型給出了較為滿意的解決方法，使預(yù)測過程變得簡單可行。由于影響水質(zhì)參數(shù)濃度因素的復(fù)雜性與不確定性，具體運(yùn)用時可根據(jù)需要充分考慮各因素的影響，適當(dāng)增加學(xué)習(xí)樣本容量，以提高預(yù)測精度。

[1] 苑希民，李洪雁.神經(jīng)網(wǎng)絡(luò)和遺傳算法在水科學(xué)領(lǐng)域的應(yīng)用[M].北京：中國水利水電出版社，2002.

[2] 林國璽，宣慧玉.遺傳算法和 BP 人工神經(jīng)網(wǎng)絡(luò)在稅收預(yù)測中的應(yīng)用[J].系統(tǒng)工程理論方法應(yīng)用，2005（4）: 52-54.

[3] 許東，吳錚.基于 MATLAB 的系統(tǒng)分析與設(shè)計－神經(jīng)網(wǎng)絡(luò)[M].西安：西安交大出版社，2002.