基于神經(jīng)網(wǎng)絡算法的機器學習模型研究

翟龍飛　陳迎春　楊沖　閆心寶

摘 要：人工神經(jīng)網(wǎng)絡是一種新型的信息處理技術，具有先進的建模技術，但網(wǎng)絡自身存在的不足影響了其進一步的發(fā)展和應用。本文詳細研究了標準BP神經(jīng)網(wǎng)絡，并提出了網(wǎng)絡性能的改進著眼點。

關鍵詞：BP神經(jīng)網(wǎng)絡 網(wǎng)絡模型 網(wǎng)絡訓練

中圖分類號： TP183 文獻標識碼：A 文章編號：1003-9082（2016）03-0004-01

人工神經(jīng)網(wǎng)絡是一個由簡單數(shù)據(jù)處理單元相互連接組成的龐大信息處理計算模型，該網(wǎng)絡通過歷史知識的不斷輸入和人工網(wǎng)絡對于運算的自適應調(diào)整來實現(xiàn)有用運算。

一、神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡具有自主學習性質(zhì)，對于特定運算具有高效運算能力。因此，人們以信息在神經(jīng)系統(tǒng)處理過程為啟發(fā)，利用計算機系統(tǒng)構(gòu)建了類似的分級計算層次結(jié)構(gòu)，即人工神經(jīng)網(wǎng)絡。

神經(jīng)網(wǎng)絡構(gòu)造可分為神經(jīng)元模型、網(wǎng)絡模型構(gòu)造兩部分。

1.神經(jīng)元模型

神經(jīng)元（神經(jīng)細胞）是神經(jīng)網(wǎng)絡的基本信息處理單元，它是神經(jīng)網(wǎng)絡的設計基礎

2.網(wǎng)絡結(jié)構(gòu)模型

網(wǎng)絡結(jié)構(gòu)模型由逐個神經(jīng)元連接構(gòu)成，其能對信息的多神經(jīng)元融合處理傳輸，因此使得信息處理具有一定的魯棒性。從網(wǎng)絡結(jié)構(gòu)連接方式上，可將人工神經(jīng)網(wǎng)絡分為前饋型網(wǎng)絡和反饋型網(wǎng)絡。

二、網(wǎng)絡模型構(gòu)建

1.BP網(wǎng)絡的結(jié)構(gòu)分析

將BP神經(jīng)元組合就構(gòu)成了多層BP神經(jīng)網(wǎng)絡，圖3給出了一個單隱層的三層神經(jīng)網(wǎng)絡模型。

2.BP網(wǎng)絡的算法分析

2.1神經(jīng)網(wǎng)絡的性能函數(shù)

神經(jīng)網(wǎng)絡的網(wǎng)絡性能是以均方誤差MSE作為評價標準，同時兼顧網(wǎng)絡訓練時間。以下為網(wǎng)絡輸出誤差數(shù)學表達：

（6）

2.2神經(jīng)網(wǎng)絡中神經(jīng)元權值與輸出誤差關系

由（8）可以看出，網(wǎng)絡輸出誤差E是各層權值 、 的函數(shù)，因此通過調(diào)整權值來得到較小E的值，從而實現(xiàn)數(shù)據(jù)擬合精度提高。

三、影響B(tài)P網(wǎng)絡性能的關鍵因素

1.網(wǎng)絡訓練的擬合性能分析

眾多研究表明，網(wǎng)絡的泛化能力主要與隱層數(shù)以及各隱層神經(jīng)元個數(shù)，樣本大小和訓練次數(shù)有關。本文研究針對短波數(shù)據(jù)進行的擬合預測分析，訓練目標是最好的接近實際數(shù)據(jù)。因此，本文以訓練得到最低均方誤差為目的。

2.數(shù)據(jù)集的選定

訓練樣本集的選取以及處理對于神經(jīng)網(wǎng)絡的擬合結(jié)果有著重要的影響。在選取輸入樣本變量時，變量應具有以下特點：

①樣本數(shù)據(jù)大，即擁有較大的置信空間；

②輸入變量之間相關性要低。

需要對選定的樣本進行預處理，以便進一步優(yōu)化網(wǎng)絡性能[2]。

3.網(wǎng)絡初始化

網(wǎng)絡初始化包括對于權值和閾值的初始化，其初始值決定著網(wǎng)絡訓練過程中在誤差曲面上的初始移動點，由于誤差曲面的不均勻性質(zhì)，一個好的網(wǎng)絡初始值能夠使得網(wǎng)絡收斂速度更快，網(wǎng)絡收斂目標更優(yōu)，一般BP網(wǎng)絡初始化是隨機的，從而導致了網(wǎng)絡差異化大，網(wǎng)絡容易陷入局部最優(yōu)不能達到最終收斂的目的，同時也造成網(wǎng)絡訓練的不穩(wěn)定。因此在實際應用中，可以多次訓練選擇最終誤差性能最小的網(wǎng)絡初始值，保證了網(wǎng)絡的訓練結(jié)果。

4.網(wǎng)絡的訓練速度

影響網(wǎng)絡訓練速度的主要因素在網(wǎng)絡結(jié)構(gòu)、網(wǎng)絡訓練算法以及網(wǎng)絡參數(shù)。

為了保證較短的訓練時間，選取隱含層和隱層節(jié)點數(shù)盡量少，但若設計網(wǎng)絡是結(jié)構(gòu)過于簡單會造成網(wǎng)絡學習樣本的能力不足。然而過大的話，則導致網(wǎng)絡學習的時間加長，學習出現(xiàn)過適配現(xiàn)象[3]。目前可以采取試湊和對比的方法確定適合于該模型的網(wǎng)絡結(jié)構(gòu)。

網(wǎng)絡訓練算法體現(xiàn)了訓練點在誤差曲面的移動路線和方式上，是網(wǎng)絡擬合性能的關鍵因素。

5.網(wǎng)絡性能的檢驗

在標準BP神經(jīng)網(wǎng)絡中，當輸出誤差穩(wěn)定到網(wǎng)絡誤差性能函數(shù)以下時，認為是網(wǎng)絡訓練成功。通過對和訓練數(shù)據(jù)同一來源的檢驗樣本進行仿真預測，用預測值與期望值求得誤差性能函數(shù)MSE來反映性能分析。對于一個網(wǎng)絡的評價指標主要在網(wǎng)絡的訓練速度和網(wǎng)絡的擬合精度上。

參考文獻

[1] Simon Haykin著. 神經(jīng)網(wǎng)絡原理[M]. 葉世偉等譯.第二版.北京：機械工業(yè)出版社，2004.1： 1～8.

[2] 施顏，韓立群，廉小親編著.神經(jīng)網(wǎng)絡設計方法與實例分析[M] 北京：北京郵電大學出版社， 2009，12：23～36.