神經(jīng)網(wǎng)絡(luò)算法研究

王存宇　古衛(wèi)明　吳翀　周晨

摘 要： 研究了神經(jīng)網(wǎng)絡(luò)的模型和算法。神經(jīng)網(wǎng)絡(luò)是由簡單處理單元構(gòu)成的大規(guī)模并行分布式處理器，是對人腦的抽象、簡化和模擬，反映人腦的基本特性。它是根植于神經(jīng)科學、數(shù)學、統(tǒng)計學、物理學、計算機科學等學科的一種技術(shù)。目前，神經(jīng)網(wǎng)絡(luò)主要應用于網(wǎng)絡(luò)的軟硬件實現(xiàn)研究、各個領(lǐng)域特定問題的研究等。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)； 分布式處理器； 人腦； 神經(jīng)元模型

中圖分類號：TP391.9 文獻標志碼：A 文章編號：1006-8228（2016）10-08-03

Study on neural network algorithm

Wang Cunyu， Gu Weiming， Wu Chong， Zhou Chen

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： The model and algorithm of neural network are studied in this paper. Neural network is a massive parallel and distributed processor which is composed of the simple processing units. It is an abstraction， simplification and simulation of the human brain， and reflects the basic characteristics of the human brain. It is a kind of technology rooted in the neural science， mathematics， statistics， physics， and computer science and so on. At present， the neural network is mainly used as a study in network hardware and software implementation and in the specific issues in various fields.

Key words： neural network； distributed processor； human brain； neuron model

0 引言

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波、混沌、粗集、分形、證據(jù)理論、灰色系統(tǒng)等技術(shù)的融合已經(jīng)成為智能技術(shù)的一個重要發(fā)展趨勢，有著很好的發(fā)展前景[2]。研究神經(jīng)網(wǎng)絡(luò)的算法，最終實現(xiàn)與其他算法的結(jié)合是非常有意義的。

1 神經(jīng)網(wǎng)絡(luò)特點

1.1 一般特點[3]

⑴ 由于神經(jīng)網(wǎng)絡(luò)模仿人的大腦，采用自適應算法。使它較之專家系統(tǒng)的固定的推理方式及傳統(tǒng)計算機的指令程序方式更能夠適應環(huán)境的變化?？偨Y(jié)規(guī)律，完成某種運算、推理、識別及控制任務，使其具有更高的智能水平，更接近人的大腦。

⑵ 較強的容錯能力，使神經(jīng)網(wǎng)絡(luò)能夠和人工視覺系統(tǒng)一樣，根據(jù)對象的主要特征去識別對象。

⑶ 自學習、自組織功能及歸納能力。

1.2 自組織的特點

自組織特征映射神經(jīng)網(wǎng)絡(luò)的固有特點決定了神經(jīng)網(wǎng)絡(luò)相對傳統(tǒng)方法的優(yōu)點：

⑴ 自組織特性，減少人為的干預，減少人的建模工作，這一點對于數(shù)學模型不清楚的物探數(shù)據(jù)處理尤為重要，減少不精確的甚至存在錯誤的模型給結(jié)果帶來的負面影響。

⑵ 強大的自適應能力大大減少了工作人員的編程工作，使得被解放出來的處理人員有更多的精力去考慮參數(shù)的調(diào)整對結(jié)果的影響，使得更快的改進方法成為可能。

⑶ 網(wǎng)絡(luò)工作過程中考慮數(shù)據(jù)和網(wǎng)絡(luò)拓撲結(jié)構(gòu)的問題，更類似人類大腦思考問題的方式，問題的解決更符合人的特點，使得結(jié)果的可信程度加大。

⑷ 無導師學習機制，不需要教師信號。對于地球物理勘探這類的很少有準確的教師信號作為指導的問題而言，這一點很有優(yōu)勢，很好的模仿人腦，所得結(jié)果是其他方法處理結(jié)果的很好的參考。

2 人類大腦

人的神經(jīng)系統(tǒng)可看作三階段系統(tǒng)，如圖1（Arbib， 1987）所描繪的框圖所示。系統(tǒng)的中央是人腦，由神經(jīng)網(wǎng)絡(luò)表示，它持續(xù)地接收信息，感知它并做出適當?shù)臎Q定。圖中有兩組箭頭，從左到右的箭頭表示攜帶信息的信號通過系統(tǒng)向前傳輸，從右到左的箭頭表示系統(tǒng)中的反債。感受器把來自人體或外界環(huán)境的刺激轉(zhuǎn)換成電沖擊，對神經(jīng)網(wǎng)絡(luò)（大腦）傳送信息。神經(jīng)網(wǎng)絡(luò)的效應器會將神經(jīng)網(wǎng)絡(luò)產(chǎn)生的電沖擊轉(zhuǎn)換為可識別的響應從而作為系統(tǒng)的輸出。

3 神經(jīng)網(wǎng)絡(luò)

3.1 神經(jīng)元模型

⑴ 突觸或連接鏈集，每一個都由其權(quán)值或者強度作為特征。具體來說，在連到神經(jīng)元k的突觸j上的輸人信號被乘以k的突觸權(quán)值。第一個下標指正在研究的這個神經(jīng)元，第二個下標指權(quán)值所在的突觸的輸入端。和人腦中的突觸不一樣，人工神經(jīng)元的突觸權(quán)值有一個范圍，可以取正值也可以取負值。

⑵ 加法器，用于求輸人信號被神經(jīng)元的相應突觸加權(quán)的和。這個操作構(gòu)成一個線性組合器。

⑶ 激活函數(shù)，用來限制神經(jīng)元輸出振幅。由于它將輸出信號限制到允許范圍之內(nèi)的一定值，故而激活函數(shù)也稱為壓制函數(shù)。通常，一個神經(jīng)元輸出的正常幅度范圍可寫成單位閉區(qū)間[0，1]或者另一種區(qū)間[-1，+1]。

偏置bk的作用是根據(jù)其為正或為負，相應地增加或降低激活函數(shù)的網(wǎng)絡(luò)輸人。偏置bk的作用是對輸出作仿射變換，如下所示：

特別地，根據(jù)偏置bk取正或取負，神經(jīng)元k的誘導局部域vk和線性組合器輸出uk的關(guān)系如圖3所示。若bk取正，則稱神經(jīng)元處于激活狀態(tài)或興奮狀態(tài)，若bk取負，則稱神經(jīng)元處于抑制狀態(tài)。這種“閾值加權(quán)和”的神經(jīng)元模型稱為M-P模型，也稱為神經(jīng)網(wǎng)絡(luò)的一個處理單元（PE）。

3.2 激活函數(shù)

激活函數(shù)的選擇是構(gòu)建神經(jīng)網(wǎng)絡(luò)過程中的重要環(huán)節(jié)。

由于S形函數(shù)與雙極S形函數(shù)都是可導的，因此適合用在BP神經(jīng)網(wǎng)絡(luò)中。

3.3 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元互聯(lián)而構(gòu)成的網(wǎng)絡(luò)。根據(jù)網(wǎng)絡(luò)中神經(jīng)元的互聯(lián)方式，常見網(wǎng)絡(luò)結(jié)構(gòu)主要可以分為下面3類：

⑴ 前饋神經(jīng)網(wǎng)絡(luò)

前饋網(wǎng)絡(luò)也稱前向網(wǎng)絡(luò)。在分層網(wǎng)絡(luò)中，神經(jīng)元以層的形式組織。在最簡單的分層網(wǎng)絡(luò)中，源節(jié)點構(gòu)成輸入層，直接投射到神經(jīng)元輸出層（計算節(jié)點）上，反之則不然。感知機（ perceptron）與BP神經(jīng)網(wǎng)絡(luò)就屬于前饋網(wǎng)絡(luò)。

圖4中是一個三層的前饋神經(jīng)網(wǎng)絡(luò)，其中第一層是輸入單元，第二層稱為隱含層，第三層稱為輸出層（輸入單元不是神經(jīng)元，因此圖中有兩層神經(jīng)元）。

⑵ 反饋神經(jīng)網(wǎng)絡(luò)

反饋型神經(jīng)網(wǎng)絡(luò)是一種從輸出到輸入具有反饋連接的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)比前饋網(wǎng)絡(luò)要復雜得多。典型的反饋型神經(jīng)網(wǎng)絡(luò)有：Elman網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)。

⑶ 遞歸網(wǎng)絡(luò)

遞歸網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的區(qū)別在于它至少有一個反饋環(huán)。如圖6所示，遞歸網(wǎng)絡(luò)可以由單層神經(jīng)元組成，單層網(wǎng)絡(luò)的每一個神經(jīng)元的輸出都反饋到所有其他神經(jīng)元的輸人中。這個圖中描繪的結(jié)構(gòu)沒有自反饋環(huán)；自反饋環(huán)表示神經(jīng)元的輸出反饋到它自己的輸人上。圖6也沒有隱藏層。

4 結(jié)束語

神經(jīng)網(wǎng)絡(luò)理論已在信號處理、人工智能[5]、模式識別、自動控制、輔助決策等眾多研究領(lǐng)域取得了廣泛的應用[6]，但其發(fā)展還不十分成熟，比如：神經(jīng)計算的基礎(chǔ)理論框架以及生理層面的研究仍需深入。新的模型和結(jié)構(gòu)的研究；神經(jīng)網(wǎng)絡(luò)的可理解性問題；神經(jīng)網(wǎng)絡(luò)技術(shù)與其他技術(shù)更好的結(jié)合等。

今后的研究應在充分利用神經(jīng)網(wǎng)絡(luò)優(yōu)點的基礎(chǔ)上，關(guān)注各個領(lǐng)域的新方法、新技術(shù)，發(fā)現(xiàn)他們之間的結(jié)合點，取長補短，并進行有效的融合，從而獲得比單一方法更好的效果。除此之外，還應當加強神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論方面的研究和在實際應用方面的研究，使其在工程應用中發(fā)揮越來越大的作用。

參考文獻（References）：

[1] 樊振宇.BP神經(jīng)網(wǎng)絡(luò)模型與學習算法[J].軟件導刊，2011.10（7）：

66-68

[2] 陳祥光，裴旭東.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及應用[M].中國電力出版

社，2003.

[3] 郭志安等著.神經(jīng)計算機：概念、原理、算法、能力[M].四川教

育出版社，2001.

[4] 毛健，趙紅東，姚婧婧.人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應用[J].電子設(shè)

計工程，2011.19（24）：62-65

[5] 虞和濟等著.基于神經(jīng)網(wǎng)絡(luò)的智能[M].冶金工業(yè)出版社，2000.

[6] 王洪元，史國棟.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應用[M].中國石化

出版社，2002.

[7] Li Minyiang. Xu Boyi. Kou Jisong. On the cotnhinalion of

genetic algorithms and neural networks[J]. Systems Engineering-Theory $. Practice，1999.2：65-69