構(gòu)建更接近大腦的多種可塑性共存的SNN

白悅岐

1.引言

人工神經(jīng)網(wǎng)絡的出現(xiàn)并不是偶然。自古以來，人類不斷地探索著周圍的世界，大自然的秘密不斷的吸引著人們?nèi)ミM行探索，隨著自然科學的不斷發(fā)展，人類對于線性世界的認知不斷提升，漸漸地接觸到了非線性的世界。在20世紀出的迎接新年的晚會上，英國著名物理學家開爾文男爵發(fā)表了新年賀詞，其中他提到了以牛頓力學為代表的經(jīng)典物理學的“兩大烏云”，這其中一朵烏云便是“黑體輻射的紫外災難”，這是測量光譜和理論光譜的巨大差別，而這一切的原因便是量子的不連續(xù)性，這便是人類最早了解的非線性科學之一。總體上說，非線性科學隨處可見復雜性和非線性總是聯(lián)系在一起的。因此，人們需要一種新型的可以研究非線性科學的工具，由此，人工神經(jīng)網(wǎng)絡便應運而生了。

人工神經(jīng)網(wǎng)絡是一種新型技術，其優(yōu)越之處主要體現(xiàn)在當傳統(tǒng)的計算模式無法解決或者解決困難的時候，尤其是人工神經(jīng)網(wǎng)絡在處理大量原始數(shù)據(jù)確不能使用傳統(tǒng)的規(guī)則或公式時表現(xiàn)出極大地靈活性和適應性。人工神經(jīng)網(wǎng)絡給人們提供了一種新型的思路，上世紀八十年代中期人們開始深入的探索知識發(fā)現(xiàn)的內(nèi)在深入邏輯，人們發(fā)現(xiàn)，基于傳統(tǒng)的演繹邏輯算法的體系可以發(fā)現(xiàn)新的定理但是無法發(fā)現(xiàn)新的定律。但是Rumelhart，Hinton和Williams發(fā)現(xiàn)，在十多年前由前人發(fā)明的誤差反傳算法可以方便的處理多層網(wǎng)絡的隱節(jié)點學習問題。由此可見對于人工神經(jīng)網(wǎng)絡的研究工作在一定方面上正面回答了人工只能如何從環(huán)境中自主學習。自此，人工神經(jīng)網(wǎng)絡迎來了大發(fā)展時代，越來越多的新型算法被人們發(fā)現(xiàn)，人類對于自然環(huán)境非線性科學的認識又提高了一個階梯。

本文從監(jiān)督學習學到非監(jiān)督學習了，人工神經(jīng)網(wǎng)絡被證明了有非常強大的處理信息的能力，但是還是存在很多理論問題，如計算能力，復雜性，容量以及正則化理論。傳統(tǒng)神經(jīng)網(wǎng)絡受到傳統(tǒng)局限性的影響，特別在處理大量的數(shù)據(jù)或者受到快速變化的環(huán)境下有所限制。如計算迭代或人工神經(jīng)網(wǎng)絡算法的一些特性，相比于自然神經(jīng)網(wǎng)絡的生物處理有很大的限制。

2.人工神經(jīng)網(wǎng)絡的定義

生物具有的功能遠遠優(yōu)于大多人類制造的機械，所以人類一直在孜孜不倦的從動物身上學習，而人本身也是一種十分優(yōu)秀的可模仿對象，在日常生活中，人們發(fā)現(xiàn)大腦的能從嘈雜的環(huán)境中有選擇的接受信息，這說明大腦具有一定的自組織，自適應抗性的特征，這種特征如果用于電腦上將大大提高電腦的工作效率?？茖W證明大腦即是人的思維。成年人的大腦中神經(jīng)元的數(shù)量約為1011～1012個。神經(jīng)系統(tǒng)是人體起主導作用的功能調(diào)節(jié)。盡管單個神經(jīng)元的作用十分簡單，但是當大量的神經(jīng)元連接在一起時會具有十分復雜的功能。人們目前并不清楚生物神經(jīng)網(wǎng)絡如何工作，但人們可以構(gòu)建某些神經(jīng)元并把它們以大腦的方式排列起來，這樣，這種人造的神經(jīng)網(wǎng)絡便可以具有大腦的部分功能。

用來描述神經(jīng)元的諸多模型中，最能反映神經(jīng)元生物特性的就是由英國生理科學家霍奇金和赫胥黎與1952年提出的HH模型，這個模型它是用來描述神經(jīng)元膜電流與膜電位關系的一組微分方程組，可以用來重復動作電位的產(chǎn)生HH模型是目前最為精確的仿生模型，它可以模擬神經(jīng)元的生理特征，分析其閥值特征。IF模型是一種較為簡單，能夠較精準的表達生物神經(jīng)網(wǎng)絡功能的一種模型，運用脈沖序列進行反向辨識，可獲得體外網(wǎng)絡的培養(yǎng)數(shù)據(jù)，這對于病理研究會有更深刻的了解。SRM模型的出現(xiàn)參考了IF模型，可以說是IF模型的衍生。在不考慮額外電壓時表達式如下

細胞膜電位和細胞膜電阻密切相關，能夠調(diào)控細胞興奮電位發(fā)出的時間。細胞膜突觸延遲會調(diào)整離子通道的開放時間，開放概率以及平均關閉時間，會影響離子通道電流的大小，從而對神經(jīng)元興奮膜電位產(chǎn)生一定的影響。

3.建模

此模型反映出突觸后電流，突觸延時以及神經(jīng)元膜電阻，在SRM模型上增加了神經(jīng)元基本特性，使得神經(jīng)元更接近大腦可塑性網(wǎng)絡構(gòu)架。EPSP，指該神經(jīng)元接收到前一級神經(jīng)元發(fā)出興奮型的脈沖后，膜電位的變化情況。

其中τm表示神經(jīng)元細胞膜常數(shù)，Is表示突觸后電流，第i與第j個神經(jīng)元的突出延遲，第i與第j個神經(jīng)元的權(quán)重，Rm膜電壓的大小，前一層輸入的脈沖時刻。u1為突觸后神經(jīng)元的膜電位。

PSS，指該神經(jīng)元電位超過閾值并發(fā)出脈沖后，膜電位重新恢復閾值如下的電學狀態(tài)。

4.實驗結(jié)果

EPSP神經(jīng)元接收到上一時刻的脈沖會有一個上升的行為過程，而且膜電位大小會逐漸的下降回原來的水平。PSS神經(jīng)元接著上次的脈沖會不斷地急速下降，而且膜電位最終會趨近于原水平大小。IPSP神經(jīng)元膜電位會先有一個小幅度的上升然后不斷下降，最終回到原水平位置。

圖1 仿真結(jié)果

每個神經(jīng)元相隔50ms發(fā)放脈沖，橫坐標表示時間軸坐標表示歸一化幅度，我們將閾值限定在0.5，發(fā)現(xiàn)在外界周期性的刺激下產(chǎn)生了周期性的膜電位變化方式。

5.STDP模型

STDP的不對稱窗口可以用來完成突觸之間的合作與競爭問題，還可以用來控制突觸后的脈沖發(fā)射時間，甚至可以用作抑制興奮性循環(huán)。STDP的存在保證了大范圍脈沖神經(jīng)網(wǎng)絡的點火抑制平衡。

結(jié)合STDP的時空模式數(shù)據(jù)處理的修改規(guī)則加上SRM的動態(tài)閥值理論可以是學習方法更加接近生物神經(jīng)網(wǎng)絡。

0階神經(jīng)元模型突觸延時的不同會影響記憶儲存能力，其參數(shù)如圖2所示：

圖2 階神經(jīng)元模型突觸延時

灰色為興奮神經(jīng)元，綠色為抑制神經(jīng)元。當中間層神經(jīng)元發(fā)射脈沖時，會減少輸出層神經(jīng)元延時，當輸出層神經(jīng)元發(fā)射脈沖時，會減少中間層神經(jīng)元延時，這一現(xiàn)象也符合生物的STDP現(xiàn)象。其數(shù)學模型如下：

值得注意的是某些RSM神經(jīng)元基于學習規(guī)則可能會出現(xiàn)局部最優(yōu)的情況，體現(xiàn)不同區(qū)域的差異性。

6.結(jié)論

本文介紹了脈沖神經(jīng)網(wǎng)絡(SNN)稱為第三代神經(jīng)網(wǎng)絡，此網(wǎng)絡沖破了神經(jīng)網(wǎng)絡的閾值或sigmoid單元，基于動力學脈沖驅(qū)動，主要基于脈沖響應神經(jīng)元模型（SRM）發(fā)展了更接近人腦動力學特型的新型SRM并結(jié)合了脈沖編碼形式，加入了更多的影響因素，譬如更接近人的行為方式。

應用最貼近大腦的學習機制STDP，以非監(jiān)督學習為主要算法對，結(jié)合對網(wǎng)絡拓撲的設計。未來此網(wǎng)絡可以通過訓練以及輸出神經(jīng)元的脈沖，發(fā)現(xiàn)網(wǎng)絡具有圖像認知，分類，描述等特性。