一種基于STDP機(jī)制的IF模型簡(jiǎn)化算法

劉賢鋒，左亞旻

一種基于STDP機(jī)制的IF模型簡(jiǎn)化算法

劉賢鋒，左亞旻

觸彈性是指神經(jīng)細(xì)胞之間連接強(qiáng)度的變化，突觸前細(xì)胞和突觸后細(xì)胞產(chǎn)生峰電位的時(shí)間差可以改變突觸彈性，這個(gè)現(xiàn)象被稱為“尖峰時(shí)間依賴性可塑性”，簡(jiǎn)稱STDP。將STDP機(jī)制融合到傳統(tǒng)的IF模型當(dāng)中，改良后的模型可以更真實(shí)的擬合生物神經(jīng)細(xì)胞的自然特性。本文以這種結(jié)合STDP機(jī)制的IF模型為基礎(chǔ)，提出一個(gè)新的算法，并通過MATLAB進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該算法能夠體現(xiàn)神經(jīng)細(xì)胞的生理特性，具有更好的仿生功能。

神經(jīng)網(wǎng)絡(luò)；IF模型；STDP機(jī)制

0 引言

在生物學(xué)中，神經(jīng)網(wǎng)絡(luò)是指生物的神經(jīng)元互相連接而形成的一個(gè)龐大復(fù)雜的網(wǎng)絡(luò)，用于產(chǎn)生意識(shí)及生物的行為。近年來，由于人工智能的迅速發(fā)展，“人工神經(jīng)網(wǎng)絡(luò)”這一領(lǐng)域的研究越來越受到重視。顧名思義，人工神經(jīng)網(wǎng)絡(luò)是通過研究生物原型，建立模型的方法，從而模擬生物的思維方式，實(shí)現(xiàn)人工智能方面的應(yīng)用。Integrate-and-fire模型（以下簡(jiǎn)稱為IF模型）是一種主流且簡(jiǎn)化的生物神經(jīng)元模型，它可以描述神經(jīng)元輸入和輸出的關(guān)系。然而，生物對(duì)外界的刺激所做出的反應(yīng)不是簡(jiǎn)單的輸入輸出關(guān)系，還需要進(jìn)行“學(xué)習(xí)”（Learning），在這里，學(xué)習(xí)指的是神經(jīng)元之間聯(lián)系強(qiáng)弱的算法。生物神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體、樹突、軸突及突觸組成。其中，突觸的主要作用是在神經(jīng)元之間傳遞信息，神經(jīng)元之間強(qiáng)度的變化稱為突觸彈性，突觸前細(xì)胞和突觸后細(xì)胞產(chǎn)生峰電位的時(shí)間差可以改變突觸彈性，這個(gè)現(xiàn)象被稱為“尖峰時(shí)間依賴性可塑性”（Spike-timing Dependent Plasticity），簡(jiǎn)稱STDP[1-11]。在IF模型中引入STDP機(jī)制可以使模型更真實(shí)的模擬生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

1 IF模型的數(shù)學(xué)描述及其在MATLAB中的仿真模擬

神經(jīng)元的特性可以通過生物學(xué)神經(jīng)元的數(shù)學(xué)模型進(jìn)行描述。數(shù)學(xué)模型可以比較精確的描述和預(yù)測(cè)生物學(xué)過程。IF模型是一種比較常用的神經(jīng)元模型，在IF模型中，細(xì)胞體被描述為電容C的膜電壓[1-11]。

IF模型的結(jié)構(gòu)圖，如圖1所示：

圖1 IF模型的結(jié)構(gòu)圖

膜電壓的方程式如公式1：

其中，v = v(t)，I = I(t)，R為電阻值，C為電容值，mτ = RC表示時(shí)間常量，v0是電壓初始值。求解公式（1），得到膜電壓v(t)，如公式（2）所示：

q為總充電量，τs是電流衰減常量，t(jf)是突觸前神經(jīng)元的點(diǎn)火時(shí)間[1]。

依據(jù)上述表達(dá)式，在MATLAB中構(gòu)建IF模型，并進(jìn)行仿真。具體參數(shù)設(shè)置如下：C=2，R=10，vr=-0.5，v0=0，q=2，τs=5，閾值電壓設(shè)為1?；镜腎F模型的MATLAB仿真結(jié)果如圖2所示：

圖2 IF模型的MATLAB仿真結(jié)果

圖2的上圖是輸入電流，也就是突觸前脈沖，在本模型中被設(shè)為隨機(jī)值。圖2的中圖描述了膜電壓的積分過程，虛線代表預(yù)設(shè)的閾值電壓。圖2的下圖則表示輸出脈沖，即突觸后脈沖。由圖2可以看出，每當(dāng)膜電壓等于閾值電壓的時(shí)候，就會(huì)產(chǎn)生一個(gè)輸出脈沖。

2 STDP機(jī)制的數(shù)學(xué)描述

在神經(jīng)網(wǎng)絡(luò)中，突觸的作用是在神經(jīng)元之間傳遞信息，一個(gè)包含突觸的IF模型。如圖3所示：

圖3 包含突觸的IF模型結(jié)構(gòu)圖

膜電壓的計(jì)算公式，如公式（4）：

STDP機(jī)制的窗函數(shù)，如圖4所示：

圖4 STDP機(jī)制的窗函數(shù)

橫坐標(biāo)代表突觸前后神經(jīng)元產(chǎn)生脈沖的時(shí)間差（圖中用Δt = tpre- tpost表示），縱坐標(biāo)表示突觸權(quán)值的變化量（圖4中用Δwij表示）。STDP機(jī)制的含義是，突觸權(quán)值的大小與突觸前后神經(jīng)元產(chǎn)生脈沖的時(shí)間差（即Δt）有關(guān)。當(dāng)突觸前神經(jīng)元脈沖先于突觸后神經(jīng)元脈沖產(chǎn)生（即Δt<0），那么突觸權(quán)值將變大；反之（即Δt>0），當(dāng)突觸前神經(jīng)元脈沖在突觸后神經(jīng)元脈沖產(chǎn)生后發(fā)生，那么突觸權(quán)值將變小。

突觸權(quán)值的變化量如公式（5）所示：

其中， 和 是時(shí)間常數(shù)，A+和A-由突觸權(quán)值的值決定。

3 一種基于IF模型的STDP機(jī)制簡(jiǎn)化算法

STDP機(jī)制的學(xué)習(xí)曲線（即窗函數(shù)）如果用數(shù)學(xué)方程式表達(dá)出來是非常繁瑣的，所以本文采用了一種新的STDP機(jī)制簡(jiǎn)化算法，該算法能夠?qū)崿F(xiàn)STDP所代表的基本功能，同時(shí)簡(jiǎn)化了運(yùn)算量及MATLAB代碼。該算法的窗函數(shù)如圖5所示：

圖5 簡(jiǎn)化的STDP窗函數(shù)

橫軸代表突觸前后神經(jīng)元產(chǎn)生脈沖的時(shí)間差，縱軸則代表突觸權(quán)值的變化量。注意到，該窗函數(shù)的第一象限，也就是STDP學(xué)習(xí)曲線的興奮部分的斜率小于抑制部分，這是由生物的自然特性決定的。STDP窗函數(shù)，如公式（8）：

公式（8）中，a是權(quán)值變化系數(shù)，在MATLAB模型中，設(shè)定a為0.01。圖7是STDP機(jī)制的MATLAB模型仿真結(jié)果，上圖是膜電壓的波形，下圖則是突觸后神經(jīng)元產(chǎn)生的脈沖波形。

根據(jù)圖3所示的IF模型結(jié)構(gòu)圖，并結(jié)合STDP機(jī)制，在MATLAB軟件中構(gòu)建加入STDP機(jī)制的IF模型。突觸A和突觸B上的權(quán)值變化量及權(quán)值的波形，如圖6和圖7所示：

圖6 STDP的仿真結(jié)果

圖7 STDP的仿真結(jié)果。

參數(shù)設(shè)置如下：輸入脈沖信號(hào)preA1，初始值為20，步長(zhǎng)為20；輸入脈沖信號(hào)preA2，初始值為30，步長(zhǎng)為30；突觸A的突觸權(quán)值初始值設(shè)為2；突觸B的突觸權(quán)值初始值設(shè)為 3.8。需要注意的是，突觸權(quán)值的改變只會(huì)發(fā)生在一對(duì)突觸前后脈沖發(fā)生之后。

4 比較原IF模型和新IF模型在MATLAB中的仿真結(jié)果

新IF模型引入了STDP機(jī)制，并將STDP學(xué)習(xí)曲線用一種更加簡(jiǎn)單易于實(shí)現(xiàn)的表達(dá)式描述。原IF模型和新IF模型在MATLAB中的仿真結(jié)果，如圖8和圖9所示：

圖8 原IF模型的仿真結(jié)果

圖9 新IF模型的仿真結(jié)果。

上圖為膜電壓的波形，下圖為突觸后脈沖的輸出波形。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)框圖如圖9所示。在原IF模型中，突觸A權(quán)值設(shè)為2，突觸B權(quán)值設(shè)為3.8。比較兩個(gè)模型的仿真結(jié)果，發(fā)現(xiàn)原IF模型中膜電壓的積分速率恒定（即圖9上圖的積分斜率不變），然而，新IF模型中膜電壓的每一次積分速率都不相同。這說明突觸權(quán)值會(huì)改變膜電壓積分速率。相對(duì)應(yīng)的，當(dāng)膜電壓積分速率發(fā)生了變化，突觸后神經(jīng)元所產(chǎn)生的輸出脈沖的次數(shù)以及時(shí)間間隔也會(huì)發(fā)生變化。新IF模型可以更真實(shí)的仿真生物的神經(jīng)網(wǎng)絡(luò)，對(duì)外界的刺激（即神經(jīng)元的輸入）的反應(yīng)會(huì)隨突觸權(quán)值的變化而變化。更加重要的是，新模型的STDP窗函數(shù)是線性的，在硬件電路的實(shí)現(xiàn)上要更加的可行以及方便。

5 總結(jié)

本文設(shè)計(jì)了一個(gè)融合了STDP機(jī)制的IF模型算法，通過MATLAB軟件對(duì)該模型的輸入信號(hào)、膜電壓、輸出信號(hào)及突觸權(quán)值進(jìn)行測(cè)試，測(cè)試結(jié)果表明所設(shè)計(jì)算法與原始的IF模型算法相比較，具有更好的生物仿真能力，能夠更真實(shí)的擬合生物的思維以及行為能力，并簡(jiǎn)化了計(jì)算量。STDP機(jī)制的研究將會(huì)揭示生物神經(jīng)網(wǎng)絡(luò)處理信息的深層規(guī)律，對(duì)人工智能的發(fā)展具有巨大的推進(jìn)作用。

[1] Abbott L. F. and Sacha B. [J].Nelson, “Synaptic plasticity: taming the beast,” nature neuroscience supplement., vol.3, pp. 1178-1183, November 2000

[2] McCulloch W. S. and Pitts. W. “A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics”, [M].pages 127–147, 1943.

[3] 呂永浦,馮大政,IF模型及其學(xué)習(xí)規(guī)則研究[J],系統(tǒng)工程與電子技術(shù),2006, 28(4): 583-586.

[4] 張莉, 馮大政,一種簡(jiǎn)化的整合-激發(fā)模型分析[J],計(jì)算機(jī)仿真,2009, 26(8):147-150.

[5] Gerstner and Kistler, “Spiking Neuron Models. Single Neurons, Populations, Plasticity,” [M].Cambridge University Press., 2002

[6] Muballit Mitte, “A simple neuron model - The integrate and fire neuron,”http://www.dreamincode.net/forums/ topic/72868-a-simple-neuron-model-the-integrate-and-fire -neuron/林凌鵬,STDP突觸的雙輸入信號(hào)動(dòng)力學(xué)模型研究[J],計(jì)算機(jī)應(yīng)用研究,2012,29:1311-1313.

[7] 林凌鵬,動(dòng)態(tài)STDP突觸系統(tǒng)模型設(shè)計(jì)與驗(yàn)證[J],系統(tǒng)仿真學(xué)報(bào),2011,10:2234-2238.

[8] G.Indiveri, “Modeling selective attention using a neuromorphic analog VLSI device,” Neural Computat., vol. 12, pp. 2857-2880, 2000

[9] Joshua Jen C. Monzon, “Analog VLSI circuit design of spike-timing-dependent synaptic plasticity”

TP311 文獻(xiàn)標(biāo)志碼：A

2015.04.02）

1007-757X(2015)08-0059-03

江西省高?！啊嗨{(lán)工程’資助”項(xiàng)目

劉賢鋒（1974-），男，江蘇南京人，常州機(jī)電職業(yè)技術(shù)學(xué)院，碩士，副教授，研究方向：軟件工程、電子信息工程，江蘇 常州，213164左亞旻（1990-），女，江蘇鎮(zhèn)江人，常州機(jī)電職業(yè)技術(shù)學(xué)院，碩士，研究方向：電子信息工程，江蘇 常州，213164