基于鼠腦海馬位置細(xì)胞與Q學(xué)習(xí)面向目標(biāo)導(dǎo)航

方 略,何洪軍

(中國(guó)電子科技集團(tuán)公司第二十一研究所，上海 200030)

1971年Dostrovsky和O’Keefe在位于鼠腦海馬結(jié)構(gòu)區(qū)域中發(fā)現(xiàn)了一種具有空間特異性放電特征的神經(jīng)元細(xì)胞-位置細(xì)胞[1]。該細(xì)胞是鼠腦海馬結(jié)構(gòu)中的主要神經(jīng)元，當(dāng)大鼠自由運(yùn)動(dòng)到環(huán)境中的某一特定位置時(shí)，相應(yīng)位置細(xì)胞會(huì)發(fā)生最大化放電活動(dòng)，將位置細(xì)胞發(fā)生最大化放電活動(dòng)所對(duì)應(yīng)區(qū)域稱為該位置細(xì)胞的“位置野”。人類大腦中同樣發(fā)現(xiàn)了類似于大鼠位置細(xì)胞特性的細(xì)胞存在[2-3]。隨著對(duì)位置細(xì)胞進(jìn)一步生理學(xué)研究發(fā)現(xiàn)，位置細(xì)胞放電活動(dòng)在大鼠面向空間目標(biāo)導(dǎo)航發(fā)揮著關(guān)鍵作用，該細(xì)胞放電活動(dòng)受環(huán)境因素影響。因此，研究外部環(huán)境對(duì)位置細(xì)胞放電活動(dòng)影響,并將其和嚙齒類動(dòng)物空間導(dǎo)航聯(lián)系起來(lái)具有重要意義。

1 模型生理學(xué)依據(jù)

位置細(xì)胞被發(fā)現(xiàn)以來(lái)，許多學(xué)者對(duì)該細(xì)胞進(jìn)行了相關(guān)研究，由此提出了大量的位置細(xì)胞模型，主要包括有基于高斯函數(shù)的位置細(xì)胞模型[4]，基于競(jìng)爭(zhēng)學(xué)習(xí)位置細(xì)胞模型[5]，基于獨(dú)立成分分析位置細(xì)胞模型[6]，基于自組織映射位置細(xì)胞模型[7]和基于卡爾曼濾波位置細(xì)胞模型[8]等。然而，以上所提到的模型并沒有將外部線索(如視覺、嗅覺等)對(duì)位置細(xì)胞放電活動(dòng)影響考慮在內(nèi)。因?yàn)樯韺W(xué)實(shí)驗(yàn)研究發(fā)現(xiàn)將視覺線索移除后，位置細(xì)胞放電活動(dòng)會(huì)發(fā)生強(qiáng)烈變化，位置細(xì)胞位置野變得不穩(wěn)定，這就暗示了視覺線索對(duì)于位置細(xì)胞位置野的形成和位置野的穩(wěn)定性具有重要影響[9]。在缺乏視覺線索的情況下，許多研究學(xué)者認(rèn)為路徑積分作為一種額外的機(jī)制使得大鼠能夠在空間環(huán)境中自由導(dǎo)航[10]。然而，Save等人的實(shí)驗(yàn)表明當(dāng)大鼠處于黑暗環(huán)境中進(jìn)行自由導(dǎo)航時(shí)，單一的路徑積分不足以維持位置細(xì)胞位置野的穩(wěn)定性[11]。如果沒有額外的視覺線索，隨著大鼠自由探索環(huán)境，路徑積分會(huì)導(dǎo)致大鼠在方向和距離上產(chǎn)生很大的累積誤差。因此，這就需要通過來(lái)自于外部環(huán)境中具有穩(wěn)定位置信息(視覺線索)的參考物來(lái)校正從而減小誤差[12]。

研究發(fā)現(xiàn)，當(dāng)大鼠在某一空間環(huán)境中自由探索該環(huán)境空間時(shí)，鼠腦海馬結(jié)構(gòu)中的各位置細(xì)胞會(huì)在各自對(duì)應(yīng)的空間位置處發(fā)生最大化放點(diǎn)活動(dòng)，即在各位置處產(chǎn)生相對(duì)應(yīng)的“位置野”[13]。大鼠對(duì)空間環(huán)境自由探索完成后，在大鼠腦內(nèi)形成了其對(duì)所處空間環(huán)境的認(rèn)知地圖，該認(rèn)知地圖是各位置細(xì)胞“位置野”聯(lián)合表征得到的。認(rèn)知地圖表征空間環(huán)境，研究發(fā)現(xiàn)單憑該認(rèn)知地圖并不能夠使大鼠來(lái)正確的預(yù)測(cè)其下一時(shí)刻的運(yùn)動(dòng)方向，即不能夠完成面向空間環(huán)境某一目標(biāo)導(dǎo)航的任務(wù)。隨著研究不斷深入，研究者發(fā)現(xiàn)大腦控制中心內(nèi)側(cè)前額葉皮層(Medial prefrontal cortex, mPFC)與海馬之間的動(dòng)態(tài)聯(lián)系是大鼠正確預(yù)測(cè)其下一刻運(yùn)動(dòng)方向的關(guān)鍵所在[14-15]。大腦前額葉皮層中最主要的神經(jīng)細(xì)胞是運(yùn)動(dòng)神經(jīng)元，該神經(jīng)元與大鼠的空間運(yùn)動(dòng)息息相關(guān)[16-17]。鼠腦海馬中最主要的神經(jīng)元細(xì)胞是位置細(xì)胞。大腦腹側(cè)被蓋區(qū) (Ventral tegmental area, VTA)里主要存在的神經(jīng)元細(xì)胞是多巴胺能神經(jīng)元(Dopaminergic neurons)[18-19]，該神經(jīng)元細(xì)胞與獎(jiǎng)勵(lì)預(yù)測(cè)誤差信號(hào)相關(guān)。它能夠?qū)⒔邮盏降男畔鬏斨练艉?(Nucleus accumbens, NA)。研究發(fā)現(xiàn)大鼠腦海馬中的信息主要傳輸至伏隔核，伏隔核和前額葉皮層之間的信息傳遞方式是雙向纖維投射[20]。即伏隔核從海馬接收空間環(huán)境信息，從大腦腹側(cè)被蓋區(qū)接收獎(jiǎng)勵(lì)預(yù)測(cè)誤差信息，通過與前額葉皮層相互作用來(lái)正確預(yù)測(cè)大鼠下一時(shí)刻的運(yùn)動(dòng)方向。 大鼠面向目標(biāo)的導(dǎo)航任務(wù)神經(jīng)生理學(xué)依據(jù)是海馬位置細(xì)胞與伏隔核神經(jīng)元之間與獎(jiǎng)勵(lì)信號(hào)相關(guān)的突觸調(diào)節(jié)， 伏隔核進(jìn)一步將信息投射至大鼠前額葉皮層來(lái)實(shí)現(xiàn)大鼠正確預(yù)測(cè)下一時(shí)刻運(yùn)動(dòng)方向。大腦前額葉皮層中主要是運(yùn)動(dòng)神經(jīng)元。海馬中主要是位置細(xì)胞。基于此，利用位置細(xì)胞、運(yùn)動(dòng)神經(jīng)元構(gòu)建一種前饋神經(jīng)網(wǎng)絡(luò)模型，采用Q學(xué)習(xí)算法來(lái)實(shí)現(xiàn)大鼠面向目標(biāo)導(dǎo)航任務(wù)。

2 方 法

2.1 視覺線索感官輸入

(1)

其中k表示的是四個(gè)不同顏色所標(biāo)記的墻面，t表示的是時(shí)間。

考慮到實(shí)際因素，在視覺感知信息輸入中添加一定的噪聲信號(hào)，假定大鼠在空間環(huán)境中自由跑動(dòng)時(shí)對(duì)于長(zhǎng)距離估計(jì)會(huì)產(chǎn)生一定的誤差。由公式(2)描述：

(2)

圖1 實(shí)驗(yàn)環(huán)境Fig.1 Experimental environment

本文中，構(gòu)建了一個(gè)由輸入層、位置細(xì)胞、運(yùn)動(dòng)神經(jīng)元(動(dòng)作細(xì)胞)和輸出層所組成的前饋神經(jīng)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)大鼠面向目標(biāo)導(dǎo)航任務(wù)，前饋神經(jīng)網(wǎng)絡(luò)模型如圖2所示。

圖2 前饋神經(jīng)網(wǎng)絡(luò)模型Fig.2 Feed-forward neural network model

2.2 位置細(xì)胞模型

(3)

其中，u是服從[0,1]之間均勻分布的隨機(jī)值，v=0.5和σ=0.2。位置細(xì)胞放電率見公式(4)，隨機(jī)初始化權(quán)值，針對(duì)某一特定視覺輸入信息通過競(jìng)爭(zhēng)學(xué)習(xí)會(huì)激活位置細(xì)胞。

第i個(gè)位置細(xì)胞放電率由高斯函數(shù)表征[21]，由公式(4)來(lái)描述：

(4)

其中，σf=0.07表示的是位置細(xì)胞位置野寬度。前饋神經(jīng)網(wǎng)絡(luò)模型中權(quán)重值調(diào)整依據(jù)勝者為王機(jī)制。即針對(duì)某一特定視覺輸入信息，獲勝的位置細(xì)胞神經(jīng)元χt與該特定視覺輸入信息之間權(quán)重值會(huì)進(jìn)行相應(yīng)調(diào)整，其余權(quán)重值不變?；诟?jìng)爭(zhēng)學(xué)習(xí)獲勝的位置細(xì)胞神經(jīng)元χt用公式(5)來(lái)描述：

(5)

獲勝神經(jīng)元權(quán)重值按照公式(6)改變：

(6)

其中，0<α<<1代表的是學(xué)習(xí)效率因子。

圖3 位置細(xì)胞模型Fig.3 Model of place cells

2.3 目標(biāo)導(dǎo)航任務(wù)

某一特定視覺輸入信息通過競(jìng)爭(zhēng)學(xué)習(xí)算法激活某些位置細(xì)胞神經(jīng)元，激活位置細(xì)胞神經(jīng)元與運(yùn)動(dòng)神經(jīng)元通過Q學(xué)習(xí)算法可以得到大鼠下一時(shí)刻的運(yùn)動(dòng)方向。 大鼠在空間環(huán)境中不斷學(xué)習(xí)直至能找到任一起始位置到目標(biāo)位置之間導(dǎo)航的最短路徑為止，大鼠空間導(dǎo)航示意如圖4所示。使用如圖1所示的實(shí)驗(yàn)環(huán)境，該實(shí)驗(yàn)環(huán)境的四面墻被不同顏色(黑色、紫色、紅色和藍(lán)色)所標(biāo)記。大鼠運(yùn)動(dòng)的起始位置如圖4中藍(lán)色圓點(diǎn)標(biāo)記所示。目標(biāo)點(diǎn)位置如圖4中紅色正方形所示。當(dāng)大鼠剛進(jìn)入到實(shí)驗(yàn)環(huán)境中時(shí)，它是在隨機(jī)探索環(huán)境的過程中找到目標(biāo)位置(如圖4中黑色虛線所示)。當(dāng)大鼠經(jīng)過長(zhǎng)時(shí)間的學(xué)習(xí)后，就能夠快速實(shí)現(xiàn)起始位置到目標(biāo)位置的最短路徑導(dǎo)航。

圖4 大鼠空間導(dǎo)航示意圖Fig.4 Schematic diagram of spatial navigation in rat’s brain

注：彩圖見電子版：http://swxxx.alljournals.cn/ch/index.aspx.(2019年第1期).

本文中使用Q學(xué)習(xí)算法對(duì)大鼠空間導(dǎo)航進(jìn)行研究。該算法應(yīng)用在如圖5所示的兩層前饋神經(jīng)網(wǎng)絡(luò)模型中，位置細(xì)胞作為兩層前饋神經(jīng)網(wǎng)絡(luò)的輸入層，分別與8個(gè)運(yùn)動(dòng)神經(jīng)元連接(該8個(gè)運(yùn)動(dòng)神經(jīng)元分別代表8個(gè)不同方向(北(N)，東北(NE)，東(E)，東南(SE)，南(S)，西南(SE)，西(W)，西北(NW))。通過Q學(xué)習(xí)算法計(jì)算得到以上8個(gè)方向的Q值，Q值最大的方向就是大鼠下一時(shí)刻的運(yùn)動(dòng)方向。大鼠向正西和正東的運(yùn)動(dòng)由公式(7)和(8)來(lái)描述：

Δx=±(Δs+c·ψx)

(7)

Δy=c·ψy

(8)

其中，Δs=500 表示的是大鼠步幅大小，ψx和ψy是服從[-1,1]均勻分布的隨機(jī)值，c=100表示的是噪聲幅值。負(fù)號(hào)代表大鼠向正西運(yùn)動(dòng)，正號(hào)代表大鼠向正東運(yùn)動(dòng)。同樣的，大鼠在西南和東北方向的運(yùn)動(dòng)由公式(9)和(10)來(lái)描述：

(9)

(10)

當(dāng)大鼠隨機(jī)探索空間環(huán)境的過程中運(yùn)動(dòng)到某一位置時(shí)計(jì)算所得Q值是0時(shí)，大鼠在當(dāng)前位置下一時(shí)刻的運(yùn)動(dòng)方向是不確定，它在當(dāng)前位置保持方向不變的概率為1-pk，在當(dāng)前位置選擇一個(gè)新方向運(yùn)動(dòng)的概率為pk=0.25。當(dāng)計(jì)算的Q值不為0時(shí)，大鼠的下一時(shí)刻的運(yùn)動(dòng)方向由Q值來(lái)確定的。

圖5 由輸入層(位置細(xì)胞)、運(yùn)動(dòng)神經(jīng)元構(gòu)建的前饋網(wǎng)絡(luò)模型示意圖Fig.5 Feed-forward network model of the input layer (place cells) and motor neurons

位置細(xì)胞到動(dòng)作細(xì)胞學(xué)習(xí)機(jī)制是Q學(xué)習(xí)算法。簡(jiǎn)便起見，將t時(shí)刻第i個(gè)位置細(xì)胞放電率由公式(11)來(lái)描述：

(11)

其中，i=1，…，Q，Q=500表示的是神經(jīng)網(wǎng)絡(luò)模型中位置細(xì)胞總數(shù)。

由公式(12)來(lái)定義動(dòng)作值函數(shù)：

(12)

其中，Γi,a表示的是第i個(gè)位置細(xì)胞與運(yùn)動(dòng)神經(jīng)元a之間的連接權(quán)重值。根據(jù)Reynolds所提及的使用平均Q學(xué)習(xí)規(guī)則[22]。即按照公式(13)更新t時(shí)刻真正產(chǎn)生動(dòng)作at的權(quán)值Γi,at。

Γi,at=Γi,at+β(δmaxaA(rt+1,at+1)+Rt+1-Γi,at)Ψi(rt)

(13)

其中，β=0.7表示的是學(xué)習(xí)率，δ=0.7表示的是折減系數(shù)，R表示的是獎(jiǎng)勵(lì)。將獎(jiǎng)勵(lì)函數(shù)Rt由函數(shù)(14)來(lái)描述：

(14)

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)過程是大鼠剛進(jìn)入到實(shí)驗(yàn)環(huán)境中時(shí)，它是在隨機(jī)探索環(huán)境的過程中找到目標(biāo)位置。當(dāng)大鼠經(jīng)過長(zhǎng)時(shí)間的學(xué)習(xí)后，就能夠快速實(shí)現(xiàn)起始位置到目標(biāo)位置的最優(yōu)路徑導(dǎo)航，實(shí)驗(yàn)結(jié)果如圖6、圖7、圖8和表1所示。本次實(shí)驗(yàn)中大鼠一共進(jìn)行了40輪實(shí)驗(yàn)。圖6是前20輪實(shí)驗(yàn)結(jié)果示意圖，圖7是后20輪實(shí)驗(yàn)結(jié)果示意圖。由圖6和圖7可以很直觀的看出在前8輪實(shí)驗(yàn)中大鼠由于剛進(jìn)入到一個(gè)比較陌生的環(huán)境中，它只能隨機(jī)的去探索目標(biāo)位置，其運(yùn)動(dòng)軌跡是隨機(jī)的，當(dāng)它經(jīng)過一段的時(shí)間學(xué)習(xí)后對(duì)其所處空間環(huán)境有了學(xué)習(xí)認(rèn)知，便能夠從第9輪實(shí)驗(yàn)開始找到從起始位置到目標(biāo)位置的最優(yōu)路徑。圖8是40輪實(shí)驗(yàn)過程中每輪實(shí)驗(yàn)大鼠到達(dá)目標(biāo)位置所需步數(shù)示意圖，由該圖也能很直觀的看出從第9輪實(shí)驗(yàn)開始大鼠能夠找到從起始位置到目標(biāo)位置的最優(yōu)路徑。表1是大鼠基于Q學(xué)習(xí)面向目標(biāo)導(dǎo)航迭代次數(shù)與到達(dá)目標(biāo)位置所需步數(shù)對(duì)應(yīng)關(guān)系表。由該表能夠直觀的看出前8輪實(shí)驗(yàn)中由于大鼠隨機(jī)探索環(huán)境，此時(shí)它到達(dá)目標(biāo)位置所走步數(shù)是隨機(jī)的沒有規(guī)律可循的，當(dāng)經(jīng)過一段時(shí)間學(xué)習(xí)后，它到達(dá)目標(biāo)位置的步數(shù)是基本穩(wěn)定的，由表1可知從第9輪實(shí)驗(yàn)開始，大鼠到達(dá)目標(biāo)位置所走步數(shù)大約為20步。

圖6 大鼠前20次運(yùn)行軌跡Fig. 6 Trajectories of the rat’s paths from the first 20 runs

圖7 大鼠后20次運(yùn)行軌跡Fig. 7 Trajectories of the rat’s paths from the last 20 runs

圖8 大鼠到達(dá)目標(biāo)位置所需步數(shù)示意圖Fig. 8 The number of steps needed to reach the target position for the rat

4 結(jié) 論

強(qiáng)化學(xué)習(xí)算法主要是應(yīng)用于解決學(xué)習(xí)類任務(wù)當(dāng)中，針對(duì)仿生學(xué)上又主要分為兩類，一類是用于鼠腦海馬仿生導(dǎo)航中[23-26]，另一類是仿生機(jī)器人在某一特定空間環(huán)境中通過強(qiáng)化學(xué)習(xí)來(lái)認(rèn)知所處空間環(huán)境，進(jìn)而與環(huán)境交互執(zhí)行相關(guān)動(dòng)作[27-30]。本研究充分表明了基于位置細(xì)胞、運(yùn)動(dòng)神經(jīng)元來(lái)構(gòu)建一種前饋神經(jīng)網(wǎng)絡(luò)模型，采用Q學(xué)習(xí)算法能夠快速實(shí)現(xiàn)大鼠面向目標(biāo)導(dǎo)航任務(wù)。

表1 大鼠基于Q學(xué)習(xí)面向目標(biāo)導(dǎo)航迭代次數(shù)與到達(dá)目標(biāo)位置所需步數(shù)對(duì)應(yīng)關(guān)系Table 1 Corelation between the number of iterations of the good-oriented navigation based on Q learning and the number of steps needed to reach the target position