一種改進的皮層網(wǎng)絡(luò)環(huán)境認知模型

武 悅 阮曉鋼 黃 靜 柴 潔

環(huán)境認知是哺乳動物覓食和生存的基本技能,研究表明[1?3],哺乳動物普遍具有強大的環(huán)境認知能力.研究并復(fù)現(xiàn)哺乳動物的環(huán)境認知機制對于提高智能體導(dǎo)航能力、增進人們對生物環(huán)境認知機制的理解有著重要意義.有研究發(fā)現(xiàn)[4],前額皮層與高層次的環(huán)境認知有關(guān),對前額皮層實施組織切除術(shù)后的大鼠不能完成Morris 水魔方環(huán)境認知任務(wù).皮層網(wǎng)絡(luò)實質(zhì)上是不同神經(jīng)元在大腦中的組織方式,其組成單元皮質(zhì)柱是一種按照神經(jīng)元功能排列的分層結(jié)構(gòu).皮層網(wǎng)絡(luò)對于哺乳動物環(huán)境認知的重要作用在于建立感官輸入與動作決策之間的聯(lián)系,形成完整的環(huán)境認知能力.

為了使機器人表現(xiàn)出像哺乳動物那樣強大的環(huán)境認知能力,很多學(xué)者對前額皮層網(wǎng)絡(luò)進行了計算建模研究.皮層網(wǎng)絡(luò)建模通常涉及獎勵傳播及路徑規(guī)劃兩個問題.對于前者,目前廣泛采用獎勵擴散[5?9](Reward diffusion)的方法.該方法以固定的傳播系數(shù)將獎勵值傳播給周圍神經(jīng)元,具有計算簡單的優(yōu)點.但是,由于離子通道的隨機開閉或神經(jīng)元的形態(tài)變化,神經(jīng)元內(nèi)部存在著噪聲信號,干擾了神經(jīng)元的規(guī)律放電[10].在考慮神經(jīng)元噪聲的情況下,基于獎勵擴散方法的模型由于噪聲在神經(jīng)元傳遞過程中的累積效應(yīng),導(dǎo)航表現(xiàn)有所下降,且獎勵信息隨距離增加而發(fā)生衰減.對于路徑規(guī)劃問題,皮層網(wǎng)絡(luò)模型的路徑規(guī)劃主要采用向量法[11]和位置細胞法[12?13].向量法通過對頭朝向細胞的活動加權(quán)平均作為動作方向,位置細胞法以位置細胞中心為規(guī)劃路徑點.雖然這兩種方法都能完成繞近路任務(wù)(例如托爾曼三通道迷宮[14]),但是規(guī)劃出的路徑均依賴于已探索區(qū)域,無法規(guī)劃出全局上最短的路徑.一些學(xué)者試圖將兩種方法結(jié)合起來以規(guī)避缺點[15?19],但其模型普遍存在易受神經(jīng)元噪聲影響的問題.

為了提高模型對于神經(jīng)元噪聲的魯棒性,本文將波前傳播(Wavefront propagation)方法引入模型.波前傳播方法[20?22]利用整合放電(Integrateand-fire,IF)神經(jīng)元避免獎勵信息的衰減,由此增強模型抗神經(jīng)元噪聲的能力.其現(xiàn)象已在電生理學(xué)實驗中被觀測證實,是一種具有生物合理性(Bioplausibility)的計算方法[23].目前,已有學(xué)者將其應(yīng)用于基于圖的導(dǎo)航中[24?26],但關(guān)于該方法在皮層網(wǎng)絡(luò)模型中的應(yīng)用還鮮有報道.受此啟發(fā),本文將波前傳播應(yīng)用于模型的獎勵傳播回路,結(jié)合全局抑制神經(jīng)元,提出一種改進的皮層網(wǎng)絡(luò)模型以提高對神經(jīng)元噪聲的抗干擾性.另一方面,為了保證模型的路徑規(guī)劃效率,模型引入了位置細胞和時間細胞,利用時間細胞活動隨時間增長的特性及其時間常數(shù)衰減機制選出全局最佳路徑點,進而提高路徑規(guī)劃性能.

1 皮層網(wǎng)絡(luò)環(huán)境認知與導(dǎo)航模型

生理學(xué)研究[27]表明,前額皮層中存在對獎勵信息編碼的神經(jīng)元,提供與環(huán)境交互所需的動機信號.Preston 等證明了海馬體與前額皮層間存在信息交互[28],前額皮層接收海馬體感官信息的投射,其中包括對空間位置具有選擇性的位置細胞[29]和對時間編碼的時間細胞[30].此外,前額皮層中存在著同時傳輸獎勵信息和運動信息的神經(jīng)元[31].

基于前額皮層生理學(xué)結(jié)構(gòu)及其環(huán)境認知功能的研究結(jié)論,本文對前額皮層網(wǎng)絡(luò)進行計算建模.如圖1 所示,皮層網(wǎng)絡(luò)包含獎勵傳播回路和路徑規(guī)劃回路.獎勵傳播回路由獎勵細胞和中間神經(jīng)元構(gòu)成,負責(zé)在皮層網(wǎng)絡(luò)中傳播獎勵信息,中間神經(jīng)元通過STDP 機制對獎勵傳播路徑進行記憶;路徑規(guī)劃回路由中間神經(jīng)元和位置偏好細胞構(gòu)成,并接收來自海馬體位置細胞和時間細胞的輸入,其作用是利用獎勵傳播回路保存的環(huán)境信息進行路徑規(guī)劃,通過時間細胞對位置偏好細胞的增長性輸入提高路徑規(guī)劃效率.

圖1 皮層網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖Fig.1 Scheme of the cortical column network model

1.1 獎勵傳播回路

獎勵傳播回路包含獎勵細胞r、中間神經(jīng)元q1.獎勵細胞對獎勵信息進行編碼,一旦機器人感知到獎勵的存在(如到達逃生平臺或放置有食物、水的位置),該細胞即產(chǎn)生脈沖放電.為了實現(xiàn)獎勵信息在皮層網(wǎng)絡(luò)中的傳播,獎勵細胞之間存在雙向連接wrr.當(dāng)獎勵細胞被激活后,脈沖放電向其他獎勵細胞傳遞,同時也向中間神經(jīng)元q1傳播.獎勵回路采用基于IF 神經(jīng)元的波前傳播方法,波前(某時刻所有放電的神經(jīng)元構(gòu)成的膜電位場)從獎勵位置出發(fā)傳播到自身位置.在波前傳播方法中,獎勵細胞r和中間神經(jīng)元q1的膜電位服從式(1):

其中V(t)∈[0,1]是神經(jīng)元膜電位,τ是時間常數(shù),N(t)是神經(jīng)元噪聲,Vinh(t)是來自全局抑制神經(jīng)元的抑制性輸入.I(t)是接收其他神經(jīng)元的整合輸入,服從式(2):

其中V?,j為第j個皮質(zhì)柱中類型為?的神經(jīng)元.若V(t)超過放電閾值Vthr,則神經(jīng)元產(chǎn)生放電,膜電位提升至V(t)=1.放電后神經(jīng)元進入一段時間的抑制狀態(tài),不接受其他神經(jīng)元的輸入,膜電位服從式(3):

其中tf是神經(jīng)元放電的時刻,td是神經(jīng)元進入抑制狀態(tài)的持續(xù)時間.

中間神經(jīng)元q1之間的權(quán)值wji根據(jù)STDP 學(xué)習(xí)律變化,權(quán)值改變服從式(4):

其中M是幅值,是突觸后神經(jīng)元與突觸前神經(jīng)元間的放電時間差.τSTDP控制放電時間差對權(quán)值變化的影響.

文獻[32]證明了首個到達目標點的波前總是通過最短的路徑,進而得出波前傳播方法等價于Dijkstra 算法.因此,記錄首個到達目標點的獎勵信息波前傳播路徑即找到了通往獎勵的最短路徑.為了實現(xiàn)對波前傳播路徑的記憶,并利用其逆路徑進行路徑規(guī)劃,權(quán)值共享給路徑規(guī)劃回路中的中間神經(jīng)元q2用于路徑規(guī)劃.

由于每個神經(jīng)元接收來自相鄰神經(jīng)元的輸入,其中包含了噪聲,該噪聲在單一神經(jīng)元上的積累可能導(dǎo)致其誤放電,從而導(dǎo)致模型失效.為了解決這一問題,本模型在皮質(zhì)柱外引入了全局抑制性神經(jīng)元inh.抑制性輸入需要滿足一定的取值范圍,輸入過小無法達到消除神經(jīng)元的誤放電的目的,而輸入過大則有可能破壞神經(jīng)元的正常放電.考慮到神經(jīng)元噪聲的分布特性[10],本文將抑制性神經(jīng)元inh的膜電位Vinh取值范圍設(shè)置為服從式(5):

其中k為與當(dāng)前皮質(zhì)柱存在連接關(guān)系的皮質(zhì)柱數(shù)量,σ為神經(jīng)元噪聲標準差.

1.2 路徑規(guī)劃回路

路徑規(guī)劃回路負責(zé)根據(jù)獎勵傳播回路保存的獎勵信息進行路徑規(guī)劃.該回路具體設(shè)計思路如下:如前所述,為了追求最短導(dǎo)航路徑,須使神經(jīng)元信號沿所記憶的波前傳播路線進行傳播,令中間神經(jīng)元q2接受中間神經(jīng)元q1和位置細胞s的投射,利用獎勵傳播回路權(quán)值在路徑規(guī)劃回路中的副本將波前傳播至目標點.但是,由于可能沒有位置細胞對全局最短路徑涉及的區(qū)域進行編碼,該傳播路徑不一定是全局最短路徑.為了解決這一問題,在模型中引入時間細胞和位置偏好細胞,實現(xiàn)分段路徑規(guī)劃.時間細胞充當(dāng)計時器,并為位置偏好細胞提供增長性輸入,使模型在子路徑點的規(guī)劃中經(jīng)過多個位置細胞,其構(gòu)成的直線路徑能夠穿越潛在的未探索區(qū)域,從而提高效率.

子目標點由位置偏好細胞確定,由于選取子目標點涉及不同位置偏好細胞的比較,而神經(jīng)元放電的瞬時性決定其無法提供這一比較,因此在該回路中除中間神經(jīng)元q2外均采用非放電神經(jīng)元模型.中間神經(jīng)元q2需為路徑規(guī)劃回路提供信息傳播時序,仍然采用整合放電神經(jīng)元模型.

中間神經(jīng)元q2采用式(1)描述的整合放電神經(jīng)元模型以實現(xiàn)波前傳播,其作用是充當(dāng)獎勵傳播回路和路徑規(guī)劃回路的連接,并為路徑規(guī)劃提供時序.當(dāng)獎勵傳播回路完成獎勵信息從目標點到自身位置的傳播后,中間神經(jīng)元q2被激活,進入路徑規(guī)劃階段.為了使路徑規(guī)劃回路利用獎勵傳播回路計算的獎勵信息,中間神經(jīng)元q2共享中間神經(jīng)元q1的權(quán)值,即.

海馬體位置細胞s編碼空間位置,對特定空間位置產(chǎn)生強烈反應(yīng).O＇ Keefe 通過電生理實驗得出海馬體位置細胞放電頻率的最佳擬合為一高斯函數(shù)[29],因此本模型位置細胞膜電位Vs采用高斯函數(shù)描述,服從式(6):

其中x是機器人位置,xc是位置細胞位置野中心,σs決定位置野的大小.位置細胞活動是判斷是否新增皮質(zhì)柱的依據(jù),當(dāng)所有位置細胞膜電位均小于閾值Vs,thr時,說明在當(dāng)前位置沒有相應(yīng)的位置細胞對其編碼,則新增一個皮質(zhì)柱并與前一皮質(zhì)柱建立連接.

位置偏好細胞m編碼對皮質(zhì)柱所在位置的偏好程度,決定路徑規(guī)劃中的子路徑點.在路徑規(guī)劃的每一個子段中,機器人向值最大的位置偏好細胞直線移動.位置偏好細胞采用非放電神經(jīng)元模型,接收來自中間神經(jīng)元q2和海馬體時間細胞t的輸入,其膜電位服從式(7):

其中Vq2(t)為中間神經(jīng)元q2的膜電位,Vt(t)為時間細胞的膜電位.

為了提高規(guī)劃路徑的效率及對動態(tài)環(huán)境的自適應(yīng)性,在路徑規(guī)劃回路中引入時間細胞.時間細胞可以使模型在子路徑點的規(guī)劃中經(jīng)過多個位置細胞,構(gòu)成的直線路徑可以穿越潛在的未探索區(qū)域,從而提高路徑效率.在路徑規(guī)劃的每個子段中,時間細胞的活動隨時間增長而增加,從而增加接受其投射的位置偏好細胞活動,其膜電位服從式(8):

其中t0為路徑規(guī)劃中每個子段的初始時刻,即每個子段中神經(jīng)元q2首次放電的時刻,τt為時間常數(shù).

在時間細胞未飽和階段Vt(t)

1.3 認知地圖(Cognitive Map)的構(gòu)建

根據(jù)模型的設(shè)定,在機器人探索過的區(qū)域需要有相應(yīng)的位置細胞對其進行編碼.在對新環(huán)境的探索過程中,若所有位置細胞活動均不足,不能對該位置做出有效的空間感知,則新增一個編碼當(dāng)前位置的皮質(zhì)柱,并建立與前一皮質(zhì)柱的連接.因此,在經(jīng)過一定時間或距離的運動后,將產(chǎn)生具有一定規(guī)模的皮層網(wǎng)絡(luò)拓撲圖.皮層網(wǎng)絡(luò)拓撲圖中的獎勵細胞能夠?qū)Κ剟钚畔⑦M行認知,形成由獎勵到空間位置的映射,由此生成的認知地圖可以用于執(zhí)行尋找食物獎勵或逃生等環(huán)境認知任務(wù).

認知地圖概念最早是由Tolman 等所提出[14].Tolman 等在三通道迷宮實驗中發(fā)現(xiàn),無論環(huán)境如何改變,大鼠均能夠找到通往目標點的最短路徑,由此提出大鼠記住的不是某些路徑,而是在腦中生成了一幅認知地圖.本模型所生成的皮層網(wǎng)絡(luò)拓撲圖與認知地圖相對應(yīng),是認知地圖在計算模型上的體現(xiàn).

算法1.路徑規(guī)劃回路算法

2 實驗設(shè)計與實驗結(jié)果

本節(jié)通過兩個心理學(xué)上的經(jīng)典實驗 (托爾曼14 單元T 型迷宮、Morris 水迷宮)對模型的環(huán)境認知能力、神經(jīng)元噪聲魯棒性、動態(tài)環(huán)境的適應(yīng)能力及路徑規(guī)劃效率進行測試.

2.1 仿真實驗參數(shù)

本實驗采用仿真機器人作為主體,具備距離傳感器,能夠探測正前方0.2 m 內(nèi)是否存在障礙物,忽略體積將其視為一個質(zhì)點.仿真機器人采用本文提出的皮層網(wǎng)絡(luò)環(huán)境認知模型.對于整合放電神經(jīng)元r、q1、q2,膜時間常數(shù)τ=0.8,放電閾值Vthr=0.3,放電后抑制階段持續(xù)時間td=0.3 s.神經(jīng)元的其他參數(shù)在表1 中列出.為了獎勵信息在皮層網(wǎng)絡(luò)中傳播而不發(fā)生衰減,獎勵細胞之間存在飽和雙向連接wrr=1.中間神經(jīng)元q2的激活條件是獎勵信息傳播至自身所在位置,僅在中間神經(jīng)元q1和位置細胞s同時激活時放電,因此設(shè)置=0.1.將神經(jīng)元參數(shù)值代入式(5),同時考慮到實際的神經(jīng)元中抑制性輸入通常為較低水平,本實驗設(shè)置Vinh=0.1 為基準值.仿真時間間隔設(shè)置為Δt=0.02 s.

表1 模型參數(shù)值設(shè)定Table 1 Parameter setting of the model

2.2 托爾曼14 單元T 型迷宮實驗

2.2.1 實驗背景

托爾曼[33]曾設(shè)計了14 單元T 型迷宮實驗來觀察大鼠在迷宮中的空間認知表現(xiàn),并由此提出了認知地圖的假設(shè).如圖2 所示,該迷宮有唯一一條通往獎勵的路徑和14 個無效通道.將大鼠放置在迷宮的起點,在另一端放置食物,測試大鼠直到獲取食物時經(jīng)過的無效通道的次數(shù),該指標能夠反映大鼠對環(huán)境的認知程度.本文采用該實驗測試模型的噪聲魯棒性以及對動態(tài)環(huán)境的自適應(yīng)性.

圖2 托爾曼14 單元T 型迷宮實驗示意圖Fig.2 Sketch of Tolman 14-unit T-maze experiment

2.2.2 實驗設(shè)計與結(jié)果

托爾曼14 單元T 型迷宮實驗驗證了認知地圖理論,本文在相同的環(huán)境下對模型的認知地圖構(gòu)建、神經(jīng)元噪聲魯棒性和對動態(tài)環(huán)境的自適應(yīng)性進行測試,實驗分為準備階段和測試階段.

1)認知地圖構(gòu)建

在準備階段中機器人從起點出發(fā)對迷宮進行探索,直至找到放置在目標點處的獎勵.機器人在每次直線前進0.3 m 后進行60°以內(nèi)的隨機偏轉(zhuǎn),若遇到障礙物則繼續(xù)改變朝向.經(jīng)過探索,機器人建立起皮層網(wǎng)絡(luò)(圖3).圖中,黑色圓點代表皮質(zhì)柱,它們在探索過程中動態(tài)生成、連綴成網(wǎng),形成皮層拓撲網(wǎng)絡(luò),以這種形式反映智能體對環(huán)境的認知,即構(gòu)成認知地圖.

圖3 機器人探索迷宮后建立的皮層網(wǎng)絡(luò)拓撲圖 (m)Fig.3 Cortical column topological map after exploring the maze (m)

2)神經(jīng)元噪聲影響

神經(jīng)元噪聲是神經(jīng)元內(nèi)部產(chǎn)生的一種噪聲電信號,干擾神經(jīng)元的正常放電.文獻[10]通過電生理學(xué)實驗得出神經(jīng)元噪聲服從高斯分布,基于此結(jié)論在本實驗中向皮層網(wǎng)絡(luò)中所有神經(jīng)元添加高斯分布噪聲N～N(0,σ).在測試階段中,將機器人放置于起始位置,模擬的目標點獎勵使認知地圖中對應(yīng)的獎勵細胞放電,激活皮層網(wǎng)絡(luò)模型使機器人向目標點導(dǎo)航.受神經(jīng)元噪聲的影響,皮層網(wǎng)絡(luò)內(nèi)的神經(jīng)元放電順序可能被打亂,造成部分獎勵信息的丟失.若大鼠停留在同一位置超過5 s,則認為模型陷入局部最優(yōu),此時仿真大鼠隨機移動4 m 后重新進行路徑規(guī)劃,記錄到達目標點過程中經(jīng)過無效通道的次數(shù).為了使實驗結(jié)果具有統(tǒng)計學(xué)意義,總共做18組實驗,在每組實驗中設(shè)置不同的噪聲標準差進行導(dǎo)航測試,并與采用獎勵擴散方法的皮層網(wǎng)絡(luò)模型進行對比,獎勵值傳播系數(shù)β=0.98,該系數(shù)為多次試驗得出的能夠產(chǎn)生最佳的導(dǎo)航結(jié)果的系數(shù).

實驗結(jié)果如圖4 所示,從箱線圖的上下邊緣、上下四分位數(shù)以及中位數(shù)上看,當(dāng)標準差在0.2 以內(nèi)時,本模型經(jīng)過無效通道次數(shù)顯著少于獎勵擴散方法.箱線圖的箱體長度代表數(shù)據(jù)的波動程度,從圖中可以看出,兩種模型經(jīng)過無效通道次數(shù)的波動程度均隨神經(jīng)元噪聲增大而增加,但是在神經(jīng)元噪聲標準差不超過0.2 的范圍內(nèi),本模型對應(yīng)的箱體更短,表明失敗次數(shù)的波動更少,進而說明了本模型的路徑規(guī)劃性能相對穩(wěn)定(圖中雙星號代表在5 %的顯著性水平下存在顯著性差異).

圖4 噪聲標準差對導(dǎo)航結(jié)果的影響Fig.4 Influence of neuron noise standard variation on navigation results

當(dāng)噪聲標準差繼續(xù)增大至0.25 時,兩種方法的導(dǎo)航表現(xiàn)均接近盲目探索(盲目探索時經(jīng)過無效通道的平均次數(shù)為122 次).然而在實際中,噪聲標準差超過0.2 是一個小概率事件[10].實驗結(jié)果表明,在合理的神經(jīng)元噪聲范圍內(nèi),本模型的神經(jīng)元噪聲魯棒性優(yōu)于采用獎勵擴散方法的皮層網(wǎng)絡(luò)模型.

3)對動態(tài)環(huán)境的自適應(yīng)性

當(dāng)環(huán)境發(fā)生變化時,動物能很快適應(yīng)這一變化,迅速做出調(diào)整,反映出動物在環(huán)境認知上的自適應(yīng)性.本實驗?zāi)M這一過程,測試模型對動態(tài)環(huán)境的自適應(yīng)能力.如圖5 所示,測試包含3 次實驗:第1 次,在托爾曼14 單元T 型迷宮中移除其中一處墻壁,標記為“1”(圖5 (b));第2 次,恢復(fù)“1”處墻壁,標記為“2”,再移除迷宮中另外兩處墻壁,分別標記為“3”、“4”(圖5 (c));第3 次,在圖5 (c)的基礎(chǔ)上增加一處墻壁,標記為“5”(圖5 (d)).3次實驗對環(huán)境的改變逐漸增多,既包含對障礙的移除,也包含對障礙的增加.

令機器人利用準備階段建立的認知地圖在3 次實驗中完成導(dǎo)航,結(jié)果如圖5 所示.可以看出,機器人在3 次環(huán)境改變中都能自適應(yīng)地調(diào)整巡航行為,重新找到通往目的地的較短路線,說明模型具有對動態(tài)環(huán)境的自適應(yīng)性.

圖5 機器人在環(huán)境發(fā)生變化前后采取的路線Fig.5 Path planned before and after environmental change

2.3 Morris 水迷宮實驗

2.3.1 實驗背景

1982 年Morris 等[34]在測試大鼠的空間記憶能力時設(shè)計了Morris 水迷宮實驗.如圖6 所示,Morris 水迷宮為一圓形水池,其中存在一個隱藏的逃生平臺,被放置于水池中的大鼠需要找到并保持在逃生平臺上以繼續(xù)存活.實驗結(jié)果表明,大鼠首次找到平臺后,在后續(xù)的測試階段從水池不同位置放入的大鼠均能夠采取一條近似直線的路徑逃往平臺.然而,破壞海馬體組織后大鼠無法成功地找到逃生平臺,證明海馬體具有空間記憶功能.此外,逃生時采取的路徑也體現(xiàn)了海馬體相關(guān)回路的路徑尋優(yōu)能力.本文采用該環(huán)境對模型的噪聲魯棒性和路徑規(guī)劃效率進行測試.

圖6 Morris 水迷宮示意圖Fig.6 Sketch of Morris water maze

2.3.2 實驗設(shè)計與結(jié)果

本文實驗仿照Morris 水迷宮實驗設(shè)計如下:水迷宮為一直徑10 m 的圓形水池,水池中有一邊長為1 m 的正方形隱藏逃生平臺;水池中的一組中心對稱的障礙物用來測試模型的避障能力,中心對稱結(jié)構(gòu)能夠防止逃生平臺與障礙物線索的關(guān)聯(lián).實驗分為準備階段和測試階段,首次逃生任務(wù)屬于準備階段,后續(xù)逃生任務(wù)均屬于測試階段.

1)認知地圖構(gòu)建

在準備階段中機器人首次執(zhí)行逃生任務(wù),在逃生過程中對環(huán)境進行初次探索.機器人在每次直線前進0.3 m 后進行30°以內(nèi)的隨機偏轉(zhuǎn).大鼠在Morris 水迷宮實驗中表現(xiàn)出沿邊緣行進而避開中央?yún)^(qū)域的行為,本實驗采用相似的設(shè)置,使機器人避開距中心3 m 內(nèi)的區(qū)域.模型以皮層網(wǎng)絡(luò)的拓撲結(jié)構(gòu)來描述機器人逃生時經(jīng)過的區(qū)域,是認知地圖在計算模型層面的具體體現(xiàn)(圖7).

圖7 Morris 水迷宮路逃生實驗中的移動軌跡(左)和建立的皮層網(wǎng)絡(luò)拓撲圖(右)(m)Fig.7 Moving trace on the preparing stage (left)and the established cortical column network (right)(m)

2)神經(jīng)元噪聲影響

為測試模型對神經(jīng)元噪聲的魯棒性,根據(jù)文獻[9]指出的神經(jīng)元噪聲服從高斯分布的結(jié)論,在實驗中向皮層網(wǎng)絡(luò)中所有神經(jīng)元添加高斯分布噪聲N～N(0,σ).在測試階段中,將機器人放置于水池內(nèi)不同起始位置,模擬的逃生本能將對應(yīng)逃生平臺位置的獎勵細胞激活,使機器人向逃生平臺導(dǎo)航.若大鼠停留在同一位置超過10 秒,則認為模型陷入了局部最優(yōu),該次導(dǎo)航失敗.為排除偶然因素的干擾,共進行18 組相同的測試,在每組中設(shè)置不同的噪聲標準差進行導(dǎo)航測試,并與采用獎勵擴散方法的皮層網(wǎng)絡(luò)模型進行對比.

實驗結(jié)果如圖8 所示,由于波前傳播的整合放電特性以及全局抑制神經(jīng)元的抑制作用,本模型在神經(jīng)元噪聲標準差較小時(σ=0.02)導(dǎo)航未受影響,其導(dǎo)航失敗率為0,而獎勵擴散方法的失敗率中位數(shù)達到了20 %.當(dāng)噪聲標準差增大至0.05 和0.1 時,本模型的導(dǎo)航失敗率的最大最小值、上下四分位數(shù)以及中位數(shù)始終低于獎勵擴散方法,當(dāng)噪聲標準差較大時(σ=0.2),本模型導(dǎo)航失敗率中位數(shù)達到0.77,而獎勵擴散方法完全失敗.該結(jié)果表明,本論文模型的神經(jīng)元噪聲魯棒性顯著優(yōu)于采用獎勵擴散方法的皮層網(wǎng)絡(luò)模型(p=0.05).

圖8 不同噪聲對導(dǎo)航的影響Fig.8 Influence of neuron noise on navigation results

3)路徑規(guī)劃效率

在測試階段,將機器人放置于水池內(nèi)不同起始位置執(zhí)行逃生任務(wù),神經(jīng)元噪聲設(shè)置為N～N(0,0.01).在其中幾次逃生中(圖9),機器人能夠穿越未探索過的區(qū)域(與圖7 所建立的認知地圖相比),說明本模型的路徑規(guī)劃是基于全局而完成的.

圖9 從不同位置出發(fā)的逃生路線 (m)Fig.9 Escape trace from different starting points (m)

為了說明本模型的路徑規(guī)劃效果,本實驗選擇了A*算法[35]和滾動窗口快速擴展隨機樹算法(Rapid-exploring random tree,RRT)[36]進行了對比.兩者均為路徑規(guī)劃中經(jīng)常使用的流行算法.為使A* 算法與RRT 算法在本實驗中表現(xiàn)出最佳效果,本文通過多次實驗設(shè)計算法細節(jié)及參數(shù)如下:A* 算法中節(jié)點評估函數(shù)為f(x)=g(x)+h(x),其中g(shù)(x)為已選取節(jié)點的累計路程,h(x)為當(dāng)前位置到目標點的歐氏距離;滾動窗口RRT 算法中窗口半徑r=1.5 m,隨機樹生長步長ρ=0.3 m,窗口范圍內(nèi)隨機樹節(jié)點數(shù)量K=25.步長與本論文中皮質(zhì)柱平均間隔相近,以保證在相近的條件下進行路徑規(guī)劃的比較.

在路徑規(guī)劃效果指標的選取上,本文參考了文獻[37],采用轉(zhuǎn)彎次數(shù)、角度以及路徑長度作為對比指標.轉(zhuǎn)彎次數(shù)及角度的增加通常對機器人的運動速度帶來限制,造成頻繁的減速、停止和加速,降低導(dǎo)航效率.因此,較少的轉(zhuǎn)彎次數(shù)、轉(zhuǎn)彎角度以及較短的導(dǎo)航路徑通常意味著更好的路徑規(guī)劃效果.

圖10 對不同方法所規(guī)劃的路徑長度進行了對比.從該圖可以看出,除出發(fā)點角度(出發(fā)點與水池中心的連線與x軸正半軸夾角的絕對值)為60° 時本模型規(guī)劃的路徑長度無明顯優(yōu)勢外,其余出發(fā)點角度下本模型規(guī)劃的路徑長度都明顯短于另兩種算法.

圖10 不同規(guī)劃方法所規(guī)劃路徑長度Fig.10 Length of planned path by different planning method

表2 列出了本實驗中從所有角度出發(fā)的平均轉(zhuǎn)彎次數(shù)和平均累計轉(zhuǎn)彎角度.由實驗結(jié)果可以看出,本模型的平均轉(zhuǎn)彎次數(shù)及平均累計轉(zhuǎn)彎角度遠低于A* 算法和滾動窗口RRT 算法,說明規(guī)劃的路徑更加平滑,有效地提高了路徑規(guī)劃及導(dǎo)航的效率.

表2 不同方法規(guī)劃路徑的轉(zhuǎn)彎次數(shù)及轉(zhuǎn)彎角度對比Table 2 Comparison of turning counts and angle of path planned by different path planning methods

3 結(jié)論

哺乳動物的皮層網(wǎng)絡(luò)整合感官信息并輸出動作決策,該信息處理中樞對環(huán)境認知的重要性引起了許多對皮層網(wǎng)絡(luò)的計算建模研究.針對目前的皮層網(wǎng)絡(luò)模型受神經(jīng)元噪聲影響較大的問題,本文利用整合放電模型的非線性特性對神經(jīng)元進行建模,將波前傳播方法引入獎勵傳播回路,同時結(jié)合全局抑制神經(jīng)元,使模型具有更強的抗噪聲干擾性.同時,為了防止路徑規(guī)劃效率的下降,在路徑規(guī)劃回路中引入位置偏好細胞和來自海馬體的時間細胞,通過時間細胞及其時間常數(shù)衰減機制選出全局最佳路徑點.模型結(jié)構(gòu)、各神經(jīng)元功能設(shè)計及波前傳播方法都基于目前的神經(jīng)生理學(xué)研究結(jié)論,具有一定的生物合理性.

為了驗證模型的有效性,本文復(fù)現(xiàn)了心理學(xué)上兩個經(jīng)典的環(huán)境認知實驗:托爾曼14 單元T 型迷宮實驗和Morris 水迷宮實驗,并與其他皮層網(wǎng)絡(luò)模型和路徑規(guī)劃方法進行了對比.實驗數(shù)據(jù)表明,本文所提出的模型與其他皮層網(wǎng)絡(luò)模型相比具有更強的神經(jīng)元噪聲魯棒性,較之A* 算法和滾動窗口RRT算法具有更好的路徑規(guī)劃效果.同時,模型也表現(xiàn)出較強的對動態(tài)環(huán)境的自適應(yīng)能力.

另一方面,目前模型中時間細胞的時間常數(shù)衰減機制較為簡單,需要進一步優(yōu)化以提高最佳路徑點的選取能力及搜尋速度.為了使模型具有更佳的環(huán)境適應(yīng)能力,時間常數(shù)隨環(huán)境的變化機制需要進一步探討.如何構(gòu)建時間常數(shù)衰減機制涉及的回路,使其符合生理學(xué)研究發(fā)現(xiàn),也是下一步研究的重點.