伏隔核內(nèi)多巴胺在獎賞和強(qiáng)化學(xué)習(xí)中的作用?

許本柯 何 云# 孫安邦 陳運才,2△

(1 長江大學(xué)基礎(chǔ)醫(yī)學(xué)院人體解剖學(xué)教研室, 荊州 434000； 2 University of California, Irvine, CA 92697)

多巴胺(dopamine, DA)屬兒茶酚胺類神經(jīng)遞質(zhì),在許多神經(jīng)精神疾病的發(fā)生、發(fā)展中扮演重要角色。多巴胺還參與調(diào)控獎賞環(huán)路中的諸多重要環(huán)節(jié),中腦邊緣多巴胺系統(tǒng)更被認(rèn)為是大腦獎賞系統(tǒng)的神經(jīng)解剖學(xué)基礎(chǔ)。多巴胺的功能特征主要取決于多巴胺能神經(jīng)元胞體的所在腦區(qū)以及該神經(jīng)元軸突終末的投射靶區(qū)[1-3]。現(xiàn)重點綜述中腦腹側(cè)被蓋區(qū)多巴胺能神經(jīng)元的投射靶區(qū)—伏隔核的相關(guān)研究進(jìn)展以及伏隔核內(nèi)多巴胺的動態(tài)變化在獎賞相關(guān)的目標(biāo)導(dǎo)向行為和學(xué)習(xí)過程中的作用。

1 多巴胺獎賞環(huán)路

中腦多巴胺能神經(jīng)元胞體主要集中在黑質(zhì)和腹側(cè)被蓋區(qū)(ventral tegmental area, VTA)兩個腦區(qū),通過黑質(zhì)紋狀體通路和中腦皮質(zhì)邊緣通路影響神經(jīng)系統(tǒng)功能。與獎賞相關(guān)的中腦皮質(zhì)邊緣通路又可分為中腦皮質(zhì)通路和中腦邊緣通路,由腹側(cè)被蓋區(qū)及其投射靶區(qū)伏隔核(nucleus accumbens, NAc)、前額葉皮質(zhì)、杏仁核、海馬等組成,是多巴胺獎賞環(huán)路的主要結(jié)構(gòu)(圖1)。該通路是獎賞和強(qiáng)化學(xué)習(xí)的神經(jīng)結(jié)構(gòu)基礎(chǔ),參與神經(jīng)精神疾病及藥物成癮相關(guān)的獎賞效應(yīng)[4-5]。研究顯示,給予可卡因、腦刺激或者獎賜性伴侶均可以誘導(dǎo)多巴胺以位相性方式釋放到伏隔核,多巴胺的作用及其作用機(jī)制存在明顯的區(qū)域差異[6-7]。

圖1獎賞環(huán)路與多巴胺在獎賞和強(qiáng)化學(xué)習(xí)中的作用

在功能方面,伏隔核是邊緣系統(tǒng)和錐體外系的整合中樞。伏隔核的多棘神經(jīng)元不僅與腹側(cè)被蓋區(qū)的傳入纖維形成突觸聯(lián)系,也接收來源于海馬和前額葉皮層的軸突終末。因此核和殼內(nèi)的神經(jīng)元可以整合來源于多巴胺能以及因此核和殼內(nèi)的神經(jīng)元可以整合來源于多巴胺能以及皮質(zhì)、邊緣區(qū)域谷氨酸能神經(jīng)纖維的投射信息,從而協(xié)調(diào)上傳的感知信息(如動機(jī)與目標(biāo)導(dǎo)向)和下行的動作反應(yīng),在行為、動機(jī)、應(yīng)激、獎賞以及毒品成癮等多種功能活動中發(fā)揮重要作用[1,2,8,9]。近年來,對伏隔核的研究側(cè)重于其在與獎賞相關(guān)的學(xué)習(xí)編碼方面的作用,特別是該核團(tuán)與其他邊緣結(jié)構(gòu)之間的環(huán)路鏈接及其分子調(diào)控機(jī)制。

2 多巴胺與動機(jī)行為、獎賞學(xué)習(xí)

多巴胺能神經(jīng)元與伏隔核內(nèi)的多棘神經(jīng)元共同參與處理動機(jī)與目標(biāo)導(dǎo)向,建立獎賞機(jī)制。在獎賞的處理過程中,核和殼內(nèi)多巴胺的釋放具有明顯差異[10]。在動機(jī)行為的學(xué)習(xí)過程中,有研究認(rèn)為,伏隔核中多巴胺的釋放對于階段性神經(jīng)編碼而言是必需的,也是足夠的,但是也有研究結(jié)果顯示,核和殼內(nèi)多巴胺釋放與學(xué)習(xí)編碼之間沒有明確的聯(lián)系。在動機(jī)行為的測試過程中,同步檢測多巴胺釋放和記錄多棘神經(jīng)元的電生理特征。結(jié)果顯示,伏隔核中多巴胺的快速釋放與核團(tuán)內(nèi)某些特定的多棘神經(jīng)元的活動相關(guān)；而且多巴胺釋放與多棘神經(jīng)元活動的強(qiáng)度偶合,即神經(jīng)元活動強(qiáng)度越大,多巴胺釋放越多。當(dāng)腹側(cè)被蓋區(qū)多巴胺神經(jīng)元釋放多巴胺到伏隔核時,這些多巴胺如何選擇性調(diào)節(jié)一些多棘神經(jīng)元,而其他細(xì)胞卻不受影響。表達(dá)不同受體亞型的多棘神經(jīng)元對多巴胺的反應(yīng)可能不同。因為D2受體的高親和力,即使是在多巴胺水平較低時,這些表達(dá)D2受體的多棘神經(jīng)元也可以處于活動狀態(tài),而那些表達(dá)低親和力D1受體的多棘神經(jīng)元則不會被激活；相反,當(dāng)多巴胺水平較高時,表達(dá)D1受體的多棘神經(jīng)元更易受影響[11]。

3 多巴胺與巴甫洛夫條件反射中的強(qiáng)化刺激

獎賞環(huán)路中的許多神經(jīng)元具有信息編碼的功能,參與巴甫洛夫條件反射的建立。當(dāng)條件反射尚未建立時,給予猴子1個即將獲得果汁獎勵的信號,當(dāng)猴子獲得該果汁獎勵時,多巴胺能神經(jīng)元的活動最大；然而,當(dāng)條件反射已經(jīng)建立,猴子知道該提示信號預(yù)示果汁,當(dāng)接收果汁獎勵時,多巴胺能神經(jīng)元的放電顯著減小。這些數(shù)據(jù)表明多巴胺能神經(jīng)元編碼的不是獎勵價值本身,而是預(yù)期結(jié)果與實際結(jié)果之間的誤差。為了更好地研究多巴胺能神經(jīng)元活動在“誤差評估”中的作用,研究人員分析了多巴胺釋放與評估行為之間的相關(guān)關(guān)系。當(dāng)動物“預(yù)期”不會獲得食物(0),而實際卻獲得1份(1)時,實際結(jié)果與預(yù)期之間的差異是+1；如果預(yù)期會獲得1份食物(1),結(jié)果也是1份(1),則誤差為0[12]。因此當(dāng)預(yù)期值和實際價值相差甚遠(yuǎn)時,需要學(xué)習(xí)或訓(xùn)練的時間就越久。

微透析結(jié)果證實,當(dāng)信號與預(yù)測的獎勵關(guān)聯(lián)時,多巴胺能神經(jīng)元投射靶區(qū)—伏隔核核內(nèi)的多巴胺分泌增高,而殼內(nèi)多巴胺分泌不受影響。在訓(xùn)練大鼠建立條件反射的過程中,伏隔核核內(nèi)釋放的多巴胺逐漸增加,當(dāng)大鼠學(xué)會判斷獎賞結(jié)果時,核內(nèi)多巴胺釋放量達(dá)到最大值；與此同時,大鼠意外獲得獎勵食物時,多巴胺釋放量最大,而當(dāng)食物是在意料之中時,多巴胺釋放較低。這些結(jié)果表明,中腦多巴胺環(huán)路在價值預(yù)測、評估中具有重要作用。急性電解損毀伏隔核的核和殼損害巴甫洛夫條件反射的建立,但不能完全阻斷條件反射。神經(jīng)毒性損毀伏隔核也不損害簡單的巴甫洛夫條件反射的建立。但是也有實驗結(jié)果顯示,即使小范圍損毀伏隔核的核,也會損害動物的評判能力。上述差異可能是因為當(dāng)伏隔核受損時,條件反射的建立發(fā)生了改變,即病理狀態(tài)下,條件反射的建立與正常狀態(tài)下條件反射的建立不一樣。有研究結(jié)果表明,伏隔核受損后,動物不能正確評判強(qiáng)化信號(如食物)的價值。類似的,選擇性損傷伏隔核的核后,大鼠對于強(qiáng)化信號的改變(包括食物數(shù)量的改變以及食物種類的改變)不能做出正確回應(yīng)[13]。因此,在建立巴甫洛夫條件反射時,伏隔核核(殼)的可能作用是整合中性的刺激信號與強(qiáng)化刺激的價值及特性。采用電生理記錄,Saddoris等[14]記錄了條件反射建立后伏隔核神經(jīng)元的電生理特征和反應(yīng)。他們發(fā)現(xiàn),核和殼內(nèi)的多數(shù)神經(jīng)元參與編碼強(qiáng)化刺激信號,核內(nèi)神經(jīng)元更傾向于編碼中性的刺激信號,參與強(qiáng)化刺激(價值)的評估。

4 伏隔核在決策功能中的作用

一般認(rèn)為,與決策功能密切相關(guān)的大腦結(jié)構(gòu)是背側(cè)紋狀體(dorsal striatum)。最近的研究結(jié)果表明,伏隔核在價值決策中具有重要作用[15]。在決策動物模型研究中,研究人員將不同的線索信號與不同的價值回饋聯(lián)系在一起(1個選項對應(yīng)1個結(jié)果),受試動物可以選擇不同的線索信號以獲取相應(yīng)的的價值回饋?；仞伣Y(jié)果可能是食物數(shù)量上的不同,也可能是食物品質(zhì)上的不同(如香蕉丸或者橙子丸),這些回饋結(jié)果對應(yīng)于不同的按壓方式,如按壓力度和數(shù)量。實驗結(jié)果表明,損害伏隔核可以破壞動物的正常決策能力。當(dāng)獎賞結(jié)果只是量多、量少的差異時,伏隔核的核可能并不重要,但是損害伏隔核核或者暫時滅活核內(nèi)神經(jīng)元時,動物不再對風(fēng)險高的選擇(如需要等候的高回報或者幾率很小的高回報)做出回應(yīng)[16]。損害伏隔核殼似乎不會導(dǎo)致上述影響,損害伏隔核殼后,動物的行為與對照組比較沒有明顯差異。然而,近期的研究也顯示,滅活殼內(nèi)神經(jīng)元或者滅活核和殼內(nèi)神經(jīng)元后,動物對獎勵的敏感度減低。當(dāng)這些動物在同樣回報率下被迫選擇少量(2粒)或者大量(4?；蚋?食物時,他們對大量的食物回饋似乎興趣不大[16,17]。在這些研究中,多巴胺的確切作用目前尚不清楚。

多巴胺釋放可能與回饋價值相關(guān)聯(lián)。有假說認(rèn)為,多巴胺釋放增加時動物更易對一些高風(fēng)險的回饋做出反應(yīng)。當(dāng)多巴胺釋放時,動物個體更能在客觀上做出更好的選擇,例如,以較小的努力獲得更高的獎賞。在復(fù)雜的決策實驗中,伏隔核核和殼中的多巴胺釋放都參與“信號-結(jié)果”的編碼處理[18,19]；然而,伏隔核核與殼之間的作用似乎有差異。在伏隔核核與殼內(nèi)的FCSV記錄結(jié)果顯示,核偏向于價值的編碼,特別是在參與處理低付出和高回報事件時。此外,在“提示線索-回饋食物”的訓(xùn)練過程中,受試動物伏隔核殼中可以觀測到多巴胺釋放。與核內(nèi)多巴胺的作用不同,殼內(nèi)多巴胺釋放在強(qiáng)化學(xué)習(xí)中的作用尚需進(jìn)一步研究證實[19]。

5 特定神經(jīng)元環(huán)路聯(lián)系在動機(jī)、獎賞學(xué)習(xí)中的作用

伏隔核接受來自于前額葉皮層、杏仁復(fù)合體的基底外側(cè)核和海馬等區(qū)域的纖維傳入。事實上,來源于每個不同結(jié)構(gòu)的傳入信號都參與調(diào)節(jié)學(xué)習(xí)過程的不同環(huán)節(jié)。其中,基底外側(cè)核到伏隔核的纖維通路已經(jīng)得到較好的研究。基底外側(cè)核神經(jīng)元可投射到伏隔核的核和殼,不對稱損傷該通路明顯影響學(xué)習(xí)的動機(jī)。研究人員采用“Discriminative Operant Task” 訓(xùn)練大鼠獲得基本的操作技能,其中獎賞信號提示按壓食物桿可以獲得食物,而對照信號刺激則預(yù)示按壓食物桿不會獲得食物。電生理記錄結(jié)果顯示,與對照信號相比,獎賞信號導(dǎo)致伏隔核核內(nèi)神經(jīng)元超強(qiáng)活動。可是,當(dāng)這些動物的基底外側(cè)核被巴氯芬和麝香草醇短暫滅活后,與獎賞信號刺激相關(guān)的神經(jīng)元活動受損；而且,這種損害發(fā)生在同側(cè)基底外側(cè)核被滅活時。當(dāng)滅活對側(cè)基底外側(cè)核時,伏隔核內(nèi)的神經(jīng)元編碼不受影響[20]。與此類似,在提示演示期間刺激基底外側(cè)核時,伏隔核中的神經(jīng)元編碼活動增強(qiáng)。盡管基底外側(cè)核神經(jīng)元同時投射到核和殼,滅活基底外側(cè)核僅僅影響核內(nèi)神經(jīng)元的編碼活動,而殼內(nèi)神經(jīng)元的編碼不受影響[21]。

上述損傷實驗結(jié)果表明,在目標(biāo)導(dǎo)向行為的學(xué)習(xí)過程中,基底外側(cè)核和伏隔核之間的聯(lián)系非常重要,但是,這些研究尚不能清楚顯示,基底外側(cè)核對伏隔核的影響是直接的,還是間接的,例如是否通過前額葉皮質(zhì)神經(jīng)元的中轉(zhuǎn)。為了區(qū)分這些可能性,采用光遺傳學(xué)技術(shù),結(jié)合病毒束路追蹤技術(shù),現(xiàn)在可以研究基底外側(cè)核到伏隔核的谷氨酸能投射的特異性作用。將載有光敏受體(ChR2-EYFP)的腺病毒載體注射到基底外側(cè)核轉(zhuǎn)染谷氨酸能興奮性神經(jīng)元,因為這些病毒載體表達(dá)熒光蛋白EYFP,而且可以順軸突轉(zhuǎn)運,因此基底外側(cè)核興奮性神經(jīng)元的胞體及其投射靶區(qū)的軸突終末可以在熒光顯微鏡下直接觀察；同時,因為他們表達(dá)光敏受體通道視紫紅質(zhì)(ChR2),ChR2受光照刺激(如1-20Hz, 5-ms light pulses)時,細(xì)胞去極化,穩(wěn)定放電。由于這些特點,研究人員可以在離體腦片和在體動物直接觀察基底外側(cè)核神經(jīng)元興奮對伏隔核細(xì)胞的影響。光遺傳學(xué)研究結(jié)果表明,基底外側(cè)核到伏隔核的興奮性傳入通路對目標(biāo)導(dǎo)向行為非常重要[21],這也與早期的損毀實驗結(jié)果一致。滅活基底外側(cè)核神經(jīng)元影響伏隔核內(nèi)多巴胺的釋放。當(dāng)基底外側(cè)核到伏隔核的傳入纖維被完全損毀時,按理說,基底外側(cè)核功能的變化將不再直接影響多巴胺功能。然而,損毀基底外側(cè)核神經(jīng)元的功能只是降低伏隔核核內(nèi)多巴胺的快速釋放[20]。因此,有必要進(jìn)一步明確其他腦區(qū),如前額葉皮層各亞區(qū)內(nèi)的神經(jīng)元對伏隔核的影響。

6 伏隔核的核和殼的差異

伏隔核在動機(jī)-行動中的作用已被確認(rèn)。但是深層次的細(xì)節(jié)問題,如強(qiáng)化刺激的價值取向、采取何種行動,以及如何獲取最大價值等問題尚需進(jìn)一步探討。從解剖學(xué)和神經(jīng)化學(xué)的角度來看,核與殼的細(xì)胞構(gòu)筑明顯不同,多棘神經(jīng)元和中間神經(jīng)元之間的突觸聯(lián)系方式差異顯著。迄今為止,尚無令人滿意的研究結(jié)果或者理論來展示或者解釋核與殼之間結(jié)構(gòu)、功能上的特異性及其協(xié)同性。

伏隔核的核不僅參與編碼巴甫洛夫條件反射,而且涉及目標(biāo)導(dǎo)向動作的完成以及如何在不同的價值物之間做出取舍。核好象是1個計算中心,接受前額葉皮層、杏仁復(fù)合體、海馬等的纖維傳入,在此處理后,發(fā)出指令而表現(xiàn)出不同的行動。因此,當(dāng)伏隔核的核發(fā)生病變時,影響的是動物在預(yù)期結(jié)果發(fā)生改變時做決定的能力。同樣的,伏隔核核內(nèi)多巴胺釋放主要與決定和決策相關(guān),而與行動選擇本身關(guān)系不大。

伏隔核殼在獎賞編碼中的作用已經(jīng)得到肯定。滅活殼內(nèi)神經(jīng)元導(dǎo)致動物在評判獎賞結(jié)果的大小時出現(xiàn)損害[17]。動物在壓桿之前,多巴胺的釋放量隨著刺激強(qiáng)度的增加而增加[6],表明殼在價值的尋求方面發(fā)揮關(guān)鍵作用,即殼的作用體現(xiàn)在追逐回饋的價值,至于成本,似乎不在其考慮范圍之內(nèi)。在正常狀態(tài)下,核與殼之間的協(xié)調(diào)活動促成動物在考量成本和報酬后做出判斷和選擇。神經(jīng)解剖學(xué)上,核內(nèi)神經(jīng)元投射到殼,但只有稀疏的纖維從殼投射到核。因此,源于核的信息可能僅僅是“借道”殼而已。隨著光遺傳學(xué)等新技術(shù)的應(yīng)用,人們將會更明白這一復(fù)雜的獎賞系統(tǒng)。