基于磁性隧道結(jié)的群體編碼實現(xiàn)無監(jiān)督聚類*

張亞君 蔡佳林 喬亞 曾中明? 袁喆? 夏鈳

1) (北京師范大學(xué)物理學(xué)系,高等量子研究中心,北京 100875)

2) (中國科學(xué)院蘇州納米技術(shù)與納米仿生研究所,蘇州 215123)

3) (北京計算科學(xué)研究中心,北京 100193)

利用新型材料器件發(fā)展類腦計算硬件研究的關(guān)鍵問題是發(fā)展出合適的算法,能夠發(fā)揮新器件的特點和優(yōu)勢.群體編碼是生物神經(jīng)系統(tǒng)常見的編碼方式,能夠有效去除噪音,實現(xiàn)短時程記憶及復(fù)雜的非線性映射功能.本文選擇自旋電子學(xué)器件中研究較多、工藝較成熟的磁性隧道結(jié),應(yīng)用其可調(diào)控的隨機動力學(xué)實現(xiàn)群體編碼.作為一個應(yīng)用的例子,超順磁隧道結(jié)構(gòu)建的二層脈沖神經(jīng)網(wǎng)絡(luò)成功完成了鳶尾花數(shù)據(jù)集的無監(jiān)督聚類.數(shù)值仿真表明基于磁性隧道結(jié)的群體編碼可以有效對抗器件的非均一性,為類腦計算硬件研究提供重要的參考.

1 引言

得益于神經(jīng)網(wǎng)絡(luò)算法的進步和新型計算硬件的發(fā)展,人工智能在近十多年取得了巨大的進步.其中在圖像識別、自動駕駛和自然語言處理等方面的應(yīng)用已經(jīng)進入并逐步改變了人們的日常生活[1].然而當(dāng)前人工智能的發(fā)展仍然面臨諸多問題.一方面,隨著摩爾定律的終結(jié),處理器性能的增長開始放緩;另一方面,傳統(tǒng)馮·諾依曼架構(gòu)采用的存算分離系統(tǒng),使數(shù)據(jù)在中央處理器和內(nèi)存之間搬運消耗了大量的時間和能量.為了解決這些問題,科學(xué)家試圖從大腦等生物神經(jīng)系統(tǒng)尋求解決方案.大腦的神經(jīng)系統(tǒng)具有存算一體、高度并行、事件驅(qū)動等特點[2].目前已經(jīng)有多款基于傳統(tǒng)互補金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)工藝的類腦芯片問世[3,4],展示了類腦芯片在低能耗方面的巨大優(yōu)勢,但實現(xiàn)單個的脈沖神經(jīng)元和突觸需要大量晶體管.通常類腦神經(jīng)元之間所需要的高連接度也限制了類腦芯片的規(guī)模和可擴展性.因此,利用基于阻變材料、相變材料等新材料器件實現(xiàn)類腦計算的基本單元成為研究的重點,有望從根本上改進類腦芯片的計算架構(gòu)和性能[5?9].自旋電子學(xué)器件具有低能耗、高速和非線性磁動力學(xué)及非易失性等特點,已經(jīng)在硬盤、磁性隨機存儲器等存儲設(shè)備上實現(xiàn)了商業(yè)化應(yīng)用.近年來,基于自旋電子學(xué)的存內(nèi)計算[10]和類腦計算[11?21]也獲得了廣泛的關(guān)注.如何利用自旋電子學(xué)器件的天然優(yōu)勢,結(jié)合新型類腦算法,實現(xiàn)軟硬件的協(xié)同設(shè)計,是基于自旋器件類腦計算的核心問題.

大腦中存在大量的神經(jīng)元來執(zhí)行日常的感知、情感和記憶等高級功能.不同于計算機中精確的數(shù)值表示,大腦中信息傳遞依賴于神經(jīng)元之間的脈沖發(fā)放,依靠神經(jīng)元之間的連接形成的復(fù)雜網(wǎng)絡(luò)執(zhí)行相關(guān)的任務(wù).盡管每個神經(jīng)元細胞的信息傳遞和膜電位變化過程中伴隨大量噪音和隨機動力學(xué),但大腦可以通過群體神經(jīng)元共同編碼信號來實現(xiàn)復(fù)雜和精確的認知功能.群體編碼是生物系統(tǒng)在方向和空間感知[22]、顏色分辨、嗅覺識別和記憶[23]等方面的基礎(chǔ)模式[24],并具有很強的抗噪能力,對神經(jīng)細胞的異質(zhì)性也具有很好的容忍度.群體編碼的優(yōu)勢可以解決制造工藝的局限導(dǎo)致新材料類腦器件的非均一性問題,大幅降低新型類腦器件的制造要求.基于傳統(tǒng)CMOS 技術(shù)[25]、相變器件[26]和自旋器件[27]的群體編碼系統(tǒng)都表現(xiàn)了對器件非均一性的較強耐受能力,基于相變器件[26]的群體編碼利用了脈沖發(fā)放的隨機特性,其發(fā)放頻率與輸入信號的脈寬呈線性關(guān)系;而隨機磁性隧道結(jié)的發(fā)放頻率與輸入電壓呈現(xiàn)單峰的非單調(diào)關(guān)系[27],更符合生物系統(tǒng)的調(diào)諧曲線.

本文利用超順磁磁性隧道結(jié)的隨機翻轉(zhuǎn)特性,結(jié)合群體編碼算法,提出一種基于自旋電子學(xué)器件的脈沖神經(jīng)網(wǎng)絡(luò)方案.通過對鳶尾花數(shù)據(jù)集的無監(jiān)督分類研究,展示了該網(wǎng)絡(luò)的魯棒性和低能耗.首先給出了在實驗上觀測到的磁性隧道結(jié)的隨機翻轉(zhuǎn)特性及其電流調(diào)控,建立了基于超順磁隧道結(jié)的群體編碼基礎(chǔ),同時驗證了奈爾-布朗(Néel-Brown)理論模型對器件的描述能力.研究了基于磁性隧道結(jié)的群體編碼,并結(jié)合延時脈沖發(fā)放和脈沖時序依賴突觸可塑性設(shè)計了基于自旋電子學(xué)器件的神經(jīng)網(wǎng)絡(luò).探究了磁性隧道結(jié)數(shù)目和器件參數(shù)對網(wǎng)絡(luò)性能的影響,并分析了該網(wǎng)絡(luò)在能耗方面的優(yōu)勢.

2 利用超順磁隧道結(jié)的群體編碼

2.1 群體編碼

在線性回歸的數(shù)值計算中,我們的目標是由離散的實驗數(shù)據(jù)點得到直線的斜率和截距.由于實驗數(shù)據(jù)存在誤差,我們期望通過更多的數(shù)據(jù)來降低數(shù)據(jù)誤差帶來的影響.生物系統(tǒng)同樣面臨這樣的問題,單個神經(jīng)元的信號噪聲很大,為了獲取更加精準的感知信號,生物系統(tǒng)總是通過一組神經(jīng)元的共同響應(yīng)來感知外界的刺激.這種利用一群神經(jīng)元對刺激的共同響應(yīng)來編碼信息的方式被稱為群體編碼,其對于連續(xù)變量的編碼尤為有效,例如顏色、空間位置等.在群體編碼中每個神經(jīng)元對不同的外界刺激輸入信號具有一定的響應(yīng)分布,稱為該神經(jīng)元的調(diào)諧曲線;每個神經(jīng)元對某個特定的外界輸入刺激會比較敏感,稱為該神經(jīng)元的偏好刺激.因此通?？梢杂妙愃聘咚购瘮?shù)的形式來描述調(diào)諧曲線,峰值即對應(yīng)偏好刺激.當(dāng)神經(jīng)元足夠多,所有神經(jīng)元的偏好刺激可以覆蓋全部輸入刺激的取值范圍(感受野)時,群體編碼即相當(dāng)于把一個輸入信號用一組高斯型核函數(shù)展開,因此即使若干個神經(jīng)元上信息缺失也不影響整體工作效果.相比于用單個神經(jīng)元來處理精確的感知或運動控制,群體編碼能夠顯著提高準確性,并且具有去除噪音、實現(xiàn)短時記憶和復(fù)雜非線性響應(yīng)等功能[24].

2.2 磁性隧道結(jié)的動力學(xué)

磁性隧道結(jié)是常見的自旋電子學(xué)器件,由兩個鐵磁層夾著一個較薄的絕緣層組成,如圖1(a)所示,其中上層的磁化方向固定,中間是隧穿層,下層的磁化方向可以通過施加外界磁場或激勵電流控制翻轉(zhuǎn).磁性隧道結(jié)有兩個穩(wěn)定的狀態(tài)(能量極小值),當(dāng)自由層和固定層磁矩平行時稱為平行態(tài),此時電阻較低,反之稱為反平行態(tài),具有高電阻.

當(dāng)兩個狀態(tài)之間勢壘高度ΔE遠大于熱擾動kBT時,磁性隧道結(jié)的狀態(tài)是非常穩(wěn)定的,適合作為磁隨機存儲器中的非易失二值存儲單元.而當(dāng)勢壘高度與kBT相當(dāng)時,磁性隧道結(jié)的狀態(tài)會受外界的熱噪聲影響而改變[28].偏壓或電流可以給自由層施加自旋轉(zhuǎn)移力矩[29],從而調(diào)節(jié)隧道結(jié)在兩個狀態(tài)上的概率分布,進而調(diào)控其作為神經(jīng)元的調(diào)諧曲線,實現(xiàn)基于磁性隧道結(jié)的群體編碼系統(tǒng).

本文使用的磁性隧道結(jié)多層薄膜通過磁控濺射沉積,其核心結(jié)構(gòu)自下而上為PtMn(15 nm)/Co70Fe30(2.5 nm)/Ru(0.85 nm)/Co40Fe40B20(2.4 nm)/MgO(0.80 nm)/Co60Fe20B20(2.1 nm).薄膜沉積后在1 T 磁場下,300 ℃退火2 h.隨后通過光刻、刻蝕制備成50 nm × 130 nm 的橢圓形器件.沿與磁性隧道結(jié)器件難軸夾角20°方向施加適當(dāng)強度的磁場,然后向器件注入直流偏置電流并通過示波器測量器件兩端電壓.電流產(chǎn)生的自旋轉(zhuǎn)移力矩與易軸方向的磁場分量競爭使自由層磁矩在與釘扎層磁矩平行和反平行方向翻轉(zhuǎn),通過示波器可以觀察到電壓信號隨機跳變,且隨機跳變的頻率隨電流強度變化.隨機翻轉(zhuǎn)測試在室溫下進行.圖1(b)展示了實驗上用電流調(diào)節(jié)磁性隧道結(jié)翻轉(zhuǎn)頻率的測量結(jié)果.當(dāng)電流為–60 μΑ 時,磁性隧道結(jié)處于高阻態(tài)的概率較大;而當(dāng)電流為–10 μΑ 時,磁性隧道結(jié)在高阻態(tài)和低阻態(tài)之間隨機翻轉(zhuǎn);當(dāng)電流為15 μΑ時,磁性隧道結(jié)處于低阻態(tài)的概率較大.注意到在不同電流下磁性隧道結(jié)的高阻態(tài)不同,這是由于磁性隧道結(jié)的電流-電壓曲線不是線性的,在高阻態(tài)下呈拋物線型.如果將磁性隧道結(jié)在高低阻態(tài)之間的一次翻轉(zhuǎn)當(dāng)作神經(jīng)元的一次脈沖發(fā)放,就可以通過調(diào)節(jié)輸入電流來改變磁性隧道結(jié)的發(fā)放率.隨著輸入電流的增大,磁性隧道結(jié)的發(fā)放率先增大后減小,如圖1(c)所示.圖中的每個數(shù)據(jù)點為10 次獨立采樣結(jié)果的平均值和標準差,每次獨立采樣97300 次,大約31 s.

2.3 Néel-Brown 理論

Néel-Brown 理論可以很好地描述超順磁隧道結(jié)的隨機動力學(xué)翻轉(zhuǎn)[30].處于平行態(tài)或反平行態(tài)上的磁矩翻轉(zhuǎn)的弛豫時間τP/AP由勢壘高度ΔE和經(jīng)過隧道結(jié)的電流I共同決定,即

式中?0為嘗試頻率,與器件的翻轉(zhuǎn)機制有關(guān),本文中取為109Hz.kB為玻爾茲曼常數(shù),T為環(huán)境溫度,Ic為磁性隧道結(jié)翻轉(zhuǎn)的臨界電流.在群體編碼中用輸入電流的數(shù)值大小I來編碼外界刺激信號.磁性隧道結(jié)處于平行態(tài)或反平行態(tài)的概率表示為

其中Δt為采樣時間,Δt=326.5μs.如果將連續(xù)兩次采樣中磁矩發(fā)生改變定義為該神經(jīng)元發(fā)放一次,則Néel-Brown 理論給出了超順磁隧道結(jié)神經(jīng)元的發(fā)放頻率為

為了使各神經(jīng)元的偏好刺激均勻分布在輸入刺激I的變化范圍內(nèi),可對各個磁性隧道結(jié)施加等間隔電流偏置Ibias,最終磁性隧道結(jié)的實際輸入電流為I=Iinput+Ibias.此時這一組神經(jīng)元的調(diào)諧曲線均勻排列,如圖1(d)所示,實線為該組磁性隧道結(jié)的調(diào)諧曲線,散點代表利用Néel-Brown 方程模擬的結(jié)果.由于磁性隧道結(jié)的隨機發(fā)放特性,模擬結(jié)果與調(diào)諧曲線存在一定偏差.

3 群體編碼脈沖神經(jīng)網(wǎng)絡(luò)和無監(jiān)督聚類

3.1 脈沖神經(jīng)網(wǎng)絡(luò)模型

為展示基于超順磁隧道結(jié)的群體編碼方案,設(shè)計了一個兩層的脈沖神經(jīng)網(wǎng)絡(luò),如圖2(a)所示.網(wǎng)絡(luò)前端是包含若干神經(jīng)元的輸入層,每個神經(jīng)元將一個輸入信號編碼為電流通入到下一層;第一層是群體編碼層,每個輸入層神經(jīng)元的輸入信號傳遞到一組超順磁隧道結(jié)進行群體編碼;第二層輸出層包含若干有適應(yīng)性閾值的泄漏累積發(fā)放神經(jīng)元[31].群體編碼層和輸出層之間為全連接.輸出層的神經(jīng)元具有橫向抑制連接,保證該層神經(jīng)元最多僅有一個發(fā)放.

圖2(a)的神經(jīng)網(wǎng)絡(luò)用來實現(xiàn)鳶尾花數(shù)據(jù)集的無監(jiān)督聚類.鳶尾花數(shù)據(jù)集[32]中收集了3 個類別的樣本,分別是Setosa 鳶尾花,Versicolour 鳶尾花和Virginica 鳶尾花,每個類別有50 個樣本,共計150 條數(shù)據(jù).每條數(shù)據(jù)包含4 個屬性,分別代表該朵鳶尾花花瓣的長度和寬度,花萼的長度和寬度.這4 個數(shù)據(jù)通過4 個輸入神經(jīng)元xi分別把對應(yīng)的電流輸入給中間層的群體編碼神經(jīng)元,即若干超順磁隧道結(jié)中.輸入電流大小決定了磁性隧道結(jié)的翻轉(zhuǎn)頻率,而磁性隧道結(jié)發(fā)放的脈沖會引起輸出層輸出神經(jīng)元yi膜電位的累積,當(dāng)輸出神經(jīng)元的膜電位達到該神經(jīng)元閾值后將發(fā)放脈沖,代表該鳶尾花樣本屬于發(fā)放的輸出神經(jīng)元所對應(yīng)的類別.由于輸出層神經(jīng)元之間存在抑制型突觸(紫色連線),某個神經(jīng)元發(fā)放后會抑制其他神經(jīng)元的發(fā)放.該抑制型突觸可以設(shè)置為N×N的連接矩陣(輸出層神經(jīng)元個數(shù)為N),其對角元為零,非對角元為負值,這里我們?nèi)≈禐楱C17.5.中間層與輸出層之間的突觸連接強度是可學(xué)習(xí)的,應(yīng)用依賴于當(dāng)前權(quán)重的脈沖時序依賴可塑性(spike-timing-dependent plasticity,STDP)算法[31]訓(xùn)練.訓(xùn)練規(guī)則如下:當(dāng)突觸前神經(jīng)元發(fā)放時,

圖2 (a) 群體編碼脈沖神經(jīng)網(wǎng)絡(luò)示意圖;(b) 網(wǎng)絡(luò)訓(xùn)練過程示意圖;(c) 鳶尾花數(shù)據(jù)集無監(jiān)督聚類測試結(jié)果;(d) 用于編碼一個數(shù)據(jù)的隧道結(jié)數(shù)目與輸出神經(jīng)元數(shù)量對網(wǎng)絡(luò)聚類正確率的影響Fig.2.(a) Schematic of spiking neural network;(b) schematic illustration of the network learning process;(c) test results of the unsupervised classification of the iris data set;(d) the influence of number of magnetic tunnel junctions used in the population coding and number of output neurons.

當(dāng)突觸后神經(jīng)元發(fā)放時,

這里,Δw為權(quán)重變化量;前突觸學(xué)習(xí)率ηpre和后突觸學(xué)習(xí)率ηpost分別為0.001 和 0.01;權(quán)重w最大值wmax=1,最小值wmin=0;xpre和xpost分別為

突觸前后神經(jīng)元的膜電位.圖2(b)為網(wǎng)絡(luò)運行的流程圖,從左到右分別為群體編碼的調(diào)諧曲線,磁性隧道結(jié)的電阻變化示意,泄漏型積分發(fā)放神經(jīng)元的動力學(xué)示意.

3.2 鳶尾花樣本的無監(jiān)督聚類

首先用理想調(diào)諧曲線的算法進行數(shù)值仿真,每個輸入變量用12 個磁性隧道結(jié)編碼,輸出神經(jīng)元的數(shù)量為30.在每一輪訓(xùn)練中隨機通入100 條數(shù)據(jù),注意這里的數(shù)據(jù)是隨機挑選,并且由于是無監(jiān)督學(xué)習(xí),所以我們并沒有區(qū)分訓(xùn)練集和測試集.輸出神經(jīng)元的標簽是動態(tài)調(diào)整的,每完成一輪訓(xùn)練后,將對輸出神經(jīng)元刺激最強的鳶尾花類別作為該輸出神經(jīng)元的標簽.在每輪訓(xùn)練結(jié)束后,將150 個樣本隨機輸入網(wǎng)絡(luò)進行測試,測試得到的聚類正確率如圖2(c)中的虛線所示.經(jīng)過15 輪訓(xùn)練后網(wǎng)絡(luò)的聚類正確率達到了飽和值的92.6%.

生物系統(tǒng)的神經(jīng)元在不同時刻收到相同的刺激時,發(fā)放模式并不是完全重復(fù)調(diào)諧曲線,而是具有一定的隨機性,但并不影響大腦精確地執(zhí)行各項復(fù)雜的動作.同樣,外界熱噪聲擾動下的磁性隧道結(jié)的動力學(xué)具有一定的隨機性,因此超順磁隧道結(jié)的群體編碼可以很好地模擬生物系統(tǒng)中的神經(jīng)元隨機動力學(xué).為了檢驗網(wǎng)絡(luò)性能,我們分別進行了10 次獨立的試驗,并把測試正確率的平均值和標準差畫在圖2(c)中.可以看出,隨著訓(xùn)練輪次的增加,基于磁性隧道結(jié)的群體編碼網(wǎng)絡(luò)正確率最終也達到了使用理想調(diào)諧曲線的算法仿真極限值(圖2(c)虛線).圖2(c)中插圖為15 輪訓(xùn)練后測試結(jié)果的融合矩陣,其中的標簽1,2,3 依次對應(yīng)Setosa 鳶尾花、Versicolour 鳶尾花和Virginica 鳶尾花,紅色的深度與正確預(yù)測的標簽數(shù)目相對應(yīng).

隨著群體編碼使用隧道結(jié)(神經(jīng)元)數(shù)量的增加,偏好刺激在感受野中的分布更加密集,可以使群體編碼包含的信息量更大,魯棒性更強[33].同時,隨著磁性隧道結(jié)數(shù)目的增加,輸入數(shù)據(jù)將被投影到更高維的空間,該組磁性隧道結(jié)的發(fā)放脈沖包含的信息隨之增加,輸出層神經(jīng)元能夠解碼出更多的信息,包含了數(shù)據(jù)的更多細節(jié),因此磁性隧道結(jié)數(shù)目的增加有助于提高網(wǎng)絡(luò)的性能.圖2(d)展示了隨著用于編碼每個變量的磁性隧道結(jié)的增加,網(wǎng)絡(luò)性能逐漸增強,當(dāng)磁性隧道結(jié)數(shù)目達到12 個時,無監(jiān)督聚類的正確率也達到飽和.

本文還探究了輸出層神經(jīng)元對網(wǎng)絡(luò)性能的影響.執(zhí)行無監(jiān)督聚類的網(wǎng)絡(luò)事先并不知道樣本數(shù)據(jù)種類數(shù)量,因此輸出層神經(jīng)元的數(shù)量應(yīng)當(dāng)大于或等于數(shù)據(jù)種類的數(shù)量.輸出層神經(jīng)元的標簽由引起它發(fā)放次數(shù)最多的鳶尾花類別決定,因此,每一類鳶尾花由一組輸出層神經(jīng)元共同標注.當(dāng)輸出層的神經(jīng)元達到20 個時,正確率可以達到90%;當(dāng)輸出層的神經(jīng)元達到30 個,正確率就可以達到92.6%,達到了網(wǎng)絡(luò)性能的極限.需要強調(diào),我們的無監(jiān)督學(xué)習(xí)中使用了STDP 的學(xué)習(xí)規(guī)則,在實際訓(xùn)練過程中表現(xiàn)出一定的不穩(wěn)定性,對權(quán)重初值較為敏感,而更多的輸出神經(jīng)元代表網(wǎng)絡(luò)有更大的初始參數(shù)空間,這給訓(xùn)練過程帶來了更多的可能性,更加有利于STDP 的學(xué)習(xí),從而避免參數(shù)落入局域最優(yōu)解導(dǎo)致訓(xùn)練失敗,這也解釋了為什么更多的輸出神經(jīng)元會提高網(wǎng)絡(luò)的性能.

盡管我們僅測試了樣本個數(shù)較少的鳶尾花數(shù)據(jù)集,但該網(wǎng)絡(luò)在軟件層面已經(jīng)成功應(yīng)用于大規(guī)模數(shù)據(jù)集的無監(jiān)督分類[31,34].因此,基于磁性隧道結(jié)的群體編碼硬件網(wǎng)絡(luò)也同樣具有可擴展性,能夠推廣到更大規(guī)模的數(shù)據(jù)分類任務(wù).此外,本文探究了權(quán)重的精度對網(wǎng)絡(luò)性能的影響,模擬結(jié)果表明在鳶尾花聚類的任務(wù)中,3 比特權(quán)重下網(wǎng)絡(luò)的性能就可以達到90%以上,這表明該網(wǎng)絡(luò)的權(quán)重可以映射到磁疇壁等自旋多態(tài)器件,有望實現(xiàn)全自旋脈沖神經(jīng)網(wǎng)絡(luò).

4 器件的非均一性與能耗

即使同一批生長的材料和相同的刻蝕工藝制造的磁性隧道結(jié)器件通常也會有所差異,這種器件的非均一性是類腦計算硬件不可避免的問題.具體到超順磁隧道結(jié),其非均一性表現(xiàn)在器件兩個參數(shù)的差別,即勢壘高度ΔE和臨界電流Ic.這兩個參數(shù)的差別導(dǎo)致隧道結(jié)調(diào)諧曲線的高度和寬度都會發(fā)生改變[27].為了探究器件的不均一性對網(wǎng)絡(luò)性能的影響,我們測試了磁性隧道結(jié)的勢壘ΔE存在0—10%漲落范圍下無監(jiān)督聚類的準確性.測試中的群體編碼均采用每組8 個隧道結(jié),輸出層包含50個神經(jīng)元.ΔE增大(減小)會降低(升高)磁性隧道結(jié)的翻轉(zhuǎn)頻率,因此ΔE的漲落影響器件調(diào)諧曲線的高度.例如勢壘過高的器件翻轉(zhuǎn)1 次所需的時間很長,因此平均發(fā)放速率相對要低很多.圖3(a)插圖展示了ΔE的漲落為6%時一組磁性隧道結(jié)的調(diào)諧曲線.將這組器件放入網(wǎng)絡(luò)中進行群體編碼,最終實現(xiàn)無監(jiān)督分類的正確率達到80%.整體上隨著器件勢壘高度漲落增大,網(wǎng)絡(luò)的性能略有降低[27],如圖3(a)所示.

圖3 磁性隧道結(jié)(a)勢壘和(b)翻轉(zhuǎn)臨界電流的不均一性對網(wǎng)絡(luò)性能的影響Fig.3.Population coding using the magnetic tunnel junctions with a fluctuation in their (a) energy barriers and(b) critical currents for switching.

我們進一步測試了磁性隧道結(jié)的臨界電流Ic存在0—80%漲落時網(wǎng)絡(luò)的性能,結(jié)果如圖3(b)所示.Ic的變化會影響調(diào)諧曲線的寬度,圖3(b)的插圖展示了Ic存在80%漲落時的一組器件的調(diào)諧曲線,此時網(wǎng)絡(luò)的正確率依然能夠達到90%.因此不同器件臨界電流并不會影響網(wǎng)絡(luò)的魯棒性,勢壘高度的變化對網(wǎng)絡(luò)性能的影響更加顯著.

上述測試結(jié)果與生物系統(tǒng)中群體編碼的特征一致.在生物系統(tǒng)中,不同神經(jīng)元在收到相同的刺激時響應(yīng)也不是完全相同的,這種異質(zhì)性神經(jīng)元的群體編碼并不影響生物神經(jīng)系統(tǒng)的正常工作.

磁性隧道結(jié)的發(fā)放在每個采樣時間窗口內(nèi)是隨機的,我們可以改變觀測時間,在1 個觀測時間內(nèi)對磁性隧道結(jié)進行多次采樣,然后將多次采樣的結(jié)果轉(zhuǎn)換為1 次脈沖,這樣可以在統(tǒng)計意義上消除一定的隨機性,從而提高網(wǎng)絡(luò)的性能.但隨著觀測時間的增加,每次運行時器件能耗也會隨之增加.為了探究器件耗能和網(wǎng)絡(luò)性能的關(guān)系,我們使用每組群體編碼包含了16 個磁性隧道結(jié),模擬觀測時間與采樣時間的比值對網(wǎng)絡(luò)性能的影響.在一個采樣時間內(nèi)磁性隧道結(jié)的最大輸入電流為100 μΑ,電阻取高阻態(tài)與低阻態(tài)的均值2.016 kΩ,因此最大能耗為6.58×10-9J.將其乘以觀測時間與采樣時間的比值,就可得到觀測時間對應(yīng)的最大能耗.圖4 給出了不同觀測時間的聚類正確率,其中上軸表示每個觀測時間對應(yīng)的能耗.當(dāng)觀測時間為10 次采樣時間時網(wǎng)絡(luò)達到正確率的飽和值,對應(yīng)的最大能耗為為6.58×10-8J.隨著實驗工藝的進步,降低采樣時間可以有效地降低器件能耗,目前實驗上報道的隧道結(jié)采樣時間可以低至8 ns[35],相比于CMOS 的群體編碼系統(tǒng)[25],采樣速度提高了3 個量級,采用該器件實現(xiàn)群體編碼有望將能耗降到4×10-12J.在系統(tǒng)集成方面,磁性隧道結(jié)將連續(xù)信號直接轉(zhuǎn)換為二值信號,有利于后續(xù)數(shù)字信號的處理,而基于CMOS 的群體編碼需要設(shè)計額外的數(shù)模轉(zhuǎn)換電路.因此,基于自旋電子器件的群體編碼在面積、能耗和速度方面都有突出的優(yōu)勢.

圖4 不同觀測時間(以采樣時間dt 為單位)對網(wǎng)絡(luò)執(zhí)行無監(jiān)督聚類正確率的影響(上軸表示每個觀測時間對應(yīng)的能耗)Fig.4.Classification accuracy of unsupervised clustering performed by the network as a function of the different observation time (The upper axis shows the energy consumption corresponding to each observation time).

5 結(jié)論

本文提出了一種使用超順磁隧道結(jié)的群體編碼方案,利用熱擾動下超順磁隧道結(jié)的隨機翻轉(zhuǎn)過程及其自旋轉(zhuǎn)移力矩的調(diào)控,可以用帶有偏置力矩的若干隧道結(jié)的偏好刺激編碼整個神經(jīng)元的感受野.作為一個簡單且典型的例子,我們把該群體編碼方案應(yīng)用到一個三層的神經(jīng)網(wǎng)絡(luò)中,實現(xiàn)了對鳶尾花數(shù)據(jù)集的無監(jiān)督聚類,探究了用于群體編碼的隧道結(jié)個數(shù)等網(wǎng)絡(luò)參數(shù)對聚類正確率的影響.群體編碼方案在應(yīng)用中可以很好地克服器件非均一性等技術(shù)和工藝問題,并且能夠有效地降低神經(jīng)網(wǎng)絡(luò)的能耗.