媲美大腦的新型超導(dǎo)神經(jīng)網(wǎng)絡(luò)

二果

①谷歌AlphaGo由多個TPU組合而成

②網(wǎng)傳李世石和李昌鎬的二李午餐

生物神經(jīng)元的工作原理

為了理解超導(dǎo)神經(jīng)元，首先讓我們了解一下它所模仿的生物神經(jīng)元的工作原理。神經(jīng)元其實就是神經(jīng)細胞，它的形狀有些獨特，由長長的軸索及多個突起構(gòu)成（圖3）。

神經(jīng)元細胞編碼并傳遞信息的方式是通過動作電位的形式來實現(xiàn)的。神經(jīng)元的細胞膜（細胞表層）在沒有受到刺激的時候，細胞膜內(nèi)外兩側(cè)會形成外正內(nèi)負的電位差，即所謂的靜息電位（Resting Potential，RP），它是一切生物電產(chǎn)生和變化的基礎(chǔ)。一旦神經(jīng)元細胞受到了超過一定閾值水平的刺激后，靜息電位就會產(chǎn)生電位變化，而且這個變化是沿著神經(jīng)元的軸突定向移動的，這一過程被稱為動作電位，又被稱作神經(jīng)沖動（圖4）。

④上方是靜息電位示意圖，下方是動作電位變化的示意圖，按照一定的方向達成信息傳送

小提示

神經(jīng)元細胞通過動作電位傳遞信息的動態(tài)示意圖，可參見http：//tinyurl.com/yyoh2bgz。

超導(dǎo)神經(jīng)元的工作原理

人工神經(jīng)元要想盡可能真實地模擬出人腦的生物神經(jīng)元，就需要設(shè)計出極為復(fù)雜的電路。對于電路材質(zhì)的選擇，Toomey和他的同事們找到一種超導(dǎo)納米線（Nanowires），它具有非常特殊的非線性特性——當(dāng)電流流過納米線的時候，如果電流超過了某個閾值，這時納米線的超導(dǎo)性就會神奇地崩潰，而由超導(dǎo)變成了電阻。電阻突然增大即會產(chǎn)生電壓脈沖，這個脈沖正好和神經(jīng)元細胞中的動作電位非常相似，它可以導(dǎo)致第二根超導(dǎo)納米線產(chǎn)生另外一個脈沖，從而形成一個類似多個生物神經(jīng)元特性的超導(dǎo)電路（圖5）。

⑤來自Toomey論文中的超導(dǎo)納米線電路的示意圖，一個超導(dǎo)神經(jīng)元電路由主振蕩器和控制振蕩器兩組納米線組成

生物神經(jīng)元細胞除了觸發(fā)閾值外，還有一個是不應(yīng)期（Refractory period）的特性，即在一定的時間內(nèi)重復(fù)刺激的話將不給予反應(yīng)，這是電流傳遞有序化的一個保證。超導(dǎo)神經(jīng)元不但有一個觸發(fā)閾值，也具備不應(yīng)期的特性，從而能夠根據(jù)電路特性來調(diào)整運行時間。最關(guān)鍵的是，這種超導(dǎo)神經(jīng)元能夠觸發(fā)或抑制其他神經(jīng)元，從而能夠形成一個“扇形”傳遞，創(chuàng)建出一個網(wǎng)絡(luò)，這是目前其他超導(dǎo)神經(jīng)元設(shè)計還沒能實現(xiàn)的。

從時鐘頻率入手節(jié)省能耗

實現(xiàn)了生物神經(jīng)元功能的模擬，那么功耗的問題又如何解決呢？這就涉及到一個概念——時鐘頻率（Clock rate）。時鐘頻率是為了讓處理器協(xié)同工作的各個部件之間能夠同步起來的時間基準(zhǔn)，它的單位是Hz（赫茲），以單位時間內(nèi)運轉(zhuǎn)周期的次數(shù)來計算，每秒運轉(zhuǎn)1個周期就是1Hz，每秒運轉(zhuǎn)2個周期就為2Hz，以此類推。顯而易見，頻率越高就代表處理器的運行速度越快。

如果將我們?nèi)祟惖拇竽X比作一臺計算機，那么它實際也是有時鐘頻率的。一般人可能認(rèn)為人類大腦的頻率會很快，恰恰相反，大腦的時鐘頻率往往只有幾Hz，和動不動就有數(shù)以GHz的現(xiàn)代微處理器比起來，實在是太慢了，不過這也正是大腦功耗低的最關(guān)鍵的因素。頻率極低的人腦采用了一種“人海戰(zhàn)術(shù)”，就是通過它特有的神經(jīng)網(wǎng)絡(luò)，每秒并行運算10億次左右，從而在低功耗的情況下，形成了計算機難以企及的運行能力。

如前所述，超導(dǎo)神經(jīng)元的特性是它的神經(jīng)網(wǎng)絡(luò)計算功能，所以它才可以像人腦一樣，不靠時鐘頻率的速度，而是以并行運算的能力取勝，在每秒僅需1W功率的情況下管理著1014個突觸的操作，幾乎已經(jīng)和人類的大腦相匹配了。雖然超導(dǎo)神經(jīng)元離真正的生物神經(jīng)元尚有極大的距離，但僅從功耗和速度來看，它已經(jīng)很有競爭力了。

超導(dǎo)神經(jīng)元的未來

超導(dǎo)神經(jīng)元是一個起點，在低功耗人工神經(jīng)網(wǎng)絡(luò)的發(fā)展領(lǐng)域中潛力巨大。一旦超導(dǎo)神經(jīng)網(wǎng)絡(luò)成為未來全新計算機硬件的基礎(chǔ)，那么芯片散熱將不再是個問題。而一旦大規(guī)模神經(jīng)形態(tài)處理器得以形成，那么像模式識別這類更為復(fù)雜的任務(wù)也就能夠輕松完成，從而在許多領(lǐng)域完全代替人類的工作了。（本文編譯自國外網(wǎng)上資料，參考文獻https：//arxiv.org/abs/1907.00263：使用超導(dǎo)納米線的高效人工神經(jīng)元）