面向多核的并發(fā)HTM空間池算法

牛德姣，周時(shí)頡，蔡 濤，楊 樂(lè)，李 雷

(江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

E-mail：djniu@ujs.edu.cn

1 引 言

層級(jí)時(shí)序記憶(Hierarchical Temporal Memory，HTM)是一種模擬新大腦皮層結(jié)構(gòu)和功能的機(jī)器學(xué)習(xí)技術(shù)[1]，通過(guò)對(duì)數(shù)據(jù)空間特征和時(shí)序特征的提取及稀疏分布表征(Sparse Distributed Representation，SDR)學(xué)習(xí)將復(fù)雜問(wèn)題轉(zhuǎn)化為模式匹配與預(yù)測(cè)，實(shí)現(xiàn)數(shù)據(jù)流的在線分析和預(yù)測(cè)[2].

與現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)模型相比，HTM更接近于人腦認(rèn)知世界的方式，是受腦啟發(fā)的新型認(rèn)知計(jì)算模型.傳統(tǒng)機(jī)器學(xué)習(xí)算法適合于處理靜態(tài)數(shù)據(jù)，以迭代的方式優(yōu)化給定的訓(xùn)練目標(biāo)；而HTM依賴(lài)于存儲(chǔ)的大量模式序列，通過(guò)實(shí)時(shí)感知數(shù)據(jù)并學(xué)習(xí)數(shù)據(jù)的時(shí)序依賴(lài)進(jìn)行預(yù)測(cè)，特別適合于時(shí)序、動(dòng)態(tài)數(shù)據(jù)的在線學(xué)習(xí).目前已成功應(yīng)用于許多數(shù)據(jù)智能處理領(lǐng)域，如交通流量預(yù)測(cè)[3]、股票交易數(shù)據(jù)預(yù)測(cè)[4]、異常檢測(cè)[5]等.

HTM模型實(shí)現(xiàn)了對(duì)腦皮層不同層次功能的模擬，其核心算法包括空間池(Spatial Pooler，SP)算法和時(shí)間池(Temporal Memory，TM)算法，其中空間池算法完成輸入模式的識(shí)別和稀疏離散表征學(xué)習(xí)，時(shí)間池算法完成時(shí)序關(guān)聯(lián)模式學(xué)習(xí)并預(yù)測(cè)輸出[6].通過(guò)分析我們發(fā)現(xiàn)，在HTM時(shí)間池訓(xùn)練中，不僅包含重疊值、近端突觸持久值的計(jì)算任務(wù)，為了學(xué)習(xí)輸入數(shù)據(jù)的稀疏分布表征，激活與輸入模式相匹配的微柱必須搜索整個(gè)模型空間，當(dāng)HTM規(guī)模較大或所處理的數(shù)據(jù)集不斷增長(zhǎng)時(shí)，查找操作將成為影響訓(xùn)練性能的瓶頸.同時(shí)，空間池中微柱數(shù)量巨大，但是其涉及的計(jì)算相對(duì)單一且各微柱相互獨(dú)立，現(xiàn)有的串行計(jì)算方式?jīng)]有針對(duì)空間池算法的特點(diǎn)進(jìn)行優(yōu)化.當(dāng)前，多核處理器已經(jīng)成為主流配置，傳統(tǒng)HTM訓(xùn)練方式無(wú)法有效利用多核處理器的并行計(jì)算能力，導(dǎo)致模型訓(xùn)練時(shí)間開(kāi)銷(xiāo)較大.

針對(duì)以上問(wèn)題，本文提出了一種高效的面向多核的并發(fā)HTM空間池算法，利用處理器中的多個(gè)計(jì)算核心優(yōu)化空間池訓(xùn)練過(guò)程.該算法將HTM的微柱區(qū)域劃分成多個(gè)分區(qū)，各個(gè)分區(qū)獨(dú)立、自主完成分區(qū)內(nèi)微柱選擇和近端突觸調(diào)整，同時(shí)利用多核處理器的并發(fā)計(jì)算能力，并行執(zhí)行各分區(qū)的訓(xùn)練任務(wù)，有效利用計(jì)算資源，降低空間池訓(xùn)練的時(shí)間開(kāi)銷(xiāo)，提高模型的可擴(kuò)展性和適應(yīng)能力.

本文的主要貢獻(xiàn)點(diǎn)可以總結(jié)如下：

1)針對(duì)HTM空間池算法訓(xùn)練效率低、無(wú)法并行計(jì)算，以及其訓(xùn)練過(guò)程中存在的大數(shù)據(jù)問(wèn)題，提出面向多核的并發(fā)HTM空間池算法.利用多核處理器的并行計(jì)算能力優(yōu)化現(xiàn)有HTM空間池的訓(xùn)練，減少模型訓(xùn)練的時(shí)間開(kāi)銷(xiāo)，并增強(qiáng)HTM的適應(yīng)能力.

2)設(shè)計(jì)基于分區(qū)的空間池稀疏表征學(xué)習(xí)策略，針對(duì)空間池算法特點(diǎn)，引入HTM區(qū)域分區(qū)機(jī)制，解決全局搜索活躍微柱速度慢、計(jì)算復(fù)雜度高的缺點(diǎn)，為空間池算法的并發(fā)實(shí)現(xiàn)打下基礎(chǔ).

3)引入面向多核處理器的大數(shù)據(jù)處理方法，利用大量CPU核心的并發(fā)計(jì)算能力、以及GPU單個(gè)核心所不具備的邏輯控制能力，實(shí)現(xiàn)并發(fā)的活躍微柱選取和突觸連接權(quán)值調(diào)整，提高HTM空間池算法的訓(xùn)練和執(zhí)行效率.

4)在多核大數(shù)據(jù)平臺(tái)Phoenix上，實(shí)現(xiàn)了并發(fā)HTM空間池算法的原型，并使用NAB、NYC-Taxi和MNIST數(shù)據(jù)集進(jìn)行了測(cè)試與分析.實(shí)驗(yàn)結(jié)果表明面向多核的并發(fā)HTM空間池算法能大幅減少空間池訓(xùn)練的時(shí)間開(kāi)銷(xiāo)，并提高預(yù)測(cè)準(zhǔn)確率.

2 相關(guān)工作

首先，我們分析了目前HTM的相關(guān)研究工作及神經(jīng)網(wǎng)絡(luò)的加速訓(xùn)練技術(shù)，并介紹了多核計(jì)算平臺(tái)框架.

2.1 HTM

HTM作為新型的神經(jīng)形態(tài)機(jī)器學(xué)習(xí)算法，模擬了新腦皮質(zhì)層的組織結(jié)構(gòu)和運(yùn)作機(jī)理，能夠以在線方式學(xué)習(xí)連續(xù)的數(shù)據(jù)流序列.近些年來(lái)，研究者針對(duì)HTM理論和應(yīng)用方面展開(kāi)了深入研究.Yuwei Cui等人[7]將HTM應(yīng)用于物聯(lián)網(wǎng)流式數(shù)據(jù)的學(xué)習(xí)任務(wù)中，滿足了實(shí)時(shí)、連續(xù)、在線檢測(cè)的需要，相較于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)展現(xiàn)出了更加優(yōu)異的性能.James Mnatzaganian等人[8]將HTM中空間池的計(jì)算過(guò)程數(shù)學(xué)形式化，探索了空間池的學(xué)習(xí)機(jī)制并演示了如何將空間池用于特征學(xué)習(xí)，所提出的數(shù)學(xué)形式化框架可用于優(yōu)化HTM專(zhuān)用硬件的設(shè)計(jì).Jeff Hawkins等人[9]的研究表明HTM在噪聲環(huán)境下執(zhí)行分類(lèi)任務(wù)時(shí)能夠保持優(yōu)秀的魯棒性，并驗(yàn)證了SDR相較于傳統(tǒng)表征方式所具備的優(yōu)勢(shì).Scott Purdy等人[10]使用HTM在流式數(shù)據(jù)異常檢測(cè)任務(wù)中取得了優(yōu)異的性能表現(xiàn)，并提出流式數(shù)據(jù)分析的基本目標(biāo)是以無(wú)監(jiān)督的方式對(duì)每個(gè)數(shù)據(jù)流進(jìn)行建模，而流式數(shù)據(jù)本身表現(xiàn)出概念漂移，這需要算法能夠?qū)崟r(shí)而不是成批的處理數(shù)據(jù).David Rozado等人[11]擴(kuò)展了傳統(tǒng)的HTM模型，添加了一個(gè)頂層節(jié)點(diǎn)用于存儲(chǔ)表示輸入模式序列的時(shí)空結(jié)構(gòu)實(shí)例，這種擴(kuò)展的HTM模型在一些傳統(tǒng)機(jī)器學(xué)習(xí)任務(wù)上取得了更好的性能表現(xiàn).Farzaneh Shoeleh等人[12]提出了使用單編碼HTM作為弱分類(lèi)器的集成學(xué)習(xí)框架，在不同規(guī)模多變量數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明單編碼HTM在異常檢測(cè)任務(wù)中能取得更好的性能.

以上研究為HTM提供了充分的理論支持，實(shí)際應(yīng)用也展現(xiàn)出其準(zhǔn)確性、容錯(cuò)性和魯棒性等方面優(yōu)勢(shì)，但當(dāng)前研究缺乏針對(duì)HTM訓(xùn)練算法的優(yōu)化，特別是如何利用多核計(jì)算架構(gòu)合理、有效組織HTM訓(xùn)練中的計(jì)算任務(wù)，進(jìn)一步提高模型的訓(xùn)練效率和可擴(kuò)展性還有待深入研究.

2.2 神經(jīng)網(wǎng)絡(luò)加速技術(shù)

針對(duì)神經(jīng)網(wǎng)絡(luò)中存在的訓(xùn)練時(shí)間開(kāi)銷(xiāo)大的問(wèn)題，研究人員對(duì)模型的加速訓(xùn)練進(jìn)行了深入研究.目前，神經(jīng)網(wǎng)絡(luò)加速訓(xùn)練方法主要包括算法優(yōu)化、新型架構(gòu)和專(zhuān)用硬件.

算法優(yōu)化主要指基于軟件的加速訓(xùn)練方法，研究者先后提出了隨機(jī)梯度下降(SGD)[13]、Momentum[14]、AdaGrad[15]、RMSProp[16]、Adam[17]等參數(shù)更新方法，在不改變神經(jīng)網(wǎng)絡(luò)模型規(guī)模的情況下，依據(jù)嚴(yán)格的數(shù)學(xué)理論，通過(guò)優(yōu)化梯度下降的速度，以更少的時(shí)間開(kāi)銷(xiāo)求解損失函數(shù)從而達(dá)到減少訓(xùn)練時(shí)間的目的.另外，模型壓縮也是加速神經(jīng)網(wǎng)絡(luò)的重要方法，參數(shù)修剪和共享[18]、低秩分解[19]、遷移/壓縮卷積濾波器[20]和知識(shí)精煉[21]等技術(shù)已經(jīng)廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的壓縮與加速.

系統(tǒng)架構(gòu)方面，利用分布式系統(tǒng)實(shí)現(xiàn)異構(gòu)平臺(tái)下神經(jīng)網(wǎng)絡(luò)的并行式或分布式訓(xùn)練也是提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度的一種方法.分布式訓(xùn)練分為模型并行[22]和數(shù)據(jù)并行[23]兩種，前者利用分布式系統(tǒng)中的不同機(jī)器(Worker Node)分別負(fù)責(zé)網(wǎng)絡(luò)不同部分計(jì)算，而后者不同的機(jī)器保存整個(gè)模型的完全拷貝，各計(jì)算節(jié)點(diǎn)只獲得部分?jǐn)?shù)據(jù)，參數(shù)計(jì)算結(jié)果通過(guò)服務(wù)節(jié)點(diǎn)(Server Node)整合匯總.Martin Abadi聯(lián)合谷歌公司提出了TensorFlow[24]，一個(gè)靈活的基于數(shù)據(jù)流的編程模型以及該編程模型的單機(jī)和分布式實(shí)現(xiàn).TensorFlow本身提供了并行機(jī)制，可以在多種異構(gòu)系統(tǒng)上執(zhí)行，最大化地利用硬件資源加速計(jì)算.

專(zhuān)用硬件方面，GPU[25]、TPU[26]、FPGA[27]等技術(shù)被廣泛采用.其中，GPU 和 TPU 針對(duì)高度并行化的矩陣運(yùn)算進(jìn)行了優(yōu)化.此外，中國(guó)科學(xué)院陳天石團(tuán)隊(duì)的Diannao家族[28]、普渡大學(xué)的Scaledeep[29]、MIT的Eyeirss[30]、HP實(shí)驗(yàn)室的基于憶阻器的ISAAC[31]等硬件加速器結(jié)構(gòu)被先后提出.

在HTM加速訓(xùn)練方面，Olga Krestinskaya等人[32]針對(duì)HTM計(jì)算特點(diǎn)提出了使用數(shù)字和混合信號(hào)的電路實(shí)現(xiàn)，優(yōu)化了HTM的處理速度和計(jì)算資源消耗.Sebastian Billaudell等人[33]在電子微電路中模擬HTM神經(jīng)元功能結(jié)構(gòu)，將HTM模型移植到集成多個(gè)HICANN芯片的海德堡神經(jīng)形態(tài)計(jì)算平臺(tái)上，有助于構(gòu)建更大規(guī)模的HTM并提升計(jì)算效率.Abdullah M.Zyarah等人[34]提出了包含空間池和時(shí)間池的完整HTM神經(jīng)形態(tài)硬件結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果表明相比HTM軟件實(shí)現(xiàn)取得1364倍的加速.

目前，對(duì)于HTM的訓(xùn)練優(yōu)化多集中于利用合適的硬件器件實(shí)現(xiàn)加速計(jì)算，缺少對(duì)于模型結(jié)構(gòu)和計(jì)算方式的改進(jìn)，特別是沒(méi)有有效利用現(xiàn)有的通用處理器資源.

2.3 多核計(jì)算平臺(tái)

單芯片多處理器(Chip multiprocessors，CMP)，也稱(chēng)多核心，是提高處理器性能的主要技術(shù)，現(xiàn)在已成為計(jì)算系統(tǒng)的標(biāo)準(zhǔn)配置.然而，利用多個(gè)硬件內(nèi)核進(jìn)行基于線程的并行編程依然十分困難.Phoenix[35]作為在共享內(nèi)存的體系結(jié)構(gòu)上的MapReduce實(shí)現(xiàn)，可在系統(tǒng)運(yùn)行時(shí)自動(dòng)管理并行程序的同步、負(fù)載平衡和局部性，其目標(biāo)是在多核平臺(tái)上，使程序執(zhí)行得更高效，且使程序員不必關(guān)心并發(fā)的管理.相較于傳統(tǒng)MapReduce框架的分布式實(shí)現(xiàn)方式可能會(huì)帶來(lái)額外的通信開(kāi)銷(xiāo)，Phoenix基于多核心和共享內(nèi)存的特點(diǎn)可以有效避免此問(wèn)題，因此本文利用Phoenix平臺(tái)實(shí)現(xiàn)了并發(fā)HTM空間池訓(xùn)練算法.

3 HTM空間池分析

HTM空間池接收編碼器處理后的輸入數(shù)據(jù)并輸出SDR作為計(jì)算結(jié)果，實(shí)現(xiàn)輸入空間到新特征域的映射，為后續(xù)時(shí)間池對(duì)序列時(shí)序關(guān)系的學(xué)習(xí)提供基礎(chǔ)，在HTM中發(fā)揮著重要作用.空間池算法主要由活躍微柱選取和近端樹(shù)突調(diào)整兩個(gè)階段組成，其中活躍微柱選取包括重疊值計(jì)算和抑制，是空間池訓(xùn)練中最耗時(shí)的部分.

微柱重疊值定義為連接到活躍輸入位的連通突觸個(gè)數(shù).第i個(gè)微柱重疊值αi通過(guò)如下公式(1)計(jì)算：

(1)

(2)

其中，η表示預(yù)設(shè)定的微柱稀疏度，kmax方法選取抑制半徑ξ內(nèi)重疊值位于前k大的所有微柱.在空間池學(xué)習(xí)結(jié)束后，這些微柱將被激活，標(biāo)記為1，未被激活的微柱標(biāo)記為0，所有微柱的狀態(tài)構(gòu)成空間池的SDR輸出.

在空間池的學(xué)習(xí)過(guò)程中，依據(jù)Hebbian規(guī)則調(diào)整活躍微柱近端樹(shù)突上的突觸持久值，連通到活躍輸入位的突觸將增加預(yù)設(shè)定的持久值，連通到非活躍輸入位的突觸將減少持久值，以此使輸入空間到特征域的映射關(guān)系逐漸穩(wěn)定，實(shí)現(xiàn)從輸入空間到新特征域的映射，為后續(xù)HTM時(shí)間池學(xué)習(xí)輸入模式間的時(shí)序關(guān)系打下基礎(chǔ).

圖1給出了HTM空間池的基本結(jié)構(gòu)，圖中僅展示了單層的HTM結(jié)構(gòu).各微柱通過(guò)近端樹(shù)突片段上的突觸與輸入空間某一局部區(qū)域相連接(圖中實(shí)線與虛線)，連接持久值超過(guò)閾值的突觸為連接突觸(實(shí)線)，低于閾值的為潛在突觸(虛線).在訓(xùn)練HTM空間池時(shí)，微柱是否被激活取決于當(dāng)前輸入下微柱的重疊值及是否受鄰近微柱的抑制作用，那些與輸入關(guān)聯(lián)越緊密的微柱越有可能被激活.由于抑制作用的存在，在確定激活微柱時(shí)需要遍歷整個(gè)HTM空間池找到重疊值較高的部分微柱，這種線性搜索的時(shí)間開(kāi)銷(xiāo)將隨著HTM模型規(guī)模的增大急劇升高，成為影響空間池訓(xùn)練效率的瓶頸.同時(shí)，HTM空間池算法通過(guò)抑制機(jī)制實(shí)現(xiàn)了激活微柱的稀疏分布，并保證所有微柱都有機(jī)會(huì)參與學(xué)習(xí)，但在空間池規(guī)模較大時(shí)，稀疏的活躍微柱仍有可能集中在局部區(qū)域，稀疏分布表征強(qiáng)調(diào)了微柱分布的稀疏性，但不能保證活躍微柱分布的均勻性.

圖1 HTM空間池示意圖Fig.1 Schematic diagram of HTM spatial pooler

另外，我們發(fā)現(xiàn)與深度神經(jīng)網(wǎng)絡(luò)普遍采用GPU等硬件進(jìn)行加速不同，HTM空間池訓(xùn)練中最耗時(shí)的并不是重疊值計(jì)算等任務(wù)，而是為找到活躍微柱需要搜索整個(gè)HTM空間，查找、排序操作無(wú)法有效借助GPU提高執(zhí)行效率，并且操作的時(shí)間復(fù)雜度與模型規(guī)模成正比.當(dāng)前多核處理器已經(jīng)成為主流，現(xiàn)有HTM空間池算法缺乏相應(yīng)的優(yōu)化策略，導(dǎo)致難以發(fā)揮多核計(jì)算機(jī)系統(tǒng)的性能優(yōu)勢(shì)提高HTM的訓(xùn)練效率.

為了有效利用多核處理器中大量的計(jì)算核心，我們根據(jù)HTM空間池算法的特點(diǎn)，引入大數(shù)據(jù)思維設(shè)計(jì)了新型的HTM空間池算法.

4 面向多核的并發(fā)HTM空間池算法

在第3節(jié)分析現(xiàn)有空間池算法局限的基礎(chǔ)上，從如何快速選擇活躍微柱和高效調(diào)整突觸持久值兩方面改進(jìn)訓(xùn)練方法，設(shè)計(jì)面向多核的并發(fā)HTM空間池算法.

4.1 基于分區(qū)的微柱激活策略

改變當(dāng)前空間池算法全局選擇激活微柱的方式，首先將HTM區(qū)域劃分為若干個(gè)分區(qū)，在各分區(qū)內(nèi)獨(dú)立查找并激活微柱，提出基于分區(qū)的微柱激活策略.

如圖2所示，將HTM空間池的微柱集合劃分為n個(gè)分區(qū)，在各分區(qū)內(nèi)分別獨(dú)立控制完成重疊值計(jì)算、抑制和微柱激活.對(duì)應(yīng)的過(guò)程如算法 1所示：

圖2 基于分區(qū)的微柱激活策略示意圖Fig.2 Schematic diagram of the partition-driven mini-column activation

算法1.The Partition-driven Mini-Column Activation Algorithm

1.partitions=divide(columns，n)

2.forallpartitions∈HTMdo

3.forallcol∈partition.columnsdo

4. col.overlap=0

5.forallsyn∈col.connected_synapses()do

6. col.overlap=col.overlap+syn.active()

7. mo=kmax_overlap(partition.columns，k)

8.forallcol∈partion.columnsdo

9.ifcol.overlap>0andcol.overlap ≥mothen

10. col.active=1

11.else

12. col.active=0

其中，partitions代表所有分區(qū)，columns代表HTM所有微柱，divide()方法將所有微柱按照分區(qū)數(shù)量n分別劃分入不同的分區(qū)，col代表單個(gè)微柱，col.connected_synapses()方法返回所有近端樹(shù)突上的活躍突觸，突觸持久值大于閾值則被認(rèn)為是活躍突觸，反之則為非活躍突觸，無(wú)法參與到重疊值計(jì)算過(guò)程中.syn.active()方法中，若活躍突觸所連接的輸入位為“1”，則返回值為“1”，若活躍突觸所連接的輸入位為“0”，則返回值為“0”.kmax_overlap(C，k)方法返回微柱集合C中重疊值第k大的微柱，mo既是分區(qū)中重疊值第k大的微柱，也將作為分區(qū)內(nèi)所有微柱的活躍閾值.參數(shù)k指期望的活躍微柱稀疏度，即單個(gè)抑制區(qū)域內(nèi)活躍微柱的數(shù)量.執(zhí)行分區(qū)操作對(duì)應(yīng)算法 1中第1行，微柱重疊值計(jì)算對(duì)應(yīng)2-6行，抑制與激活過(guò)程對(duì)應(yīng)7-12行.

與現(xiàn)有HTM空間池全局搜索選擇激活微柱的策略不同，基于分區(qū)的微柱激活策略將重疊值計(jì)算，排序搜索、抑制計(jì)算等操作分布在各分區(qū)中獨(dú)立完成.由于分區(qū)的規(guī)模遠(yuǎn)小于整個(gè)HTM區(qū)域規(guī)模，排序、搜索的速度大大提高，保證算法時(shí)間復(fù)雜度有效降低.另外，由于各分區(qū)獨(dú)立選擇激活的微柱，能夠使學(xué)習(xí)到的稀疏分布表征在空間池分布得更加均勻，避免了可能出現(xiàn)的局部稠密，有利于提高SDR的表征能力和HTM模型的抗干擾能力；同時(shí)各分區(qū)的執(zhí)行流程相對(duì)獨(dú)立，也為利用分布式和并行計(jì)算技術(shù)提高HTM空間池的訓(xùn)練效率打下基礎(chǔ).

4.2 并發(fā)的近端樹(shù)突調(diào)整算法

各分區(qū)完成微柱激活后，空間池進(jìn)一步學(xué)習(xí)并調(diào)整活躍微柱與輸入空間相連的近端樹(shù)突突觸持久值.為了提高學(xué)習(xí)效率，充分發(fā)揮計(jì)算機(jī)系統(tǒng)中多核處理器的計(jì)算優(yōu)勢(shì)，在基于分區(qū)的微柱激活策略基礎(chǔ)上，設(shè)計(jì)并發(fā)的近端樹(shù)突調(diào)整算法.

如圖3所示，將空間池各分區(qū)的訓(xùn)練任務(wù)分布到多核處理器中的不同計(jì)算核心上，使用多個(gè)計(jì)算核心并發(fā)完成微柱的近端樹(shù)突調(diào)整的任務(wù)，執(zhí)行流程如算法2所示：

圖3 并發(fā)的近端樹(shù)突調(diào)整Fig.3 Concurrent proximal dendrite adjustment

算法2.The Concurrent Proximal Dendrite Adjustment Algorithm

1.forallpartitions∈HTMdo

2.forallcol∈partition.columnsdo

3.ifcol.activethen

4.forallsyn∈col.synapsesdo

5.ifsyn.active()then

6. syn.p=min(1，syn.p+syn.psyn_inc)

7.else

8. syn.p=max(0，syn.p-syn.psyn_dec)

其中，syn.p指突觸syn的持久值，max和min保證持久值位于[0，1]范圍內(nèi)，常量syn.psyn_inc和syn.psyn_dec分別表示突觸持久值的增加量和減少量.

并發(fā)的近端樹(shù)突調(diào)整算法需要將不同分區(qū)的微柱激活和學(xué)習(xí)任務(wù)分布到多核處理器的不同計(jì)算核心中，但通常情況下分區(qū)數(shù)量與計(jì)算核心數(shù)并不相等，通過(guò)以下步驟計(jì)算HTM空間池的分區(qū)數(shù)量.

1)當(dāng)設(shè)定的活躍微柱數(shù)量n小于或等于計(jì)算核心數(shù)m時(shí)，HTM將被劃分為n個(gè)分區(qū)，從每個(gè)分區(qū)中選取1個(gè)活躍微柱.

2)當(dāng)設(shè)定的活躍微柱體數(shù)量n大于計(jì)算核心數(shù)m時(shí)，取n與m的最大公約數(shù)k，將HTM空間池劃分為k個(gè)分區(qū)，每個(gè)分區(qū)中選取n/k個(gè)活躍微柱.

并發(fā)的近端樹(shù)突調(diào)整算法能利用現(xiàn)代計(jì)算機(jī)系統(tǒng)中常見(jiàn)的多核計(jì)算核心，由不同核心獨(dú)立控制對(duì)應(yīng)分區(qū)中的計(jì)算任務(wù)，并發(fā)進(jìn)行突觸調(diào)整完成學(xué)習(xí)，減少空間池訓(xùn)練的時(shí)間開(kāi)銷(xiāo)；同時(shí)，HTM空間池學(xué)習(xí)算法的并行化有助于提高模型的魯棒性和可擴(kuò)展性，使得在有限的訓(xùn)練時(shí)間內(nèi)擴(kuò)大HTM規(guī)模成為可能.

5 原型系統(tǒng)與測(cè)試

5.1 原型系統(tǒng)的實(shí)現(xiàn)

Phoenix是Stanford大學(xué)提出的針對(duì)多核計(jì)算機(jī)的MapReduce平臺(tái)，可利用多核計(jì)算機(jī)系統(tǒng)中眾多計(jì)算核心高效處理數(shù)據(jù).我們?cè)赑hoenix上實(shí)現(xiàn)了面向多核的并發(fā)HTM空間池算法，構(gòu)建了相應(yīng)的面向多核的并發(fā)HTM(Multicore Concurrent Hierarchical Temporal Memory，MCHTM)的原型系統(tǒng).使用服務(wù)器搭建了測(cè)試環(huán)境，系統(tǒng)配置如表1所示.相同環(huán)境下構(gòu)建了HTM系統(tǒng)，表2給出了HTM和MCHTM的主要參數(shù).由于HTM模型主要用于序列數(shù)據(jù)的分析與預(yù)測(cè)，所以我們還使用循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM模型和HTM、MCHTM進(jìn)行比較，表3中給出LSTM的主要參數(shù).

表1 原型系統(tǒng)測(cè)試環(huán)境的軟、硬件配置Table 1 Configurations of the prototype test system

表2 HTM原型系統(tǒng)的主要參數(shù)值Table 2 Main parameters of the prototype system HTM

表3 LSTM原型系統(tǒng)的主要參數(shù)值Table 3 Main parameters of the prototype system LSTM

使用Numenta Anomaly Benchmark(NAB)、New York City Taxi(NYC-Taxi)、 MNIST手寫(xiě)體數(shù)字3個(gè)數(shù)據(jù)集，通過(guò)序列預(yù)測(cè)和圖像分類(lèi)兩個(gè)類(lèi)型的任務(wù)對(duì)HTM與MCHTM空間池的時(shí)間開(kāi)銷(xiāo)，HTM、MCHTM和LSTM的準(zhǔn)確率(Accuracy)和均方根誤差(RMSE)等進(jìn)行測(cè)試，每項(xiàng)測(cè)試進(jìn)行10次，取10次測(cè)試的平均值作為最終結(jié)果.

準(zhǔn)確率(Accuracy)通過(guò)計(jì)算模型產(chǎn)生的預(yù)測(cè)活躍微柱和下一時(shí)刻的實(shí)際激活微柱的匹配度得到，兩者的重疊率越高說(shuō)明預(yù)測(cè)的準(zhǔn)確率越高.計(jì)算方式如公式(3)所示，C′c表示預(yù)測(cè)活躍正確的微柱數(shù)量，C′p表示預(yù)測(cè)活躍的微柱數(shù)量，Cw表示未被正確預(yù)測(cè)活躍的微柱數(shù)量，Ca表示活躍微柱數(shù)量.

(3)

均方根誤差(RMSE)計(jì)算模型預(yù)測(cè)值和真實(shí)值之間的差異，計(jì)算方法如公式(4)所示，T代表序列長(zhǎng)度，y′j和yj分別代表預(yù)測(cè)值和真實(shí)值，RMSE值越小表明預(yù)測(cè)準(zhǔn)確度越高.

(4)

5.2 NAB數(shù)據(jù)集

NAB數(shù)據(jù)集是美國(guó)明尼蘇達(dá)州交通部采集的車(chē)輛通行數(shù)據(jù)，給出了以10分鐘為單位的明尼蘇達(dá)州雙子城都會(huì)區(qū)每個(gè)月所有車(chē)輛的平均通行時(shí)間，每條數(shù)據(jù)由時(shí)間戳和數(shù)值型數(shù)據(jù)組成，共2500條.

5.2.1 時(shí)間開(kāi)銷(xiāo)測(cè)試

使用表2中的參數(shù)設(shè)置，設(shè)置活躍微柱數(shù)量分別為微柱總數(shù)的5%、10%、15%和20%，即20、40、60和80.測(cè)試不同迭代次數(shù)下HTM與MCHTM空間池的訓(xùn)練時(shí)間開(kāi)銷(xiāo)，結(jié)果如表4所示.HTM-20、HTM-40、HTM-60和HTM-80分別表示HTM空間池活躍微柱數(shù)量為20、40、60和80，MCHTM-20、MCHTM-40、MCHTM-60和MCHTM-80分別表示MCHTM空間池中活躍微柱數(shù)量為20、40、60和80.

表4 NAB數(shù)據(jù)集上的訓(xùn)練時(shí)間開(kāi)銷(xiāo)測(cè)試Table 4 Training time test on NAB dataset

通過(guò)表4發(fā)現(xiàn)，MCHTM在采用分區(qū)結(jié)構(gòu)和并發(fā)近端樹(shù)突調(diào)整算法的情況下，相比HTM大幅減少了空間池訓(xùn)練的時(shí)間開(kāi)銷(xiāo).HTM空間池在不同活躍微柱數(shù)量下平均訓(xùn)練時(shí)間分別為37.72秒、38.57秒、45.25秒和59.21秒，而MCHTM空間池在同等數(shù)量活躍微柱下的平均訓(xùn)練時(shí)間為1.363秒、1.042秒、1.263秒和1.051秒，訓(xùn)練時(shí)間開(kāi)銷(xiāo)顯著降低，平均降低了96.39%、97.31%、97.22%和98.23%，表明MCHTM具有明顯的效率優(yōu)勢(shì).

同時(shí)可以發(fā)現(xiàn)，HTM中時(shí)間開(kāi)銷(xiāo)與活躍微柱數(shù)量呈正比，活躍微柱數(shù)量越多，訓(xùn)練時(shí)間越長(zhǎng)，表明查找活躍微柱是空間池訓(xùn)練時(shí)間開(kāi)銷(xiāo)的主要來(lái)源，而在MCHTM中，隨著活躍微柱數(shù)量的增加，訓(xùn)練時(shí)間無(wú)較大變化.當(dāng)活躍微柱為40和80時(shí)，其時(shí)間開(kāi)銷(xiāo)低于微柱數(shù)量為20和60時(shí)，原因主要在于原型系統(tǒng)測(cè)試環(huán)境中計(jì)算核心數(shù)量為40個(gè)，當(dāng)活躍微柱數(shù)量設(shè)定為20和60時(shí)，Phoenix將創(chuàng)建20個(gè)并發(fā)線程；而活躍微柱數(shù)量設(shè)定為40和80時(shí)，Phoenix將創(chuàng)建40個(gè)并發(fā)線程.

5.2.2 準(zhǔn)確性測(cè)試

使用表2中的參數(shù)設(shè)置，設(shè)置活躍微柱數(shù)量為微柱總數(shù)的5%、10%、15%和20%，即20、40、60和80.測(cè)試不同迭代次數(shù)和選取不同活躍微柱數(shù)量下的HTM和MCHTM在預(yù)測(cè)任務(wù)中的準(zhǔn)確率，如圖4(a)圖所示.選取HTM、MCHTM和LSTM訓(xùn)練時(shí)間相近時(shí)的RMSE測(cè)試結(jié)果進(jìn)行對(duì)比，時(shí)間開(kāi)銷(xiāo)近似值分別以20、40、60、80、100秒為基準(zhǔn)，如圖4(b)圖所示.

通過(guò)圖4可以發(fā)現(xiàn)，采用了并發(fā)空間池算法的MCHTM在極大縮短空間池訓(xùn)練的時(shí)間開(kāi)銷(xiāo)的同時(shí)，準(zhǔn)確率較HTM也有所提升，其原因主要在于采用分區(qū)機(jī)制后所激活的微柱在HTM區(qū)域內(nèi)分布更加均勻，得到的稀疏分布表征具有更好的表達(dá)能力，因此預(yù)測(cè)準(zhǔn)確率有所提高.當(dāng)活躍微柱數(shù)量分別為20、40、60、80時(shí)，MCHTM的準(zhǔn)確率相比HTM平均上升了4.2%、3.1%、2.7%、2.1%.同時(shí)可以注意到每次活躍微柱數(shù)量增加所提升的準(zhǔn)確率逐漸降低，這主要是因?yàn)殡S著活躍微柱在所有微柱中的占比不斷提升，HTM和MCHTM的稀疏均勻水平差距逐漸縮??；MCHTM在激活20個(gè)微柱時(shí)的準(zhǔn)確率仍然高于HTM中激活80個(gè)微柱，表明MCHTM利用較少的活躍微柱就可以達(dá)到甚至略高于HTM使用較多活躍微柱時(shí)的準(zhǔn)確率.RMSE值的測(cè)試結(jié)果與準(zhǔn)確率結(jié)果類(lèi)似，MCHTM的RMSE基本低于HTM，當(dāng)MCHTM激活20個(gè)微柱時(shí)的RMSE值小于HTM中激活80個(gè)微柱的RMSE值，這表明MCHTM在保持與HTM相同準(zhǔn)確率的同時(shí)，還可以通過(guò)減少所需激活的微柱數(shù)量進(jìn)一步減少訓(xùn)練空間池所需的訓(xùn)練時(shí)間開(kāi)銷(xiāo).

圖4 NAB數(shù)據(jù)集上準(zhǔn)確率和RMSE測(cè)試Fig.4 Accuracy and RMSE test on NAB dataset

隨著激活微柱數(shù)從20逐步增加到80，每次增加后與前一次相比，HTM的平均準(zhǔn)確率分別提高了1.7%、1.1%、0.9%，MCHTM的平均準(zhǔn)確率分別提高了0.8%、0.6%、0.3%，HTM的平均RMSE分別下降了1.2%、1.0%、0.5%，MCHTM的平均RMSE分別下降了0.8%、0.6%、0.4%，這表明相較于HTM，MCHTM具有更好的穩(wěn)定性，改變激活微柱的數(shù)量對(duì)準(zhǔn)確率的影響較小，且在啟用較少的活躍微柱時(shí)就能達(dá)到達(dá)到較為理想的準(zhǔn)確性.隨著活躍微柱數(shù)量的增加，MCHTM和HTM準(zhǔn)確率的提高幅度以及RMSE的降低幅度都逐漸減少，說(shuō)明了活躍微柱數(shù)量的增加可有效提升HTM的準(zhǔn)確性，但提升的幅度有限且會(huì)逐漸減少直至收斂.可以認(rèn)為使用較多或較少的活躍微柱，對(duì)于準(zhǔn)確率的影響并不明顯，在注重準(zhǔn)確率的場(chǎng)景下可以啟用更多的活躍微柱，而在時(shí)間開(kāi)銷(xiāo)敏感的場(chǎng)景下只啟用較少的活躍微柱依然可以達(dá)到較為理想的準(zhǔn)確率.

通過(guò)圖4中的(b)圖還能夠看出，在相近的訓(xùn)練時(shí)間開(kāi)銷(xiāo)條件下，MCHTM的RMSE均低于HTM和LSTM，這驗(yàn)證了本文所提出的MCHTM算法的有效性，能夠在相同的訓(xùn)練時(shí)間開(kāi)銷(xiāo)下達(dá)到更優(yōu)的性能表現(xiàn).此外HTM的RMSE也低于LSTM的，說(shuō)明了HTM在序列預(yù)測(cè)任務(wù)中相較于LSTM所具有的優(yōu)勢(shì).

5.3 NYC-Taxi數(shù)據(jù)集

NYC-Taxi是根據(jù)紐約市交通管理局實(shí)時(shí)采集的紐約出租車(chē)乘客數(shù)量構(gòu)造的一個(gè)數(shù)據(jù)集，將每隔30分鐘的乘客量進(jìn)行累加，形成共包含10320 條數(shù)據(jù)的連續(xù)數(shù)據(jù)流.該數(shù)據(jù)流包含了不同時(shí)間尺度下的多種模式，既包括以小時(shí)為單位的信息，也包括以天、星期和季度為跨度的信息.相比于NAB數(shù)據(jù)集，NYC-Taxi數(shù)據(jù)集的規(guī)模更大.以預(yù)測(cè)未來(lái)5個(gè)時(shí)間步(2.5小時(shí))出租車(chē)乘客數(shù)量為任務(wù)測(cè)試模型性能.

5.3.1 時(shí)間開(kāi)銷(xiāo)測(cè)試

使用表2中的參數(shù)設(shè)置，設(shè)置活躍微柱數(shù)量為微柱總數(shù)的5%、10%、15%和20%，即20、40、60和80.測(cè)試不同迭代次數(shù)下HTM與MCHTM空間池的時(shí)間開(kāi)銷(xiāo)，結(jié)果如表5所示.

表5 NYC-Taxi數(shù)據(jù)集上的訓(xùn)練時(shí)間開(kāi)銷(xiāo)測(cè)試Table 5 Training time test on NYC-Taxi dataset

由表5可知，HTM空間池在不同活躍微柱數(shù)量下平均訓(xùn)練時(shí)間為173.36秒、176.84秒、207.99秒和231.46秒，而MCHTM空間池在同等數(shù)量活躍微柱數(shù)量下平均訓(xùn)練時(shí)間為6.18秒、4.76秒、5.82秒和4.54秒，相較于HTM空間池，MCHTM空間池訓(xùn)練時(shí)間開(kāi)銷(xiāo)平均降低了96.44%、97.31%、97.21%和98.04%.NYC-Taxi數(shù)據(jù)集的規(guī)模約為NAB數(shù)據(jù)集的4倍，但實(shí)驗(yàn)結(jié)果表明MCHTM仍然保持了較高的訓(xùn)練時(shí)間開(kāi)銷(xiāo)降低比率，與NAB數(shù)據(jù)集中的測(cè)試結(jié)果基本一致.

5.3.2 準(zhǔn)確性測(cè)試

使用表2中的參數(shù)設(shè)置，設(shè)置活躍微柱數(shù)量為微柱總數(shù)的5%、10%、15%和20%，即20、40、60和80.測(cè)試不同迭代次數(shù)和選取不同活躍微柱數(shù)量下HTM和MCHTM在預(yù)測(cè)任務(wù)中的準(zhǔn)確性，取5個(gè)時(shí)間步預(yù)測(cè)結(jié)果平均值，如圖5(a)圖所示.選取HTM、MCHTM和LSTM訓(xùn)練時(shí)間相近時(shí)的RMSE進(jìn)行對(duì)比，訓(xùn)練時(shí)間開(kāi)銷(xiāo)近似值分別以100、200、300、400、500秒為基準(zhǔn)，如圖5(b)圖所示.

圖5 NYC-Taxi數(shù)據(jù)集上準(zhǔn)確率和RMSE測(cè)試Fig.5 Accuracy and RMSE test on NYC-Taxi dataset

通過(guò)圖5可以發(fā)現(xiàn)，當(dāng)活躍微柱數(shù)量分別取20、40、60、80時(shí)，相較于HTM，MCHTM的平均準(zhǔn)確率分別提高了3.6%，1.6%，1.4%，0.7%，RMSE平均分別下降了3.9%，1.5%，0.9%，0.4%，準(zhǔn)確性的提升效果略低于NAB數(shù)據(jù)集，MCHTM在較大數(shù)據(jù)集上的準(zhǔn)確率提升表現(xiàn)沒(méi)有小數(shù)據(jù)集上的優(yōu)異，但準(zhǔn)確率依然高于HTM.MCHTM在激活20個(gè)活躍微柱時(shí)的準(zhǔn)確率和RMSE均與HTM激活80個(gè)微柱時(shí)相當(dāng)，表示MCHTM具有更好的可擴(kuò)展性.

NYC-Taxi數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，相較于較小規(guī)模的NAB數(shù)據(jù)集，MCHTM在較大數(shù)據(jù)集場(chǎng)景下準(zhǔn)確率的提升幅度雖然略有降低，但整體上依然具有較高的準(zhǔn)確率，特別是能夠大幅提高空間池的訓(xùn)練效率，在使用較少活躍微柱的情況下即可達(dá)到和HTM激活較多微柱時(shí)相當(dāng)?shù)男阅?

除HTM和MCHTM的對(duì)比分析所能得到以上結(jié)論外，通過(guò)圖5中的(b)圖的實(shí)驗(yàn)結(jié)果還可以看出，在NYC-Taxi數(shù)據(jù)集上可得到的結(jié)論和NAB數(shù)據(jù)集所得結(jié)論基本一致，驗(yàn)證了本文所提出的MCHTM算法相較于HTM以及LSTM的優(yōu)勢(shì).

5.4 MNIST數(shù)據(jù)集

MNIST數(shù)據(jù)集由60000個(gè)訓(xùn)練樣本和10000個(gè)測(cè)試樣本組成，每個(gè)樣本都是一張28×28像素的灰度手寫(xiě)數(shù)字圖片.從60000個(gè)訓(xùn)練樣本中隨機(jī)抽取數(shù)字圖片0-9分別各100個(gè)，共1000個(gè)數(shù)字圖片作為訓(xùn)練集，以原有的10000個(gè)測(cè)試樣本作為測(cè)試集.

5.4.1 時(shí)間開(kāi)銷(xiāo)測(cè)試

設(shè)置活躍微柱數(shù)量為微柱總數(shù)的5%、10%、15%和20%，即20、40、60和80.測(cè)試不同迭代次數(shù)下HTM與MCHTM的空間池的訓(xùn)練時(shí)間開(kāi)銷(xiāo)，結(jié)果如表6所示.

通過(guò)表6發(fā)現(xiàn)，基于MNIST數(shù)據(jù)集的時(shí)間開(kāi)銷(xiāo)測(cè)試中HTM空間池在不同活躍微柱數(shù)量下平均訓(xùn)練時(shí)間為183.8秒、197.8秒、215.1秒和233.7秒，而MCHTM空間池在同等數(shù)量活躍微柱數(shù)量下平均訓(xùn)練時(shí)間為8.99秒、5.41秒、9.98秒和6.03秒，相較于HTM空間池，MCHTM空間池訓(xùn)練時(shí)間開(kāi)銷(xiāo)平均降低了95.11%、97.27%、95.37%和97.42%.基于MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明MCHTM仍然保持了較高的空間池訓(xùn)練時(shí)間開(kāi)銷(xiāo)降低比率，與NAB和NYC-Taxi數(shù)據(jù)集中的測(cè)試結(jié)果基本一致.

表6 MNIST數(shù)據(jù)集上的訓(xùn)練時(shí)間開(kāi)銷(xiāo)測(cè)試Table 6 Training time test on MNIST dataset

5.4.2 準(zhǔn)確率測(cè)試

設(shè)置活躍微柱數(shù)量為20、40、60和80，測(cè)試HTM、MCHTM和LSTM訓(xùn)練時(shí)間相近時(shí)的準(zhǔn)確率進(jìn)行對(duì)比，時(shí)間開(kāi)銷(xiāo)近似值分別以100、200、300、400、500秒為基準(zhǔn)，如圖6所示.

圖6 MNIST數(shù)據(jù)集上的準(zhǔn)確率測(cè)試Fig.6 Accuracy test on MNIST dataset

通過(guò)圖6可以發(fā)現(xiàn)，當(dāng)活躍微柱數(shù)量分別取20、40、60、80時(shí)，相較于HTM，MCHTM的平均準(zhǔn)確率分別降低了0.61%、0.94%、0.45%、0.54%.在相同的迭代次數(shù)下，MCHTM在圖像分類(lèi)任務(wù)中的準(zhǔn)確率相較HTM有所降低.但在相同訓(xùn)練時(shí)間的條件下，由于MCHTM能夠完成更多次的訓(xùn)練迭代，從而使得MCHTM的準(zhǔn)確率優(yōu)于HTM.同時(shí)還發(fā)現(xiàn)時(shí)間開(kāi)銷(xiāo)相同的條件下，HTM在圖像分類(lèi)任務(wù)中，其準(zhǔn)確率低于LSTM，而MCHTM利用自身多核并發(fā)的計(jì)算特點(diǎn)，在相同時(shí)間內(nèi)完成了更多次的訓(xùn)練迭代，從而達(dá)到了優(yōu)于HTM和LSTM的準(zhǔn)確率性能表現(xiàn)，從而驗(yàn)證了本文所提出的MCHTM所具備的效率和性能優(yōu)勢(shì).

6 總結(jié)與展望

針對(duì)現(xiàn)有HTM空間池訓(xùn)練算法時(shí)間復(fù)雜度高的問(wèn)題，提出了一種高效的面向多核的并發(fā)HTM空間池算法，包含基于分區(qū)的微柱激活策略和并發(fā)的近端樹(shù)突調(diào)整算法.通過(guò)將HTM區(qū)域進(jìn)行分區(qū)，在各分區(qū)內(nèi)獨(dú)立完成訓(xùn)練任務(wù)，從而降低搜索活躍微柱巨大的時(shí)間開(kāi)銷(xiāo)，同時(shí)分區(qū)策略還能夠有效利用CPU中大量的計(jì)算核心，使空間池的訓(xùn)練能夠在多個(gè)核心上并行完成.利用Phoenix多核計(jì)算平臺(tái)實(shí)現(xiàn)了算法原型，在NAB、NYC-Taxi和MNIST這3個(gè)數(shù)據(jù)集上針對(duì)訓(xùn)練時(shí)間開(kāi)銷(xiāo)、準(zhǔn)確率(Accuracy)和均方根誤差(RMSE)進(jìn)行了測(cè)試與分析，實(shí)驗(yàn)結(jié)果表明在多核平臺(tái)上基于分區(qū)的并發(fā)HTM空間池算法能夠降低96.39%～98.32%的訓(xùn)練時(shí)間開(kāi)銷(xiāo)，同時(shí)模型準(zhǔn)確率平均提升了0.7%～4.2%，驗(yàn)證了所提出算法的有效性.

本文的研究重點(diǎn)在于改進(jìn)現(xiàn)有HTM空間池的基本結(jié)構(gòu)和計(jì)算方式以提升訓(xùn)練效率，在接下來(lái)的研究工作中，我們將進(jìn)一步思考如何將并發(fā)思想應(yīng)用到更復(fù)雜的HTM時(shí)間池計(jì)算中，提高整個(gè)HTM模型的訓(xùn)練效率.