基于FPGA的BP神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)設(shè)計(jì)

李增剛 王正彥 毛菲菲

摘要： 針對(duì)神經(jīng)網(wǎng)絡(luò)算法通常采用軟件編程實(shí)現(xiàn)所存在的缺點(diǎn)，本文主要對(duì)基于現(xiàn)場(chǎng)可編程門(mén)陣列（field programmable gate array，F(xiàn)PGA）的硬件BP神經(jīng)網(wǎng)絡(luò)識(shí)別算法實(shí)現(xiàn)進(jìn)行研究。給出了BP神經(jīng)網(wǎng)絡(luò)原理，設(shè)計(jì)了一個(gè)識(shí)別MNIST手寫(xiě)數(shù)字的3層反向傳播算法（ back propagation，BP）神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)。為測(cè)試該電路的識(shí)別準(zhǔn)確率，選取MNIST數(shù)據(jù)集中的100個(gè)測(cè)試數(shù)據(jù)，采用Verilog語(yǔ)言設(shè)計(jì)，在FPGA開(kāi)發(fā)平臺(tái)Quartus II 13.0和Modelsim中，對(duì)該電路的識(shí)別準(zhǔn)確率進(jìn)行仿真測(cè)試。仿真結(jié)果表明，輸出數(shù)字識(shí)別準(zhǔn)確率約85%，可用于簡(jiǎn)單的模式識(shí)別系統(tǒng)中。該研究為進(jìn)一步實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)奠定了理論基礎(chǔ)。

關(guān)鍵詞： BP神經(jīng)網(wǎng)絡(luò); FPGA; 手寫(xiě)數(shù)字識(shí)別; 訓(xùn)練數(shù)據(jù); Verilog語(yǔ)言; S型激活函數(shù)

中圖分類號(hào)： TP183; TP391.41? 文獻(xiàn)標(biāo)識(shí)碼： A

20世紀(jì)40年代，神經(jīng)網(wǎng)絡(luò)誕生，它是人工智能的一個(gè)重要領(lǐng)域。20世紀(jì)90年代，隨著數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)的發(fā)展和理論的深化及推廣，人工神經(jīng)網(wǎng)絡(luò)研究步入新的發(fā)展期。神經(jīng)網(wǎng)絡(luò)通常采用軟件的方法實(shí)現(xiàn)，但因?yàn)樯窠?jīng)網(wǎng)絡(luò)的并行處理特性，硬件實(shí)現(xiàn)能提高網(wǎng)絡(luò)的處理速度[1]。近年來(lái)，各位學(xué)者和專家提出了FPGA和神經(jīng)芯片等神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)方法，由于神經(jīng)芯片成本較高，不適合工業(yè)應(yīng)用，而FPGA是一種功耗低的可編程邏輯器件，內(nèi)嵌豐富的硬核乘法器及存儲(chǔ)器資源，具有的并行計(jì)算能力及可重復(fù)配置的特點(diǎn)，成為研究神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的一種理想器件[2]。神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)中的非線性激活函數(shù)及其導(dǎo)數(shù)是設(shè)計(jì)的難點(diǎn)之一，閆明[1]敘述了在FPGA上用STAM算法對(duì)tans函數(shù)的高精度實(shí)現(xiàn)，并利用FPGA多次重復(fù)配置（可重構(gòu)性）的特點(diǎn)，充分利用FPGA的邏輯資源;錢(qián)玉多[2]結(jié)合查找表和線性近似方法，提出了表驅(qū)動(dòng)線性插值法，實(shí)現(xiàn)激勵(lì)函數(shù)及其導(dǎo)數(shù)，用較少的硬件資源，實(shí)現(xiàn)高精度的激勵(lì)函數(shù)及其導(dǎo)數(shù);劉培龍[3]研究了具體實(shí)現(xiàn)可重構(gòu)的脈動(dòng)體系結(jié)構(gòu)中BP網(wǎng)絡(luò)映射算法的問(wèn)題，其方法靈活，硬件實(shí)現(xiàn)價(jià)值高。神經(jīng)網(wǎng)絡(luò)通過(guò)模擬人腦神經(jīng)元獲取信息的能力，具有精度高、學(xué)習(xí)能力較強(qiáng)的優(yōu)點(diǎn)，在醫(yī)學(xué)圖像、智能控制、模式識(shí)別、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域廣泛應(yīng)用。基于此，本文主要對(duì)基于FPGA的BP神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)進(jìn)行設(shè)計(jì)，該設(shè)計(jì)具有處理速度快、并行性高的特點(diǎn)。該研究為解決軟件訓(xùn)練速度慢和耗時(shí)長(zhǎng)的問(wèn)題奠定了理論基礎(chǔ)。