基于FPGA的Gaussian傳輸函數(shù)實(shí)現(xiàn)

朱智云

摘要：Gaussian函數(shù)作為RBF神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)，在FPGA上實(shí)現(xiàn)Gaussian函數(shù)，有利于提高神經(jīng)網(wǎng)絡(luò)的運(yùn)算速度。本文簡要介紹了Gaussian函數(shù)模型，并基于FPGA平臺(tái)，分析了幾種實(shí)現(xiàn)復(fù)雜函數(shù)的方案，最終采用分段擬合的方法對(duì)Gaussian函數(shù)進(jìn)行逼近。首先用MATLAB對(duì)Gaussian函數(shù)進(jìn)行初步的擬合，在FPGA平臺(tái)用Verilog HDL語言實(shí)現(xiàn)Gaussian函數(shù)。仿真結(jié)果表明，誤差可以控制在較小的數(shù)量級(jí)，滿足神經(jīng)網(wǎng)絡(luò)運(yùn)算的精度。

關(guān)鍵詞：FPGA;RBF神經(jīng)網(wǎng)絡(luò);Gaussian函數(shù);分段擬合

中圖分類號(hào)：TP315 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）12-0124-03

0 引言

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)重要模型，隨著集成電路的發(fā)展，計(jì)算機(jī)處理能力不斷提高，加上深度學(xué)習(xí)等概念的提出，神經(jīng)網(wǎng)絡(luò)再次成為人工智能研究和發(fā)展的熱點(diǎn)[1]。但是現(xiàn)階段神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)還是多以軟件形式為主，無法滿足實(shí)時(shí)性的要求。FPGA又稱現(xiàn)場可編程門陣列，它能通過硬件編程實(shí)現(xiàn)并行計(jì)算。用FPGA來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)，能夠提高運(yùn)算速度和靈活性[2]。

Gaussian函數(shù)是RBF神經(jīng)網(wǎng)絡(luò)算法中常用的激勵(lì)函數(shù)，是神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)復(fù)雜非線性計(jì)算的關(guān)鍵[3]。本文首先對(duì)Gaussian函數(shù)進(jìn)行簡單介紹，提出基于FPGA平臺(tái)的若干種實(shí)現(xiàn)方案，經(jīng)過分析各種方案優(yōu)缺點(diǎn)，最終選擇分段擬合逼近的方式對(duì)Gaussian函數(shù)進(jìn)行仿真實(shí)現(xiàn)，并對(duì)其誤差進(jìn)行分析。

1 Gaussian函數(shù)簡介

RBF神經(jīng)網(wǎng)絡(luò)是比較典型的單隱層神經(jīng)網(wǎng)絡(luò)，其由三層網(wǎng)絡(luò)構(gòu)成，分別是輸入層、隱含層以及輸出層，其結(jié)構(gòu)如圖1所示[4]。

徑向基函數(shù)有多種形式，如：二次型、逆二次型或Gaussian型等。若采用高斯函數(shù)作為徑向基函數(shù)，則神經(jīng)元的輸出為：

（1）

上式中，m是隱含層節(jié)點(diǎn)數(shù);||·||是歐幾里得范數(shù);Ci和σ分別為與每個(gè)隱含層節(jié)點(diǎn)相關(guān)的參數(shù)向量的中心和寬度;ωi是第i個(gè)基函數(shù)與輸出節(jié)點(diǎn)的連接權(quán)值[4]。

Gaussian函數(shù)是一個(gè)非線性函數(shù)，其函數(shù)表達(dá)式如式（1）中所示，其函數(shù)圖像如圖2所示?？梢钥闯觯珿aussian函數(shù)的值域?yàn)椋?，1]，輸入值為0時(shí)函數(shù)值為1。

2 方案選擇

Gaussian函數(shù)是非線性函數(shù)，因此不能直接在硬件上進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。常用的設(shè)計(jì)方式有泰勒展開逼近法、多項(xiàng)式擬合法、查表法、坐標(biāo)旋轉(zhuǎn)數(shù)字計(jì)算（CORDIC）算法以及分段擬合方法等。

泰勒展開逼近與多項(xiàng)式擬合能夠?qū)崿F(xiàn)較高的精度，但主要不足在于所需的計(jì)算量過大，利用MATLAB工具進(jìn)行仿真可以發(fā)現(xiàn)，要實(shí)現(xiàn)高精度的擬合至少需要六階以上的多項(xiàng)式，并且需要較長的計(jì)算時(shí)間。泰勒展開要想實(shí)現(xiàn)高精度不僅需要較多的階數(shù)，還需保證后續(xù)的矩陣乘算?？紤]到硬件設(shè)計(jì)方面，過多的乘法器使用不僅會(huì)增加電路面積，也會(huì)增加電路功耗，因此這兩種方式不適合高精度應(yīng)用場景。

CORDIC算法的優(yōu)勢(shì)主要在于不需要乘法器等復(fù)雜運(yùn)算單元，但帶來的問題是擬合時(shí)間長，并且精度不高，因此使用場景也不多。查表法最為直接快捷，但要想實(shí)現(xiàn)高精度會(huì)消耗巨大的存儲(chǔ)資源。

分段擬合則是將Gaussian函數(shù)劃分為若干段，而后利用多項(xiàng)式對(duì)每一段進(jìn)行擬合的方式。由于分段的存在，其各段擬合階數(shù)相比于直接多項(xiàng)式擬合少了許多，并且保證了精度的要求。

參考上面幾種方式，考慮到精度與資源消耗的折衷，本次設(shè)計(jì)采用分段函數(shù)擬合進(jìn)行設(shè)計(jì)。此外，結(jié)合Gaussian函數(shù)圖像特點(diǎn)，首先圖像基于x軸對(duì)稱，只需要計(jì)算[0，+∞）區(qū)間的函數(shù)值。另外在輸入大于某個(gè)值（大約3.18）后，函數(shù)值趨近于0，誤差僅在0.001以下數(shù)量級(jí)。因此只需要擬合輸入數(shù)據(jù)在[0，3.18]區(qū)間內(nèi)的函數(shù)值。

3 函數(shù)設(shè)計(jì)

3.1 MATLAB擬合

用MATLAB的內(nèi)置函數(shù)polyfit并設(shè)置最高階為二次，可以依次得到每一階的系數(shù)[2]。整個(gè)函數(shù)分為10個(gè)區(qū)間進(jìn)行擬合，具體如表1所示。

利用MATLAB工具箱對(duì)擬合性能進(jìn)行分析，取輸入范圍為[0，3.18]，取點(diǎn)間隔為0.01，其誤差值如圖3所示。

從結(jié)果可以看出，函數(shù)的最大誤差在0.001以下，說明Gaussian函數(shù)的分段擬合性能良好，能實(shí)現(xiàn)良好的逼近效果。

3.2 FPGA實(shí)現(xiàn)

一般而言，神經(jīng)網(wǎng)絡(luò)計(jì)算會(huì)涉及大量浮點(diǎn)數(shù)計(jì)算。在FPGA中為了表示浮點(diǎn)數(shù)，如果采用IEEE32位浮點(diǎn)標(biāo)準(zhǔn)表示，雖然可以提高精度，不過會(huì)消耗大量浮點(diǎn)乘法器等資源[1]。因此，為了保證模型的計(jì)算精度，本次設(shè)計(jì)決定采用32位定點(diǎn)數(shù)進(jìn)行設(shè)計(jì)。

從表1可以看出，擬合函數(shù)具有多個(gè)區(qū)間且最多采用二階多項(xiàng)式，則對(duì)應(yīng)的基本框架可如圖4所示。

考慮到資源的消耗，因此本次設(shè)計(jì)不采取流水線的設(shè)計(jì)方式，同時(shí)為了保證一定的計(jì)算速度，在設(shè)計(jì)中引入并行計(jì)算。根據(jù)圖4可以看出，一個(gè)二階多項(xiàng)式的計(jì)算大體可以分為四個(gè)過程：首先，根據(jù)輸入數(shù)據(jù)x查找對(duì)應(yīng)的二階多項(xiàng)式系數(shù)a，b，c;然后，第二階段采用兩個(gè)乘法器并行計(jì)算x2與bx;之后，利用一個(gè)乘法器與加法器同時(shí)計(jì)算x2與bx+c;最后，利用加法器計(jì)算輸出y。因?yàn)楸敬卧O(shè)計(jì)中不采用流水線設(shè)計(jì)思路，因此其中的加法器、乘法器模塊能夠進(jìn)行復(fù)用以降低資源消耗。

4 仿真實(shí)現(xiàn)與誤差分析

本次設(shè)計(jì)基于FPGA平臺(tái)實(shí)現(xiàn)Gaussian函數(shù)，為了獲得更全面的性能分析，本次隨機(jī)選取了20個(gè)數(shù)據(jù)點(diǎn)進(jìn)行仿真，并將結(jié)果與MATLAB理論值進(jìn)行比較，表2為對(duì)比結(jié)果，圖5為仿真結(jié)果。

從結(jié)果可以看出，誤差絕對(duì)值控制在0.001以下，可以滿足計(jì)算精度要求。

5 結(jié)語

本次簡單介紹了RBF神經(jīng)網(wǎng)絡(luò)計(jì)算中常用的Gaussian激活函數(shù)，采用分段擬合逼近的方法在FPGA平臺(tái)實(shí)現(xiàn)，對(duì)計(jì)算的結(jié)果進(jìn)行與理論值進(jìn)行對(duì)比，基本實(shí)現(xiàn)了設(shè)計(jì)的目標(biāo)。

參考文獻(xiàn)

[1] 張玉璽，劉寒穎，張耀天.基于FPGA的sigmoid函數(shù)實(shí)現(xiàn)[C]//第十屆全國信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議.2016.

[2] 李建龍.基于FPGA的GO硅橋濕度傳感器溫度補(bǔ)償系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].西南交通大學(xué)，2014.

[3] 劉培龍.基于FPGA的神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的研究與設(shè)計(jì)[D].電子科技大學(xué)，2012.

[4] 王興.基于FPGA的RBF神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)[J].電子設(shè)計(jì)工程，2012，20（16）：164-166.

FPGA-based Implementation of? Gaussian Transfer Function

ZHU Zhi-yun

（School of? Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou? Fujian? 350116）

Abstract：As a commonly used activation function of RBF neural network， Gaussian function realizes Gaussian function on FPGA， which is beneficial to improve the operation speed of neural network. This paper briefly introduces the Gaussian function model， and based on the FPGA platform， analyzes several schemes for implementing complex functions. Finally， the Gaussian function is approximated by the piecewise fitting method. Firstly， the Gaussian function is firstly fitted with MATLAB， and the Gaussian function is implemented in the FPGA platform with Verilog HDL language. The simulation results show that the error can be controlled to a small order of magnitude， which satisfies the accuracy of neural network operations.

Key words：FPGA; RBF neural network;Gaussian function;piecewise fitting