基于FPGA的通用卷積神經(jīng)網(wǎng)絡識別系統(tǒng)研究

趙 凡,白 雪,楊 濤,趙不賄,徐雷鈞

(1.江蘇大學電氣信息工程學院，江蘇 鎮(zhèn)江 212013；2.鎮(zhèn)江芯智慧電子科技有限公司，江蘇 鎮(zhèn)江 212001)

0 引言

卷積神經(jīng)網(wǎng)絡的概念在19世紀60年代被提出。1998年，Yann Lecun提出了新的網(wǎng)絡框架LeNet-5[1]，并在分類任務上得到很好的效果。Hinton等在Imagenet上提出的Alexnet[2]網(wǎng)絡，以其優(yōu)異的識別效果，使卷積神經(jīng)網(wǎng)絡受到學術界極大關注。隨后，超分辨率測試序列(visual geometry group Network,VGGNet)[3]、GoogleNet[4]、深度殘差網(wǎng)絡(deep residual network ResNet)[5]、YOLO[6]等新的神經(jīng)網(wǎng)絡模型不斷被提出，使得圖像識別的精度越來越高。如今，卷積神經(jīng)網(wǎng)絡已經(jīng)被應用在工業(yè)、農(nóng)業(yè)[7-12]、無人駕駛、醫(yī)療等各個領域。

然而，由于新型網(wǎng)絡模型在網(wǎng)絡層數(shù)上的增加，導致中央處理器(central processing unit,CPU)運行速度慢和圖形處理器(graphics processing unit,GPU)功耗高的缺點開始顯現(xiàn)。而專用集成電路(application specific integrated circuit,ASIC)在網(wǎng)絡模型的通用性上表現(xiàn)較差，且造價昂貴。為了解決這些問題，近年來出現(xiàn)了許多利用現(xiàn)場可編程門陣列(field programmable gate array,FPGA)來加速卷積神經(jīng)網(wǎng)絡的研究。文獻[13]～文獻[17]利用FPGA設計了卷積神經(jīng)網(wǎng)絡加速器，實現(xiàn)并行化的卷積神經(jīng)網(wǎng)絡，取得了不錯的效果。

1 卷積神經(jīng)網(wǎng)絡原理

卷積神經(jīng)網(wǎng)絡主要由輸入層、卷積層、池化層、全連接層和輸出層等構成。卷積神經(jīng)網(wǎng)絡通過對圖像進行卷積和池化運算實現(xiàn)特征的提取，最終識別圖像分類。

卷積神經(jīng)網(wǎng)絡的輸入層可以是一維數(shù)據(jù)，也可以是多維數(shù)據(jù)。以彩色圖像為例，由于圖像由R、G、B這3個通道組成，所以輸入層將會是三維數(shù)組。卷積層的作用主要是提取輸入圖像的特征。卷積層包括卷積核和激勵函數(shù)等。輸入特征的每個神經(jīng)元會有1個權值系數(shù)。當卷積核在輸入特征圖上遍歷時，權值會和卷積核的系數(shù)進行卷積運算。每種網(wǎng)絡都可以有不同的卷積核大小、步長和卷積層數(shù)。相對來說，網(wǎng)絡越復雜，則卷積層數(shù)越多。池化層的作用主要是對卷積后的輸出特征進行再次提取和過濾，使輸出特征圖的神經(jīng)元大幅減少。全連接層相當于傳統(tǒng)神經(jīng)網(wǎng)絡中的隱含層，通過對輸出特征的神經(jīng)元和全連接層的神經(jīng)元進行全連接實現(xiàn)非線性組合運算，最終由輸出層輸出結果。卷積神經(jīng)網(wǎng)絡框圖如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡框圖Fig.1 Block diagram of convolutional neural network

2 卷積神經(jīng)網(wǎng)絡的FPGA設計

2.1 FPGA的系統(tǒng)設計

目前，利用CPU和FPGA結合的多核異構系統(tǒng)進行硬件加速，已成為一種行之有效的方法[18]。基于FPGA的卷積神經(jīng)網(wǎng)絡識別系統(tǒng)總體結構如圖2所示。

圖2 基于FPGA的卷積神經(jīng)網(wǎng)絡識別系統(tǒng)總體結構圖Fig.2 Overall structure diagram of convolutional neural network recognition system based on FPGA

該FPGA片上帶有多處理器片上系統(tǒng)(multiprocessor system on chip,MPSOC),包含處理系統(tǒng)(processing system,PS)和可編程邏輯(programmable logic,PL)兩個部分。在FPGA的PL側設計了卷積、池化、激活函數(shù)、縮放函數(shù)、像素值歸一化以及可配置直接內存訪問(direct memory access,DMA)模塊，而FPGA的PS負責主控系統(tǒng)以及PL側的參數(shù)配置。此外，利用視頻直接內存訪問(video direct memory access,VDMA)和掛載在PS側的以太網(wǎng)模塊，可實時顯示CMOS攝像頭采集的圖像。

2.2 數(shù)據(jù)量化及輸入層歸一化

在軟件中實現(xiàn)卷積神經(jīng)網(wǎng)絡的方法是采用浮點數(shù)進行運算。然而，在硬件中實現(xiàn)浮點運算不僅需要消耗大量的數(shù)字信號處理器(digital signal processor,DSP)資源，而且會導致大量功耗。一旦網(wǎng)絡層數(shù)過多，需要的乘法器資源增多，可能在算法實現(xiàn)過程中出現(xiàn)時序問題或者功耗過高。因此，將浮點數(shù)量化成定點數(shù)是很有必要的。文獻[19]提出將64 bit的浮點數(shù)量化為16 bit的定點數(shù)，最終的試驗結果是將FPGA與CPU的誤差精度控制在3%以內。

值得注意的是，相關研究者僅關注了運算過程的量化，而輸入圖像歸一化這部分量化過程大多被忽略。為了進一步提高識別速度與精度，本設計采用查表法對數(shù)據(jù)的歸一化和量化進行處理。將0～255間的像素量化后的結果存入RAM，并以攝像頭采集的像素值作為索引獲取量化后的值，最終僅消耗512 KB的片上緩存。

2.3 圖像預處理

FPGA圖像縮放如圖3所示。

圖3 FPGA圖像縮放框圖Fig.3 FPGA image scaling block diagram

為了滿足網(wǎng)絡模型對輸入圖像尺寸的要求，需要設計縮放模塊[20]。同時，為了減少圖像送入網(wǎng)絡的時間，本設計采用FPGA的邏輯資源實現(xiàn)雙線性差值縮放算法。該差值方法與網(wǎng)絡模型訓練時保持一致，可降低圖像尺寸對識別準確率的影響。通過編寫可配置的DMA、片上緩存和縮放坐標生成模塊，可實現(xiàn)FPGA縮放。與直接利用FPGA的片上系統(tǒng)相比，純邏輯縮放的時間約為系統(tǒng)側縮放的六分之一。

2.4 雙卷積并行運算

卷積神經(jīng)網(wǎng)絡的計算量集中在卷積層和池化層兩部分。其本質上是由大量的矩陣乘法和加法等數(shù)學運算構成的。卷積層的一般形式[21]如式(1)所示：

(1)

在通用處理器上實現(xiàn)這兩個過程需要逐步遍歷整個特征圖，串行進行乘法和加法。而對于圖像處理，F(xiàn)PGA可利用其并行優(yōu)勢，實現(xiàn)同一時鐘下多通道的同時計算。其主要思想是通過將特征圖輸入通道分塊合并為大位寬的數(shù)據(jù)，并調用乘法器計算出每個子塊的結果。然而，某些卷積核多、網(wǎng)絡層數(shù)深的網(wǎng)絡模型不能充分利用FPGA的高速接口通道。本試驗為了最大化利用FPGA的并行特性，在對特征圖進行分塊時：若卷積核尺寸為奇數(shù)，則使用單卷積；若卷積核尺寸為偶數(shù)，則將同時使用2個卷積模塊。由于單卷積包含在雙卷積模塊中，本文以雙卷積模塊為例進行詳解。卷積并行化如圖4所示。

圖4 卷積并行化示意圖Fig.4 Schematic diagram of convolution parallelization

圖4中，c、w、h分別為輸入特征圖的通道、寬度和高度方向。對于1個224×224×3的圖像，從寬度和高度方向分塊，需要考慮到特征圖尺度的奇偶性。為了減少復雜度，本設計選擇沿圖像通道方向將其進行子塊劃分。

雙卷積的子塊具體運算過程中，子塊一和子塊二的數(shù)據(jù)分別來自2個高性能接口通道。2個子塊計算過程相同且同時刻進行。子塊卷積運算如圖5所示。

圖5 子塊卷積運算示意圖Fig.5 Schematic diagram of sub block convolution operation

特征圖的16mt位數(shù)據(jù)與權重的16mt位數(shù)據(jù)對應乘加，即可求出雙卷積子塊的值。單個子塊的計算式如式(2)所示。

(2)

2.5 池化層流式處理

對于池化層的并行化處理，文獻[22]利用高層次綜合(high-level synthesis,HLS)，把5個for循環(huán)綜合成FPGA可用的池化層IP。HLS作為XILINX公司新推出的高效設計工具，可將C/C++語言轉化為硬件描述語言描述的寄存器轉換層(register-transfer level,RTL),而且開發(fā)周期短。不過，由于需要將IP掛載在高級可擴展接口(advanced extensible interface,AXI)總線上，工具自動轉化后的IP突發(fā)傳輸效果不佳，使其對數(shù)據(jù)方向寄存器(data direction register,DDR)的讀寫操作變慢，對傳輸時間有較大影響。因此，本設計采用手寫RTL來實現(xiàn)池化運算模塊。

池化并行化計算如圖6所示。

圖6 池化層并行化計算示意圖Fig.6 Schematic diagram of data pooling layer parallelization computation

圖6(a)為數(shù)據(jù)讀取的過程。左側為當前讀取的數(shù)據(jù)，沿著c(高度)方向將mt(單個數(shù)據(jù)為n比特)個數(shù)據(jù)存入片內存儲單元。右側為當前數(shù)據(jù)讀取完成后，執(zhí)行下次讀取，沿著h(高度)方向將第一行mt×n×hbit的數(shù)據(jù)全部存儲。圖6(b)為池化層數(shù)據(jù)具體的存儲方式。若為最大池化，則將mt個數(shù)據(jù)讀出后與下一行的mt個數(shù)據(jù)進行比較，并將最大值存入該存儲單元，直至緩存的行數(shù)等于池化的高度。若為均值池化，則將緩存的數(shù)據(jù)讀出后與下一行相加，作同樣計算，直至緩存的行數(shù)等于池化的高度。整個池化層復用同一塊緩存空間，以減少緩存的使用。

2.6 激活函數(shù)Softmax改進

Softmax分類器原理較簡單，是一個概率計算過程[23]。Softmax函數(shù)主要應用在神經(jīng)網(wǎng)絡的輸出層。它將整個網(wǎng)絡的輸出值歸一化到(0,1)之間。Softmax公式如下：

(3)

式中：xu、xv為激活層輸入的參數(shù)，u、v為序號；n為激活層的輸入總個數(shù)。

在分類、檢測等問題上，對輸出層進行Softmax操作。此時，可以將Softmax的結果看作事物出現(xiàn)的概率。對于Softmax的FPGA處理，采用相關算法予以實現(xiàn)，包括坐標旋轉數(shù)字計算機(coordinate rotation digital computer,CORDIC)算法、多項式擬合法、分段擬合法、查表法。CORDIC算法計算時間長，精度不高。多項式擬合法消耗的資源與階數(shù)相關。分段擬合法效果較好，但較為繁雜[24]。查表法精度高、速度快。文獻[25]通過構建基底查表，實現(xiàn)了輸入[-10,+10]內的計算。但是精度越高，消耗存儲資源就越多,且受輸入范圍的影響越大。為了避免在Softmax函數(shù)的實現(xiàn)上消耗過多資源，并確保較高的精度，本設計提出改進的FPGA多次查表和乘法器并用的方法來實現(xiàn)Softmax。

首先，將計算公式作進一步變換，如式(4)所示。

(4)

按式(4)變換，可將分母中每個指數(shù)函數(shù)的范圍限制在(0,1)內。其優(yōu)點是在制作查找表時可以減小數(shù)據(jù)的范圍,降低ROM的深度。不過由于數(shù)據(jù)精度選擇的不同，直接制作查找表依然會消耗過多ROM資源。本文采用多次拆分查表和調用乘法器相結合的方法。以進行一次查表為例。首先，在整個網(wǎng)絡運算過程中，都是以定點數(shù)進行運算的。在制作查表時，需要將定點前輸入數(shù)據(jù)所對應的指數(shù)函數(shù)結果制表。以式(4)中1個分母為例，其計算表達式如式(5)所示：

(5)

式中：xint為xu-x1結果的整數(shù)部分；xfloat為xu-x1結果的小數(shù)部分。

通過將整數(shù)部分和小數(shù)部分拆開查表，可以減少存儲單元的使用。接著，繼續(xù)將其分解，如式(6)所示。

(6)

最后，由于r是在i的取值范圍內，因此只需對整數(shù)和小數(shù)部分范圍的一半進行制作查表，并通過查表和直接調用乘法器求出其乘積。該方法會消耗少量的乘法器，但可以節(jié)省大量的ROM資源。為求出f(xu)，在求出分母的結果后，由于式(4)的分母是有界數(shù)，因此可以再次查表或者直接利用乘法器和線性逼近等方法求出其倒數(shù)。

3 試驗結果及其分析

3.1 試驗設計

本文設計的FPGA開發(fā)環(huán)境為Vivado 2019.1，開發(fā)平臺為ZCU104，芯片型號為XCZU 7EV-FFVC 1156-2-E，攝像頭型號為OV5640,軟件開發(fā)平臺為TensorFlow2.0，CPU型號為Intel i5-8250U，GPU型號為NVIDIA GTX1650。在試驗中，分別在CPU、GPU實現(xiàn)上述網(wǎng)絡模型，并對比FPGA實現(xiàn)的準確率、識別速度。整個試驗流程如下。

①準備和制作數(shù)據(jù)集。通過高清攝像機采集正常的蘋果、梨和腐敗的蘋果、梨這4種圖像，并根據(jù)其類別，制作40 000張數(shù)據(jù)集。

②計算機端訓練網(wǎng)絡。利用TensorFlow2.0框架建立網(wǎng)絡模型，對制作的數(shù)據(jù)集進行訓練。由于對小樣本的水果數(shù)據(jù)進行訓練，采用的卷積神經(jīng)網(wǎng)絡模型參數(shù)如表1所示。

表1 卷積神經(jīng)網(wǎng)絡模型參數(shù)Tab.1 Convolution neural network model parameters

③計算機端將權重和閾值保存為二進制文件；利用ZCU104上的PS將權重寫入FPGA的DDR中；利用ZCU104上的PL進行圖像采集、預處理、數(shù)據(jù)量化和上述網(wǎng)絡模型的前向推理。輸出結果通過以太網(wǎng)口傳輸?shù)接嬎銠C端的上位機。在Visual Studio2019中，通過C#的Socket通信搭建服務器，接收FPGA的采集圖像和分類結果。

3.2 試驗結果

在計算機端和FPGA平臺分別測試1 000張圖片。各平臺準確率對比如表2所示。FPGA因為量化的原因，準確率相較于其他平臺有所降低，但已經(jīng)可以滿足實際應用需求。

表2 各平臺準確率對比Tab.2 Accuracy comparison of each platform

各平臺識別速度對比如表3所示。與CPU相比，ZCU104的運行速度約為CPU的3倍。而與GPU相比，ZCU104略快于GPU，但相差不大。

表3 各平臺識別速度對比Tab.3 Comparison of recognition speed of each platform

ZCU104資源主要使用了12%的查找表、30%的塊隨機存儲器以及6%的乘法器。由于整個識別系統(tǒng)中包含縮放模塊、卷積模塊、池化，且縮放模塊的實現(xiàn)本身就占用較多資源，所以資源使用量略高。但對一般的FPGA來說，足以滿足該資源的消耗。

4 結論

本設計實現(xiàn)了卷積神經(jīng)網(wǎng)絡在FPGA上的搭建，并利用此網(wǎng)絡模型，對自制的40 000張水果數(shù)據(jù)集進行測試，ZCU104的準確率達到95.8%。由于定點化的原因，ZCU104的準確率相較于CPU和GPU有所降低，但相差不大。而ZCU104、CPU、GPU的識別耗時分別為28.3 ms、88.9 ms、29.1 ms,表明ZCU104的識別速度達到CPU的3倍，同時也略快于GPU。

相比于以往的卷積神經(jīng)網(wǎng)絡加速器，本設計建立了基于FPGA的完整識別系統(tǒng)，包含了從圖像采集到最終的識別分類。

首先，本設計采用查表法，優(yōu)化圖像預處理和歸一化；其次，采用雙通道進行卷積層計算和流式數(shù)據(jù)傳輸；最后，利用乘法器和多次查表相結合的方法，改進Softmax函數(shù)的計算。

本設計最大程度地減少了DSP的消耗，同時提高了識別的實時性。本文設計的卷積神經(jīng)網(wǎng)絡可通過ZCU104系統(tǒng)側重配置，具有較高的通用性，對進一步研究卷積神經(jīng)網(wǎng)絡的識別以及檢測模型的應用有著重要意義。