基于ReLU函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)的花卉識(shí)別算法

郭子琰，舒 心，劉常燕，李 雷

(南京郵電大學(xué)，江蘇 南京 210023)

0 引 言

在日常生活中，花卉隨處可見(jiàn)，花卉具有巨大的文化價(jià)值、經(jīng)濟(jì)價(jià)值以及生態(tài)價(jià)值。雖然同品種間的花卉之間存在著形態(tài)、結(jié)構(gòu)、習(xí)性等顯著性差異，但是，由于花卉種類繁多，給人們對(duì)花卉的認(rèn)識(shí)和識(shí)別帶來(lái)了很多麻煩。因此，建立一個(gè)花卉識(shí)別系統(tǒng)，對(duì)于快速正確地識(shí)別花卉是非常有必要的。

隨著科學(xué)技術(shù)的快速發(fā)展，智能手機(jī)的普及，人們?cè)絹?lái)越傾向于用更生動(dòng)形象、容易理解的圖片來(lái)代替繁瑣的文字。然而，信息的圖片化也產(chǎn)生了很多問(wèn)題。一般，對(duì)于傳統(tǒng)的文字記錄信息，可以直接搜索關(guān)鍵詞來(lái)獲取相應(yīng)的內(nèi)容，而當(dāng)用圖片來(lái)表達(dá)信息時(shí)，卻無(wú)法直接對(duì)圖片表達(dá)的信息進(jìn)行搜索或處理。雖然，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，可以通過(guò)處理圖片獲得重要的信息，但是對(duì)花卉識(shí)別的工作還相對(duì)較少。而已有的可進(jìn)行花卉識(shí)別的實(shí)驗(yàn)或者APP的識(shí)別率和計(jì)算速度偏低，因此要更加完美地識(shí)別花卉，還需要更好的算法來(lái)支持。

自20世紀(jì)60年代，Hubel和Wiesel提出卷積神經(jīng)網(wǎng)絡(luò)以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)逐漸發(fā)展并得到了重視[1]。由于卷積神經(jīng)網(wǎng)絡(luò)可以直接輸入圖像，避免了對(duì)圖像的前期復(fù)雜處理，而且卷積神經(jīng)網(wǎng)絡(luò)可以很好地識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形，因此得到了廣泛應(yīng)用。又因?yàn)槟壳皣?guó)內(nèi)外的研究人員利用神經(jīng)網(wǎng)絡(luò)對(duì)植物種類的識(shí)別已經(jīng)取得了一定的進(jìn)展，因此，文中利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行花卉識(shí)別，提高花卉識(shí)別的準(zhǔn)確率，推進(jìn)相關(guān)技術(shù)的發(fā)展。

1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

1.1 CNN原理

神經(jīng)網(wǎng)絡(luò)是圖像處理的常用方法，在圖像處理中，圖像通常用它的像素向量來(lái)表示，數(shù)據(jù)量很大，再經(jīng)由神經(jīng)網(wǎng)絡(luò)的多層運(yùn)算，數(shù)據(jù)量將以次方級(jí)遞增，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練幾乎是不可能完成的。而CNN通過(guò)局部感受野[2]和權(quán)值共享[3]，可以有效地降低參數(shù)數(shù)目，提高訓(xùn)練速度。局部感受野的原理是，每個(gè)神經(jīng)元不需要對(duì)全局圖像進(jìn)行感知，只需要對(duì)局部進(jìn)行感知，然后在更高層將局部的信息綜合起來(lái)就可以得到全局的信息。權(quán)值共享的原理是，由于圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的，所以在一部分學(xué)習(xí)的特征也能用在另一部分上，所以圖像上的所有位置，都能使用同樣的學(xué)習(xí)特征。

1.2 CNN結(jié)構(gòu)

首先，利用Matlab對(duì)圖像進(jìn)行灰度處理[4]，再利用雙線性插值法對(duì)其進(jìn)行縮放，在此基礎(chǔ)上設(shè)計(jì)的花卉識(shí)別CNN框架如圖1所示。

圖1 花卉識(shí)別的CNN框架

花卉識(shí)別的 CNN 框架具體如下：

(1)輸入。當(dāng)原始圖像不是灰度圖像時(shí)，首先進(jìn)行灰度化；當(dāng)大小不是28×28時(shí)，采用雙線性插值算法對(duì)圖像進(jìn)行縮放，以滿足輸入要求。

(2)C1層。C1是一個(gè)卷積層，卷積層是指用一個(gè)可學(xué)習(xí)的卷積核與上一層輸出的特征圖進(jìn)行卷積運(yùn)算,并通過(guò)激活函數(shù)輸出[5]。在C1中使用5×5大小的卷積核，最終獲得24×24大小的一個(gè)特征圖。卷積得到的結(jié)果并不是直接存儲(chǔ)在C1層，而是先通過(guò)一個(gè)激活函數(shù)進(jìn)行計(jì)算，再作為C1層某個(gè)神經(jīng)元的特征值。傳統(tǒng)的激活函數(shù)一般選取Sigmoid系函數(shù)，但是使用這種函數(shù)需要進(jìn)行預(yù)訓(xùn)練，否則將會(huì)出現(xiàn)梯度消失無(wú)法收斂的問(wèn)題。而近似生物神經(jīng)激活函數(shù)ReLU在沒(méi)有預(yù)訓(xùn)練的情況下，訓(xùn)練效果比普通激活函數(shù)更好，甚至比一些普通激活函數(shù)預(yù)訓(xùn)練后的效果更好，并且訓(xùn)練速度更快[6]。在實(shí)際操作中，卷積的時(shí)候還要加上一個(gè)偏置項(xiàng)。對(duì)于圖像塊x，采用卷積核w進(jìn)行卷積，偏置項(xiàng)為b，輸出為y的卷積，運(yùn)算為:

y=ReLU(wx+b)=max(0,wx+b)

(1)

(3)S1層。S1是子采樣層，它獲得12個(gè)12×12大小的特征圖。它是通過(guò)將C1中所有互不重疊的2×2的子塊x求和，再乘以一個(gè)權(quán)重w，加上一個(gè)偏置項(xiàng)b得到的。子采樣計(jì)算過(guò)程為:

y=ReLU(w∑xi+b)=max(0,w∑xi+b)

(2)

(4)C2層。C2也是一個(gè)特征提取層，跟C1有類似的地方，同時(shí)也有一定的差別。C2的特征圖共有24個(gè)。C2中的每個(gè)特征圖在作卷積時(shí)，是由S1中幾個(gè)特征圖或者全部特征圖組合成輸入，然后再做卷積得到。

(5)輸出層。輸出層是與S2的一個(gè)全連接層，它將S2中的所有神經(jīng)元連接到當(dāng)前層的每個(gè)單個(gè)神經(jīng)元。使用softmax回歸[7]進(jìn)行分類，因?yàn)樗a(chǎn)生輸出的良好的概率分布，最終得到的激活值即卷積神經(jīng)網(wǎng)絡(luò)提取到的圖片特征。

2 基于ReLU函數(shù)的CNN算法

2.1 ReLU函數(shù)對(duì)激活函數(shù)的優(yōu)化

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，常用Sigmoid函數(shù)作為激活函數(shù)：

(3)

從數(shù)學(xué)上來(lái)看，非線性的Sigmoid函數(shù)對(duì)中央?yún)^(qū)的信號(hào)增益較大，對(duì)兩側(cè)區(qū)的信號(hào)增益小，在信號(hào)的特征空間映射上有很好的效果。標(biāo)準(zhǔn)的Sigmoid輸出不具備稀疏性，需要用一些懲罰因子來(lái)訓(xùn)練出接近0的冗余數(shù)據(jù)，從而產(chǎn)生稀疏數(shù)據(jù)，例如L1、L1/L2或Student-t作懲罰因子。因此需要進(jìn)行預(yù)訓(xùn)練，否則將出現(xiàn)梯度消失無(wú)法收斂的問(wèn)題。目前，一類近似生物神經(jīng)激活函數(shù)被廣泛運(yùn)用于卷積神經(jīng)網(wǎng)絡(luò)中，其中主要包括ReLu函數(shù)[8-9]和Softplus函數(shù)，圖像分別如圖2所示。

圖2 ReLU函數(shù)和Softplus函數(shù)圖像

其中，ReLu函數(shù)定義為：

ReLu(x)=max(0,x)

(4)

ReLU是線性修正函數(shù)，作用是如果計(jì)算出的值小于0，就讓它等于0，否則保持原來(lái)的值不變。這是一種強(qiáng)制某些數(shù)據(jù)為0的方法，然而經(jīng)實(shí)踐證明，訓(xùn)練后的網(wǎng)絡(luò)完全具備適度的稀疏性[10]。而且訓(xùn)練后的可視化效果和傳統(tǒng)方式預(yù)訓(xùn)練出的效果很相似，這也說(shuō)明了ReLU具備引導(dǎo)適度稀疏的能力。因此與Sigmoid函數(shù)相比具有更強(qiáng)的優(yōu)勢(shì)。

Softplus函數(shù)是另一種近似生物神經(jīng)激活函數(shù)，與ReLU函數(shù)圖像近似，但更平滑，定義如下：

Softplus(x)=ln(1+e-x)

(5)

但是，一方面，在深度網(wǎng)絡(luò)中，對(duì)非線性的依賴程度比較??；另一方面稀疏特征并不需要網(wǎng)絡(luò)具有很強(qiáng)的處理線性不可分機(jī)制。所以，使用簡(jiǎn)單、速度快的線性激活函數(shù)ReLU更為合適。

2.2 算法流程

2.2.1 參數(shù)設(shè)置

首先對(duì)CNN的基本參數(shù)進(jìn)行設(shè)置，包括CNN的卷積、降采樣層的數(shù)量、卷積核的大小，降采樣的降幅、網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練參數(shù)。之后，初始化卷積核、偏置、尾部單層感知器的設(shè)計(jì)。因?yàn)榫矸e降采樣需逐層設(shè)計(jì)，所以初始化設(shè)置權(quán)重控制在-1～1的隨機(jī)數(shù)之間，并分別設(shè)計(jì)尾部單層感知器的權(quán)重和閾值。

2.2.2 函數(shù)設(shè)置

設(shè)置函數(shù)用于訓(xùn)練CNN，生成隨機(jī)序列，每次選取50個(gè)樣本進(jìn)行批次訓(xùn)練：完成前向過(guò)程、誤差傳導(dǎo)和梯度(權(quán)重的修改值)計(jì)算過(guò)程，計(jì)算此隨機(jī)樣本的梯度，并求和進(jìn)行訓(xùn)練更新到權(quán)重模型中，用于下一步更新權(quán)重。

(1)前向過(guò)程。

在CNN中，前向傳播算法的重點(diǎn)是輸入層的前向傳播，卷積層的前向傳播以及池化層的前向傳播。用l表示當(dāng)前層，那么當(dāng)前層的輸出可表示為：

xl=f(ul)

ul=Wlxl-1+bl

(6)

輸出激活函數(shù)如前面提到的，選取了訓(xùn)練效果更好的ReLU函數(shù)。

在前向過(guò)程，首先取得輸入?yún)?shù)，然后對(duì)其進(jìn)行兩次降采樣處理，將此批數(shù)據(jù)送入尾部單層感知器，通過(guò)全連接的方式得到輸出層。

(2)梯度計(jì)算。

在前向過(guò)程得出結(jié)果的基礎(chǔ)上，計(jì)算并傳遞神經(jīng)網(wǎng)絡(luò)的誤差，計(jì)算梯度。在提取誤差時(shí)，分卷積層和降采樣層進(jìn)行討論[11]：

①若該層為卷積層。

在卷積層，前序?qū)拥奶卣鲌D通過(guò)可學(xué)習(xí)的核進(jìn)行卷積，然后通過(guò)激活函數(shù)ReLU構(gòu)成輸出的特征圖。每個(gè)輸出的圖可能包含多個(gè)輸入圖的卷積，一般來(lái)說(shuō)：

(7)

計(jì)算卷積層中的每個(gè)圖j，并將其相對(duì)的降采樣層對(duì)應(yīng)起來(lái)：

(8)

其中，up(·)表示升采樣操作。

(9)

最后，核函數(shù)的權(quán)重的梯度通過(guò)反向傳播計(jì)算，將該權(quán)重涉及到的所有梯度求和：

(10)

②若該層為降采樣層。

降采樣層產(chǎn)生輸出圖降采樣后的結(jié)果，假設(shè)有N個(gè)輸入，就會(huì)有N個(gè)輸出，輸出可表示為：

(11)

其中，down表示降采樣函數(shù)。該函數(shù)會(huì)使輸出比輸入在不同維度都小。每個(gè)輸出都有自己的乘子偏差β以及附加偏差b。

附加偏差b就是誤差信號(hào)圖中元素的求和：

(12)

其中

(13)

乘子偏差β和前向傳播中當(dāng)前層的原始降采樣圖有關(guān)，在前向傳播過(guò)程中保存這些圖有利于計(jì)算，定義如下:

(14)

所以β的梯度為：

(15)

最后進(jìn)行梯度更新，包括更新特征抽取層的權(quán)重和尾部單層感知器的權(quán)重。

2.2.3 訓(xùn)練CNN

訓(xùn)練并調(diào)用已設(shè)置好的訓(xùn)練函數(shù)和更新函數(shù)，并測(cè)試樣本的準(zhǔn)確率。定義CNN中的各項(xiàng)參數(shù)：卷積核大小、輸出樣本的大小、初始權(quán)值、最大訓(xùn)練次數(shù)，每次訓(xùn)練選取50個(gè)樣本進(jìn)行批訓(xùn)練。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 圖像預(yù)處理

實(shí)驗(yàn)在MatlabR2014a平臺(tái)下實(shí)現(xiàn)。通過(guò)圖像灰度化和雙線性插值法進(jìn)行了預(yù)處理。

顏色會(huì)對(duì)花卉種類的識(shí)別造成一定的干擾，而且彩色圖像存儲(chǔ)量大，處理起來(lái)不方便，因此需要將彩色圖像轉(zhuǎn)化為包含同樣信息量且處理過(guò)程更加簡(jiǎn)單快速的灰度圖像。這個(gè)過(guò)程稱為灰度化處理，有利于對(duì)圖像進(jìn)行模塊化處理，消除圖像噪聲以獲得更好的二值化圖像，并減少圖像處理的計(jì)算量[12]。

圖像灰度化后，輸入的圖像的大小可能各不相同，有一些圖像的分辨率較大，有一些較小。而且長(zhǎng)寬比也不一定相同。而由于圖像的大小直接關(guān)系到卷積核的選取，因此不宜太大；如果圖像太小，又會(huì)引起圖像關(guān)鍵細(xì)節(jié)的丟失[13]。因此文中的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)要求輸入圖像大小固定，所以要對(duì)不同尺寸的圖像進(jìn)行縮放。目前大部分情況下采用的是通過(guò)雙線性插值法進(jìn)行縮放，使得輸出的圖像是固定分辨率，如圖3所示。

圖3 將不同大小的圖片灰度化并縮放同一尺寸

CNN對(duì)旋轉(zhuǎn)、光線、角度等影響因素不敏感，所以無(wú)需太復(fù)雜的圖像預(yù)處理步驟[14]。

3.2 結(jié)果分析

在花卉識(shí)別中，衡量算法性能的指標(biāo)是識(shí)別錯(cuò)誤率，定義如下：

(16)

為了驗(yàn)證基于ReLU函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)花卉識(shí)別的可行性，分別選取300張玫瑰和雛菊的圖片進(jìn)行檢驗(yàn)。從每種花卉里選取50個(gè)樣本作為訓(xùn)練集，識(shí)別錯(cuò)誤率為7.5%，說(shuō)明具有良好的識(shí)別性能。

為了驗(yàn)證ReLU激活函數(shù)的優(yōu)越性，做了一系列對(duì)比實(shí)驗(yàn)，在MINST手寫數(shù)字?jǐn)?shù)據(jù)集[15]、CIFAR-10基礎(chǔ)數(shù)據(jù)集、JC-NORB數(shù)據(jù)集上，在沒(méi)有預(yù)訓(xùn)練的情況下，將ReLU函數(shù)與Sigmoid函數(shù)和Softplus函數(shù)的識(shí)別錯(cuò)誤率進(jìn)行對(duì)比，如表1所示。

表1 不同激活函數(shù)在不同數(shù)據(jù)集上的

由表1可以看出，在沒(méi)有預(yù)訓(xùn)練的情況下，近似生物神經(jīng)激活函數(shù)ReLU和Softplus函數(shù)相比Sigmoid函數(shù)具有很大的優(yōu)勢(shì)。ReLU函數(shù)相較于Softplus函數(shù)識(shí)別率近似且有一定程度的優(yōu)勢(shì)，并且由于ReLU函數(shù)簡(jiǎn)單、高效，會(huì)表現(xiàn)出更快的識(shí)別速度，進(jìn)一步證明ReLU函數(shù)作為激活函數(shù)具有一定的可行性和優(yōu)越性。

4 結(jié)束語(yǔ)

基于已有的植物識(shí)別技術(shù)和花卉識(shí)別技術(shù)進(jìn)行進(jìn)一步探究，以提高花卉識(shí)別的正確率以及分辨速度。通過(guò)將文中算法與其他算法進(jìn)行對(duì)比，可以得出文中算法優(yōu)于大多數(shù)傳統(tǒng)算法，具有一定的可行性。

參考文獻(xiàn):

[1] GU Jiuxiang,WANG Zhenhua,KUEN J,et al.Recent advances in convolutional neural networks[J].Pattern Recognition,2018,77:354-377.

[2] 夏 勇.基于特征的紋理圖像分割技術(shù)研究[D].西安：西北工業(yè)大學(xué)，2006.

[3] 李飛騰.卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[D].大連：大連理工大學(xué)，2014.

[4] 張曉利.基于粒子濾波跟蹤的步態(tài)特征提取算法研究[D].濟(jì)南：山東大學(xué)，2010.

[5] 張丹丹.李 雷.基于PCANet-RF的人臉檢測(cè)系統(tǒng)[J].計(jì)

算機(jī)技術(shù)與發(fā)展,2016,26(2):31-34.

[6] GLOROT X,BORDES A,BENGIO Y,et al.Deep sparse rectifier neural networks[C]//International conference on artificial intelligence & statistics.[s.l.]:[s.n.],2011:315-323.

[7] GREENE W H.Econometric analysis[J].Contributions to Management Science,2002,89:182-197.

[8] 孫艷豐，楊新東，胡永利，等.基于Softplus激活函數(shù)和改進(jìn)Fisher判別的ELM算法[J].北京工業(yè)大學(xué)學(xué)報(bào),2015,41(9)：1341-1348.

[9] NAIR V,HINTON G E.Rectified linear units improve restricted Boltzmann machines[C]//Proceedings of the 27th international conference on international conference on machine learning.Haifa,Israel：Omnipress，2010:807-814.

[10] ZEILER M D，RANZATO M，MONGA R，et al.On rectified linear units for speech for processing[C]//IEEE international conference on acoustics，speech and signal processing.Vancouver,BC,Canada：IEEE，2013：3517-3521.

[11] 許 可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D].杭州：浙江大學(xué)，2012.

[12] 董紅霞.基于圖像的植物葉片分類方法研究[D].長(zhǎng)沙：湖南大學(xué),2013.

[13] 高惠琳.基于卷積神經(jīng)網(wǎng)絡(luò)的軍事圖像分類[J].計(jì)算機(jī)應(yīng)用研究,2017,34(11):3518-3520.

[14] 龔丁禧，曹長(zhǎng)榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J].計(jì)算機(jī)與現(xiàn)代化,2014(4)：12-15.

[15] 殷 瑞，蘇松志，李邵滋.一種卷積神經(jīng)網(wǎng)絡(luò)的圖像矩正則化策略[J].智能系統(tǒng)學(xué)報(bào),2016,11(1):43-48.