優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法

安 鳳 平

(淮陰師范學(xué)院 物理與電子電氣工程學(xué)院，江蘇 淮安 223300)

(北京理工大學(xué) 信息與電子學(xué)院，北京 100081)

1 引 言

物流倉儲物體實時檢測屬于物體檢測的范疇，它的主要任務(wù)是提取得到物流倉儲物體的位置信息和類別信息.因此，能否快速、準(zhǔn)確地識別和抓取物流倉儲的物體是當(dāng)前面臨的巨大挑戰(zhàn)[1].傳統(tǒng)的物體識別算法主要有：Csurka 等人[2]提出了一種貝葉斯和支持向量機(jī)的融合方法，并利用該方法對物體進(jìn)行分類，但是該物體分類效果較低.Yang 等人[3]提出了基于稀疏編碼進(jìn)行物體分類方法，但是該方法需要建立足夠可信的稀疏集.Ning等人[4]提出了一種基于結(jié)構(gòu)化支持向量機(jī)的方法，它在對象跟蹤基準(zhǔn)測試中表現(xiàn)較好的分類性能.但是，復(fù)雜的優(yōu)化方法限制了它們在實際應(yīng)用中的部署.Alhalah等人[5]提出了一種層次化模型進(jìn)行物體分類識別，在實際應(yīng)用中取得了較好的效果.但是該方法的自適應(yīng)性能較弱.Gualdi 等人[6]提出了一種新的多級粒子窗口搜索方法.雖然該方法取得了較好的應(yīng)用效果，但存在較難收斂的問題.傳統(tǒng)的物體識別算法在某些應(yīng)用場景下，盡管取得了一定的效果，但是存在識別精度低、自適應(yīng)能力弱等問題.這一缺點被Hinton在2006年提出的深度學(xué)習(xí)(Deep Learning)技術(shù)所打破[7].深度學(xué)習(xí)技術(shù)[8]由于具有高度的特征提取能力，它已經(jīng)被應(yīng)用到計算機(jī)視覺[9]、圖像分類[10]等領(lǐng)域.鑒于此，很多學(xué)者將其引入到物體識別領(lǐng)域中.在物體分類方面主要有：Alex在2012年的ILSVRC會議上提出了AlexNet模型，它較傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional Neural Networks，CNN)[11]進(jìn)行了優(yōu)化，并應(yīng)用到物體分類當(dāng)中，它將分類錯誤率從25.8%下降到16.4%，該方法成為當(dāng)年會議中圖像分類的冠軍.Girshick 提出了Fast Region-based Convolutional Network[12]進(jìn)行物體分類，它與之前的工作相比，它采用了多項新思路來提高訓(xùn)練和測試速度，提高了分類精度.Gao等人[13]提出了一種物體分類方法，通過創(chuàng)建LIDAR數(shù)據(jù)上采樣的點轉(zhuǎn)換為像素級深度信息，進(jìn)而獲得車輛特征信息，并進(jìn)行分類.在物體識別方面主要有：Redmon 等人[14]提出了一種新的物體識別方法 YOLO.該方法通過回歸方法來實現(xiàn)物體位置、尺寸和類別等信息的識別，它可以有效提升檢測速度與精度.但是，該方法存在缺乏候選區(qū)域生成機(jī)制、無法精確定位等問題.Liu 等人[15]提出了將 YOLO 的回歸思想和快速卷積神經(jīng)網(wǎng)絡(luò)的錨點機(jī)制相融合，該方法在VOC2007測試集上的識別平均準(zhǔn)確率為74.3%，也基本滿足實時處理要求.綜上可知，深度學(xué)習(xí)理論在物體識別中得到了一定程度的應(yīng)用.但是待識別物體特性千差萬別，如何依據(jù)這些物體特性構(gòu)建性能更優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)，獲得更好的物體識別效果，依然是一個比較棘手的問題.而且現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)存在過擬合、非線性建模能力、大量重復(fù)的池化操作丟失信息等問題.鑒于此，本文提出了一種可學(xué)習(xí)的指數(shù)非線性單元.通過在ELU(Exponential Linear Units)中引入兩個學(xué)習(xí)的參數(shù)，它能夠表示分段線性函數(shù)和指數(shù)非線性函數(shù)，因而它具備更強(qiáng)的非線性建模能力.同時，為了改善池化操作丟失信息的問題.本文提出了一種深度全局卷積神經(jīng)網(wǎng)絡(luò)模型，該模型充分利用了網(wǎng)絡(luò)中不同層特征圖的局部和全局信息.它可以減少丟失特征信息的問題.基于上述思想，本文提出了一種優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法.

本文第2節(jié)將主要闡述本文提出的優(yōu)化非線性激活函數(shù)模型；第3節(jié)闡述提出的全局卷積神經(jīng)網(wǎng)絡(luò)模型；第4節(jié)介紹提出的優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法；第5節(jié)對本文提出的算法進(jìn)行實例分析，并與主流算法進(jìn)行對比.最后對全文進(jìn)行總結(jié)和討論.

2 基于優(yōu)化表達(dá)的非線性激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)在物體識別中主要有兩個方面考慮：1) 找到更優(yōu)化的非線性建模模型;2) 找到可以避免模型訓(xùn)練過程的過擬合問題.從卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展來看，增加網(wǎng)絡(luò)非線性建模能力的同時，配合降低過擬合風(fēng)險的方法.因此，本節(jié)通過解決非線性單元表達(dá)問題，從而提高網(wǎng)絡(luò)的非線性建模能力，同時配合正則機(jī)制降低過擬合風(fēng)險.最終提升模型泛化能力和特征信息提取的目的.鑒于此，本文提出了一種參數(shù)形式統(tǒng)一且可學(xué)習(xí)的MPELU，并引入兩個學(xué)習(xí)的參數(shù).它具有線性和非線性變換方法，使得該參數(shù)形式既可以表示分段線性函數(shù)，也可以表示指數(shù)非線性函數(shù).因而它具有更強(qiáng)的非線性建模能力.

2.1 MPELU設(shè)計

本節(jié)定義的MPELU前向傳遞公式為：

(1)

式(1)中，α和β是該模型當(dāng)中可以通過學(xué)習(xí)的參量，β>0，y代表該模型的參數(shù)輸入，i代表參數(shù)輸入的元素索引，c代表通道索引.故c∈{1，…，M}.故yi示輸入中第c個通道中的第i個元素.針對過擬合問題，本文參考PReLU(Parametric Rectified Linear Unit)[16]的方法，對這兩個參數(shù)分別設(shè)置“通道共享”和“通道獨立”.第1個模式下，輸入共用α和β，而且M=1；在第2個模式下，一樣通道輸入共用α和β.M為通道總數(shù)目個數(shù).

MPELU利用改變βc線使得該形式在分段線性性和指數(shù)非線性函數(shù)相互切換.若βc較小，比如小于1，MPELU在yi<0內(nèi)相當(dāng)于線性函數(shù).此時，它相當(dāng)于PReLU.若βc較大，比如大于1，MPELU在yi<0內(nèi)相當(dāng)于非線性函數(shù).MPELU函數(shù)類型可以通過αc調(diào)整得到，若αc=βc=1，它相當(dāng)于ELU.此情況下若繼續(xù)減小βc，它會變成LReLU(Leaky Rectified Linear Unit).若αc=0，那么它相當(dāng)于ReLU.

通過分析可知，MPELU已經(jīng)包括了ReLU、LReLU、PReLU和ELU等激活函數(shù).同時，MPELU形式上具有很強(qiáng)的靈活性，它可以涵蓋上述激活的有點，并且避免不足.

同時，MPELU處處可導(dǎo)，故αc和βc利用梯度更新數(shù)值，具體為：

top′=f(yi)+αc

(2)

(3)

(4)

(5)

(6)

式中，Σ的求和范圍為αc和βc對應(yīng)的位置索引i.αc和βc對物體分類效果影響較大.本文通過大量實例總結(jié)可知，若αc=0.13或1.2，βc=1，網(wǎng)絡(luò)最終的識別誤差最小.

2.2 過擬合處理

由于MPELU加入了α和β，它會導(dǎo)致模型的過擬合問題.所以，本文對MPELU加入了α和β分別給予“通道共享”和“通道獨立”.在第一種模式中，均共享參數(shù)數(shù)，故網(wǎng)絡(luò)增加的參數(shù)量為網(wǎng)絡(luò)深度的1.5倍，可以忽略對模型訓(xùn)練的影響.當(dāng)為第二種模式時，各個通道內(nèi)部才共享參數(shù)，不同通道不共享參數(shù)，新增參量也僅為網(wǎng)絡(luò)的1.5倍，對模型訓(xùn)練不構(gòu)成影響.因而，本文提出的激活函數(shù)不會增加模型訓(xùn)練過程中的過擬合問題.相關(guān)參數(shù)優(yōu)化通過L2正則實現(xiàn).大量實驗證明，對模型參數(shù)使用L2正則可以提升模型泛化能力.

2.3 計算效率估計

本文所提出的參數(shù)學(xué)習(xí)方法會增加一定的計算時間.鑒于此，本文對提出的激活函數(shù)作優(yōu)化操作，從而保證本文所提出的算法的計算效率較其他激活函數(shù)具有一定的優(yōu)勢.首先，本文對本文提出的激活函數(shù)的后向傳遞優(yōu)化.其次，本文優(yōu)化python框架下的程序?qū)崿F(xiàn)，在不同循環(huán)下分別計算獲得，不增加計算時間.為了對比相關(guān)激活函數(shù)的計算效率，本文以NVIDIA TitanX GPU為平臺，對其在python框架下網(wǎng)絡(luò)結(jié)構(gòu)為32層網(wǎng)絡(luò)進(jìn)行對比.

本部分對32層ReLU、PReLU、ELU和MPELU分別訓(xùn)練700k次迭代，再計算單次迭代時間的平均值.具體結(jié)果如表1所示.通過表1可知，雖然MPELU引入了額外的參數(shù)，但是單次迭代所需要的平均時間與其他方法相近，甚至還有所減少.

表1 非線性激活函數(shù)計算效率對比表Table 1 Comparison table of calculation efficiency of nonlinear activation function

3 全局卷積神經(jīng)網(wǎng)絡(luò)模型

本節(jié)提出的全局卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計了局部特征信息和全局特征信息相融合的框架，為了準(zhǔn)確突出細(xì)節(jié)信息，嵌入6個全局卷積模塊(Global Convolution Module，GCM)和24個邊界細(xì)化模塊(Boundary Refinement Module，BRM)到網(wǎng)絡(luò)架構(gòu)中.

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

對于給定的圖像F，先將圖像F大小調(diào)整512×512，它是網(wǎng)絡(luò)的輸入模塊.再通過6個卷積塊(定義為 Conv-1 到 Conv-6)生成了相應(yīng)特征圖，大小均為3×3.受全局卷積網(wǎng)絡(luò)[17]的啟發(fā)，本文提出了通過全局卷積模塊優(yōu)化卷積塊和特征聯(lián)系.此外，本文提出的模型架構(gòu)容桂加入邊界細(xì)化模塊來獲得更為豐富的邊緣信息.

全局特征圖TG通過特征圖{Ti，i=1，…，6}獲得特征信息，計算公式為：

TG=Conv(T6)

(7)

在 Conv-6塊中加入具有128特征的3個卷積層，使得T6分辨率為1×1.

(8)

(9)

(10)

3.2 全局卷積模塊

全局卷積模塊可以提升模型的物體識別，全局卷積模塊的內(nèi)核較大，它有利于提取得到更多的空間特征信息，進(jìn)而提升物體位置的定位精度.本文所提出的全局卷積模塊由左右兩側(cè)卷積操作構(gòu)成.左側(cè)卷積操作由7×1卷積塊和一個1×7 卷積塊組成.右側(cè)卷積操作由1×7卷積塊和7×1卷積塊組成.此外，該全局卷積模塊模型的計算效率較高，它可以使得模型達(dá)到更高的計算速度.

3.3 邊界細(xì)化模塊

為了進(jìn)一步提高模型定位精度，在該模型中再引入邊界細(xì)化模塊，該模塊可以提升物體的邊緣特征信息，盡可能保留更多的邊緣特征.本文所引入的邊界細(xì)化模塊是通過經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)的殘差模型得到的[18].該模塊的輸入輸出尺寸相同.

3.4 物體識別

令SM為顯著圖，GI為基準(zhǔn)顯著圖，其計算公式如下：

(11)

式中，(wL，vL)和(wG，vG)分別為局部和全局特征圖的線性運算符.本文模型損失函數(shù)定義為交叉熵?fù)p失(用LossCE表示)和邊界損失(用LossB表示)之和，其計算公式如下：

(12)

式中αr和βr為LossCE和LossB的加權(quán)常數(shù).其中，LossCE計算公式如下：

(13)

LossB為像素p在BT和BM的邊界損失，計算公式如下：

(14)

4 基于優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法

基于上述內(nèi)容，本節(jié)構(gòu)建優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法.首先通過解決非線性單元表達(dá)問題，從而提高網(wǎng)絡(luò)的非線性建模能力，同時配合正則機(jī)制降低過擬合風(fēng)險.提出了一種參數(shù)形式統(tǒng)一且可學(xué)習(xí)的指數(shù)非線性單元MPELU，從而能夠表示分段線性函數(shù)和指數(shù)非線性函數(shù)，它具備更強(qiáng)的非線性建模能力.而后，為了改善大量重復(fù)的池化操作丟失信息的問題，本文提出了一種基于深度全卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行物體圖像的識別，減少大量池化操作丟失特征信息的問題.所提出物體識別算法的基本流程圖如圖1所示，它的基本步驟如下：

圖1 優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法基本流程圖Fig.1 Basic flow chart of object recognition algorithmfor optimizing nonlinear activation function-globalconvolutional neural network

1)首先對需要識別的物體圖像進(jìn)行去噪或增強(qiáng)等處理.

2)利用本文提出的優(yōu)化表達(dá)的非線性激活函數(shù)模型對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行激活并初始化，由于該函數(shù)具有很強(qiáng)的非線性建模能力.與其他方法相比，本文方法有較強(qiáng)的非線性建模能力和良好的初始化能力，并提升卷積神經(jīng)網(wǎng)絡(luò)模型的自適應(yīng)能力，從而能夠獲得更多的待識別物體的特征信息.

3)為了改善大量重復(fù)的池化操作丟失信息的問題.本文提出了一種基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行物體識別，該模型充分利用了網(wǎng)絡(luò)中不同層特征圖的局部和全局信息.減少大量池化操作丟失特征信息的問題.實現(xiàn)更準(zhǔn)確物體識別的目的.

4)將步驟3)的方法引入到步驟2)當(dāng)中，通過步驟1)-步驟 3)建立優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法，利用該算法對相關(guān)實例進(jìn)行分析，并與其他算法進(jìn)行對比和分析.

5 實例分析

5.1 CIFAR100數(shù)據(jù)集實驗

為了驗證本文所提算法對物體的識別效果，本節(jié)將通過對CIFAR100數(shù)據(jù)集[19，38]進(jìn)行分類識別測試，并與主流物體識別算法進(jìn)行對比分析.

5.1.1 數(shù)據(jù)集及識別過程說明

CIFAR100數(shù)據(jù)集共有100個類別，每個類別包含500張訓(xùn)練圖片和100張測試圖片，總共包含60000張圖像.部分示

例如圖2所示.本文利用標(biāo)準(zhǔn)數(shù)據(jù)拓展策略對CIFAR100數(shù)據(jù)集進(jìn)行處理[20]，具體為：首先對數(shù)據(jù)集所有圖片邊界填充3個 0像素，原圖像調(diào)整為38×38像素；再隨機(jī)裁剪，得到尺寸為32×32圖像.

圖2 CIFAR100數(shù)據(jù)集部分示例圖片F(xiàn)ig.2 Some example pictures of CIFAR100 data set

本實驗中所采用的深度學(xué)習(xí)模型基于Pytorch實現(xiàn)，在Titan-X GPU上進(jìn)行訓(xùn)練.深度學(xué)習(xí)模型中激活函數(shù)為本文第2部分所提出的激活函數(shù)，深度學(xué)習(xí)模型的網(wǎng)絡(luò)架構(gòu)為第3部分提出的架構(gòu).初始學(xué)習(xí)率是0.1，模型訓(xùn)練到60和100個Epoch時學(xué)習(xí)率降為其1/10，訓(xùn)練共持續(xù)180個Epoch.本文所提出的模型基于隨機(jī)梯度下降法進(jìn)行訓(xùn)練，每個批次樣本的數(shù)量被設(shè)置為128.

5.1.2 物體識別結(jié)果與分析

利用本文提出物體識別算法與其他主流物體識別算法分別對CIFAR100數(shù)據(jù)集進(jìn)行物體識別，識別結(jié)果如表2所示.

表2 CIFAR100數(shù)據(jù)集物體識別結(jié)果對比表Table 2 Comparison table of CIFAR100 data set object recognition results

通過表2可知，本文提出的基于優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法的識別精度比傳統(tǒng)物體識別算法、其它深度學(xué)習(xí)算法的識別精度有所提升，具有一定的優(yōu)勢.具體來說，文獻(xiàn)[21，22]所提出的傳統(tǒng)機(jī)器學(xué)習(xí)方法對物體識別錯誤率分別為35.68%和32.39%.傳統(tǒng)機(jī)器學(xué)習(xí)方法是上述所列類別方法當(dāng)中精度最低的一類.這是因為傳統(tǒng)機(jī)器學(xué)習(xí)方法對CIFAR100數(shù)據(jù)集的模型訓(xùn)練效果較差.文獻(xiàn)[23-25]所提出的深度學(xué)習(xí)方法的物體識別錯誤率分別25.28%、26.52%和24.46%.它們的識別精度基本處于一個量級水平，但是文獻(xiàn)[23-25]所提出的方法的識別精度較傳統(tǒng)機(jī)器學(xué)習(xí)方法提升7%左右.這主要得益于深度學(xué)習(xí)模型能夠?qū)Υ笠?guī)模數(shù)據(jù)進(jìn)行建模，將得到一個更為合理、可靠的物體識別模型.它表明深度學(xué)習(xí)方法適用于物體的識別.文獻(xiàn)[26-28]所提出的深度學(xué)習(xí)的物體識別錯誤率分別為21.95%、21.27%和21.05%.它們是物體識別精度高于文獻(xiàn)[23-25]所提出的深度學(xué)習(xí)方法.這是因為文獻(xiàn)[23-25]所提出的深度學(xué)習(xí)模型結(jié)構(gòu)比較簡單，還不能完全提取獲得所有物體的特征信息.它也進(jìn)一步證明了基于深度學(xué)習(xí)的物體識別模型能夠獲得比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的識別效果.本文所提方法錯誤率最低，僅為19.32%.這主要是因為本文所提方法較文獻(xiàn)[23-28]所提方法，不僅優(yōu)化了深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)，而且還改進(jìn)了深度學(xué)習(xí)模型中的激活函數(shù)部分.

5.2 ImageNet數(shù)據(jù)集實驗

為了進(jìn)一步驗證本文所提算法對物體的識別效果，本節(jié)將通過對ImageNet數(shù)據(jù)集[29]進(jìn)行分類識別測試，并與主流物體識別算法進(jìn)行對比分析.

5.2.1 數(shù)據(jù)集及識別過程說明

ImageNet數(shù)據(jù)集是用于ImageNet Large Scale Visual Recognition Challenge(ILSVRC)的子集.部分示例如圖3所示.

圖3 ImageNet數(shù)據(jù)集部分示例圖片F(xiàn)ig.3 Some sample pictures of ImageNet dataset

本實驗中所采用的深度學(xué)習(xí)模型基于Pytorch實現(xiàn)，在Titan-X GPU上進(jìn)行訓(xùn)練.深度學(xué)習(xí)模型中激活函數(shù)為本文第2部分所提出的激活函數(shù)，深度學(xué)習(xí)模型的網(wǎng)絡(luò)架構(gòu)為第3部分提出的架構(gòu).初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率共下降3次.訓(xùn)練圖片先被調(diào)整到256×256，并裁剪至224×224，再輸入到本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)，在模型訓(xùn)練過程中不使用其它的數(shù)據(jù)增強(qiáng)技術(shù).所有的測試結(jié)果均為平均準(zhǔn)確率.

5.2.2 物體識別結(jié)果與分析

利用本文提出的算法與其他主流算法分別對該數(shù)據(jù)集進(jìn)行識別，結(jié)果如表3所示.

表3 ImageNet數(shù)據(jù)集物體識別結(jié)果對比表Table 3 Comparison table of object recognition results in ImageNet dataset

通過表3可知，文獻(xiàn)[31-33]所提出的深度學(xué)習(xí)方法的物體識別正確率分別59.29%、59.15%和60.02%.它們的識別精度基本處于一個量級水平，較傳統(tǒng)的機(jī)器學(xué)習(xí)方法已有較大幅度提升，提升精度高達(dá)14%.這是因為傳統(tǒng)機(jī)器學(xué)習(xí)方法對包括大量樣本的ImageNet數(shù)據(jù)集的模型訓(xùn)練效果較差，它直接導(dǎo)致實際物體識別精度低.同時，文獻(xiàn)[31-33]所提出的深度學(xué)習(xí)方法獲得的較高識別精度得益于深度學(xué)習(xí)模型能夠?qū)Υ笠?guī)模數(shù)據(jù)訓(xùn)練得到一個更為合理、可靠的物體識別模型.文獻(xiàn)[34-37]所提出的深度學(xué)習(xí)的物體識別正確率分別為65.07%、66.31%、68.80%和69.97%.它們是物體識別精度高于文獻(xiàn)[31-33]所提出的深度學(xué)習(xí)方法，提升精度最少的也達(dá)到了5%.這是因為文獻(xiàn)[31-33]所提出的深度學(xué)習(xí)模型結(jié)構(gòu)比較簡單，不能提取得到ImageNet數(shù)據(jù)集各類復(fù)雜圖片所蘊(yùn)含的特征信息.同時，通過對文獻(xiàn)[31-33]的測試結(jié)果進(jìn)行分析，可知該結(jié)果也進(jìn)一步證明了基于深度學(xué)習(xí)的物體識別算法能夠得到比傳統(tǒng)機(jī)器學(xué)習(xí)方法更好的識別精度.本文所提方法得到物體識別正確率高達(dá)72.38%，它是所有方法當(dāng)中識別精度最高的.它充分證明了本文提出的方法能夠更好地提取得到ImageNet數(shù)據(jù)集各類復(fù)雜圖片所蘊(yùn)含的特征信息，進(jìn)而大幅度提升物體識別準(zhǔn)確率.

總之，傳統(tǒng)分類算法在物體識別任務(wù)中存在識別精度不高和穩(wěn)定性差的缺點，它說明傳統(tǒng)物體識別方法對于物體識別效果難以進(jìn)一步提升.深度學(xué)習(xí)分類算法在上述CIFAR100數(shù)據(jù)集和ImageNet數(shù)據(jù)集中的識別精度明顯地優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法，它從側(cè)面證明了深度學(xué)習(xí)模型所具有的優(yōu)勢.此外，深度學(xué)習(xí)模型的物體識別算法具有很好的穩(wěn)定性和魯棒性，其中，本文提出的基于優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法，相比其他提出的深度學(xué)習(xí)識別算法如Hashnet-Deep learning、Sparse CNN等，它可以得到最好的識別精度.這是因為本文提出的深度學(xué)習(xí)模型不但解決了模型網(wǎng)絡(luò)架構(gòu)大量池化操作丟失信息問題，而且還解決了模型的激活函數(shù)問題.

6 結(jié) 論

為了更好地對物體進(jìn)行識別，本文根據(jù)待識別物體特性構(gòu)建性能更優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)，并提出了一種參數(shù)形式統(tǒng)一且可學(xué)習(xí)的MPELU，它可以進(jìn)行分段線性函數(shù)和指數(shù)非線性函數(shù)的表述，提升卷積神經(jīng)網(wǎng)絡(luò)的非線性建模能力.同時，為了減少深度學(xué)習(xí)模型中大量重復(fù)的池化操作丟失各類信息等問題，本文提出了一種全新的全局卷積神經(jīng)網(wǎng)絡(luò)模型，該模型充分利用了網(wǎng)絡(luò)中不同層特征圖的局部和全局信息.它可以減少大量池化操作丟失特征信息的問題.并提出了優(yōu)化非線性激活函數(shù)-全局卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法.

CIFAR100數(shù)據(jù)集和ImageNet數(shù)據(jù)集的實驗結(jié)果表明，本文所提物體識別方法識別精度最高，高達(dá)80.68%和72.38%.這是因為本文較好地解決了深度學(xué)習(xí)模型過擬合、非線性建模能力若、大量重復(fù)的池化操作丟失信息等問題.同時，本文所提物體識別方法能夠較好地對物體的特征信息進(jìn)行提取，它有利于提升CIFAR100數(shù)據(jù)集和ImageNet數(shù)據(jù)集的實驗效果.所以，本文所提物體識別方法取得了最好的識別精度.但是，本文所提方法在ImageNet數(shù)據(jù)集上的識別精度低于CIFAR100數(shù)據(jù)集識別精度，這主要是因為ImageNet數(shù)據(jù)集的物體類別遠(yuǎn)大于CIFAR100數(shù)據(jù)集，其物體類別相似度遠(yuǎn)高于CIFAR100數(shù)據(jù)集的物體類別相似，這些信息對后續(xù)的深度學(xué)習(xí)建模訓(xùn)練產(chǎn)生了較大影響.因而，后續(xù)的相關(guān)工作可以專門針對該類問題進(jìn)行深入細(xì)致研究.