深度卷積神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)更新方法研究

楊曼，黃遠(yuǎn)民,石遠(yuǎn)豪

（1.佛山職業(yè)技術(shù)學(xué)院,廣東 佛山 528137；2.佛山賽寶信息產(chǎn)業(yè)技術(shù)研究院有限公司,廣東 佛山 528000）

1 權(quán)重參數(shù)更新方法

1.1 隨機(jī)梯度下降法（SGD）

一般而言，損失函數(shù)很復(fù)雜，參數(shù)空間龐大，而通過巧妙的使用梯度來尋找函數(shù)最小值的方法就是梯度法，梯度表示的是各點處的函數(shù)值減小最多的方向。在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，尋找最小值的梯度法稱為梯度下降法，由于神經(jīng)網(wǎng)絡(luò)中選取的訓(xùn)練數(shù)據(jù)多為隨機(jī)批量數(shù)據(jù)，因此稱為隨機(jī)梯度下降法。用數(shù)學(xué)公式來表示方法如下式所示：

1.2 Momentum

在使用SGD訓(xùn)練參數(shù)時，SGD每次都會在當(dāng)前位置上沿著負(fù)梯度方向更新，并不考慮之前的方向梯度大小，有時候會下降的非常慢，并且可能會陷入到局部最小值中，動量的引入就是為了加快學(xué)習(xí)過程，引入一個新的變量去積累之前的梯度（通過指數(shù)衰減平均得到），實現(xiàn)加速學(xué)習(xí)過程的目的。用數(shù)學(xué)公式來表示方法如下式所示：

這里變量v表示物體在梯度方向上的受力，遵循在力的作用下，物體的速度增加這一法則，v初始為None，若當(dāng)前的梯度方向與累積的歷史梯度方向一致，則當(dāng)前的梯度會被加強(qiáng)，從而這一步下降的幅度更大。若當(dāng)前的梯度方向與累積的梯度方向不一致，則會減弱當(dāng)前下降的梯度幅度。a初始值設(shè)定為0.5、0.9或者0.99。

1.3 AdaGrad

AdaGrad算法的思想是每一次更新參數(shù)，不同的參數(shù)使用不同的學(xué)習(xí)率。將每一個參數(shù)的每一次迭代的梯度取平方累加后再開方，用全局學(xué)習(xí)率除以這個數(shù)，作為學(xué)習(xí)率的動態(tài)更新。用數(shù)學(xué)公式來表示AdaGrad方法如下式所示：這里變量h保存了所有梯度值的平方和，在更新參數(shù)時，通過乘以來調(diào)整學(xué)習(xí)的尺度，參數(shù)元素中被大幅更新的元素的學(xué)習(xí)率將變小。從算法AdaGrad中可以看出，隨著算法不斷迭代，h會越來越大，整體的學(xué)習(xí)率會越來越小。

1.4 Adam

Adam方法計算了梯度的指數(shù)移動均值，融合了RMSProp和Momentum的方法，Adam會設(shè)置3個超參數(shù)，一個是學(xué)習(xí)率，標(biāo)準(zhǔn)值設(shè)定為0.001，另外兩個超參數(shù)beta1和beta2控制了這些移動均值的衰減率，移動均值的初始值beta1、beta2值接近于1，在深度學(xué)習(xí)庫中，標(biāo)準(zhǔn)的設(shè)定值是beta1=0.9、beta2=0.999。

2 算法對比

MNIST數(shù)據(jù)集60000個訓(xùn)練數(shù)據(jù)樣本，構(gòu)建5層神經(jīng)網(wǎng)絡(luò)，輸入層數(shù)據(jù)大小為784，隱藏層神經(jīng)元個數(shù)分別為600、400、200，輸出層神經(jīng)元個數(shù)為10，激活函數(shù)用relu。

其迭代后損失函數(shù)結(jié)果如下表1所示（保留4位有效數(shù)字）。

表1 損失函數(shù)值

根據(jù)以上數(shù)據(jù)可得到損失AdaGrad函數(shù)最小為.0105，Adam次之且相差不大，其余兩種方法學(xué)習(xí)效率較低。

其迭代后損失函數(shù)結(jié)果如下表2所示（保留4位有效數(shù)字）。

表2 損失函數(shù)值

根據(jù)以上數(shù)據(jù)可得到Adam損失函數(shù)最小為。0.0019，在神經(jīng)網(wǎng)絡(luò)層數(shù)不變，神經(jīng)元個數(shù)不變的情況下，增加訓(xùn)練樣本的迭代次數(shù)，AdaGrad的損失函數(shù)更新速度變慢，Adam方法損失函數(shù)更新速度更快、效果更好，此時損失函數(shù)值更小。

3 實例應(yīng)用

以MNIST數(shù)據(jù)集為例,分別采用SGD、Momentum、AdaGrad、Adam方法對目標(biāo)函數(shù)進(jìn)行優(yōu)化，構(gòu)建以下深度CNN網(wǎng)絡(luò)結(jié)構(gòu)圖，見圖1。完成對該數(shù)據(jù)集中手寫數(shù)字的分類識別。

圖1 深度網(wǎng)絡(luò)結(jié)構(gòu)圖

其中Conv為卷積層，主要進(jìn)行卷積運算，相當(dāng)于圖像處理中的濾波器運算。Pool為池化層，主要是縮小高、長方向上的空間運算。Dropout是一種在學(xué)習(xí)的過程中隨機(jī)刪除神經(jīng)元的抑制過擬合問題的方法，訓(xùn)練時隨機(jī)選出隱藏層的神經(jīng)元，然后將其刪除，被刪除的神經(jīng)元不再進(jìn)行信號的傳遞。softmax函數(shù)為輸出層函數(shù)，softmax函數(shù)的輸出是0.0到1.0之間的實數(shù)。采用上述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行測試，當(dāng)epochs=12，得到準(zhǔn)確率如下表3所示。

表3 測試結(jié)果

結(jié)果顯示，采用Adam進(jìn)行目標(biāo)函數(shù)優(yōu)化，分類識別準(zhǔn)確率為0.9951。設(shè)定當(dāng)epochs=20，得到準(zhǔn)確率如下表4所示。

表4 測試結(jié)果

結(jié)果顯示，增大epochs后，采用Adam 進(jìn)行目標(biāo)函數(shù)優(yōu)化，分類識別準(zhǔn)確率仍為最高0.9955。增加了0.04%，但計算速度會減慢。

4 結(jié)語

采用SGD、Momentum、AdaGrad、Adam 4種權(quán)重參數(shù)更新方法，SGD下降過程更為曲折，因噪聲使梯度更新的準(zhǔn)確率下降，同時SGD會在某一維度上梯度更新較大產(chǎn)生振蕩，可能會越過最優(yōu)解并逐漸發(fā)散。加入動量Momentum梯度移動更為平滑，但效率仍偏低。AdaGrad可根據(jù)自變量在各個維度的梯度值大小來調(diào)整各個維度上的學(xué)習(xí)率，避免統(tǒng)一的學(xué)習(xí)率難以適應(yīng)所有維度的問題。Adam融合了Momentum、AdaGrad的方法，Adam的更新過程類似Momentum，但相比之下，Adam晃動的程度有所減輕。以MNIST數(shù)據(jù)集為樣本集，構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分別采用SGD、Momentum、AdaGrad、Adam方法對目標(biāo)函數(shù)進(jìn)行優(yōu)化，完成對該數(shù)據(jù)集中手寫數(shù)字的分類識別，結(jié)果對比顯示采用方法，識別準(zhǔn)確率為99.55%。