一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)相關(guān)性剪枝算法

李小夏，李孝安

（西北工業(yè)大學(xué) 計算機(jī)學(xué)院，陜西 西安 710129）

神經(jīng)網(wǎng)絡(luò)剪枝算法就是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練好之后，以一定的標(biāo)準(zhǔn)或者允許誤差，刪除不重要的網(wǎng)絡(luò)節(jié)點(diǎn)以及網(wǎng)絡(luò)中部分節(jié)點(diǎn)連接的算法[1]。通過剪枝算法，能夠使得神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)得到簡化，計算性能（如計算時間）得到優(yōu)化，同時為神經(jīng)網(wǎng)絡(luò)的后期處理，比如神經(jīng)網(wǎng)絡(luò)的知識提取等要求網(wǎng)絡(luò)功能齊全，結(jié)構(gòu)簡單的操作打下基礎(chǔ)，以防止由于網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，造成計算出現(xiàn)組合爆炸的問題[2]。

當(dāng)前的剪枝算法大致分為3類：1）權(quán)衰減法[3]：權(quán)衰減法屬于正則化方法，它通過在網(wǎng)絡(luò)目標(biāo)函數(shù)中引入表示結(jié)構(gòu)復(fù)雜性的正則化項來達(dá)到降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的目的。2）靈敏度計算方法[4]：靈敏度計算方法是指在網(wǎng)絡(luò)進(jìn)行訓(xùn)練時或在網(wǎng)絡(luò)訓(xùn)練結(jié)束后，計算節(jié)點(diǎn)（輸入節(jié)點(diǎn)以及隱層節(jié)點(diǎn)）或連接權(quán)對網(wǎng)絡(luò)誤差的貢獻(xiàn)（靈敏度），刪除那些貢獻(xiàn)最小的節(jié)點(diǎn)或權(quán)。3）相關(guān)性剪枝方法[5]：根據(jù)節(jié)點(diǎn)間相關(guān)性或相互作用進(jìn)行剪枝，也是一種很重要的剪枝方法，最常見的做法是先判斷隱節(jié)點(diǎn)輸出之間的相關(guān)性，然后合并具有較大相關(guān)性的隱節(jié)點(diǎn)。

文中主要是對相關(guān)性剪枝算法進(jìn)行研究，首先介紹相關(guān)性剪枝算法的思想和計算方法，然后提出新的基于誤差傳遞的改進(jìn)方案，最后通過實驗建立神經(jīng)網(wǎng)絡(luò)，并對網(wǎng)絡(luò)進(jìn)行剪枝。將新的剪枝算法獲得的網(wǎng)絡(luò)與標(biāo)準(zhǔn)算法剪枝得到的網(wǎng)絡(luò)進(jìn)行對比，新算法下的網(wǎng)絡(luò)相比于標(biāo)準(zhǔn)算法的網(wǎng)絡(luò)的精度得到提高。

1 相關(guān)性剪枝算法

相關(guān)性剪枝算法的核心就是查找隱層節(jié)點(diǎn)之間的相關(guān)性，合并那些相關(guān)性比較高的節(jié)點(diǎn)，刪除那些方差較小的節(jié)點(diǎn)，也就是輸出值幾乎為固定值的節(jié)點(diǎn)，并將去掉這些節(jié)點(diǎn)后引起的改變傳遞到下一層的權(quán)值連接以及輸出節(jié)點(diǎn)的偏置值中。

1.1 相關(guān)性

相關(guān)性在剪枝過程中實際上就是隱層節(jié)點(diǎn)輸出向量之間的線性相關(guān)性。當(dāng)某兩個節(jié)點(diǎn)之間的線性相關(guān)性大于某一標(biāo)準(zhǔn)的時候，實際上可以認(rèn)為兩個隱層節(jié)點(diǎn)的輸出是線性相關(guān)的，比如說第i個節(jié)點(diǎn)和第j節(jié)點(diǎn)，存在:

而下一層第k個節(jié)點(diǎn)的輸出：

M為隱層節(jié)點(diǎn)總數(shù)，vm對第m個隱層節(jié)點(diǎn)的輸出，Ok為第k個輸出節(jié)點(diǎn)的輸出，wbk為第k個節(jié)點(diǎn)的偏置值。明顯可以用vi代替vj，重新提取vi系數(shù)，代替wki，相應(yīng)的也可以找出新的wbk。從而可以使用vi代替vj，即表示改變第i個節(jié)點(diǎn)與下一層節(jié)點(diǎn)的連接權(quán)值以及下一層節(jié)點(diǎn)的偏置值，就可以刪除掉第j個節(jié)點(diǎn)。

1.2 相關(guān)性的計算

相關(guān)性算法要求先算出隱層節(jié)點(diǎn)的輸出結(jié)果，即隱層輸出數(shù)值矩陣，選取tansig作為隱層激活函數(shù)時，每個值位于[-1 1]區(qū)間上，然后算出每個隱層節(jié)點(diǎn)輸出之間的相關(guān)度以及各節(jié)點(diǎn)的輸出的方差。

第i個隱層節(jié)點(diǎn)和第j個隱層節(jié)點(diǎn)的相關(guān)度公式為：

實際上就是計算向量的線性相關(guān)度的公式。

各節(jié)點(diǎn)的輸出的方差公式如下：

其中P是隱層輸出的組數(shù)，vip是第i個隱層節(jié)點(diǎn)的第p組輸出，vi為第i個隱層節(jié)點(diǎn)的輸出均值。

按以上公式計算后輸出序列呈以下5種情況：

1）兩個隱節(jié)點(diǎn)輸出序列高度正相關(guān)；

2）兩個隱節(jié)點(diǎn)輸出序列高度負(fù)相關(guān)；

3）兩個隱節(jié)點(diǎn)輸出序列相關(guān)性不高；

4）某隱節(jié)點(diǎn)輸出序列方差較??；

5）某隱節(jié)點(diǎn)輸出序列方差較大。

可以處理的是線性相關(guān)度高的以及方差較小的隱層節(jié)點(diǎn)。

1）當(dāng)兩個節(jié)點(diǎn)線性相關(guān)度高時，對于第k個輸出節(jié)點(diǎn)：

最后得到：

其中， a，b 的值由式（1）得：

wbk為第k個輸出節(jié)點(diǎn)的偏置值。

2）方差較小的隱層節(jié)點(diǎn)，可以認(rèn)為輸出為一個固定值，設(shè)第i個節(jié)點(diǎn)方差較小則直接用計算式可以得到：

綜上兩種方法，可以將剪枝后的相關(guān)改變傳遞到網(wǎng)絡(luò)權(quán)值以及下一層的偏置值中。

但在算法中，對于Rij和取值在哪個范圍才對之刪除并沒有明確的給出，有的材料上[5-6]，給出了:Rij＞θ1且＞θ2，＞θ2時刪除兩個相關(guān)節(jié)點(diǎn)中的一個；當(dāng)＜θ2，則認(rèn)為該節(jié)點(diǎn)的輸出為固定值，可刪除，其中θ1和θ2是預(yù)設(shè)的閾值，但是到底這兩個值如何給出并沒有給出理論依據(jù)，在網(wǎng)絡(luò)上也搜索的類似的剪枝算法的課件，同樣在θ1和θ2的取值上也沒有給出明確的方法。

平生沒有求過人的父親，將給我攢好的下學(xué)期的所有費(fèi)用，換成名牌酒和茶葉，趁夜色帶我去校長家。父親拖著那條在車禍中被撞瘸的右腿，走起路來很是艱難。

2 相關(guān)性剪枝算法的改進(jìn)

實際計算時，由于隱層節(jié)點(diǎn)的方差計算完之后會有很多的方差值接近0而不等于0，選取那些接近0的方差，刪除對應(yīng)的隱層節(jié)點(diǎn)能夠有效的簡化網(wǎng)絡(luò)結(jié)構(gòu)，但是如何選擇方差允許的上限θ2就是實際刪除操作中要注意的問題?？紤]到如果每次網(wǎng)絡(luò)結(jié)果允許存在一定的誤差且隱層的實際輸出在這個誤差允許范圍內(nèi)便認(rèn)為其值是合理的，那么以誤差傳遞作為基本思想，給出每個隱層節(jié)點(diǎn)的實際值與節(jié)點(diǎn)輸出的均值的差，如果差值在一定的范圍內(nèi)則認(rèn)為是合理的、沒有誤差的，并在計算總結(jié)所有節(jié)點(diǎn)誤差后，刪除沒有誤差的隱層節(jié)點(diǎn)。于是怎么計算由輸出誤差傳遞到隱層節(jié)點(diǎn)允許的誤差就是至關(guān)重要的。

按照誤差傳遞的思想，假設(shè)神經(jīng)網(wǎng)絡(luò)[7]在當(dāng)前的精度下，允許誤差下降率為δ，則對于第k個輸出節(jié)點(diǎn)，如期望值為Ak，則此處允許誤差為δ*Ak，相應(yīng)的每個隱層節(jié)點(diǎn)允許的誤差為 xi，則：

此時可做兩種假設(shè)，如：假設(shè)每一個隱層節(jié)點(diǎn)的輸出誤差都相等，即：xi=xj，此時重新計算時：

則對于所有的輸出節(jié)點(diǎn)，允許誤差：

此處的x對所有隱層節(jié)點(diǎn)都是相同的。

另一種假設(shè)為：每個隱層節(jié)點(diǎn)的輸出乘以權(quán)值后誤差相等，即wkixi=wkjxj，此時重新計算時：

則對于所有的輸出節(jié)點(diǎn)，允許誤差：

此處的xi分別對應(yīng)到第i個隱層節(jié)點(diǎn)。

以兩種方式計算的xi，即為希望求得的各節(jié)點(diǎn)的允許誤差，那么在重新計算隱層節(jié)點(diǎn)輸出方差時，若：

此處vi是第i個節(jié)點(diǎn)輸出的均值。

則令vip-vi=0，計入到方差，計算公式（4）的值，這樣各個節(jié)點(diǎn)的誤差值都能求出。最后將所有方差為0的節(jié)點(diǎn)刪除掉，并根據(jù)公式（9），計算固定值輸出節(jié)點(diǎn)的刪除下的網(wǎng)絡(luò)變化，修正權(quán)值和偏置值，以簡化網(wǎng)絡(luò)的結(jié)構(gòu)。

3 實驗結(jié)果

選取數(shù)據(jù)是UCI機(jī)器學(xué)習(xí)數(shù)據(jù)中的Car Evaluation Data-base，是根據(jù)車的價格和車身配置進(jìn)行選取的分類問題，將其中 1 728 個樣例的 501～600，1 001～1 100，1 601～1 700 樣例抽取出來作為測試樣例，其余1 428個作為網(wǎng)絡(luò)的訓(xùn)練樣例。

網(wǎng)絡(luò)最開始選擇時，從5～40個隱層節(jié)點(diǎn)進(jìn)行遍歷，網(wǎng)絡(luò)權(quán)值初始化全為0，偏置值全為1，找到17個隱層節(jié)點(diǎn)時網(wǎng)絡(luò)的誤差精度相對不錯，達(dá)到0.013。而后開始使用相關(guān)性剪枝。 計算時發(fā)現(xiàn)[11 12]節(jié)點(diǎn)的方差為 0，[2，17][4，7，13][6，8]幾個節(jié)點(diǎn)的相關(guān)性達(dá)到0.94以上。如果單獨(dú)刪除11，12節(jié)點(diǎn)，網(wǎng)絡(luò)的誤差精度不變，為 0.013；單獨(dú)刪除[2，17][4，7，13][6，8]中17，7，13，8節(jié)點(diǎn)，網(wǎng)絡(luò)的誤差精度為0.030；使用改進(jìn)方法，A 設(shè)為 1，δ設(shè)為 0.01，使 xi=xj，則可刪除節(jié)點(diǎn)還有 9，14，在刪除9，11，12，14時網(wǎng)絡(luò)的誤差精度為 0.019，上升0.06，相對于以線性相關(guān)刪除 17，7，13，8節(jié)點(diǎn)后的網(wǎng)絡(luò)的誤差0.030，新剪枝方法獲得的網(wǎng)絡(luò)性能還是不錯的。

以下為5個網(wǎng)絡(luò)的重新訓(xùn)練后，訓(xùn)練以及測試結(jié)果：net_0 原網(wǎng)絡(luò)（未剪枝網(wǎng)絡(luò)）；net_1 刪除 9，11，12，14 節(jié)點(diǎn)的網(wǎng)絡(luò)（新算法網(wǎng)絡(luò)）；net_2 刪除 7，8，13，17 節(jié)點(diǎn)的網(wǎng)絡(luò)（刪除線性相關(guān)節(jié)點(diǎn)生成的網(wǎng)絡(luò)，此處的θ1=0.94）；net_3刪除7，11，12，13，14，17 節(jié)點(diǎn)的網(wǎng)絡(luò)（標(biāo)準(zhǔn)相關(guān)性算法剪枝網(wǎng)絡(luò)，此處的 θ1=0.94，θ2=0.94）；net_4是直接以前述初始化權(quán)值訓(xùn)練生成的13個節(jié)點(diǎn)的網(wǎng)絡(luò)，故而訓(xùn)練前的精度計算沒有意義。

表1 5種神經(jīng)網(wǎng)絡(luò)參數(shù)對比Tab.1 Comparison of five artificial neural networks

在訓(xùn)練前，對比 net_0 與 net_1、net_2、net_3，新算法下的net_1相較于原網(wǎng)絡(luò)，在減少了4個節(jié)點(diǎn)的情況下訓(xùn)練前的訓(xùn)練精度以及測試精度都稍微下降，但是比之刪去線性相關(guān)節(jié)點(diǎn)的net_2，同樣減少4個節(jié)點(diǎn)的情況下，網(wǎng)絡(luò)的樣本精度和測試精度高出近4%，足見采用新的剪切算法對于網(wǎng)絡(luò)精度的影響要小得多。而相對于標(biāo)準(zhǔn)剪枝算法下的net_3，net_1多出兩個節(jié)點(diǎn)，訓(xùn)練前的樣本精度和測試精度都也要高出近4%。

訓(xùn)練之后，對比 net_1、net_2、net_3、net_4，樣本精度和測試精度最高的是net_2，即刪去相關(guān)性節(jié)點(diǎn)的網(wǎng)絡(luò)，但是新算法下的net_1與之相差不大，在考慮訓(xùn)練樣本與測試樣本的選取因素下，兩種方法的訓(xùn)練后的結(jié)果幾乎相差無幾。而net_1與標(biāo)準(zhǔn)算法net_3和直接生成神經(jīng)網(wǎng)絡(luò)的net_4相比，網(wǎng)絡(luò)無論是樣本精度還是測試精度都要高出3-4%，存在較大優(yōu)勢。

時間消耗上，對比可見，網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)越多，訓(xùn)練的時間開銷越大。而在同樣多隱層節(jié)點(diǎn)數(shù)的幾個網(wǎng)絡(luò)中，net_1的時間消耗最少，當(dāng)然因為機(jī)器運(yùn)行時的實際情況不同，也會對網(wǎng)絡(luò)的時間開銷有影響，此條僅參考。

綜上實驗對比，新算法在神經(jīng)網(wǎng)絡(luò)直接剪枝后，無論是樣本精度還是測試精度都高于其它的基于相關(guān)性剪枝算法所獲得的精度，剪枝效果明顯不錯。重新對網(wǎng)進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)的樣本精度和測試精度略低于刪去線性相關(guān)節(jié)點(diǎn)的網(wǎng)絡(luò)，但是相差不大。而比之標(biāo)準(zhǔn)相關(guān)性網(wǎng)絡(luò)和直接訓(xùn)練13個節(jié)點(diǎn)的網(wǎng)絡(luò)，精度要高得多。訓(xùn)練時間開銷上，新算法生成的網(wǎng)絡(luò)略少。

4 結(jié) 論

文中關(guān)于相關(guān)性算法的改進(jìn)是研究神經(jīng)網(wǎng)絡(luò)知識規(guī)則提取方法過程中發(fā)現(xiàn)的問題并進(jìn)行研究和改進(jìn)。首先通過不斷增長隱層節(jié)點(diǎn)的方法選取節(jié)點(diǎn)數(shù)，而后通過相關(guān)性算法和改進(jìn)算法對網(wǎng)絡(luò)進(jìn)行了剪枝，以達(dá)到簡化網(wǎng)絡(luò)結(jié)構(gòu)的目的。實驗表明新算法的網(wǎng)絡(luò)剪枝方面不僅能夠盡量減少節(jié)點(diǎn)數(shù)，還能保證對網(wǎng)絡(luò)精度影響較小，對比于其他方法下的網(wǎng)絡(luò)有一定的優(yōu)勢。目前給出的方法思路和計算相對簡單，許多地方有待改進(jìn)，今后將進(jìn)一步對之進(jìn)行研究。

[1]Reed R.Pruning algorithms-a survey[J].IEEE Trans Neural Networks，1993，4（5）:740-747.

[2]周志華，陳世福.神經(jīng)網(wǎng)絡(luò)規(guī)則抽取[J].計算機(jī)研究與發(fā)展，2002:39（4）:398-405.

ZHOU Zhi-hua，CHEN Shi-fu.Rule extraction from neural networks[J].Journal of Computer Research and Development，2002，39（4）:398-405.

[3]雷素娟.一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)及其在股市中的應(yīng)用[D].泉州：華僑大學(xué)，2009.

[4]朱萬富.基于粗集神經(jīng)網(wǎng)絡(luò)的故障診斷專家系統(tǒng)研究[D].青島：中國石油大學(xué)（華東），2007.

[5]宋清昆，郝敏.基于改進(jìn)相關(guān)性剪枝算法的B P神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化[J].控制理論與應(yīng)用，2006，25（12）:4-6

SONG Qing-kun，HE Min.Structural optimization of BP neural network based on correlation pruning algorithm[J].Control Theory and Applications， 2006， 25（12）:4-6.

[6]趙壽玲.BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法的研究與應(yīng)用[D].蘇州：蘇州大學(xué)，2010.

[7]杜雙育，袁紅波，王先培.基于BP神經(jīng)網(wǎng)絡(luò)和氣象統(tǒng)計的絕緣子污閃預(yù)警研究[J].陜西電力，2012（11）：8-11，33.

DU Shuang-yu，YUAN Hong-bo，WANG Xian-pei.Early warning of insulator pollution flashover based on BP Network and meteorological statistics[J].Shaanxi Electric Power，2012（11）：8-11，33.