基于灰度關(guān)聯(lián)分析法的卷積神經(jīng)網(wǎng)絡(luò)算法優(yōu)化

劉夢(mèng)雅，毛劍琳

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

近年來(lái)，深度學(xué)習(xí)的發(fā)展使得機(jī)器學(xué)習(xí)取得了重要突破。其中，卷積神經(jīng)網(wǎng)絡(luò) (CNN)在圖像處理等方面的研究成果十分矚目。它不但可以像人類視覺(jué)系統(tǒng)一樣逐層提取得到圖像的深層特征，提高網(wǎng)絡(luò)的識(shí)別率；而且它提取到的特征具有較強(qiáng)的平移不變性，解決了由于圖像變換引起的特征提取不準(zhǔn)確的問(wèn)題[1]。由于存在很多優(yōu)點(diǎn)，目前卷積神經(jīng)網(wǎng)絡(luò)在虹膜識(shí)別、人臉識(shí)別、圖像識(shí)別、語(yǔ)音識(shí)別等許多方面有著廣泛的應(yīng)用。

Lee等人[2]使用分層生成模型改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)來(lái)處理高維圖像，大幅提高了準(zhǔn)確率；Alex等[3]在處理圖像識(shí)別問(wèn)題時(shí)，構(gòu)建了一種大型深層卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)測(cè)試發(fā)現(xiàn)，識(shí)別率得到了明顯提高。目前提出的很多改進(jìn)算法都取得了良好的識(shí)別效果，但對(duì)訓(xùn)練數(shù)據(jù)量的要求仍然較大，如果數(shù)據(jù)量較小就會(huì)導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)前幾層得不到充分訓(xùn)練。為解決這一問(wèn)題，權(quán)值的初始化操作是一個(gè)改進(jìn)方向，文獻(xiàn)[4]提出利用稀疏自動(dòng)編碼器學(xué)習(xí)輸入圖像的特征以初始化卷積神經(jīng)網(wǎng)絡(luò)的卷積核，之后文獻(xiàn)[5]提出采用 PCA 改進(jìn)初始權(quán)值的方法，但效果不佳，所以濾波器初值的優(yōu)化仍然比較困難。

此外，卷積核的大小、池化模型以及特征圖的個(gè)數(shù)都會(huì)影響CNN的運(yùn)行速度和識(shí)別率。文獻(xiàn)[6]比較了卷積核大小為19、15、11、7、3共5種情況下的實(shí)驗(yàn)結(jié)果，并得出結(jié)論：卷積核較小的情況更能擬合原始變化趨勢(shì)，但是時(shí)間消耗巨大。文獻(xiàn)[1]對(duì)不同池化模型進(jìn)行了比較學(xué)習(xí)，并提出了一種改進(jìn)的池化模型，使識(shí)別率得到了一定的提高。文獻(xiàn)[7]比較了不同特征圖個(gè)數(shù)下的識(shí)別率，發(fā)現(xiàn)當(dāng)特征圖的個(gè)數(shù)較少時(shí)，網(wǎng)絡(luò)能夠提取到的特征較少，使得識(shí)別率較低；但如果特征圖的個(gè)數(shù)太多，識(shí)別率會(huì)有所提高，但會(huì)使網(wǎng)絡(luò)的結(jié)構(gòu)變復(fù)雜，訓(xùn)練時(shí)耗也會(huì)增大，還有可能出現(xiàn)過(guò)度訓(xùn)練現(xiàn)象。所以卷積神經(jīng)網(wǎng)絡(luò)隱層特征圖數(shù)的確定至關(guān)重要。

本文提出了一種基于稀疏自動(dòng)編碼器和灰度關(guān)聯(lián)分析法的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化算法。首先，通過(guò)稀疏自動(dòng)編碼器產(chǎn)生一組濾波器集合作為卷積核的初始權(quán)值[8]，實(shí)驗(yàn)數(shù)據(jù)顯示，卷積核初始權(quán)值的設(shè)定降低了初始均方誤差。其次，引入灰度關(guān)聯(lián)分析法篩選特征圖，通過(guò)設(shè)定閾值確定隱層特征圖個(gè)數(shù)，挑選出對(duì)輸出層結(jié)點(diǎn)影響較大的特征圖，刪除部分對(duì)輸出影響偏小的特征圖。實(shí)驗(yàn)結(jié)果表明，在迭代次數(shù)較小的情況下，算法可以降低誤識(shí)率，驗(yàn)證了算法的有效性。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深層神經(jīng)網(wǎng)絡(luò)，一般來(lái)說(shuō)，它的基本結(jié)構(gòu)包括5層，分別是輸入層、卷積層、子采樣層、全連接層和輸出層。每層由多個(gè)二維平面構(gòu)成，每個(gè)平面又由多個(gè)神經(jīng)元構(gòu)成。基本結(jié)構(gòu)如圖1所示。

原始輸入圖像首先經(jīng)過(guò)卷積層，與卷積核進(jìn)行卷積操作，得到一組卷積層特征圖集合。這些特征被提取后，它們彼此間的位置關(guān)系不會(huì)再發(fā)生變化，所以卷積神經(jīng)網(wǎng)絡(luò)模型具有平移不變性。這些特征圖再與子采樣層的池化模型進(jìn)行池化操作，對(duì)特征圖進(jìn)行二次特征提取。池化操作可以降低輸入特征圖的數(shù)據(jù)量，還可以避免出現(xiàn)過(guò)度訓(xùn)練現(xiàn)象。完成卷積和池化之后，把最后一層子采樣特征圖全部展開，重組成一個(gè)一維列向量(全連接層)，該一維列向量和輸出層采用全連接的方式連接。

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)輸入特征圖的感受域與卷積核進(jìn)行卷積提取局部特征，和全連接方式相比，使得網(wǎng)絡(luò)的參數(shù)大幅減少。計(jì)算時(shí)，多個(gè)卷積核分別對(duì)圖像的不同感受域進(jìn)行卷積，提取出多個(gè)特征圖(每個(gè)卷積核卷積得到一幅與之對(duì)應(yīng)的特征圖)，此時(shí)，卷積核參數(shù)對(duì)所有的感受域而言都是不變的，所以大幅減少了訓(xùn)練參數(shù)，提升了網(wǎng)絡(luò)的學(xué)習(xí)性能。但卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中仍有許多環(huán)節(jié)需要優(yōu)化。在訓(xùn)練數(shù)據(jù)量不充足的情況下，CNN前幾層網(wǎng)絡(luò)的參數(shù)就不能得到較好的訓(xùn)練；但如果選用特別多訓(xùn)練數(shù)據(jù)又會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度緩慢，所以在適當(dāng)數(shù)據(jù)量的情況下訓(xùn)練出較優(yōu)的網(wǎng)絡(luò)前層參數(shù)很重要。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2 基于稀疏自動(dòng)編碼器進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練

針對(duì)上述問(wèn)題，本文采用稀疏自動(dòng)編碼器對(duì)初始特征圖進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，得到一組能較好反映初始特征圖特征的濾波器集合。將這組濾波器集合作為CNN的C1層卷積核，能有效降低網(wǎng)絡(luò)的誤識(shí)率。

稀疏自編碼器(Sparse Autoencoder)可以自動(dòng)從初始特征圖中學(xué)習(xí)出它的特征，提煉出比原始數(shù)據(jù)更精煉的特征描述。用稀疏編碼器提取的特征在實(shí)際運(yùn)用中往往比原始數(shù)據(jù)更有助于網(wǎng)絡(luò)的訓(xùn)練，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 稀疏自動(dòng)編碼器結(jié)構(gòu)圖

稀疏自動(dòng)編碼器本質(zhì)上是一個(gè)只具有一層隱含層的BP神經(jīng)網(wǎng)絡(luò)，其基本思想是使輸出等于輸入，使得編碼器學(xué)習(xí)出輸入特征圖的另一種表達(dá)方式。BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中，最終輸出結(jié)果是與標(biāo)簽比對(duì)，并計(jì)算損失代價(jià)函數(shù)，而稀疏自動(dòng)編碼器沒(méi)有預(yù)先設(shè)置好的標(biāo)簽，與網(wǎng)絡(luò)輸出對(duì)比的是輸入本身。所以，稀疏自動(dòng)編碼器的訓(xùn)練過(guò)程與BP神經(jīng)網(wǎng)絡(luò)一致，也就是一種“信號(hào)正向傳播，誤差反向傳播”的過(guò)程[9]，具體過(guò)程如下。

(1)

其中，f函數(shù)為激活函數(shù)，一般取tanh函數(shù)或者sigmoid函數(shù)，本文測(cè)試采用sigmoid函數(shù)。

稀疏自動(dòng)編碼器的目標(biāo)函數(shù)為

y(i)=x(i)

(2)

可以通過(guò)最小化以下代價(jià)函數(shù)(3)，實(shí)現(xiàn)式(2)，即使輸出值盡可能等于輸入值

(3)

(4)

在原始的代價(jià)函數(shù)中加入一項(xiàng)額外的懲罰因子稀疏性限制條件以實(shí)現(xiàn)稀疏性，可以選擇如式(5)形式的懲罰因子[10]，該表達(dá)式也被稱為相對(duì)熵

(5)

ρ通常是一個(gè)較小的值，一般接近于0(如ρ=0.05)，表示神經(jīng)元j的平均活躍度為0.05。此時(shí)的代價(jià)函數(shù)更新為

(6)

其中，β是稀疏性懲罰因子的權(quán)重。

上述部分是正向傳播過(guò)程，接下來(lái)要對(duì)誤差進(jìn)行反向傳播以實(shí)現(xiàn)權(quán)值的更新。采用的方法是和神經(jīng)網(wǎng)絡(luò)一致的BP反向傳播算法[11]。權(quán)值更新公式如下

(7)

(8)

其中，α為學(xué)習(xí)率。不斷迭代上述“信號(hào)正向傳播，誤差反向傳播”的過(guò)程，實(shí)現(xiàn)權(quán)值的更新，直到算法收斂為止。最終得到的參數(shù)集Wl就是預(yù)訓(xùn)練的卷積核參數(shù)集。

3 基于灰度關(guān)聯(lián)分析法優(yōu)化CNN結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)特征圖的個(gè)數(shù)對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)和識(shí)別效果均有很大的影響，很多情況下都是依靠開發(fā)者的經(jīng)驗(yàn)選擇[12]。本文采用灰度關(guān)聯(lián)分析法對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行優(yōu)化，以此確定卷積神經(jīng)網(wǎng)絡(luò)特征圖的個(gè)數(shù)。

灰度關(guān)聯(lián)分析法(Grey Relational Analysis, GRA)是著名學(xué)者鄧聚龍首創(chuàng)的灰色系統(tǒng)理論中的經(jīng)典方法[13]。GRA的基本思想是量化特征圖的幾何狀態(tài)，再計(jì)算出參考序列和比較序列之間的關(guān)聯(lián)度。關(guān)聯(lián)度較大時(shí)，比較序列的幾何發(fā)展情況與參考序列更為接近。GRA能夠挖掘系統(tǒng)內(nèi)部的關(guān)聯(lián)度，計(jì)算量也比較小，能比較方便地應(yīng)用到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化中。

本文使用的CNN網(wǎng)絡(luò)結(jié)構(gòu)由兩個(gè)卷積層和兩個(gè)子采樣層組成。卷積層經(jīng)過(guò)池化操作得到子采樣層的特征圖，所以它們的個(gè)數(shù)相等。因此，只需要確定子采樣層的特征圖個(gè)數(shù)。在本次試驗(yàn)中，僅對(duì)S4層的特征圖個(gè)數(shù)進(jìn)行優(yōu)化，下面是GRA優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的步驟[14]。

假設(shè)輸入層輸入個(gè)數(shù)為N，對(duì)應(yīng)的標(biāo)簽就是參考序列y,為(y1,y2,y3,…,yN)。假設(shè)S4層的特征圖個(gè)數(shù)為n,每個(gè)特征圖的輸出即比較序列ti,為 (ti(1),ti(2),ti(3),…,ti(N)),i=1,2,3,…,n。一般情況下，GRA的第一步是對(duì)數(shù)據(jù)進(jìn)行歸一化處理，但由于卷積神經(jīng)網(wǎng)絡(luò)特征圖的輸出經(jīng)過(guò)sigmoid函數(shù)處理后范圍在0～1之間，所以可以直接求出比較序列與參考序列之間的關(guān)聯(lián)系數(shù)，計(jì)算公式如式(9)所示。

(9)

其中，ρ為分辨率系數(shù)，在0～1之間，一般取0.5。

由于每個(gè)特征圖均有多個(gè)特征系數(shù)，所以有必要將這些關(guān)聯(lián)系數(shù)集中成一個(gè)值，即關(guān)聯(lián)度，計(jì)算公式如(10)所示。

(10)

以上求出了n個(gè)特征圖的輸出與對(duì)應(yīng)的標(biāo)簽之間的關(guān)聯(lián)度，然后對(duì)關(guān)聯(lián)度進(jìn)行排序，設(shè)定關(guān)聯(lián)度閾值。小于閥值的特征圖可以考慮將其刪除，僅保留關(guān)聯(lián)性較大的特征圖，以此得到最優(yōu)的隱層特征圖個(gè)數(shù)[15]。

4 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化算法流程

本文提出的改進(jìn)后的CNN算法流程圖如圖3所示。算法步驟如下：

(1)導(dǎo)入訓(xùn)練集與測(cè)試集，設(shè)定CNN的初始網(wǎng)絡(luò)結(jié)構(gòu)并對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行初始化；

(2)利用稀疏自動(dòng)編碼器預(yù)訓(xùn)練，得到CNN網(wǎng)絡(luò)的第一個(gè)卷積層所對(duì)應(yīng)的卷積核的初始參數(shù)；

(3)通過(guò)式(1)計(jì)算得到C1層的特征圖；

(4)通過(guò)下采樣層對(duì)C1層進(jìn)行池化，得到S2層的特征圖；

(5)與步驟(3)和(4)相似，得到C3層和S4層；

(6)將S4層所有的特征圖展開成列向量，采用全連接的方式，經(jīng)過(guò)分類器得到每個(gè)特征圖對(duì)應(yīng)的識(shí)別結(jié)果；

(7)提取S4層的特征圖數(shù)據(jù)，并將每個(gè)特征層對(duì)應(yīng)的識(shí)別結(jié)果作為灰度關(guān)聯(lián)分析法的比較序列，對(duì)應(yīng)的真實(shí)標(biāo)簽作為參考序列，計(jì)算各特征圖與識(shí)別結(jié)果的關(guān)聯(lián)度。選擇關(guān)聯(lián)度大于閾值的特征圖，然后對(duì)CNN結(jié)構(gòu)進(jìn)行優(yōu)化；

(8)在優(yōu)化后的CNN網(wǎng)絡(luò)結(jié)構(gòu)下，重復(fù)步驟(1)～(6)，直到損失函數(shù)的值小于預(yù)設(shè)的閾值，或者達(dá)到最大迭代次數(shù)；

(9)利用測(cè)試集對(duì)訓(xùn)練過(guò)的網(wǎng)絡(luò)進(jìn)行測(cè)試，計(jì)算出誤差率。

圖3 優(yōu)化后的CNN算法流程圖

5 仿真實(shí)驗(yàn)及分析

本文利用全球手寫數(shù)字MNIST數(shù)據(jù)集對(duì)改進(jìn)后的CNN進(jìn)行訓(xùn)練和測(cè)試。共有70 000條數(shù)據(jù)，選取60 000條數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，其余數(shù)據(jù)進(jìn)行測(cè)試。實(shí)驗(yàn)環(huán)境為Windows10，算法的實(shí)現(xiàn)平臺(tái)為Matlab(2012a)。

試驗(yàn)中設(shè)置的CNN結(jié)構(gòu)與參數(shù)如下：網(wǎng)絡(luò)結(jié)構(gòu)為兩個(gè)卷積層和兩個(gè)子采樣層交替連接；C1層的隱藏特征圖個(gè)數(shù)為6,C3層的隱藏特征圖個(gè)數(shù)初始值為24，下采樣層的特征圖個(gè)數(shù)與對(duì)應(yīng)的卷積層一致；卷積核尺寸為5×5，子采樣層的池化模型為2×2；C1層卷積核初始化為稀疏自動(dòng)編碼器學(xué)習(xí)得到的濾波器集合，每層的偏置均初始化為0，其它權(quán)值初始值為設(shè)定范圍內(nèi)的任意值，在此不一一贅述。傳統(tǒng)的CNN、預(yù)處理后的CNN以及基于GRA的改進(jìn)CNN分別迭代一次后測(cè)試出的誤識(shí)率如表1所示。

表1 3種算法迭代一次后的誤識(shí)率

由表1可知，對(duì)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練后，誤識(shí)率降低了約2%；再結(jié)合GRA對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，誤識(shí)率又降低了約1.2個(gè)百分點(diǎn)。所以，本文提出的改進(jìn)算法在提高誤識(shí)率方面確實(shí)有效果。

本次試驗(yàn)的C1層設(shè)置了6個(gè)隱藏特征圖，所以在稀疏自動(dòng)編碼器進(jìn)行預(yù)訓(xùn)練時(shí)，設(shè)置的中間層節(jié)點(diǎn)數(shù)為6。為使訓(xùn)練結(jié)果更形象得展示出來(lái)，試驗(yàn)對(duì)訓(xùn)練結(jié)果進(jìn)行了可視化操作，稀疏自動(dòng)編碼器的訓(xùn)練結(jié)果如圖4所示，GRA根據(jù)計(jì)算出的關(guān)聯(lián)度選擇特征圖的過(guò)程如圖5所示。

圖4 稀疏自動(dòng)編碼器訓(xùn)練的濾波器集合

由圖4和圖5可知，稀疏自動(dòng)編碼器訓(xùn)練出了6個(gè)5×5大小的濾波器，提取出了能夠較好反映原始輸入圖像特征的卷積核，GRA完成關(guān)聯(lián)度排序后，會(huì)選擇大于關(guān)聯(lián)度閾值的特征圖進(jìn)行訓(xùn)練，這兩步的引入為誤識(shí)率的降低提供了可能性。

圖5 灰度關(guān)聯(lián)分析法對(duì)特征圖進(jìn)行關(guān)聯(lián)度排序

除此之外，試驗(yàn)過(guò)程中Matlab繪出的均方誤差圖還說(shuō)明隨著預(yù)訓(xùn)練和GRA的引入，CNN的初始均方誤差逐漸減小，由傳統(tǒng)CNN的1.7到預(yù)訓(xùn)練CNN的1.3再到基于GRA改進(jìn)CNN的1.18。均方誤差的下降趨勢(shì)也得到了改善，從圖6可以直觀的發(fā)現(xiàn)，改進(jìn)后的算法均方誤差下降迅速，收斂速度也有所提高。圖6(a)描述的訓(xùn)練過(guò)程明顯可見(jiàn)，在批次200～500之間出現(xiàn)了一個(gè)平臺(tái)期，這段時(shí)間均方誤差的下降趨勢(shì)大幅減緩；圖6(b)在批次200～400之間時(shí)均方誤差的下降趨勢(shì)也出現(xiàn)了減緩現(xiàn)象，但較圖6(a)已經(jīng)有了改進(jìn)；圖6(c)的訓(xùn)練過(guò)程中這一現(xiàn)象已基本消失。

圖6 3種CNN算法的均方誤差

6 結(jié)束語(yǔ)

本文提出的改進(jìn)的CNN算法，首先通過(guò)稀疏自動(dòng)編碼器對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，解決了卷積神經(jīng)網(wǎng)絡(luò)前層得不到充分訓(xùn)練的問(wèn)題。然后，在對(duì)隱藏特征圖的選擇上，引入了灰度關(guān)聯(lián)分析法，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了優(yōu)化。試驗(yàn)結(jié)果表明，改進(jìn)后的算法提高了傳統(tǒng)CNN的識(shí)別率，對(duì)收斂速度也有一定的提高。但是，如果在數(shù)據(jù)量很大的情況下，改進(jìn)后的算法就不再占優(yōu)勢(shì)，最終的識(shí)別結(jié)果差別不大。60 000條數(shù)據(jù)迭代10次時(shí)，3種CNN的識(shí)別結(jié)果均在98%左右。所以，本文提出的改進(jìn)算法適用于數(shù)據(jù)量較小的情況，在這種情況下，可以較快地提高卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率。

[1] 劉萬(wàn)軍,梁雪劍,曲海成.不同池化模型的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能研究[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(9):1178-1190.

[2] Lee H,Grosse R,Ranganath R,et al.Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations [C]. Montreal:Proceedings of the 26thAnnual International Conference on Machine Learning,ACM,2009.

[3] Alex K,Ilya S,Hinton G E.ImageNet classification with deep convolutional neural networks[EB/OL].(2015-02-10)[2017-05-13]http://papers.nips.cc/paper/4824-imagenet-Classification-withdeep-convolutional-neural-networks.pdf.

[4] Kavukcuoglu K,Sermanet P,Boureau Y,et al. Learning convolutional feature hierarchies for visual recognition[C].Vancouver:Proceedings of 2010 Advances in Neural Information Processing System Conference,Neural Information Processing System Foundation,2010.

[5] 史鶴歡,許悅雷,馬時(shí)平,等.PCA預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別算法[J].西安電子科技大學(xué)學(xué)報(bào):自然科學(xué)版,2016,43(3):175-180.

[6] 張貴勇.改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)在金融預(yù)測(cè)中的應(yīng)用研究[D].河南:鄭州大學(xué),2016.

[7] 李媛媛.卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化及其在圖像識(shí)別中的應(yīng)用[D].沈陽(yáng):沈陽(yáng)工業(yè)大學(xué),2016.

[8] 張文達(dá),許悅雷,倪嘉成,等.基于多尺度分塊卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)識(shí)別算法[J].計(jì)算機(jī)應(yīng)用,2016,36(4):1033-1038.

[9] 雒玉璽.稀疏自動(dòng)編碼器及其加速算法的研究[D].蘭州:蘭州大學(xué),2014.

[10] 鄧俊鋒,張曉龍.基于自動(dòng)編碼器組合的深度學(xué)習(xí)優(yōu)化方法[J].計(jì)算機(jī)應(yīng)用,2016,36(3):697-702.

[11] 畢艷亮,寧芊,雷印杰,等.基于改進(jìn)的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)并用于紅酒質(zhì)量等級(jí)分類[J].計(jì)算機(jī)測(cè)量與控制,2016,24(1):226-228.

[12] Husken M.Structure optimization of neural networks for evolutionary design optimization[J]. Soft Computing-a Fusion of Foundations, Methodologies and Applications,2005,9(1):21-28.

[13] 唐萬(wàn)梅.BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問(wèn)題的研究[J].系統(tǒng)工程理論與實(shí)踐,2005(10):95-100.

[14] 楊延璞,陳登凱,顧蓉,等.基于色彩案例和灰度關(guān)聯(lián)分析的產(chǎn)品配色設(shè)計(jì)方法[J].圖學(xué)學(xué)報(bào),2016,37(4):509-513.

[15] 王麗君,于蓮芝.基于卷積神經(jīng)網(wǎng)絡(luò)的位置識(shí)別[J].電子科技,2017,30(1):104-106.