基于LSTM- DAE的化工故障診斷方法研究

張敬川 田慧欣,2*

(天津工業(yè)大學(xué) 1.電氣工程與自動(dòng)化學(xué)院; 2.電工電能新技術(shù)天津重點(diǎn)實(shí)驗(yàn)室， 天津 300387)

引 言

隨著現(xiàn)代化工過(guò)程愈加精密化、復(fù)雜化，其安全問(wèn)題也逐漸受到重視。與其他工業(yè)過(guò)程故障相比，化工故障易引發(fā)毒氣泄漏、爆炸等更大的危險(xiǎn)事故[1]，因此，適用于現(xiàn)代復(fù)雜化工過(guò)程的故障診斷方法引起廣泛的關(guān)注并得到不斷的發(fā)展。近年來(lái)，該領(lǐng)域的故障診斷技術(shù)已形成了一個(gè)龐大的體系[2-5]，但由于化工過(guò)程的精確數(shù)學(xué)模型難以建立、專家經(jīng)驗(yàn)的可移植性差等原因，基于解析模型和經(jīng)驗(yàn)知識(shí)的方法的發(fā)展受到了極大限制；基于數(shù)據(jù)驅(qū)動(dòng)的方法只需分析化工過(guò)程的歷史數(shù)據(jù)即可進(jìn)行有效的故障診斷，因而逐漸成為該領(lǐng)域的研究重點(diǎn)。主成分分析(PCA)、核主成分分析(KPCA)、獨(dú)立成分分析(ICA)、Fisher判別分析(FDA)等多元統(tǒng)計(jì)方法[6-9]，以及BP神經(jīng)網(wǎng)絡(luò)(BPNN)、支持向量機(jī)(SVM)等[10-11]人工智能領(lǐng)域的淺層故障診斷方法均已在故障診斷領(lǐng)域取得了重要應(yīng)用。此外,多元統(tǒng)計(jì)方法與BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)相結(jié)合的故障診斷研究也取得了重要成果[12-14]。然而，這些故障診斷方法在處理高緯度、非線性、強(qiáng)耦合且具有時(shí)間序列信息的現(xiàn)代化工過(guò)程數(shù)據(jù)時(shí)，往往無(wú)法有效提取其特征，且無(wú)法分辨特征相似的故障類別，不能滿足現(xiàn)代化工故障診斷的要求。

自編碼器(auto-encoder, AE)作為一種無(wú)監(jiān)督學(xué)習(xí)算法，已在現(xiàn)代化工故障診斷領(lǐng)域展現(xiàn)出比多元統(tǒng)計(jì)方法和淺層學(xué)習(xí)方法更好的診斷性能。馮倩玉[15]提出一種基于降噪正交自編碼器(denoising orthogonal auto-encoder, DQAE)的故障診斷算法，在自編碼器基礎(chǔ)上引入正交性和降噪處理，取得了較好的診斷效果，并在所提方法基礎(chǔ)上進(jìn)一步完善，解決了多故障同時(shí)發(fā)生的問(wèn)題。Zheng等[16]提出了一種基于堆棧自編碼器(stacked auto-encoder, SAE)的故障診斷模型，結(jié)合t分布隨機(jī)鄰域嵌入(t-distributed stochastic neighbor embedding, t-SNE)算法和density-based spatial clustering of applications with noise(DBSCAN)聚類，在田納西- 伊斯曼(Tennessee-Eastman, TE)過(guò)程中實(shí)現(xiàn)了無(wú)監(jiān)督故障診斷。張祥等[17]提出了一種基于VAE- DBN(variational auto-encoder, VAE ; deep belief network, DBN)的故障診斷方法，針對(duì)高維數(shù)據(jù)故障特征難以提取的問(wèn)題，將變分自編碼器與深度置信網(wǎng)絡(luò)相結(jié)合，在TE過(guò)程實(shí)驗(yàn)中展現(xiàn)出了較好的診斷性能。此外，基于其他深度學(xué)習(xí)技術(shù)的故障診斷方法也在不斷發(fā)展，如基于深度置信網(wǎng)絡(luò)及其派生網(wǎng)絡(luò)[18-20]、基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)及其派生網(wǎng)絡(luò)[21-24]，以及基于深度殘差網(wǎng)絡(luò)(deep residual network, DRN)的模型在化工故障診斷領(lǐng)域的應(yīng)用[25]等。然而上述方法在處理現(xiàn)代化工過(guò)程數(shù)據(jù)時(shí)，忽略了數(shù)據(jù)中的長(zhǎng)時(shí)間依賴關(guān)系，提取到的故障特征不具備時(shí)間序列信息，整體故障診斷性能仍有待進(jìn)一步提升。

長(zhǎng)短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)是一種適用于時(shí)間序列數(shù)據(jù)的深度學(xué)習(xí)模型，最早由Hochreiter等[26]提出。LSTM借助特殊的“門”結(jié)構(gòu)，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)的長(zhǎng)期依賴問(wèn)題，在語(yǔ)音識(shí)別、語(yǔ)言翻譯等領(lǐng)域都取得了巨大成功。近年來(lái)，LSTM在機(jī)械故障診斷領(lǐng)域也取得了一定的研究成果，如Yuan等[27]將LSTM用于航空發(fā)動(dòng)機(jī)的剩余壽命預(yù)測(cè)，Lu等[28]將LSTM用于滾動(dòng)軸承的早期故障預(yù)測(cè)，王路瑤等[29]將LSTM用于空調(diào)系統(tǒng)傳感器故障的檢測(cè)與診斷。在化工故障診斷領(lǐng)域，LSTM的應(yīng)用研究則相對(duì)較少。Zhao等[30]將LSTM用于連續(xù)數(shù)據(jù)的故障診斷，并在TE實(shí)驗(yàn)中驗(yàn)證了該方法的有效性，然而該方法所用的vanilla LSTM相對(duì)于其他LSTM變體的效果并不好，且實(shí)驗(yàn)結(jié)果易受隨機(jī)噪聲的影響，故障診斷性能仍有待提升。

本文提出了一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)與降噪自編碼器結(jié)合的LSTM- DAE化工故障診斷方法，針對(duì)傳統(tǒng)DAE模型無(wú)法提取時(shí)間序列信息的缺點(diǎn)，引入LSTM對(duì)模型結(jié)構(gòu)進(jìn)行優(yōu)化，并在TE過(guò)程仿真實(shí)驗(yàn)中驗(yàn)證了所提方法的有效性和優(yōu)越性。

1 基于LSTM- DAE的故障診斷模型

傳統(tǒng)的基于DAE的故障診斷模型以3層的全連接層為特征提取網(wǎng)絡(luò)，其輸出節(jié)點(diǎn)數(shù)與輸入節(jié)點(diǎn)數(shù)保持一致，均為原始數(shù)據(jù)的維度；隱層激活函數(shù)采用線性函數(shù)，以保證特征表示不被限制；以均方誤差為損失函數(shù)，并以最小化重構(gòu)誤差為目標(biāo)，用梯度下降算法進(jìn)行訓(xùn)練。訓(xùn)練之前在原始數(shù)據(jù)中加入高斯噪聲，這樣可以迫使模型學(xué)習(xí)原始數(shù)據(jù)的特征表示，增強(qiáng)模型的魯棒性。訓(xùn)練完成后，提取隱層輸出即為特征。

學(xué)習(xí)特征提取步驟完成后，提取DAE模型的編碼網(wǎng)絡(luò)，在隱層節(jié)點(diǎn)后加上3層的Softmax分類器，利用神經(jīng)網(wǎng)絡(luò)全連接層強(qiáng)大的非線性處理性能來(lái)學(xué)習(xí)故障分類。Softmax分類器的輸入節(jié)點(diǎn)數(shù)為特征的維度，輸出節(jié)點(diǎn)數(shù)為故障類別數(shù)；隱層采用Sigmoid激活函數(shù)，輸出層采用Softmax函數(shù)，選擇交叉熵?fù)p失函數(shù)并采用梯度下降法訓(xùn)練。訓(xùn)練完成后得到的DAE模型雖然能夠克服隨機(jī)噪聲的影響，并對(duì)原始數(shù)據(jù)進(jìn)行有效的特征提取，但是由于其特征提取網(wǎng)絡(luò)為淺層模型，特征學(xué)習(xí)能力受到限制。此外，DAE模型的全連接層結(jié)構(gòu)決定了它無(wú)法提取原始數(shù)據(jù)中的時(shí)間序列信息。

為了提高模型的特征學(xué)習(xí)能力，并挖掘原始數(shù)據(jù)中的時(shí)間序列信息，引入LSTM對(duì)DAE模型進(jìn)行改進(jìn)，LSTM中“遺忘門”、“輸入門”、“輸出門”3種門結(jié)構(gòu)以特殊的方式進(jìn)行交互，構(gòu)成了其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示,其中，xt-1、xt、xt+1表示LSTM的輸入，ht-1、ht、ht+1表示LSTM的輸出；σ和tanh分別表示Sigmoid激活函數(shù)和tanh激活函數(shù)；×表示向量之間按元素相乘，+表示向量之間按元素相加。

圖1 LSTM的結(jié)構(gòu)Fig.1 Structure of LSTM

改進(jìn)后模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，原始DAE模型的全連接層編碼網(wǎng)絡(luò)被替換為L(zhǎng)STM- DAE編碼層。LSTM- DAE編碼網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)為原始數(shù)據(jù)的維度，其隱含層數(shù)為重要的超參數(shù)，需經(jīng)過(guò)驗(yàn)證集尋優(yōu)；在LSTM- DAE編碼網(wǎng)絡(luò)后，加上由兩個(gè)全連接層組成的解碼網(wǎng)絡(luò)，其輸出節(jié)點(diǎn)數(shù)與編碼網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)保持一致，輸出的激活函數(shù)采用Sigmoid函數(shù)。

圖2 基于LSTM- DAE的故障診斷模型Fig.2 FD model based on LSTM- DAE

以最小化重構(gòu)誤差為目標(biāo)，用梯度下降法訓(xùn)練，訓(xùn)練完成后提取LSTM- DAE編碼網(wǎng)絡(luò)的隱層輸出即為原始數(shù)據(jù)的特征。此時(shí)得到的特征，不僅由于DAE的強(qiáng)魯棒性而不容易受到隨機(jī)噪聲的影響，而且得益于LSTM特有的網(wǎng)絡(luò)結(jié)構(gòu)能在時(shí)間維度上存儲(chǔ)原始數(shù)據(jù)的時(shí)間序列信息，比改進(jìn)前的DAE模型提取到的特征更準(zhǔn)確、全面。

學(xué)習(xí)特征提取步驟完成后，提取LSTM- DAE編碼的網(wǎng)絡(luò)部分，在隱層節(jié)點(diǎn)后加上新的Softmax分類器并訓(xùn)練，最終得到基于LSTM- DAE的化工故障診斷模型，該模型由LSTM- DAE特征提取和Softmax分類器這兩部分組成。完整的故障診斷流程如圖3所示。

圖3 LSTM- DAE模型的故障診斷流程Fig.3 FD process of the LSTM- DAE model

2 TE過(guò)程仿真實(shí)驗(yàn)

2.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

TE過(guò)程是美國(guó)田納西州伊斯曼化學(xué)品公司對(duì)實(shí)際化工過(guò)程進(jìn)行的計(jì)算機(jī)模擬，被普遍用于過(guò)程控制、監(jiān)控和診斷方法的評(píng)價(jià)。TE過(guò)程包括52個(gè)觀測(cè)變量、21種故障類型，樣本采集間隔為0.05 h。訓(xùn)練集正常樣本在25 h運(yùn)行仿真下獲得，觀測(cè)數(shù)據(jù)總數(shù)為500，故障樣本在24 h運(yùn)行仿真下獲得，觀測(cè)數(shù)據(jù)總數(shù)為480；測(cè)試集數(shù)據(jù)在48 h運(yùn)行仿真下獲得，在第8小時(shí)時(shí)引入故障，因此觀測(cè)數(shù)據(jù)的前160個(gè)為正常樣本，后800個(gè)為故障樣本。

為分析所提模型的多故障和單故障診斷性能，選擇故障1、2、6、14、18共5類故障組成所需數(shù)據(jù)集。為了使測(cè)試集的實(shí)驗(yàn)結(jié)果能夠準(zhǔn)確描述模型的泛化能力，測(cè)試集不參與模型的調(diào)優(yōu)過(guò)程，因此將原始訓(xùn)練集按照7∶3的比例重新劃分，得到新的訓(xùn)練集和驗(yàn)證集。最終的訓(xùn)練集為2 030×52矩陣(2 030個(gè)樣本，每個(gè)樣本均為52維向量)，驗(yàn)證集為870×52矩陣，測(cè)試集為5 760×52矩陣。

以正確率(accuracy)指標(biāo)來(lái)評(píng)價(jià)模型的多故障診斷效果，記作A，其定義為

(1)

式中，Nc為正確分類的樣本數(shù)，Nt為樣本總數(shù)。

對(duì)于單故障評(píng)價(jià)指標(biāo)，考慮到TE過(guò)程中存在的數(shù)據(jù)偏斜問(wèn)題[31]，引入誤報(bào)率RFA(false alarm rate, FAR)、漏檢率RMD(miss detection rate, MDR)兩個(gè)指標(biāo)，定義如下。

(2)

(3)

式中，F(xiàn)P為假陽(yáng)性數(shù)，TN為真陰性數(shù)，F(xiàn)N為假陰性數(shù)，TP為真陽(yáng)性數(shù)，它們的定義如表1中的混淆矩陣所示。

表1 單故障診斷的混淆矩陣Table 1 Confusion matrix of single fault diagnosis

最后，在單故障評(píng)價(jià)問(wèn)題中，引入故障檢出點(diǎn)來(lái)表示模型實(shí)際檢測(cè)到的故障發(fā)生的時(shí)間點(diǎn)，其確定方法為，在仿真實(shí)驗(yàn)引入故障后(即從第160個(gè)樣本點(diǎn)開始)，模型首次將樣本判別為故障的時(shí)間點(diǎn)，即為本次模擬的故障檢出點(diǎn)。

2.2 模型超參數(shù)調(diào)優(yōu)

本文提出的LSTM- DAE模型的可調(diào)參數(shù)很多，其中LSTM- DAE編碼網(wǎng)絡(luò)的隱含層數(shù)、隱層節(jié)點(diǎn)數(shù)是兩個(gè)重要的超參數(shù)，對(duì)模型的正確率、平均誤報(bào)率、平均漏檢率，以及模型整體運(yùn)行時(shí)間的影響很大。

由于LSTM特殊的網(wǎng)絡(luò)結(jié)構(gòu)，LSTM- DAE編碼網(wǎng)絡(luò)的隱含層數(shù)的選擇受批訓(xùn)練大小的限制。在可選范圍內(nèi)選擇2、4、5、10、20這5個(gè)值作為隱含層數(shù)的待選值。對(duì)每個(gè)取值重復(fù)10次平均實(shí)驗(yàn)，得到訓(xùn)練集平均正確率、測(cè)試集平均正確率以及平均總運(yùn)行時(shí)間隨隱含層數(shù)的變化關(guān)系，如圖4所示。

圖4 正確率和運(yùn)行時(shí)間隨隱含層數(shù)的變化關(guān)系Fig.4 Variation in accuracy and running time as a function of the number of hidden layers

由圖4可知，隨著隱含層數(shù)的增加，總運(yùn)行時(shí)間增加，訓(xùn)練集正確率變化幅度不大，測(cè)試集正確率整體呈現(xiàn)出先升高再降低的趨勢(shì)。表明隨著模型結(jié)構(gòu)的逐漸復(fù)雜，時(shí)間成本逐漸增加，模型的故障診斷效果不斷提升。但過(guò)于復(fù)雜的模型結(jié)構(gòu)不僅會(huì)使時(shí)間成本過(guò)高，而且反而會(huì)降低模型的故障診斷性能。因此，綜合考慮時(shí)間成本和診斷性能,選擇10作為隱含層數(shù)的最優(yōu)取值。

采用同樣的實(shí)驗(yàn)方法來(lái)確定LSTM- DAE編碼網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)的取值。訓(xùn)練集平均正確率、測(cè)試集平均正確率以及平均總運(yùn)行時(shí)間隨隱層節(jié)點(diǎn)數(shù)的變化關(guān)系如圖5所示。

圖5 正確率和運(yùn)行時(shí)間隨隱層節(jié)點(diǎn)數(shù)的變化關(guān)系Fig.5 Variation in accuracy and running time as a function of the number of hidden nodes

由圖5可知，隨著隱層節(jié)點(diǎn)數(shù)的增加，運(yùn)行時(shí)間增加，訓(xùn)練集、測(cè)試集正確率均呈現(xiàn)出先升再降再升的趨勢(shì)。當(dāng)隱層節(jié)點(diǎn)數(shù)大于22時(shí)，盡管正確率較高，但由于模型結(jié)構(gòu)過(guò)于復(fù)雜，時(shí)間成本劇增，因此在對(duì)各個(gè)因素權(quán)衡考慮后，選擇18作為隱層節(jié)點(diǎn)數(shù)的最優(yōu)取值。

LSTM- DAE模型的其他超參數(shù)如批訓(xùn)練大小、迭代次數(shù)、學(xué)習(xí)率等的尋優(yōu)結(jié)果如表2所示。在最優(yōu)超參數(shù)取值下，模型的訓(xùn)練集正確率為96.02%，測(cè)試集正確率為97.31%，總運(yùn)行時(shí)間為48.366 s。

表2 LSTM- DAE模型的超參數(shù)Table 2 Hyper-parameters of LSTM- DAE model

2.3 結(jié)果分析

為了驗(yàn)證所提LSTM- DAE模型中深層編碼網(wǎng)絡(luò)的有效性，引入BP神經(jīng)網(wǎng)絡(luò)(含1個(gè)隱層)、支持向量機(jī)兩個(gè)淺層故障診斷模型進(jìn)行對(duì)比分析；為驗(yàn)證LSTM- DAE模型相對(duì)于多元統(tǒng)計(jì)模型的優(yōu)越性，引入PCA、KPCA兩個(gè)故障診斷模型作對(duì)比分析；為驗(yàn)證LSTM- DAE模型引入LSTM后的改進(jìn)效果，將其與原始DAE模型作對(duì)比分析。

2.3.1多故障診斷效果

對(duì)所研究的6類模型均進(jìn)行5次重復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖6所示，記錄5次實(shí)驗(yàn)的平均值如表3所示。由表3可知，LSTM- DAE模型的訓(xùn)練集正確率高達(dá)96.02%，測(cè)試集正確率高達(dá)97.31%，平均誤報(bào)率僅為0.65%，平均漏檢率僅為3.19%。由圖6可知LSTM- DAE模型5次實(shí)驗(yàn)的正確率不僅最高，而且變化幅度很小，結(jié)果更為穩(wěn)定，表明LSTM- DAE模型不易受隨機(jī)噪聲影響，具有很強(qiáng)的魯棒性。

圖6 6類模型的正確率變化曲線Fig.6 Variation in accuracy for the six models

表3 6類模型的各項(xiàng)評(píng)價(jià)指標(biāo)Table 3 Evaluation indicators of the six models

由圖7可知，所提的LSTM- DAE模型與原始DAE模型的總運(yùn)行時(shí)間較其他4類模型的運(yùn)行時(shí)間更長(zhǎng)，這一方面是因?yàn)槎叩哪Ｐ徒Y(jié)構(gòu)更復(fù)雜，另一方面是它們的訓(xùn)練過(guò)程存在多次迭代過(guò)程，而PCA和KPCA模型均無(wú)此迭代過(guò)程。此外，相對(duì)于改進(jìn)前的DAE模型，所提LSTM- DAE模型的總運(yùn)行時(shí)間更短，且故障診斷效果更好，表明了所提方法的優(yōu)越性。

圖7 6類模型的運(yùn)行時(shí)間對(duì)比Fig.7 Comparison of the running times of the six models

2.3.2單故障診斷效果

通過(guò)觀察單故障實(shí)時(shí)監(jiān)測(cè)圖(圖8)，發(fā)現(xiàn)與原始DAE模型(改進(jìn)前)相比，所提出的LSTM- DAE模型(改進(jìn)后)對(duì)故障14、故障18的診斷具有較好的改善效果，因此對(duì)其改善的原因作進(jìn)一步分析。

圖8 改進(jìn)前后的故障實(shí)時(shí)監(jiān)測(cè)圖Fig.8 Real-time monitoring curves of the models before and after improvement

圖8(a)所示為故障14的實(shí)時(shí)監(jiān)測(cè)圖，可以看出DAE模型在引入故障14后仍會(huì)將大量故障樣本誤判為正常樣本，而LSTM- DAE模型在引入故障14后幾乎沒有誤判的情況。由表4可知，LSTM- DAE模型將故障14的漏檢率從14.85%降至1.38%，而改進(jìn)前后的故障檢出點(diǎn)卻僅僅相差2個(gè)樣本點(diǎn)。以上結(jié)果表明：在故障14上，LSTM- DAE模型并沒有明顯縮短故障的檢測(cè)時(shí)間，而是在故障發(fā)生后提高了對(duì)故障的辨別能力，大大減少了誤判的情況，從而改善了對(duì)故障14的診斷效果。

圖8(b)所示為故障18的實(shí)時(shí)監(jiān)測(cè)圖。LSTM- DAE模型的故障檢出點(diǎn)顯然比DAE模型更靠前。由表4可知，改進(jìn)前后兩者的故障檢出點(diǎn)相差82個(gè)樣本點(diǎn)，即縮短了246 min的檢測(cè)時(shí)間，從而使故障18的漏檢率從16.90%降低至11.55%。以上結(jié)果表明：在故障18上，LSTM- DAE模型有效縮短了故障的檢測(cè)延遲時(shí)間，從而改善了對(duì)故障18的診斷效果。

表4 改進(jìn)前后模型的單故障診斷效果對(duì)比Table 4 Single fault diagnostic effects before and after improvement

經(jīng)過(guò)以上分析可知，LSTM- DAE模型不僅在多故障診斷效果上取得了比其他5類模型更高的正確率，而且在單故障診斷效果上也能夠獲得更低的漏檢率，表明了所提方法的有效性和優(yōu)越性。

3 結(jié)論

(1)提出了基于LSTM- DAE的化工故障診斷方法，用基于LSTM的特殊編碼方式代替了傳統(tǒng)DAE模型的全連接網(wǎng)絡(luò)編碼方式，并結(jié)合高斯噪聲處理和全連接網(wǎng)絡(luò)解碼層，搭建出基于LSTM- DAE的特征提取模型，最后由Softmax分類器輸出故障診斷結(jié)果。所提模型不僅具備DAE模型的強(qiáng)魯棒性，而且由于引入了LSTM，使之能夠挖掘數(shù)據(jù)中的時(shí)間序列信息，保證了編碼特征獲取的有效性。

(2)在多故障診斷效果上，所提LSTM- DAE模型的訓(xùn)練集正確率達(dá)到了96.02%，測(cè)試集正確率達(dá)到了97.31%，平均誤報(bào)率僅為0.65%，平均漏檢率僅為3.19%，整體診斷效果優(yōu)于BP神經(jīng)網(wǎng)絡(luò)、SVM、PCA、KPCA、DAE這5類故障診斷模型。

(3)在單故障診斷效果上，LSTM- DAE模型提高了對(duì)故障14的辨別能力，縮短了對(duì)故障18的檢測(cè)延遲時(shí)間，獲得了比DAE模型更好的故障診斷效果。

所提LSTM- DAE模型不僅能夠快速、準(zhǔn)確地診斷故障，而且具有魯棒性好、泛化能力強(qiáng)等優(yōu)點(diǎn)。然而隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，隨之而來(lái)的問(wèn)題也不斷增加，如深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)愈加復(fù)雜，造成模型的超參數(shù)越來(lái)越多，超參數(shù)的調(diào)節(jié)也更加困難。如何結(jié)合智能優(yōu)化算法 (如遺傳算法、蟻群算法) 對(duì)超參數(shù)自動(dòng)尋優(yōu)，都是今后具有重要研究意義的方向。