基于深度學(xué)習(xí)的多材料結(jié)構(gòu)拓?fù)鋬?yōu)化方法

項 程，陳艾榮

（同濟(jì)大學(xué)土木工程學(xué)院，上海 200092）

結(jié)構(gòu)拓?fù)鋬?yōu)化旨在研究給定約束條件下設(shè)計域內(nèi)材料的最佳分布，使結(jié)構(gòu)某種性能達(dá)到最佳。與傳統(tǒng)的形狀優(yōu)化及尺寸優(yōu)化方法相比，拓?fù)鋬?yōu)化只需定義約束條件及結(jié)構(gòu)所可能存在的范圍，而無其他限制，因此可能得到設(shè)計范圍內(nèi)找到材料利用率最高的結(jié)構(gòu)形式。自Prager和Rozvany［1］，Cheng和Olhoff［2］以及Bends?e 和Kikuchi［3］等學(xué)者們的開創(chuàng)性研究以來，各種拓?fù)鋬?yōu)化方法相繼涌現(xiàn)，如SIMP方法［4-6］，漸進(jìn)結(jié)構(gòu)優(yōu)化法［7］，雙向漸進(jìn)結(jié)構(gòu)優(yōu)化法［8］，水平集法［9］及可移動變形組件法［10］等。然而，盡管新的理論和技術(shù)不斷發(fā)展，目前主流的拓?fù)鋬?yōu)化方法在優(yōu)化過程中均不可避免地要進(jìn)行多次迭代分析，導(dǎo)致計算成本著增加。

近年來，隨著機(jī)器學(xué)習(xí)算法的發(fā)展及圖形處理器（GPU）的廣泛應(yīng)用，機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)在圖像處理、自動駕駛［11］及信號識別［12］等領(lǐng)域得到了廣泛應(yīng)用。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的擬合復(fù)雜函數(shù)的能力，而拓?fù)鋬?yōu)化的結(jié)果可以抽象為優(yōu)化目標(biāo)和初始約束條件之間的復(fù)雜函數(shù)?；谶@一理解，若能將深度學(xué)習(xí)技術(shù)引入拓?fù)鋬?yōu)化領(lǐng)域［13］，將會極大提高拓?fù)鋬?yōu)化效率。

Sosnovik 等［14］最早開始探索基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法。通過將拓?fù)鋬?yōu)化問題轉(zhuǎn)化為圖像分割任務(wù)并訓(xùn)練卷積編碼器-解碼器網(wǎng)絡(luò)，無需迭代即可預(yù)測得到優(yōu)化結(jié)構(gòu)，顯著提高了拓?fù)鋬?yōu)化效率。Yu等［15］基于SIMP方法構(gòu)造的數(shù)據(jù)集，分別訓(xùn)練了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的自編碼器及條件生成對抗網(wǎng)絡(luò)（cGAN），能夠在無需任何迭代的情況下得到近似最優(yōu)的拓?fù)湓O(shè)計，有效減少了總時間消耗。Wang等［16］構(gòu)造并訓(xùn)練了一種增強(qiáng)的深度超分辨率神經(jīng)網(wǎng)絡(luò)和CNN，可在極短的時間內(nèi)獲得精確的高分辨率結(jié)構(gòu)，并具有在不同幾何邊界條件下預(yù)測高分辨率結(jié)構(gòu)的泛化能力。在導(dǎo)熱結(jié)構(gòu)的拓?fù)鋬?yōu)化領(lǐng)域，也有學(xué)者引入了深度學(xué)習(xí)技術(shù)加以嘗試，Li等［17］基于兩個耦合的GAN，提出了一種基于深度學(xué)習(xí)的導(dǎo)熱結(jié)構(gòu)非迭代拓?fù)鋬?yōu)化算法，實現(xiàn)了低分辨率和高分辨率下優(yōu)化結(jié)構(gòu)的預(yù)測。不同于上述研究的線彈性優(yōu)化設(shè)計領(lǐng)域，Abueidda等［18］將基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法應(yīng)用到了非線性領(lǐng)域，通過構(gòu)造考慮材料和幾何非線性的數(shù)據(jù)集并訓(xùn)練所設(shè)計的CNN，實現(xiàn)了給定邊界條件、載荷和優(yōu)化約束下的優(yōu)化結(jié)構(gòu)預(yù)測。

綜上，深度學(xué)習(xí)技術(shù)在拓?fù)鋬?yōu)化領(lǐng)域的應(yīng)用才剛起步，現(xiàn)有基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法均只考慮了單種材料，關(guān)于多材料的拓?fù)鋬?yōu)化國內(nèi)外尚無相關(guān)研究。因此，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的多材料結(jié)構(gòu)拓?fù)鋬?yōu)化方法，旨在提高多材料拓?fù)鋬?yōu)化問題的計算效率。首先，對語義分割及Ordered SIMP 方法［6］的基本原理進(jìn)行簡要介紹，接著采用該方法構(gòu)造訓(xùn)練數(shù)據(jù)集，訓(xùn)練提出的U-Net神經(jīng)網(wǎng)絡(luò)。最后對所建立方法的性能開展評估，結(jié)果表明，所提出的方法能夠在極短的時間內(nèi)預(yù)測得到多材料拓?fù)鋬?yōu)化結(jié)構(gòu)，顯著提高了多材料拓?fù)鋬?yōu)化的計算效率。

1 語義分割

計算機(jī)視覺中的語義分割是將圖像中的每一個像素劃分為特定類別的過程。多材料拓?fù)鋬?yōu)化的目標(biāo)是確定結(jié)構(gòu)中每個單元應(yīng)該分配的材料類別，從這個意義上說，拓?fù)鋬?yōu)化可以看成一種廣義的語義分割。近年來，隨著CNN 技術(shù)的成熟，語義分割得到廣泛應(yīng)用。CNN是一種特殊的人工神經(jīng)網(wǎng)絡(luò)，能夠分層提供卷積運(yùn)算的抽象表示，因此特別適用于圖像處理。其架構(gòu)通常由一系列不同功能的網(wǎng)絡(luò)層的堆疊而成，包括用于卷積運(yùn)算的卷積層、用于降維的池化層以及與普通神經(jīng)網(wǎng)絡(luò)類似的全連接層。卷積層是構(gòu)建CNN的核心層，不同的卷積層可以提取輸入張量的不同特征。每一次卷積運(yùn)算都可以看作是一個特征抽取器，分別提取不同維度的特征，減少人為分割任務(wù)的識別偏差。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖及典型卷積操作如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及典型卷積操作Fig.1 CNN structure and typical convolution operation

2 基于Ordered SIMP 插值方法的拓?fù)鋬?yōu)化問題

Ordered SIMP插值方法［6］是一種用于求解多材料連續(xù)設(shè)計變量（0 ≤ρ≤1）結(jié)構(gòu)優(yōu)化問題的有效方法?？紤]材料的三種材料特性，即材料密度、彈性模量和成本，以結(jié)構(gòu)柔順度（Compliance）最小化為優(yōu)化目標(biāo)，受結(jié)構(gòu)質(zhì)量和成本約束的多材料拓?fù)鋬?yōu)化問題可以表述為

式中：c是結(jié)構(gòu)柔順度；K為整體剛度矩陣，U和F分別為位移向量及力向量；k0和ue分別為無彈性模量的單元位移向量和單元位移向量；ρe表示第e個單元的標(biāo)準(zhǔn)化材料密度；Ee和Ce分別為第e個單元的材料彈性模量及成本；Ve為第e個單元的體積，M和C分別為當(dāng)前設(shè)計域的質(zhì)量和成本；M0和C0分別為完全填充ρe=1 時設(shè)計域的質(zhì)量和成本；εM和εC分別是預(yù)設(shè)的質(zhì)量和成本分?jǐn)?shù)。

根據(jù)Zuo 等［6］提出的Ordered SIMP 插值方法，按歸一化密度變量ρi的升序?qū)Χ嗖牧线M(jìn)行排序，即

式中：ρiT為第i個材料的實際密度；ρmax是所有候選密度中的最大值；m為材料的總數(shù)。通過引入比例系數(shù)AE和平移系數(shù)BE，可得到擴(kuò)展的冪函數(shù)如下：

式中：p為材料插值模型的懲罰因子。

對于ρe∈[ρi，ρi+1]，AE和BE定義為

式中：Ei和Ei+1分別為材料i和材料i+1 的彈性模量。

多材料的成本插值公式為

對于ρe∈[ρi，ρi+1]，AC和BC定義為

式中：Ci和Ci+1分別為材料i和材料i+1的成本。

3 神經(jīng)網(wǎng)絡(luò)模型

3.1 數(shù)據(jù)生成

鑒于多材料拓?fù)鋬?yōu)化問題十分復(fù)雜，現(xiàn)擬從相對簡單的懸臂梁初始設(shè)計域著手，研究存在鋼和鋁合金這兩種常見建筑材料時的最優(yōu)拓?fù)湫问?。參考Wang 等［13］的研究，采用Ordered SIMP 方法，生成34 000個數(shù)據(jù)的初始數(shù)據(jù)集，并按9：0.5：0.5的比例將其分為訓(xùn)練集、驗證集及測試集。在生成訓(xùn)練數(shù)據(jù)時，荷載作用于懸臂梁端部，荷載數(shù)量取1 個，荷載作用節(jié)點，體積分?jǐn)?shù)，成本分?jǐn)?shù)以及力的作用方向均服從均勻分布。訓(xùn)練樣本的詳細(xì)信息如下：

（1）設(shè)計域尺度：40×80

（2）體積分?jǐn)?shù)：0.2～0.8（均勻分布）

（3）成本分?jǐn)?shù)：0.2～0.8（均勻分布）

（4）懲罰因子：3

（5）過濾半徑：2.5

（6）作用力數(shù)量：1

（7）作用力方向：0°～360°（均勻分布）

考慮到訓(xùn)練集的生成是主要的時間成本所在，訓(xùn)練集數(shù)量應(yīng)當(dāng)是在滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練精度情況下盡可能的少。神經(jīng)網(wǎng)絡(luò)驗證集精度隨訓(xùn)練樣本數(shù)量的變化情況如圖2 所示?？梢钥闯?，當(dāng)訓(xùn)練樣本數(shù)量小于5 000時，神經(jīng)網(wǎng)絡(luò)驗證集精度隨著訓(xùn)練樣本數(shù)量的增加而顯著增加；而當(dāng)訓(xùn)練樣本數(shù)量超過5 000后，驗證集精度不再隨著訓(xùn)練樣本數(shù)量的增加而提升。因此，理論上只需要構(gòu)造5 000個樣本即可滿足神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需求。

圖2 不同訓(xùn)練樣本數(shù)量下神經(jīng)網(wǎng)絡(luò)驗證集精度Fig.2 The accuracy on validation set of the neural network under different training sample numbers

神經(jīng)網(wǎng)絡(luò)的輸入為一個41×81×6的張量，輸入信息包括體積分?jǐn)?shù)，成本分?jǐn)?shù)，邊界條件及荷載作用邊界條件，如圖3 所示。其中前兩個通道為體積分?jǐn)?shù)和成本分?jǐn)?shù)通道，通道中所有數(shù)據(jù)均等域體積分?jǐn)?shù)及成本分?jǐn)?shù)；第三和第四個通道表示水平向（X）和豎向（Y）的邊界條件，通道中數(shù)字0表示相應(yīng)節(jié)點無約束，數(shù)字1表示相應(yīng)方向?qū)?yīng)節(jié)點為固定約束；最后兩個通道為所施加的荷載條件，數(shù)值0 表示相應(yīng)節(jié)點處未施加荷載，數(shù)值Fx及Fy表示相應(yīng)方向?qū)?yīng)節(jié)點處作用力的大小。

圖3 初始設(shè)計域Fig.3 The initial design domain

3.2 CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對模型解決問題的能力起著至關(guān)重要的作用。U-Net網(wǎng)絡(luò)具有能夠高精度提取目標(biāo)物邊界的優(yōu)勢［19］，滿足多材料拓?fù)鋬?yōu)化問題要求的擁有明確的材料邊界及結(jié)構(gòu)輪廓這一需求，因此本研究采用U-Net網(wǎng)絡(luò)解決多材料結(jié)構(gòu)拓?fù)鋬?yōu)化問題。整個網(wǎng)絡(luò)由卷積編碼器（下采樣）、卷積解碼器（上采樣）及跳躍連接三部分構(gòu)成，如圖4所示。

圖4 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 The architecture of the neural network

設(shè)計的張量首先被輸入編碼器，進(jìn)行特征提取。在編碼器內(nèi)，輸入張量先后經(jīng)過多次卷積（Conv）、標(biāo)準(zhǔn)化（Batch Normalization）及最大池化（Maxpoling）處理，提取得到不同維度的特征圖，最終輸出張量的形狀比輸入張量縮小了8 倍。隨后，編碼器輸出的特征圖被輸入與之對應(yīng)的解碼器。在先后經(jīng)過多個連接層、轉(zhuǎn)置卷積層、標(biāo)準(zhǔn)化及卷積層后，從輸入的特征圖中提取不同單元對應(yīng)的材料類別。在上采樣過程中，將來自前一個卷積層輸出的通道與特征提取部分對應(yīng)的通道在Channel維度上進(jìn)行拼接，形成更厚的特征，使解碼器部分具備高頻信息。在網(wǎng)絡(luò)的最后部分，采用一組具有批量歸一化層的卷積層來獲得單元解。網(wǎng)絡(luò)的輸出層采用softmax 激活函數(shù)，輸出三通道特征圖，代表對應(yīng)單元屬于三種不同材料的概率。單元的材料類別，取決于這三個通道的概率值，即哪個通道的概率值最大，則認(rèn)為相應(yīng)單元屬于該材料。

神經(jīng)網(wǎng)絡(luò)模型在配備Intel?Core ?i7-8700k CPU 處理器和NVIDIA GeForce GTX1080 Ti GPU 的計算機(jī)上使用Keras框架進(jìn)行訓(xùn)練。模型使用Adam 優(yōu)化算法［20］進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并采用了帶L2正則化的交叉熵?fù)p失函數(shù)，防止神經(jīng)網(wǎng)絡(luò)訓(xùn)練過擬合。訓(xùn)練時，L2正則化系數(shù)取1e-4，初始學(xué)習(xí)率為0.001，當(dāng)驗證損失在10 個epoch 內(nèi)沒有減少時，學(xué)習(xí)率將衰減0.1 倍。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)如下：

式中：p(x)為優(yōu)化目標(biāo)；q(x)為神經(jīng)網(wǎng)絡(luò)的輸出；λ為正則項系數(shù)；θi表示神經(jīng)網(wǎng)絡(luò)的權(quán)重。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中模型精度和損失的變化趨勢如圖5所示。

圖5 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集和驗證集準(zhǔn)確率和損失變化Fig.5 The accuracy and loss on training and validation set of the neural network during training

經(jīng)過約46 個epoch 后，模型在驗證集上的精度大致收斂于94%，損失收斂于0.14，而訓(xùn)練上的精度（損失）仍保持上升（下降），意味著模型訓(xùn)練出現(xiàn)過擬合。因此，在70個epoch后停止訓(xùn)練，在后續(xù)研究中，采用第46 個epoch 的神經(jīng)網(wǎng)絡(luò)參數(shù)開展模型性能評估。

4 模型性能評估

用測試集數(shù)據(jù)對訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)的性能（計算效率及精度）進(jìn)行評估。模型的精度包含像素精度、結(jié)構(gòu)柔順度精度、質(zhì)量分?jǐn)?shù)精度及成本分?jǐn)?shù)精度等。模型測試的所有計算均在配備Intel?Core?i7-8 700k CPU處理器的計算機(jī)上進(jìn)行。

大多數(shù)情況下，神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)構(gòu)與Ordered SIMP方法計算得到的多材料優(yōu)化結(jié)構(gòu)在結(jié)構(gòu)形式、材料分布及結(jié)構(gòu)性能等方面十分相似，如圖6 a 所示。但采用Ordered SIMP 方法的平均計算時間為27.51 s，而采用基于深度學(xué)習(xí)方法的計算時間為0.157 s（0.156 s 數(shù)據(jù)預(yù)處理+0.001 s 模型預(yù)測，生成數(shù)據(jù)的時間及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時間未被計入），僅相當(dāng)于Ordered SIMP 方法的0.57%。這是由于Ordered SIMP 方法在優(yōu)化過程中需要進(jìn)行上百次有限元迭代分析及靈敏度分析，花費了大量時間。而基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法在模型訓(xùn)練完成后可以直接預(yù)測得到優(yōu)化后的結(jié)構(gòu)，而無需任何迭代，計算效率得到顯著提升。應(yīng)該注意的是，基于深度學(xué)習(xí)方法的計算時間不包括生成數(shù)據(jù)集的時間（生成5 000 個訓(xùn)練樣本需要38.21 h）和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時間（0.79 h），因為數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練僅為一次離線成本，而訓(xùn)練后的模型可以用來解決無數(shù)類似的拓?fù)鋬?yōu)化問題。此外，圖6 中Ordered SIMP 方法得到的一些結(jié)果存在類似傳統(tǒng)單一材料拓?fù)鋬?yōu)化的棋盤格現(xiàn)象。相較而言，深度學(xué)習(xí)方法得到的優(yōu)化結(jié)構(gòu)具有更好的材料連續(xù)性，材料邊界更加明確，未發(fā)現(xiàn)類似的棋盤格現(xiàn)象。

圖6 給定約束條件下多材料預(yù)測結(jié)構(gòu)與傳統(tǒng)方法得到的優(yōu)化結(jié)構(gòu)對比Fig.6 Comparison of predicted and optimized structures of multi-materials under given constraints

兩種方法的評估結(jié)果如表1 所示，在預(yù)測精度方面，基于深度學(xué)習(xí)方法的柔順度、像素、質(zhì)量分?jǐn)?shù)及成本分?jǐn)?shù)的誤差分別為6.49%，6.71%，-2.74%及-2.76%。然而，在得到的結(jié)果中，也存在誤差較大（柔順度誤差＞25%）的情況，如圖6 b所示。兩個方面的原因可能導(dǎo)致了較大誤差的出現(xiàn)：一方面，多材料拓?fù)鋬?yōu)化問題難度較大，在生成訓(xùn)練數(shù)據(jù)集時，所采用的算法僅能得到局部最優(yōu)解，導(dǎo)致部分訓(xùn)練數(shù)據(jù)不夠理想（圖6 b中前兩個算例），進(jìn)而影響到模型預(yù)測結(jié)果的準(zhǔn)確性。另一方面，所提出的方法中，高像素相似度是深度學(xué)習(xí)網(wǎng)絡(luò)唯一的訓(xùn)練目標(biāo)，這意味著只要結(jié)果具有較高的像素相似度，材料分布不一致的出現(xiàn)就不會得到懲罰。在類似的研究中［13，15］，也存在結(jié)構(gòu)預(yù)測不理想的問題。這也為開展進(jìn)一步研究指出了改進(jìn)方向：如何將力學(xué)信息融入訓(xùn)練目標(biāo)，使得神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)果不僅僅只具有像素概念。

表1 神經(jīng)網(wǎng)絡(luò)預(yù)測方法及Ordered SIMP方法優(yōu)化結(jié)果比較Tab.1 Comparison of analysis results between neural network prediction method and Ordered SIMP Method

除了部分結(jié)果出現(xiàn)較大誤差外，一些深度神經(jīng)網(wǎng)絡(luò)預(yù)測得到的結(jié)果甚至比Ordered SIMP 方法表現(xiàn)更佳（即：采用更少的材料，更低的成本得到結(jié)構(gòu)柔順度更小的結(jié)構(gòu)），如圖6 c 所示。取得這種表現(xiàn)的主要原因在于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中對分類標(biāo)簽的處理：Ordered SIMP 方法得到的優(yōu)化結(jié)構(gòu)的單元密度分布在0～1之間，密度接近何種材料，就認(rèn)為此單元被該材料填充。為了提高數(shù)據(jù)生成效率，在采用Ordered SIMP 方法生成訓(xùn)練數(shù)據(jù)時，當(dāng)相鄰迭代步的最大單元密度變化小于1.01×10-3時，終止迭代分析，并認(rèn)為得到的結(jié)果為相應(yīng)約束下的優(yōu)化結(jié)構(gòu)。因此，這種處理方法可能存在許多密度介于兩種材料之間的中間密度單元。而深度學(xué)習(xí)方法在訓(xùn)練時，預(yù)先對語義分割的分類標(biāo)簽進(jìn)行處理，使得輸出的標(biāo)簽只有三種，即三種材料的相對密度。因而隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練的進(jìn)行，深度學(xué)習(xí)方法得到的結(jié)果將不斷向三種材料的相對密度值趨近，使得輸出結(jié)果的中間密度單元減少，結(jié)構(gòu)具有更低的柔順度。

5 結(jié)論

提出了一種基于深度學(xué)習(xí)的多材料結(jié)構(gòu)拓?fù)鋬?yōu)化方法，首次嘗試將深度學(xué)習(xí)技術(shù)引入了多材料結(jié)構(gòu)拓?fù)鋬?yōu)化領(lǐng)域。相較于傳統(tǒng)的拓?fù)鋬?yōu)化方法，所提出的方法能夠在幾乎不犧牲結(jié)構(gòu)性能的情況下在極短的時間內(nèi)得到多材料優(yōu)化結(jié)構(gòu)，而無需進(jìn)行任何迭代分析。此外，深度學(xué)習(xí)方法得到的優(yōu)化結(jié)構(gòu)具有更好的材料連續(xù)性，材料邊界更加明確，且未發(fā)現(xiàn)Ordered SIMP 方法得到的結(jié)果中出現(xiàn)的類棋盤格現(xiàn)象。當(dāng)然，本研究還存在許多問題有待進(jìn)一步解決，如找到更好的數(shù)據(jù)生成方法，提高神經(jīng)網(wǎng)絡(luò)的精度，降低大誤差出現(xiàn)的比例等

然而，基于深度學(xué)習(xí)的結(jié)構(gòu)拓?fù)鋬?yōu)化這種方法，尤其是多材料的結(jié)構(gòu)拓?fù)鋬?yōu)化方法才剛起步。無論是本研究還是國外的一些相關(guān)研究中，都存在一定的局限性。一方面，由于部分訓(xùn)練數(shù)據(jù)不理想及神經(jīng)網(wǎng)絡(luò)的精度等原因，一些神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果存在較大誤差，亟待研究更好的數(shù)據(jù)生成方法及具有力學(xué)信息的訓(xùn)練目標(biāo)。另一方面，本研究的設(shè)計域選為相對簡單的長方形懸臂梁邊界條件，荷載作用于懸臂端，當(dāng)荷載作用位置，設(shè)計域形狀及優(yōu)化材料種類變化時，則需要構(gòu)造新的數(shù)據(jù)集及訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)。因此，神經(jīng)網(wǎng)絡(luò)的泛化能力有待進(jìn)一步提高。此外，目前，幾乎所有基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法都是依托于柔順度優(yōu)化問題，如何將基于深度學(xué)習(xí)的拓?fù)鋬?yōu)化方法拓展到其他更復(fù)雜的優(yōu)化問題（如應(yīng)力優(yōu)化等）將是未來研究的一個重要方向。

作者貢獻(xiàn)聲明：

項程：具體研究工作的開展和論文初稿撰寫。

陳艾榮：指導(dǎo)論文的選題，負(fù)責(zé)論文思路的把控和核準(zhǔn)。