基于GoogLeNet的混凝土細觀模型應(yīng)力-應(yīng)變曲線預測*

周 杰，趙婷婷，陳青青，王志勇，王志華

（1.太原理工大學 機械與運載工程學院 應(yīng)用力學研究所，太原 030024；2.材料強度與結(jié)構(gòu)沖擊山西省重點實驗室，太原 030024）

引 言

非均質(zhì)材料通常指由兩種或者兩種以上材料組成的復合材料，細觀力學認為，材料細觀尺度下的特性對其宏觀性能具有決定性的影響.其中，混凝土由骨料、水泥砂漿和初始孔隙和裂縫等組成，是一種典型的非均質(zhì)復合材料.隨著計算力學的發(fā)展，不同學者使用數(shù)值計算方法在細觀尺度下研究了混凝土材料的力學響應(yīng)，涉及強度、彈性模量、導熱性能等問題[1-4].但是，由于不同細觀組分形態(tài)、分布、力學參數(shù)差異顯著，建立細觀模型特征與材料宏觀性能之間的多尺度關(guān)聯(lián)具有難度.如今，隨著深度學習技術(shù)的飛速發(fā)展和廣泛應(yīng)用，為跨尺度的力學研究問題提供了方向.不同于其他研究，本文基于計算力學和深度學習方法，提出了一種準確、快速預測混凝土細觀模型應(yīng)力-應(yīng)變曲線的方法.

Hinton 和Salakhutdinov[5]首次提出了深度學習框架.深度學習是一種數(shù)據(jù)驅(qū)動的方法，基于大量數(shù)據(jù)信息，通過搭建神經(jīng)網(wǎng)絡(luò)模型就可以在復雜輸入輸出數(shù)據(jù)之間建立隱式函數(shù)關(guān)系.隨著計算機科學技術(shù)的不斷發(fā)展，深度學習為越來越多的領(lǐng)域帶來靈感和啟發(fā)，尤其在計算機視覺領(lǐng)域中有著突出的表現(xiàn)[6].其中，卷積神經(jīng)網(wǎng)絡(luò)作為深度學習模型中最重要的結(jié)構(gòu)之一[7]，被廣泛應(yīng)用于圖像識別、分類，語義分割[8]，目標檢測[9]等不同的場景，涵蓋了生活、交通、安全、醫(yī)療、工程、社交媒體等諸多領(lǐng)域.深度學習正在成為一種改變“游戲規(guī)則”的技術(shù)[10].在復合材料力學性能預測方面，其同樣也發(fā)揮著越來越突出的作用.近年來，不同學者先后開展了大量相關(guān)研究工作：Ye 等[11]提出了一種改進的卷積神經(jīng)網(wǎng)絡(luò)，以具有任意形狀和分布的夾雜物復合材料微結(jié)構(gòu)為窗口圖像，預測其有效彈性模量和Poisson 比.Li 等[12]提出利用計算力學方法和卷積神經(jīng)網(wǎng)絡(luò)，預測了具有五種組成成分隨機頁巖模型的彈性模量.Yang 等[13]利用深度學習方法預測了由兩相材料構(gòu)成的復合材料的應(yīng)力-應(yīng)變曲線.Shin 等[14]通過數(shù)碼相機獲得了真實混凝土表面圖片和深度學習預測試件抗壓強度.

應(yīng)力-應(yīng)變曲線是反映材料力學性能的重要表達形式，具有高維度特點，強度、等效彈性模量等重要宏觀性能都能夠從應(yīng)力-應(yīng)變曲線中獲取.因此，本文基于GoogLeNet 卷積神經(jīng)網(wǎng)絡(luò)以及訓練集，實現(xiàn)了對混凝土細觀模型單軸壓縮應(yīng)力-應(yīng)變曲線進行預測.首先介紹了卷積神經(jīng)網(wǎng)絡(luò)和GoogLeNet 模型，對數(shù)據(jù)集的收集過程以及數(shù)據(jù)集的預處理方式進行了詳細闡述.其次使用數(shù)據(jù)集訓練改進的卷積神經(jīng)網(wǎng)絡(luò)，在測試集上進行預測.從預測曲線中提取彈性模量和峰值應(yīng)力兩個重要的力學性能，定量地評估了卷積神經(jīng)網(wǎng)絡(luò)的預測精度.最后根據(jù)預測結(jié)果得出初步結(jié)論，對未來的工作提出規(guī)劃.

1 GoogLeNet 卷積神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學習的代表算法之一[15]，其基本組成如圖1 所示.和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)類似，卷積神經(jīng)網(wǎng)絡(luò)同樣是由具有權(quán)重、偏置等參數(shù)的人工神經(jīng)元構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)主要包括輸入層、卷積層、池化層、全連接層和輸出層等.其中，圖像從輸入層進入網(wǎng)絡(luò)結(jié)構(gòu).卷積層是整個卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)和核心，其功能是對輸入層接收的圖像數(shù)據(jù)進行特征提取.池化層又稱為下采樣層，位置一般處于卷積層的下一層，目的是對卷積層采集到的特征信息進行選擇和過濾.通常，卷積神經(jīng)網(wǎng)絡(luò)通過多個卷積層和池化層堆疊，可以逐步提取圖像特征信息，最后有效掌握整個圖像所表達的特征.

圖1 卷積神經(jīng)網(wǎng)絡(luò)基本組成Fig.1 The basic composition of a CNN

1.2 GoogLeNet 和inception 模塊

隨著先進算法的不斷挖掘，研究人員提出了AlexNet[16]、GoogLeNet[17]、VGGNet 和ResNet 等不同模型的卷積神經(jīng)網(wǎng)絡(luò).不同于其他的卷積神經(jīng)網(wǎng)絡(luò)模型，GoogLeNet 使用inception 模塊代替卷積層.本文使用的inception 模塊如圖2 所示，由1×1，3×3，5×5 的卷積核以及3×3 的最大池化層組成.Inception 模塊對輸入特征圖同時進行多個不同類型的卷積層以及最大池化層操作最后再聚合，相當于對一個特征圖執(zhí)行多次非線性操作并疊加，能夠獲取不同感受野(receptive field)[18]下的特征信息.在增加網(wǎng)絡(luò)深度的同時改善了網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，能顯著降低參數(shù)規(guī)模.

圖2 Inception 模塊Fig.2 The inception module

1.3 激活函數(shù)

激活函數(shù)的功能是增加神經(jīng)網(wǎng)絡(luò)的非線性特性，有助于建立神經(jīng)元輸入和輸出之間的復雜映射.早期神經(jīng)網(wǎng)絡(luò)使用的激活函數(shù)（sigmoid 和tanh 等）如圖3(a)～(c)所示，適用于訓練淺層神經(jīng)網(wǎng)絡(luò)，對于深層神經(jīng)網(wǎng)絡(luò)，在反向傳播過程中會出現(xiàn)梯度消失、學習困難等情況.Nair 和Hinton[19]提出將ReLU 函數(shù)作為深層神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，如圖3(d)所示.ReLU 函數(shù)的梯度只有0 和1，這在一定程度上抑制了部分神經(jīng)元的活性，無論在正向傳播還是反向傳播中都顯著地減少了計算資源，提高了訓練效率.

圖3 激活函數(shù)：(a) sigmoid；(b) tanh；(c) Leaky ReLU；(d) ReLUFig.3 Activation functions: (a) sigmoid; (b) tanh; (c) Leaky ReLU; (d) ReLU

2 建立數(shù)據(jù)集

2.1 數(shù)值模擬試驗

本文在筆者現(xiàn)有工作[4,20]的基礎(chǔ)上，考慮到孔隙以及骨料在基質(zhì)中分布的不確定性和隨機性，借助基于Monte-Carlo 方法的隨機骨料模型[21]進行混凝土二維細觀模型建模：通過Monte-Carlo 方法產(chǎn)生滿足均勻分布的隨機變量，并且保證在基體空間中，骨料與骨料、骨料與孔隙間、孔隙與孔隙之間兩兩分離.骨料的粒徑同樣需要滿足一定的分布，使用Walaraven 公式[22]表示二維平面中隨機骨料的分布：

式中，Pc為不同骨料級配在二維平面中出現(xiàn)的概率，Pk為骨料體積占混凝土體積的百分比，D0為當前級配骨料粒徑.

為了增加數(shù)據(jù)集的樣本空間，設(shè)置骨料體積分數(shù)范圍在20%～40%之間，孔隙率范圍在0%～10%之間.如圖4的有限元模型，試件尺寸為150 mm×150 mm，骨料級配采用三級配，粒徑分別為18 mm，12 mm，6 mm，孔隙直徑取為2 mm[23]，骨料顆粒形狀和孔隙形狀均假設(shè)為圓形[24]，骨料與孔隙數(shù)目分別通過Walaraven 公式以及孔隙率計算.

圖4 混凝土細觀模型Fig.4 Concrete’s meso-model

在材料參數(shù)方面，由于骨料相比砂漿基質(zhì)有較高的強度，不會產(chǎn)生貫穿裂縫引起的斷裂破壞，使用線彈性模型模擬骨料的力學性能；水泥砂漿的力學行為與混凝土相似，宏觀應(yīng)力-應(yīng)變曲線達到峰值應(yīng)力后都會出現(xiàn)軟化行為，采用ABAQUS 中的混凝土損傷塑性（concrete damage plasticity）模型[25]模擬其損傷及斷裂行為.本文中，各細觀組分的材料參數(shù)按照文獻[26]定義，見表1.

表1 細觀組分的力學參數(shù)Table 1 Mechanical parameters of meso-compositions

鑒于表現(xiàn)良好的神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)集進行訓練，本文通過編寫ABAQUS 內(nèi)置腳本語言Python 程序自動實現(xiàn)前處理操作，包括重復且繁瑣的建立隨機骨料模型、賦予材料屬性、施加荷載、劃分網(wǎng)格等一系列操作.使用ABAQUS/standard 隱式模塊進行數(shù)值模擬計算，采用準靜態(tài)單軸壓縮實驗加載，如圖5 所示，在試件底部邊界約束豎向位移，并且在底部邊界中點處約束水平位移；有限元模擬采用位移控制加載，在試件頂部邊界施加均勻位移荷載.最后獲取對應(yīng)的應(yīng)力-應(yīng)變曲線.一共收集訓練集1 512 組、驗證集168 組、測試集21 組.

圖5 單軸壓縮實驗加載示意圖Fig.5 Diagram of uniaxial compression test loading

2.2 數(shù)據(jù)預處理

2.2.1 細觀模型窗口圖像預處理

輸入數(shù)據(jù)會對卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果產(chǎn)生較大影響，需要對輸入圖像數(shù)據(jù)進行預處理操作.首先將輸入的細觀模型窗口圖像編碼為RGB 色彩的數(shù)據(jù)形式，不同的細觀組分需要設(shè)置不同顏色，在本文中，綠色代表骨料，藍色代表砂漿，而紅色代表孔隙.另外，用于訓練以及測試的圖像分辨率設(shè)置為200 dpi，部分圖像數(shù)據(jù)集如圖6 所示.

圖6 混凝土細觀模型圖像Fig.6 The image of concrete meso-structure

2.2.2 應(yīng)力-應(yīng)變曲線預處理

經(jīng)過數(shù)值模擬得到的應(yīng)力-應(yīng)變曲線是由無數(shù)點組成的高維度數(shù)據(jù)，將未經(jīng)處理的應(yīng)力-應(yīng)變曲線作為神經(jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)，會顯著增加神經(jīng)網(wǎng)絡(luò)的負擔，消耗大量計算資源的同時降低神經(jīng)網(wǎng)絡(luò)的學習效率.鑒于此，本文分兩個步驟簡化應(yīng)力-應(yīng)變曲線[7]：1）使用曲線上41 個固定橫坐標的點表征一條應(yīng)力-應(yīng)變曲線；2）不同的應(yīng)力-應(yīng)變曲線之間，41 個點的橫坐標是重復的信息，因此可以暫時省略，只保留縱坐標的信息.經(jīng)過以上兩步簡化，如圖7 所示，每條應(yīng)力-應(yīng)變曲線簡化表達為41 維的向量.

圖7 應(yīng)力-應(yīng)變曲線預處理Fig.7 Preprocessing of the stress-strain curve

2.2.3 自定義損失函數(shù)

由于預測任務(wù)目標為41 維的向量，是多回歸問題，因此需要修改GoogLeNet 神經(jīng)網(wǎng)絡(luò)的輸出層激活函數(shù)：應(yīng)力數(shù)值的值域包含于ReLU 函數(shù)的值域，所以采用ReLU 函數(shù)作為最后輸出層的激活函數(shù)，設(shè)定輸出維度為41，分別對應(yīng)簡化后的應(yīng)力-應(yīng)變曲線.另一方面，損失函數(shù)是反向傳播中權(quán)重更新的基礎(chǔ)，具有多種形式，不同的問題需要設(shè)置對應(yīng)的損失函數(shù).本文通過自定義的均方根誤差（RMSE）函數(shù)作為損失函數(shù)：

式中L(y,)為損失值，y為真實的應(yīng)力值，y?為神經(jīng)網(wǎng)絡(luò)預測的應(yīng)力值.

3 訓練過程及預測結(jié)果

卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中參數(shù)規(guī)模巨大，為了提高并行計算和訓練效率，本實驗在搭載了NVIDIA GeForce GTX 1650 的計算機上完成.基于深度學習開源框架Keras 搭建GoogLeNet 卷積神經(jīng)網(wǎng)絡(luò)，在TensorFlow[27]后端上進行訓練.依賴的Python 庫有Pillow、h5py、protubuf、numpy 等.

3.1 訓練過程

訓練過程使用Adam[28]優(yōu)化器作為反向傳播算法.設(shè)定神經(jīng)網(wǎng)絡(luò)的學習率為1E-3，批處理大小為4，epoch 值Eepoch為100.訓練過程中訓練集和驗證集的損失曲線如圖8 所示.從圖中可以觀察到，隨著訓練迭代輪次的逐步增加，驗證損失顯著減少最后趨于穩(wěn)定.

圖8 訓練集和驗證集損失曲線：(a)訓練集損失曲線；(b)驗證集損失曲線Fig.8 Loss curves of the training set and the validation set: (a) the loss curve of the training set; (b) the loss curve of the validation set

3.2 預測結(jié)果

訓練過程中，當驗證集損失值降低到最小為1.061 時，載入對應(yīng)的權(quán)重參數(shù)到神經(jīng)網(wǎng)絡(luò)，可以快速預測得到測試集的應(yīng)力-應(yīng)變曲線.圖9 為部分測試集的真實應(yīng)力-應(yīng)變曲線和預測得到的應(yīng)力-應(yīng)變曲線對比情況.

圖9 部分測試集的預測結(jié)果和數(shù)值計算結(jié)果對比：(a) 骨料體積分數(shù)39%，孔隙率1%；(b) 骨料體積分數(shù)39%，孔隙率6%；(c) 骨料體積分數(shù)39%，孔隙率9%；(d) 骨料體積分數(shù)40%，孔隙率1%；(e) 骨料體積分數(shù)40%，孔隙率3%；(f) 骨料體積分數(shù)40%，孔隙率8%Fig.9 Comparison of prediction results with numerical test data: (a) aggregate volume fraction at 39%, porosity at 1%; (b) aggregate volume fraction at 39%,porosity at 6%; (c) aggregate volume fraction at 39%, porosity at 9%; (d) aggregate volume fraction at 40%, porosity at 1%; (e) aggregate volume fraction at 40%, porosity at 3%; (f) aggregate volume fraction at 40%, porosity at 8%

通過觀察預測結(jié)果發(fā)現(xiàn)，基于混凝土細觀模型圖像信息，使用訓練良好的神經(jīng)網(wǎng)絡(luò)預測得到的曲線能夠擬合真實曲線.在彈性階段，預測曲線與真實曲線幾乎重合；在塑性階段，曲線的擬合效果存在一定差異.分析認為：在彈性階段，混凝土內(nèi)部幾乎不產(chǎn)生損傷演化，神經(jīng)網(wǎng)絡(luò)輸入的圖像信息和彈性階段的細觀模型差異細微，所以曲線擬合效果好；隨著荷載的持續(xù)施加，混凝土內(nèi)部獨立微裂縫之間開始貫通，形成宏觀裂縫，造成混凝土局部破壞，此時神經(jīng)網(wǎng)絡(luò)輸入的圖像和細觀模型差異逐漸顯著，圖像信息與細觀模型匹配度降低，一定程度上增加了神經(jīng)網(wǎng)絡(luò)學習的難度.

3.3 卷積神經(jīng)網(wǎng)絡(luò)測試結(jié)果對比

表2 展示了基于數(shù)據(jù)集的不同卷積神經(jīng)網(wǎng)絡(luò)模型的對比.可以看出，在引入了算法更為先進的inception模塊后，GoogLeNet 無論是在模型參數(shù)數(shù)量還是驗證集損失上都具有明顯的優(yōu)勢.GoogLeNet 訓練所花費的時間，分別是AlexNet 和ResNet 的60.3%和36.8%.其次，在驗證集損失方面，GoogleNet 和ResNet 分別為1.016 和1.773，而AlexNet 高達6.139.圖10 展示了不同卷積神經(jīng)網(wǎng)絡(luò)模型預測得到的應(yīng)力-應(yīng)變曲線對比.通過觀察可以得到：AlexNet 無論是在彈性階段還是塑性階段都無法較好地擬合曲線；ResNet 則無法較好地預測和捕獲應(yīng)力-應(yīng)變曲線的峰值應(yīng)力信息；GoogLeNet 無論在彈性階段還是曲線峰值處都有著良好的預測效果.

表2 各卷積神經(jīng)網(wǎng)絡(luò)模型的對比Table 2 Comparison of CNN models

圖10 不同CNN 預測結(jié)果對比Fig.10 Comparison of different CNN prediction results

3.4 定量評估預測結(jié)果

從全局定量地描述曲線預測結(jié)果難度較大，本文從應(yīng)力-應(yīng)變曲線中提取到峰值應(yīng)力和等效彈性模量兩個重要力學性能，使用相對誤差定量評估局部曲線預測結(jié)果的精度.相對誤差計算方法如下：

式中，εr為相對誤差，P代表預測值，A代表真實值.

如圖11(a)、(c)所示，從預測曲線中提取到的等效彈性模量和峰值應(yīng)力都分布在直線附近，表明預測結(jié)果和真實結(jié)果非常接近.如圖11(b)所示，在21 組測試數(shù)據(jù)中，20 組峰值應(yīng)力相對誤差小于10%，10 組峰值應(yīng)力的相對誤差小于2%.在圖11(d)中，20 組測試數(shù)據(jù)的等效彈性模量相對誤差小于5%，10 組測試數(shù)據(jù)的彈性模量相對誤差小于2%.

圖11 預測結(jié)果：(a) 峰值應(yīng)力預測值；(b) 峰值應(yīng)力預測值誤差；(c) 彈性模量預測值；(d) 彈性模量預測值誤差Fig.11 Predictions: (a) peak stress prediction; (b) errors of peak stress prediction; (c) elastic modulus prediction; (d) errors of elastic modulus of prediction

4 結(jié)論及展望

本文以混凝土這種非均質(zhì)復合材料為研究對象，基于細觀模型圖像信息，利用GoogLeNet 卷積神經(jīng)網(wǎng)絡(luò)對混凝土細觀模型進行了單軸抗壓應(yīng)力-應(yīng)變曲線預測.經(jīng)過大量數(shù)據(jù)訓練得到的神經(jīng)網(wǎng)絡(luò)，在測試集上預測得到的曲線與數(shù)值計算得到的曲線吻合度較高.研究結(jié)果表明，基于GoogLeNet 的卷積神經(jīng)網(wǎng)絡(luò)能夠提取混凝土細觀模型中的特征信息，表現(xiàn)出良好的泛化能力.這項研究為高效、準確地建立混凝土細觀模型和應(yīng)力-應(yīng)變曲線之間的非線性映射提供了方法，展示了數(shù)據(jù)驅(qū)動模式下混凝土跨尺度力學行為研究的潛力.

在建立混凝土二維細觀模型時，為了減少數(shù)值模擬計算時間，提高數(shù)據(jù)收集的效率，我們假設(shè)骨料和孔隙的幾何形狀為圓形，以后的工作中，會建立包含幾何形狀更為復雜的二維細觀模型數(shù)據(jù)集，同樣可以使用CT 掃描圖像建立細觀模型數(shù)據(jù)集.不僅僅局限于混凝土，對于其他非均質(zhì)復合材料也同樣可以采取類似的研究方法，甚至推廣到新型復合材料的設(shè)計研究.在未來的工作中，我們一方面將引入成功的經(jīng)驗?zāi)Ｐ突蛘咚惴?，實現(xiàn)材料宏觀性能的更高效預測；另一方面，將成熟的有限元方法逐步“嵌入”到神經(jīng)網(wǎng)絡(luò)模型，將數(shù)據(jù)驅(qū)動的深度學習方法變得可解釋，也是一個值得攻克的難點.