基于BOA-ELM的混凝土抗壓強度預(yù)測研究

吳小平　李元棟　張英杰　阮映輝　劉志文

摘? ?要：為控制控制混凝土生產(chǎn)成本，在混凝土拌和期限制抗壓強度不足的缺陷構(gòu)建產(chǎn)出，可以有效降低原料的浪費，是節(jié)能降耗的關(guān)鍵方法之一。針對混凝土抗壓強度的傳統(tǒng)測量方法嚴(yán)重滯后的問題，提出了基于貝葉斯優(yōu)化極限學(xué)習(xí)機（BOA-ELM）的混凝土抗壓強度預(yù)測方法。首先，分析了混凝土拌和過程中對抗壓強度預(yù)測值實時獲得的需求。以各物料的用量為分析基礎(chǔ)，28天標(biāo)準(zhǔn)養(yǎng)護后混凝土抗壓強度值為預(yù)測目標(biāo)，設(shè)計了基于極限學(xué)習(xí)機的強度預(yù)測模型。其次，為進一步提高模型的穩(wěn)定性以及準(zhǔn)確行，提出基于貝葉斯優(yōu)化的極限學(xué)習(xí)機模型，根據(jù)模型超參數(shù)的分布特征，以高斯過程作為超參的先驗分布，預(yù)測誤差最小化作為目標(biāo)，尋找最優(yōu)的模型超參。最后，在實際施工產(chǎn)生的C50標(biāo)號混凝土數(shù)據(jù)集上測試文中模型，并對比分析了其他預(yù)測模型和尋優(yōu)算法。結(jié)果表明，結(jié)合了貝葉斯優(yōu)化的極限學(xué)習(xí)機預(yù)測模型相較于經(jīng)典算法具有更高的預(yù)測準(zhǔn)確性和模型訓(xùn)練的高效性。

關(guān)鍵詞：混凝土;抗壓強度預(yù)測模型;極限學(xué)習(xí)機;貝葉斯優(yōu)化;軟測量

中圖分類號：TU528.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼：A

Prediction of Concrete Compressive Strength Based on BOA-ELM

WU Xiao-ping1，LI Yuan-dong2？覮，ZHANG Ying-jie2，RUAN Ying-hui3，LIU Zhi-wen4

（1. Highway Administration of Zhejiang Province，Hangzhou，Zhejiang 310009，China;

2. College of Computer Science and Electronic Engineering，Hunan University，Changsha，Hunan 410082，China;

3. Zhejiang Taizhou Coastal Expressway Co.，Ltd.，Taizhou，Zhejiang 318000，China;

4. College of Civil Engineering ，Hunan University，Changsha，Hunan 410082，China）

Abstract：In order to control the cost of concrete，it is one of the key methods to save energy and avoid the waste of materials by limiting the output of defects whoes compressive strength is not up to standard，during the concrete mixing period. Because the traditional measurement method for concrete compressive strength is seriously lagging，the prediction method of concrete compressive strength based on extreme learning machine Bayesian optimized（BOA-ELM） is proposed. Firstly，the real-time demand of the value of the compressive strength predicted during the concrete mixing process is analyzed. Based on the analysis of the amount of each material and the compressive strength of the concrete after 28 days of standard curing ，the strength based on the extreme learning machine is designed. Secondly，in order to further improve the stability and accuracy of the predictive model，a extreme learning machine model Bayesian optimized（BOA-ELM） is proposed. According to the distribution of the model hyperparameters，the Gaussian process is used as the prior distribution ，and take prediction error minimized as the target，to find the best model super parameters. Finally，the model is tested on the C50 concrete dataset generated by the actual construction，and other prediction models and optimization algorithms are compared and analyzed. The results show that the extreme learning machine prediction model combined with Bayesian optimization has higher prediction accuracy and more efficiency of model training than classical algorithms.

Key words：concrete;prediction model of compressive strength;extreme learning machine;Bayesian optimization algorithm;soft-sensor

隨著建筑行業(yè)的發(fā)展，作為土木施工的主要材料之一的混凝土每年要消耗19.1億立方米之多。隨著各地對環(huán)境保護意識的增強，砂石的開采、運輸管理逐步規(guī)范化，混凝土原料的采購成本也隨之增加。如何合理控制混凝土生產(chǎn)成本成為土木行業(yè)的重要問題?；炷恋目箟簭姸仁墙Y(jié)構(gòu)設(shè)計和施工的重要參考指標(biāo)[1]，按照傳統(tǒng)的方法，需要經(jīng)過混凝土試塊壓制、28天養(yǎng)護室養(yǎng)護、壓力機壓力測試的漫長實驗獲得。如若該批次混凝土澆筑構(gòu)件抗壓強度未達到規(guī)定標(biāo)準(zhǔn)，則廢除重筑。不僅浪費了原料，還延誤了工期，甚至影響施工安全。如果可以在混凝土拌和期間及時獲得預(yù)期強度，利于及時采取加固、補強措施，對于提高施工的質(zhì)量和進度，避免物料浪費節(jié)約成本具有實用價值。

混凝土抗壓強度受物料、養(yǎng)護時間等多種因素影響，且成動態(tài)非線性。致使19世紀(jì)基于經(jīng)驗構(gòu)建的解析模型都有不同方面的局限性[2-3]。隨著人工智能方法的發(fā)展，混凝土抗壓強度預(yù)測研究領(lǐng)域涌現(xiàn)出多種智能模型，準(zhǔn)確性更高的神經(jīng)網(wǎng)絡(luò)[4]、支持向量機[5]及其衍生建模方法[6]被大量應(yīng)用。但支持向量機核函數(shù)參數(shù)、規(guī)則化系數(shù)等設(shè)置較為復(fù)雜，核函數(shù)必須滿足Mercer條件。神經(jīng)網(wǎng)絡(luò)方法需要大量數(shù)據(jù)進行訓(xùn)練，且基于梯度下降的訓(xùn)練速度較慢。為了能夠?qū)崟r獲得混凝土預(yù)期抗壓強度強度，即時修正不滿足預(yù)期的拌和料，預(yù)測模型的內(nèi)部參數(shù)復(fù)雜度一定要低、訓(xùn)練效率一定要高。為此，嚴(yán)東等提出基于特征提取和極限學(xué)習(xí)機的軟測量方法[8]，并對混凝土抗壓強度的軟測量問題進行了實驗研究，驗證了所提方法的有效性，彌補了以上方法的不足，提高了訓(xùn)練精度，縮短了訓(xùn)練時間。

預(yù)測模型的泛化性能較大地受核參數(shù)、隱藏層節(jié)點數(shù)的影響，恰當(dāng)?shù)膮?shù)設(shè)置可以較大地提高模型的預(yù)測精度。目前廣泛使用的調(diào)參方法包括人工手動調(diào)參、網(wǎng)格搜索[9]以及如粒子群[10]、遺傳算法[11]等智能優(yōu)化算法。手動調(diào)參繁瑣且依賴經(jīng)驗，網(wǎng)格搜索以及智能優(yōu)化算法大量占用計算資源和內(nèi)存資源，模型訓(xùn)練時效性較差。

綜上，為彌補上述建模以及超參尋優(yōu)方法的不足，提出了基于貝葉斯方法來優(yōu)化極限學(xué)習(xí)機超參數(shù)的混凝土抗壓強度軟測量方法。該方法采用了貝葉斯方法高效地優(yōu)化對模型泛化性能具有較大影響的超參數(shù)，避免了手動調(diào)參的繁瑣、智能優(yōu)化調(diào)參的費時費資源，并充分利用了極限學(xué)習(xí)機的高效性。

1? ?極限學(xué)習(xí)機

極限學(xué)習(xí)機[12-13]（Extreme Learning Machine，ELM）是Huang G B等人于2004年在前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出的一種高效的機器學(xué)習(xí)算法。極限學(xué)習(xí)的結(jié)構(gòu)和原理與單層神經(jīng)網(wǎng)絡(luò)相似，如圖1和圖2，隱藏層把輸入層輸入向量映射至高維特征空間，輸出層為輸出權(quán)重矩陣，基于數(shù)據(jù)訓(xùn)練學(xué)習(xí)各層權(quán)重參數(shù)。以擁有 個輸入層節(jié)點，個隱藏層節(jié)點，1個輸出層節(jié)點的 結(jié)構(gòu)的單層反饋網(wǎng)絡(luò)為例，給定 個隨機樣本 輸出表示為

f（Xk） = ■βjg（Wj·Xk + b1j） + b2? k = 1，2，…，m

（1）

式中Wj = [wi1，wi2，…，wil]，i = 1，2，…，n，是隱藏層與輸入層的輸入權(quán)重向量，wij表示輸入層第 i個節(jié)點和隱藏層第j個節(jié)點之間的權(quán)值;βj是輸出層節(jié)點和隱藏層第j個節(jié)點的權(quán)值，bij是隱藏層第 j個節(jié)點激活函數(shù)的偏置量，b2是輸出層節(jié)點的偏置量，g（x）是如圖3的隱藏層激活函數(shù)Sigmoid。

單層神經(jīng)網(wǎng)絡(luò)輸出表達式緊湊表示為

y = Hβ + b2，y∈R? ? ? ? （2）

圖1? ?單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2? ?極限學(xué)習(xí)機網(wǎng)絡(luò)結(jié)構(gòu)圖

x

圖3? ?Sigmoid函數(shù)曲線圖

H =? [h1，h2，…，hl]是隱藏層輸出矩陣，hj = g（Wj·Xk + b1j），y是對應(yīng)輸入矩陣的輸出層輸出。β =[β1，β2，…，βl]T是輸出層和隱藏層間的輸出權(quán)重向量網(wǎng)絡(luò)在第k個訓(xùn)練樣本上的均方誤差為：

Ek = ■（yk - tk）2? ? ? ? （3）

單層神經(jīng)網(wǎng)絡(luò)輸出表達式緊湊表示為

y = Hβ + b2，y∈R? ? ? ? （2）

H =? [h1，h2，…，hl]是隱藏層輸出矩陣，hj = g（Wj·Xk + b1j），y是對應(yīng)輸入矩陣的輸出層輸出。β =[β1，β2，…，βl]T是輸出層和隱藏層間的輸出權(quán)重向量網(wǎng)絡(luò)在第k個訓(xùn)練樣本上的均方誤差為：

Ek = ■（yk - tk）2? ? ? ? （3）

網(wǎng)絡(luò)中待確定的參數(shù)有：

1）輸入層到隱藏層的n × l個權(quán)值wij，

i = 1，2，…，n;j = 1，2，…，l;

2）隱藏層到輸出層的 個權(quán)值βj，j = 1，2，…，l;

3）隱層節(jié)點的l個閾值b1j，j = 1，2，…，l;

4）輸出層單節(jié)點的1個閾值b2。

目前廣泛使用BP算法求解這l × （ n + 2）個參數(shù)。BP核心在于鏈?zhǔn)角髮?dǎo)法則的運用，基于梯度下降方法，以目標(biāo)的負(fù)梯度方向?qū)?shù)進行調(diào)整：

Δwij = -η■;Δβj = -η■;

Δb1j = -η■;Δb2 = -η■;

其中η是學(xué)習(xí)率。

可見單層反饋神經(jīng)網(wǎng)絡(luò)參數(shù)復(fù)雜，且BP調(diào)參方法需要大量的微分和矩陣運算，致使整個模型訓(xùn)練效率低。為解決該問題，極限學(xué)習(xí)機在此模型基礎(chǔ)上依據(jù)以下兩個理論提出。

理論1.1

給定一個N個隱藏層節(jié)點的標(biāo)準(zhǔn)單隱藏層反饋神經(jīng)網(wǎng)絡(luò)（SLFN），且激勵函數(shù)η：R→R在任意區(qū)間無限可微，對于N個隨機不同樣本（xi，ti），{xi，ti|xi∈Rn，ti∈Rm}，以及依據(jù)任意連續(xù)概率分布在Rn和R空間任意區(qū)間隨機選擇的wi和bi，都有SLFN隱藏層輸出矩陣H可逆、 ‖Hβ-T‖概率1成立。

理論1.2

給定任意小正值ε<0，和在任意區(qū)間無限可微的激勵函數(shù)g：R→R，存在■≤N對于N個隨機不同樣本（xi，ti），{xi，ti|xi∈Rn，ti∈Rm}，以及依據(jù)任意連續(xù)概率分布在Rn和Rm空間任意區(qū)間隨機選擇的xi和 bi，都有‖HN × ■ β■ × m- TN × m‖<ε，概率1成立。

只要激勵函數(shù)滿足在任意區(qū)間無限可微，輸出層偏置就可以忽略不計，SLFN結(jié)構(gòu)簡化如圖2。隱藏層權(quán)重矩陣wi、偏置矩陣bi可以在Rn 和R空間內(nèi)依據(jù)任意連續(xù)概率分布隨機生成，不需要采用SLFN的鏈?zhǔn)角髮?dǎo)法則，反向傳播進行調(diào)整。只要一次解析計算便求得輸出層權(quán)值矩陣β，如式4

其中，β是輸出層權(quán)重矩陣，T是輸出矩陣，H？覮是隱藏層輸出矩陣的Moore-Penrose廣義逆（偽逆），求解過程如式5

H？覮是矩陣H的左偽逆矩陣，帶入式4得β*式6最小二乘解計算方法

β* = （HTH）-1HTH? ? ? ?（6）

從而極大地減少了對計算資源的占用，降低了模型訓(xùn)練時間。

訓(xùn)練步驟如下：

1）由連續(xù)概率分布隨機設(shè)定隱藏層權(quán)重矩陣wi，偏置矩陣bi超參數(shù);

2）計算隱藏層輸出矩陣h0;

3）根據(jù)式6計算輸出權(quán)重矩陣βk。

2? ?貝葉斯優(yōu)化的ELM算法

極限學(xué)習(xí)機預(yù)隱藏層激勵函數(shù)通常選擇高斯徑向基函數(shù)，測模型的預(yù)測精度跟超參σ、隱藏層節(jié)點數(shù)n的設(shè)定密切相關(guān)。但超參數(shù)的調(diào)整是一個黑盒問題，無法解析求得。只能采用基于經(jīng)驗的人工手動調(diào)節(jié)、近似窮舉的網(wǎng)格搜索，計算復(fù)雜較高的遺傳算法和粒子群算法等方法。上述方法雖能滿足模型訓(xùn)練所需，但由于訓(xùn)練時間較長，工程實踐中難運用。Martin Pelikan等人于1999年提出貝葉斯優(yōu)化算法[14-15]（Bayesian Optimization Algorithm，BOA）。BOA算法是基于遺傳算法結(jié)合統(tǒng)計學(xué)理論的一種對目標(biāo)分布的估計方法。貝葉斯優(yōu)化相較于網(wǎng)格搜索，充分利用了歷史搜索點的信息，收斂速度更快;相較于智能優(yōu)化算法具有更簡單的結(jié)構(gòu)、更低的計算復(fù)雜度。其以高斯過程為先驗函數(shù)，采樣函數(shù)根據(jù)已有經(jīng)驗數(shù)據(jù)，選擇新采樣點修正先驗函數(shù)。

優(yōu)化步驟如下：

（1）定義目標(biāo)函數(shù)：X* = argmax f（x）;

（2）隨機產(chǎn)生n個超參數(shù)初始樣本點，依據(jù)前人總結(jié)，超參數(shù)分布多服從高斯分布。高斯過程得出初始超參數(shù)的先驗分布;

（3）采樣函數(shù)（acquisition functions）基于期望增量expected-improvement最大化原則，選取使使得期望函數(shù)最大化的期望X;

（4）計算X的實際目標(biāo)值 ，如果滿足條件要求，則輸出X作為最優(yōu)超參數(shù)，否則將X及真實值 添入初始采樣點，重復(fù)（3）。

圖4是貝葉斯優(yōu)化流程圖：

圖4? ?BOA流程圖

3? ?數(shù)值仿真

3.1? ?ELM算法測試

仿真實驗環(huán)境：操作系統(tǒng)Windows10，處理器Intel（R）Core（TM）i7-4710MQ CPU@2.50GHz，內(nèi)存8GB，仿真軟件MATLAB2018a。算法可行性實驗4.1、4.2采用UCI的Concrete Compressive Strength數(shù)據(jù)，如表1. 包含1030條樣本，每個樣本有8個特征維度。應(yīng)用實驗4.3樣本來源于實際施工中標(biāo)號C50混凝土的拌合站數(shù)據(jù)，如表2. 有1135條樣本，每個樣本有9個特征維度。合并相同特征，并依據(jù)三倍方差原則剔除了異常數(shù)據(jù)。因同批次試塊抗壓強度的測量結(jié)果非定值而成正態(tài)分布，實驗中的強度數(shù)據(jù)是同批次三個試塊的均值，致使數(shù)據(jù)自身既存在一定范圍的誤差。在文獻2中預(yù)測相對誤差平均值7.33%，文獻7中預(yù)測相對誤差平均值5.04%，普遍在5%左右，且滿足工程需求。將5%相對誤差作為可行性的評判標(biāo)準(zhǔn)。

為驗證極限學(xué)習(xí)機的泛化性能和計算效率，進行如下極限學(xué)習(xí)機、BP神經(jīng)網(wǎng)絡(luò)和支持向量機對比實驗。BP網(wǎng)絡(luò)為9-9-1結(jié)構(gòu)，輸入層9個節(jié)點，隱藏層9個節(jié)點，輸出層1個節(jié)點，核函數(shù)為高斯函數(shù)。ELM采用相同結(jié)構(gòu)。支持向量機選取高斯核。三種算法核參數(shù)均由網(wǎng)格搜索方法尋優(yōu)獲得。訓(xùn)練時間忽略超參尋優(yōu)?；炷翑?shù)據(jù)分為800條用于模型訓(xùn)練、230條用于驗證。實驗分別進行50次，平均結(jié)果如表3，圖5是其中某次的實驗結(jié)果。極限學(xué)習(xí)與支持向量機的訓(xùn)練時間相近，短于BP神經(jīng)網(wǎng)絡(luò)。實驗中BP神經(jīng)網(wǎng)絡(luò)的預(yù)測精度最高，但由于BP神經(jīng)網(wǎng)絡(luò)基于鏈?zhǔn)角髮?dǎo)法則，誤差反向傳播方法迭代計算的特性，計算性能最差，訓(xùn)練時間最長。

表3? ?ELM、SVM和BP對比實驗結(jié)果平均值

樣本編號

圖5? ?單次ELM、SVM和BP對比實驗結(jié)果

3.2? ?貝葉斯超參數(shù)優(yōu)化

為驗證貝葉斯優(yōu)化算法（BOA）的高效性，將其與常用的網(wǎng)格搜索（GS）、遺傳算法（GA）以及粒子群算法（PSO）優(yōu)化的極限學(xué)習(xí)機進行對比實驗。參數(shù)尋優(yōu)算法中，設(shè)置超參數(shù)搜索空間 ，該值由多次試驗經(jīng)驗值基礎(chǔ)上獲得，并考慮到實際需求，避免意外情況略增大搜索范圍。GS搜索步長0.5，BO采樣函數(shù)使用expected-improvement-plus，GA、PSO步長（StepTolerance）設(shè)置0.5。相對誤差率、訓(xùn)練時間以及尋優(yōu)算法的迭代次數(shù)如表4。四種算法的泛化誤差雖然相近，在4%左右滿足實際需求，但貝葉斯優(yōu)化算法以其極快的收斂速度較低的計算復(fù)雜度，迭代次數(shù)最少，訓(xùn)練時間最短。表明了貝葉斯優(yōu)化算法在該問題模型上超參尋優(yōu)的高效性。

表4? ?BOA、GA、PSO和GS對比實驗結(jié)果平均值

3.3? ?BOA-ELM算法應(yīng)用

為驗證BOA-ELM算法在混凝土生產(chǎn)過程中的實際表現(xiàn)情況，采集C50混凝土拌合站數(shù)據(jù)和壓力機數(shù)據(jù)如表2。800條用于模型訓(xùn)練，335條用于模型驗證?；谠摂?shù)據(jù)集驗證BOA-ELM預(yù)測模型的現(xiàn)實性能。圖6是部分運行結(jié)果，訓(xùn)練時間15.5110s，平均預(yù)測相對誤差2.0209%小于5%，優(yōu)于期望，滿足實際需求。

樣本編號

圖6? ?BOA-ELM預(yù)測模型在工程實際數(shù)據(jù)集上的驗證結(jié)果

4? ?結(jié) 論

針對C50標(biāo)號混凝土進行抗壓強度預(yù)測研究，根據(jù)施工現(xiàn)場對實時性有較高要求的特點，采用極限學(xué)習(xí)機高效建模方法。由于預(yù)測模型的泛化精度極大程度受超參數(shù)影響，為降低超參尋優(yōu)的耗時，選擇貝葉斯優(yōu)化方法對ELM進行超參調(diào)優(yōu)。并在實際施工產(chǎn)生的C50數(shù)據(jù)集上進行了實驗仿真。實驗表明本文提出的方法相較于其他，能夠快速地訓(xùn)練預(yù)測模型、較準(zhǔn)確地預(yù)測出混凝土強度，適合混凝土抗壓強度預(yù)測的實際應(yīng)用。

參考文獻

[1]? ? 靳江偉，董春芳，馮國紅. 基于灰色關(guān)聯(lián)支持向量機的混凝土抗壓強度預(yù)測[J]. 鄭州大學(xué)學(xué)報：理學(xué)版，2015（3）：59—63.

[2]? ? 汪瀾. 水泥混凝土：組成、性能和應(yīng)用[M]. 北京：建材工業(yè)出版社，2005.

[3]? ? 李章建，宋楊會，李世華. 偏高嶺土高性能混凝土抗壓強度預(yù)測研究[J]. 硅酸鹽通報，2017，36（9）.

[4]? ? 范立強，呂國芳. 基于高維云RBF神經(jīng)網(wǎng)絡(luò)的混凝土強度預(yù)測[J]. 電子設(shè)計工程，2016，24（08）：80—82.

[5]? ? KHADEMI F ， AKBARI M ， JAMAL S M ，et al. Multiple linear regression，artificial neural network，and fuzzy logic prediction of 28 days compressive strength of concrete[J].Frontiers of Structural and Civil Engineering，2017，11（1）：90—99.

[6]? ? 龔珍，卜小波，吳浩. 基于PSO-SVM的混凝土抗壓強度預(yù)測模型[J]. 混凝土，2013（12）：11—13.

[7]? ? 張靜，劉向東. 混沌粒子群算法優(yōu)化最小二乘支持向量機的混凝土強度預(yù)測[J]. 吉林大學(xué)學(xué)報：工學(xué)版，2016，46（4）：1097—1102.

[8]? ? 嚴(yán)東，湯健，趙立杰. 基于特征提取和極限學(xué)習(xí)機的軟測量方法[J]. 控制工程，2013，20（1）：55—58.

[9]? ? XIAO T，REN D，LEI S ，et al. Based on grid-search and PSO parameter optimization for Support Vector Machine[C]. Intelligent Control & Automation. IEEE，2015.

[10]? ROBLES-RODRIGUEZ C E ，BIDEAUX C ，ROUX G ，et al. Soft-sensors for lipid fermentation variables based on PSO support vector machine （PSO-SVM）[M] Distributed Computing and Artificial Intelligence，13th International Conference. Springer International Publishing，2016.

[11]? 李剛，王貴龍，薛惠鋒. RVM核參數(shù)的遺傳算法優(yōu)化方法[J]. 控制工程，2010，17（3）：335—337.

[12]? HUANG G B，ZHU Q Y，SIEW C K. Extreme learning machine：Theory and applications[J]. Neurocomputing，2006，70（1）：489—501.

[13]? HUANG G B，ZHOU H，DING X，et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Trans Syst Man Cybern B Cybern，2012，42（2）：513—529.

[14]? SHAHRIARI B，SWERSKY K，WANG Z，et al. Taking the human out of the loop：a review of Bayesian optimization[J].Proceedings of the IEEE，2015，104（1）：148—175.

[15]? 江敏，陳一民. 貝葉斯優(yōu)化算法的發(fā)展綜述[J].計算機工程與設(shè)計，2010，31（14）：3254—3259.