基于粒子群優(yōu)化算法改進的XGBoost模型制備C4烯烴工藝條件優(yōu)化

徐博涵，阮敬

(首都經(jīng)濟貿(mào)易大學統(tǒng)計學院，北京 100070)

C4烯烴常作為化工生產(chǎn)中的基礎(chǔ)原料，以C4烯烴為原料生產(chǎn)清潔友好燃料已成為大勢所趨[1]。增大C4烯烴產(chǎn)量并對其進行綜合利用更是提高經(jīng)濟效益的必要手段。因此，優(yōu)化制備C4烯烴的反應(yīng)條件對提高C4烯烴收率具有重要意義。通過分析實驗數(shù)據(jù)和調(diào)整反應(yīng)條件，對有機化工反應(yīng)進行優(yōu)化，已成為近年來的研究熱點。

在乙醇偶合制備C4烯烴的反應(yīng)中，收率是反應(yīng)C4烯烴選擇性和轉(zhuǎn)化率的重要指標。項陽陽[2]利用回歸分析對反應(yīng)數(shù)據(jù)進行建模，探究對實驗有高度顯著影響的因素以及各因素之間的交互作用，最后進行單因素優(yōu)化。其中陳佳碩等[3]對數(shù)據(jù)建立回歸模型，得到在溫度和催化劑影響下C4烯烴收率的關(guān)系表達式，擬合優(yōu)度達到0.98，但缺點在于該研究將由5個連續(xù)變量組成的催化劑組合視為分類變量，導致求解最佳工藝條件的范圍縮小。李三杰等[4]從關(guān)聯(lián)分析的角度對數(shù)據(jù)進行探究，但這一方法有著較好的可解釋性，但無法對優(yōu)化效果進行量化，只能確定最佳的催化劑組合。

對于各因素之間影響關(guān)系復雜、難以量化表示的實驗，網(wǎng)絡(luò)和機器學習方法在構(gòu)建預(yù)測模型和優(yōu)化求解過程中能夠取得較好的效果。張棟等[5]在對變量進行特征選擇后，利用XGBoost算法構(gòu)建預(yù)測模型，利用遺傳算法求解得到優(yōu)化值。

王巖立等[6]、吳文俊等[7]采用機器學習方法對實驗數(shù)據(jù)進行擬合，將收率最大視為目標函數(shù)，通過優(yōu)化模型尋找各因素的最佳值，雖然可以得到較高的擬合優(yōu)度和更大的目標值，但依然會出現(xiàn)因約束條件使用不當而導致的解溢出邊界、計算結(jié)果不理想等問題。

雖然各學者利用統(tǒng)計學習和機器學習方法能夠很好地擬合實驗數(shù)據(jù)，提高了C4烯烴的收率，確定了最佳反應(yīng)條件，但對于大多數(shù)算法來說，超參數(shù)是模型在開始訓練之前設(shè)定的參數(shù)，訓練過程中一直保持不變，其取值控制著模型的擬合程度[8]。因此，通過對模型參數(shù)進行優(yōu)化，提高模型擬合效果，進行更精準的預(yù)測和優(yōu)化，是該研究的創(chuàng)新之處。

為得到較高的預(yù)測精度，現(xiàn)以XGBoost模型為基礎(chǔ)，以模型對已知數(shù)據(jù)的擬合優(yōu)度最大為目標的優(yōu)化模型，并設(shè)計粒子群優(yōu)化(particle swarm optimization，PSO)算法得到最優(yōu)超參數(shù)。建立XGBoost和PSO-XGBoost模型，對仿真數(shù)據(jù)進行預(yù)測，從而得到最大收率及其對應(yīng)的最佳工藝條件，并通過對比驗證超參數(shù)優(yōu)化的有效性。

1 實驗介紹

乙醇在不同的Co負載量、Co/SiO2和羥基磷灰石(hydroxyapatite，HAP)裝料比、乙醇濃度以及一定溫度的作用下，通過反應(yīng)生成C4烯烴和乙烯、乙醛、脂肪醇等副產(chǎn)物。不同的催化劑組合和溫度會導致產(chǎn)物的分布發(fā)生變化，從而對C4烯烴選擇性和乙醇轉(zhuǎn)化率產(chǎn)生影響。采用選擇性和轉(zhuǎn)化率描述這一可逆反應(yīng)的反應(yīng)程度，選擇性表示某一個產(chǎn)物在所有產(chǎn)物中的占比，轉(zhuǎn)化率表示反應(yīng)物轉(zhuǎn)換成特定生成物的百分比。在上述反應(yīng)中將C4烯烴選擇性與乙醇轉(zhuǎn)化率的乘積表示為C4烯烴收率。C4烯烴收率最大時所對應(yīng)的條件即為最佳反應(yīng)條件。實驗數(shù)據(jù)包含115條，記錄了21種催化劑組合在不同溫度下的乙醇轉(zhuǎn)化率和C4烯烴選擇性。以2021年全國大學生數(shù)學建模競賽[9]數(shù)據(jù)為基礎(chǔ)進行分析和建模，求解C4烯烴收率最大所需的溫度和催化劑組合。

2 實驗結(jié)果討論

2.1 相關(guān)性分析

數(shù)據(jù)中每種催化劑組合可用4個變量表示：Co負載量、Co/SiO2和 HAP裝料比、乙醇濃度、總質(zhì)量，為方便表示和計算，將變量用符號表示，如表1所示。

表1 符號說明表Table 1 Symbol description table

如圖1所示，對于以上定量變量，通過散點圖矩陣展示其分布于相關(guān)性情況。從分布上看，各變量分布無明顯規(guī)律，催化劑的質(zhì)量、Co負載量等變量大多集中在一個或多個水平上。溫度與乙醇轉(zhuǎn)化率、C4烯烴選擇性、C4烯烴收率存在一定正相關(guān)關(guān)系。還需進一步探究變量間關(guān)系。

2.2 影響因素分析

數(shù)據(jù)中共有21個實驗組，其中A1～A14使用裝料方式Ⅰ，B1～B7組使用裝料方式Ⅱ。通過控制變量的方法，在21組實驗中選取3組，作為主要的對比研究對象。3組實驗的催化劑配比如表2所示。

表2 催化劑成分配比表Table 1 Symbol description table

通過控制變量的方法對催化劑載體、裝料方式、反應(yīng)溫度進行逐個分析，探究這些因素對乙醇轉(zhuǎn)化率和C4烯烴收率產(chǎn)生的影響。

2.2.1 催化劑載體對烯烴收率的影響

催化劑載體能夠起到提升催化劑活性、提高催化效率的作用。當前催化劑組合中僅有A11使用石英砂作為載體，其余均為HAP。為研究催化劑載體不同對反應(yīng)的影響，在所有催化劑組合中通過控制變量的法則找到A11和A12兩組實驗，除催化劑載體不同之外，其余條件均相同。

對兩組實驗在不同溫度下的實驗數(shù)據(jù)進行分析，對比其在不同溫度下乙醇轉(zhuǎn)化率和C4烯烴收率的變化情況。兩組實驗的乙醇轉(zhuǎn)化率和C4烯烴選擇性變化趨勢分別如圖2、圖3所示。隨著溫度升高乙醇轉(zhuǎn)化率和C4烯烴選擇性逐漸增大，經(jīng)過對比發(fā)現(xiàn)，和石英砂相比，A12催化劑使用HAP作為載體，在所有溫度條件下乙醇轉(zhuǎn)化率更高，C4烯烴選擇性更高，因此使用HAP載體效果更好。

圖2 不同催化劑載體乙醇轉(zhuǎn)化率折線圖Fig.2 Line chart of ethanol conversion of different catalyst supports

圖3 不同催化劑載體C4烯烴選擇性折線圖Fig.3 Line chart of C4 olefin selectivity for different catalyst supports

2.2.2 裝料方式對烯烴收率的影響

除催化劑載體不同之外，還應(yīng)注意到A1～A14使用裝料方式Ⅰ，B1～B7使用裝料方式Ⅱ，為研究不同裝料方式對反應(yīng)的影響，通過控制變量的法則找出A12和B1兩組實驗，除催化劑裝料方式不同之外其余條件均相同。對兩組實驗在不同溫度下的實驗數(shù)據(jù)進行分析，對比其在不同溫度下乙醇轉(zhuǎn)化率和C4烯烴收率的變化情況。兩組實驗的乙醇轉(zhuǎn)化率和C4烯烴選擇性變化趨勢分別如圖4、圖5所示。

圖4 不同裝料方式乙醇轉(zhuǎn)化率折線圖Fig.4 Line chart of ethanol conversion by different charging methods

圖5 不同裝料方式C4烯烴選擇性折線圖Fig.5 Line chart of C4 olefin selectivity for different charging methods

雖然裝料方式不同，但各個溫度下的乙醇轉(zhuǎn)化率基本相同，C4烯烴選擇性在低于275 ℃時完全相同，高于275 ℃時裝料方式I效果更好。

由以上兩項對影響因素的初步分析可得出結(jié)論，在確定最優(yōu)反應(yīng)條件時，應(yīng)使用HAP作為催化劑載體。同時，因為裝料方式對反應(yīng)程度無顯著影響，在后續(xù)研究中不考慮這一變量。

因此可將乙醇轉(zhuǎn)化率和C4烯烴選擇性作為因變量，Co/SiO2、Co負載量、HAP、乙醇濃度、溫度作為自變量。以C4烯烴收率最大為目標，進一步探究因變量和自變量的關(guān)系，從而確定最佳的反應(yīng)條件。

2.2.3 反應(yīng)溫度對烯烴收率的影響

由表3可知，溫度和乙醇轉(zhuǎn)化率、C4烯烴選擇性、C4烯烴收率的相關(guān)系數(shù)均在0.7以上，并且顯著性檢驗P<0.001。對于所有催化劑組合，乙醇轉(zhuǎn)化率和C4烯烴選擇性均隨著溫度升高而升高。

表3 溫度與各因變量相關(guān)系數(shù)表Table 3 Correlation coefficient between temperature and dependent variable

3 原理分析和模型參數(shù)選擇

3.1 XGBoost算法原理分析

XGBoost算法思想是在訓練一棵樹的基礎(chǔ)上訓練下一棵樹，通過不斷訓練彌補差距的樹，用樹的組合實現(xiàn)對真實分布的模擬。算法優(yōu)勢在于目標函數(shù)的正則項能夠控制模型復雜度，有效避免過擬合出現(xiàn)，通過計算損失函數(shù)的二階導數(shù)，又進一步考慮了梯度變化的趨勢，達到擬合速度快、精度高的效果[10]。

3.1.1 XGBoost建立回歸樹擬合

XGBoost使用分類回歸樹(classification and regression tree，CART)模型，可看作根據(jù)輸入的xi預(yù)測yi的結(jié)構(gòu)，公式為

(1)

obj(θ)=l(θ)+Ω(θ)

(2)

式(2)中：l為訓練損失函數(shù)，用來衡量模型的預(yù)測能力，預(yù)測準確率越高l則越??；Ω為正則化項，與樹的復雜度有關(guān)。

(3)

在添加最后一個新函數(shù)時，得到一棵最優(yōu)的CART樹ft(xi),該樹是在ft-1(xi)樹的基礎(chǔ)上使得目標函數(shù)最小，即

(4)

式(4)中：c為簡化后與自變量無關(guān)的常數(shù)部分。對目標函數(shù)進行求解，需要分為損失函數(shù)和正則項兩部分計算。

3.1.2 處理損失函數(shù)

為了找到能夠最小化目標函數(shù)的ft(xi)，模型對其中的損失函數(shù)進行二階泰勒展開，得到目標函數(shù)的近似函數(shù)為

Ω(ft)

(5)

在ft=0處進行二階泰勒展開可得

Ω(fi)+c

(6)

去掉常數(shù)項可得

(7)

式(7)中:gi和hi被定義為

(8)

3.1.3 正則化項計算

首先將樹的定義可表示為

ft(x)=ωq(x),ω∈RT,q:Ra→{1,2,…,T}

(9)

式(9)中：ω為用來記錄各個葉子節(jié)點得分的向量；RT為長度為T的一維向量的集合；q(x)函數(shù)的作用是將輸入的xi∈Ra映射到某個葉子節(jié)點，→表示映射關(guān)系。在XGBoost模型中，正則化項可表示為

(10)

式(10)中：λ為正則化項的權(quán)重；γ為用于控制節(jié)點分裂的閾值，因此λ和γ越大，模型越簡單。

Ij={i|q(xi)=j}為分配給第j個葉子的數(shù)據(jù)點的指數(shù)集合，至此公式可變形為

(11)

(12)

求解所得到的最優(yōu)ω值和目標函數(shù)值分別為

(13)

(14)

3.2 模型參數(shù)選取和調(diào)整

3.2.1 參數(shù)選取

超參數(shù)直接影響XGBoost模型的性能和預(yù)測的效果，通常選擇超參數(shù)是手動調(diào)節(jié)的，依靠有限次數(shù)的實驗，得到一組相對合適的超參數(shù)。這樣的方法很容易錯過最優(yōu)超參數(shù)組合，為了可以更合理、更準確地選擇最優(yōu)超參數(shù)，采用粒子群對超參數(shù)進行優(yōu)化[12]。

XGBoost模型預(yù)測時需要確定3種參數(shù)：通用參數(shù)、Booster參數(shù)和學習任務(wù)參數(shù)。其中學習任務(wù)參數(shù)定義了最小化的損失參數(shù)，對于回歸問題默認損失函數(shù)為均方根誤差(root mean squared error，RMSE)，與減小模型誤差目的相同，不再進行更改。通用參數(shù)根據(jù)CART樹及其公式描述，選擇gbtree表示的樹模型對數(shù)據(jù)進行擬合，用RMSE作為損失函數(shù)。相比前兩種參數(shù)，Booster參數(shù)對算法的性能有著更大的影響，包括學習率、樹的最大深度、最小權(quán)重總和、每棵樹隨機采樣的比例等參數(shù)。

如果max_depth樹的最大深度過大會導致模型過擬合，過小會導致模型過于簡單。n_estimators 迭代次數(shù)過多會影響訓練速度，過少會得不到理想的效果。為降低仿真優(yōu)化步驟的時間復雜度，將原始數(shù)據(jù)的20%作為驗證集，80%作為訓練集，在驗證集中考察模型擬合程度和誤差。首先，應(yīng)用如表4所示的XGBoost的初始化參數(shù)擬合數(shù)據(jù)，在訓練集和測試集中的擬合情況如圖6所示，模型出現(xiàn)過擬合現(xiàn)象，訓練集精確度為0.99，平均絕對誤差(mean absolute error，MAE)為4.58，驗證集精確度為0.76，MAE為247.83。由于超參數(shù)對XGBoost模型性能有著較大的影響，并且參數(shù)過多，為了得到更精確的仿真模型，選擇利用PSO算法尋找最優(yōu)參數(shù)。

表4 參數(shù)初始化值Table 4 Initial values of parameters

圖6 XGBoost擬合效果Fig.6 XGBoost model fitting effect

3.2.2 應(yīng)用粒子群算法進行調(diào)參

粒子群算法作為一種智能優(yōu)化算法，常用來求解復雜的多目標優(yōu)化問題。算法不依賴于梯度下降為搜索方向，而是以適應(yīng)度函數(shù)值作為衡量標準，依概率隨機地在決策空間中進行尋優(yōu)搜索。該算法的優(yōu)勢在于操作簡單、收斂速度快，目前已被廣泛應(yīng)用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓練、模糊系統(tǒng)控制以及其他遺傳算法的應(yīng)用領(lǐng)域。

應(yīng)用python中的optunity調(diào)參優(yōu)化庫，將驗證集的R2作為目標函數(shù)，選擇粒子群算法作為優(yōu)化方法。調(diào)用optunity.maximize函數(shù)將約束條件和優(yōu)化方法作為參數(shù)輸入，執(zhí)行150次。執(zhí)行粒子群算法過程中，將一些隨機粒子作為初始解，隨后在每一次迭代中，粒子與個體極值和歷史全局最優(yōu)解進行比較，更新自己的速度和位置。

vi=vi+c1rand()(pbestti-xi)+

c2rand()(gbestti-xi)

(15)

xi+1=xi+vi+1

(16)

式中：i=1,2,…,N，N為群中的粒子總數(shù)；vi為第i個粒子的速度；rand ()為介于(0,1)的隨機數(shù)；xi為粒子的當前位置，當算法達到指定迭代次數(shù)并且全局最優(yōu)位置滿足最小界限時終止迭代，初始狀態(tài)分散的粒子聚集在一個小范圍中或一個點附近。

通過粒子群算法的尋優(yōu)計算，最終確定文本所用的XGBoost回歸模型最佳參數(shù)如表5所示。應(yīng)用最佳參數(shù)組合擬合數(shù)據(jù)，驗證集效果得到顯著提升，過擬合現(xiàn)象有所緩解。如圖7所示，訓練集R2為0.99，驗證集R2為0.93，MAE為78.00。相比優(yōu)化之前模型擬合優(yōu)度提升17%，平均絕對誤差降低169，優(yōu)化效果明顯。

表5 最優(yōu)參數(shù)值Table 5 Optimal parameter value

圖7 PSO-XGBoost擬合效果Fig.7 PSO-XGBoost model fitting effect

4 模型求解

4.1 構(gòu)造仿真數(shù)據(jù)

對于乙醇制備C4烯烴這一可逆反應(yīng)，其反應(yīng)程度除了受到催化劑和溫度的影響之外，還需考慮有機物分子結(jié)構(gòu)復雜、不穩(wěn)定的特點，以及生成物之間的相互影響、生成物對產(chǎn)物的影響。鑒于反應(yīng)的復雜性和可變性，函數(shù)往往帶有隨機參、變量[13]，導致基于數(shù)學模型的優(yōu)化方法在應(yīng)用中具有相當局限性。

利用仿真方法可以求解一些難以用數(shù)學模型表達的優(yōu)化問題。侯影飛等[14]通過建模對微波反應(yīng)器的負載參數(shù)進行仿真訓練，優(yōu)化出使得微波反應(yīng)器獲得最優(yōu)加熱均勻性和加熱效率的負載參數(shù)。仿真優(yōu)化的過程先用XGBoost模型擬合自變量和因變量，并通過粒子群算法調(diào)整參數(shù)提升擬合優(yōu)度，最后將生成的催化劑和溫度組合策略逐一輸入仿真模型中，比較模型訓練后的輸出結(jié)果，從中確定最佳制備條件[15-17]。

通過對Co/SiO2質(zhì)量、Co負載量、HAP質(zhì)量、乙醇濃度、溫度5個自變量設(shè)置取值范圍和間隔，并將各自變量取值進行組合，生成1 312 000種反應(yīng)條件的組合。其中溫度取值為250～450、步長為5的序列；Co/SiO2質(zhì)量取值為10～200、步長為10的序列；HAP質(zhì)量為50～200、步長為10的序列；Co負載量為0.5～5、步長為0.5的序列；乙醇每分鐘滴入的濃度為0.3～2.1、步長為0.3的序列，設(shè)置模型的輸出結(jié)果為C4烯烴收率。

4.2 應(yīng)用改進后模型優(yōu)化工藝條件

經(jīng)過粒子群優(yōu)化算法調(diào)整后的XGBoost模型可以較好地擬合數(shù)據(jù)，將模型應(yīng)用于構(gòu)造出的測試數(shù)據(jù)集。其中溫度、Co/SiO2質(zhì)量、HAP質(zhì)量、Co負載量、乙醇濃度作為輸入變量，應(yīng)用改進后的XGBoost模型對輸入數(shù)據(jù)進行預(yù)測，輸出每一種條件下對應(yīng)的C4烯烴收率。找出輸出結(jié)果中最大值及其對應(yīng)的反應(yīng)條件。最終得到C4烯烴收率最大值為43.52%，對應(yīng)的反應(yīng)條件為450 ℃、Co/SiO2質(zhì)量為200 mg、Co負載量為1%、HAP質(zhì)量為200 mg、乙醇濃度為0.9 mL/min，即催化劑組合為200 mg 1%Co/SiO2-180 mg HAP質(zhì)量-0.9 mL/min乙醇濃度。

4.3 模型結(jié)果分析

如圖8所示，從各變量重要程度看出，溫度對C4烯烴收率的提升起到了重要的作用，將各變量F-score進行歸一化后，溫度變量的影響占比56.5%。其次是Co/SiO2質(zhì)量，結(jié)合相關(guān)系數(shù)熱力圖(圖9)可知，Co/SiO2質(zhì)量增大能夠?qū)Ψ磻?yīng)起到促進作用。Co負載量和乙醇濃度變量重要程度較低，從相關(guān)系數(shù)可知，C4烯烴收率隨著兩個變量的增大而減小。HAP質(zhì)量對反應(yīng)優(yōu)化的貢獻最小，影響占比僅有5%。

圖8 變量重要程度直方圖Fig.8 Histograms of the importance of variables

圖9 變量相關(guān)系數(shù)熱力圖Fig.9 Variable correlation coefficient thermal map

5 結(jié)論

XGBoost和粒子群算法等機器學習模型，已廣泛應(yīng)用于各個領(lǐng)域的系統(tǒng)分析及優(yōu)化，采用粒子群算法確定XGBoost模型的最佳參數(shù)，將其用于提升XGBoost回歸模型對數(shù)據(jù)擬合的效果，從而進行更精確的仿真訓練、尋找最優(yōu)反應(yīng)條件，得出如下結(jié)論。

(1)對原始數(shù)據(jù)給出的實驗結(jié)果進行分析可知，對C4烯烴收率產(chǎn)生影響的有如下5個變量：Co/SiO2、Co負載量、HAP質(zhì)量、乙醇濃度、溫度。并且隨著溫度增加，乙醇轉(zhuǎn)化率和C4烯烴選擇性逐漸增大。

(2)通過粒子群算法確定XGBoost模型的最優(yōu)參數(shù)，目的在于提高數(shù)據(jù)擬合精度，得到更準確的預(yù)測結(jié)果。實驗結(jié)果表明，使用最優(yōu)參數(shù)的XGBoost模型擬合優(yōu)度達到93%，能有效提高模型的精度。

(3)通過將調(diào)參后的XGBoost模型應(yīng)用至構(gòu)造的數(shù)據(jù)中，輸出的C4烯烴收率最大值為43.52%，對應(yīng)的最佳反應(yīng)條件為：溫度450℃，Co/SiO2質(zhì)量為200 mg，Co負載量為1%，HAP質(zhì)量為200 mg，乙醇濃度為0.9 mL/min，即催化劑組合為200 mg 1%Co/SiO2-180 mg HAP-乙醇濃度0.9 mL/min。

(4)通過對數(shù)據(jù)進行擬合以及仿真訓練確定最佳工藝制備條件，為其他工業(yè)生產(chǎn)中的問題提供了方法上的參考，具有一定的經(jīng)濟價值。