機(jī)器學(xué)習(xí)結(jié)合分子指紋預(yù)測(cè)過(guò)硫酸鹽氧化體系污染物的降解速率常數(shù)

楊 鷹，潘思遠(yuǎn)

(中南大學(xué) 化學(xué)化工學(xué)院，湖南 長(zhǎng)沙 410083)

1 材料和方法

1.1 數(shù)據(jù)集與MF計(jì)算

1.2 模型開(kāi)發(fā)

RF是基于一組決策樹(shù)的集成方法[15]，是分類(lèi)和回歸模型中最常用的算法之一.RF算法采用隨機(jī)性的方式開(kāi)發(fā)樹(shù)結(jié)構(gòu)，每棵樹(shù)都有一組隨機(jī)變量，這會(huì)促成較大的多樣性，從而生成更好的模型.

XGBoost是一種基于梯度提升決策樹(shù)的方法.該算法是在相同的Gradient Boosting框架下開(kāi)發(fā)的，具有高效、靈活和可移植的特點(diǎn).XGBoost 提供了一種并行樹(shù)強(qiáng)化(即生成提升樹(shù)且并行操作)，可以快速準(zhǔn)確地解決許多數(shù)據(jù)科學(xué)問(wèn)題.

在訓(xùn)練過(guò)程之前，需要確定超參數(shù)(Hyperparameter)的值.調(diào)整超參數(shù)是優(yōu)化任何 ML方法性能的必要步驟.表1總結(jié)了RF和XGBoost超參數(shù)的名稱、作用以及它們的取值范圍.由于存在較多超參數(shù)，其值的變化范圍很廣，因此無(wú)法枚舉每個(gè)值以找出最佳值.因此，我們采用了PSO算法[16]，該算法來(lái)源于鳥(niǎo)群覓食行為研究，粒子模擬鳥(niǎo)類(lèi)，每個(gè)粒子都代表一種可能的解決方案，從而使實(shí)現(xiàn)超參數(shù)最優(yōu)值的可能性被最大化[17-18].

表1 隨機(jī)森林(RF)和極端梯度提升(XGBoost)模型的超參數(shù)

1.3 模型驗(yàn)證

模型校驗(yàn)在回歸模型的開(kāi)發(fā)中至關(guān)重要.本研究采用兩種驗(yàn)證方法用于評(píng)估生成的QSAR模型的性能，包括使用訓(xùn)練集的內(nèi)部驗(yàn)證和使用測(cè)試集的外部驗(yàn)證.這些方法在評(píng)估所構(gòu)建模型的穩(wěn)定性和可靠性方面起著關(guān)鍵作用.建立的QSAR模型使用決定系數(shù)(R2)和均方根誤差(RMSE)進(jìn)行評(píng)估.通常，較高的R2值和較低的RMSE值意味著模型的性能是優(yōu)秀的.R2和RMSE的計(jì)算方法如下：

(1)

(2)

2 結(jié)果與分析

2.1 MF半徑和長(zhǎng)度

圖1 MF半徑和長(zhǎng)度對(duì)RF和XGBoost模型的影響

2.2 粒子群優(yōu)化模型超參數(shù)

經(jīng)過(guò)500次優(yōu)化迭代，得到了RF和XGBoost模型每次迭代的RMSEtest值,如圖2所示.

圖2 RF和XGBoost模型的粒子群優(yōu)化結(jié)果

隨著迭代次數(shù)的增加，RMSEtest在快速下降后逐漸趨于平緩，表明結(jié)果接近最優(yōu)解.使用最小RMSEtest值對(duì)應(yīng)的超參數(shù)值作為優(yōu)化結(jié)果，列于表2.

表2 通過(guò)粒子群優(yōu)化得到的RF和XGBoost模型的超參數(shù)

2.3 模型性能

圖3展示了兩個(gè)模型預(yù)測(cè)值和實(shí)驗(yàn)值的散點(diǎn)圖.可以看到，XGBoost模型的擬合和預(yù)測(cè)性能明顯優(yōu)于RF模型，預(yù)測(cè)值和實(shí)驗(yàn)值沿對(duì)角線密集分布，表明XGBoost模型成功地學(xué)習(xí)了輸入和輸出之間的關(guān)系.XGBoost模型訓(xùn)練集R2和RMSE分別為0.999 5和0.020 9，表明模型優(yōu)秀的擬合性；測(cè)試集R2和RMSE分別為0.837 8和0.316 0，證明模型具有良好的魯棒性.總結(jié)過(guò)硫酸鹽體系的QSAR模型，其性能參數(shù)列于表3.

圖3 RF和XGBoost模型的實(shí)驗(yàn)值對(duì)比預(yù)測(cè)值的散點(diǎn)圖

表3 過(guò)硫酸鹽體系QSAR模型比較

與本研究選擇MF作為模型的輸入不同，其它的文獻(xiàn)模型均使用MD作為輸入，這在一定程度上增加了模型建立的成本.通常，隨著數(shù)據(jù)集數(shù)量的增加(從15增加到180)，為了使模型具有更好的預(yù)測(cè)性能，需要引入更多的分子描述符(從3增加到32)，但由于變量間復(fù)雜關(guān)系的增加，可能導(dǎo)致模型性能的下降(R2從0.975 0降低到0.420 0).本模型只使用了MF這一種描述符，但是在更大的數(shù)據(jù)集(206)上，仍然獲得了較好的擬合性和魯棒性，這主要?dú)w因于MF對(duì)分子結(jié)構(gòu)信息的簡(jiǎn)結(jié)且完整表達(dá).可見(jiàn)，從模型開(kāi)發(fā)效率和預(yù)測(cè)性能兩個(gè)方面來(lái)說(shuō)，MF相對(duì)于MD是一個(gè)更好的選擇，基于MF的QSAR模型方法在未來(lái)將會(huì)顯示優(yōu)秀的發(fā)展前景.

2.4 SHAP解釋模型

圖4 SHAP方法解釋XGBoost模型的最重要的10個(gè)MF位點(diǎn)

表4 圖4中前10個(gè)特征以及代表的原子組和對(duì)反應(yīng)速率常數(shù)預(yù)測(cè)的影響

3 結(jié)論