PIDAS工藝評(píng)估和工藝設(shè)計(jì)模型開發(fā)

陳歡歡,劉 曄,閆 博

(寶山鋼鐵股份有限公司中央研究院,上海 201999)

軋制過程材料組織性能預(yù)測是利用物理冶金學(xué)、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺等模型,對(duì)軋制過程中的各種金屬學(xué)現(xiàn)象進(jìn)行計(jì)算機(jī)模擬,預(yù)測出軋后產(chǎn)品組織狀態(tài)和力學(xué)性能,進(jìn)行成分和軋制工藝的優(yōu)化設(shè)計(jì),從而實(shí)現(xiàn)對(duì)產(chǎn)品的質(zhì)量控制[1]。隨著生產(chǎn)數(shù)據(jù)庫的不斷積累和算法的不斷進(jìn)步,機(jī)器學(xué)習(xí)方法正在被重點(diǎn)關(guān)注,開始被大量地應(yīng)用于組織性能預(yù)測。

本文首先開發(fā)了一種工藝評(píng)估模型,它能夠根據(jù)用戶設(shè)置的化學(xué)成分、產(chǎn)品規(guī)格、工藝參數(shù)和所需要的預(yù)測精度,評(píng)估產(chǎn)品性能值所在的區(qū)間。此模型的基礎(chǔ)是自主開發(fā)的概率區(qū)間估計(jì)算法,它通過全面對(duì)比不同機(jī)器學(xué)習(xí)回歸模型的效果,和充分考慮歷史生產(chǎn)數(shù)據(jù)的分布規(guī)律,預(yù)測性能值可能落在的區(qū)間,以及落在此區(qū)間的可能性。本文以此算法為基礎(chǔ),以一種微合金高強(qiáng)鋼為例,開發(fā)了PIDAS工藝評(píng)估模型。

同時(shí)又開發(fā)了一種工藝設(shè)計(jì)模型,它能夠根據(jù)用戶設(shè)置的化學(xué)成分、產(chǎn)品規(guī)格以及帶有權(quán)重的性能目標(biāo),設(shè)計(jì)最優(yōu)的軋制冷卻參數(shù)。此模型的基礎(chǔ)是本文中提出的自定義權(quán)重的模擬退火算法,它是一種基于蒙特卡洛思想設(shè)計(jì)的近似求解最優(yōu)化問題的方法。在此算法基礎(chǔ)上,借助于工藝評(píng)估模型,又開發(fā)了PIDAS工藝設(shè)計(jì)模型。

1 工藝評(píng)估模型

本章以一種微合金高強(qiáng)鋼為例,介紹所開發(fā)PIDAS工藝評(píng)估模型。PIDAS系統(tǒng)已經(jīng)收集了近兩年該鋼種生產(chǎn)過程的大量數(shù)據(jù),其中包含了產(chǎn)品規(guī)格、化學(xué)成分、工藝參數(shù)和組織性能等。根據(jù)該鋼種用途和特點(diǎn),反映其好壞的基本性能有5項(xiàng):抗拉強(qiáng)度、屈服強(qiáng)度、屈強(qiáng)比、斷裂延伸率和剪切面積分?jǐn)?shù)。通過對(duì)該鋼種大生產(chǎn)過程進(jìn)行深入的冶金學(xué)原理分析和大生產(chǎn)數(shù)據(jù)的分析,確定了影響產(chǎn)品性能的20項(xiàng)主要因素:

(1) 產(chǎn)品規(guī)格(3項(xiàng)):中間坯厚度、目標(biāo)厚度、目標(biāo)寬度。

(2) 化學(xué)成分(11項(xiàng)):C、Mn、Si、Nb、Ti、V、Cu、B、Cr、Ni、Mo。

(3) 溫度參數(shù)(6項(xiàng)):出爐溫度、開軋溫度、終軋溫度、冷速、開冷溫度、終冷溫度。

工藝評(píng)估模型能夠根據(jù)上述20項(xiàng)工藝參數(shù),精準(zhǔn)預(yù)測5項(xiàng)性能所在的區(qū)間,以及真實(shí)值位于此區(qū)間內(nèi)的概率。

1.1 概率區(qū)間估計(jì)算法

機(jī)器學(xué)習(xí)算法的本質(zhì)是在特征和目標(biāo)之間找到合適的映射關(guān)系[2],分為分類算法和回歸算法兩種[3],其中常見的回歸算法有線性回歸(Linear Regression)、 K近鄰回歸(KNN Regressor)、支持向量回歸(SVR)、嶺回歸(Ridge)、Lasso回歸、多層感知器回歸(MLPRegressor)、決策樹回歸(DecisionTree)、極限樹回歸(ExtraTree)、極限梯度提升回歸(XGBoost)、隨機(jī)森林回歸(RandomForest)、AdaBoost、梯度提升樹回歸(Gradient Boost)、引導(dǎo)聚集回歸(Bagging),用REG_Model表示這些回歸算法組成的集合。基于機(jī)器學(xué)習(xí)的材料性能預(yù)測流程如圖1所示。

圖1 回歸方法流程圖

(1)

然而,中厚板組織性能的預(yù)測受檢測手段、數(shù)據(jù)通訊、組織性能不均勻等諸多因素的影響[1],使得機(jī)器學(xué)習(xí)預(yù)測模型的精度并不是特別高;同時(shí),由于生產(chǎn)過程的多工序性,使得在建立模型的時(shí)候不可能把所有特征都考慮在內(nèi),這樣就導(dǎo)致了雖然模型對(duì)于相同的特征預(yù)測得到了相同的性能,但與實(shí)際性能間還可能會(huì)有一定差距,因?yàn)椴]有考慮其他特征的影響。于是將機(jī)器學(xué)習(xí)方法應(yīng)用到中厚板的組織性能預(yù)測上時(shí),需要做一定改進(jìn)。

不同于傳統(tǒng)機(jī)器學(xué)習(xí)算法預(yù)測得到一個(gè)確定的值,區(qū)間估計(jì)算法預(yù)測得到的是一個(gè)區(qū)間值,以及真實(shí)值落在這個(gè)區(qū)間的概率,即準(zhǔn)確性。文獻(xiàn)[4-8]中分別提出了bootstrap,Bayesian,mean-variance estimation,delta 和 neural network的方法,然而這五種方法并沒有嘗試在不同準(zhǔn)確率下的區(qū)間估計(jì),也即調(diào)整準(zhǔn)確率得到不同的區(qū)間估計(jì)。在這里本文提出了概率區(qū)間估計(jì)算法,解決了上述問題,其流程圖如圖2所示。

圖2 概率區(qū)間估計(jì)算法流程圖

(2)

這樣最終構(gòu)建的模型一方面綜合對(duì)比了常見機(jī)器學(xué)習(xí)回歸模型的準(zhǔn)確度,并選出最優(yōu)的,另一方面又充分利用了歷史數(shù)據(jù)的分布規(guī)律,用區(qū)間預(yù)測代替常見的單值預(yù)測,這樣便能消除原始數(shù)據(jù)因?yàn)槭軝z測手段、數(shù)據(jù)通訊、組織性能不均勻?qū)е碌牟痪_性以及生產(chǎn)的多工序性帶來的影響。同時(shí)通過不同的acc下對(duì)應(yīng)不同t值,實(shí)現(xiàn)了不同準(zhǔn)確率下的區(qū)間估計(jì),這滿足了工藝設(shè)計(jì)人員對(duì)于不同精度下估計(jì)的需求。算法的偽代碼如下:

算法1 概率區(qū)間估計(jì)算法

輸入:歷史生產(chǎn)數(shù)據(jù)data,REG_Model,Accuracy.

輸出:最佳回歸模型,不同準(zhǔn)確率下的區(qū)間閾值.

1.threshold=?

2.for model in REG_Model do

3. train model on data;

4.end for

5.choose the best modelMas the candidate model.

7.for acc in Accuracy do

8. adjust and findtsuch that

9. threshold=threshold∪{t};

10.end for

11.returnM,threshold.

1.2 DWTT工藝評(píng)估模型

DWTT是用來檢測材料韌性的試驗(yàn),在這里特指DWTT剪切面積分?jǐn)?shù),其值在0～100之間,DWTT是否大于85(或95)是衡量抗脆性開裂能力的一個(gè)重要指標(biāo)。文中將DWTT評(píng)估模型分成了兩個(gè)小的模型:分類模型和回歸模型。通過AdaBoost構(gòu)建的分類模型能根據(jù)20個(gè)工藝參數(shù)預(yù)測產(chǎn)品DWTT值是否大于85。對(duì)于值在85以上的DWTT,本文根據(jù)前文提出的概率區(qū)間估計(jì)算法,構(gòu)建了回歸模型。流程圖如圖3所示。

圖3 DWTT工藝評(píng)估模型流程圖

從PIDAS數(shù)據(jù)庫中導(dǎo)出近兩年對(duì)象鋼種生產(chǎn)數(shù)據(jù),同時(shí)只保留-10 ℃試驗(yàn)環(huán)境下DWTT的測量數(shù)據(jù),刪去空值所在的行后還剩下21 853條數(shù)據(jù),隨機(jī)地將數(shù)據(jù)集分成兩部分,其中80%用作訓(xùn)練集,20%用作測試集。為了消除工藝參數(shù)數(shù)量級(jí)差別造成的影響,對(duì)工藝參數(shù)做了標(biāo)準(zhǔn)化的處理;在構(gòu)建分類模型時(shí),將85以上的DWTT賦為1,總共有21 087條,85以下的賦為0,總共有766條。

1.2.1 DWTT分類模型構(gòu)建

文中采用AdaBoost算法構(gòu)建DWTT的分類模型。AdaBoost算法是基于Boosting思想的機(jī)器學(xué)習(xí)算法,其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練得到不同的決策樹弱分類器,然后把這些弱分類器集合起來,構(gòu)成一個(gè)強(qiáng)分類器[9],其中影響模型好壞的重要參數(shù)是弱分類器的個(gè)數(shù)(n_estimators)。

分類模型的評(píng)價(jià)標(biāo)準(zhǔn)除了準(zhǔn)確率以外,還有精確率、召回率等,混淆矩陣如表1所示,Positive代表DWTT值超過85,Negative代表DWTT值低于85。

表1 混淆矩陣

準(zhǔn)確率Accuracy為分類模型所有判斷正確結(jié)果占總觀測值的比重:

(3)

精確率Precision是模型預(yù)測為Positive的結(jié)果中模型預(yù)測正確的比重:

(4)

僅用準(zhǔn)確率來衡量分類模型是不準(zhǔn)確的,尤其對(duì)于負(fù)樣本量比較少的數(shù)據(jù),因?yàn)榭梢詷?gòu)建這樣一個(gè)模型:預(yù)測全部結(jié)果都為Positive,這依然能達(dá)到很高的Accuracy,但這顯然是不合理的。于是對(duì)于DWTT分類,除了評(píng)估模型的Accuracy,同時(shí)評(píng)估了模型Precision,即模型預(yù)測DWTT超過85時(shí)DWTT真實(shí)值超過85的概率。

在具體模型構(gòu)建的過程中,本文采用AdaBoost算法訓(xùn)練了弱分類器個(gè)數(shù)從1～400的分類模型,各個(gè)模型在訓(xùn)練集和測試集上的Accuracy,以及Precision如圖4所示。

從訓(xùn)練結(jié)果可以看到,分類器的個(gè)數(shù)在270時(shí),模型在訓(xùn)練集、測試集上的準(zhǔn)確率以及精確率同時(shí)達(dá)到了最優(yōu),分別為0.960 4、0.971 0和0.972 7,取得了比較精準(zhǔn)的預(yù)測。

1.2.2 DWTT概率區(qū)間模型構(gòu)建

上一節(jié)建立DWTT的分類模型,它可以根據(jù)工藝參數(shù)精準(zhǔn)地預(yù)測DWTT是否大于85。如果大于85,工藝設(shè)計(jì)人員仍關(guān)心其值可能落在的區(qū)間,這節(jié)用第一章提出的概率區(qū)間估計(jì)算法構(gòu)建區(qū)DWTT概率區(qū)間估計(jì)模型,它能評(píng)估DWTT在不同精度下可能落在的區(qū)間。我們逐步地在DWTT數(shù)據(jù)上實(shí)施算法1。

圖4 AdaBoost 模型訓(xùn)練

首先是比較常見的回歸模型在DWTT數(shù)據(jù)集上的表現(xiàn),并用模型在訓(xùn)練集和測試集上的r2來找出最優(yōu)模型,其結(jié)果如表2所示。

表2 常見機(jī)器學(xué)習(xí)回歸算法在DWTT數(shù)據(jù)集上的訓(xùn)練結(jié)果

由表2可以驗(yàn)證前文中提到的,沒有模型能夠達(dá)到同時(shí)在訓(xùn)練集和測試集上達(dá)到比較高的準(zhǔn)確率。并且可以看出,DecisionTree和ExtraTree 出現(xiàn)了過擬合現(xiàn)象。綜合比較,本文選用Bagging作為下步區(qū)間估計(jì)的最優(yōu)模型。

接下來對(duì)Bagging回歸做進(jìn)一步參數(shù)優(yōu)化。BaggingRegressor是一種有放回的抽樣訓(xùn)練的方法,每次從總樣本集中隨機(jī)地有放回抽取部分小樣本,用決策樹訓(xùn)練便得到一個(gè)回歸模型,最后用取平均的方法得到最終的預(yù)測值,同上節(jié)AdaBoost一樣,影響B(tài)agging模型好壞的重要參數(shù)是弱分類器的個(gè)數(shù)(estimators)。我們采用BaggingRegressor算法訓(xùn)練了弱分類器個(gè)數(shù)從1～300的分類模型,各個(gè)模型在訓(xùn)練集和測試集上的Accuracy如圖5。

于是選取弱分類器的個(gè)數(shù)為50,此時(shí)模型已經(jīng)在訓(xùn)練集和測試集上達(dá)到了比較高的準(zhǔn)確率。

接下來根據(jù)算法1的7～10步計(jì)算不同精度下的閾值,結(jié)果如表3所示。

圖5 BaggingRegressor模型訓(xùn)練

表3 不同準(zhǔn)確率下的閾值

我們以準(zhǔn)確率為90%時(shí)模型的預(yù)測結(jié)果來展示模型表示的含義。

圖6中任意選取了30個(gè)DWTT真實(shí)值和其對(duì)應(yīng)的模型預(yù)測值,其中黑色實(shí)線代表真實(shí)值,藍(lán)色線段組成的區(qū)間代表模型在該點(diǎn)的預(yù)測值,線段長最多為2·Threshold=5.6。從中可以看到,真實(shí)值絕大多數(shù)落在了預(yù)測的藍(lán)色區(qū)間中,90%的含義是歷史數(shù)據(jù)以不低于90%的概率落在預(yù)測的區(qū)間中。

圖6 準(zhǔn)確率為90%時(shí)DWTT真實(shí)值和模型預(yù)測的區(qū)間值

同樣地,當(dāng)準(zhǔn)確率為80%時(shí),模型預(yù)測的結(jié)果和真實(shí)值如圖7所示。

預(yù)測的區(qū)間長度為2·Threshold=3.6,和準(zhǔn)確率為90%時(shí)相比,真實(shí)值不落在預(yù)測區(qū)間中的點(diǎn)的個(gè)數(shù)增加了,它損失了一定的準(zhǔn)確度,但提升了一定的精度。同樣的解釋對(duì)于其他準(zhǔn)確度,區(qū)間范圍越小,準(zhǔn)確率越低。

圖7 準(zhǔn)確率為80%時(shí)DWTT真實(shí)值和模型預(yù)測的區(qū)間值

1.3 其他工藝評(píng)估模型

同樣地,采用區(qū)間估計(jì)的辦法構(gòu)建了頭部和尾部抗拉強(qiáng)度、屈服強(qiáng)度、屈強(qiáng)比、斷裂延伸率的評(píng)估模型,其r2和不同準(zhǔn)確率下的Threshold如表4所示。

可以看到,單個(gè)的機(jī)器學(xué)習(xí)預(yù)測模型在性能上預(yù)測的準(zhǔn)確率在訓(xùn)練集上并不太好,這也是本文引入?yún)^(qū)間估計(jì)的目的。4～14列為對(duì)應(yīng)不同精度的區(qū)間范圍值,實(shí)現(xiàn)了不同精度下的區(qū)間預(yù)測。

2 工藝設(shè)計(jì)模型

上一章中構(gòu)建了工藝評(píng)估模型,它能根據(jù)影響對(duì)象鋼種產(chǎn)品性能的20項(xiàng)主要因素來評(píng)估產(chǎn)品工藝性能,這章構(gòu)建一個(gè)逆向的模型,即通過目標(biāo)工藝性能和產(chǎn)品規(guī)格、化學(xué)成分來設(shè)計(jì)最優(yōu)溫度參數(shù),具體來說就是通過如下參數(shù)來設(shè)計(jì)最優(yōu)的6項(xiàng)溫度參數(shù):出爐溫度、開軋溫度、終軋溫度、冷速、開冷溫度、終冷溫度,使用的方法是通過下節(jié)提出的自定義權(quán)重的模擬退火算法和第二章構(gòu)建的評(píng)估模型。

表4 工藝評(píng)估模型總結(jié)

(1) 工藝性能(9項(xiàng)):DWTT和頭部尾部的抗拉強(qiáng)度、屈服強(qiáng)度、屈強(qiáng)比、斷裂延伸率。

(2) 產(chǎn)品規(guī)格(3項(xiàng)):中間坯厚度、目標(biāo)厚度、目標(biāo)寬度。

(3) 化學(xué)成分(11項(xiàng)):C、Mn、Si、Nb、Ti、V、Cu、B、Cr、Ni、Mo。

2.1 自定義權(quán)重的模擬退火算法

模擬退火算法是一種解決無約束問題最優(yōu)化的方法,它是通過賦予搜索過程一種時(shí)變且最終趨于零的概率突跳性,從而可有效避免陷入局部極小并最趨于全局最優(yōu)的串行結(jié)構(gòu)的優(yōu)化算法[10],其流程如圖8所示。

圖8 模擬退火算法流程圖

對(duì)目標(biāo)函數(shù)E做如下修改,用以解決多目標(biāo)優(yōu)化的問題,假設(shè)E=(f1,f2,…,fn),以及一組自定義的權(quán)重λ=(λ1,λ2,…,λn),對(duì)給定x,定義:

E(x)=∑i(λi*fi(x))/S

(5)

式中:S=λ1+…+λn。設(shè)計(jì)模型中加入權(quán)重的意義在于設(shè)計(jì)人員可以通過調(diào)節(jié)權(quán)重來調(diào)節(jié)更加關(guān)注的性能。值得注意的是,算法的第 2,3 步隨機(jī)生成的x2是在歷史數(shù)據(jù)的最大值和最小值之間的隨機(jī)數(shù),保證最后的結(jié)果有意義。

2.2 工藝設(shè)計(jì)模型的構(gòu)建

用x1表示3項(xiàng)產(chǎn)品規(guī)格和11項(xiàng)化學(xué)成分,用x2表示6項(xiàng)溫度參數(shù),同時(shí)y=(y1,…,y9)表示9項(xiàng)工藝性能,f1,f2,…,f9表示第二章中建立的9個(gè)模型,工藝設(shè)計(jì)的目標(biāo)是對(duì)給定的x1和y尋找最優(yōu)的x2,使得fi(x1,x2)與yi盡可能地接近,也即尋找x2使得di=|fi(x1,x2)-yi| 盡可能地小,其中i取值從1～9。這樣就是一個(gè)多目標(biāo)的優(yōu)化問題,對(duì)于給定的權(quán)重λ=(λ1,λ2,…,λn),定義:

(6)

這樣采用上一節(jié)的自定義權(quán)重的模擬退火算法便能夠找到最優(yōu)的溫度參數(shù)x2,使得預(yù)測值與真實(shí)值盡可能地接近。

在歷史數(shù)據(jù)集上做試驗(yàn)的結(jié)果如下:隨機(jī)選取某條生產(chǎn)數(shù)據(jù),其中包括3項(xiàng)產(chǎn)品規(guī)格、11 項(xiàng)化學(xué)成分和9項(xiàng)如下的工藝性能參數(shù) 97、660、639、582、564、888.3、88.1、48、48,分別取λ為(1,1,1,1,1,1,1,1,1)、(1,2,3,4,5,6,7,8,9)和(9,8,7,6,5,4,3,2,1),用此模型做試驗(yàn),溫度參數(shù)的真實(shí)值和3組預(yù)測值如表5。

由表5可以看到,對(duì)于不同的權(quán)重參數(shù),模型尋找到了不同的冷卻方案,經(jīng)對(duì)比,試驗(yàn)一的結(jié)果和真實(shí)溫度參數(shù)非常接近,這符合同權(quán)重下設(shè)計(jì)值應(yīng)與真實(shí)值一致的預(yù)期;試驗(yàn)二、三根據(jù)側(cè)重的性能不同,設(shè)計(jì)了多樣的冷卻方案,這對(duì)工藝設(shè)計(jì)和新產(chǎn)品的開發(fā)具有一定的輔助意義,能夠在一定程度上降低新產(chǎn)品的研發(fā)成本。同時(shí)需要提高的地方是在模型中加入更多的約束條件,從而使其設(shè)計(jì)的溫度參數(shù)更有意義。

表5 工藝設(shè)計(jì)模型試驗(yàn)結(jié)果

3 結(jié)語

本文首先以一種微合金高強(qiáng)鋼為例,建立了9個(gè)工藝評(píng)估模型,它能根據(jù)20個(gè)工藝參數(shù)預(yù)測不同精度下頭尾抗拉強(qiáng)度、屈服強(qiáng)度、屈強(qiáng)比、斷裂延伸率和DWTT所在的區(qū)間。它基于本文自主開發(fā)的概率區(qū)間估計(jì)算法,該算法綜合了機(jī)器學(xué)習(xí)的回歸模型和歷史數(shù)據(jù)的統(tǒng)計(jì)特征,能夠?qū)崿F(xiàn)精準(zhǔn)預(yù)測。同時(shí)本文建立了工藝設(shè)計(jì)模型,它能夠根據(jù)9項(xiàng)目標(biāo)性能和3項(xiàng)產(chǎn)品規(guī)格以及11項(xiàng)化學(xué)成分設(shè)計(jì)最優(yōu)的6項(xiàng)溫度參數(shù),使得產(chǎn)品在此工藝設(shè)計(jì)下的性能盡可能地接近目標(biāo)性能。此模型基于本文自主開發(fā)的自定義權(quán)重模擬退火算法。

通過這兩類模型達(dá)到產(chǎn)品質(zhì)量預(yù)報(bào)和優(yōu)化工藝設(shè)計(jì)的目的,從而能夠輔助工藝評(píng)定和新產(chǎn)品的工藝開發(fā)。據(jù)我們查文獻(xiàn)所知,這兩種方法都是開創(chuàng)性的。本文后續(xù)的工作是重點(diǎn)考慮參數(shù)意義,對(duì)模型中的優(yōu)化問題加入約束條件,使工藝設(shè)計(jì)模型中的冷卻參數(shù)更有意義。