一種QCN火焰圖像特征提取的轉(zhuǎn)爐煉鋼碳含量實(shí)時(shí)預(yù)測(cè)方法

劉旭琛,劉 輝,趙 安

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,云南昆明 650500;昆明理工大學(xué)云南省人工智能重點(diǎn)實(shí)驗(yàn)室,云南昆明 650500)

1 引言

轉(zhuǎn)爐煉鋼是當(dāng)前世界上最主要的煉鋼技術(shù),重點(diǎn)是對(duì)終點(diǎn)控制的準(zhǔn)確判定[1].終點(diǎn)控制的關(guān)鍵之一是對(duì)熔池內(nèi)鋼水碳含量的預(yù)測(cè),即在吹氧結(jié)束時(shí)鋼水的碳含量能夠滿足出鋼質(zhì)量的要求,轉(zhuǎn)爐終點(diǎn)熔池內(nèi)鋼水碳含量影響著出鋼質(zhì)量和冶煉效率[2].在實(shí)際生產(chǎn)中,由于轉(zhuǎn)爐煉鋼過程中存在復(fù)雜的化學(xué)反應(yīng)、各種邊界條件以及加入的原材料不穩(wěn)定等因素,對(duì)冶煉過程的終點(diǎn)控制造成了很大的困難,也就很難做到精準(zhǔn)控制碳在鋼水中的含量.而通過一種實(shí)時(shí)、準(zhǔn)確的轉(zhuǎn)爐終點(diǎn)碳含量實(shí)時(shí)預(yù)報(bào)方法可以有效避免二次吹煉,實(shí)現(xiàn)鋼產(chǎn)品的高質(zhì)量生產(chǎn),降低成本,為轉(zhuǎn)爐終點(diǎn)實(shí)現(xiàn)自動(dòng)控制技術(shù)提供基礎(chǔ)的同時(shí)減少污染,節(jié)能減排,積極響應(yīng)國(guó)家“綠色”發(fā)展理念,順應(yīng)可持續(xù)發(fā)展趨勢(shì).

轉(zhuǎn)爐煉鋼終點(diǎn)碳含量檢測(cè)方法主要有人工經(jīng)驗(yàn)與取樣分析[3]、副槍檢測(cè)[4]、爐氣分析[5]等接觸式檢測(cè)技術(shù);隨著數(shù)字圖像處理等技術(shù)的發(fā)展,很多新穎的轉(zhuǎn)爐煉鋼終點(diǎn)碳含量測(cè)量方法隨之出現(xiàn),根據(jù)測(cè)量數(shù)據(jù)的來源和依據(jù),這些方法可分為光學(xué)圖像法[6],基于生產(chǎn)過程數(shù)據(jù)的方法和基于轉(zhuǎn)爐爐口火焰圖像的方法等非接觸式檢測(cè)技術(shù).其中:人工經(jīng)驗(yàn)與取樣分析經(jīng)濟(jì)直觀,但受主觀因素影響準(zhǔn)確率低;副槍檢測(cè)法可以避免或減少倒?fàn)t補(bǔ)吹次數(shù),但不能實(shí)現(xiàn)連續(xù)測(cè)量,爐氣分析法能連續(xù)實(shí)時(shí)預(yù)報(bào)鋼水碳溫,但二者成本高不適用于中小型煉鋼爐;光學(xué)圖像法的火焰光譜圖像采集往往會(huì)受爐內(nèi)煙氣等環(huán)境因素的影響,難以有效預(yù)測(cè)終點(diǎn)碳含量.基于生產(chǎn)過程數(shù)據(jù)的方法預(yù)測(cè)煉鋼終點(diǎn)的碳含量和溫度[7–8]獲取數(shù)據(jù)方便,但生產(chǎn)過程數(shù)據(jù)波動(dòng)較大易影響終點(diǎn)碳含量預(yù)測(cè)準(zhǔn)確率.

基于轉(zhuǎn)爐爐口火焰圖像的方法[9]具有數(shù)據(jù)采集簡(jiǎn)單方便抗干擾性強(qiáng)且實(shí)時(shí)性高成本低等優(yōu)點(diǎn).而在冶煉過程中,隨著碳含量的變化火焰機(jī)理會(huì)發(fā)生變化,因此轉(zhuǎn)爐爐口火焰的色度、亮度、紋理和動(dòng)態(tài)形變等信息都能反映出熔池中鋼水的脫碳速度[10].近幾年,學(xué)者們提出了許多分析火焰圖像特征來進(jìn)行轉(zhuǎn)爐煉鋼終點(diǎn)判斷的方法.尤佳等人[11]采用灰度共生矩陣提取圖像的紋理特征,進(jìn)而利用紋理特征變化來判斷終點(diǎn),驗(yàn)證了火焰圖像紋理特征的有效性.李清榮等人[12]提出了一種四元數(shù)方向統(tǒng)計(jì)量算法,利用四元數(shù)運(yùn)算特征使多通道的圖像處理不必分通道進(jìn)行,通過火焰圖像彩色紋理特征預(yù)測(cè)碳含量取得了理想的結(jié)果,進(jìn)一步證明了彩色紋理與碳含量之間的密切關(guān)聯(lián),顏色通道間的聯(lián)系中也隱藏著信息.但這些方法沒有考慮到爐口火焰紋理的不規(guī)則特點(diǎn).另外,李鵬舉、劉輝等人[13]提出了一種描述轉(zhuǎn)爐爐口火焰邊界動(dòng)態(tài)形變的方法,利用邊界特征進(jìn)行轉(zhuǎn)爐煉鋼終點(diǎn)判定,識(shí)別精度較高.為了直接提取火焰圖像較為全面的特征信息,江帆等人[14]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐煉鋼終點(diǎn)控制模型,減少人工干預(yù)的同時(shí)有著較高的實(shí)時(shí)性.但這些方法并沒有對(duì)轉(zhuǎn)爐煉鋼終點(diǎn)碳含量進(jìn)行預(yù)測(cè).

本文針對(duì)煉鋼終點(diǎn)不同碳含量下火焰圖像所呈現(xiàn)出的自然紋理相似性較高的問題,根據(jù)爐口火焰圖像紋理的多方向多尺度不規(guī)則特點(diǎn),受復(fù)雜網(wǎng)絡(luò)(complex network,CN)描述符啟發(fā),提出一種四元數(shù)復(fù)雜網(wǎng)絡(luò)(quaternion complex network,QCN)特征描述方法,提取火焰的彩色不規(guī)則紋理特征.其利用四元數(shù)等距映射操作結(jié)合火焰圖像Lab空間各顏色通道信息,定義映射圖譜幅值譜相位譜強(qiáng)化顏色信息的描述;以相位作為條件,根據(jù)給出的像素相似性權(quán)重公式,在幅值譜上構(gòu)建爐口火焰多尺度不規(guī)則彩色紋理的復(fù)雜網(wǎng)絡(luò)表達(dá);計(jì)算頂點(diǎn)連接數(shù)量的度數(shù)和頂點(diǎn)鄰居之間連接的聚類系數(shù),將其相關(guān)特征作為火焰圖像彩色紋理特征,提取火焰的多尺度不規(guī)則細(xì)節(jié)特征信息,得到更為全面和細(xì)致的紋理差異特征來適應(yīng)火焰的變化.實(shí)驗(yàn)表明,本文方法提取的多方向、多尺度不規(guī)則火焰彩色紋理特征在進(jìn)行終點(diǎn)碳含量預(yù)測(cè)時(shí)取得了較好的效果.

2 四元數(shù)復(fù)雜網(wǎng)絡(luò)火焰圖像彩色紋理特征提取方法

由于不同碳含量所對(duì)應(yīng)火焰圖像相似性較高,基于爐口火焰圖像特征提取的轉(zhuǎn)爐終點(diǎn)碳含量的準(zhǔn)確預(yù)測(cè)是一個(gè)具有挑戰(zhàn)的任務(wù),關(guān)鍵在于提取火焰圖像具有較強(qiáng)區(qū)分性的特征,以有效解決由于爐口火焰圖像相似性高導(dǎo)致的終點(diǎn)碳含量預(yù)測(cè)準(zhǔn)確率低的問題.從這個(gè)角度出發(fā),針對(duì)火焰圖像的隨機(jī)不規(guī)則紋理特征及其多尺度多方向特點(diǎn),本文受四元數(shù)等距映射(clifford translation of quaternion,CTQ)[15]和復(fù)雜網(wǎng)絡(luò)(CN)[16]紋理表征方法啟示,提出了四元數(shù)復(fù)雜網(wǎng)絡(luò)描述符全方位提取火焰圖像彩色不規(guī)則紋理信息與相應(yīng)碳含量構(gòu)成映射,從而實(shí)現(xiàn)轉(zhuǎn)爐煉鋼終點(diǎn)碳含量的預(yù)報(bào).

四元數(shù)復(fù)雜網(wǎng)絡(luò)火焰圖像彩色紋理特征提取方法具體實(shí)現(xiàn)為:1)去除爐口邊界信息后,將火焰圖像轉(zhuǎn)換到Lab顏色空間,四元數(shù)的方式表示火焰圖像;2)通過四元數(shù)等距映射操作構(gòu)造火焰圖像四元數(shù)圖像映射圖譜,以加強(qiáng)圖像各顏色通道間關(guān)聯(lián)性,使彩色圖像各顏色通道參與運(yùn)算;3)映射圖譜的相位特征由相位譜描述.特別地,本文定義了映射圖譜的幅值譜特征,從幅值和相位來描述映射譜特征;4)因相位分布集中,為方便后續(xù)提取相位譜的復(fù)雜網(wǎng)絡(luò)特征,將相位譜進(jìn)行二次量化;5)為了提取到火焰圖像多尺度不規(guī)則彩色紋理特征,在映射譜相位相等條件下,提出一種權(quán)重公式進(jìn)行幅值譜的強(qiáng)關(guān)聯(lián)性復(fù)雜網(wǎng)絡(luò)建模,并提取其拓?fù)涮卣髯鳛榛鹧鎴D像的彩色紋理特征.本文構(gòu)造了一種整體方式描述火焰多尺度不規(guī)則紋理變化的四元數(shù)加權(quán)復(fù)雜網(wǎng)絡(luò)并將其拓?fù)涮卣饔糜跇?gòu)造火焰圖像的彩色紋理特征,思路流程如圖1所示.

圖1 本文思路流程Fig.1 The thought process of this article

2.1 火焰圖像預(yù)處理與四元數(shù)表示

轉(zhuǎn)爐煉鋼的生產(chǎn)環(huán)境較惡劣且爐口火焰圖像存在非火焰干擾因素較多,因此采用最大閾值法分割去除爐口邊界等干擾,只保留感興趣火焰區(qū)域.火焰彩色紋理特征的精確描述需要良好的底層顏色表達(dá),而Lab中L為明度,a,b為紅綠分量能很好的反映火焰顏色狀態(tài).因此本文紋理特征提取在Lab顏色空間下進(jìn)行.爐口火焰在顏色過渡中形成了復(fù)雜的紋理變化,為了有效表征爐口火焰彩色圖像通道間的相互關(guān)系,本文通過四元數(shù)以整體方式描述火焰紋理變化趨勢(shì),利用其運(yùn)算特征進(jìn)行顏色通道融合使得多通道的圖像處理不必分通道進(jìn)行.

火焰圖像可描述為純四元數(shù)形式(實(shí)部為0)

式中:(m,n)指圖像的第m行n列的像素.L,a,b是實(shí)數(shù),為圖像在Lab空間下3個(gè)分量.i,j,k是兩兩相互正交的虛數(shù)運(yùn)算符,其中i2+j2+k2=ijk=?1.

2.2 火焰圖像四元數(shù)映射圖譜的構(gòu)造

特征提取過程中,為了有效描述火焰的彩色紋理信息,使各個(gè)顏色通道參與其中:本文使用四元數(shù)等距映射生成火焰圖像映射圖譜.在三維顏色空間中,不同軸分布代表不同通道,因此每個(gè)像素都可以表示為純四元數(shù)空間的一個(gè)點(diǎn).若四元數(shù)P=L′i+a′j+b′k為單位四元數(shù),Lab空間下的火焰圖像記為四元數(shù)QLab:

則Lab空間下火焰圖像的四元數(shù)映射圖譜為L(zhǎng)map=CTQr(QLab,P),即

2.3 火焰圖像映射圖譜的相位譜和幅值譜

通過四元數(shù)方式表示火焰圖像,進(jìn)而借助四元數(shù)等距映射描述火焰圖像的彩色紋理特征.

火焰圖像映射圖譜Lmap是一個(gè)由Lab空間下火焰圖像各通道之間相互運(yùn)算所得到的非純四元數(shù).換言之,Lmap各分量描述了火焰圖像Lab空間下L,a,b各分量間的關(guān)聯(lián)性.Lmap的相位差可以描述圖像中的潛在位移信息,因此本文采用Lmap的相位信息來增強(qiáng)原爐口火焰圖像的彩色信息.Lmap的相位δL由式(4)定義

Lmap除了相位信息外,還具有幅值信息,為更全面和有效的提取Lmap的復(fù)雜網(wǎng)絡(luò)信息,定義1中考慮了Lmap的幅值信息.

定義1將四元數(shù)圖像的映射圖譜Lmap的幅值信息定義為以四元數(shù)圖像模與單位四元數(shù)模的乘積為對(duì)邊,映射圖譜Lmap的實(shí)部為鄰邊的直角三角形所對(duì)應(yīng)的夾角,則映射圖譜Lmap的幅值信息可由反正切函數(shù)求得,如式(5)所示:

通過四元數(shù)圖像映射圖譜Lmap的幅值譜的構(gòu)造,結(jié)合Lmap的相位譜信息,分別從幅值譜信息和相位譜信息兩個(gè)方向來描述映射圖譜Lmap的特征,為整體描述火焰圖像彩色紋理奠定基礎(chǔ).

2.4 火焰圖像映射圖譜相位譜的二次量化

由于火焰圖像顏色分布集中,導(dǎo)致轉(zhuǎn)化后的相位分布集中,如圖2(a)所示,不利于提取火焰圖像穩(wěn)定且具有區(qū)分力的紋理特征.為方便后續(xù)提取火焰圖像映射圖譜的復(fù)雜網(wǎng)絡(luò)特征,使得相近相位量化為同一值,利用與幅值譜的關(guān)聯(lián)性作為后續(xù)構(gòu)造復(fù)雜網(wǎng)絡(luò)的連接條件之一,構(gòu)建相位量化轉(zhuǎn)換關(guān)系,通過線性變換方式保留原始特征分布的規(guī)律,因此本文將Lmap的相位譜定義為正值,且以10為步長(zhǎng),對(duì)相位譜進(jìn)行量化,如式(6)所示:

式中floor為向下取整操作,可知δmap∈[0,1,···,9].

量化后火焰圖像相位值分布如圖2(b)所示,分布較為均勻,以得到細(xì)節(jié)豐富而清晰的圖像信息.

圖2 火焰圖像相位譜量化與未量化分布對(duì)比Fig.2 Comparison of quantized and unquantized phase spectrum distribution in the flame image

2.5 火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)表示及彩色紋理描述符

火焰作為一種非結(jié)構(gòu)對(duì)象存在多尺度多方向的不規(guī)則紋理信息,本節(jié)提出了四元數(shù)復(fù)雜網(wǎng)絡(luò)彩色紋理描述符,采用CN紋理提取方式結(jié)合四元數(shù)映射圖譜以描述火焰的彩色不規(guī)則紋理特征信息.

在火焰圖像中用CN概念表征紋理包括兩個(gè)主要步驟:i)系統(tǒng)建模;ii)對(duì)紋理網(wǎng)絡(luò)的分析.CN拓?fù)涮卣骺梢缘贸雠c其代表系統(tǒng)有關(guān)的重要結(jié)論.四元數(shù)復(fù)雜網(wǎng)絡(luò)彩色紋理描述符是通過復(fù)雜網(wǎng)絡(luò)將火焰圖像的幅值譜作為輸入,并輸出一組圖像描述符以進(jìn)行彩色紋理表征.首先將火焰圖像的幅值譜建模網(wǎng)絡(luò);其次結(jié)合頂點(diǎn)之間的距離和強(qiáng)度差構(gòu)造的權(quán)重公式確定網(wǎng)絡(luò)的權(quán)重;然后確定網(wǎng)絡(luò)連接規(guī)則構(gòu)建無向加權(quán)網(wǎng)絡(luò);最后,分析計(jì)算網(wǎng)絡(luò)的拓?fù)涮卣髯鳛榛鹧鎴D像的彩色紋理特征.

定義2火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)表示是指以圖像映射圖譜幅值譜頂點(diǎn)對(duì)相似性為連接條件,結(jié)合相位譜信息,將圖像幅值譜構(gòu)建無向加權(quán)復(fù)雜網(wǎng)絡(luò).若存在寬度x和高度y的火焰圖像I共x×y個(gè)像素,將火焰圖像映射圖譜Lmap轉(zhuǎn)為量化后的相位譜δmap和幅值譜AL,則每個(gè)像素點(diǎn)的幅值作為頂點(diǎn)g的值,像素之間的相似性映射為網(wǎng)絡(luò)頂點(diǎn)之間的連接,通過對(duì)邊緣加權(quán)以描述兩個(gè)頂點(diǎn)之間連接的權(quán)重值來判斷頂點(diǎn)相似性.其中:用來連接頂點(diǎn)的規(guī)則主要考慮3點(diǎn).

1) 考慮兩個(gè)頂點(diǎn)vi和vj的距離,采用歐幾里得距離為式(7)

式中g(shù)(vi,x)由圖像中給定頂點(diǎn)vi表示的像素得到的相應(yīng)笛卡爾坐標(biāo).

2) 考慮兩個(gè)頂點(diǎn)間的強(qiáng)度差,由此定義了vi和vj之間的連接權(quán)重.

將四元數(shù)映射圖譜幅值譜復(fù)雜網(wǎng)絡(luò)的頂點(diǎn)對(duì)vi和vj之間的連接權(quán)重定義為幅值譜上像素vi和vj的強(qiáng)度差與距離的乘積,其中g(shù)(vi),g(vj)為幅值譜上像素vi,vj的強(qiáng)度值,d(vi,vj)為兩個(gè)頂點(diǎn)的距離,使用a和r將連接權(quán)重進(jìn)行標(biāo)準(zhǔn)化,常數(shù)a是火焰圖像幅值譜通道強(qiáng)度差最大值,如式(8)所示:

為了避免分子出現(xiàn)零值,因此在分子部分添加了較小的非0正值ε,本文中設(shè)置ε=0.01,以避免出現(xiàn)g(vi)?g(vj)=0,d(vi,vj)=0的情況.所得值越小,代表像素點(diǎn)間相似性越大,間距越近.

3) 結(jié)合相位譜信息.作為火焰圖像映射圖譜的相位譜δmap和幅值譜AL在相同位置上具有很強(qiáng)的相關(guān)性,因此選擇將相位值作為網(wǎng)絡(luò)連接條件,則在相位相等(量化前的相近相位值)前提下,選擇連接權(quán)重低于閾值的幅值點(diǎn)進(jìn)行網(wǎng)絡(luò)連接,也就是通過閾值化獲得CN.

由此構(gòu)建一個(gè)四元數(shù)復(fù)雜網(wǎng)絡(luò)QCN={V,E}.將幅值譜每個(gè)像素視為一個(gè)頂點(diǎn),頂點(diǎn)總數(shù)為|V|=x×y=n,組成集合V={v1,···,vn},構(gòu)成邊緣E={a(vi,vj)}.即得到火焰圖像的四元數(shù)復(fù)雜網(wǎng)絡(luò)QCN.

如圖3所示,網(wǎng)絡(luò)由幅值譜像素點(diǎn)作為頂點(diǎn),這些頂點(diǎn)連接組合起來代表整個(gè)網(wǎng)絡(luò)結(jié)構(gòu).其中:假設(shè)局部圖案的中心像素為gc,則傳統(tǒng)方法會(huì)考慮其相鄰一圈像素(相同尺度)與中心像素之間的差異并編碼,而復(fù)雜網(wǎng)絡(luò)考慮其相鄰不同圈內(nèi)例如圖中的尺度范圍1到尺度范圍3(不同尺度)下相似頂點(diǎn)同時(shí)建立連接,構(gòu)造了網(wǎng)絡(luò)上多尺度的不規(guī)則紋理描述.這就實(shí)現(xiàn)了火焰圖像的多尺度不規(guī)則紋理描述,即QCN可以整體表示火焰圖像的多尺度不規(guī)則彩色紋理變化.

圖3 火焰圖像復(fù)雜網(wǎng)絡(luò)彩色紋理特征提取過程Fig.3 Color texture feature extraction process of flame image based on complex network

CN拓?fù)溆善溥B接模式定義,因此分析計(jì)算網(wǎng)絡(luò)的拓?fù)涮卣髯鳛榛鹧鎴D像的彩色不規(guī)則紋理特征,量化CN拓?fù)浜筇崛蝹€(gè)頂點(diǎn)、頂點(diǎn)組或整個(gè)網(wǎng)絡(luò)的全局信息.本文主要計(jì)算火焰圖像紋理網(wǎng)絡(luò)拓?fù)漤旤c(diǎn)的度k(i)和聚類系數(shù)c(i)后將其相關(guān)統(tǒng)計(jì)特征作為火焰圖像的彩色紋理特征.

頂點(diǎn)度k(i)用于計(jì)算頂點(diǎn)vi與其他頂點(diǎn)連接的邊數(shù),考慮集合V和E,火焰圖像紋理網(wǎng)絡(luò)每個(gè)頂點(diǎn)vi的度可以計(jì)算如下:

通過計(jì)算紋理網(wǎng)絡(luò)每個(gè)頂點(diǎn)vi ∈V的度k(i),直方圖度h(i)計(jì)算如式(10)所示:

其中δ(j,i)由式(11)定義

頂點(diǎn)的聚類系數(shù)則考慮了CN頂點(diǎn)鄰點(diǎn)之間的連接,其通過計(jì)算一組頂點(diǎn)之間的三角形數(shù)量來表征一組頂點(diǎn)的連接結(jié)構(gòu).考慮到CN是無向網(wǎng)絡(luò),火焰圖像紋理網(wǎng)絡(luò)的頂點(diǎn)聚類系數(shù)c(i)由式(12)定義

其中|A|表示集合A的元素個(gè)數(shù),分子的集合為頂點(diǎn)vi的k(i)個(gè)鄰點(diǎn)間實(shí)際存在的邊數(shù),并通過vi與其k(i)個(gè)鄰點(diǎn)可能形成的最大邊數(shù)k(i)(k(i)?1)/2進(jìn)行歸一化,Ni為直接連接到頂點(diǎn)vi的聚集鄰點(diǎn).

分析火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)的度數(shù)直方圖和聚類系數(shù)直方圖可以計(jì)算出較多特征,度的概率密度函數(shù)pd(i)根據(jù)度的直方圖h(i)計(jì)算得出,其結(jié)果為

其中k是度k(i)的最大值.聚類系數(shù)同理可得概率密度函數(shù)pc(i).

因此從度和聚類分布中使用一套統(tǒng)計(jì)量度,如能量、熵等統(tǒng)計(jì)量度表征CN拓?fù)?從而構(gòu)成了火焰圖像彩色紋理描述符.

3 火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)特征及終點(diǎn)碳含量預(yù)測(cè)

火焰圖像彩色紋理描述符是通過四元數(shù)的方式融合火焰圖像顏色通道信息,使用CN提取相位譜δmap相位相同時(shí)幅值譜AL在權(quán)重低于2.00時(shí)構(gòu)建網(wǎng)絡(luò)的拓?fù)涮卣?計(jì)算復(fù)雜網(wǎng)絡(luò)的度k(i)和聚類系數(shù)c(i)的平均值和標(biāo)準(zhǔn)差及其直方圖對(duì)應(yīng)的統(tǒng)計(jì)特征均值(mean)、對(duì)比度(contrast)、能量(energy)、熵(entropy)共12個(gè)特征串聯(lián)構(gòu)成描述火焰圖像QCN的特征向量,提取多尺度的火焰圖像復(fù)雜網(wǎng)絡(luò)彩色紋理特征后,通過KNN回歸模型預(yù)測(cè)終點(diǎn)碳含量,爐口火焰圖像特征提取的終點(diǎn)碳含量預(yù)測(cè)的架構(gòu)圖如圖4所示.

圖4 四元數(shù)復(fù)雜網(wǎng)絡(luò)圖像彩色紋理特征提取架構(gòu)圖Fig.4 Color texture feature extraction architecture of quaternion complex network image

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)介紹

本文火焰圖像特征提取及終點(diǎn)碳含量預(yù)測(cè)在如下環(huán)境實(shí)驗(yàn):軟件環(huán)境為python3.6,硬件環(huán)境為Intel(R)Core(TM)i5-9300 H CPU@2.40 GH,GPU:NVIDIA GeForce GTX 1650.實(shí)驗(yàn)中爐口火焰圖像數(shù)據(jù)來自鋼廠轉(zhuǎn)爐煉鋼實(shí)際生產(chǎn)中工業(yè)相機(jī)相同參數(shù)下拍攝的不同爐次下爐口火焰視頻(碳含量分布范圍為0.01%～0.23%),實(shí)驗(yàn)數(shù)據(jù)集為從對(duì)應(yīng)于轉(zhuǎn)爐煉鋼終點(diǎn)時(shí)刻的不同爐次視頻結(jié)束前2 s以幀為單位采樣得到的大小為1466×400的20000張火焰圖像,標(biāo)簽與轉(zhuǎn)爐煉鋼終點(diǎn)時(shí)刻采用副槍檢技術(shù)測(cè)得的鋼水碳含量值對(duì)應(yīng).

實(shí)驗(yàn)時(shí)將不同爐次對(duì)應(yīng)火焰圖像次序隨機(jī)打亂,訓(xùn)練集為在20000張轉(zhuǎn)爐爐口火焰圖像中隨機(jī)選擇的16000張火焰圖像,測(cè)試集為剩余4000張,通過五折交叉驗(yàn)證方式取得較為準(zhǔn)確且穩(wěn)定的碳含量預(yù)測(cè)結(jié)果.

4.2 相位二次量化對(duì)碳含量預(yù)測(cè)的影響實(shí)驗(yàn)

爐口火焰圖像的顏色多集中于紅、黃、白,導(dǎo)致轉(zhuǎn)換后的相位譜分量分布較為集中,不利于后期區(qū)分性較強(qiáng)的彩色紋理特征的提取,為方便后續(xù)提取火焰圖像相位譜的復(fù)雜網(wǎng)絡(luò)特征,故在提取火焰圖像復(fù)雜網(wǎng)絡(luò)彩色紋理特征時(shí)首先通過式(6)對(duì)火焰圖像相位譜進(jìn)行二次量化.本小節(jié)旨在對(duì)比爐口火焰圖像四元數(shù)映射圖譜相位譜二次量化前后碳含量預(yù)測(cè)結(jié)果,說明進(jìn)行相位譜二次量化的必要性和有效性.

表1對(duì)比了火焰圖像映射圖譜相位譜二次量化前后的碳含量預(yù)測(cè)結(jié)果,圖5展示了本方法碳含量預(yù)測(cè)結(jié)果在相位譜二次量化前后的差異,從圖可以明顯看出二次量化后碳含量預(yù)測(cè)準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于未經(jīng)二次量化的.因此,相位譜二次量化盡可能的保證了火焰圖像彩色紋理特征的穩(wěn)定性,從而使得轉(zhuǎn)爐煉鋼終點(diǎn)碳含量預(yù)測(cè)精度提升顯著.

表1 相位二次量化前后轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)比較(五折交叉驗(yàn)證)Table 1 Comparison of prediction of the endpoint carbon content of converter before and after phase twice quantization(5-fold cross-validation)

4.3 閾值對(duì)碳含量預(yù)測(cè)結(jié)果的影響實(shí)驗(yàn)

本小節(jié)主要通過實(shí)驗(yàn)分析相位相等前提下,構(gòu)造火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)的幅值譜AL中權(quán)重閾值對(duì)碳含量預(yù)測(cè)精度的影響.首先,幅值譜AL是為了更全面表征火焰圖像映射圖譜提出的一個(gè)幅值信息描述圖譜,而彩色紋理構(gòu)造過程是在二次量化后的相位譜δmap對(duì)應(yīng)相位相等前提下,幅值譜AL中選擇權(quán)重低于權(quán)重閾值的幅值點(diǎn)進(jìn)行網(wǎng)絡(luò)連接,通過閾值化獲得描述火焰圖像彩色紋理的QCN描述符.

圖6展示了不同閾值對(duì)于碳含量預(yù)測(cè)精度的影響,表2展示了本部分各閾值的預(yù)測(cè)結(jié)果.

表2 閾值對(duì)碳含量預(yù)測(cè)結(jié)果的影響(五折交叉驗(yàn)證)Table 2 Effect of threshold value on carbon content prediction results(5-fold cross-validation)

圖6 本文方法不同閾值的性能比較Fig.6 Comparison of performance of different thresholds

通過上述實(shí)驗(yàn)結(jié)果,按照幅值譜AL權(quán)重閾值進(jìn)行總結(jié),權(quán)重值越小,代表頂點(diǎn)間相似性越大且間距越近,即權(quán)重閾值過大,代表相似性較弱的頂點(diǎn)也進(jìn)行了網(wǎng)絡(luò)連接而引入了不相關(guān)的信息;另外權(quán)重閾值過小,則代表只將極為相似的頂點(diǎn)進(jìn)行了連接,損失了一些全局信息,導(dǎo)致所構(gòu)造的火焰圖像復(fù)雜網(wǎng)絡(luò)紋理信息較為片面.因此通過實(shí)驗(yàn)得到合適的AL權(quán)重閾值,閾值化獲得描述火焰圖像彩色紋理的QCN描述符以針對(duì)火焰變化中呈現(xiàn)出的隨機(jī)自然紋理進(jìn)而在轉(zhuǎn)爐煉鋼爐口火焰圖像數(shù)據(jù)上有更好的表現(xiàn).其中閾值與工業(yè)相機(jī)參數(shù)有關(guān),而實(shí)驗(yàn)中使用的火焰圖像為同一工業(yè)相機(jī)相同參數(shù)室內(nèi)環(huán)境下拍攝得到,受自然光源影響較小,清晰度較穩(wěn)定,通過實(shí)驗(yàn)標(biāo)定對(duì)于火焰圖像的合理閾值,最佳閾值相對(duì)穩(wěn)定.驗(yàn)證了本文方法及最佳閾值在火焰圖像彩色紋理特征提取并預(yù)測(cè)終點(diǎn)鋼水碳含量的有效性.

4.4 與同類算法的性能比較

該小節(jié)旨在驗(yàn)證四元數(shù)復(fù)雜網(wǎng)絡(luò)彩色紋理特征在提取轉(zhuǎn)爐終點(diǎn)爐口火焰圖像紋理特征時(shí)的有效性,分別按照以下幾方面進(jìn)行比較不同特征提取方法在預(yù)測(cè)碳含量上的性能.針對(duì)提取的火焰特征,將本文方法與灰度共生矩陣(gray-level co-occurrence matrix,GLCM)[17]、方向梯度直方圖(histograms of oriented gradients,HOG)[18]邊緣特征提取算法、基于卷積神經(jīng)網(wǎng)絡(luò)[14,19]的轉(zhuǎn)爐終點(diǎn)鋼水碳含量預(yù)測(cè)方法進(jìn)行比較;針對(duì)彩色紋理提取方法,與Choi等人[20]提出的彩色局部二進(jìn)制圖案特征(CLBP)、Rassem等人[21]提出的完整的局部三進(jìn)制模式描述符(CLTP)、Alamgir等人[22]提出的局部二進(jìn)制共現(xiàn)模式(local binary co-occurrence pattern,LBCoP)、Verma 等人[23]提出的局部極值共現(xiàn)模式(local extrema co-occurrence pattern,LECoP)進(jìn)行比較和分析;最后,為了全面說明本文方法的有效性,還與Backes等人[16]提出的基于復(fù)雜網(wǎng)絡(luò)的紋理特征提取算法、Leonardo Scabini等人[24]提出的用于彩色紋理表征的多層復(fù)雜網(wǎng)絡(luò)描述符(MCND)以及李清榮等人[12]提出的四元數(shù)方向統(tǒng)計(jì)量(quaternion direction statistics,QDS)局部或全局彩色紋理特征提取算法相比較.

其中:GLCM使用分通道方式提取火焰圖像Lab空間下彩色紋理特征,分別提取火焰圖像L,a,b3個(gè)通道在0?,45?,90?,135?4個(gè)角度,以及1,2,4,8,16距離下灰度共生矩陣的8個(gè)統(tǒng)計(jì)特征得到火焰圖像的彩色紋理特征向量;考慮到網(wǎng)絡(luò)結(jié)構(gòu)的影響,通過深度卷積神經(jīng)網(wǎng)絡(luò)提取火焰圖像特征進(jìn)行轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)時(shí),本文采用LeNet[14]和網(wǎng)絡(luò)更深的Vgg-Net[19]進(jìn)行對(duì)比,訓(xùn)練迭代至100000次模型的訓(xùn)練損失值趨于穩(wěn)定得到測(cè)試集上的預(yù)測(cè)結(jié)果.CLTP通過分通道整合顏色通道間的相互信息,采用LTP的編碼方式提取火焰圖像彩色紋理特征;為了驗(yàn)證復(fù)雜網(wǎng)絡(luò)在火焰紋理提取上的有效性,本文選擇與基于復(fù)雜網(wǎng)絡(luò)的紋理特征提取方法[16]、MCND[24]作為對(duì)比,其中:基于復(fù)雜網(wǎng)絡(luò)的方法為灰度空間,為了便于記述,表中將其簡(jiǎn)記為GCN.

對(duì)各方法參數(shù)調(diào)試最佳后,將提取到的爐口火焰特征送入作為回歸模型的KNN中進(jìn)行訓(xùn)練測(cè)試,實(shí)驗(yàn)采用五折交叉驗(yàn)證方式.本部分采用預(yù)測(cè)精度(誤差范圍為0.01%～0.05%)、決定系數(shù)(R2)、均方根誤差(RMSE),提取火焰圖像紋理特征時(shí)消耗的平均時(shí)間F,測(cè)試一張圖像的平均耗時(shí)TKNN作為算法預(yù)測(cè)性能的評(píng)價(jià)指標(biāo),計(jì)算如式(15)–(18)所示:

圖7為本文方法與對(duì)比方法在終點(diǎn)碳含量預(yù)測(cè)性能上的比較,在誤差范圍0.01%～0.05%內(nèi)本文方法的預(yù)測(cè)精度均高于其他對(duì)比方法.

圖7 本文方法與其他特征提取方法的性能比較Fig.7 Performance comparison between the method in this paper and other feature extraction methods

圖8表示本文方法與其他特征提取方法的R2值比較,可以明顯看出本文方法預(yù)測(cè)值與真實(shí)值的擬合最好,圖9表示本文方法與其他特征提取方法的RMSE值比較,可知本文方法預(yù)測(cè)值與真實(shí)值的誤差最小,而圖10表示本文方法在4000張測(cè)試集上的終點(diǎn)碳含量預(yù)測(cè)散點(diǎn)圖,從圖可以直觀看出本文方法預(yù)測(cè)值與真實(shí)值較為接近,離散點(diǎn)相對(duì)較少.

圖8 本文方法與其他特征提取方法的R2值比較Fig.8 Comparison of R2 value between the method in this paper and other feature extraction methods

圖9 本文方法與其他特征提取方法的RMSE值比較Fig.9 Comparison of RMSE between the method in this paper and other feature extraction methods

圖10 本文方法碳含量預(yù)測(cè)散點(diǎn)圖Fig.10 The method of carbon content prediction scatter plot in this paper

為了表現(xiàn)不同方法預(yù)測(cè)值與真實(shí)值的擬合程度,將本文方法與其他特征提取方法在測(cè)試集中隨機(jī)挑選200組數(shù)據(jù)的預(yù)測(cè)值與真實(shí)值對(duì)比情況,并計(jì)算相應(yīng)的R2值和均方根誤差(RMSE)反映擬合和離散程度,本文方法在測(cè)試集上的R2值為0.72,RMSE值為2.25%.如圖11所示,將對(duì)比方法和本文方法的真實(shí)值與預(yù)測(cè)值對(duì)比圖按R2值由大到小排列,由圖11和表4不同方法的R2值和RMSE值可知,本文方法預(yù)測(cè)值與真實(shí)值擬合程度最優(yōu),預(yù)測(cè)值與真實(shí)值的誤差最小.

圖11 本文方法與其他特征提取方法的預(yù)測(cè)值與真實(shí)值對(duì)比Fig.11 The compared between the predicted value and the true value of the method in this paper and other feature extraction methods

表3展示了本部分各對(duì)比方法在誤差范圍0.01%～0.05%的轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)結(jié)果的具體數(shù)據(jù).通過五折交叉驗(yàn)證,本文方法在碳含量誤差范圍為0.01%內(nèi)的準(zhǔn)確率為85.65%,在0.02%內(nèi)的準(zhǔn)確率為91.83%,相較于對(duì)比方法中預(yù)測(cè)效果較好的MCND算法在預(yù)測(cè)誤差為0.01%內(nèi)提升17.24%,在預(yù)測(cè)誤差為0.02%內(nèi)提升9.2%.

結(jié)合火焰的特點(diǎn)從表3的實(shí)驗(yàn)結(jié)果可以看出,對(duì)于提取的火焰特征而言,GLCM等幾種算法各有優(yōu)勢(shì),但都未針對(duì)火焰的不規(guī)則紋理特征,而通過本文復(fù)雜網(wǎng)絡(luò)方式構(gòu)建火焰圖像的多尺度多方向不規(guī)則彩色紋理表征,以提取復(fù)雜網(wǎng)絡(luò)的度、聚類系數(shù)及相關(guān)特征作為火焰圖像四元數(shù)復(fù)雜網(wǎng)絡(luò)描述符對(duì)測(cè)試集有更好的預(yù)測(cè)性能,驗(yàn)證了不規(guī)則紋理的有效性.同為復(fù)雜網(wǎng)絡(luò)相關(guān)算法,GCN和MCND存在提取火焰圖像不規(guī)則紋理特征的優(yōu)點(diǎn),但GCN為灰度空間下的紋理特征提取算法導(dǎo)致?lián)p失了顏色信息,MCND因其提取彩色不規(guī)則紋理的優(yōu)勢(shì),在轉(zhuǎn)爐煉鋼爐口火焰圖像數(shù)據(jù)中,效果優(yōu)于除本文算法外的其他對(duì)比算法,因此基于復(fù)雜網(wǎng)絡(luò)通過四元數(shù)等距映射幅值譜相位譜的方式融合火焰圖像顏色通道信息,構(gòu)建火焰圖像彩色紋理描述符的方法在轉(zhuǎn)爐煉鋼爐口火焰圖像數(shù)據(jù)上表現(xiàn)更優(yōu),并且本文彩色紋理特征算法優(yōu)于GLCM等彩色紋理提取方式,說明本文融合火焰圖像顏色信息方式優(yōu)于傳統(tǒng)通道信息直接相加,在轉(zhuǎn)爐煉鋼爐口火焰圖像數(shù)據(jù)上能夠得到更有效的顏色信息;QDS相較于其他特征提取方法預(yù)測(cè)效果較好,但其主要從4個(gè)方向和固定步長(zhǎng)進(jìn)行特征提取并不能很好地描述火焰紋理復(fù)雜的變化情況,難以適應(yīng)爐口火焰隨機(jī)不規(guī)則紋理特點(diǎn).因此基于四元數(shù)復(fù)雜網(wǎng)絡(luò)火焰圖像特征提取的方法結(jié)合顏色通道的相互信息和復(fù)雜網(wǎng)絡(luò)從而可以很好地提取火焰多尺度多方向的不規(guī)則紋理以保證能針對(duì)火焰變化中呈現(xiàn)的隨機(jī)自然紋理而提高預(yù)測(cè)精度.

表3 轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)準(zhǔn)確率比較Table 3 Comparison of prediction accuracy of the endpoint carbon content of converter

圖12展示了本文方法與其他特征提取方法的特征提取平均耗時(shí)的比較,圖13比較了本文方法與其他特征提取方法的回歸器平均耗時(shí),綜合可知本文方法實(shí)時(shí)性較好.

圖12 特征提取平均耗時(shí)比較Fig.12 Comparison of average time-consuming of feature extraction

圖13 回歸器平均耗時(shí)比較Fig.13 Comparison of average time consumption of regression model

表4展示了本部分各對(duì)比方法的R2值,RMSE值,提取火焰圖像紋理特征時(shí)消耗的平均時(shí)間F,測(cè)試一張圖像的平均耗時(shí)TKNN的具體數(shù)據(jù).通過五折交叉驗(yàn)證,本文方法的R2值為0.72,RMSE值為2.25%,特征提取平均耗時(shí)170.22 ms/幀,回歸器平均耗時(shí)0.04 ms/幀.

結(jié)合圖12–13,由表4可知,本文提取特征的方法相比于其他方法,消耗的時(shí)間相對(duì)較短,是除基于卷積神經(jīng)網(wǎng)絡(luò)方法之外特征提取相對(duì)較快的方法.170.22 ms/幀的特征提取處理速率,0.04的回歸器耗時(shí),合計(jì)170.26 ms/幀,在間隔采樣火焰圖像預(yù)測(cè)碳含量的過程中也能保障碳含量預(yù)測(cè)的實(shí)時(shí)性.轉(zhuǎn)爐煉鋼過程通過工業(yè)相機(jī)12 幀/s的采集速度拍攝爐口火焰圖像,采集時(shí)火焰圖像存在暫時(shí)穩(wěn)定的現(xiàn)象,提取其彩色紋理特征進(jìn)行轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè),本文方法能達(dá)到轉(zhuǎn)爐煉鋼實(shí)際生產(chǎn)過程終點(diǎn)鋼水碳含量連續(xù)實(shí)時(shí)預(yù)測(cè)的效果.

表4 轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)性能比較Table 4 Relationship between the change rate of entropy difference and the best step length

5 結(jié)論

實(shí)現(xiàn)轉(zhuǎn)爐終點(diǎn)碳含量的連續(xù)實(shí)時(shí)測(cè)量對(duì)終點(diǎn)控制具有重要的意義.為解決轉(zhuǎn)爐煉鋼終點(diǎn)碳含量不同所對(duì)應(yīng)火焰圖像相似性高而相近碳含量的火焰圖像難以區(qū)分的問題,針對(duì)爐口火焰的多尺度多方向不規(guī)則隨機(jī)自然紋理特點(diǎn),本文提出了四元數(shù)復(fù)雜網(wǎng)絡(luò)QCN圖像彩色紋理描述符,具體內(nèi)容總結(jié)為以下3點(diǎn):

1) 提出利用四元數(shù)的等距映射獲得火焰圖像的映射圖譜,融合火焰圖像顏色通道信息,以整體方式描述火焰紋理復(fù)雜的變化趨勢(shì),通過相位譜和幅值譜描述映射后的圖譜,提取圖像的整體顏色和通道信息,為提取爐口火焰圖像與轉(zhuǎn)爐煉鋼終點(diǎn)碳含量密切相關(guān)的彩色紋理信息做準(zhǔn)備.

2) 選擇復(fù)雜網(wǎng)絡(luò)的方式,構(gòu)建爐口火焰彩色紋理的多尺度不規(guī)則表達(dá),提出一種反映像素相似性的權(quán)重公式,將相位信息與幅值信息結(jié)合起來,以相位作為條件,在幅值譜上根據(jù)權(quán)重的閾值對(duì)不同尺度下的相似幅值點(diǎn)同時(shí)建立連接構(gòu)造復(fù)雜網(wǎng)絡(luò).提取整體的多尺度不規(guī)則彩色紋理特征,較為充分地展示火焰不規(guī)則紋理特征,適應(yīng)火焰自然紋理變化.

3) 構(gòu)建爐口火焰的四元數(shù)復(fù)雜網(wǎng)絡(luò)(QCN)特征,通過計(jì)算頂點(diǎn)連接數(shù)量的度數(shù)和考慮頂點(diǎn)鄰居之間連接的聚類系數(shù),以其相關(guān)特征來量化CN拓?fù)溥B接模式,提取更全面細(xì)致的彩色紋理差異來描述火焰圖像信息,作為火焰圖像的最終彩色紋理特征.

本文方法對(duì)煉鋼終點(diǎn)不同爐次下鋼水碳含量分布在0.01%～0.23%的爐口火焰圖像進(jìn)行實(shí)驗(yàn),去除爐口火焰圖像火焰區(qū)域邊界形狀和大小不同對(duì)鋼水碳含量預(yù)測(cè)的影響,碳含量預(yù)測(cè)在±0.01%誤差范圍內(nèi)的準(zhǔn)確率達(dá)到85.65%,在±0.02%誤差范圍內(nèi)的準(zhǔn)確率達(dá)到91.83%.實(shí)驗(yàn)表明,本文方法通過提取火焰圖像的彩色不規(guī)則紋理特征,較為準(zhǔn)確地建立從爐口火焰圖像到終點(diǎn)碳含量之間的關(guān)系,有效提高了轉(zhuǎn)爐煉鋼終點(diǎn)鋼水碳含量預(yù)測(cè)準(zhǔn)確率,在基于圖像處理技術(shù)的轉(zhuǎn)爐終點(diǎn)碳含量預(yù)測(cè)研究中具有一定的價(jià)值.同時(shí)本文彩色紋理特征提取算法結(jié)合了四元數(shù)和復(fù)雜網(wǎng)絡(luò),對(duì)于火焰這一類具有不規(guī)則紋理的研究對(duì)象具有一定的參考價(jià)值.