結(jié)合知識圖譜與深度神經(jīng)網(wǎng)絡(luò)的煙絲松散回潮質(zhì)量預(yù)測方法

王 宵， 徐成現(xiàn)

(昆明理工大學(xué) 機(jī)電工程學(xué)院， 云南 昆明 650500)

松散回潮是制絲工藝中的關(guān)鍵工序，該工序的目的是為了增大煙葉物料的濕度，使葉片較為疏松地分開，以滿足下一道工序一級加料的工藝要求。因此，對松散回潮的質(zhì)量進(jìn)行預(yù)測顯得十分重要。目前，對松散回潮的質(zhì)量預(yù)測主要通過數(shù)據(jù)進(jìn)行驅(qū)動(dòng)，劉穗軍等[1]對松散回潮中的加工參數(shù)及質(zhì)量指標(biāo)進(jìn)行了統(tǒng)計(jì)分析，并建立了針對松散回潮出料含水率的精準(zhǔn)控制模型，以實(shí)際案例驗(yàn)證了模型有效性；李秀芳[2]為提高松散回潮在加工過程中的控制能力，對煙片含水率和回風(fēng)溫度進(jìn)行優(yōu)化，提高了松散回潮質(zhì)量的精細(xì)控制能力；唐軍等[3]采用貝葉斯網(wǎng)絡(luò)分析方法建立了松散回潮工藝參數(shù)和質(zhì)量指標(biāo)之間的復(fù)雜模型，提升了該工序質(zhì)量預(yù)測精度。但上述方法并沒有考慮制絲工藝中的規(guī)范類文件、技術(shù)標(biāo)準(zhǔn)以及工人經(jīng)驗(yàn)等知識，而知識圖譜可以將這些多源異構(gòu)的知識加以利用。目前知識圖譜主要應(yīng)用于資源服務(wù)、醫(yī)療和生物等領(lǐng)域。劉橋等[4]583對知識圖譜構(gòu)建所用到的技術(shù)、知識圖譜的定義和架構(gòu)等進(jìn)行闡述，指出其在多領(lǐng)域應(yīng)用的可行性；張善文等[5]172將知識圖譜與雙向長短時(shí)記憶網(wǎng)絡(luò)進(jìn)行融合對小麥條銹病進(jìn)行了預(yù)測，為小麥條銹病的預(yù)警和綜合防治提供了科學(xué)的依據(jù)。知識圖譜能夠很好地對客觀世界的實(shí)體和關(guān)系進(jìn)行統(tǒng)一的描述和管理，在形成知識圖數(shù)據(jù)庫的前提下，課題組將人工智能下的深度神經(jīng)網(wǎng)絡(luò)預(yù)測算法與其相結(jié)合，在充分利用多源異構(gòu)數(shù)據(jù)的同時(shí)，搭配神經(jīng)網(wǎng)絡(luò)算法強(qiáng)大的訓(xùn)練、預(yù)測和自學(xué)習(xí)能力，最終提高了松散回潮質(zhì)量預(yù)測效果。研究為松散回潮質(zhì)量預(yù)測提供了參考。

1 松散回潮知識圖譜構(gòu)建

在構(gòu)建松散回潮知識圖譜[6]的過程中，三元組是基本單元[4]584，可以表示為“實(shí)體-關(guān)系-實(shí)體”的形式。松散回潮知識圖譜是根據(jù)該工序的實(shí)體、實(shí)體之間的相互關(guān)系加以鏈接形成的網(wǎng)狀結(jié)構(gòu)，其可以直觀表示為“松散回潮頭實(shí)體-實(shí)體關(guān)系-松散回潮尾實(shí)體”。松散回潮頭實(shí)體主要由工藝流量、循環(huán)風(fēng)門開度、排潮風(fēng)門開度、出料中水的質(zhì)量分?jǐn)?shù)和出料溫度等構(gòu)成；實(shí)體關(guān)系存在于不同類型的頭實(shí)體或尾實(shí)體之間，主要包含加工參數(shù)、質(zhì)量指標(biāo)、貯存時(shí)間等；松散回潮尾實(shí)體則包括相關(guān)的標(biāo)準(zhǔn)化數(shù)據(jù)，如模組1A線3 000 kg/h的工藝流量，模組1B線的出料中水的質(zhì)量分?jǐn)?shù)指標(biāo)在(17.0±1.5)%以及相關(guān)的注意事項(xiàng)等。該知識圖譜的構(gòu)建過程主要由以下操作完成：首先對松散回潮的工序、標(biāo)準(zhǔn)化、加工參數(shù)和質(zhì)量指標(biāo)等多源異構(gòu)化的數(shù)據(jù)知識進(jìn)行抽取和表達(dá)；其次通過知識融合的方式對不同實(shí)體進(jìn)行消歧、鏈接和消解，使抽取出的數(shù)據(jù)具有更強(qiáng)的層次性和邏輯性；然后利用頭尾實(shí)體之間的關(guān)系進(jìn)行節(jié)點(diǎn)和邊的知識合并和加工以形成有效的組織和管理；最后對合并后的知識進(jìn)行質(zhì)量評估和知識更新，最終形成完整的松散回潮知識圖譜。圖1所示為制絲線上松散回潮知識圖譜的構(gòu)建流程，圖2所示為構(gòu)建松散回潮知識圖譜過程中的部分實(shí)體案例，其中橫線上數(shù)據(jù)表示不同參數(shù)對質(zhì)量指標(biāo)的影響權(quán)重，即質(zhì)量指標(biāo)影響因子。

圖1 松散回潮知識圖譜構(gòu)建流程Figure 1 Knowledge graph construction process of loosening and conditioning

圖2 部分實(shí)體案例Figure 2 Partial entity case

為了更好地利用和發(fā)揮松散回潮知識圖譜中多源異構(gòu)數(shù)據(jù)知識的價(jià)值，課題組采用動(dòng)態(tài)矩陣映射的方式嵌入模型，并以此學(xué)習(xí)其中不同實(shí)體和關(guān)系的特征向量，從而形成定性的知識到定量的結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)化。該知識圖譜驅(qū)動(dòng)的向量化過程可以通過以下方式進(jìn)行描述：首先將松散回潮知識圖譜中的實(shí)體和實(shí)體之間的關(guān)系以映射的方式嵌入到空間，同時(shí)給空間中的每個(gè)實(shí)體定義對應(yīng)的向量；其次，通過詞向量轉(zhuǎn)換工具Word2vec將知識圖譜三元組中高維的空間向量轉(zhuǎn)換成低維向量；知識圖譜三元組中的頭實(shí)體、關(guān)系以及尾實(shí)體可以用h,r,h′進(jìn)行表示，通過不斷調(diào)整頭實(shí)體h和關(guān)系r以使其不斷接近尾部實(shí)體h′。在此基礎(chǔ)上引入2個(gè)相關(guān)的投影矩陣Φr,1h和Φr,2h′將頭實(shí)體和尾實(shí)體映射到關(guān)系所在的空間中形成關(guān)聯(lián)。最后，將Φr,1h和Φr,2h′進(jìn)行向量積的拆分形成距離函數(shù)以評價(jià)詞向量訓(xùn)練過程：

dr(h,h′)=‖Φr,1h+r-Φr,2h′‖。

(1)

基于松散回潮知識圖譜驅(qū)動(dòng)的動(dòng)態(tài)矩陣映射詞向量知識嵌入過程如圖3所示[5]174。針對該圖譜中的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的多源異構(gòu)數(shù)據(jù)，通過知識抽取、實(shí)體鏈接、知識融合和加工合并等操作形成統(tǒng)一的易管理的知識圖數(shù)據(jù)庫，在詞向量工具的處理下，知識圖數(shù)據(jù)以映射和扁平化的方式轉(zhuǎn)換到低維空間，形成了可表達(dá)、可訓(xùn)練的結(jié)構(gòu)化向量數(shù)據(jù)，服務(wù)于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

圖3 動(dòng)態(tài)矩陣映射知識嵌入過程Figure 3 Dynamic matrix mapping knowledge embedding process

2 深度神經(jīng)網(wǎng)絡(luò)模型

深度神經(jīng)網(wǎng)絡(luò)能夠很好地對數(shù)據(jù)之間非線性的特征關(guān)系進(jìn)行提取[7-8]，同時(shí)在訓(xùn)練時(shí)收斂速度較快。雙門控循環(huán)單元和注意力機(jī)制( bidirectional gated recurrent unit-attention, BIGRU-Attention)[9-11]深度神經(jīng)網(wǎng)絡(luò)模型作為深度神經(jīng)網(wǎng)絡(luò)的核心層，將某一時(shí)刻的狀態(tài)與前后時(shí)刻的狀態(tài)都進(jìn)行關(guān)聯(lián)，可以充分考慮語義之間的上下文關(guān)系，也更有利于松散回潮知識圖數(shù)據(jù)的深層次和關(guān)鍵層次類特征提取。課題組研究的深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。該模型主要由詞向量嵌入層、BIGRU-Attention核心層以及輸出層所構(gòu)成。詞向量嵌入層主要是由word2vec轉(zhuǎn)換后的低維向量作為數(shù)據(jù)源，在BIGRU層的操作下完成具體的計(jì)算，最終經(jīng)softmax(指數(shù)歸一化函數(shù))層輸出松散回潮質(zhì)量預(yù)測的相關(guān)結(jié)果。

圖4 深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Figure 4 Deep neural network model structure

2.1 BIGRU-Attention層

BIGRU層的主要目的是對詞嵌入層的向量進(jìn)行更深層次的特征提取，BIGRU的單元結(jié)構(gòu)如圖5所示。

圖5 BIGRU單元結(jié)構(gòu)Figure 5 BIGRU cell structure

根據(jù)其結(jié)構(gòu)，可以理解為前向GRU和反向GRU同時(shí)對向量進(jìn)行處理，可表示為：

bijk=BIGRU(eijk)。

(2)

式中：eijk表示第i時(shí)刻第j個(gè)句子中的第k個(gè)詞的詞向量，bijk表示經(jīng)過BIGRU編碼完成的對應(yīng)詞向量。

其次，BIGRU層為突出知識數(shù)據(jù)中更關(guān)鍵的信息，引入Attention層，通過對詞向量進(jìn)行權(quán)重的計(jì)算，以分配不同影響參數(shù)的權(quán)重。Attention層主要是對編碼后的bijk向量進(jìn)行處理，其公式如下：

cijk=tanh (wwbijk+fw);

(3)

(4)

(5)

式中：bijk為BIGRU編碼處理后的向量，tanh為激活函數(shù)，ww表示權(quán)重分配過程中的相應(yīng)系數(shù)，fw表示偏置系數(shù)，gw表示Attention機(jī)制在初始化過程中的隨機(jī)初始矩陣，qijk表示經(jīng)BIGRU-Attention處理后得到的包含權(quán)重分配的向量數(shù)據(jù)。

2.2 softmax輸出層

輸出層的輸入數(shù)據(jù)為上一層中輸出的向量數(shù)據(jù)，即qijk，通過下式進(jìn)行處理：

yj=softmax(B1qijk+b1)。

(6)

其中B1代表輸出層上待訓(xùn)練的參數(shù)矩陣，b1為偏置參數(shù)，yj代表最終預(yù)測的松散回潮質(zhì)量相關(guān)標(biāo)簽。

3 案例驗(yàn)證

課題組從某煙廠制絲工藝的標(biāo)準(zhǔn)文件中抽取相關(guān)的工藝標(biāo)準(zhǔn)、生產(chǎn)規(guī)范技術(shù)要求等實(shí)體數(shù)據(jù)，結(jié)合生產(chǎn)線上松散回潮的相關(guān)加工參數(shù)和質(zhì)量指標(biāo)等幾萬條數(shù)據(jù)作為數(shù)據(jù)的基礎(chǔ)，用于指定工序松散回潮的質(zhì)量預(yù)測。

3.1 試驗(yàn)環(huán)境搭建

課題組利用PC端的硬件基礎(chǔ)，在Windows10系統(tǒng)和GTX850的基礎(chǔ)上，搭配TensorFlow1.14版本，結(jié)合代碼可視化工具pycharm，以keras作為深度神經(jīng)網(wǎng)絡(luò)算法的融合引擎，在GPU的高效運(yùn)行下實(shí)現(xiàn)實(shí)驗(yàn)的驗(yàn)證，其具體參數(shù)設(shè)置如表1所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

3.2 模型評價(jià)指標(biāo)

為更好地對松散回潮質(zhì)量預(yù)測做出更好的評價(jià)，課題組采用預(yù)測精度a進(jìn)行評價(jià)[5]175，則有

(7)

式中：Tp與Fp分別為模型預(yù)測為正確的正確樣本數(shù)和錯(cuò)誤樣本數(shù)，a為模型預(yù)測的正確樣本數(shù)和總樣本數(shù)之比。

3.3 結(jié)果分析

課題組將雙門控循環(huán)單元和注意力機(jī)制結(jié)合知識圖譜(bidirectional gated recurrent unit-attention-knowledge graph，BIGRU-Attetion-KG)的深度神經(jīng)網(wǎng)絡(luò)預(yù)測方法與其他未結(jié)合知識圖譜的4種方法進(jìn)行對比。4種方法分別是利用CNN，LSTM，BP和BIGRU-Attention神經(jīng)網(wǎng)絡(luò)進(jìn)行松散回潮質(zhì)量的預(yù)測。所得出的實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同方法預(yù)測結(jié)果對比

從表2可以看出，課題組所提出的結(jié)合知識圖譜和深度神經(jīng)網(wǎng)絡(luò)的方法在精度、訓(xùn)練時(shí)間和預(yù)測時(shí)間上較其他方法都有較大的提升。主要是因?yàn)橹R圖譜充分利用了制絲工藝標(biāo)準(zhǔn)中松散回潮工序的相關(guān)技術(shù)規(guī)范、注意事項(xiàng)等非結(jié)構(gòu)化的知識，而其他方法卻只能借助生產(chǎn)線上采集的結(jié)構(gòu)化數(shù)據(jù)。除此之外，BIGRU-Attention的引入，能夠使不同時(shí)刻的數(shù)據(jù)更有效地聯(lián)系并能充分利用關(guān)鍵信息的價(jià)值，而其他方法在數(shù)據(jù)利用方面往往顯得較為單一，缺少層次性。因此，課題組所提出的BIGRU-Attetion-KG的方法克服了相關(guān)的噪聲問題，改善了預(yù)測的效果。

為更有力地說明知識圖譜引入的價(jià)值，課題組對BIGRU-Attention和BIGRU-Attention-KG進(jìn)行單獨(dú)的分析，2種方法隨著迭代次數(shù)的準(zhǔn)確率變化如圖6所示。可以看出，結(jié)合知識圖譜后，模型的預(yù)測精度具有顯著的提升，當(dāng)?shù)螖?shù)不斷增加時(shí)，預(yù)測精度a也逐漸趨于不變。統(tǒng)觀全局，未結(jié)合知識圖譜的BIGRU-Attention預(yù)測精度最終為85.93%，而BIGRU-Attention-KG的在迭代150多次后一直保持在90.00%以上，充分說明提出方法的可行性和有效性。

圖6 BIGRU-Attetion-KG與BIGRU-Attetion準(zhǔn)確率對比Figure 6 Accuracy comparison of BIGRU-Attetion-KG and BIGRU-Attetion

4 結(jié)語

針對制絲工藝中松散回潮質(zhì)量預(yù)測難度大、相關(guān)參數(shù)設(shè)置不穩(wěn)定等難題，課題組提出了一種知識圖譜和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的預(yù)測方法。首先從制絲工藝標(biāo)準(zhǔn)文件中抽取出與松散回潮相關(guān)的實(shí)體信息構(gòu)建出知識圖譜，進(jìn)行統(tǒng)一的資源信息管理；其次利用詞向量處理工具將知識圖譜轉(zhuǎn)換成可表示可操作的低維特征向量；然后，融合深度神經(jīng)網(wǎng)絡(luò)對輸入的低維向量進(jìn)行分析和預(yù)測。本研究實(shí)現(xiàn)了定性知識轉(zhuǎn)化為定量分析再到定性輸出的流程，經(jīng)由案例驗(yàn)證了研究模型的可靠性，為松散回潮質(zhì)量預(yù)測提供了新的思路。