基于XLNet的業(yè)務(wù)流程下一活動(dòng)預(yù)測方法

夏燦銘,邢瑪麗+,何勝煌

(1.廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院,廣東 廣州 510006;2.上海交通大學(xué) 自動(dòng)化系,上海 200030;3.上海交通大學(xué) 寧波人工智能研究院,寧波 200052)

0 引言

伴隨著數(shù)字化轉(zhuǎn)型,流程執(zhí)行數(shù)據(jù)(也稱事件日志)的數(shù)量以海量規(guī)模增長。流程挖掘方法通過分析流程日志來發(fā)現(xiàn)、監(jiān)控和改進(jìn)業(yè)務(wù)流程[1],預(yù)測性業(yè)務(wù)流程監(jiān)控(Predictive Business Process Monitoring, PBPM)已經(jīng)成為流程挖掘的一個(gè)關(guān)鍵領(lǐng)域,其通過預(yù)測下一個(gè)可能的活動(dòng)、持續(xù)時(shí)間和剩余完成時(shí)間[2-3]等任務(wù)來進(jìn)行更有效的資源管理和提高運(yùn)營效率。傳統(tǒng)的預(yù)測研究主要基于業(yè)務(wù)流程模型,如流程樹[4]、隨機(jī)Petri網(wǎng)絡(luò)[5]、變遷系統(tǒng)[6]等,而近年眾多學(xué)者開始關(guān)注機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)在業(yè)務(wù)流程中的應(yīng)用,如下一活動(dòng)預(yù)測任務(wù)[7-8]。研究表明,在下一活動(dòng)預(yù)測任務(wù)中,機(jī)器學(xué)習(xí)[9]和深度學(xué)習(xí)方法的預(yù)測效果在大多數(shù)情況下優(yōu)于基于業(yè)務(wù)流程模型的方法。雖然如此,下一活動(dòng)預(yù)測的效果還有待進(jìn)一步提升[10]。

下一活動(dòng)預(yù)測任務(wù)主要通過提取歷史流程實(shí)例的前綴序列來構(gòu)建數(shù)據(jù),因此數(shù)據(jù)由不同長度的實(shí)例前綴構(gòu)成。不同長度的流程實(shí)例之間存在一定差異[11],例如對于一個(gè)剛開始執(zhí)行不久的流程實(shí)例和一個(gè)即將執(zhí)行結(jié)束的流程實(shí)例,兩者包含的上下文信息會有差異,而上下文信息可能會影響流程實(shí)例運(yùn)行的方向[12]。因此,需要改進(jìn)基于深度學(xué)習(xí)預(yù)測的方法,以更好地獲取事件序列內(nèi)部的關(guān)系。目前,基于深度學(xué)習(xí)的下一活動(dòng)預(yù)測還需要解決一些問題,例如長—短期記憶[13](Long-Short Term Memory, LSTM)缺乏長距離和短距離依賴的顯式建模,基于LSTM預(yù)測方法的性能會隨事件序列的長度成比例下降[14];卷積神經(jīng)網(wǎng)絡(luò)[15](Convolutional Neural Networks, CNN)將事件的時(shí)間屬性和活動(dòng)屬性轉(zhuǎn)換為空間圖像結(jié)構(gòu),然而所構(gòu)建的圖像具有信息稀疏性(缺失的信息采用補(bǔ)0的方式),且不能充分利用上下文信息。

針對上述問題,本文提出一種基于XLNet的業(yè)務(wù)流程下一活動(dòng)預(yù)測方法。XLNet[16]是谷歌大腦提出的一種新的預(yù)訓(xùn)練模型,即語義理解的廣義自回歸預(yù)訓(xùn)練,該模型的核心思想是以排列組合的方式重構(gòu)輸入序列,同時(shí)兼顧原始的自回歸(Auto Regression,AR)[17]和自編碼(Auto Encoder,AE)[18]語言模型的優(yōu)點(diǎn)(在模型輸入階段采用AR從左至右的形式輸入數(shù)據(jù),在模型中采用注意力掩碼方法實(shí)現(xiàn)AE)實(shí)現(xiàn)了雙向預(yù)測。雖然目前已有許多新的基于XLNet的工作,例如文獻(xiàn)[19]提出基于XLNet的情感分析模型,但是基于XLNet的方法尚未應(yīng)用于業(yè)務(wù)流程管理領(lǐng)域。本文方法以XLNet預(yù)訓(xùn)練模型為前提,構(gòu)建了一個(gè)用于在業(yè)務(wù)流程中預(yù)測下一活動(dòng)的網(wǎng)絡(luò)框架,該框架具備長程記憶和充分利用事件序列的上下文信息的優(yōu)點(diǎn),提高了預(yù)測的準(zhǔn)確率。最后,通過在4個(gè)真實(shí)事件日志上測試所設(shè)計(jì)框架的業(yè)務(wù)流程預(yù)測準(zhǔn)確率,證明所提體系結(jié)構(gòu)在預(yù)測下一個(gè)活動(dòng)的任務(wù)方面優(yōu)于現(xiàn)有方法。

1 相關(guān)工作

PBPM是流程挖掘中一個(gè)有前途的領(lǐng)域,具有廣泛的商業(yè)應(yīng)用。最初的研究重點(diǎn)是從持續(xù)時(shí)間和成功完成的角度檢查業(yè)務(wù)過程的結(jié)果,典型模型有滑動(dòng)窗口[20]、集成學(xué)習(xí)[21]等。另外,經(jīng)典的機(jī)器學(xué)習(xí)方法,如隨機(jī)森林和支持向量機(jī),也被證明適用于事件序列的預(yù)測任務(wù)[22]。

隨著深度學(xué)習(xí)的發(fā)展,數(shù)據(jù)驅(qū)動(dòng)方法的應(yīng)用逐漸廣泛。早期,EVERMANN等[23]探索了深層序列建模的成功應(yīng)用,將深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)引入業(yè)務(wù)流程預(yù)測,采用淺層LSTM模型和嵌入技術(shù)處理分類變量預(yù)測下一個(gè)活動(dòng);TAX等[7]采用一種具有一個(gè)熱向量編碼的類似LSTM模型架構(gòu)預(yù)測下一活動(dòng)等任務(wù),效果均優(yōu)于帶注釋的變遷系統(tǒng)和兩層LSTM單一預(yù)測任務(wù);CAMARGO等[24]利用LSTM組合支持分類和數(shù)字特征,解決了相同的過程監(jiān)控問題。然而,LSTM模型建模的序列長度有限且計(jì)算費(fèi)時(shí),其預(yù)測效果有待進(jìn)一步提升。

LSTM因其建模的特點(diǎn)而被廣泛應(yīng)用于序列預(yù)測任務(wù),在很少的研究中也探討了深層神經(jīng)網(wǎng)絡(luò)和分析技術(shù)的其他架構(gòu)變體。KHAN等[25]引入基于記憶增強(qiáng)型的神經(jīng)網(wǎng)絡(luò)作為解決復(fù)雜流程過程的推薦工具;PASQUADIBISCEGLIE等[15]提出基于CNN的預(yù)測方法,利用事件序列的活動(dòng)屬性和對應(yīng)的時(shí)間信息構(gòu)建一個(gè)二維圖像,將圖像輸入CNN網(wǎng)絡(luò),最終輸出活動(dòng)標(biāo)簽的預(yù)測值,從而完成下一活動(dòng)的預(yù)測任務(wù),與LSTM相比,CNN提升訓(xùn)練速度的同時(shí),在一定程度上提高了準(zhǔn)確率;MAURO等[26]將CNN的初始架構(gòu)改編為序列數(shù)據(jù),以解決下一個(gè)活動(dòng)預(yù)測問題;PAUWELS等[14]提出一種貝葉斯技術(shù)來預(yù)測下一個(gè)事件;BOHMER等[27]提出將局部和全局技術(shù)相結(jié)合,使用序列預(yù)測規(guī)則預(yù)測下一個(gè)事件;WEINZIERL等[10]介紹了更多有關(guān)PBPM的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)工作,并對這些架構(gòu)的下一個(gè)活動(dòng)預(yù)測效果進(jìn)行比較。

本文方法引入具有長程記憶、融合雙向信息預(yù)測等特點(diǎn)的XLNet模型,克服以往方法中無法捕獲輸入序列的長距離依賴、只能利用上文信息預(yù)測下文信息的缺點(diǎn),提高了預(yù)測準(zhǔn)確率。

2 業(yè)務(wù)流程下一活動(dòng)預(yù)測的基本概念

(1)活動(dòng)域 活動(dòng)即業(yè)務(wù)流程中事件發(fā)生的操作,活動(dòng)域A是n個(gè)不同活動(dòng)的集合,活動(dòng)域中的活動(dòng)都有可能出現(xiàn)在事件中。

(2)事件 事件εi是業(yè)務(wù)流程的主體,其屬性包括A中的活動(dòng)ai和活動(dòng)發(fā)生的時(shí)間戳ti等。

(3)軌跡 軌跡σ={ε1,ε2,…,εl}(ti≤tj,1≤i≤j≤l)是由l個(gè)按照時(shí)間先后順序發(fā)生的不同事件的有限序列,是業(yè)務(wù)流程實(shí)例的執(zhí)行流程。

(4)事件日志 事件日志L由一系列軌跡組成,表示為L={σ1,σ2,…,σ|L|}。

(5)軌跡前綴 軌跡前綴是從軌跡的開頭開始的軌跡子序列,用σk表示軌跡σ中的前k個(gè)事件,即σ={ε1,ε2,…,εk}(1≤k≤|σ|)。

3 業(yè)務(wù)流程下一活動(dòng)預(yù)測方法

圖1所示為業(yè)務(wù)流程下一活動(dòng)預(yù)測的整體框架。首先,將事件日志進(jìn)行預(yù)處理,提取每個(gè)軌跡的軌跡前綴,形成一系列長度相同的活動(dòng)序列和對應(yīng)的標(biāo)簽;然后,將活動(dòng)序列輸入XLNet,XLNet模型有12層的base版和24層的mid版,本文使用base版,活動(dòng)序列在XLNet內(nèi)部經(jīng)歷輸入、Embedding、位置編碼、Transformer-XL[15]模塊等過程后形成一組特征向量;最后,將XLNet輸出的特征向量輸入設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò),對特征向量進(jìn)行處理并輸出預(yù)測結(jié)果。

3.1 事件日志預(yù)處理

表1所示為一個(gè)描述事件日志片段的示例。活動(dòng)域包括6個(gè)不同的活動(dòng),即Register request,Examine thoroughly,Check ticket,Decide,Reject request,Examine causally,每個(gè)事件均鏈接到特定的軌跡,對應(yīng)活動(dòng)域的活動(dòng)及其相應(yīng)的時(shí)間戳。

表1 示例事件日志片段

以表1的事件日志為例,事件日志預(yù)處理步驟如下:

(1)根據(jù)活動(dòng)數(shù)量對活動(dòng)(原先為英文字符)進(jìn)行編碼,例如表1的活動(dòng)域中有6個(gè)活動(dòng),對應(yīng)活動(dòng)的編碼分別為1,2,3,4,5,6。對于不同長度的前綴序列,采用補(bǔ)0的方式使序列長度相同,均為最大軌跡長度,這里假設(shè)最大軌跡長度為軌跡1的長度7。

(2)根據(jù)每個(gè)軌跡生成前綴序列。如表1所示,軌跡1生成的前綴序列為[0,0,0,0,0,0,1],[0,0,0,0,0,2,1],[0,0,0,0,3,2,1],[0,0,0,2,3,2,1],[0,0,3,2,3,2,1],[0,4,3,2,3,2,1],其對應(yīng)的預(yù)測標(biāo)簽分別為活動(dòng)2,3,2,3,4,5,可見在創(chuàng)建數(shù)據(jù)時(shí),刪除了同一軌跡的最長序列[5,4,3,2,3,2,1],因?yàn)樗鼪]有下一活動(dòng)作為標(biāo)簽。除此之外,僅具有單個(gè)事件大小的軌跡3也被刪除。對每個(gè)軌跡采用以上方法,從而獲得數(shù)據(jù)集和對應(yīng)的標(biāo)簽。

(3)將活動(dòng)序列進(jìn)行Embedding編碼操作,生成每個(gè)活動(dòng)對應(yīng)的多維向量表示,然后進(jìn)一步輸入XLNet預(yù)訓(xùn)練模型。注意,在XLNet內(nèi)部中前期已經(jīng)包含了對序列的Embedding編碼操作。

(4)對標(biāo)簽進(jìn)行one-hot編碼。其中標(biāo)簽是離散的活動(dòng)值,為了更分明地表示標(biāo)簽特征,使特征之間的距離計(jì)算更加合理,采用one-hot編碼機(jī)制對標(biāo)簽進(jìn)行編碼,例如將標(biāo)簽1編碼為[1,0,0,0,0,0],將標(biāo)簽3編碼為[0,0,1,0,0,0],以此類推。

3.2 XLNet模型

3.2.1 自回歸語言模型

在XLNet中采用的AR模型具有計(jì)算效率高、建模概率密度明確的優(yōu)點(diǎn),常用的AR模型包括LSTM和RNN等。假設(shè)給定長度為T的活動(dòng)序列a={a1,a2,…,aT},AR模型的目標(biāo)函數(shù)表示為

(1)

式中at為假設(shè)需要預(yù)測的活動(dòng)類別,a

3.2.2 隨機(jī)排列語言模型

XLNet采用隨機(jī)PLM,PLM由兩個(gè)步驟組成:

(1)全排列采樣

例如,按時(shí)間排序的活動(dòng)序列1→2→3→4,經(jīng)過PLM全排列得到1→2→4→3,4→3→2→1等順序。如果預(yù)測目標(biāo)是活動(dòng)2,則對于1→2→4→3,活動(dòng)2排在第2位,則利用活動(dòng)1的信息進(jìn)行預(yù)測;對于4→3→2→1,可利用活動(dòng)4和活動(dòng)3的信息來預(yù)測活動(dòng)2。由此可見,PLM能夠在預(yù)測過程中獲取上下文信息。

如果序列中位于首位的活動(dòng)是預(yù)測目標(biāo),則該序列對模型的訓(xùn)練無益,需要?jiǎng)h除該序列。XLNet用式(2)對全排列之后的序列數(shù)據(jù)進(jìn)行優(yōu)化,去除不合適的序列。

(2)

式中:z為從ZT采樣的序列;ZT為長度為T的序列全排列集合;azt為序列z中t時(shí)刻(位置)的活動(dòng)值;Ez～ZT表示對采樣結(jié)果求期望以減小其復(fù)雜度。

(2)注意力掩碼

注意力掩碼(attention mask)即用矩陣遮掩輸入序列的某一部分,不讓其在預(yù)測過程中發(fā)揮作用,然而從模型外部看,序列順序與輸入時(shí)保持一致。圖2所示為XLNet掩蔽機(jī)制實(shí)現(xiàn)方式的示例,圖中假設(shè)原始輸入的活動(dòng)序列為[1,2,3,4],隨機(jī)生成的活動(dòng)序列為[3,2,4,1],從外部看,輸入XLNet的活動(dòng)序列仍然為[1,2,3,4],則掩碼矩陣的原理為:在掩碼矩陣中,黑色表示不遮掩(預(yù)測時(shí)能參考的信息),白色表示遮掩,當(dāng)預(yù)測活動(dòng)3時(shí),因?yàn)槠湓谑孜粺o參考信息,所以掩碼矩陣第3行無陰影,然后根據(jù)活動(dòng)3的內(nèi)容預(yù)測活動(dòng)2,則掩碼矩陣第2行的位置活動(dòng)3有陰影,以此類推。

3.2.3 雙流自注意力機(jī)制

XLNet的全排列打亂了原來輸入的活動(dòng)序列順序,因此位置信息在預(yù)測時(shí)非常重要。XLNet采用雙流自注意力機(jī)制添加位置信息,雙流自注意力機(jī)制分為Query Stream和Content Stream:

(1)Query Stream 每個(gè)預(yù)測目標(biāo)活動(dòng)對應(yīng)的序列只包含了該目標(biāo)的位置信息,注意這里的位置信息是目標(biāo)在原始活動(dòng)序列中的位置信息,不是重新排列的位置信息。

(2)Content Stream 每個(gè)預(yù)測目標(biāo)活動(dòng)對應(yīng)的Content Stream包含了該目標(biāo)的內(nèi)容信息。

3.2.4 Transformer-XL

Transformer-XL在繼承原先Transformer[28]的基礎(chǔ)上引入循環(huán)機(jī)制和相對位置編碼的概念,使當(dāng)前segment在建模時(shí)能夠利用Transformer-XL論文中的segment信息實(shí)現(xiàn)長期依賴性,克服了原先長期依賴性能差、絕對位置編碼無法表征序列中活動(dòng)信息多義性的缺點(diǎn)。圖5所示為兩個(gè)序列之間引入循環(huán)機(jī)制的信息傳遞示例圖,其中一個(gè)圈表示活動(dòng)序列中每個(gè)活動(dòng)對應(yīng)的信息向量,灰線表示前一段序列保留的記憶?？梢娫赬LNet模型中,可以利用前一活動(dòng)序列[a2,a3,a4]保留的信息來實(shí)現(xiàn)活動(dòng)信息傳遞的長期性。

絕對位置編碼只考慮序列的絕對位置信息,不考慮相對位置信息,當(dāng)兩個(gè)活動(dòng)序列中存在共同的活動(dòng)信息時(shí),該活動(dòng)序列表示的信息可能相同,從而導(dǎo)致所構(gòu)建的序列信息不夠豐富。絕對位置編碼公式為

(3)

式中:Exi,Exj分別表示活動(dòng)i,j的內(nèi)容向量;Ui,Uj分別表示活動(dòng)i,j的位置向量,且Ui=Uj;W為權(quán)重矩陣?？梢?在不同活動(dòng)序列中,位置相同的同一個(gè)活動(dòng)的位置編碼均相同,模型無法獲取相對位置的信息。引入相對編碼機(jī)制后,式(3)變?yōu)?/p>

(4)

由此可見,引入相對位置編碼使模型在學(xué)習(xí)過程中能夠持續(xù)考慮位置關(guān)系的影響,能夠捕捉不同輸入序列包含的不同位置信息,從而獲得更加準(zhǔn)確的序列向量表示。

3.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

將XLNet模型輸出的特征向量輸入設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),以得到下一活動(dòng)的預(yù)測結(jié)果。圖6所示為自行設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu),其中:Conv1D層為一維卷積層,用來提取序列特征;Relu層為激活函數(shù),其將非線性特性引入模型,使學(xué)習(xí)的參數(shù)具有意義;Global Pooling層用于降低全連接層的參數(shù)數(shù)目,防止過擬合;Dropout層用于提高網(wǎng)絡(luò)的泛化能力,以降低過擬合;Dense層即全連接層,用于增加網(wǎng)絡(luò)參數(shù),提高網(wǎng)絡(luò)的穩(wěn)健性能,并最終輸出預(yù)測維度。在Dropout層之間的兩個(gè)全連接層Dense_1和Dense_2中,用直線修正單元函數(shù)作為激活函數(shù),而在輸出的全連接層Dense_3中,用多分類的歸一化指數(shù)函數(shù)作為激活函數(shù),來輸出分類結(jié)果。另外,本文用分類交叉熵?fù)p失函數(shù)(categorical cross-entropy loss)作為損失函數(shù),以調(diào)整訓(xùn)練過程中的權(quán)重參數(shù)。不同事件日志數(shù)據(jù)集會根據(jù)長度和活動(dòng)種類的關(guān)系選擇合適的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練,例如:

(1)對于最長軌跡長度較長(大于100)的事件日志,參數(shù)設(shè)置如下:

1)Conv1D_1 卷積核個(gè)數(shù)為64,卷積核大小為2。

2)Conv1D_2 卷積核個(gè)數(shù)為128,卷積核大小為1。

3)Dense_1 輸出維度為128。

4)Dense_2 輸出維度為64。

(2)對于活動(dòng)種類較多,而最長軌跡長度較短的事件日志,參數(shù)設(shè)置如下:

1)Conv1D_1 卷積核個(gè)數(shù)為32,卷積核大小為2。

2)Conv1D_2 卷積核個(gè)數(shù)為64,卷積核大小為1。

3)Dense_1 輸出維度為128。

4)Dense_2 輸出維度為64。

Dropout的概率為0.1,Dense_3的輸出維度為預(yù)測的活動(dòng)種類?？梢?對于活動(dòng)種類較多且最長軌跡長度較短的事件日志,可減少卷積核的個(gè)數(shù),這是為了降低計(jì)算量,同時(shí)防止因過度提取特征而丟失一些重要特征。值得一提的是,以上網(wǎng)絡(luò)參數(shù)可根據(jù)不同數(shù)據(jù)集靈活調(diào)整,以達(dá)到更好的預(yù)測準(zhǔn)確率。

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)使用BPIC_2012_W[28],BPIC_2012_CW[28],BPIC_2013[29],Helpdesk[30]4個(gè)公開事件日志數(shù)據(jù)集,它們均可在4TU Center for Research Data(https://data.4tu.nl/categories/)下載。這4個(gè)數(shù)據(jù)集來自不同領(lǐng)域,關(guān)于數(shù)據(jù)集的軌跡數(shù)量、活動(dòng)數(shù)量等關(guān)鍵信息如表2所示。

4.2 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)在Windows10系統(tǒng)中用代碼編輯器Pycharm編寫代碼,使用的語言為Python 3.6,用Tensorflow中的Keras深度學(xué)習(xí)庫搭建網(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行訓(xùn)練測試。本實(shí)驗(yàn)采用第3章的方法從事件日志的數(shù)據(jù)集中提取可用于訓(xùn)練和測試的數(shù)據(jù),并將整個(gè)數(shù)據(jù)集按照比例拆分為訓(xùn)練集(60%)、驗(yàn)證集(20%)、測試集(20%),加入驗(yàn)證集的目的是提高模型的魯棒性。應(yīng)該注意的是,驗(yàn)證集是在每次訓(xùn)練迭代結(jié)束后用于測試當(dāng)前訓(xùn)練模型的指標(biāo),如損失和準(zhǔn)確率。在網(wǎng)絡(luò)訓(xùn)練過程中,學(xué)習(xí)率為0.001,迭代次數(shù)可設(shè)置為100,XLNet的記憶長度設(shè)置為最長軌跡長度,XLNet的batch_size根據(jù)最長軌跡長度而定。在實(shí)驗(yàn)中,如果數(shù)據(jù)集的最長軌跡長度超過100(如BPIC_2013),則XLNet的batch_size為128,否則為256。

4.3 評價(jià)指標(biāo)

本實(shí)驗(yàn)將準(zhǔn)確率作為評價(jià)指標(biāo)。準(zhǔn)確率表示所有分類中被正確分類的樣本比例,例如對于一個(gè)分類模型,樣本包括m1個(gè)A類和n1個(gè)B類,模型正確識別了A類中的m2個(gè)樣本,B類中的n2個(gè)樣本,則準(zhǔn)確率可表示為

acc=(m2+n2)/(m1+n1)。

(5)

在工程代碼上,使用深度學(xué)習(xí)框架Keras的內(nèi)置評價(jià)函數(shù)evaluate計(jì)算準(zhǔn)確率。

4.4 對比實(shí)驗(yàn)

實(shí)驗(yàn)將本文方法與經(jīng)典的基于深度學(xué)習(xí)的方法進(jìn)行對比,所選的基準(zhǔn)如下:

(1)TAX等[7]提出的基于LSTM深度神經(jīng)網(wǎng)絡(luò)的方法。

(2)CAMARGO等[24]利用LSTM的組合進(jìn)行分類的方法。

(3)EVERMANN等[23]使用淺層LSTM模型和處理分類變量的嵌入技術(shù)預(yù)測下一次事件的方法。

(4)MAURO等[26]將CNN的初始架構(gòu)改編為序列數(shù)據(jù)的方法。

本文方法與基準(zhǔn)方法在各個(gè)數(shù)據(jù)集上的準(zhǔn)確率[31]如表3所示,可見本文方法的平均準(zhǔn)確率優(yōu)于其他方法。值得注意的是,雖然本文刪除了最長的軌跡和僅具有單個(gè)事件大小的軌跡,但是具有更好的泛化性和準(zhǔn)確性,即使數(shù)據(jù)只有一個(gè)事件前綴、包含重復(fù)活動(dòng)或者有過長的軌跡長度,該模型均能得到很好的學(xué)習(xí)效果。通過統(tǒng)計(jì)BPIC13數(shù)據(jù)集的軌跡長度發(fā)現(xiàn),與其他數(shù)據(jù)集相比,軌跡長度相對較長(至少為該數(shù)據(jù)集中最大軌跡長度的1/5)的軌跡數(shù)量占比很少。在實(shí)驗(yàn)中,XLNet的記憶長度參數(shù)設(shè)置為最長軌跡長度,以使模型對長序列的信息捕捉能力更好,然而對于短序列較多的數(shù)據(jù),可能導(dǎo)致精度降低。

表3 基準(zhǔn)方法效果對比

由于數(shù)據(jù)預(yù)處理和用于學(xué)習(xí)的額外輸入特征不同,直接與文獻(xiàn)中的方法進(jìn)行比較不公平。例如,文獻(xiàn)[26]利用額外的事件屬性,屬性包括事件標(biāo)簽預(yù)測的時(shí)間戳等;類似地,文獻(xiàn)[7]在Helpdesk和BPI2012數(shù)據(jù)集上進(jìn)行了過多的預(yù)處理,包括根據(jù)事件的數(shù)量和持續(xù)時(shí)間消除軌跡,進(jìn)而在一個(gè)理想的數(shù)據(jù)集上得到一個(gè)預(yù)測模型,不能反映現(xiàn)實(shí)生活中的復(fù)雜事件日志。然而,本文的技術(shù)是靈活的,通過改變XLNet的模型配置或者神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)可以進(jìn)一步提高準(zhǔn)確率。

5 結(jié)束語

本文基于深度學(xué)習(xí)技術(shù)開展業(yè)務(wù)流程實(shí)例下一活動(dòng)預(yù)測研究,提出一種基于XLNet的業(yè)務(wù)流程下一活動(dòng)預(yù)測方法。相比流行的深度學(xué)習(xí)方法,該方法利用XLNet作為預(yù)訓(xùn)練模型,將其輸出的特征輸入自行設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu),經(jīng)過訓(xùn)練得到下一活動(dòng)的預(yù)測模型。該方法具有充分利用上下文信息的優(yōu)點(diǎn),并能更好地捕捉序列之間信息的長期關(guān)系。最后在4個(gè)真實(shí)的事件日志數(shù)據(jù)上開展實(shí)驗(yàn)研究,證明本文方法能夠較大提升預(yù)測準(zhǔn)確率,而且平均準(zhǔn)確率優(yōu)于現(xiàn)有的一些下一活動(dòng)預(yù)測的基線方法。作為一種深度學(xué)習(xí)方法,本文方法的預(yù)測效果雖然較好,但是可解釋性較差,因此提升可解釋性是后續(xù)工作的重要內(nèi)容。除此之外,后續(xù)也將繼續(xù)研究本文方法在其他業(yè)務(wù)流程任務(wù)的應(yīng)用,如剩余時(shí)間預(yù)測等任務(wù)。