基于操作日志的流程知識仿真考評方案研究

薛婷玉+呂政權(quán)+張潔萍+許燕

摘 ?要： 隨著各應(yīng)用系統(tǒng)的復(fù)雜化，企業(yè)需要針對使用系統(tǒng)的員工進行培訓(xùn)考核。為降低培訓(xùn)考核的成本，提高各業(yè)務(wù)培訓(xùn)的效率，提出了一種面向流程型業(yè)務(wù)知識即流程知識的實訓(xùn)仿真系統(tǒng)以及流程知識實訓(xùn)考核的自動測評框架與流程，在系統(tǒng)操作日志的基礎(chǔ)上將員工的操作結(jié)果和操作序列綜合考慮作為評分依據(jù)并給出客觀的評價。實現(xiàn)了評分結(jié)果的相對客觀、公正，大大提高了企業(yè)員工在實際操作中培訓(xùn)考核的工作效率。

關(guān)鍵詞： 業(yè)務(wù)流程; 仿真培訓(xùn); 流程知識; 自動測評

中圖分類號： TN919?34; TP391.9 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2014）24?0018?04

Scheme for simulation evaluation of process knowledge based on operation log

XUE Ting?yu1， L? Zheng?quan2， ZHANG Jie?ping1， XU Yan2

（1. Glorious Sun School of Business and Management， Donghua University， Shanghai 200051， China;

2. Shanghai Municipal Electric Power Company， Shanghai 200438， China）

Abstract： As the complexity of the application systems， companies need to train and assess their staff who use the systems. To reduce the cost of training and examination， and improve the efficiency of business training， a process?oriented professional knowledge training simulation system and automatic exam evaluation frameworks and processes for business training is put forward. With the help of the system operation log and the operation sequence， an objective training evaluation to the staff is made. The simulation evaluation scheme achieved relative objectivity and impartiality， significantly improved the efficiency of practical training and examination of process?oriented knowledge.

Keywords： business process; simulation training; process knowledge; automatic evaluation

0 ?引 ?言

傳統(tǒng)針對應(yīng)用系統(tǒng)培訓(xùn)考核存在諸多的弊端：

（1） 考生進行流程業(yè)務(wù)過程的考試結(jié)果無存儲記錄，不能審核;

（2） 流程業(yè)務(wù)操作的題型不記錄考生的操作步驟和時間，無法考察考生在完成過程性知識點過程中的正確與否;

（3） 考核結(jié)果的批閱方式仍然采取人工進行批閱，費時費力且容易出錯。

針對以上情況，為不斷提高工作效率，提升服務(wù)水平，規(guī)范化、標準化培訓(xùn)考核，本文提出一個仿真培訓(xùn)考核方案，其特點是針對流程業(yè)務(wù)題型能夠?qū)崿F(xiàn)：

（1） 流程業(yè)務(wù)題型題庫的管理;

（2） 題型數(shù)據(jù)的初始化;

（3） 記錄考生在進行系統(tǒng)操作過程中的流程日志;

（4） 記錄考生考試答題的操作時間;

（5） 支持仿真培訓(xùn)功能;

（6） 根據(jù)評分規(guī)則實現(xiàn)考生答案的自動評分，提高批閱效率，尤其是面對大量試卷時做到統(tǒng)一標準，短時間內(nèi)完成批閱。

1 ?國內(nèi)外仿真考評系統(tǒng)研究現(xiàn)狀

國內(nèi)外雖然擁有各種仿真考評系統(tǒng)，但基于流程知識的仿真培訓(xùn)考核操作過程中的自動評分卻很少涉及。計算機自動評分（Computer Automated Scoring，CAS）是指使用計算機程序來模擬人工評分的標準及內(nèi)部過程，對開放式題目和表現(xiàn)性活動進行評分及反饋。最早的CAS系統(tǒng)產(chǎn)生于教育領(lǐng)域，如對學?；蛘吲嘤?xùn)機構(gòu)的認證考試，文獻[1?3]就是針對教學考卷考試知識點的自動評分。隨著理論和技術(shù)的發(fā)展，CAS發(fā)展到多個領(lǐng)域，運用于航海、建筑、技能考核等，但是這些領(lǐng)域往往針對需要員工進行現(xiàn)場實地操作的業(yè)務(wù)，如文獻[4?7]。自動考評在電力行業(yè)的應(yīng)用也較為廣泛，但大部分考評系統(tǒng)只對實務(wù)型業(yè)務(wù)開展。目前，各領(lǐng)域操作的流程越來越重要，對業(yè)務(wù)操作的序列性也越發(fā)的重視。雖然目前有針對流程性業(yè)務(wù)的培訓(xùn)系統(tǒng)，但是流程性業(yè)務(wù)知識培訓(xùn)后的考評卻較少涉及，雖然文獻[8]提到了仿真系統(tǒng)的自動測評技術(shù)，但是卻沒有利用操作過程中系統(tǒng)活動日志為依據(jù)來進行判斷。本文利用系統(tǒng)的操作痕跡即操作日志，根據(jù)仿真系統(tǒng)中存儲的答案為每一類型流程題型設(shè)計一個自動評分規(guī)則，完成業(yè)務(wù)流程操作的仿真培訓(xùn)自動評分。

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計

2.1 ?系統(tǒng)流程設(shè)計

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進了新型復(fù)雜應(yīng)用需要進行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計算機應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時間或邏輯順序在系統(tǒng)中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實現(xiàn)。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續(xù)模塊狀態(tài)，P表示進行該操作需要的參數(shù)即初始化數(shù)據(jù)。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設(shè)定好的每個操作步驟的評分標準實現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規(guī)定答題時間，若超出則根據(jù)評分條件進行相應(yīng)的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標準進行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統(tǒng)中進行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結(jié)果跟考生實際結(jié)果比較得出考生實操的最終分數(shù)。

在實際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業(yè)務(wù)規(guī)定在進行操作花費的時間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時比較實際操作過程與標準過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數(shù)。

因此，雖然考生最終結(jié)果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時結(jié)合實例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點考核的工作效率，同時也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計算機技術(shù)的不斷進步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規(guī)模英語口語機考的復(fù)述題自動評分技術(shù)[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現(xiàn)[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計算機工程與應(yīng)用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實現(xiàn)[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實現(xiàn)[J].系統(tǒng)仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現(xiàn)場評分系統(tǒng)[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計算機與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計

2.1 ?系統(tǒng)流程設(shè)計

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進了新型復(fù)雜應(yīng)用需要進行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計算機應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時間或邏輯順序在系統(tǒng)中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實現(xiàn)。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續(xù)模塊狀態(tài)，P表示進行該操作需要的參數(shù)即初始化數(shù)據(jù)。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設(shè)定好的每個操作步驟的評分標準實現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規(guī)定答題時間，若超出則根據(jù)評分條件進行相應(yīng)的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標準進行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統(tǒng)中進行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結(jié)果跟考生實際結(jié)果比較得出考生實操的最終分數(shù)。

在實際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業(yè)務(wù)規(guī)定在進行操作花費的時間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時比較實際操作過程與標準過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數(shù)。

因此，雖然考生最終結(jié)果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時結(jié)合實例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點考核的工作效率，同時也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計算機技術(shù)的不斷進步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規(guī)模英語口語機考的復(fù)述題自動評分技術(shù)[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現(xiàn)[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計算機工程與應(yīng)用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實現(xiàn)[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實現(xiàn)[J].系統(tǒng)仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現(xiàn)場評分系統(tǒng)[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計算機與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計

2.1 ?系統(tǒng)流程設(shè)計

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進了新型復(fù)雜應(yīng)用需要進行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計算機應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時間或邏輯順序在系統(tǒng)中進行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實現(xiàn)。同時，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時間，S為進行操作后后續(xù)模塊狀態(tài)，P表示進行該操作需要的參數(shù)即初始化數(shù)據(jù)。當對所有的操作都定義成事件的標準形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費的時間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費的時間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進行測評。因此本文提出的實操題型的自動測評模型如圖3所示。

圖3中的推理機利用事先設(shè)定好的每個操作步驟的評分標準實現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時間限制，查看答題時間是否有超出規(guī)定答題時間，若超出則根據(jù)評分條件進行相應(yīng)的減分。具體流程如圖4所示。

圖4 實操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實際操作過程與標準過程的差異來進行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標準進行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實例研究

某電力公司在系統(tǒng)中進行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時間，操作先后順序等信息。當考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標準操作序列進行比對，將期望輸出結(jié)果跟考生實際結(jié)果比較得出考生實操的最終分數(shù)。

在實際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時業(yè)務(wù)規(guī)定在進行操作花費的時間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時比較實際操作過程與標準過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標準答案中，f的下一活動為g，同時遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時間為10 min<15 min，沒有超出該題的時間限制，不需扣除超時分數(shù)。

因此，雖然考生最終結(jié)果跟標準答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進行比對，真正起到考察考生流程知識點掌握情況以及熟練程度，幫助考生針對性的進行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時結(jié)合實例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點考核的工作效率，同時也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計算機技術(shù)的不斷進步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻

[1] 嚴可，胡國平，魏思，等.面向大規(guī)模英語口語機考的復(fù)述題自動評分技術(shù)[J].清華大學學報：自然科學版，2009（z1）：1356?1362.

[2] 李學俊.基于人工智能的主觀題自動評分算法實現(xiàn)[J].江南大學學報：自然科學版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計算機工程與應(yīng)用，2007（20）：177?180.

[4] 項曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實現(xiàn)[J].計算機仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計算機仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實現(xiàn)[J].系統(tǒng)仿真學報，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實驗現(xiàn)場評分系統(tǒng)[J].價值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計算機與現(xiàn)代化，2012（11）：59?61.