基于動態(tài)業(yè)務(wù)流程的學(xué)科競賽創(chuàng)新評價(jià)體系設(shè)計(jì)

石 雷，徐 娟，畢 翔

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

0 引 言

在“大眾創(chuàng)業(yè)，萬眾創(chuàng)新”的背景下，以學(xué)科競賽驅(qū)動的人才培養(yǎng)方式正不斷受到高校師生的重視[1-2]。2018年2月，中國高等教育學(xué)會發(fā)布《2013—2017年中國高校創(chuàng)新人才培養(yǎng)暨學(xué)科競賽評估結(jié)果》，以“互聯(lián)網(wǎng)+”“挑戰(zhàn)杯”“ACMICPC大學(xué)生程序設(shè)計(jì)競賽”等19項(xiàng)賽事為主要依據(jù)，從4個(gè)維度進(jìn)行綜合評價(jià)，最終給出中國高校的學(xué)科競賽排名榜單[3]。在這些工作的驅(qū)動下，全國高校對于競賽的重視也達(dá)到空前高度，各類校級、省級和國家級的各種專業(yè)、行業(yè)和綜合性的競賽如雨后春筍般生根、發(fā)芽。

1 安徽省計(jì)算機(jī)類競賽存在的問題

安徽省計(jì)算機(jī)類競賽基本是由安徽省教育廳主辦、安徽省計(jì)算機(jī)教育研究會承辦的。目前，安徽省高等學(xué)校計(jì)算機(jī)教育研究會承辦的計(jì)算機(jī)類省級賽事共有7項(xiàng)，分別是安徽省大學(xué)生程序設(shè)計(jì)大賽、安徽省機(jī)器人大賽、安徽省大學(xué)生數(shù)字媒體創(chuàng)新設(shè)計(jì)賽、安徽省大學(xué)生信息安全作品賽、安徽省大學(xué)生網(wǎng)絡(luò)攻防賽、安徽省大學(xué)生單片機(jī)與嵌入式系統(tǒng)應(yīng)用技能競賽以及安徽省大數(shù)據(jù)技術(shù)與應(yīng)用賽。

在這些競賽如火如荼開展的同時(shí)，保證競賽結(jié)果的公平公正是一個(gè)困難的議題，這里說的困難是指由于競賽本身具有的競賽形式的不確定性和競賽結(jié)果的主觀性而不可避免地造成公平公正評價(jià)的困難[4]。以數(shù)字媒體創(chuàng)新設(shè)計(jì)賽為例，由于參賽學(xué)校和隊(duì)伍數(shù)量眾多，有可能會需要經(jīng)過校賽、初賽、決賽等幾輪評比，而究竟需要幾輪又是由當(dāng)年參賽隊(duì)伍數(shù)量決定的，這就存在著競賽形式的不確定性；再如，信息安全作品賽要求參賽隊(duì)伍設(shè)計(jì)一個(gè)信息安全相關(guān)的作品并進(jìn)行現(xiàn)場答辯，專家評委根據(jù)現(xiàn)場答辯情況進(jìn)行打分，這就存在著專家評委對隊(duì)伍評價(jià)的主觀性。

以上問題并不完全是新問題，如對于競賽過程的幾輪評比方面，國內(nèi)一些大型競賽（如“挑戰(zhàn)杯”全國大學(xué)生創(chuàng)業(yè)計(jì)劃競賽）都有較好的路程管理方法可借鑒[5-6]；在競賽結(jié)果的主觀性評價(jià)方面，可通過經(jīng)典的層次分析法等數(shù)學(xué)手段進(jìn)行處理[7-8]。然而，以上經(jīng)典解決方案并不能直接使用于安徽省計(jì)算機(jī)類競賽，主要有兩個(gè)原因。①安徽省計(jì)算機(jī)類競賽種類較多，每種比賽的路程不盡相同，即便是同一類競賽，受每年場地、規(guī)模、時(shí)間等各方面因素的影響，其競賽形式也會有所變公，而傳統(tǒng)的競賽路程管理方法往往變通困難，無法適用于這種具有多樣性和經(jīng)常變公的競賽形式；②安徽省計(jì)算機(jī)類競賽的評價(jià)方式各不相同，特別是通過專家評委打分決定最終成績的競賽，可能會有網(wǎng)評、現(xiàn)場答辯等不同階段，造成最終成績的計(jì)算和匯總工作量大，再垢慮到不同專家打分尺度的不一致性，還需要設(shè)計(jì)消減這種不一致性的手段，而傳統(tǒng)的主觀評價(jià)手段往往更關(guān)注于評分項(xiàng)目的有效設(shè)定上，對于這種不一致性的消減以及這種大工作量下的成績計(jì)算和匯總并不能很好地解決。

2 動態(tài)業(yè)務(wù)流程的體系構(gòu)建

目前，安徽省高等學(xué)校計(jì)算機(jī)教育研究會承辦的7類計(jì)算機(jī)類競賽中，不同競賽的路程雖然各不相同，但總體上來說，都包括報(bào)名、審核、線上評審、現(xiàn)場決賽等步驟。表1給出料安徽省高等學(xué)校計(jì)算機(jī)教育研究會承辦的相關(guān)競賽路程安排情況。其中，“√”表示該路程必須有，“○”表示該路程可根據(jù)情況選擇是否采用，“◎”表示該路程可根據(jù)情況采用一至多次。以最復(fù)雜的多媒體類競賽為例，其操作路程變換情況如圖1所示。

由圖1可知，整個(gè)競賽從報(bào)名到公布結(jié)果，每一步路程都有許多需要垢慮的因素。報(bào)名時(shí)，需要設(shè)計(jì)簡單易用的方式讓系統(tǒng)在用戶報(bào)名的同時(shí)生成參賽教練及隊(duì)員的賬號；網(wǎng)評專家分配時(shí)，需垢慮雙盲評審、同單位回避、工作量平均等因素。同時(shí)，隨著競賽工作的不斷深入和延續(xù)，可以預(yù)見未來也會有新的競賽類型的加入?；诖?，設(shè)計(jì)基于動態(tài)業(yè)務(wù)路程的系統(tǒng)數(shù)據(jù)庫實(shí)體關(guān)系圖，如圖2所示。

圖1 多媒體類競賽流程示意圖

圖2 基于動態(tài)業(yè)務(wù)流程的系統(tǒng)數(shù)據(jù)庫實(shí)體關(guān)系圖

圖2中，通過將競賽類型基本信息以樹形結(jié)構(gòu)的形式存放在“競賽類型表”中，保證未來新競賽類型的順利加入；通過將競賽路程類型以數(shù)據(jù)字典的形式存放在“競賽路程建議表”中，保證競賽路程的動態(tài)變公；并通過對評分項(xiàng)目的動態(tài)設(shè)定（評分項(xiàng)目分項(xiàng)表）、權(quán)限角色的設(shè)定（權(quán)限關(guān)系表、角色設(shè)置表等）以及專家評審信息的動態(tài)分配（專家評選作品分配表、現(xiàn)場分組信息表等）等手段最終保證動態(tài)業(yè)務(wù)路程體系的順利構(gòu)建。

3 創(chuàng)新評價(jià)算法設(shè)計(jì)

競賽中網(wǎng)評和現(xiàn)場成績采用專家根據(jù)評分項(xiàng)目打分的形式，不可避免會有主觀因素，因此，設(shè)計(jì)創(chuàng)新評價(jià)算法盡可能修正這種主觀因素造成的不公平，以網(wǎng)評的算法為例，具體設(shè)計(jì)如下。

傳統(tǒng)方式下，會將專家對某一作品的所有打分取平均，作為該作品的最終得分。定義為傳統(tǒng)方式下第個(gè)作品的最終得分，則有

不難發(fā)現(xiàn)，傳統(tǒng)方式下專家的主觀因素容易造成結(jié)果的不公平，如有的專家喜歡打高分，打的分?jǐn)?shù)都在80分以上，并且有很多90分以上的；而有的專家喜歡打低分，打的分?jǐn)?shù)普遍在70～80分。由于一般網(wǎng)評時(shí)每個(gè)作品分配的專家數(shù)量不會很多（通常d≤4），因此容易造成某個(gè)作品分配的專家都喜歡打高分，或者都喜歡打低分，使得該作品的最終得分偏高或偏低，進(jìn)而導(dǎo)致隊(duì)伍之間得分的不公平性。為此，設(shè)計(jì)修正的創(chuàng)新評價(jià)算法如下。

注意到采用式（3）右邊第一項(xiàng)計(jì)算時(shí)，有可能會算出某些得分超過100分，因此對設(shè)置最大值100，以保證分?jǐn)?shù)的合理性。經(jīng)過如此調(diào)整，即可有效消除由于專家打分偏好而造成的不公平性，從而最終實(shí)現(xiàn)創(chuàng)新評價(jià)算法的設(shè)計(jì)。

4 結(jié) 語

基于動態(tài)業(yè)務(wù)路程的學(xué)科競賽創(chuàng)新評價(jià)體系的大學(xué)生競賽管理系統(tǒng)在安徽省計(jì)算機(jī)類學(xué)科競賽中得到料很好的應(yīng)用，能有效提高競賽管理質(zhì)量，提升競賽工作效果，保證競賽工作的公平公正性。目前，系統(tǒng)還在不斷使用和改進(jìn)中，下一步計(jì)劃吸取更多先進(jìn)的競賽管理和評價(jià)理念、手段，融入基于動態(tài)業(yè)務(wù)路程的學(xué)科競賽創(chuàng)新評價(jià)體系中，并在軟件平臺里予以體現(xiàn)，以期取得更好的效果。