大數(shù)據(jù)時(shí)代高職院校援外培訓(xùn)項(xiàng)目評(píng)價(jià)轉(zhuǎn)型現(xiàn)狀分析與實(shí)現(xiàn)路徑

張瓊　丁鐳　鄭竹娟

職業(yè)技術(shù)教育援外項(xiàng)目是我國援外項(xiàng)目的主要形式之一，也是高職院校主要承擔(dān)的項(xiàng)目類型之一。但是大數(shù)據(jù)時(shí)代下的援外培訓(xùn)在培訓(xùn)形式、培訓(xùn)內(nèi)容上有較大變化，尤其疫情以來，職業(yè)技術(shù)援外項(xiàng)目轉(zhuǎn)化為線上培訓(xùn)，項(xiàng)目培訓(xùn)評(píng)價(jià)模式的轉(zhuǎn)型勢(shì)在必行。本文通過分析現(xiàn)有的線上援外培訓(xùn)的評(píng)價(jià)方式的現(xiàn)實(shí)困境，創(chuàng)新設(shè)計(jì)大數(shù)據(jù)賦能的5M（多元化主體評(píng)價(jià)Multi-subjects、多維度評(píng)價(jià)標(biāo)準(zhǔn)Multi-dimensions、多模態(tài)評(píng)價(jià)內(nèi)容Multi-modes、多渠道評(píng)價(jià)方式Multi-channels、多指標(biāo)評(píng)價(jià)模型Multi-indicators）評(píng)價(jià)模型，提出援外項(xiàng)目評(píng)價(jià)轉(zhuǎn)型的實(shí)現(xiàn)路徑。

1 研究背景

高職院校援外培訓(xùn)項(xiàng)目?jī)?nèi)容豐富，涉及汽車與檢測(cè)、機(jī)電維修、港口管理、職業(yè)教育宏觀政策等；覆蓋面廣，主要服務(wù)“一帶一路”沿線及非洲國家；形式多樣，后疫情時(shí)代，援外培訓(xùn)項(xiàng)目由線下轉(zhuǎn)為線上。但目前的援外培訓(xùn)項(xiàng)目研究主要集中在課程設(shè)計(jì)、跨文化適應(yīng)等項(xiàng)目?jī)?nèi)容的研究上。對(duì)援外項(xiàng)目評(píng)價(jià)模式的研究較少，集中在評(píng)價(jià)指標(biāo)構(gòu)建、課堂教學(xué)質(zhì)量評(píng)價(jià)、受訓(xùn)學(xué)員滿意度調(diào)查等。項(xiàng)目評(píng)價(jià)主要采用結(jié)構(gòu)化問卷的方式。針對(duì)項(xiàng)目評(píng)價(jià)的開展主要以外部評(píng)價(jià)為主，僅用“他者”視角將評(píng)價(jià)作為滿意度測(cè)評(píng)工具，忽視了評(píng)價(jià)作為規(guī)劃工具、監(jiān)測(cè)工具的作用，對(duì)項(xiàng)目全程、全面的評(píng)價(jià)并不完善。隨著信息技術(shù)的不斷發(fā)展，援外項(xiàng)目的數(shù)字化轉(zhuǎn)型迎來新的機(jī)遇和挑戰(zhàn)。如王勇等（2019）運(yùn)用數(shù)據(jù)挖掘技術(shù)對(duì)受訓(xùn)學(xué)員的評(píng)價(jià)反饋信息進(jìn)行分析，整合教學(xué)資源，促進(jìn)教學(xué)設(shè)計(jì)供給側(cè)改革。在大數(shù)據(jù)時(shí)代，利用信息技術(shù)，更新數(shù)據(jù)采集、挖掘、關(guān)聯(lián)、分析的技術(shù)，加強(qiáng)學(xué)員跟蹤回訪，轉(zhuǎn)型評(píng)價(jià)模式，能夠更好地改進(jìn)培訓(xùn)內(nèi)容，發(fā)揮項(xiàng)目評(píng)價(jià)對(duì)項(xiàng)目可持續(xù)創(chuàng)新發(fā)展的助推作用。

2 援外項(xiàng)目評(píng)價(jià)的現(xiàn)狀分析

為了進(jìn)一步了解現(xiàn)有援外項(xiàng)目評(píng)價(jià)模式的運(yùn)行情況，筆者通過網(wǎng)站搜索、咨詢調(diào)研等形式，得出以下表格內(nèi)容（見表1）。

2.1 評(píng)價(jià)模式相對(duì)單一，數(shù)據(jù)類型不夠豐富

培訓(xùn)效果評(píng)價(jià)主要有定性評(píng)價(jià)、定量評(píng)價(jià)、分層次評(píng)價(jià)和分階段評(píng)價(jià)等幾種模式。根據(jù)調(diào)研發(fā)現(xiàn)，目前高職院校援外項(xiàng)目評(píng)價(jià)形式主要以問卷形式為主，鮮少對(duì)受訓(xùn)學(xué)員開展一對(duì)一采訪或小組訪談，因此項(xiàng)目評(píng)價(jià)收集到的數(shù)據(jù)主要以量化數(shù)據(jù)為主。受到語言、技術(shù)支持有限等因素的影響，近三年評(píng)價(jià)形式主要以線上問卷為主，采用英語調(diào)研為主，問卷內(nèi)容主要集中在培訓(xùn)內(nèi)容。因此，從培訓(xùn)評(píng)價(jià)的數(shù)據(jù)類型來說，量化數(shù)據(jù)多，質(zhì)性數(shù)據(jù)少；從培訓(xùn)數(shù)據(jù)的語種來看，英文相對(duì)比較集中，而小語種調(diào)研比較匱乏，因此對(duì)援外項(xiàng)目的可持續(xù)發(fā)展模型的構(gòu)建有一定限制，也不利于項(xiàng)目創(chuàng)新性發(fā)展。

2.2 評(píng)價(jià)主體相對(duì)集中，學(xué)員反饋信息為主

援外項(xiàng)目評(píng)價(jià)的主體主要是受訓(xùn)學(xué)員，由于培訓(xùn)項(xiàng)目的評(píng)價(jià)指標(biāo)不夠具體、系統(tǒng)，主要的評(píng)價(jià)指標(biāo)為滿意度調(diào)查。問卷的設(shè)計(jì)主要針對(duì)管理服務(wù)能力、培訓(xùn)內(nèi)容、翻譯服務(wù)、后勤保障等進(jìn)行滿意度評(píng)價(jià)，學(xué)員主觀判斷為主。但援外培訓(xùn)項(xiàng)目評(píng)價(jià)主體應(yīng)包括項(xiàng)目主管部門、參訓(xùn)學(xué)員派出機(jī)構(gòu)、項(xiàng)目承辦單位、學(xué)員及授課教師等一系列相關(guān)人員，因此單純從學(xué)員角度進(jìn)行評(píng)價(jià)不夠全面。評(píng)價(jià)主體的拓展能夠刻畫援外項(xiàng)目從策劃、實(shí)施到收尾工作的全貌。學(xué)員反饋信息能夠?qū)Ω倪M(jìn)培訓(xùn)內(nèi)容、提升培訓(xùn)效率有一定的作用，但對(duì)援外培訓(xùn)項(xiàng)目的整體評(píng)價(jià)、項(xiàng)目的可持續(xù)發(fā)展不能提供足夠的支撐。

2.3 評(píng)價(jià)程序不夠全面，數(shù)據(jù)倫理意識(shí)不強(qiáng)

數(shù)據(jù)收集的倫理程序決定數(shù)據(jù)使用范圍以及項(xiàng)目拓展的領(lǐng)域內(nèi)容，HAKIMI（2021）提出了教育大數(shù)據(jù)的四大主要倫理問題類別：隱私、知情同意和數(shù)據(jù)所有權(quán)；數(shù)據(jù)和算法的有效性和完整性；道德決策和采取行動(dòng)的義務(wù)；以及治理和問責(zé)制。目前，在收集數(shù)據(jù)的過程中，倫理程序的不完整是數(shù)據(jù)使用范圍受限的重要原因之一。我國援外項(xiàng)目的范式在向國外推廣的過程中會(huì)因?yàn)閿?shù)據(jù)倫理而承擔(dān)一定的風(fēng)險(xiǎn)，尤其在大數(shù)據(jù)背景下，數(shù)據(jù)來源的合理、合法是后續(xù)開展研究的重要前提之一。

2.4 過程評(píng)價(jià)不夠系統(tǒng)，培訓(xùn)效果較難體現(xiàn)

援外培訓(xùn)項(xiàng)目考慮到大部分受訓(xùn)學(xué)員為發(fā)展中國家官員，因此，職業(yè)教育培訓(xùn)的評(píng)價(jià)形式大多為終結(jié)性評(píng)價(jià)。比如，電氣自動(dòng)化項(xiàng)目的培訓(xùn)一般以最后的項(xiàng)目作品作為考核內(nèi)容，其實(shí)踐結(jié)果、實(shí)踐能力的提升作為終結(jié)性評(píng)價(jià)成為受訓(xùn)學(xué)員培訓(xùn)效果的主要來源。但項(xiàng)目的評(píng)價(jià)應(yīng)該是全過程、全方位、全員的評(píng)價(jià)，目前的評(píng)價(jià)形式不能夠體現(xiàn)培訓(xùn)的全過程，在一定程度上降低學(xué)員受訓(xùn)情況的及時(shí)反饋和實(shí)時(shí)監(jiān)測(cè)，為形成學(xué)員的個(gè)人成長(zhǎng)檔案、定制國別化特色項(xiàng)目造成了一定的困難。

高職院?，F(xiàn)有的援外培訓(xùn)評(píng)價(jià)模式相對(duì)靜態(tài)，數(shù)據(jù)不夠全面，不能有效跟蹤學(xué)員的學(xué)習(xí)情況，未有效進(jìn)行大數(shù)據(jù)技術(shù)與項(xiàng)目評(píng)價(jià)的融合，對(duì)項(xiàng)目的客制化創(chuàng)新、可持續(xù)發(fā)展的指導(dǎo)意義不強(qiáng)。

3 大數(shù)據(jù)賦能援外5M項(xiàng)目評(píng)價(jià)的創(chuàng)新轉(zhuǎn)型

提升援外培訓(xùn)項(xiàng)目的評(píng)價(jià)模式的現(xiàn)狀，全面了解援外培訓(xùn)項(xiàng)目的培訓(xùn)效果，需要通過擴(kuò)大項(xiàng)目數(shù)據(jù)的來源，突破時(shí)空限制，挖掘不同的數(shù)據(jù)形態(tài)，明確評(píng)價(jià)指標(biāo)，來提升援外培訓(xùn)項(xiàng)目的評(píng)價(jià)效果。隨著信息技術(shù)的不斷改進(jìn)，上述數(shù)據(jù)的收集、分析、處理、呈現(xiàn)方式都能得以實(shí)現(xiàn)，因此，大數(shù)據(jù)賦能援外培訓(xùn)項(xiàng)目的5M評(píng)價(jià)方式的轉(zhuǎn)型具有重要意義。

援外培訓(xùn)項(xiàng)目的5M評(píng)價(jià)模式是在大數(shù)據(jù)技術(shù)支持下，由受訓(xùn)學(xué)員、學(xué)員派出機(jī)構(gòu)、項(xiàng)目主管部門、項(xiàng)目承擔(dān)單位的管理人員、授課教師等共同參與，在明確的培訓(xùn)效果、滿意度評(píng)價(jià)的具體指標(biāo)下，通過多種渠道收集即時(shí)、非即時(shí)數(shù)據(jù)收集資源，運(yùn)用數(shù)據(jù)相關(guān)性統(tǒng)計(jì)方法分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的創(chuàng)新評(píng)價(jià)轉(zhuǎn)型模式。

3.1 過程評(píng)價(jià)更全面，實(shí)現(xiàn)多元化主體評(píng)價(jià)Multi-subjects

過程性評(píng)價(jià)主要是指在培訓(xùn)項(xiàng)目開展過程中多次、連續(xù)對(duì)學(xué)員進(jìn)行非認(rèn)知因素的調(diào)研，對(duì)項(xiàng)目的開展效果進(jìn)行評(píng)價(jià)。過程性評(píng)價(jià)在教育領(lǐng)域的應(yīng)用主要關(guān)注學(xué)員的學(xué)習(xí)效果，體現(xiàn)以學(xué)員為中心的理念。一般情況下，過程性評(píng)價(jià)主要由授課教師在課堂過程中通過課程反饋等記錄學(xué)員參與的積極和反饋效果，判斷學(xué)員在培訓(xùn)過程中的接受情況。但是僅從授課教師的隨堂反饋及課堂問答，很難整理每位學(xué)員的過程性學(xué)習(xí)材料，其功能發(fā)揮也很有限。同時(shí)，職業(yè)技術(shù)援外項(xiàng)目的實(shí)踐性的特點(diǎn)對(duì)過程性評(píng)價(jià)的定義不僅體現(xiàn)在培訓(xùn)過程期間學(xué)員的學(xué)習(xí)狀態(tài)及學(xué)習(xí)效果，也涵蓋了培訓(xùn)結(jié)束后的實(shí)踐、應(yīng)用環(huán)節(jié)。因此，培訓(xùn)效果的評(píng)價(jià)應(yīng)包含自評(píng)與他評(píng)兩種角度，評(píng)價(jià)主體包括項(xiàng)目主辦方、承辦部門、受訓(xùn)學(xué)員、派出機(jī)構(gòu)等，實(shí)現(xiàn)對(duì)援外項(xiàng)目培訓(xùn)效果的全方位觀測(cè)。因此，運(yùn)用大數(shù)據(jù)的設(shè)備，如通過線上課程的錄制或者實(shí)錄教室的實(shí)時(shí)信息反饋，盡可能擴(kuò)大過程性評(píng)價(jià)的收集范圍。大數(shù)據(jù)應(yīng)用能夠一定程度上提升過程性評(píng)價(jià)的效率，一方面通過平臺(tái)課程或線上直播數(shù)據(jù)的整理、統(tǒng)計(jì)，學(xué)員過程性學(xué)習(xí)資料更全面，更好地為每位學(xué)員提供培訓(xùn)指導(dǎo)。另一方面，信息技術(shù)的發(fā)展能夠?qū)⒏嘣u(píng)價(jià)主體納入，通過信息化手段獲取來自項(xiàng)目主管部門、參訓(xùn)者派出機(jī)構(gòu)等的反饋評(píng)價(jià)。

大數(shù)據(jù)的數(shù)據(jù)監(jiān)測(cè)能夠?qū)崟r(shí)記錄和反饋學(xué)員培訓(xùn)過程中的互動(dòng)情況，通過不同角度、不同層面三角驗(yàn)證學(xué)員的指標(biāo)評(píng)價(jià)結(jié)果，指導(dǎo)援外培訓(xùn)項(xiàng)目的開發(fā)更貼合學(xué)員需求，提升培訓(xùn)項(xiàng)目質(zhì)量。數(shù)據(jù)平臺(tái)也能夠?yàn)槭谡n講師、管理團(tuán)隊(duì)提供自評(píng)標(biāo)準(zhǔn)，針對(duì)不同培訓(xùn)項(xiàng)目、不同培訓(xùn)階段、不同培訓(xùn)對(duì)象進(jìn)行自評(píng)，反思總結(jié)改進(jìn)評(píng)價(jià)標(biāo)準(zhǔn)。

3.2 數(shù)據(jù)收集更多元，形成多維度評(píng)價(jià)標(biāo)準(zhǔn)Multi-dimensions

全面、系統(tǒng)、科學(xué)的援外培訓(xùn)項(xiàng)目評(píng)價(jià)指標(biāo)體系對(duì)提升培訓(xùn)質(zhì)量起著至關(guān)重要的作用?；贑IPP模型，尹春潔等（2021）將援外培訓(xùn)評(píng)價(jià)指標(biāo)分為項(xiàng)目條件、項(xiàng)目準(zhǔn)備、項(xiàng)目實(shí)施和項(xiàng)目效果四個(gè)大項(xiàng)，12個(gè)二級(jí)指標(biāo)及32個(gè)三級(jí)指標(biāo)，細(xì)致考查受訓(xùn)學(xué)員在授課、管理兩部分的評(píng)價(jià)信息。針對(duì)培訓(xùn)內(nèi)容的適配度、豐富度，授課講師的培訓(xùn)方法、培訓(xùn)手段等，輔以對(duì)管理人員的服務(wù)、信息溝通的及時(shí)性等已經(jīng)形成較為成熟的評(píng)價(jià)指標(biāo)。但對(duì)國別化、個(gè)性化的學(xué)員反饋評(píng)價(jià)梳理得較少，多維度的評(píng)價(jià)標(biāo)準(zhǔn)可以監(jiān)測(cè)培訓(xùn)前、培訓(xùn)中、培訓(xùn)后的各項(xiàng)活動(dòng)開展情況，對(duì)培訓(xùn)的前期調(diào)研、項(xiàng)目設(shè)計(jì)、課程開展、管理服務(wù)、后勤服務(wù)、訓(xùn)后回訪等進(jìn)行評(píng)價(jià)。

要確定評(píng)價(jià)標(biāo)準(zhǔn)的維度，需要從評(píng)價(jià)的目標(biāo)、范圍、指標(biāo)著手。明確援外培訓(xùn)項(xiàng)目的目標(biāo)和范圍，包括教學(xué)效果、管理服務(wù)、師生滿意度、社會(huì)影響等方面。同時(shí)，為每個(gè)評(píng)價(jià)指標(biāo)設(shè)定相應(yīng)的權(quán)重。這可以通過專家評(píng)估、層次分析等方法來確定。邀請(qǐng)相關(guān)領(lǐng)域的專家、項(xiàng)目主管、教師和學(xué)員參與權(quán)重的確定過程，確保權(quán)重的客觀性和可靠性。根據(jù)不同的權(quán)重組織成評(píng)價(jià)體系。評(píng)價(jià)體系應(yīng)該是層次化的，包括一級(jí)指標(biāo)和二級(jí)指標(biāo)。一級(jí)指標(biāo)代表評(píng)價(jià)體系的主要維度，二級(jí)指標(biāo)則進(jìn)一步細(xì)分一級(jí)指標(biāo)。評(píng)價(jià)體系的設(shè)計(jì)應(yīng)該合理、清晰，能夠全面、綜合地評(píng)估援外培訓(xùn)項(xiàng)目的效果。

3.3 效果評(píng)價(jià)更具體，提升多模態(tài)評(píng)價(jià)內(nèi)容Multi-modes

大數(shù)據(jù)賦能評(píng)價(jià)方式的轉(zhuǎn)型能夠推進(jìn)多模態(tài)數(shù)據(jù)的推進(jìn)，便利學(xué)員后續(xù)培訓(xùn)效果的跟蹤、調(diào)研。目前的學(xué)員的滿意度調(diào)查主要以問卷的形式收集，較少開展個(gè)人訪談、焦點(diǎn)小組的調(diào)研，因此形成定量與定性的分析難度較大。由于援外培訓(xùn)項(xiàng)目的受訓(xùn)學(xué)員相較其他教育對(duì)象比較特殊，為官員、專業(yè)人員等。線上培訓(xùn)階段也很難開展筆試等評(píng)價(jià)手段，因此有效衡量培訓(xùn)效果是援外培訓(xùn)項(xiàng)目創(chuàng)新的重要環(huán)節(jié)。多模態(tài)評(píng)價(jià)內(nèi)容涵蓋了培訓(xùn)過程中的數(shù)字資源的使用情況、培訓(xùn)課程的視頻、音頻記錄等。此外，受訓(xùn)學(xué)員的教學(xué)資源使用率、社交數(shù)據(jù)等能夠被捕捉到的數(shù)據(jù)都能夠印證學(xué)員的培訓(xùn)效果。大數(shù)據(jù)平臺(tái)在采集、收集和存儲(chǔ)多模態(tài)評(píng)價(jià)內(nèi)容中都體現(xiàn)出其體量大、搜索便利等優(yōu)勢(shì)。

因此，結(jié)合現(xiàn)代技術(shù)手段和工具，例如使用視頻錄像、音頻記錄、學(xué)員自主制作的多媒體作品等，更直觀地展示學(xué)員的學(xué)習(xí)成果和能力發(fā)展，增加評(píng)價(jià)的準(zhǔn)確性和可信度。

3.4 數(shù)據(jù)形式更充分，形成多渠道評(píng)價(jià)方式Multi-channels

大數(shù)據(jù)技術(shù)的發(fā)展能夠提供線上線下大規(guī)模、集成式的數(shù)據(jù)收集。傳統(tǒng)的評(píng)價(jià)表格，如問卷的填寫形式能夠?qū)崿F(xiàn)線上、線下的渠道填寫，課堂實(shí)錄資料、錄音資料、培訓(xùn)資料的下載量、瀏覽時(shí)間等都可以通過大數(shù)據(jù)技術(shù)采集。大數(shù)據(jù)技術(shù)采集的數(shù)據(jù)有一定的優(yōu)勢(shì)：在時(shí)間上，連續(xù)性、全程、完整的培訓(xùn)數(shù)據(jù)；在空間上，自然狀態(tài)的培訓(xùn)狀態(tài)能夠被記錄。大數(shù)據(jù)支持下能夠借助數(shù)據(jù)分析軟件，根據(jù)具體的情況將多渠道數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析，以證據(jù)鏈的方式展現(xiàn)受訓(xùn)學(xué)員的發(fā)展，有利于形成受訓(xùn)學(xué)員的個(gè)人學(xué)習(xí)檔案。

多渠道的數(shù)據(jù)收集便于數(shù)據(jù)整合和處理。利用數(shù)據(jù)分析軟件進(jìn)行數(shù)據(jù)整理和關(guān)聯(lián)性分析，可以將學(xué)員的學(xué)習(xí)成果、教學(xué)效果、師生互動(dòng)等不同數(shù)據(jù)進(jìn)行關(guān)聯(lián)，形成更全面和準(zhǔn)確的學(xué)員學(xué)習(xí)檔案。也可以利用數(shù)據(jù)分析工具和可視化技術(shù)對(duì)援外培訓(xùn)項(xiàng)目的大數(shù)據(jù)進(jìn)行分析和展示。通過數(shù)據(jù)分析算法和模型，提取出有價(jià)值的信息和洞察。將數(shù)據(jù)結(jié)果以可視化的方式呈現(xiàn)，如圖表、圖形、儀表盤等，使數(shù)據(jù)更易于理解和應(yīng)用。

3.5 增值評(píng)價(jià)更豐富，打造多指標(biāo)評(píng)價(jià)模型Multi-indicators

“大數(shù)據(jù)”之“大”不僅體現(xiàn)在體量上，更體現(xiàn)在數(shù)據(jù)內(nèi)部的相關(guān)性和復(fù)雜性。增值評(píng)價(jià)是一種基于大數(shù)據(jù)的發(fā)展性評(píng)價(jià)模式，通過對(duì)不同數(shù)據(jù)的處理，能夠通過評(píng)價(jià)模式轉(zhuǎn)型引領(lǐng)評(píng)價(jià)思路轉(zhuǎn)型。尋找數(shù)據(jù)之間的相關(guān)關(guān)系，發(fā)掘項(xiàng)目的研究重點(diǎn)、難點(diǎn)，突破實(shí)踐中產(chǎn)生的問題，拓寬援外培訓(xùn)項(xiàng)目的研究思路，充分運(yùn)用大數(shù)據(jù)分析培訓(xùn)項(xiàng)目的發(fā)展方向、特色及效果等。在設(shè)計(jì)5M評(píng)價(jià)模式的評(píng)價(jià)指標(biāo)的過程中，需要提前規(guī)劃、設(shè)計(jì)收集數(shù)據(jù)的可行性、延展性。5M評(píng)價(jià)模型涵蓋項(xiàng)目的完成度、國別化特色、學(xué)員滿意度及實(shí)踐轉(zhuǎn)化情況等，通過關(guān)聯(lián)性充分考慮援外培訓(xùn)項(xiàng)目效果的影響因素分析。

由此，增強(qiáng)數(shù)據(jù)倫理概念有助于后續(xù)數(shù)據(jù)的使用、研究的發(fā)展。數(shù)據(jù)倫理要求在數(shù)據(jù)采集、分析等各個(gè)環(huán)節(jié)都必須合理合法，采集到的數(shù)據(jù)可用于項(xiàng)目反思、總結(jié)、研究、發(fā)表等，能夠保證項(xiàng)目研究工作的順利開展。

4 援外培訓(xùn)項(xiàng)目5M評(píng)價(jià)模式的實(shí)現(xiàn)路徑

根據(jù)《中共中央關(guān)于制定國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》的文件精神，大數(shù)據(jù)的重要功能被高度肯定，隨著數(shù)據(jù)治理和數(shù)據(jù)要素潛能的釋放，大數(shù)據(jù)與各行各業(yè)融合是符合發(fā)展的必然選擇。5M評(píng)價(jià)模式是大數(shù)據(jù)采集、存儲(chǔ)、統(tǒng)計(jì)、分析技術(shù)支持下改進(jìn)培訓(xùn)項(xiàng)目的評(píng)價(jià)技術(shù)手段，納入更多主體、實(shí)現(xiàn)更多評(píng)價(jià)指標(biāo)的具體操作方式。設(shè)計(jì)實(shí)施大數(shù)據(jù)賦能援外培訓(xùn)項(xiàng)目的評(píng)價(jià)轉(zhuǎn)型仍然需要明確其實(shí)現(xiàn)路徑。

4.1 強(qiáng)化數(shù)據(jù)思維，搭建采集平臺(tái)

大數(shù)據(jù)規(guī)模宏大、數(shù)據(jù)源廣闊，能開展全方位要素采集和全程性數(shù)據(jù)收集，準(zhǔn)確反映援外培訓(xùn)項(xiàng)目的變化趨勢(shì)，推動(dòng)評(píng)價(jià)結(jié)果從經(jīng)驗(yàn)型走向科學(xué)化。數(shù)據(jù)來源是培訓(xùn)準(zhǔn)備階段、實(shí)施階段、總結(jié)階段的各類材料。項(xiàng)目主管部門及承辦單位作為數(shù)據(jù)采集方，應(yīng)當(dāng)強(qiáng)化數(shù)據(jù)思維，明確數(shù)據(jù)收集的倫理程序，確保數(shù)據(jù)的適用范圍。項(xiàng)目主管部門發(fā)揮主導(dǎo)作用，依靠大數(shù)據(jù)技術(shù)，搭建數(shù)據(jù)采集平臺(tái)，指導(dǎo)承辦單位及時(shí)采集受訓(xùn)學(xué)員的學(xué)習(xí)行為、過程數(shù)據(jù)，拓展培訓(xùn)資源，加強(qiáng)訓(xùn)后跟蹤指導(dǎo)，保留大量有助于培訓(xùn)效果評(píng)價(jià)的有價(jià)值的數(shù)據(jù)信息。

4.2 改進(jìn)評(píng)價(jià)指標(biāo)，提升數(shù)據(jù)效用

大數(shù)據(jù)支持下的評(píng)價(jià)指標(biāo)體系能夠兼顧過程性評(píng)價(jià)與終結(jié)性評(píng)價(jià)，將受訓(xùn)學(xué)員的反應(yīng)、學(xué)習(xí)、行為、滿意度、訓(xùn)后實(shí)踐轉(zhuǎn)化等有機(jī)結(jié)合，形成更完善、更細(xì)致的援外培訓(xùn)項(xiàng)目的評(píng)價(jià)依據(jù)。評(píng)價(jià)過程中，樣本容量的豐富度決定了評(píng)價(jià)的科學(xué)性。大數(shù)據(jù)采集能夠根據(jù)不同的評(píng)價(jià)指標(biāo)匯集培訓(xùn)過程中碎片化的信息，嘗試開展全樣本、全過程采集。盡管大數(shù)據(jù)的應(yīng)用能夠擴(kuò)大采集數(shù)據(jù)的范圍，但也應(yīng)根據(jù)數(shù)據(jù)采集的必要性適當(dāng)調(diào)整數(shù)據(jù)采集范圍。

改進(jìn)健全援外項(xiàng)目評(píng)價(jià)指標(biāo)體系，為充分挖掘大數(shù)據(jù)提供基礎(chǔ)。在評(píng)價(jià)指標(biāo)的改進(jìn)過程中，做好前期規(guī)劃，充分考慮數(shù)據(jù)間的相關(guān)性聯(lián)系能夠提高數(shù)據(jù)的效用，通過數(shù)據(jù)分析、問題診斷、反思改進(jìn)等過程，將數(shù)據(jù)分析的主要結(jié)果落實(shí)在項(xiàng)目的創(chuàng)新、發(fā)展實(shí)踐中，逐步形成常態(tài)化機(jī)制。

4.3 完善數(shù)據(jù)保障，服務(wù)評(píng)價(jià)轉(zhuǎn)型

保障數(shù)據(jù)的安全性、科學(xué)性、標(biāo)準(zhǔn)化也是數(shù)據(jù)挖掘、分析、反思、改進(jìn)的全過程順利實(shí)施的重要環(huán)節(jié)。要提升數(shù)據(jù)安全保障，首先要加強(qiáng)主管部門和承辦單位相關(guān)人員的信息化能力，通過宣傳、培訓(xùn)等途徑加強(qiáng)各個(gè)主體對(duì)數(shù)據(jù)的重視。其次，通過對(duì)數(shù)據(jù)的挖掘、分析，開展進(jìn)一步的研究工作，吸引更多的學(xué)者專家關(guān)注到援外項(xiàng)目的需求調(diào)研、創(chuàng)新發(fā)展等研究中來。最后，由于援外培訓(xùn)項(xiàng)目國際化的特色，評(píng)價(jià)數(shù)據(jù)的倫理標(biāo)準(zhǔn)及合法化程序能夠加深國際合作，學(xué)習(xí)其他國家數(shù)據(jù)驅(qū)動(dòng)教育評(píng)價(jià)的經(jīng)驗(yàn)，提升評(píng)價(jià)數(shù)據(jù)的精準(zhǔn)度。也通過國際科研合作，邀請(qǐng)不同國家的專家、學(xué)者共同關(guān)注援外培訓(xùn)項(xiàng)目的發(fā)展，更好地服務(wù)援外項(xiàng)目的創(chuàng)新性、可持續(xù)發(fā)展。

5 結(jié)語

援外培訓(xùn)項(xiàng)目的評(píng)價(jià)模式是項(xiàng)目的重要組成部分，對(duì)項(xiàng)目開展的效果做出評(píng)判。5M評(píng)價(jià)模式是大數(shù)據(jù)賦能援外培訓(xùn)評(píng)價(jià)模式的創(chuàng)新探索。通過多元化主體評(píng)價(jià)Multi-subjects、多維度評(píng)價(jià)標(biāo)準(zhǔn)Multi-dimensions、多模態(tài)評(píng)價(jià)內(nèi)容Multi-modes、多渠道評(píng)價(jià)方式Multi-channels、多指標(biāo)評(píng)價(jià)模型Multi-indicators的設(shè)計(jì)與實(shí)施，將信息化、智能化貫穿培訓(xùn)的每個(gè)環(huán)節(jié)，充分挖掘培訓(xùn)數(shù)據(jù)，強(qiáng)化數(shù)據(jù)思維，發(fā)揮導(dǎo)向、調(diào)控、反饋、創(chuàng)新等功能。

通過大數(shù)據(jù)技術(shù)的應(yīng)用，援外培訓(xùn)項(xiàng)目可以獲得全面而客觀的評(píng)價(jià)結(jié)果。大數(shù)據(jù)收集和整合多渠道的數(shù)據(jù)，從而減少主觀性和片面性的評(píng)價(jià)偏差，提供更準(zhǔn)確的評(píng)估。同時(shí)，在數(shù)據(jù)倫理合法的情況下，實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)與反饋，教師和項(xiàng)目組織可以及時(shí)獲得學(xué)生的數(shù)據(jù)反饋，并根據(jù)評(píng)價(jià)結(jié)果提供指導(dǎo)和支持。大數(shù)據(jù)分析也能夠發(fā)現(xiàn)援外培訓(xùn)項(xiàng)目的問題和優(yōu)化機(jī)會(huì)，為持續(xù)改進(jìn)提供支持。大數(shù)據(jù)分析可以提供定量、定性的數(shù)據(jù)支持，用于評(píng)估援外培訓(xùn)項(xiàng)目的效果和影響力，為項(xiàng)目的申報(bào)、開展和合作伙伴的選擇提供有力證據(jù)。通過提前規(guī)劃，挖掘、分析數(shù)據(jù)，為援外培訓(xùn)項(xiàng)目的研究提供更廣闊的平臺(tái)，更好地服務(wù)職業(yè)教育國際化進(jìn)程。

本文系2022年度寧波市職業(yè)教育“一帶一路”專項(xiàng)課題（2022YGHZJ018）：“‘一帶一路倡議下高職院校援外項(xiàng)目多元評(píng)價(jià)模式的構(gòu)建與研究——以寧波職業(yè)技術(shù)學(xué)院為例”；2022年浙江省教育科學(xué)規(guī)劃課題“后疫情時(shí)代來華留學(xué)生中國國家形象認(rèn)同的提升機(jī)制研究——以寧波高校留學(xué)生為例”（2022SCG139）研究成果。

（作者單位：寧波職業(yè)技術(shù)學(xué)院國際交流合作處）