有效做好培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估的數(shù)據(jù)收集方法研究

房新娜 錢振萍

(石油化工管理干部學(xué)院， 北京 100012)

?

培訓(xùn)前沿

有效做好培訓(xùn)學(xué)用轉(zhuǎn)化
效果評(píng)估的數(shù)據(jù)收集方法研究

房新娜 錢振萍

(石油化工管理干部學(xué)院， 北京 100012)

數(shù)據(jù)收集是培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估中非常重要的步驟，而數(shù)據(jù)收集的方法和來(lái)源直接影響了評(píng)估的結(jié)果。本文在借鑒國(guó)內(nèi)外相關(guān)研究成果的基礎(chǔ)上,總結(jié)了評(píng)估數(shù)據(jù)的有效收集方法和可靠來(lái)源，并提出了數(shù)據(jù)收集的注意事項(xiàng)，為做好培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估工作奠定可信賴的數(shù)據(jù)基礎(chǔ)。

學(xué)用轉(zhuǎn)化；效果評(píng)估；評(píng)估數(shù)據(jù)；數(shù)據(jù)收集

培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估是培訓(xùn)效果評(píng)估工作中非常重要的環(huán)節(jié)，是證明培訓(xùn)成果落地、體現(xiàn)培訓(xùn)價(jià)值的重要途徑。要進(jìn)行學(xué)用轉(zhuǎn)化效果評(píng)估，首先，需建立學(xué)用轉(zhuǎn)化效果評(píng)估模型和評(píng)估指標(biāo)體系；然后，通過(guò)可靠的評(píng)估數(shù)據(jù)來(lái)源渠道、有效的數(shù)據(jù)收集方法，收集評(píng)估所需數(shù)據(jù)資料；最后，對(duì)照評(píng)估標(biāo)準(zhǔn)，進(jìn)行培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估，用量化數(shù)據(jù)證明培訓(xùn)對(duì)受訓(xùn)學(xué)員實(shí)際工作的促進(jìn)作用,真正把培訓(xùn)效果評(píng)估做到實(shí)處。

在評(píng)估過(guò)程中，評(píng)估數(shù)據(jù)最直接、最具說(shuō)服力，最能夠證明培訓(xùn)學(xué)用轉(zhuǎn)化的效果以及培訓(xùn)所產(chǎn)生的影響。因此，數(shù)據(jù)收集是做好評(píng)估非常關(guān)鍵的步驟之一。

1　培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估數(shù)據(jù)收集的有效方法

數(shù)據(jù)收集的方法有很多種，常用的有效方法包括：行動(dòng)計(jì)劃、問卷調(diào)查、訪談、座談和360度評(píng)估法等。

1.1 行動(dòng)計(jì)劃

行動(dòng)計(jì)劃是最常見的培訓(xùn)后續(xù)跟進(jìn)任務(wù)，是培訓(xùn)項(xiàng)目的一部分，是一種直截了當(dāng)、簡(jiǎn)單易行的用來(lái)確定學(xué)員如何將培訓(xùn)所學(xué)應(yīng)用到實(shí)際工作中去以及產(chǎn)生何種效果的方法，是檢查學(xué)員的培訓(xùn)知識(shí)是否入腦、回到工作崗位后是否可以上手的重要手段。在該環(huán)節(jié)，受訓(xùn)學(xué)員需做好以下幾項(xiàng)工作：

一是做好日常學(xué)習(xí)記錄（一課一記錄)。

為了做好行動(dòng)計(jì)劃，在培訓(xùn)教學(xué)中，學(xué)員要記錄每堂課或每個(gè)專題講座的啟發(fā)點(diǎn)、對(duì)照自己目前工作查找問題、針對(duì)問題尋找改善對(duì)策，以及問題改善的衡量標(biāo)準(zhǔn)等等。其實(shí)質(zhì)是記錄培訓(xùn)中每堂課的思想火花，以免由于培訓(xùn)期間巨大的信息量使前期的記憶被沖淡。學(xué)習(xí)記錄是完成行動(dòng)計(jì)劃的基礎(chǔ)，要求學(xué)員要認(rèn)真思考、認(rèn)真填寫，為后續(xù)行動(dòng)計(jì)劃保留第一手資料。

二是制定學(xué)用轉(zhuǎn)化行動(dòng)計(jì)劃書。

培訓(xùn)結(jié)束前，在項(xiàng)目負(fù)責(zé)人的引導(dǎo)下，學(xué)員認(rèn)真梳理前期每門課程結(jié)束時(shí)的學(xué)習(xí)記錄，從中挑選1-3個(gè)準(zhǔn)備在回企業(yè)研修階段要進(jìn)行學(xué)用轉(zhuǎn)化的問題，制定初步的行動(dòng)計(jì)劃書（表1）。培訓(xùn)結(jié)束時(shí)，學(xué)員將初步的行動(dòng)計(jì)劃書帶回單位，經(jīng)過(guò)與所在部門業(yè)務(wù)領(lǐng)導(dǎo)的充分溝通，進(jìn)一步論證所要解決問題的現(xiàn)實(shí)意義和可行性，把修改的行動(dòng)計(jì)劃書反饋至項(xiàng)目組存檔，用于學(xué)用轉(zhuǎn)化效果的查驗(yàn)。

表1　學(xué)用轉(zhuǎn)化行動(dòng)計(jì)劃書

學(xué)用轉(zhuǎn)化是個(gè)過(guò)程，需要一定的時(shí)間來(lái)保證學(xué)員把培訓(xùn)所學(xué)應(yīng)用到實(shí)際工作、解決實(shí)際問題的過(guò)程，因此整個(gè)行動(dòng)計(jì)劃的實(shí)施時(shí)間為6到12個(gè)月。

三是完成行動(dòng)計(jì)劃落實(shí)報(bào)告。

行動(dòng)計(jì)劃結(jié)束后，學(xué)員要向項(xiàng)目組提交一份行動(dòng)計(jì)劃落實(shí)情況報(bào)告，包括問題解決過(guò)程、實(shí)際達(dá)到的效果、問題未解決的原因等。項(xiàng)目組會(huì)組織一個(gè)行動(dòng)計(jì)劃落實(shí)匯報(bào)會(huì)，邀請(qǐng)主辦方的相關(guān)領(lǐng)導(dǎo)、專家聽取匯報(bào)，評(píng)價(jià)學(xué)用轉(zhuǎn)化的效果以及為所在單位部門帶來(lái)的收益，并針對(duì)學(xué)員學(xué)用轉(zhuǎn)化中尚存的問題提供一定的指導(dǎo)。

1.2 問卷調(diào)查

問卷調(diào)查指在培訓(xùn)結(jié)束一段時(shí)間后，利用設(shè)計(jì)好的調(diào)查問卷，向?qū)W員了解相關(guān)信息，是收集評(píng)估數(shù)據(jù)最常用的方法，既可以了解關(guān)于態(tài)度改變和能力提升的定性指標(biāo)信息，也可以用來(lái)記錄可以量化的定量指標(biāo)信息。問卷調(diào)查能否取得實(shí)效，關(guān)鍵在于調(diào)查問卷的質(zhì)量。因此，調(diào)查問卷設(shè)計(jì)必須嚴(yán)格遵循設(shè)計(jì)流程，以確保具有較高的信度和效度。具體設(shè)計(jì)流程如圖1所示。

圖1　調(diào)查問卷的設(shè)計(jì)流程

依據(jù)調(diào)查問卷的設(shè)計(jì)流程進(jìn)行學(xué)用轉(zhuǎn)化效果調(diào)查問卷的詳細(xì)設(shè)計(jì)（表2）。

1.3 訪談法

訪談法是指培訓(xùn)結(jié)束后，評(píng)估人員通過(guò)與受訓(xùn)學(xué)員進(jìn)行一對(duì)一、面對(duì)面的交流，了解培訓(xùn)內(nèi)容在實(shí)際工作中的應(yīng)用程度、工作環(huán)境是否影響其學(xué)用轉(zhuǎn)化進(jìn)展、轉(zhuǎn)化效果如何等，獲得學(xué)用轉(zhuǎn)化效果的相關(guān)信息，并據(jù)此判斷學(xué)用轉(zhuǎn)化效果的一種方法。

與問卷調(diào)查相比，訪談法獲取的信息更為細(xì)致和完整。因?yàn)樵摲梢源_保被訪談?wù)咴谕耆斫鈫栴}之后，給出完整、準(zhǔn)確的信息。同時(shí)，隨著訪談過(guò)程的進(jìn)行，訪談?wù)呖梢酝诰虺龈嗟挠杏眯畔?，獲得足夠的細(xì)節(jié)來(lái)證明學(xué)用轉(zhuǎn)化的效果。

表2　培訓(xùn)學(xué)用轉(zhuǎn)化效果調(diào)查問卷

訪談法的運(yùn)用程序可以歸納為：明確訪談采集信息→制定訪談方案→測(cè)試訪談方案→實(shí)施訪談→訪談結(jié)果反饋。在培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估中，我們應(yīng)該嚴(yán)格按照該程序進(jìn)行，以確保訪談結(jié)果的真實(shí)性和有效性。

為保證訪談法實(shí)施的信度和效度，進(jìn)行訪談時(shí)需注意以下兩點(diǎn)：第一，在與受訓(xùn)學(xué)員進(jìn)行訪談時(shí)，訪談?wù)弑仨氂忻鞔_的訪談目標(biāo)，切忌漫無(wú)目的，避免效率低下；第二，營(yíng)造相互信任的訪談氛圍，訪談前做好訪談提綱（表3）、訪談中做好記錄、訪談后做好資料的歸納整理。

表3　訪談提綱和座談提綱

1.4 座談法

座談法是指在培訓(xùn)結(jié)束后，評(píng)估人員通過(guò)組織受訓(xùn)學(xué)員座談會(huì)（一對(duì)多）的形式，讓每位學(xué)員陳述培訓(xùn)的收獲、回到工作崗位后如何將知識(shí)運(yùn)用到工作中、取得怎樣的效果以及在轉(zhuǎn)化過(guò)程中存在的問題等，從中獲取關(guān)于學(xué)用轉(zhuǎn)化效果的信息。

作為獲取信息的方法，座談法具有資料收集速度快、效率高，能夠有機(jī)結(jié)合調(diào)查和討論等優(yōu)點(diǎn)，但是有些涉及隱私問題，在座談會(huì)上無(wú)法討論深入，只能獲得一些初步的信息。因此，應(yīng)用座談法時(shí)也要按照程序來(lái)進(jìn)行，充分發(fā)揮其優(yōu)點(diǎn)，規(guī)避其缺點(diǎn)。同時(shí)注意座談前做好座談提綱（表3）、座談中做好記錄、座談后做好資料的歸納整理。

訪談提綱和座談提綱原則上是一致的，區(qū)別在于人數(shù)的多少。

1.5 360度評(píng)估

360度評(píng)估（360°Feedback），又稱“360度考核法”或“全方位考核法”，是指由員工自己、上司、下屬、同事等從各個(gè)角度來(lái)評(píng)估受訓(xùn)學(xué)員的方法。評(píng)估內(nèi)容可以包括工作態(tài)度、工作能力、團(tuán)隊(duì)合作、創(chuàng)新能力、合理化建議、行動(dòng)計(jì)劃落實(shí)、技術(shù)攻關(guān)等。通過(guò)這種理想的評(píng)估，我們可以從學(xué)員自身、上司、下屬、同事處獲得多種角度的反饋（表4），從而明晰學(xué)員在整個(gè)學(xué)用轉(zhuǎn)化階段的行動(dòng)、過(guò)程和結(jié)果，包括其本人對(duì)自己學(xué)用轉(zhuǎn)化效果的評(píng)價(jià)，以及上司、下屬、同事眼中學(xué)員培訓(xùn)后的行為變化，從主觀和客觀的角度更加了解培訓(xùn)對(duì)學(xué)員工作態(tài)度、工作能力和實(shí)際問題解決的影響。

這種全方位的評(píng)估方法會(huì)使評(píng)估結(jié)果更為客觀和全面，但工作量相對(duì)較大，實(shí)施起來(lái)較繁瑣。當(dāng)受訓(xùn)人數(shù)較少、項(xiàng)目對(duì)學(xué)用轉(zhuǎn)化效果評(píng)估要求較細(xì)時(shí)，我們可以采用這種方法。

2　培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估數(shù)據(jù)收集的可靠來(lái)源

要做好培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估工作，除了選用科學(xué)的數(shù)據(jù)收集方法外，還需要找到可靠的數(shù)據(jù)來(lái)源，確保數(shù)據(jù)的有效性，這樣得出的評(píng)估結(jié)果才是可信的。

2.1 學(xué)員

學(xué)員是學(xué)用轉(zhuǎn)化的具體實(shí)施者，是學(xué)用轉(zhuǎn)化效果評(píng)估數(shù)據(jù)最直接的信息來(lái)源。通過(guò)我們?cè)O(shè)計(jì)的行動(dòng)計(jì)劃反饋、調(diào)查問卷反饋、訪談和座談反饋，可以收集到學(xué)員在整個(gè)培訓(xùn)學(xué)用轉(zhuǎn)化的進(jìn)行情況以及最終效果的第一手資料。為了能夠獲得更可靠的數(shù)據(jù)，在與學(xué)員進(jìn)行座談、訪談時(shí)都要注意氛圍的營(yíng)造，引導(dǎo)學(xué)員愿意交流，詳細(xì)地展示學(xué)用轉(zhuǎn)化的過(guò)程，使我們可以從中提煉出評(píng)估需要的數(shù)據(jù)和資料；同時(shí)，還應(yīng)與各級(jí)人力資源部門通力合作，建立行動(dòng)計(jì)劃反饋和調(diào)查問卷反饋機(jī)制，確保反饋信息的準(zhǔn)確性和真實(shí)性，從而收集到可靠的數(shù)據(jù)資料。但是由于這些數(shù)據(jù)帶有很強(qiáng)的主觀性，在數(shù)據(jù)處理時(shí)必須進(jìn)行客觀分析，去除自我表?yè)P(yáng)、夸大事實(shí)的部分。

2.2 學(xué)員的主管

受訓(xùn)學(xué)員的直接主管往往也是評(píng)估數(shù)據(jù)的可靠來(lái)源。因?yàn)樗麄兛梢灾庇^地觀察到培訓(xùn)后學(xué)員工作的變化，如新思路、新方法的提出、對(duì)現(xiàn)有工作的改進(jìn)措施以及產(chǎn)生的積極結(jié)果等。他們能夠代表組織的意見，具有很強(qiáng)的客觀性，是最適合作為評(píng)估的數(shù)據(jù)。而建立起學(xué)用轉(zhuǎn)化效果評(píng)估機(jī)制，明晰學(xué)員主管應(yīng)該承擔(dān)的督導(dǎo)作用，也會(huì)進(jìn)一步提升學(xué)員主管所提供信息的價(jià)值和可靠性。

2.3 學(xué)員的下屬

學(xué)員的下屬可以觀察到他們的領(lǐng)導(dǎo)培訓(xùn)之后在技術(shù)決策、問題解決中顯示出的新方法、新思路以及在團(tuán)隊(duì)協(xié)作、規(guī)范運(yùn)作、精細(xì)管理方面展現(xiàn)出的新面貌。在獲取信息的過(guò)程中，我們要營(yíng)造輕松愉快的氛圍，闡明訪談的目的，引導(dǎo)下屬敢于把觀察到的事實(shí)陳述出來(lái)。在整個(gè)訪談過(guò)程中，建議避開學(xué)員所在單位的其他人員在場(chǎng)，或?qū)⒃L談場(chǎng)所設(shè)置在學(xué)員所在單位之外。

表4　360度評(píng)估學(xué)員表

下屬提供的信息往往是主觀性的，其意見反饋可能會(huì)存在偏頗。但在某些情況下，下屬更加了解哪些因素影響了他們的工作，并且可以提供有關(guān)這些變化的信息。與其它信息來(lái)源的信息結(jié)合在一起加以分析使用，會(huì)使結(jié)果的可信度大大增加。

2.4 學(xué)員的同事

在實(shí)際工作和生活中當(dāng)一個(gè)人的行為有所變化時(shí)，其身邊人是可以觀察和感知的。所以，我們可以從對(duì)同事的訪談中側(cè)面了解學(xué)員訓(xùn)后與訓(xùn)前表現(xiàn)的變化，從而了解培訓(xùn)對(duì)學(xué)員的工作態(tài)度和工作能力的影響，例如是否將培訓(xùn)所思、所想、所悟分享給周圍同事，是否在課題研究或日常工作中提出新的方法和思路，是否在年終總結(jié)中將工作進(jìn)步歸因于培訓(xùn)的作用等。

總之，在學(xué)員實(shí)施學(xué)用轉(zhuǎn)化的任務(wù)過(guò)程中，學(xué)員的領(lǐng)導(dǎo)更多看到的是學(xué)用轉(zhuǎn)化的結(jié)果（對(duì)工作促進(jìn)的效果），同事、下屬更容易觀察到學(xué)用轉(zhuǎn)化的過(guò)程。因此，我們需要盡可能全面地去挖掘可用信息，盡可能對(duì)學(xué)員的學(xué)用轉(zhuǎn)化情況有一個(gè)全面的綜合的評(píng)價(jià)。

3　培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估數(shù)據(jù)收集注意事項(xiàng)

進(jìn)行培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估的數(shù)據(jù)收集，除了要選用科學(xué)的方法、可靠的數(shù)據(jù)來(lái)源外，在實(shí)際評(píng)估工作中還應(yīng)注意以下幾個(gè)方面：

一是盡可能收集充足的數(shù)據(jù)。一般情況下，數(shù)據(jù)越充足，可信度越高，結(jié)果準(zhǔn)確度就越高。根據(jù)實(shí)踐經(jīng)驗(yàn)，如果培訓(xùn)項(xiàng)目規(guī)模較小（學(xué)員人數(shù)不超過(guò)50人），可將所有學(xué)員都加入樣本；如培訓(xùn)項(xiàng)目規(guī)模較大，基于50人的樣本也基本能夠滿足評(píng)估要求。

二是使用多維度數(shù)據(jù)評(píng)估數(shù)據(jù)來(lái)源應(yīng)盡可能廣泛，通過(guò)這些數(shù)據(jù)之間的相互佐證，更易形成正確的判斷。如果學(xué)用轉(zhuǎn)化效果僅有受訓(xùn)學(xué)員一人的自評(píng)結(jié)果，那么他對(duì)自己的評(píng)價(jià)必然是“優(yōu)”。

三是排除培訓(xùn)外的影響因素。員工培訓(xùn)后的表現(xiàn)多因多果，所以在收集資料時(shí)要確保結(jié)果產(chǎn)生的原因是來(lái)自于培訓(xùn)的效果，剔除其他因素的影響，回歸評(píng)估的初衷。

四是尊重調(diào)查結(jié)果和評(píng)估結(jié)果。所有學(xué)員的學(xué)用轉(zhuǎn)化效果不一定都很顯著，而其原因也是多方面的。在收集數(shù)據(jù)和評(píng)估過(guò)程，評(píng)估人員要保持平常心，忠于調(diào)查和評(píng)估結(jié)果，正視會(huì)有學(xué)員學(xué)用轉(zhuǎn)化效果不好的事實(shí)。

五是選擇適當(dāng)?shù)脑u(píng)估時(shí)機(jī)。學(xué)員回到工作崗位進(jìn)行學(xué)用轉(zhuǎn)化，需要一定的時(shí)間來(lái)保證的。評(píng)估過(guò)早，間隔時(shí)間太短，學(xué)用轉(zhuǎn)化很可能未進(jìn)行完，看不到轉(zhuǎn)化后的結(jié)果，因而會(huì)低估培訓(xùn)的真實(shí)價(jià)值，從而會(huì)影響我們對(duì)培訓(xùn)價(jià)值的判斷；評(píng)估過(guò)遲，間隔時(shí)間太長(zhǎng)，多因多果的影響會(huì)增強(qiáng)，培訓(xùn)的效果會(huì)被其他因素所掩蓋，難以評(píng)估。所以我們建議，將評(píng)估時(shí)間定為培訓(xùn)結(jié)束后的6至12個(gè)月。

六是取得學(xué)員所在單位的配合。鑒于評(píng)估工作的數(shù)據(jù)來(lái)源大多需要學(xué)員所在單位領(lǐng)導(dǎo)的配合、協(xié)助與支持，在前期一定要做好充分溝通，使其了解我們?cè)u(píng)估的目的、意義、做法以及需要配合、監(jiān)督和觀察的事宜，以便得到他們的理解與支持。

[1］卡爾霍恩·威克等著;周濤,宋亞男譯.將培訓(xùn)轉(zhuǎn)化為商業(yè)結(jié)果[M].北京:電子工業(yè)出版社, 2013.

[2］羅伊·波洛克著;周濤,宋亞男譯.將培訓(xùn)轉(zhuǎn)化為商業(yè)結(jié)果實(shí)踐手冊(cè)[M].北京:電子工業(yè)出版社, 2015。

[3］柯克帕特里克著;奚衛(wèi)華,林祝君等譯.如何做好培訓(xùn)評(píng)估-柯式四級(jí)評(píng)估法[M]. 北京:機(jī)械工業(yè)出版社, 2007.

[4］杰克·J·菲利普斯著;張少林,李元明,李潔譯.如何評(píng)估培訓(xùn)效果-追蹤六個(gè)關(guān)鍵因素的實(shí)用指南[M].北京:北京大學(xué)出版社, 2007.

[5］唐麗穎.培訓(xùn)效果評(píng)估及轉(zhuǎn)化實(shí)務(wù)[M]. 北京:中國(guó)勞動(dòng)社會(huì)保障出版社, 2014.

[6］孔令啟,翟敏全,石慧利. 四層次培訓(xùn)評(píng)估實(shí)施中的問題探悉[J]. 商場(chǎng)現(xiàn)代化, 2008, 23:278.

[7］房新娜,胡翔,錢振萍. 高層次專業(yè)技術(shù)人才培訓(xùn)學(xué)用轉(zhuǎn)化的影響因素及對(duì)策[J]. 石油化工管理干部學(xué)院學(xué)報(bào), 2015, 02:40-45.

[8］房新娜,蘇永進(jìn),錢振萍. 油田板塊高層次專業(yè)技術(shù)人才培訓(xùn)學(xué)用轉(zhuǎn)化效果評(píng)估模型構(gòu)建[J]. 繼續(xù)教育, 2016, 06: 41-43.

A Study on the Effective Methods for Data Collection in Assessment of the Effectiveness of Learning Transfer

Fang Xinna， Qian Zhenping （SINOPEC Management Institute， Beijing 100012， China）

Data collection is a vital step in the process of assessing the effectiveness of learning transfer， and the methods for data collection as well as data sources have a direct impact on assessment results. Building upon the researches in this fi eld at both home and abroad， the paper comes up with some effective methods for data collection and reliable data sources， and lays out a number of considerations during data collection， so that reliable data can be acquired and used in assessment of the effectiveness of learning transfer.

learning transfer， effectiveness assessment， data for assessment， data collection

2016-4-6。

房新娜（1969—），女，山東省威海人。畢業(yè)于成都理工學(xué)院油藏工程專業(yè)，碩士。副教授，現(xiàn)就職于石油化工管理干部學(xué)院。電子郵箱：fangxn.glgy@sinopec.com。