澳大利亞“基于能力本位的評估”模式及對我國高職教育質(zhì)量評估的啟示

匡紅云

(上海第二工業(yè)大學(xué) 高等職業(yè)教育國際學(xué)院,上海201209)

0 引言

澳大利亞職業(yè)教育一直保持較高的質(zhì)量和聲譽,取得了世界公認(rèn)的成功經(jīng)驗,這與澳大利亞“統(tǒng)一的國家資格框架、科學(xué)的能力標(biāo)準(zhǔn)體系、規(guī)范的教師培養(yǎng)體系、嚴(yán)格的‘基于能力本位的評估’(competence-based assessment,CBA)”這四大體系要素的成功建構(gòu)密不可分。本文將對澳大利亞CBA模式進行引進和介紹,以期對我國的高等職業(yè)教育質(zhì)量評估起到啟示和借鑒作用。

1 澳大利亞“CBA”的內(nèi)涵及特征

澳洲國家培訓(xùn)司在1999 年指出, 教育的結(jié)構(gòu)和課程應(yīng)該被看作是手段而不是目的。澳大利亞著名的“基于能力本位的培訓(xùn)” (competence-based training,CBT)把重點放在一個人在培訓(xùn)后“學(xué)會了什么”(結(jié)果)而非“怎么學(xué)”(過程);關(guān)注焦點從培訓(xùn)過程(輸入)轉(zhuǎn)向培訓(xùn)結(jié)果(輸出)。關(guān)注培訓(xùn)結(jié)果導(dǎo)致高度重視培訓(xùn)結(jié)果評估的科學(xué)和有效性。CBT 與其他教育體系的不同之處在于,它的結(jié)果評價是建立在國家統(tǒng)一資格標(biāo)準(zhǔn)之上的,并通過制定評估計劃及運用能力矩陣保障評估結(jié)果的科學(xué)性; 同時評估工具(如作業(yè)、測試、觀察、情景模擬、第三方報告等)的多樣性也對評估效度起到保證作用。

1.1 CBA 的內(nèi)涵

評估是一個回顧和審查的過程并基于此形成對某人知識/技能的判斷。評估有多種形式,包括學(xué)校系統(tǒng)的作業(yè)和考試、大學(xué)評估系統(tǒng)體育背景下的評估(如競賽)、工作場所的評估(如求職面試、績效評估、知識技能評估、資質(zhì)評估)[1]。而CBA 是一個回顧和審查的過程并基于此形成對某人能力的判斷——按照工作場所的要求持續(xù)一致地完成各種活動的能力。這種評估聚焦于一個人能做什么(“學(xué)” 的結(jié)果或能力), 而他們“如何學(xué)” 卻并不重要; 評估的結(jié)果只有兩種: 合格或不合格。澳大利亞“Standards for Registered Training Organization(RTOs)2015”對“能力合格”的定義是: 按照工作場所業(yè)績要求持續(xù)一致地展示知識技能以完成一個任務(wù),它包括“技能、知識、態(tài)度”3 個部分, 以及4 個維度:任務(wù)技能(完成單個任務(wù))、任務(wù)管理技能(管理多個不同任務(wù))、意外管理技能、工作環(huán)境技能及角色管理(團隊合作/完成個人責(zé)任)[2]。

判斷一個人的操作/表現(xiàn)是否“符合能力要求” 可以對照澳洲職業(yè)教育培訓(xùn)(vocational education training, VET) 系統(tǒng)的能力單元進行評估[3]。只有代表某個注冊培訓(xùn)機構(gòu)(registered training organization,RTO)具有資質(zhì)的評估人員才可以開展CBA 活動。合格的評估者必須能理解和運用VET系統(tǒng)的資格框架(Australian qualifications framework,AQF) 和培訓(xùn)包。AQF 指出了3 大教育部門(中小學(xué)、職業(yè)教育、高等教育)在全國范圍內(nèi)被認(rèn)可的的10 個資格層級。而培訓(xùn)包則包涵了構(gòu)成不同單元、技能組、AQF 資格層級的能力標(biāo)準(zhǔn)。

高質(zhì)量的能力評估意味著在評估的計劃組織、評估工具發(fā)展和評估過程中都必須遵從4 個原則:有效性、可靠性、公平、靈活。有效性意味著,評估要覆蓋到能力單元的所有要求和所有結(jié)果、系列知識/技能/基本技巧、知識技能的評估與實際運用結(jié)合的有效程度;有效證據(jù)必須來自多種場合、背景并且采用了的不同評估方式。

1.2 CBA 的特征

以學(xué)生/客戶為中心是CBA 最顯著的特征。在計劃、組織、發(fā)展評估工具和實施評估行動時, 都要考慮客戶的需求。評估者和被評估者是合作關(guān)系,后者可以就評估方法與前者進行協(xié)商,而前者應(yīng)該在整個評估過程中指導(dǎo)和支持后者,因此雙方必須具備有效的溝通技巧。

此外,評估要在真實或模擬的工作環(huán)境下基于證據(jù)進行, 并且證據(jù)要具有一定質(zhì)量。高質(zhì)量的證據(jù)必須符合以下要求①有效: 與所評估的能力標(biāo)準(zhǔn)相關(guān);②充分: 證據(jù)要覆蓋到能力單元的所有要求;③最新并且真實: 可被證實是被評估者自己的工作;④有信度:在一段時間內(nèi)顯示持續(xù)一致的表現(xiàn)。

2 澳大利亞“CBA”運作程序

2.1 對評估活動的計劃

在開始評估之前必須先制定評估計劃、回答“4W1H”的問題,即“何時(When)、何地(Where)、如何評估(How)、評估誰的(Who)、什么材料(What)”,以便向各評估參與方解釋評估過程和評估邏輯,保障評估過程的一致性。一份評估計劃要明確: 所需的能力單元和評估要求;所需要的證據(jù);所需的評估活動和相應(yīng)的時間安排;基于以上制作“能力-證據(jù)矩陣圖”(能力矩陣圖);開發(fā)評估工具。若所評估單元已有評估工具, 則需對其進行評估、作出必要的調(diào)整和完善。在選擇所需搜集的證據(jù)時需以被評估者為中心,考慮其熟悉何種評估方式,最佳評估方式是在工作中同時進行還是在培訓(xùn)過程中進行。

2.2 設(shè)計/發(fā)展評估工具

評估工具是指完整地評估一個或多個能力單元所需的所有材料,它包括: ①記錄以下內(nèi)容的封皮:被評估者信息,評估單元名稱,評估活動種類;②對評估雙方的指導(dǎo)信息;評估材料包括證據(jù)及評分指導(dǎo)、評分表等評估要求;③評估結(jié)果及反饋意見的記錄單;④能力矩陣圖。常用的評估方式及材料包括: 觀察(觀察清單)、問問題(書面/口頭測驗)、情景模擬/實踐任務(wù)(完成模擬/實踐)、文件組合(文件清單)、第三方調(diào)查問卷、工作記錄冊、其他活動等。

發(fā)展評估工具首先要確定選擇哪些評估材料制作能力矩陣圖; 其次是制作記錄各種信息的封皮和記錄評估結(jié)果的清單; 最后是制作保證信度和公平的評分指導(dǎo)?！霸u分指導(dǎo)” 這份文件的主要內(nèi)容有:提示評估者如何以定量手段判讀被評估者的表現(xiàn)和他所提供的證據(jù),以及如何管理評估活動,比如“告知被評估者他們應(yīng)該如何完成測試問題、要獲得通過必須滿足多少條觀察標(biāo)準(zhǔn)”;告知評估者“在情景模擬中如何引導(dǎo)參與者、為參與者提供何種資源”。如果沒有這個評分指導(dǎo),則可能出現(xiàn)不同的評估者對測試題給出不同的“通過”標(biāo)準(zhǔn),或在實踐工作中接受不同的行為績效標(biāo)準(zhǔn)。

新制定的評估工具需要進行檢查和測試以及進一步完善,以便和評估計劃中的能力矩陣圖中的相應(yīng)信息互相契合。并根據(jù)組織的文件儲存、復(fù)檢、版本控制系統(tǒng)保存好最新版本,并定期對這些評估工具進行常規(guī)系統(tǒng)地檢查、評估和進一步完善。這在評估程序第4 步中有詳細(xì)描述。而在保證整個評估工具科學(xué)有效性的過程中,能力矩陣圖發(fā)揮了最核心最關(guān)鍵的作用。表1 所示為《沖突管理》課程的能力矩陣圖。

在整個能力評估開始之前、之中和之后, 評估者都要始終牢記對被評估對象予以支持。比如確保被評估者理解評估過程、根據(jù)評估對象的情況進行一些調(diào)整并給予其足夠的時間為評估做準(zhǔn)備、提供一個能保證被評估者身體和心理安全且無干擾的環(huán)境、回答被試關(guān)于正在進行的測試的疑問(但不是告訴他如何操作)。此外,評估者還要注意與評估對象溝通的技巧, 尤其是提問的方式。應(yīng)當(dāng)注意在不同情況下選擇采用開放式、封閉式或探索性問題進行詢問。評估的過程包括以下幾步:

(1)準(zhǔn)備工作與計劃。在評估開始前,必須與被試就評估過程的以下幾個方面進行討論和確認(rèn)。一是評估目的;二是評估的能力標(biāo)準(zhǔn)、評估活動,被評估者必須知道他們需完成哪些任務(wù)、要提供哪些證據(jù)、要達到哪些要求; 三是企業(yè)或機構(gòu)的政策中關(guān)于評估的特別要求, 如結(jié)果對他人是保密或公開、被評估者可以受評估的次數(shù); 四是評估程序與日期安排。

(2) 收集高質(zhì)量證據(jù)信息。高質(zhì)量證據(jù)信息包括對知識、技能、態(tài)度的評價證據(jù)。其中, 對知識的評估證據(jù)有書面測試成績和實踐中的知識運用情況, 而知識運用情況包括工作總體業(yè)績、工作樣板、操作理論檢驗。基于結(jié)果的評估非常重要。實際操作技能測試可用來測量個體在某些規(guī)范中的能力。雖然這種形式的評價比傳統(tǒng)的書面測試難度更大,但這種評價形式有趣并且現(xiàn)實。態(tài)度對職業(yè)的影響與知識和技能一樣重要。除態(tài)度的一般組成部分外, 態(tài)度還包括對客服務(wù)、客戶交流及對安全的重視,這些可通過客戶情感聯(lián)結(jié)、敬業(yè)或個體價值觀來表現(xiàn)。

(3)做出評估結(jié)論并反饋給被評估者記錄結(jié)果、回顧評估過程。與“合格證據(jù)清單”作比對、做出評估結(jié)論。如果對被評估者的評價是NYC (不合格),評估者可以與被評估者討論并制定后續(xù)行動計劃,幫助其在下次評估時達到合格。被試不必重復(fù)所有的評估過程,只需對被判斷為與能力標(biāo)準(zhǔn)存在差距之處進行補救,且評估方式可以與第一次不同。行動計劃可以包括但不限于: 提交更多證據(jù)、修正或重新完成評估活動的一部分、繼續(xù)學(xué)習(xí)和培訓(xùn)、轉(zhuǎn)交至專家尋求支持、為存在差距之處安排新任務(wù);或者調(diào)整方向以另一個能力層級標(biāo)準(zhǔn)進行評估; 同時還要將重新評估的時間地點和方式告知被試。

2.3 對“評估的有效性”進行評估

“對‘評估客戶能力的過程’ 的評估” 指的是:RTO 對客戶能力評估過程質(zhì)量進行系統(tǒng)性、常規(guī)性檢查和驗證,包括查驗評估工具是否提供了有效充分可信真實和最新的證據(jù),通過對具有統(tǒng)計意義數(shù)量的評估樣本的檢查對評估工具提出建議。查驗證可以發(fā)生在對客評估之前、之中和之后。評估開始之前,評估員可以參與到以下這些檢查工作:RTO 的評估系統(tǒng)、客戶能力評估計劃、新開發(fā)或新修訂的評估工具(最普遍的評估工作);在評估進行過程中發(fā)現(xiàn)有效性存在質(zhì)疑點時則可以作出“評估調(diào)整”,如重新制作能力矩陣圖、運用能力標(biāo)準(zhǔn)如證據(jù)清單幫助做出評估決定。

“對‘評估客戶能力的過程’ 的評估” 可以發(fā)生在對客戶能力評估開始之前、之中和之后。進行這樣一種有效性的評估將有助于減少評估申訴和其他問題、贏得更多評估業(yè)務(wù),滿足《RTO 標(biāo)準(zhǔn)(2015)》對“完全剛性評估結(jié)果”的要求[2],還有助于幫助評估者獲得職業(yè)化發(fā)展。因此RTO 必須將評估記錄予以保存,包括評估的時間、目的、參與人員、評估方法、評估活動和相應(yīng)的評估標(biāo)準(zhǔn)、評估結(jié)果、支持性文件如能力矩陣圖等。

表1 《沖突管理》課程能力矩陣圖[4]Tab.1 Matrix of competencies for the course of conflict management[4]

進行“對‘評估客戶能力的過程’的評估”的途徑有3 種: (1)就評估過程、工具、評估結(jié)果進行討論;(2)對評估工具進行測試;(3)采取集體評估方式,并比較不同評估者給出的評估決定。整個過程開始于評估員獲取并熟悉相關(guān)材料, 包括能力標(biāo)準(zhǔn)、評估計劃、評估工具、相關(guān)培訓(xùn)包的應(yīng)用信息、本次評估的標(biāo)準(zhǔn)(如“什么是好的評估工具”)。在積極參與評估活動和過程、對材料進行審閱并與標(biāo)準(zhǔn)進行比較和衡量后,做出同意/不同意其他評估人評估結(jié)果或提出改進建議的決定。如果與他人意見不一致,保持開放的心態(tài)通過討論、合作來達成共識或第3種方案。以下是對一個評估工具有效性進行評估的范例,如表2 所示。

表2 “評估工具有效性”評估表[4]Tab.2 Evaluation of the effectiveness of assessment tool[4]

3 CBA 對我國高等職業(yè)教育教學(xué)質(zhì)量評估的啟示

目前我國所提的教學(xué)評估主要是對課程教學(xué)質(zhì)量的評估,它主要是對“教師教學(xué)準(zhǔn)備質(zhì)量、教學(xué)過程質(zhì)量和學(xué)生學(xué)習(xí)質(zhì)量”三者進行綜合評價[5]。由于缺乏正確的理念引領(lǐng),我國的課程教學(xué)評估普遍以學(xué)科和教師為中心, 而非以學(xué)生為中心。評價指標(biāo)關(guān)注“所評估知識的學(xué)科系統(tǒng)性” 和“教師教什么、教的怎么樣”的評價(教學(xué)過程),而對學(xué)生“學(xué)得怎么樣”(學(xué)習(xí)結(jié)果)這一“教育根本宗旨”是否被“有效和充分地實現(xiàn)”的評價卻關(guān)注得不夠。評估工具也顯得較為有限、隨意,普遍存在“理論知識考核采用卷面測試、實踐技能考核則由任課教師自行參考制定考核標(biāo)準(zhǔn)”的現(xiàn)象。各高校各專業(yè)各門課程的教學(xué)質(zhì)量評價指標(biāo)和評估工具都是各自開發(fā),無論從橫向還是縱向?qū)Ρ? 互相之間都缺乏可比性。從全國來看則缺乏權(quán)威、統(tǒng)一的評價指標(biāo)體系,容易造成教學(xué)質(zhì)量評估工作中的人、財、物等社會資源的嚴(yán)重浪費。

反觀CBA 的最大優(yōu)點和突出特征: CBA 基于AQF 的能力單元來開發(fā)評估工具、制定能力矩陣,讓評估材料的所有要求的任務(wù)與能力單元的所有能力一一對應(yīng),這就保證了評估材料能覆蓋到能力單元的每一項;綜合采用直接和間接證據(jù)及多種評估方式,有效保障了評估的科學(xué)性,以及評估結(jié)論在全國范圍內(nèi)的權(quán)威性、統(tǒng)一性、可比性。這也便利了被評估者在全國范圍內(nèi)的就業(yè)流動和職業(yè)發(fā)展。

這種系統(tǒng)化、科學(xué)性、規(guī)范性、權(quán)威性正是我國目前職業(yè)教育質(zhì)量評估的短板所在。雖然CBA是澳大利亞各種RTO 為“主動申請資格評估者(客戶)”所提供的一項收費服務(wù),以對職業(yè)資格能力(包括知識技能和態(tài)度三方面)的評估為主,但仍然可以為我國高等職業(yè)教育的教學(xué)質(zhì)量評估提供一定的參考意義。尤其在建立全國統(tǒng)一的課程能力單元、制作能力矩陣圖、開發(fā)評估工具和進行評估工具的常規(guī)化系統(tǒng)持續(xù)改進方面值得我國借鑒。