基于能力導(dǎo)向的職業(yè)院校學(xué)生COMET職業(yè)能力測(cè)評(píng)命題方法研究

王榮秀　楊生明　陳晨

【摘 要】本文闡述目前國(guó)內(nèi)對(duì)學(xué)生職業(yè)能力的測(cè)試方式主要有職業(yè)技能鑒定、職業(yè)教育技能競(jìng)賽以及職業(yè)能力測(cè)評(píng)工具，針對(duì)職業(yè)教育領(lǐng)域?qū)W(xué)生能力測(cè)評(píng)在題目的質(zhì)量、內(nèi)容和依據(jù)方面缺少嚴(yán)謹(jǐn)、科學(xué)的標(biāo)準(zhǔn)等問題，提出采取COMET職業(yè)能力測(cè)評(píng)試題從另一角度對(duì)我國(guó)現(xiàn)有的測(cè)評(píng)形成補(bǔ)充，并論述COMET職業(yè)能力測(cè)評(píng)的理論及實(shí)踐、COMET試題題目的類型及表達(dá)方式、COMET職業(yè)能力測(cè)評(píng)的命題關(guān)鍵。

【關(guān)鍵詞】職業(yè)教育? 學(xué)生職業(yè)能力? COMET? 能力測(cè)評(píng)? 命題方法

【中圖分類號(hào)】G? 【文獻(xiàn)標(biāo)識(shí)碼】A

【文章編號(hào)】0450-9889（2019）09C-0190-03

職業(yè)能力（competence）是特定（職業(yè)）領(lǐng)域內(nèi)的“認(rèn)知心理特征”和“發(fā)展?jié)摿Α?。由于能力概念的?fù)雜性、社會(huì)文化的多樣性、語言差異、認(rèn)識(shí)主體的知識(shí)局限性和研究視角的差異性等原因，人們對(duì)職業(yè)能力的認(rèn)識(shí)一直存在差異。自20世紀(jì)80年代以來，日益復(fù)雜的社會(huì)勞動(dòng)對(duì)勞動(dòng)者素質(zhì)和智能的要求不斷提高，職業(yè)教育質(zhì)量問題備受關(guān)注。更多的人認(rèn)為職業(yè)能力指的是人們?cè)谡鎸?shí)工作情境中整體化地解決綜合性的專業(yè)問題的能力。

職業(yè)能力是一種心理特征，是相對(duì)穩(wěn)定的。由于人的心理特質(zhì)具有比較隱蔽的特性，研究者無法對(duì)其進(jìn)行直接測(cè)量，但可以通過被試對(duì)一些刺激（如考題）的行為反應(yīng)（考試答案等）特點(diǎn)來間接推測(cè)其心理特質(zhì)的特點(diǎn)水平。并且，職業(yè)教育多是復(fù)雜、綜合且跨學(xué)科的，心理測(cè)量存在一定的難度，要保證測(cè)評(píng)結(jié)果的真實(shí)性，命題是關(guān)鍵。目前國(guó)內(nèi)推廣程度較高的職業(yè)能力測(cè)評(píng)的試題存在一定局限性。COMET職業(yè)能力測(cè)評(píng)試題能從另一角度對(duì)我國(guó)現(xiàn)有的測(cè)評(píng)形成補(bǔ)充。為力求真實(shí)反映職業(yè)教育學(xué)生職業(yè)能力水平，本文在已有測(cè)評(píng)方案基礎(chǔ)上，提出拓展COMET職業(yè)能力測(cè)評(píng)方案的研究領(lǐng)域，并針對(duì)COMET測(cè)評(píng)命題環(huán)節(jié)所產(chǎn)生的技術(shù)問題進(jìn)行分析。

一、目前國(guó)內(nèi)對(duì)學(xué)生職業(yè)能力的測(cè)試方式

目前國(guó)內(nèi)對(duì)學(xué)生職業(yè)能力進(jìn)行大規(guī)模測(cè)試的方式主要有職業(yè)技能鑒定、職業(yè)教育技能競(jìng)賽以及一些較為少用的能力測(cè)評(píng)工具。

（一）職業(yè)技能鑒定

職業(yè)技能鑒定工作是國(guó)家推行職業(yè)資格證書制度的重要環(huán)節(jié)。為提高命題水平和質(zhì)量，我國(guó)職業(yè)技能鑒定命題采用開發(fā)題庫(kù)的手段保持歷次試卷之間具有良好的連續(xù)性和穩(wěn)定性。由于題庫(kù)龐大、試題更新較為困難，我國(guó)職業(yè)技能鑒定題庫(kù)尚存在部分職業(yè)鑒定試題考核內(nèi)容與現(xiàn)代職業(yè)活動(dòng)不匹配、部分題庫(kù)資源過于陳舊、題庫(kù)建設(shè)與職業(yè)培訓(xùn)研究脫節(jié)等方面的問題。

（二）職業(yè)教育技能競(jìng)賽

職業(yè)教育技能競(jìng)賽命題的內(nèi)容主要依據(jù)競(jìng)賽規(guī)程、職業(yè)學(xué)校教學(xué)大綱和專業(yè)指導(dǎo)方案、依據(jù)目前職業(yè)崗位生產(chǎn)實(shí)際三個(gè)方面進(jìn)行確定。職業(yè)教育技能競(jìng)賽在不同地區(qū)、不同專業(yè)領(lǐng)域、不同參與對(duì)象中間掀起了不同程度的熱潮。在此背景下，部分職業(yè)教育領(lǐng)域?qū)＜覍?duì)技能競(jìng)賽的質(zhì)量提出了質(zhì)疑。

（三）職業(yè)能力測(cè)評(píng)工具

我國(guó)專門針對(duì)職業(yè)能力測(cè)評(píng)工具的研究比較少，國(guó)內(nèi)比較有影響力的北森職業(yè)測(cè)評(píng)系統(tǒng)重點(diǎn)是對(duì)職業(yè)測(cè)評(píng)工具的研究，主要用于幫助學(xué)生進(jìn)行職業(yè)生涯規(guī)劃與指導(dǎo)。北森測(cè)評(píng)專家莊明科指出，職業(yè)測(cè)評(píng)的關(guān)鍵在于四點(diǎn)：題目的信效度、題目的隱蔽度、測(cè)驗(yàn)內(nèi)容與崗位勝任力要求的匹配程度、測(cè)評(píng)使用者對(duì)測(cè)試?yán)砟畹恼J(rèn)知程度。但是，由于智能傾向及其開發(fā)的程度等其他方面也是擇業(yè)的考慮因素、缺乏對(duì)個(gè)體具體思維狀況的差異性考慮，該測(cè)評(píng)系統(tǒng)憑借被試者的性格以及動(dòng)機(jī)傾向來推測(cè)適合職業(yè)的科學(xué)性，還有待證明。

綜上，相比國(guó)內(nèi)對(duì)基礎(chǔ)教育質(zhì)量監(jiān)測(cè)和全國(guó)統(tǒng)一中、高考的研究，在職業(yè)教育領(lǐng)域?qū)W(xué)生能力測(cè)評(píng)的研究并不多，并且在題目的質(zhì)量、內(nèi)容和依據(jù)方面缺少嚴(yán)謹(jǐn)、科學(xué)的標(biāo)準(zhǔn)。

二、COMET職業(yè)能力測(cè)評(píng)理論及實(shí)踐

職業(yè)能力與職業(yè)認(rèn)同感測(cè)評(píng)項(xiàng)目（COMET）是一個(gè)起源于德國(guó)，由瑞士和南非等國(guó)家參與的國(guó)際職業(yè)教育比較研究項(xiàng)目，是繼職業(yè)資格考試、PISA測(cè)試等能力測(cè)評(píng)方法之后，以職業(yè)學(xué)校學(xué)生為主要研究對(duì)象的職業(yè)能力測(cè)評(píng)技術(shù)。德國(guó)部分職業(yè)學(xué)校電工專業(yè)的學(xué)生首先參加了測(cè)評(píng)，通過實(shí)踐證明了COMET職業(yè)能力測(cè)評(píng)在評(píng)價(jià)學(xué)生職業(yè)能力發(fā)展和對(duì)職業(yè)教育教學(xué)改革項(xiàng)目的監(jiān)控方面是一個(gè)有效的工具。

COMET職業(yè)能力測(cè)評(píng)的基礎(chǔ)是一個(gè)三維能力模型。從三個(gè)維度來描述學(xué)生的能力，現(xiàn)只從出題的角度來解讀這個(gè)模型。第一個(gè)維度是要求維度也是能力級(jí)別，我們用以評(píng)價(jià)學(xué)生表現(xiàn)出的能力類型。我們將只具備名義能力的學(xué)生稱為風(fēng)險(xiǎn)群體，其余三個(gè)能力級(jí)別分出8項(xiàng)能力指標(biāo)。這8項(xiàng)指標(biāo)對(duì)出題、評(píng)分都具有指導(dǎo)作用。第二個(gè)內(nèi)容維度決定了學(xué)生的學(xué)習(xí)范圍，學(xué)生從初學(xué)者到專家需要經(jīng)歷五個(gè)階段，在向高階段發(fā)展的時(shí)候需要經(jīng)歷四種不同程度的任務(wù)。學(xué)生的培養(yǎng)目標(biāo)定位決定了試題的難度，如果將學(xué)生的培養(yǎng)目標(biāo)定位為生手到熟手之間，我們可以選取程序性任務(wù)作為試題內(nèi)容。第三個(gè)行動(dòng)維度表示的是一個(gè)完整的工作過程，其中包括6個(gè)階段，用來評(píng)價(jià)學(xué)生是否能夠?qū)⒄麄€(gè)工作過程完整的體現(xiàn)出來?？傊缶S度決定了試題的覆蓋面和評(píng)分標(biāo)準(zhǔn)，內(nèi)容維度決定了試題的難度，行動(dòng)維度決定了試題的評(píng)分標(biāo)準(zhǔn)。

圖1? COMET職業(yè)能力模型

2008年以來北京師范大學(xué)和北京教科院在多個(gè)職業(yè)教育創(chuàng)新項(xiàng)目中引入了COMET能力測(cè)評(píng)方案，分別在北京、四川、廣東和交通部等所屬職業(yè)學(xué)校的電氣技術(shù)和汽車維修專業(yè)進(jìn)行了4次規(guī)模不等的能力測(cè)評(píng)。2013年由北京師范大學(xué)承擔(dān)的《中國(guó)現(xiàn)代職業(yè)教育質(zhì)量保障體系研究》成功立項(xiàng)教育部哲學(xué)社會(huì)科學(xué)重大課題攻關(guān)項(xiàng)目。項(xiàng)目將對(duì)建筑、護(hù)理等專業(yè)領(lǐng)域的高職學(xué)生進(jìn)行職業(yè)能力測(cè)評(píng)，COMET能力測(cè)評(píng)方案的科學(xué)性也進(jìn)一步得到了認(rèn)可。

依據(jù)三維能力模型，COMET研究者最先開發(fā)出了電工專業(yè)的4道題目，開發(fā)經(jīng)歷了一個(gè)復(fù)雜的過程，具體說來分為9個(gè)步驟：從現(xiàn)有的考試資料和課堂資料中收集考題;系統(tǒng)收集編寫測(cè)試題的創(chuàng)意;分組開發(fā)測(cè)試題目;預(yù)先挑選出適合兩類電工職業(yè)（工業(yè)電工和手工業(yè)電工）的試題;開發(fā)小組評(píng)價(jià)試題在兩個(gè)測(cè)試時(shí)間點(diǎn)是否都適用;對(duì)所有12道試題進(jìn)行預(yù)測(cè)試，并對(duì)預(yù)測(cè)試結(jié)果進(jìn)行評(píng)定;選出4道用于正式測(cè)試的題目;根據(jù)預(yù)測(cè)試結(jié)果，對(duì)測(cè)試題進(jìn)行修改（如詳細(xì)描述情境或添加照片）;將測(cè)試題目用于正式測(cè)試。

三、COMET試題題目的類型及表達(dá)方式

（一）題目的類型

COMET試題屬于開放性試題，與常規(guī)考試不同的是，試題沒有一個(gè)固定的標(biāo)準(zhǔn)答案。學(xué)生在設(shè)計(jì)方案的過程中不僅要根據(jù)題目的情境來設(shè)計(jì)方案，與此同時(shí)還要考慮方案中對(duì)8項(xiàng)指標(biāo)的體現(xiàn)，以及工作過程的完整性。每道試題在開發(fā)過程中會(huì)對(duì)應(yīng)開發(fā)出一個(gè)“解題空間”，便于評(píng)分老師理解評(píng)分指標(biāo)、統(tǒng)一評(píng)分標(biāo)準(zhǔn)。

（二）設(shè)計(jì)測(cè)試題目的任務(wù)表述

在編寫測(cè)試題目時(shí)，應(yīng)避免出現(xiàn)明顯的幫助和提示性的信息。有一些題目，僅從任務(wù)要求中就能基本確定解決問題的途徑，這時(shí)應(yīng)當(dāng)采用簡(jiǎn)短的描述方式，以避免提供暗示。每道測(cè)試題目都配有相應(yīng)的情境描述，包括測(cè)試任務(wù)的背景情況等。背景描述應(yīng)貼近現(xiàn)實(shí)，盡量配有圖示（如照片、功能圖等），便于學(xué)生理解。測(cè)試題目和情境描述不給出詳細(xì)的規(guī)定，而是以使用價(jià)值為導(dǎo)向的。

被試者在給出的解決方案中，不僅要利用草圖、文字描述、表格和清單等技術(shù)語言說明解決問題的方式方法，還應(yīng)當(dāng)向客戶詳細(xì)闡述其理由。

這與企業(yè)的真實(shí)工作任務(wù)不完全相同。我們之所以要求被試者全面詳細(xì)地說明他們提出的解決方案的理由，正好說明這只不過是一道測(cè)試題目而已。而在實(shí)際工作中，往往只看工作結(jié)果。如專業(yè)人員在完成工作任務(wù)時(shí)，并不是每次都要詳細(xì)說明自己為什么要這樣做而不那樣做。一般只有當(dāng)委托方或客戶詢問時(shí)，他才會(huì)解釋選擇這一方案的原因。要求被試者詳細(xì)說明解決方案的理由，可以降低測(cè)試評(píng)卷工作的難度，并提高評(píng)分者信度值。

四、COMET職業(yè)能力測(cè)評(píng)的命題關(guān)鍵

（一）情境的構(gòu)建

COMET測(cè)評(píng)方案試題以通過實(shí)踐專家研討會(huì)開發(fā)出來的典型工作任務(wù)為基礎(chǔ)，它不僅要反映職業(yè)的需求，并且有充分的開放度，從而保證其解決方案能夠反映出職業(yè)能力的高低。羅特等（Rothe、Schindler，1996）的實(shí)證研究證明，通過完成職業(yè)的典型任務(wù)可以對(duì)職業(yè)能力進(jìn)行評(píng)價(jià)?？忌鉀Q問題的方式可以揭示其解決問題的職業(yè)學(xué)習(xí)策略、專業(yè)工作策略和專業(yè)合作策略，從而按照解釋學(xué)方法對(duì)考生解決方案進(jìn)行解讀，可以確定其職業(yè)能力的發(fā)展?fàn)顩r。

1.真實(shí)。COMET試題來源于從實(shí)踐專家研討會(huì)中總結(jié)歸納出的典型工作任務(wù)。強(qiáng)調(diào)試題情境的真實(shí)性亦是從根源上控制測(cè)試指標(biāo)的準(zhǔn)確度。因而在出題過程中需要具有10年左右施工經(jīng)驗(yàn)的工程師介入，對(duì)所開發(fā)試題進(jìn)行真實(shí)性的考驗(yàn)。

2.復(fù)雜。測(cè)試題目都是需要學(xué)生完成方案的設(shè)計(jì)，這要求題目所創(chuàng)建的情境具有相當(dāng)程度的復(fù)雜性，也就是情境中需要對(duì)發(fā)生事件的客觀現(xiàn)象進(jìn)行較為生動(dòng)復(fù)雜的描述。保證學(xué)生能夠在大腦中最大限度地還原施工現(xiàn)場(chǎng)，從而進(jìn)入“工作模式”而不是答題模式。

3.開放。題目應(yīng)該給出一個(gè)開放性的答題空間，盡管COMET測(cè)評(píng)方案強(qiáng)調(diào)要給出相當(dāng)程度的復(fù)雜信息供學(xué)生自行獲取，考查學(xué)生對(duì)信息的敏感度。也要給出一定的缺口，讓學(xué)生可以選擇他認(rèn)為最合適的解決辦法、路徑和工具等，答案并不唯一。

（二）從答題角度看命題要求

從學(xué)生答題的角度來看試題的構(gòu)成能有效反推出試題開發(fā)中需要注意的問題和關(guān)鍵。根據(jù)COMET測(cè)評(píng)方案的三維基礎(chǔ)模型中的行動(dòng)維度，學(xué)生在答題過程中要體現(xiàn)出完整的工作過程6個(gè)環(huán)節(jié)，其中“資訊”環(huán)節(jié)最容易受到題目給出的信息及表述方式的影響。

要完成答題，學(xué)生首先要做的是資訊，即獲取信息。這一步也是學(xué)生能否答好題目的關(guān)鍵。題目要給出足夠多的信息，一方面增加題目的復(fù)雜程度，另一方面給學(xué)生一定的啟發(fā)（比如建工專業(yè)，將情境建立在“上?！保鸵紤]淤泥地質(zhì)和地下水的問題）。要讓“敏感度”更高的學(xué)生能夠獲取到比其他學(xué)生更多的有用信息。但不要將問題細(xì)化，固定學(xué)生的作答方式，要讓學(xué)生可以自己組織答題的模式和順序。盡可能給出足夠的信息點(diǎn)，讓學(xué)生自主從中挑選他認(rèn)為有用的、有價(jià)值的信息，從而建立一個(gè)自己的信息庫(kù)，保證學(xué)生資訊環(huán)節(jié)的豐富性、自主性和完整性。除此之外，為保證學(xué)生能夠有足夠的空間來完成“資訊”，應(yīng)避免在一道題目中分項(xiàng)提問的傳統(tǒng)提問方式。試題在開頭要營(yíng)造一個(gè)真實(shí)的情境，設(shè)計(jì)真實(shí)的顧客名稱、真實(shí)工作會(huì)遇到的復(fù)雜問題，將學(xué)生引入工作模式而不是答題模式。與普通考試題目不同的是，COMET試題強(qiáng)調(diào)真實(shí)情境的建立。

學(xué)生通過題目獲取信息之后，要從獲取的信息中提取出 “有用”的部分，設(shè)計(jì)工作的步驟、內(nèi)容以及工具等細(xì)節(jié);從多種解決方式中選擇他認(rèn)為最“適合”當(dāng)時(shí)情景的方式方法、工藝、工具、流程和8項(xiàng)評(píng)分指標(biāo)（COMET能力測(cè)評(píng)的8項(xiàng)評(píng)分指標(biāo)：功能性、直觀性、經(jīng)濟(jì)性、使用價(jià)值導(dǎo)向、企業(yè)生產(chǎn)流程和工作過程導(dǎo)向、環(huán)保性、創(chuàng)造性、社會(huì)接受度）。如果在預(yù)測(cè)試中，最好的學(xué)生也無法在答題過程中完全達(dá)到以上要求，有可能是題目的相關(guān)條件太少或者表達(dá)得過于隱晦。反之，如果學(xué)生成績(jī)普遍偏好，則有可能是題目難度太低。為保證學(xué)生成績(jī)能夠處于正態(tài)分布，命題小組就需要根據(jù)學(xué)生的答題情況對(duì)題目進(jìn)行修改。

職業(yè)教育學(xué)生職業(yè)能力測(cè)評(píng)的命題研究是職業(yè)教育質(zhì)量保障體系建設(shè)的重要環(huán)節(jié)，是國(guó)內(nèi)外職業(yè)教育研究的熱點(diǎn)。COMET測(cè)評(píng)方案因在實(shí)踐中獲得的成績(jī)，影響范圍正在擴(kuò)大，希望今后能夠繼續(xù)拓展其在更多專業(yè)領(lǐng)域的覆蓋面、確保其命題環(huán)節(jié)的嚴(yán)謹(jǐn)、科學(xué)，能夠從另一角度對(duì)我國(guó)現(xiàn)有的測(cè)評(píng)形成補(bǔ)充，從而真實(shí)反映職業(yè)教育學(xué)生的職業(yè)能力水平。

【參考文獻(xiàn)】

[1]費(fèi)利克斯·勞耐爾，趙志群，吉利.職業(yè)能力與職業(yè)能力測(cè)評(píng)：KOMET的理論基礎(chǔ)與方案[M].北京：清華大學(xué)出版社，2010

[2]人民教育出版社組.心理統(tǒng)計(jì)與測(cè)量[M].北京：人民教育出版社，2008

[3]史術(shù)高，甘昌意.論改進(jìn)職業(yè)技能鑒定省級(jí)題庫(kù)建設(shè)的措施和方法[J].職業(yè)，2008（12）

[4]中國(guó)大學(xué)生就業(yè).樹立職業(yè)規(guī)劃意識(shí) 完善就業(yè)指導(dǎo)工作：北森朗途職業(yè)測(cè)評(píng)系統(tǒng)在中國(guó)海洋大學(xué)的使用[J].中國(guó)大學(xué)生就業(yè)，2006（16）

[5]趙志群，莊榕霞.職業(yè)院校學(xué)生職業(yè)能力測(cè)評(píng)的實(shí)證研究[M].北京：清華大學(xué)出版社，2010

【作者簡(jiǎn)介】王榮秀（1989— ），女，廣西柳州人，柳州鐵道職業(yè)技術(shù)學(xué)院教務(wù)處講師，研究方向：學(xué)生職業(yè)能力測(cè)評(píng);楊生明（1989— ），男，云南大理人，柳州鐵道職業(yè)技術(shù)學(xué)院建筑技術(shù)學(xué)院助理工程師，研究方向：鐵道工程;陳 晨（1991— ），女，湖南湘潭人，柳州鐵道職業(yè)技術(shù)學(xué)院建筑技術(shù)學(xué)院助教，研究方向：鐵道工程。

（責(zé)編 王 一）