基于輸出的本科工科教育評估

Said+Easa+陳寶春+趙秋

摘要：基于輸出的評估（ OBA ）是為確保工科專業(yè)畢業(yè)生獲得成功職業(yè)生涯所具有的技能和知識的一種新的評估方法。目前，有15個國家或地區(qū)簽署了執(zhí)行這種評估方法的“華盛頓協(xié)議”。中國已經(jīng)開始應(yīng)用這種評估方法，可以預(yù)見在未來的幾年也將執(zhí)行這樣的協(xié)議。除了傳統(tǒng)的以輸入為基礎(chǔ)的評估標(biāo)準(zhǔn)，OBA代表一種新的工科專業(yè)教育的評估標(biāo)準(zhǔn)。文章首先介紹了國外在執(zhí)行OBA過程中的經(jīng)驗(yàn)，并簡短地描述了評估過程原理，包括管理組織機(jī)構(gòu)、評估原理、評估設(shè)計、數(shù)據(jù)收集和分析，以及通過反饋進(jìn)行持續(xù)的改進(jìn)。福州大學(xué)土木工程學(xué)院將OBA應(yīng)用于評估路橋?qū)I(yè)學(xué)生的口述表達(dá)能力。由于OBA在各個國家是相似的，當(dāng)中國科技協(xié)會強(qiáng)制要求各高校執(zhí)行OBA時，這篇文章將有助于中國各地高校順利地實(shí)施。

關(guān)鍵詞：工程教育；教育評估；華盛頓協(xié)議

中圖分類號：G64922 文獻(xiàn)標(biāo)志碼：A 文章編號：1005-2909（2014）04-0009-06

基于輸出的評估（OBA）利用以往的經(jīng)驗(yàn)慎重地選擇用于評估的結(jié)果，包括一系列在本科生畢業(yè)時應(yīng)獲得的知識和技能。當(dāng)他們即將畢業(yè)準(zhǔn)備開始自己的職業(yè)生涯時，這些技能和知識將給予他們幫助。OBA補(bǔ)充了側(cè)重于提供學(xué)生資源的以輸入為基礎(chǔ)的傳統(tǒng)評估，例如，對特定的知識點(diǎn)，學(xué)生在課堂上花費(fèi)的課時數(shù)。

華盛頓協(xié)議（WA）要求其簽署國或地區(qū)執(zhí)行以輸出為基礎(chǔ)的教育模式 [1]。該協(xié)議于1989年由6個國家（美國、加拿大、英國、澳大利亞、愛爾蘭和新西蘭）首先簽定。WA是一個國際認(rèn)可的協(xié)議，任何簽約國或地區(qū)的畢業(yè)生通過該協(xié)議的評估，都會被其他簽約國或地區(qū)承認(rèn)具有符合進(jìn)入工程實(shí)踐能力的學(xué)歷要求。許多國家為了加入該協(xié)議轉(zhuǎn)變?yōu)橐暂敵鰹槟繕?biāo)的評估，以便在全球工程師的流動中受益。在1995—2006年期間，有4個國家或地區(qū)加入了該協(xié)議（中國香港、南非、日本和新加坡），隨后于2007—2012年，又有5個國家或地區(qū)（中國臺灣、韓國、馬來西亞、俄羅斯和土耳其）也加入了該協(xié)議。目前的15個簽署成員和其代表組織見表1。

WA同時還包括6個具有臨時身份的成員（孟加拉國、中國、印度、巴基斯坦、菲律賓和斯里蘭卡）。這些國家表明，他們的認(rèn)證系統(tǒng)和上述簽署國家或地區(qū)相類似，有潛力發(fā)展成為以輸出為基礎(chǔ)的評估體系。作為臨時身份的成員需要有多于2/3的正式成員認(rèn)可。臨時身份成員要成為正式成員之前需要為OBA制定標(biāo)準(zhǔn)、政策和規(guī)程，另外，申請必須獲得兩個正式成員國家或地區(qū)推薦。該過程還包括需要到申請國家或地區(qū)進(jìn)行考察訪問并給出考察報告。接受新的正式成員需要所有成員一致認(rèn)可。需要注意的是，中國是持有“華盛頓協(xié)議”臨時身份的國家，代表組織是中國科學(xué)和技術(shù)協(xié)會（CA）。

一、管理組織機(jī)構(gòu)

在學(xué)院或?qū)W校層面上，評估過程的管理組織機(jī)構(gòu)包括：質(zhì)量保證（QA）委員會、工作組和QA協(xié)調(diào)人。QA委員會包括學(xué)院院長或?qū)W校校長、聯(lián)系人、分管本科教學(xué)和研究的副院長、學(xué)院或?qū)W校的代表（圖書館、計算機(jī)中心、科研和教學(xué)辦公室、健康和安全辦公室、學(xué)生）。工作組（任何一個工程系）將包括系主任、副主任和選定的將進(jìn)行評估的教師，也可根據(jù)需要設(shè)立其他工作組。例如，所有公共專業(yè)基礎(chǔ)課程工作組。

在協(xié)調(diào)人與該委員會合作的過程中，主要職責(zé)包括：監(jiān)督評估過程；負(fù)責(zé)與一些工作組的協(xié)調(diào)會議，作為代表提供指導(dǎo)和回答問題；響應(yīng)委員會提出的倡議，接收反饋信息（約每月一次）；為解釋一些評估品質(zhì)作準(zhǔn)備；在評估過程中解決可能出現(xiàn)的問題；為一些評估教師解釋有關(guān)評估方面事宜。

二、評估流程

在評估的第一年，評估過程包括以下任務(wù)（圖1）：

（1）確定專業(yè)目標(biāo)和計劃；

（2）制定畢業(yè)生品質(zhì)要求和指標(biāo)；

（3）制定總課程圖；

（4）制定評估時間表；

（5）評估方案設(shè)計；

（6）收集和分析數(shù)據(jù)；

（7）結(jié)果反饋與教學(xué)改進(jìn)。

在隨后的幾年中，任務(wù)（2）～（5）是重復(fù)的，指標(biāo)、總課程地圖和評估方案可以修改，評估時間表要落實(shí)。任務(wù)（1）每三年修訂一次。

圖1中有陰影的任務(wù)是以學(xué)院或?qū)W校的層面來執(zhí)行，而其他活動以專業(yè)或系的層面來進(jìn)行。學(xué)院層面的活動包括制定和每一個品質(zhì)相關(guān)的共有指標(biāo)，制定一個共同的評估時間表和共同的間接評估方法。重要的是要得到委托方和利益相關(guān)者（包括顧問委員會和教職工）的反饋信息。

（一）制定專業(yè)目標(biāo)和計劃

專業(yè)目標(biāo)和計劃與以輸出為基礎(chǔ)的評估是沒有直接關(guān)系的。然而，他們將根據(jù)工科專業(yè)的變化和評估信息的反饋而進(jìn)行檢驗(yàn)和修訂。許多加拿大大學(xué)對那些與畢業(yè)生評估品質(zhì)有聯(lián)系的專業(yè)目標(biāo)進(jìn)行內(nèi)部審查。在美國，專業(yè)教育目標(biāo)大致描述畢業(yè)生在畢業(yè)后的幾年內(nèi)有望達(dá)到什么樣的程度。工程與技術(shù)認(rèn)證委員會（ABE）需要一個專業(yè)教育目標(biāo)的定期審查和修訂的正式記錄過程[4]。

（二）制定畢業(yè)生品質(zhì)和指標(biāo)

在加拿大和美國，畢業(yè)生品質(zhì)（學(xué)生的學(xué)習(xí)成果）被CEAB和ABE分別指定。預(yù)計中國科學(xué)技術(shù)協(xié)會將指定一組共性輸出用于中國所有的大學(xué)。這個輸出說明學(xué)生在畢業(yè)時應(yīng)該知道和能夠做什么。性能指標(biāo)所代表的知識和能力，通過學(xué)生的展現(xiàn)可以建立能力與品質(zhì)之間的聯(lián)系。引用CEAB對畢業(yè)生品質(zhì)的鑒定標(biāo)準(zhǔn)[2] 如下文所述。

（1）工程基礎(chǔ)知識：具有大學(xué)水平的數(shù)學(xué)、自然科學(xué)、工程基礎(chǔ)知識和專業(yè)工程知識。

（2）問題分析：為了得到需要證實(shí)的結(jié)論，使用適當(dāng)?shù)闹R和技能去識別、歸納、分析和解決復(fù)雜工程問題的能力。

（3）調(diào)查：具有對一個復(fù)雜問題進(jìn)行調(diào)查的能力，為了得到可靠的結(jié)論，應(yīng)用的方法包括適當(dāng)?shù)膶?shí)驗(yàn)、分析和數(shù)據(jù)解釋，以及信息綜合法。

（4）設(shè)計：解決復(fù)雜、開放式的工程問題能力。設(shè)計具有特殊要求的體系、組成或工藝的能力，如健康和安全風(fēng)險， 適用的標(biāo)準(zhǔn)， 經(jīng)濟(jì)、 環(huán)境、 文化和社會等方面的特殊要求。

（5）工程工具使用：基于對限制條件的了解，具有創(chuàng)造、選擇、應(yīng)用、擴(kuò)展適用技術(shù)、資源和現(xiàn)代工程工具的能力，以應(yīng)用于從簡單到復(fù)雜的工程活動。

（6）個人和團(tuán)隊(duì)的工作：最好是在一個多學(xué)科的設(shè)置下，作為團(tuán)隊(duì)成員和領(lǐng)導(dǎo)者具有高效工作效率的能力。

（7）溝通技巧：在行業(yè)內(nèi)和社會中溝通復(fù)雜、大型工程事務(wù)的能力。包括閱讀、寫作、交談、傾聽、理解，以及設(shè)計文檔和撰寫報告的能力，并能給予有效、明確的指示。

（8）職業(yè)素質(zhì)：了解專業(yè)工程師在社會中的角色和責(zé)任，特別是保護(hù)公眾和公眾利益方面的主要角色。

（9）工程對社會和環(huán)境的影響：分析工程活動對社會和環(huán)境影響的能力。這種能力包括了解工程和經(jīng)濟(jì)、社會、健康、安全、法律、社會文化方面的相互作用，了解這種相互作用在預(yù)測中的不確定性，了解可持續(xù)發(fā)展設(shè)計和環(huán)境管理的概念。

（10）道德與公平：具有職業(yè)道德，遵守義務(wù)，堅持公正原則。

（11）經(jīng)濟(jì)項(xiàng)目管理：適當(dāng)?shù)厝谌虢?jīng)濟(jì)和商業(yè)做法，如進(jìn)行策劃、風(fēng)險管理和改變工程管理習(xí)慣，以及了解他們的局限性。

（12）終身學(xué)習(xí)：能夠識別和應(yīng)對學(xué)生的教育需求，充分保持為知識提升作貢獻(xiàn)的能力。

正如前面提到的，在學(xué)院或?qū)W校層面，每個工科專業(yè)可以指定一個或兩個特定的品質(zhì)并要求制定相應(yīng)的指標(biāo)。每個品質(zhì)都可以有許多方面指標(biāo)的建立（例如溝通技巧，可以通過“書寫”“口語”“交流工具”“圖形”展現(xiàn) ）。所開發(fā)的指標(biāo)可以用于全部工科專業(yè)中作為公共的學(xué)院或?qū)W校的文件進(jìn)行討論和準(zhǔn)備。作為道德與公平品質(zhì)的指標(biāo)例子如下（學(xué)生具有的）：識別和理解商業(yè)管理的相關(guān)基本法律原則和法律制度、侵權(quán)行為、合同，以及其他工程師所面臨的法律問題；評估競爭的法律規(guī)定，并對這些原則問題進(jìn)行分析；評估道德風(fēng)險和工程師職業(yè)道德專業(yè)規(guī)程方面的情況；評估和運(yùn)用公平原則。

（三）制定總課程地圖

總課程地圖是一個矩陣，矩陣的行是具體課程，列是畢業(yè)生品質(zhì)。除了課程，也可以包括其他學(xué)習(xí)經(jīng)歷（如實(shí)習(xí)、合作社和課外活動）。如果有與課程相對應(yīng)的品質(zhì)，相當(dāng)于在總課程矩陣對應(yīng)單元上做一個復(fù)選標(biāo)記。每個專業(yè)教師將被邀請認(rèn)可其所負(fù)責(zé)課程在矩陣行中的復(fù)選標(biāo)記。這個矩陣可以用來確保將每個品質(zhì)輸入到所有課程中的至少一門課程中?？傉n程地圖可以識別專業(yè)的優(yōu)缺點(diǎn)。建立總課程地圖所需的資料可以參考UFW [5] 和麥格納出版物 [6] 。

（四）制定評估時間表

并非所有的品質(zhì)都在一年內(nèi)評估，最好將評估時間延長3年以上。表2顯示了CEAB評估畢業(yè)生品質(zhì)的6年認(rèn)證周期（2014—2020年）的例子。如前所述，每個品質(zhì)在評估周期過程中進(jìn)行兩次評估（每3年一次），這將提供兩輪監(jiān)測，在CEAB訪問前可對每個品質(zhì)進(jìn)行修改。此外，評估的第一年，通常需要更多關(guān)注工科專業(yè)中最弱的技能品質(zhì)。

（五）制定評估設(shè)計

此任務(wù)涉及兩個方面的內(nèi)容：選擇用于評估的課程和確定評估方法。在第一個方面，除了公共專業(yè)課程和可能在第一學(xué)年進(jìn)行評估的課程，每個專業(yè)選擇5～6個分散在大學(xué)四年的課程?？傉n程地圖是用來選擇進(jìn)行評估的專業(yè)課程。在2011—2012年期間對瑞爾森大學(xué)的土木工程課程中的第一年和中間學(xué)年的課程進(jìn)行了評估。CVL313：結(jié)構(gòu)分析；CVL420：材料力學(xué)II ；CVL553：環(huán)境科學(xué)與工程；CVL755：高級設(shè)計工程Ⅰ； CVL800：空間圖像處理和分析；CVL853：空間信息管理系統(tǒng)2；CVL855：高級設(shè)計工程II。對兩個公共專業(yè)課程同樣進(jìn)行了評估，CEN100：工程概論和CEN800：工程實(shí)踐的法律和道德。

評估方法（或手段）分為兩類：直接法和間接法。但是，每個品質(zhì)必須由一個或多個直接方法評估。直接法指期末考試、口試、題目測試、檔案分析、情景模擬和其他能通過直接詢問和行為觀察了解學(xué)生知識或技能等有關(guān)指標(biāo)的方法[7]。間接法包括對他人評價或自我報告的評估以及離校面談、校友調(diào)查、檔案記錄查閱等。Easa等人提出了評估大班的所有學(xué)生的新方法 [8-9]。

（六）收集和分析數(shù)據(jù)

在考試、作業(yè)和小測驗(yàn)等過程中通過遇到的問題可以收集到大多數(shù)品質(zhì)的數(shù)據(jù)。其他品質(zhì)可以應(yīng)用量規(guī)進(jìn)行更好地評估。例如，報告可以用來評估溝通技能品質(zhì)。量規(guī)包括三個等級（優(yōu)秀、一般、差）和五個要點(diǎn)（寫作風(fēng)格、報告重點(diǎn)和流暢性、語法、軟件的使用和圖形的使用）。以下是數(shù)據(jù)收集的一些技巧：（1）只進(jìn)行可以幫助改善專業(yè)教學(xué)的必要數(shù)據(jù)收集；（2）應(yīng)該向參加評估的教師強(qiáng)調(diào)評估的重點(diǎn)是課程本身，而不是教師；（3）采樣是可以接受的，尤其是在人數(shù)多的班級里，因?yàn)樵u估對象是課程，而不是個別學(xué)生；（4）即使OBA要求演示學(xué)生在畢業(yè)時達(dá)到畢業(yè)品質(zhì)，但所選進(jìn)行評估的課程應(yīng)跨越大學(xué)四年。

評估數(shù)據(jù)分析以圖表的形式呈現(xiàn)。例如，口頭報告可以使用量規(guī)評估，如在后面所描述的初步研究。每一個指標(biāo)量規(guī)后，結(jié)果顯示學(xué)生獲得的差、中和優(yōu)的百分比。對結(jié)果進(jìn)行評估，考慮閾值（規(guī)定指標(biāo)最低可接受的水平）與目標(biāo)值（學(xué)習(xí)能力指標(biāo)期望的水平）是十分必要的。如果表現(xiàn)是小于閾值時，將針對這個指標(biāo)對專業(yè)教學(xué)進(jìn)行改善。在同一個指標(biāo)內(nèi)的工科專業(yè)中和不同的工科專業(yè)中，閾值和目標(biāo)水平可能會有所不同。這些指標(biāo)水平可以進(jìn)行討論，并由工科專業(yè)教師確定。評估數(shù)據(jù)可以使用在工科專業(yè)中應(yīng)用比較成熟的電子表格進(jìn)行量規(guī)評估。評估數(shù)據(jù)輸入后，電子表格可以自動計算相關(guān)的統(tǒng)計數(shù)據(jù)，并輸出對評估指標(biāo)有用的圖表。

（七）改進(jìn)課程

OBA的主要目標(biāo)是不斷提高工科專業(yè)教學(xué)水平，確定專業(yè)教學(xué)的優(yōu)點(diǎn)，提出改善建議方案并實(shí)施改進(jìn)。根據(jù)評估結(jié)果，可以對所有專業(yè)課程進(jìn)行改進(jìn) [8]：（1）修改課程內(nèi)容；（2）在一個課程內(nèi)改變所用資料順序；（3）改變課程的順序或添加新課程；（4）在一個課程內(nèi)增加實(shí)驗(yàn)或討論的次數(shù)。此外，可以改變評估方案，包括指標(biāo)、課程地圖、量規(guī)評分、直接和間接的方法、數(shù)據(jù)分析和教師培訓(xùn)。

三、在福州大學(xué)的試點(diǎn)評估

雖然中國的大學(xué)還不需要正式的以輸出為基礎(chǔ)的評估，但是福州大學(xué)土木工程學(xué)院已決定進(jìn)行試點(diǎn)研究，評估畢業(yè)品質(zhì)中溝通技巧的一部分——口述表達(dá)能力。評估過程在道路與橋梁工程系生產(chǎn)實(shí)習(xí)考核環(huán)節(jié)進(jìn)行。學(xué)生在匯報時需要有九個方面的展示。按下面口頭陳述程度進(jìn)行量規(guī)評估：組織、內(nèi)容深度、語法和拼寫、溝通輔助、幻燈片視覺效果、語境、表現(xiàn)風(fēng)格和效果、連續(xù)性、時限性，圖2中分別用1～9來表示。評價有三個等級（優(yōu)秀、中等、差） ，每個等級包括相應(yīng)標(biāo)準(zhǔn)的描述。以時限性為例，如果學(xué)生的演講與規(guī)定的時間相差控制在2分鐘內(nèi)，評為優(yōu)秀；如果相差在2～5分鐘內(nèi)，評為中等；如果與規(guī)定的時間超出5分鐘，則評為差。口頭陳述由14個教職工來判斷。如果學(xué)生表現(xiàn)為差、中等、優(yōu)秀，每一位教師給出的量規(guī)得分分別為1分、2分和3分，以此來完成量規(guī)評估。

這項(xiàng)評估對每個方面提供了126個數(shù)據(jù)點(diǎn)（14名教師，9個報告）。其結(jié)果如圖2。A代表表現(xiàn)優(yōu)秀和中等學(xué)生的百分比，B代表表現(xiàn)差的學(xué)生百分比。如前所述，表現(xiàn)較差的學(xué)生在五個方面（2，3，4，5和7）小于5%，在三個方面（6，8和9）約10%～20%，在一個方面超過20%。如果閾值是20%，那么學(xué)生將需要改進(jìn)的方面主要集中在第1項(xiàng)（組織），或第6項(xiàng)（語境）和第9項(xiàng)（時限性）。在組織方面表現(xiàn)優(yōu)良學(xué)生的標(biāo)準(zhǔn)為：（1）提出一種合乎邏輯、有趣的信息。（2）使用吸引人的或深思的結(jié)局。（3）總能平順地從一個環(huán)節(jié)轉(zhuǎn)移到下一環(huán)節(jié)?；谶@些結(jié)果，道路與橋梁工程系打算為即將畢業(yè)的學(xué)生準(zhǔn)備一次或多次關(guān)于口頭陳述技能的講座，并且將口頭陳述作為1～3年級課程安排的必要條件。應(yīng)該指出的是，學(xué)生沒有了解評價內(nèi)容或量規(guī)的標(biāo)準(zhǔn)，需要向?qū)W生介紹他們口頭陳述得到反饋信息的情況。

四、結(jié)語

本文簡要介紹了本科工程教育以輸出為基礎(chǔ)評估的內(nèi)容。在評估過程中突出以下幾個重點(diǎn)非常必要。

（1）在早期應(yīng)進(jìn)行簡單的評估，一旦教師對評估過程比較熟悉以后，可以稍后進(jìn)行高級任務(wù)和過程驗(yàn)證。此外，后期工作主要集中在修改和微調(diào)評估內(nèi)容上。

（2）有些持續(xù)活動有助于評估過程，包括QA協(xié)調(diào)員和教師之間的持續(xù)互動，QA理事會例會制度，也可安排參與評估的教師幾次休假。

（3）在評估過程中，可能會遇到一些新的挑戰(zhàn)，包括教師對改變的抵觸。學(xué)院或?qū)W?？梢詫で蠊芾砘驒C(jī)構(gòu)改革專家的幫助。在評估過程中涉及的不僅是程序和方案的問題，也包括人的問題。在這方面，讀者可能會發(fā)現(xiàn)霍伊和Nault[10]所寫的關(guān)于成功地掌握改變帶來的負(fù)面影響，是一篇非常有用的文章。

（4）一旦中國成為“華盛頓協(xié)議”的成員，中國大學(xué)將必須執(zhí)行這個評估過程。筆者希望此文將提供一個工科專業(yè)基于輸出評估的框架。

參考文獻(xiàn)：

[1]International Engineering Alliance[EB/OL].[2013-03-02]. Washington Accord. http：//www.washingtonaccord.org/Washington-Accord.

[2]Canadian Engineering Accreditation Board . Accreditation Criteria and Procedures. Ottawa， Ontario， Canada，2012.

[3]Easa . Framework and guidelines for graduate attribute assessment in engineering education[J]. Can. J. Civ. Eng.， 2013（40）：547–556.

[4]Accreditation Board for Engineering and echnology. Criteria for accrediting engineering programs. Baltimore， Maryland， 2011.

[5]University of West Florida.[EB/OL].[2013-03-02]. Guidelines for curriculum maps. http：//uwf.edu/cutla/curriculum_maps.cfm.

[6]Magna Publications. Enhance learning in your courses through curriculum mapping[EB/OL]. [2013-02-20] http：//www.magnapubs.com/about-us/press-releases/110310PR/.

[7]purlin J， Rajala A， Lavelle J P. Designing better engineering education through assessment[M]. tylus Publishing， 2008.

[8]Easa M， Rosen M A， D Robert， Beaumont D R. Innovative assessment of CEAB graduate attributes in large class： Law and ethics in engineering practice[C]. Canadian Engineering Education Association Conf.

[9]Easa M. Assessing graduate attributes in large classes without sampling[Z]. Australian Association for Engineering Education， Gold Coast， Qeensland， Australia.

[10]oey J， Nault E. Barriers and challenges to assessment in engineering education[M]// Designing better engineering education through assessment. tylus Publishing， 2008.

（編輯 周 沫）