基于計(jì)算機(jī)的PISA2015協(xié)作問題解決能力測試

杜盟 楊濤 辛濤

（北京師范大學(xué)，北京 100875）

在教育和工作中，協(xié)作問題解決（collaborative problem solving）是一項(xiàng)十分重要的能力。在未來的職業(yè)生涯中，學(xué)生需要較強(qiáng)的團(tuán)隊(duì)協(xié)作能力，以解決工作中的難題[1]。不僅如此，協(xié)作問題解決技能對(duì)于個(gè)人的活動(dòng)也至關(guān)重要。為此，2015年的國際學(xué)生評(píng)估項(xiàng)目（Program for International Student Assessment，PISA）進(jìn)行了協(xié)作問題解決能力測試。協(xié)作問題解決是交互的，在測試中既要考慮到學(xué)生如何理解問題，又要兼顧學(xué)生與他人的互動(dòng)過程。協(xié)作問題解決概念的核心是在團(tuán)隊(duì)中能夠熟練處理不同環(huán)境的新問題，傳統(tǒng)的紙筆測驗(yàn)無法進(jìn)行此類過程性的評(píng)價(jià)。PISA2015基于計(jì)算機(jī)開展協(xié)作問題解決能力測試，是一項(xiàng)創(chuàng)新之舉。

1 PISA2015協(xié)作問題解決能力測試框架

在PISA2012個(gè)人問題解決的框架中，問題背景（problem context）、問題狀況的本質(zhì)（nature of problem situation）、問題解決過程（problem solving process）是3個(gè)重要的概念[2]。PISA2015協(xié)作問題解決能力測試沿用了PISA2012個(gè)人問題解決中的問題解決過程，即探索與理解、表征與制定、計(jì)劃與執(zhí)行以及監(jiān)控與反思[1]。此外，PISA2015協(xié)作問題解決能力測試還涵蓋了協(xié)作能力的考查，并參照相關(guān)研究成果，提煉出協(xié)作問題解決能力的3個(gè)核心特征，即建立并達(dá)成共識(shí)、采取合適的行動(dòng)解決問題以及建立和維持團(tuán)隊(duì)組織形式[1]。在協(xié)作問題解決中，考生必須同時(shí)展現(xiàn)個(gè)人問題解決過程與協(xié)作問題解決能力。4個(gè)問題解決的過程與3種核心的協(xié)作問題解決能力交織形成了12種類型的技能矩陣。在協(xié)作問題解決能力測試中，每道題目都會(huì)考查一個(gè)或者多個(gè)技能，通過安排多種任務(wù)最后完成上述12種能力的測評(píng)。

2 PISA2015協(xié)作問題解決能力測試的工具分析

2.1 PISA2015協(xié)作問題解決能力測試的結(jié)構(gòu)

PISA2015共開發(fā)了3套測試考生協(xié)作問題解決能力的測驗(yàn)，每個(gè)測驗(yàn)都由一些單元（unit）組成，每個(gè)單元的設(shè)計(jì)均為考生與計(jì)算機(jī)“代理人”互動(dòng)的場景。這些單元的題目通常需要在固定的時(shí)間（5～20 min）內(nèi)作答完畢，每個(gè)單元可以由多個(gè)部分（part）組成，每個(gè)部分包括10～30道題目。有些題目要求考生通過點(diǎn)擊某個(gè)選項(xiàng)實(shí)現(xiàn)與“代理人”的對(duì)話，另一些題目則要求考生點(diǎn)擊某個(gè)區(qū)域并根據(jù)與“代理人”合作收集的信息提供問題的解決方案。

2.2 PISA2015協(xié)作問題解決能力測試的“代理人”設(shè)計(jì)

在PISA2015協(xié)作問題解決能力測試中，計(jì)算機(jī)“代理人”扮演了很重要的角色。這里，“代理人”指的是人類或計(jì)算機(jī)模擬的參與者。這2種情況的“代理人”都能夠生成目標(biāo)，執(zhí)行操作，傳達(dá)消息，對(duì)來自其他參與者的消息作出反應(yīng)，還能感知、適應(yīng)不斷變化的環(huán)境[3]。選擇計(jì)算機(jī)“代理人”與考生進(jìn)行互動(dòng)的原因是，計(jì)算機(jī)“代理人”更能被精確地控制，并改變其狀態(tài)與特征，從而保證測試的可操作性，在有效的時(shí)間內(nèi)考查考生協(xié)作問題解決能力的各個(gè)方面。每個(gè)單元都會(huì)有一個(gè)或更多的“代理人”與考生合作，考生或“代理人”在每個(gè)問題階段下的交流與操作都會(huì)被預(yù)先確定，從而確保能夠客觀評(píng)價(jià)考生所有的作答反應(yīng)。不同考生的反應(yīng)可能會(huì)導(dǎo)致“代理人”選擇不同的談話路徑或不同的操作，例如，“代理人”可以根據(jù)考生的選擇增加或減少任務(wù)，或者根據(jù)考生的請(qǐng)求額外提供一些信息。

為在不同的環(huán)境中考查考生的協(xié)作問題解決能力，考生需與不同的“代理人”合作，從而覆蓋協(xié)作問題解決能力中的各項(xiàng)技能。例如，一道題目要求考生監(jiān)督其他“代理人”的工作，當(dāng)“代理人”偏離任務(wù)時(shí)，考生應(yīng)提醒他根據(jù)任務(wù)要求進(jìn)行討論，并提供一些反饋信息使其明確討論的重點(diǎn)。這道題目測量考生協(xié)作問題解決中監(jiān)控、提供反饋以及適應(yīng)團(tuán)隊(duì)組織和角色的技能。有的任務(wù)還涉及高協(xié)作性“代理人”（支持、贊揚(yáng)其他團(tuán)隊(duì)成員）或低協(xié)作性“代理人”（打斷、否定其他團(tuán)隊(duì)成員）與考生產(chǎn)生意見不一致的情境，如2個(gè)“代理人”都達(dá)成了一致的想法，但是這個(gè)想法違背了任務(wù)要求，此時(shí)考生需要提醒團(tuán)隊(duì)成員按照既定的標(biāo)準(zhǔn)完成任務(wù)。這道題目考查考生協(xié)作問題解決中監(jiān)控和完善共同理解的技能[4]。

2.3 PISA2015協(xié)作問題解決能力測試的題目設(shè)計(jì)

PISA2015協(xié)作問題解決能力測試中有一個(gè)標(biāo)題為The Visit的單元[4]，包括3部分44道題目，考生平均完成的時(shí)間為17分鐘。該單元的任務(wù)情境是一群國際學(xué)生來參觀學(xué)校，考生必須與3名代理隊(duì)員合作，計(jì)劃參觀的景點(diǎn)，為參觀者分配導(dǎo)游，解決突發(fā)事件。相關(guān)題目會(huì)顯示在計(jì)算機(jī)界面上，界面的左側(cè)是聊天區(qū)域，下方呈現(xiàn)了一組聊天選項(xiàng)，考生需要選擇最合適的語句與“代理人”進(jìn)行對(duì)話。隨后，選擇的選項(xiàng)會(huì)呈現(xiàn)在上方的聊天記錄中，“代理人”會(huì)根據(jù)考生的選項(xiàng)主動(dòng)作出回應(yīng)，學(xué)生也可以滾動(dòng)瀏覽歷史記錄以獲取需要的信息。因?yàn)榭忌诿康李}目上的選擇不盡相同，所以一個(gè)單元最終會(huì)有多條的路徑結(jié)果。為了防止任何不正確或欠佳的選擇影響學(xué)生在任務(wù)中的進(jìn)展，每個(gè)單元都設(shè)計(jì)了救援代理以更改團(tuán)隊(duì)的行動(dòng)進(jìn)程，確保測評(píng)能繼續(xù)進(jìn)行[5]。界面的右邊是任務(wù)區(qū)域，在該區(qū)域?qū)W生可以查看“代理人”的筆記，關(guān)注任務(wù)的進(jìn)度，為完成任務(wù)進(jìn)行各項(xiàng)操作。

PISA2015協(xié)作問題解決能力的題目設(shè)計(jì)具有以下特點(diǎn)：1）互動(dòng)性?？忌ㄟ^與“代理人”溝通交流，可以實(shí)現(xiàn)信息的共享與交換。在交換信息的過程中，考生更易發(fā)現(xiàn)自己的問題，從而有效地解決問題。2）多樣性。題目不僅包含了多種任務(wù)類型，如拼圖（jigsaw）、建立共識(shí)（consensus-building）與協(xié)商（negotiation），而且問題的解決方案也不止一種，在達(dá)成最終的解決方案前考生可以作出不同的決定。3）真實(shí)性。所有的任務(wù)均為真實(shí)的生活場景，如帶領(lǐng)外國同學(xué)參觀景點(diǎn)，回答某個(gè)國家的地理、人口與經(jīng)濟(jì)學(xué)的相關(guān)問題等，使得測評(píng)可以更加接近學(xué)生的真實(shí)技能。4）動(dòng)態(tài)性。學(xué)生和小組成員不是在一開始就接收到所有的問題解決信息，而是隨著場景與問題的展開陸續(xù)地收到重要信息，不同的狀態(tài)對(duì)應(yīng)的題目難度也不盡相同。這種設(shè)計(jì)更能反映出不同水平考生的協(xié)作問題解決能力。

3 基于計(jì)算機(jī)的協(xié)作問題解決能力測試的特點(diǎn)

3.1 公平性

協(xié)作問題解決的本質(zhì)是團(tuán)隊(duì)成員間的相互依賴，成功解決問題很大程度上依賴于每一個(gè)團(tuán)隊(duì)成員的合作努力。在測試環(huán)境中，考生如果被分到一個(gè)有問題的小組，那么這個(gè)小組就會(huì)對(duì)這位考生的成績有十分消極的影響。有研究表明，小組的構(gòu)成對(duì)于考生的成績有很大的影響，特別是性別的平衡、能力、個(gè)性與地位特點(diǎn)[6-8]。為確保測驗(yàn)的公平性，需要將每一位考生匹配到具有相同數(shù)量的成員組，且這些成員的能力是在相同的范圍內(nèi)。PISA測試作為國際大規(guī)模測試，很難隨機(jī)匹配到具有上述要求的真實(shí)考生。因此，用計(jì)算機(jī)“代理人”作為測評(píng)協(xié)作問題解決能力的方法可以確保整個(gè)團(tuán)隊(duì)成員的能力都在一定范圍內(nèi)，在實(shí)現(xiàn)了測驗(yàn)公平性的同時(shí)，也確保了測驗(yàn)的高度標(biāo)準(zhǔn)化。

3.2 全面性

基于計(jì)算機(jī)的協(xié)作問題解決能力測試可以確保考生和多種類型的小組進(jìn)行工作，從而可以測評(píng)出學(xué)生更多的能力。傳統(tǒng)的人與人合作的表現(xiàn)性評(píng)價(jià)形式導(dǎo)致考生面對(duì)的小組成員是固定且有限的，只能在一個(gè)情境中考查學(xué)生的協(xié)作問題解決能力；而基于計(jì)算機(jī)測試的這種形式會(huì)生成不同類型（如高協(xié)作型和低協(xié)作型）的計(jì)算機(jī)“代理人”，他們可以在不同情境與不同任務(wù)類型中與考生進(jìn)行團(tuán)隊(duì)合作。在執(zhí)行任務(wù)時(shí)，計(jì)算機(jī)系統(tǒng)還會(huì)給考生設(shè)定不同的任務(wù)角色，如某個(gè)任務(wù)可能要求考生扮演監(jiān)督“代理人”的角色，其他的任務(wù)可能是學(xué)生和“代理人”產(chǎn)生分歧的同伴角色，相比于傳統(tǒng)的人人互動(dòng)，計(jì)算機(jī)測試可以更全面考查學(xué)生的協(xié)作問題解決能力。

3.3 高效性

當(dāng)考生與其他真實(shí)的學(xué)生相互合作時(shí)，通常會(huì)需要相當(dāng)長的時(shí)間來介紹活動(dòng)的要求，討論合作任務(wù)的性質(zhì)并分配任務(wù)角色。同時(shí)，小組成員間還可能需要花費(fèi)大量的時(shí)間來追求一個(gè)徒勞的問題解決路徑。在基于計(jì)算機(jī)測評(píng)的過程中，“挽救代理人”會(huì)通過有策略性的對(duì)話管理，快速融入到合作情境中來實(shí)現(xiàn)合作互動(dòng)的嚴(yán)格控制，從而能夠在測試時(shí)間有限的情況下獲得大量的有效評(píng)估事件。例如，當(dāng)小組把太多的時(shí)間花費(fèi)在一個(gè)無意義的解決路徑上時(shí)，“挽救代理人”會(huì)重新調(diào)整小組行動(dòng)方案的方向，確保測試未偏離最初的測試目的，以高效準(zhǔn)確地測試學(xué)生的協(xié)作問題解決能力。

4 啟示

PISA2015年對(duì)于學(xué)生的協(xié)作問題解決能力的測評(píng)完全脫離了傳統(tǒng)的紙筆測驗(yàn)，且全部題目均以基于計(jì)算機(jī)化的形式呈現(xiàn)。反觀目前我國的大規(guī)模教育質(zhì)量測評(píng)形式，主要還是集中在紙筆測驗(yàn)，未來可以考慮根據(jù)不同的測驗(yàn)?zāi)繕?biāo)開展不同形式的測驗(yàn)，以更加全面地測評(píng)出學(xué)生的表現(xiàn)，進(jìn)而準(zhǔn)確地評(píng)估學(xué)生在某一方面的真實(shí)能力。

PISA2015協(xié)作問題解決能力測試在題目的設(shè)計(jì)上采用短語對(duì)話的方式來進(jìn)行考生和計(jì)算機(jī)代理之間的交流（預(yù)設(shè)的固定單詞和短語在每個(gè)情境下以菜單的形式顯示，考生通過選擇這些單詞和短語來構(gòu)建對(duì)話）。這種設(shè)計(jì)可以避免考生把大量的時(shí)間花費(fèi)在無意義的對(duì)話上，且設(shè)置的對(duì)話均與某種協(xié)作問題解決的能力相關(guān)，使得測驗(yàn)可以高效地進(jìn)行。而且，固定的短語選項(xiàng)保證了評(píng)分的客觀性，明確的材料與簡短的任務(wù)描述均可減少考生對(duì)于閱讀熟練程度的依賴性，保證了測驗(yàn)的公平。我國在進(jìn)行大規(guī)模的能力測驗(yàn)時(shí)也可以借鑒這種題目的呈現(xiàn)方式，從而保證測驗(yàn)的效率、客觀性與公平性。

此外，我國在進(jìn)行大規(guī)模監(jiān)測時(shí)需加強(qiáng)測量理論與信息技術(shù)的融合，加入人工智能等高新科技來實(shí)現(xiàn)監(jiān)測技術(shù)的變革與創(chuàng)新，使我國的教育質(zhì)量評(píng)估在學(xué)生眼中不再是枯燥的考試，而是讓他們樂在其中并不斷獲得知識(shí)的游戲，進(jìn)而提高學(xué)生的投入度與參與度，真實(shí)有效地達(dá)到測試目的。