NAEP計算機(jī)交互式測評的目標(biāo)定位與試題特點分析

張春雷

NAEP計算機(jī)交互式測評的目標(biāo)定位與試題特點分析

張春雷

美國國家教育進(jìn)展評價（NAEP）采用計算機(jī)交互式任務(wù)來測評學(xué)生科學(xué)成就，其測評目標(biāo)主要定位在測量高階思維能力，如學(xué)生科學(xué)探究能力和科學(xué)論證能力等。NAEP任務(wù)設(shè)計的一般模式包括明確問題或任務(wù)、提出預(yù)期或假設(shè)、設(shè)計和模擬實驗、根據(jù)實驗數(shù)據(jù)得出結(jié)論、選擇恰當(dāng)?shù)臄?shù)據(jù)作為證據(jù)進(jìn)行科學(xué)論證五部分。NAEP的特點是試題圍繞一個中心話題進(jìn)行設(shè)計，由易到難階梯式排列，問題情境設(shè)計新穎，注重對學(xué)生作答過程的引導(dǎo)以及學(xué)生原有概念的診斷。NAEP計算機(jī)交互式任務(wù)的目標(biāo)定位與試題特點對于我們開發(fā)基于計算機(jī)的科學(xué)教育測評具有借鑒意義。

科學(xué)教育測評；科學(xué)探究與實踐；NAEP；計算機(jī)交互式任務(wù)

隨著互聯(lián)網(wǎng)的發(fā)展和計算機(jī)的普及，計算機(jī)測評已經(jīng)成為現(xiàn)代教育測評發(fā)展的一個重要方向。計算機(jī)化考試也成為當(dāng)今測評發(fā)展的大趨勢，為越來越多有國際影響力的測評項目所采用。如美國國家教育進(jìn)展評價（National Assessment of Educa?tional Progress，NAEP）就采用計算機(jī)交互式任務(wù)（Interactive Computer Task，ICT）以更好地測評學(xué)生的科學(xué)成就，其計算機(jī)交互式任務(wù)也非常具有代表性。本文以NAEP在2009年發(fā)布的計算機(jī)交互式任務(wù)為例，對其測評目標(biāo)定位與試題特色進(jìn)行分析，希望有助于明確我國未來計算機(jī)測評的發(fā)展方向，以及開發(fā)高質(zhì)量的計算機(jī)交互試題。

1 NAEP計算機(jī)交互式測評的目標(biāo)定位

NAEP是美國非常有影響力的教育評估項目，素有美國“國家教育報告卡”之稱。它最早起源于20世紀(jì)六七十年代，是美國唯一的針對多學(xué)科、多年齡段而設(shè)計的長期教育評估項目。2009年NAEP除了常規(guī)的紙筆試題之外，還采用兩種新型試題來測查學(xué)生在科學(xué)實踐中應(yīng)用科學(xué)知識的能力，也就是實作評價和計算機(jī)交互式測評。實作評價為學(xué)生展現(xiàn)科學(xué)探究方案設(shè)計以及科學(xué)實踐能力提供了機(jī)會，同時也能更好地檢測學(xué)生應(yīng)用科學(xué)知識解決真實世界情境中復(fù)雜問題的能力。計算機(jī)交互式測評則需要學(xué)生在計算模擬環(huán)境下解決科學(xué)問題，常常是在模擬自然或?qū)嶒炇噎h(huán)境下，學(xué)生需要運(yùn)用一系列科學(xué)探究技能才能完成，但又?jǐn)[脫了實作評價任務(wù)的一些局限，比如安全性、時間和經(jīng)濟(jì)成本等限制。

計算機(jī)測評的優(yōu)勢不僅在于經(jīng)濟(jì)、方便、快捷，還在于可以利用計算機(jī)模擬、仿真技術(shù)實現(xiàn)近似于真實情境下的科學(xué)實踐測評，其條件可控性以及基于數(shù)據(jù)的認(rèn)知診斷能力優(yōu)勢明顯。對于大規(guī)?？荚嚩?，基于矩陣取樣和自適應(yīng)考試技術(shù)，計算機(jī)測評可以實現(xiàn)用更少的題目、更短的時間對學(xué)生學(xué)業(yè)成就進(jìn)行更準(zhǔn)確的評估。此外，在信息呈現(xiàn)上，計算機(jī)測評也具有很強(qiáng)的交互性，可以實現(xiàn)個性化的信息呈現(xiàn)。紙筆測驗中的信息呈現(xiàn)往往是線性的、靜態(tài)的、統(tǒng)一不變的，而計算機(jī)考試中的信息呈現(xiàn)則可以是非線性的、動態(tài)的、個性化的，計算機(jī)可以根據(jù)考生操作的不同而呈現(xiàn)不同的信息，由于每個考生的關(guān)注點和操作的不同，其讀取的信息也有很大的差異。

NAEP計算機(jī)交互式任務(wù)需要學(xué)生不僅能夠應(yīng)用科學(xué)概念和原理解決探究的問題，還要能夠進(jìn)行模擬的科學(xué)實踐活動，比如測量和收集科學(xué)證據(jù)、設(shè)計和開展模擬實驗、構(gòu)建和修正科學(xué)模型等，這有助于更好地測查學(xué)生科學(xué)問題解決和科學(xué)探究等高階思維能力。那么，NAEP計算機(jī)交互式任務(wù)主要測查學(xué)生哪些方面的科學(xué)能力呢？從已發(fā)布的NAEP計算機(jī)交互式任務(wù)來看，其測查的科學(xué)探究技能主要包括：①基于研究問題提出假設(shè)；②設(shè)計實驗并操作實驗變量；③模擬實驗收集數(shù)據(jù)；④選擇數(shù)據(jù)進(jìn)行解釋；⑤基于數(shù)據(jù)得出結(jié)論或進(jìn)行科學(xué)論證。

2 NAEP計算機(jī)交互式任務(wù)案例及其一般模式

下面結(jié)合一個具體的NAEP計算機(jī)交互式任務(wù)進(jìn)行分析。這個任務(wù)是圍繞植物生長而設(shè)計，主要研究的問題是植物需要多少陽光和肥料才生長得最好。因此，該任務(wù)的名稱為“神秘的植物”（Mys?tery Plants）,主要是針對小學(xué)4年級學(xué)生設(shè)計的，規(guī)定的作答時間為40分鐘。該任務(wù)主要分為4部分，分別是任務(wù)介紹（Introduction）、操作說明（Tutorial）、實驗準(zhǔn)備（Getting Ready to Experiment）及探究任務(wù)（Inquiry Task）。每部分的內(nèi)容和功能介紹如下。

2.1 任務(wù)介紹

任務(wù)介紹是學(xué)生進(jìn)入測評程序的第一個環(huán)節(jié)，它首先明確了活動要探究的主題——植物生長，并讓學(xué)生作出自己的猜想，即在怎樣的陽光條件和肥料條件下植物可以生長得最好，然后介紹探究任務(wù)的具體情境和操作細(xì)節(jié)。

2.2 操作說明

操作說明這一環(huán)節(jié)主要為任務(wù)操作提供文字說明和動畫演示。圖文并茂、動靜結(jié)合，使學(xué)生熟悉任務(wù)結(jié)構(gòu)和相關(guān)的計算機(jī)操作。對于實驗?zāi)M的演示過程是分步進(jìn)行的，演示了每個按鈕以及操作的功能，從而促使學(xué)生更容易完成相應(yīng)的計算機(jī)操作和模擬，進(jìn)而順利完成作答。

2.3 實驗準(zhǔn)備

在正式設(shè)計和開展實驗前，學(xué)生首先要能根據(jù)植株特征及相關(guān)數(shù)據(jù)判斷植物的生長狀態(tài)是否良好。因此，該任務(wù)“實驗準(zhǔn)備”這個環(huán)節(jié)提供了健康植株和不健康植株的圖片以及相關(guān)數(shù)據(jù)，以便于學(xué)生通過觀察和數(shù)據(jù)比較，發(fā)現(xiàn)植物健康與否的判斷指標(biāo)。其中有些指標(biāo)有明顯差異，比如葉子的多少、花的多少，這些指標(biāo)可以作為植物健康狀態(tài)指標(biāo)。有些指標(biāo)則沒有顯著差異，比如植株的顏色和高矮，這些指標(biāo)就不能作為判斷植物健康狀態(tài)的指標(biāo)。掌握了判斷標(biāo)準(zhǔn)之后，學(xué)生才正式進(jìn)入后面的實驗探究任務(wù)。

2.4 探究任務(wù)

在該測試活動中，探究任務(wù)分為Part 1、Part 2、Part 3三部分。探究的問題分別是：①植物A需要多少光照長得最好；②植物B需要多少光照長得最好；③植物A需要多少肥料長得最好。在整個任務(wù)中，學(xué)生需要先提出假設(shè)，然后操作實驗變量設(shè)計和模擬實驗，收集證據(jù)檢驗自己的假設(shè)，并進(jìn)行科學(xué)論證。比如Part 1給學(xué)生提供了長勢相同的6盆植物A，給定3種光照條件，學(xué)生可以拖拽花盆到指定的條件下，然后點擊“做實驗”（Do Experiment）按鈕模擬生長過程。植物生長過程模擬完成后，其生長結(jié)果會以數(shù)據(jù)表格和圖片兩種方式呈現(xiàn)，點擊“查看數(shù)據(jù)表”（View Data Table）按鈕就可以查看實驗數(shù)據(jù)表。

觀察數(shù)據(jù)表后，學(xué)生就可以基于實驗結(jié)果得出結(jié)論并進(jìn)行科學(xué)論證，這部分在點擊“得出結(jié)論”（Draw Conclusions）按鈕后進(jìn)行。

從NAEP發(fā)布的交互式任務(wù)來看，其任務(wù)設(shè)計的一般模式為：①明確問題或任務(wù)；②提出預(yù)期或假設(shè)；③設(shè)計和模擬實驗；④根據(jù)實驗數(shù)據(jù)得出結(jié)論；⑤選擇恰當(dāng)?shù)臄?shù)據(jù)作為證據(jù)進(jìn)行科學(xué)論證。在“神秘的植物”這一任務(wù)中，①和②主要在“任務(wù)介紹”這一環(huán)節(jié)進(jìn)行，③、④、⑤則主要在“探究任務(wù)”中完成。題目作答也主要在點擊“得出結(jié)論”按鈕后進(jìn)行，題型主要包括選擇題和簡答題，比如在選擇題中學(xué)生可以選擇基于實驗結(jié)果能夠得出的結(jié)論，而在簡答題中則需要學(xué)生對自己的結(jié)論給出支持性的證據(jù)。

3 NAEP計算機(jī)交互式任務(wù)試題特點

從NAEP在2009年發(fā)布的計算機(jī)交互式任務(wù)來看，其試題的設(shè)計特點包括：注重對學(xué)生操作和作答思路的引導(dǎo)；圍繞同一個話題設(shè)計和組織題目；注重試題難度梯度的合理設(shè)計；注重試題的反饋性和診斷功能。這些特點非常值得我們在計算機(jī)測評開發(fā)中學(xué)習(xí)和借鑒。

3.1 注重對學(xué)生操作和作答思路的引導(dǎo)

例如“神秘的植物”這個計算機(jī)交互任務(wù)特別注重對考生的引導(dǎo)，這種引導(dǎo)不僅包括程序操作的引導(dǎo)，還包括研究思路和作答過程的引導(dǎo)。操作上的引導(dǎo)有助于學(xué)生克服計算機(jī)操作上的障礙，而作答思路的引導(dǎo)則有助于學(xué)生循序漸進(jìn)地完成整個作答過程，進(jìn)而更有利于學(xué)生能力的全面展現(xiàn)。其程序操作的引導(dǎo)主要通過文字和動畫演示來實現(xiàn)，而作答思路的引導(dǎo)主要通過問題設(shè)計的內(nèi)在線索以及提綱信息來實現(xiàn)。

3.2 圍繞同一個話題設(shè)計和組織題目

NAEP計算機(jī)交互式任務(wù)采用了話題中心的問題設(shè)計模式。例如在“神秘的植物”這個交互式任務(wù)中，所有的題目都是圍繞植物生長這個話題組織和設(shè)計的。該話題又分為2個子問題，分別是植物生長的最適光照量和肥料量。學(xué)生熟悉和明確了研究問題后，就可以一直圍繞該問題情境和線索進(jìn)行思考和探索，這些問題也是彼此密切關(guān)聯(lián)，一步一步引導(dǎo)學(xué)生的作答和科學(xué)探究。

3.3 注重試題難度梯度的合理設(shè)計

NAEP計算機(jī)交互式任務(wù)在問題的設(shè)置上，也具有較好的難度梯度。首先讓學(xué)生通過分析圖表來找出哪些指標(biāo)可以判斷植物生長的狀況，接下來才讓學(xué)生設(shè)計實驗。即便在設(shè)計實驗的環(huán)節(jié)，也會給出提示，比如提供了3種光照條件，讓學(xué)生分配花盆。在后面植物B的實驗中，則進(jìn)一步提高實驗設(shè)計難度，讓學(xué)生自己控制氮肥使用量，并確定花盆的數(shù)目。在學(xué)生選擇了實驗結(jié)論后，還進(jìn)一步讓學(xué)生找出特定的證據(jù)來對自己的假說進(jìn)行判斷并得出概括性的結(jié)論。整個任務(wù)中，題目的設(shè)置層層遞進(jìn)、難度階梯式排布，更有利于學(xué)生完成作答。

3.4 注重試題的反饋性和診斷功能

NAEP計算機(jī)交互式任務(wù)還特別注重對學(xué)生原有知識和概念的收集。比如在“神秘的植物”這個任務(wù)測試中，任務(wù)開始就需要學(xué)生提出自己的假設(shè)，而不是為學(xué)生限定某一假設(shè)之后讓學(xué)生設(shè)計恰當(dāng)?shù)膶嶒?、收集合理的證據(jù)檢驗這個假設(shè)，并作出結(jié)論。這樣的設(shè)計可以使得試題具有很大的開放性，學(xué)生可能一開始提出的假設(shè)并不一定正確，但是通過實驗驗證，最后得出合理的認(rèn)識。有的學(xué)生可能認(rèn)為陽光越充足，植物會長得越好，這就是我們所謂的前科學(xué)概念。如果學(xué)生沒有能得到正確結(jié)論，那么其收集的前科學(xué)概念以及實驗操作過程也能幫助了解為什么沒有達(dá)成正確的原因。試題通過收集學(xué)生的前科學(xué)概念以及在計算機(jī)交互測試中學(xué)生概念轉(zhuǎn)變的情況，可以為相關(guān)教學(xué)提供有意義的反饋信息。從這樣的設(shè)計我們可以看出，測評的目的不僅在于考核，還在于診斷、反饋，進(jìn)而以測促學(xué)。

4 未來計算機(jī)交互式測評的發(fā)展趨勢

從發(fā)展趨勢來看，計算機(jī)交互式測評正在向著情境化和智能化的方向發(fā)展。情境化是指計算機(jī)能夠呈現(xiàn)更為接近真實世界的問題情境以及工作情境，比如實驗情景的模擬，科學(xué)實踐環(huán)境的模擬等。隨著項目反應(yīng)理論和自適應(yīng)考試技術(shù)的發(fā)展，計算機(jī)交互式測評智能化特征越來越明顯，表現(xiàn)在計算機(jī)不僅可以動態(tài)化地呈現(xiàn)信息，而且還可以針對考生的操作和輸入作出策略性的反應(yīng)，從而更準(zhǔn)確地在最短的時間內(nèi)測量學(xué)生的發(fā)展。在自適應(yīng)考試中，計算機(jī)系統(tǒng)根據(jù)學(xué)生作答情況，及時調(diào)整問題或問題組的難度，進(jìn)而實現(xiàn)在最短的時間內(nèi)更精準(zhǔn)地測查學(xué)生的能力。隨著語音識別技術(shù)的發(fā)展，智能輸入技術(shù)可以讓打字有障礙或打字速度慢的學(xué)生通過語音等方式進(jìn)行輸入，從而更為人性化和高效。此外，計算機(jī)交互測試過程中也可以收集更多過程性數(shù)據(jù)，比如考生作答時間甚至考生目光焦點數(shù)據(jù)等[2]，通過后期的過程數(shù)據(jù)的挖掘和分析可以更好地評估考生的能力[3]。

我國計算機(jī)交互測評試題以及相關(guān)軟件開發(fā)還相對薄弱，相關(guān)基礎(chǔ)研究和開發(fā)工作亟待開展。對于這項工作我們要予以重視，積極推動中國教育測評現(xiàn)代化，促進(jìn)科學(xué)教育測評形式的多樣化以及測評質(zhì)量、效率的提升。

[1]NAEP.NAEP：2009 Science Interactive Computer Tasks[EB/OL]. [2016-05-28].http://www.nationsreportcard.gov/science_2009/ict_ tasks.asp.

[2]CHEN S,SHE H,CHUANG M,et al.Eye movements predict stu?dents’s computer-based assessment performance of physics con?cepts in different presentation modalities[J].Computers&Educa?tion,2014（74）:61-72.

[3]OECD.Using Log-File Data to Understand What Drives Perfor?mance in PISA（Case Study）[R]//Computers and Learning:Making the Connection.OECD,2015.

Analysis of the Goal-setting and Design Features of NAEP Interactive Computer Tasks

ZHANG Chunlei

The National Assessment of Educational Progress（NAEP）uses interactive computer tasks to assess students’science achievements,its goals are mainly located in measuring higher-order thinking skills,such as students’scientific inquiry abilities and scientific reasoning abilities.The general pattern of the tasks consists of five components,including the introduction of the problem or task，making predictions or assumptions，designing and simulating the experiment，drawing conclusions based on experimental data and selecting appropriate data as proof for scientific reasoning and argument.The feature of NAEP is that the questions in a task are designed around a central topic with novel scenarios,arranged from easy to difficult.The tasks also provide students with friendly guidance to help students finish the whole process.They can also help diagnose students’prior conceptions.The goal-setting and design features of NAEP interactive computer tasks have important implications for the development of our computer-based assessment of science education in the future.

Science Education Assessment;Scientific Inquiry and Practice;NAEP;Interactive Computer Tasks

G405

A

1005-8427（2016）09-0024-4

（責(zé)任編輯：陳寧）

張春雷，男，華東師范大學(xué)生命科學(xué)學(xué)院，講師（上海 200241）