基于帶缺失PISA數(shù)據(jù)對(duì)中國學(xué)生科學(xué)素養(yǎng)的診斷分析

張笑笑， 單 娜

(1.長(zhǎng)春工業(yè)大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院， 吉林 長(zhǎng)春 130012；2.東北師范大學(xué) 心理學(xué)院， 吉林 長(zhǎng)春 130024)

0 引 言

立德樹人是中國教育的根本任務(wù)，而發(fā)展核心素養(yǎng)是進(jìn)行“立德樹人”這一任務(wù)的重要舉措，以核心素養(yǎng)為基礎(chǔ)的教學(xué)與測(cè)評(píng)是中國素質(zhì)教育深化改革面臨的重要問題[1]。 科學(xué)素養(yǎng)是學(xué)生核心素養(yǎng)的關(guān)鍵成分，是培養(yǎng)高素質(zhì)國民和促進(jìn)社會(huì)高質(zhì)量發(fā)展的重要基礎(chǔ)[2]?？茖W(xué)素養(yǎng)的概念隨著時(shí)代的發(fā)展而不斷發(fā)生變化，為了對(duì)科學(xué)素養(yǎng)進(jìn)行客觀地測(cè)量與評(píng)價(jià)，國際學(xué)生評(píng)估項(xiàng)目(Programme for International Student Assessment,PISA)在《PISA2015科學(xué)框架草案》中指出,科學(xué)素養(yǎng)指作為一個(gè)有反思意識(shí)的公民能夠參與討論與科學(xué)有關(guān)的問題，提出科學(xué)見解的能力,包括三種主要的科學(xué)能力：1)科學(xué)地解釋現(xiàn)象；2)評(píng)價(jià)和設(shè)計(jì)科學(xué)探究；3)科學(xué)地解釋數(shù)據(jù)和證據(jù)。 PISA是經(jīng)濟(jì)合作與發(fā)展組織(簡(jiǎn)稱OECD)舉辦的國際大規(guī)模測(cè)驗(yàn)，其測(cè)評(píng)設(shè)計(jì)十分嚴(yán)謹(jǐn)，對(duì)試題編制、測(cè)評(píng)框架都做了詳細(xì)論證和考察，可以保證測(cè)評(píng)結(jié)果的科學(xué)性，是當(dāng)前最主要的國際教育評(píng)價(jià)項(xiàng)目之一。

近年來，很多學(xué)者研究了PISA對(duì)學(xué)生科學(xué)素養(yǎng)的測(cè)評(píng)問題。劉克文等[3]從PISA2015科學(xué)素養(yǎng)測(cè)試內(nèi)容及特點(diǎn)進(jìn)行分析，梳理了科學(xué)素養(yǎng)這一概念的發(fā)展，指出PISA2015更加注重科學(xué)知識(shí)的建立過程和認(rèn)知上的評(píng)價(jià);黃鳴春等[2]對(duì)2000-2018年P(guān)ISA科學(xué)素養(yǎng)測(cè)評(píng)體系設(shè)計(jì)進(jìn)行分析，發(fā)現(xiàn)試題整合了知識(shí)、能力和情景三方面，在測(cè)評(píng)方面具有先進(jìn)性，能夠?yàn)閰⑴c國教育改革提供參考;李川[4]從PISA2015科學(xué)素養(yǎng)測(cè)試公開試題的特點(diǎn)進(jìn)行分析，建議在實(shí)際的科學(xué)教學(xué)中，應(yīng)該加強(qiáng)學(xué)生對(duì)科學(xué)本質(zhì)的理解。針對(duì)PISA數(shù)據(jù)的統(tǒng)計(jì)分析，目前采用的研究方法主要包括經(jīng)典測(cè)量理論[5]和項(xiàng)目反應(yīng)理論[6]，并且對(duì)數(shù)據(jù)中的缺失值沒有進(jìn)行有效處理。因此，需在PISA科學(xué)素養(yǎng)的測(cè)評(píng)框架下發(fā)展新的數(shù)據(jù)分析方法來實(shí)現(xiàn)對(duì)科學(xué)素養(yǎng)準(zhǔn)確而全面的評(píng)估。

1 理論和模型

1.1 理論介紹

基于經(jīng)典測(cè)量理論和項(xiàng)目反應(yīng)理論對(duì)學(xué)生科學(xué)素養(yǎng)的評(píng)估，主要關(guān)心學(xué)生宏觀層次的能力水平，而沒有對(duì)學(xué)生內(nèi)部知識(shí)結(jié)構(gòu)和加工技能進(jìn)行評(píng)估，具有相同能力的學(xué)生可能具有不同的認(rèn)知結(jié)構(gòu)和加工技能[7]。為了解學(xué)生知識(shí)結(jié)構(gòu)和加工技能的掌握狀態(tài)，認(rèn)知診斷模型應(yīng)運(yùn)而生。目前，已經(jīng)有100多種認(rèn)知診斷模型，例如線性Logistic模型、規(guī)則空間模型、融合模型和DINA模型等。其中，DINA模型主要用于0-1評(píng)分?jǐn)?shù)據(jù)，因其具有較高的診斷率，模型易于理解以及操作簡(jiǎn)單被廣泛使用。例如韓樂艷[8]使用DINA模型對(duì)初中物理教學(xué)設(shè)計(jì)和應(yīng)用進(jìn)行研究，發(fā)現(xiàn)DINA模型不僅提高了補(bǔ)救教學(xué)的針對(duì)性，而且提升了學(xué)生的學(xué)習(xí)效率；張煥[9]在高中“氧化還原反應(yīng)”學(xué)習(xí)中利用DINA模型進(jìn)行了診斷分析，從而更好地了解學(xué)生的知識(shí)掌握狀態(tài)，并據(jù)此給出補(bǔ)救性的建議。

因此，本研究使用DINA模型對(duì)PISA2015數(shù)據(jù)所反映的中國學(xué)生科學(xué)素養(yǎng)進(jìn)行診斷分析，為中國學(xué)生科學(xué)素養(yǎng)的評(píng)估和提升提供參考。

1.2 DINA模型

在進(jìn)行DINA模型介紹時(shí),需要了解以下兩個(gè)定義。

1.2.1Q矩陣

學(xué)生內(nèi)部的認(rèn)知屬性是無法觀察到的，Q矩陣描述了測(cè)驗(yàn)題目和認(rèn)知屬性之間的關(guān)系。Q矩陣由I行K列組成，行表示測(cè)驗(yàn)題目，列表示認(rèn)知屬性，矩陣的元素是0或1。qik表示Q矩陣的第i行第k列元素，qik=1表示題目i考察了屬性k;反之，qik=0。

1.2.2 屬性掌握模式

若考察K個(gè)獨(dú)立屬性，則有2K種屬性掌握模式。例如3個(gè)獨(dú)立屬性，即K=3，則共有8種屬性掌握模式，分別記為(000, 100, 010, 001, 110, 101, 011, 111)，其中“000”表示3個(gè)屬性均未掌握，“100”表示只掌握第1個(gè)屬性，其他類似。

令Yni為學(xué)生n(n=1,2,…,N)在題目i上的作答反應(yīng)，其中Yni=1表示學(xué)生n正確作答題目i，Yni=0表示學(xué)生n錯(cuò)誤作答題目i。在DINA模型中，屬性掌握狀態(tài)和觀察到的題目之間的關(guān)系可以表示為

(1)

式中：P(Yni=1)----學(xué)生n在題目i上的正確作答概率;

si----失誤參數(shù);

gi----猜測(cè)參數(shù);

αnk----學(xué)生n在屬性k上的掌握狀態(tài)，αnk=1表示學(xué)生n掌握屬性k，αnk=0表示學(xué)生n不掌握屬性k;

qik----Q矩陣的元素。

在DINA模型中，由學(xué)生的屬性掌握狀態(tài)αk和Q矩陣可以得到一個(gè)潛在的反應(yīng)向量ηni，表示為

(2)

ηni=1表示學(xué)生n掌握了正確回答題目i所需的所有屬性，否則,ηni=0。

但在現(xiàn)實(shí)情況下，學(xué)生作答時(shí)可能會(huì)遇到兩種情況:

1)由于外界干擾，即使學(xué)生掌握了作答題目的所需屬性，也可能因?yàn)槭д`而答錯(cuò)題目；

2)盡管學(xué)生沒有掌握作答題目所需屬性，仍可能因?yàn)椴聹y(cè)而答對(duì)題目。

在DINA模型中，題目i的失誤參數(shù)si定義為

si=P(Yni=0|ηni=1)，

(3)

表示學(xué)生n掌握了題目i所需的屬性而答錯(cuò)題目i的失誤概率。

題目i的猜測(cè)參數(shù)gi定義為

gi=P(Yni=1|ηni=0)，

(4)

表示學(xué)生n未掌握題目i所有必需屬性而猜對(duì)該題的猜測(cè)概率。

DINA模型只涉及“失誤”參數(shù)和“猜測(cè)”參數(shù)，操作簡(jiǎn)單，易于理解，在實(shí)際應(yīng)用中十分廣泛。雖然DINA模型可以通過邊際最大似然估計(jì)法得到參數(shù)的無偏估計(jì)，但是該方法無法解決數(shù)據(jù)中的缺失值問題[10]。文中采用貝葉斯MCMC算法實(shí)現(xiàn)對(duì)DINA模型的參數(shù)估計(jì)，因此可以有效地解決數(shù)據(jù)中的缺失問題[11]，并使用R軟件中的R2jags包調(diào)取JAGS軟件來實(shí)現(xiàn)貝葉斯MCMC參數(shù)估計(jì)[12]。

2 實(shí)證分析

2.1 數(shù)據(jù)描述

PISA于2000年開始實(shí)施，每三年進(jìn)行一次，測(cè)試對(duì)象年齡為15～16歲，必須是接受學(xué)校教育的學(xué)生，以便了解完成義務(wù)教育之后的學(xué)生是否具備適應(yīng)未來生活的能力。測(cè)試從三個(gè)方面進(jìn)行，每次測(cè)試以閱讀素養(yǎng)、數(shù)學(xué)素養(yǎng)和科學(xué)素養(yǎng)其中的一個(gè)領(lǐng)域?yàn)橹?，?shí)施的第一年以閱讀素養(yǎng)為主，2006年和2015年都以科學(xué)素養(yǎng)為主。

PISA2015科學(xué)素養(yǎng)示意圖如圖1所示。

圖1 PISA2015科學(xué)素養(yǎng)示意圖

《PISA2015技術(shù)報(bào)告》[13]把科學(xué)素養(yǎng)解讀為三種主要的科學(xué)能力：

1)科學(xué)地解釋現(xiàn)象；

2)評(píng)估和設(shè)計(jì)科學(xué)研究；

3)科學(xué)地解釋數(shù)據(jù)和證據(jù)。

使用文獻(xiàn)[13]題池分類(2015 field trial and main survey cluster)中S02所包含的18道測(cè)試題目中的中國樣本，共有957名學(xué)生，將數(shù)據(jù)中“not reached”和“no response”設(shè)定為缺失值NA，因?yàn)樵趯?shí)際作答時(shí)，往往會(huì)出現(xiàn)數(shù)據(jù)缺失的情況，如果直接刪除缺失數(shù)據(jù)，會(huì)導(dǎo)致評(píng)估結(jié)果不準(zhǔn)，而全貝葉斯MCMC算法可以根據(jù)其他參數(shù)的估計(jì)值計(jì)算出缺失值的后驗(yàn)分布，這是一種“自動(dòng)填補(bǔ)”過程，無需做其他設(shè)定。此外，在這18道題目中，有一個(gè)三級(jí)評(píng)分題目，即DS498Q04，將它轉(zhuǎn)化為二級(jí)評(píng)分?jǐn)?shù)據(jù)，即0→0，1→0，2→1。最終得到學(xué)生n=957在i=18個(gè)題目上的二級(jí)評(píng)分?jǐn)?shù)據(jù)。屬性與題目之間的對(duì)應(yīng)關(guān)系(即Q矩陣)見表1。

表1 PISA2015題目的Q矩陣

2.2 結(jié)果分析

全體學(xué)生各題目得分率見表2。

表2 全體學(xué)生各題目得分率 %

首先計(jì)算全體學(xué)生在每個(gè)題目上的得分率，可從整體把握每個(gè)題目的作答情況。由表2可以得知學(xué)生在題目CS256Q01的得分率為89.8%，表明大部分學(xué)生都答對(duì)了該題目，DS326Q01、DS326Q02、CS326Q03、CS478Q02、CS478Q03、CS413Q06、CS413Q05、DS498Q04、CS425Q05和CS425Q02的得分率分別為67.3%、72.0%、51.0%、51.8%、70.6%、52.1%、76.8%、65.5%、66.9%和62.4%，表明一半以上學(xué)生在這幾個(gè)題目上都能答對(duì)，CS478Q01、CS413Q04、CS498Q02、CS498Q03和DS425Q03的得分率在40%～50%，表明答對(duì)這幾個(gè)題目的學(xué)生人數(shù)不足一半，CS326Q04和DS425Q04的得分率分別為19.2%和27.4%，表明大部分學(xué)生不能正確作答這兩個(gè)題目。由此可見，學(xué)生在題目CS326Q04和DS425Q04所測(cè)試的內(nèi)容上存在困難。

使用DINA模型對(duì)PISA2015科學(xué)素養(yǎng)數(shù)據(jù)進(jìn)行擬合的過程如下，使用兩條馬爾可夫鏈，每條鏈包含10 000次迭代，其中預(yù)熱5 000次迭代，稀疏值1，最終剩余10 000次迭代用于參數(shù)估計(jì)。使用Brooks S P等[14]提出的潛在量尺縮減因子(PSRF)進(jìn)行參數(shù)估計(jì)收斂性判斷，文中所有參數(shù)的PSRF值均小于1.2，表示參數(shù)估計(jì)已收斂。模型-數(shù)據(jù)擬合值見表3。

表3 模型-數(shù)據(jù)擬合值

表3中ppp為0.4，說明模型擬合數(shù)據(jù)較好。

后驗(yàn)預(yù)測(cè)概率ppp越接近0.5,表明模型擬合數(shù)據(jù)效果越好;ppp<0.05或ppp>0.95,表明模型擬合數(shù)據(jù)效果不好。

使用DINA模型對(duì)PISA2015數(shù)據(jù)進(jìn)行分析后得到的參數(shù)估計(jì)值見表4。

表4 測(cè)試題目的參數(shù)估計(jì)值

一般認(rèn)為猜測(cè)參數(shù)和失誤參數(shù)小于0.4，1-slip-guess>0說明DINA模型的診斷是有效的。從表4可以看出，1-slip-guess均大于0，失誤參數(shù)和猜測(cè)參數(shù)大部分都小于0.4，失誤參數(shù)的平均值為0.269，猜測(cè)參數(shù)的平均值為0.374，說明DINA模型擬合效果較好。從表中可以看到，CS256Q01和CS413Q05的猜測(cè)值分別為0.847和0.655，說明學(xué)生在這兩個(gè)題目上的猜測(cè)參數(shù)過大，學(xué)生可能沒有掌握這兩個(gè)題目所需的屬性；CS326Q04和DS425Q04的失誤參數(shù)分別為0.675和0.582，學(xué)生在這兩個(gè)題目上的失誤參數(shù)大，有可能學(xué)生掌握了這兩個(gè)題目所需的屬性,但是由于受到干擾，導(dǎo)致這種情況產(chǎn)生。

認(rèn)知診斷可以對(duì)學(xué)生的屬性掌握狀態(tài)提供詳細(xì)的診斷報(bào)告，使學(xué)生了解自己的薄弱之處, 從而進(jìn)行有針對(duì)性的補(bǔ)救。比如兩個(gè)學(xué)生281和611的總分相同，都是12分，但他們的屬性掌握模式不同，總分相同的兩個(gè)學(xué)生的屬性掌握模式見表5。

表5 總分相同兩個(gè)學(xué)生的屬性掌握模式

由表5可以看出，兩個(gè)學(xué)生的總分相同，但是他們?cè)诿總€(gè)題目上的作答反應(yīng)不盡相同。兩個(gè)學(xué)生的屬性掌握模式也不同，學(xué)生281掌握了屬性q2和q3，沒有掌握屬性q1，所以要針對(duì)屬性q1進(jìn)行加強(qiáng)學(xué)習(xí)；學(xué)生611掌握了屬性q1和q2，沒有掌握屬性q3，所以要加強(qiáng)屬性q3的學(xué)習(xí)。

3 結(jié) 語

基于DINA模型分析PISA2015中國學(xué)生科學(xué)素養(yǎng)數(shù)據(jù)，能夠?yàn)閰⑴c這一測(cè)評(píng)學(xué)生的科學(xué)素養(yǎng)狀態(tài)提供詳細(xì)的診斷分析，從而可以根據(jù)每一名學(xué)生的科學(xué)素養(yǎng)掌握情況進(jìn)行針對(duì)性地訓(xùn)練，為中國學(xué)生科學(xué)素養(yǎng)的提高和素質(zhì)教育改革提供參考。