大規(guī)模創(chuàng)造性思維測評的評分邏輯*

王玉 首新 林長春

摘要： 與一般的創(chuàng)造性思維測評量表相比，PISA2021創(chuàng)造性思維有其獨特的評分方式。該評分方式具有標(biāo)準(zhǔn)的評分規(guī)定體系，從“產(chǎn)生多樣性想法”“產(chǎn)生創(chuàng)造性想法”“評價和改進想法”三個維度進行評分，涉及“文字表達”“視覺表達”“科學(xué)問題解決”“社會問題解決”等四個領(lǐng)域的任務(wù)分配，具有評分規(guī)定標(biāo)準(zhǔn)化、重視評分者信度、開放性任務(wù)和靈活的評分方式等特點。PISA2021創(chuàng)造性思維評分邏輯對于我國義務(wù)教育科學(xué)教育質(zhì)量監(jiān)測如何融入創(chuàng)造性思維具有啟發(fā)意義。

關(guān)鍵詞： 創(chuàng)造性思維; PISA2021; 評分方式; 評分邏輯

文章編號： 10056629（2020）12007207

中圖分類號： G6338

文獻標(biāo)識碼： B

1引言

PISA是由經(jīng)濟合作與發(fā)展組織（OECD）開發(fā)的三年一次的國際學(xué)生評估項目，包含閱讀、數(shù)學(xué)和科學(xué)三大核心測試領(lǐng)域。該項目于2000年第一次實施，測試對象為15周歲的青少年，其目的是衡量學(xué)生在閱讀、數(shù)學(xué)和科學(xué)素養(yǎng)、調(diào)節(jié)學(xué)習(xí)的能力、對不同科目的興趣、自我效能、自我概念、自尊以及社會經(jīng)濟背景等領(lǐng)域的成績[1]。同時，PISA也會對家長、教師和學(xué)校領(lǐng)導(dǎo)進行相關(guān)的問卷調(diào)查，以確保從多個方面多個層次來分析其影響因素。PISA一直著重于學(xué)生對所學(xué)知識的運用和各方面素養(yǎng)的發(fā)展，而不是簡單地復(fù)制課堂所學(xué)知識。在原有的基礎(chǔ)上，PISA陸續(xù)加入了問題解決能力測評（2003）、數(shù)字化測評（2009）、財經(jīng)素養(yǎng)測評（2012）、合作問題測評（2015）、全球勝任力測評（2018），在全世界引起了廣泛關(guān)注和強烈反響，并在即將到來的PISA2021中增加了創(chuàng)造性思維測評。國際上對PISA數(shù)據(jù)的信息價值達成了普遍共識，經(jīng)合組織通過PISA已影響到國家一級的教育決策[2]。

創(chuàng)造性思維是建立在想象力、遺傳與天賦、智商、思維聯(lián)結(jié)的基礎(chǔ)上，進而發(fā)展為強調(diào)獨創(chuàng)性、發(fā)散性和適切性的一種原生性思維[3]。20世紀(jì)中期，吉爾福特發(fā)表了關(guān)于“創(chuàng)造力”的報告，創(chuàng)造性思維作為創(chuàng)造力的主要因素被大量研究和探討。2010年經(jīng)合組織在頒布的《OECD創(chuàng)新戰(zhàn)略： 從明日起搶占先機》中，也強調(diào)了創(chuàng)造性思維的重要性。創(chuàng)新的核心是創(chuàng)造性人才，而創(chuàng)造性人才的核心是人的創(chuàng)造性思維[4]。創(chuàng)造性思維可以促進個人能力，如元認(rèn)知能力、問題解決能力、人際關(guān)系能力等，也能在科學(xué)、技術(shù)、哲學(xué)、藝術(shù)等多個領(lǐng)域中產(chǎn)生推動社會發(fā)展的創(chuàng)新想法和見解。創(chuàng)造性思維是一種具體的能力，是人們均可擁有的，這一點為創(chuàng)造性思維的測評奠定了基礎(chǔ)。

PISA2021關(guān)注創(chuàng)造性思維測評，這將為大規(guī)模的創(chuàng)造性思維理論與實踐研究提供范例。本文在介紹PISA2021創(chuàng)造性思維測評框架的基礎(chǔ)上，著重介紹其評分方式，進一步分析其評分邏輯，為我國義務(wù)教育階段科學(xué)教育質(zhì)量監(jiān)測提供參考。

2PISA2021創(chuàng)造性思維測評框架

OECD教育研究與創(chuàng)新中心（Centre for Educational Research and Innovation， CERI）發(fā)布的《PISA2021創(chuàng)造性思維框架草案（第三版）》中對創(chuàng)造性思維定義為“能夠有效地參與創(chuàng)意的產(chǎn)生、評估和改進，能夠生成新穎的方案，并能夠促進知識進步和想象力表達的一種能力”[5]。這個定義強調(diào)了所有學(xué)生都需要有效地參與產(chǎn)生想法的實踐，重視想法的相關(guān)性和新穎性，并且能夠通過反復(fù)思考得到有效且滿意的結(jié)果。傳統(tǒng)的二分法將創(chuàng)造力的研究分為日常創(chuàng)造性（LittleC）和創(chuàng)造性成就（BigC）。LittleC幾乎人人都具有，包含的是普通人平常生活的各個方面，如人們把易拉罐做成洗澡的噴頭就屬于這種創(chuàng)造力;BigC只有偉人才具備，一般解決特別難的問題，或者創(chuàng)造出天才的作品，如愛因斯坦提出相對論、達·芬奇的藝術(shù)創(chuàng)作等都能體現(xiàn)出該創(chuàng)造力[6]。文獻一致認(rèn)為，LittleC創(chuàng)造力可以通過實踐來發(fā)展，通過教育來磨煉。因此，PISA2021創(chuàng)造性思維測試將側(cè)重于與LittleC創(chuàng)造力相關(guān)的任務(wù)，盡可能地降低先天才能對其表現(xiàn)的影響，更加重視個人參與創(chuàng)造性思維的可塑性。

PISA2021創(chuàng)造性思維測評框架包含“課堂上創(chuàng)造性思維的影響因素和表現(xiàn)形式關(guān)系模型”以及“創(chuàng)造性思維測試的能力模型”這兩大模型?！罢n堂上創(chuàng)造性思維的影響因素和表現(xiàn)形式關(guān)系模型”建立在2017年經(jīng)合組織提出的創(chuàng)造性思維五維模型的基礎(chǔ)上，由個人因素、社會因素、成就與進展這3個方面所組成[7]。“社會因素”會對另外兩個方面產(chǎn)生影響，而“個人因素”同“成就與進展”兩者之間會相互影響。其中，個人因素包含6個要素： 認(rèn)知技能、領(lǐng)域準(zhǔn)備、開放性、協(xié)作、目標(biāo)導(dǎo)向和自我信念、任務(wù)動機;社會因素包含3個要素： 文化規(guī)范和期望、教育方法、學(xué)校和課堂氣氛;表現(xiàn)形式（成就與進展）包含3個方面： 創(chuàng)造性表達、知識創(chuàng)造、創(chuàng)造性地解決問題?！皠?chuàng)造性思維測試的能力模型”涉及四領(lǐng)域三維度：“四領(lǐng)域”包括文字表達、視覺表達、科學(xué)問題解決和社會問題解決;“三維度”分別是： 產(chǎn)生多樣性想法、產(chǎn)生創(chuàng)造性想法、評價和改進想法。PISA2021創(chuàng)造性思維測評框架具有較強的可實施性和指向性，為測評高階思維能力提供了新的模式。

3PISA2021創(chuàng)造性思維測評評分方式

3.1評分規(guī)定體系

PISA2021創(chuàng)造性思維測評基于測評指標(biāo)和任務(wù)，構(gòu)建了具備可實施性的評分規(guī)定體系。該體系圍繞“四領(lǐng)域三維度”進行任務(wù)分配，并以三維度作為評分切入點。在三維度中，第一個維度是“產(chǎn)生多樣性想法”，側(cè)重于學(xué)生跨領(lǐng)域靈活思考的能力，注重所產(chǎn)生想法的多樣性和靈活性;第二個維度是“產(chǎn)生創(chuàng)造性想法”，該維度的評估建立在同一測試中其他學(xué)生的反應(yīng)基礎(chǔ)上，更側(cè)重于學(xué)生尋找合適且原創(chuàng)方法的能力;第三個維度是“評價和改進想法”，側(cè)重于學(xué)生對想法進行評估和改進的能力，達到對想法中的缺陷進行改進的目的。PISA2021根據(jù)三個維度之間不同的考查要求，制定了不同的評分方式，具有較強的實際操作性。例如“產(chǎn)生創(chuàng)造性想法”這一維度主要考查學(xué)生的回答是否“原創(chuàng)”，要求評分者對其進行判斷和評分，在這一過程中編碼指南也為其提供了足夠多的示例，而不是單一的標(biāo)準(zhǔn)答案，這使得評分過程更加靈活。同時，該評分體系能很好地指導(dǎo)評分者依據(jù)編碼指南對學(xué)生的回答進行判斷，重視評分者之間的信度來確保評分的合理性。

3.2任務(wù)分配

PISA測評的一個重要目的是在國家間進行標(biāo)準(zhǔn)化的比較，但人與人對話互動中的不確定性以及多國語言的自然語言處理，給測試的標(biāo)準(zhǔn)化結(jié)果帶來很大挑戰(zhàn)[8]。基于其可行性的考慮，PISA2021創(chuàng)造性思維測評將基于計算機交互模式，測試時常為1個小時，題型分為選擇題、建構(gòu)題和交互式仿真任務(wù)。PISA2021創(chuàng)造性思維測評圍繞“四領(lǐng)域三維度”來進行任務(wù)分配，四領(lǐng)域所包含的任務(wù)均屬于“LittleC”范疇。其中“文字表達”“視覺表達”這兩個領(lǐng)域側(cè)重于“創(chuàng)造性的表達”，強調(diào)創(chuàng)造性思維參與個人內(nèi)心世界與他人進行交流的過程。而“科學(xué)問題解決”和“社會問題解決”這兩個領(lǐng)域則側(cè)重于知識創(chuàng)造與創(chuàng)造性問題解決。為了維持領(lǐng)域之間的平衡，雖然每個領(lǐng)域內(nèi)包含多重任務(wù)，但四個領(lǐng)域所分配的任務(wù)比例均為25%，而三個維度之間任務(wù)的分配有些許差異，其中“產(chǎn)生多樣性想法”測試占比40%，剩下的兩個維度則均占比30%（見圖1）。

3.3評分方式

本次創(chuàng)造性思維測評由于其自身的獨特性，尤其是開放式任務(wù)，必須使用適合所有參與國文化、語言以及人工評分的方法，使得測評評分存在很大的挑戰(zhàn)。PISA2021創(chuàng)造性思維測評構(gòu)建的題型與能力模型的四領(lǐng)域相對應(yīng)，但不是每個領(lǐng)域都完全包含3種題型，并

且在題型的分布上也有一定差異，不過相同的題型都遵循相同的格式和編碼過程?；卮鸬拇_切形式（如標(biāo)題、解決方案、設(shè)計）因領(lǐng)域和任務(wù)而有差異，導(dǎo)致學(xué)生的回答在形式上也有所不同，評估回答的多樣性和創(chuàng)造性的具體標(biāo)準(zhǔn)也將不同（見圖2）。

在“產(chǎn)生多樣性想法”這一維度，學(xué)生的回答不能是單一的，通常需要兩個或三個回答。這些項目的編碼過程有兩個步驟： 一是確定學(xué)生的回答是否“適當(dāng)”。對于特定的任務(wù)，“適當(dāng)”可以理解為與特定任務(wù)內(nèi)容相關(guān)。這意味著需要排除“不適當(dāng)”的回答： 刪除沒有意義的文本條目（例如隨機打字）、不尊重任務(wù)形式的文本條目（例如要求設(shè)計一個標(biāo)題，學(xué)生卻給出的是故事創(chuàng)意）、與任務(wù)完全無關(guān)的條目（如任務(wù)要求學(xué)生提出節(jié)約用水的創(chuàng)新建議，卻輸入“多吃櫻桃派”等毫無關(guān)聯(lián)的內(nèi)容）;二是確定回答之間是否“足夠不同”。編碼指南為四領(lǐng)域的任務(wù)提供了可以被判斷為不同答案的樣例，并且提供了界定兩個回答是否足夠不同的客觀標(biāo)準(zhǔn)： （1）在“文字表達”領(lǐng)域中要求學(xué)生設(shè)計不同標(biāo)題，可以用是否使用同義詞來進行判斷，若兩個標(biāo)題僅僅是進行了同義詞的替換，則不符合要求;（2）在“視覺表達”領(lǐng)域中要求學(xué)生創(chuàng)建節(jié)日標(biāo)志，判斷標(biāo)準(zhǔn)是兩個節(jié)日標(biāo)志是否使用不同的形狀組合起來以生成不同的圖像;（3）對于“社會和科學(xué)問題解決”這兩個領(lǐng)域的任務(wù)，編碼指南中將會列出預(yù)先定義的“不同類別”的回答，來幫助評分人員進行判斷： 如在要求學(xué)生提出節(jié)約用水方法的任務(wù)中，“短時間淋浴”和“對生活用水進行二次利用”則屬于不同類別。

在“產(chǎn)生創(chuàng)造性想法”這一維度，通常只要求學(xué)生提供一個回答。根據(jù)具體的領(lǐng)域和任務(wù)，這些回答在形式上有所不同，可能是一個短篇故事的想法，一個社會問題或一個科學(xué)研究問題的解決方案。這個項目的編碼過程有三個步驟，第一個步驟同“產(chǎn)生多樣性想法”這一維度相同，均是確定學(xué)生的回答是否“適當(dāng)”。之后的環(huán)節(jié)要求編碼器必須確定回答是否為“原創(chuàng)”，確定“原創(chuàng)”有兩個步驟： （1）確定主題是否原創(chuàng)。編碼指南中包含了每項任務(wù)最常規(guī)的主題列表，如果一個適當(dāng)?shù)幕卮鸩环狭谐龅某Ｒ?guī)主題之一，則被編碼為原創(chuàng)的;（2）判斷方法是否原創(chuàng)。編碼指南為每個任務(wù)提供了原創(chuàng)方法的例子，如果回答包含在編碼指南最常規(guī)的方法列表中，但是它包含原創(chuàng)方法，則在編碼過程的下一步中它仍然可以被認(rèn)為是“原創(chuàng)”的。原創(chuàng)方法可以是通過一些創(chuàng)新方式增強問題解決方案的可實施性，或者在設(shè)計中使用普通圖像但以新的方式呈現(xiàn)等。在確定一個回答是否為“原創(chuàng)”時，建立雙重標(biāo)準(zhǔn)也是為了確保同時考慮到創(chuàng)意概念（主題）和創(chuàng)意實現(xiàn)（方法）的原創(chuàng)性。編碼指南提供的常規(guī)主題列表和原始方法示例都來源于實證研究中對學(xué)生真實回答的分析，這些列表將在進行現(xiàn)場試驗后進一步更新，以確保能夠反映不同參與國或地區(qū)學(xué)生的常規(guī)回答。雖然這種給原創(chuàng)性打分的方法可能無法讓最有創(chuàng)造性的回答脫穎而出，但它有一個明顯的優(yōu)勢，就是不會受到偏愛中間點或極端點的評分方式的影響。

同樣地，在“評估與改進想法”這一維度，通常也只要求學(xué)生提供一個回答。任務(wù)通常要求學(xué)生以一種新穎的方式改變一個給定的想法。任務(wù)的形式也可能有所不同： 一個創(chuàng)意的故事結(jié)尾，一個改進的設(shè)計，一個讓社交活動更有趣的創(chuàng)意，或者讓技術(shù)發(fā)明更有用或更具創(chuàng)新性的方法。首先是確定學(xué)生的回答是否“適當(dāng)”，這里的“適當(dāng)”不僅僅要求與任務(wù)形式是相關(guān)的，還得是一種改進。編碼指南針對任務(wù)的具體情境，提供了不同類型的改進回答作為解釋和示例，之后編碼器將會根據(jù)編碼指南確定回答是否為“原創(chuàng)的改進”。如果改進的回答與列出的常規(guī)改進不一致，那么它將被判斷為是原創(chuàng)的;如果改進的類型是常規(guī)的，但是實施的方法或?qū)?chuàng)意的描述包含原創(chuàng)元素，那么評分者仍可以將回答編碼為原創(chuàng)。

然后評分員根據(jù)每個維度的評分標(biāo)準(zhǔn)對學(xué)生的回答進行判斷，并給予分?jǐn)?shù)。任務(wù)屬于“產(chǎn)生多樣性想法”這一維度，若學(xué)生所有回答均“適當(dāng)”且“足夠不同”，則為滿分;若只有兩個或三個答案是合適的，且只有兩個“足夠不同”，則部分給分;其他情況，則為零分。另外兩個維度的任務(wù)評分類似，若回答既“適當(dāng)”又符合“原創(chuàng)”，則為滿分;若僅僅只是符合“適當(dāng)”這一個條件，則部分給分;其余情況，則為零分。

4案例分析

PISA2021提供了測試樣題，四個領(lǐng)域分別設(shè)置不同類型、不同主題的認(rèn)知測試單元，每個單元的樣題基本涉及三個維度的考查。

“文字表達”領(lǐng)域示例單元的主題是“根據(jù)圖片創(chuàng)造故事”，這個單元不需要高水平的先驗知識，但是學(xué)生的表達能力會影響學(xué)習(xí)成績。三個任務(wù)分別是： 要求學(xué)生根據(jù)圖片創(chuàng)造出2個不同的故事、要求學(xué)生根據(jù)6張圖片寫一個創(chuàng)造性的故事、要求學(xué)生根據(jù)朋友寫的故事對其進行創(chuàng)意續(xù)寫，這三個任務(wù)與三個維度一一對應(yīng)。

“社會問題解決”領(lǐng)域的示例單元主題為“節(jié)約用水的社會問題”，其任務(wù)包括： 描述3種不同的節(jié)約用水途徑、想出1個創(chuàng)造性的方法向潛在用戶宣傳該應(yīng)用程序、對應(yīng)用程序想出1個改進方法，這三個任務(wù)與三個維度一一對應(yīng)。

“科學(xué)問題解決”領(lǐng)域的主題為“對標(biāo)準(zhǔn)自行車進行改造”，本單元避免了形成封閉式問題的單一解決方案，需要學(xué)生進行開放式回答，找到有創(chuàng)意的解決方案。首先要求學(xué)生想出3種標(biāo)準(zhǔn)自行車改進方案;其次要求學(xué)生對自行車防盜裝置進行改進;最后要求學(xué)生想出一個重新使用自行車踏板的新穎方案，這三個任務(wù)同樣與三個維度一一對應(yīng)。

“視覺表達”領(lǐng)域示例單元的主題為“利用虛擬畫圖工具設(shè)計美食節(jié)標(biāo)志”，前兩個任務(wù)要求學(xué)生分別設(shè)計2個不同的節(jié)日標(biāo)志，屬于“產(chǎn)生多樣性想法”維度。最后一個任務(wù)要求學(xué)生根據(jù)美食節(jié)主題改進之前設(shè)計的標(biāo)志，屬于“評估與改進想法”維度。

以“社會問題解決”領(lǐng)域樣題為例，圖3展示了“社會問題解決”領(lǐng)域中的一個示例單元（節(jié)約用水）。

在這個例子中，學(xué)生通過三項任務(wù)來解決節(jié)約用水的社會問題。節(jié)約用水以及減少對水資源的浪費是全世界許多學(xué)生都熟悉的話題，也是學(xué)校經(jīng)常提到的話題，學(xué)生對其具有一定的先驗知識。雖然對問題的先驗知識可能會影響學(xué)生在本單元生成多樣化和創(chuàng)造性解決方案的能力，但先驗知識和創(chuàng)造性思維能力之間的關(guān)系并不明顯。先驗知識可能會促進反應(yīng)的生成，但反過來也可能會降低反應(yīng)的獨創(chuàng)性。具體評分方式分析如下（見圖4）。

第一個任務(wù)要求學(xué)生想出三種節(jié)約用水的不同方法，屬于“產(chǎn)生多樣性想法”這一維度。按照這一維度的評分方式，第一步是判斷學(xué)生的回答是否“適當(dāng)”，如果這個方法是實際可行且能達到節(jié)約用水的目的，那么可以判斷為是“適當(dāng)”的。值得強調(diào)的是一個解決方案只要在某種程度上能夠達到節(jié)省家庭用水的目的，不管是不是最佳方案都可以被認(rèn)為是“適當(dāng)”的;第二步是判斷回答是否“足夠不同”，想要體現(xiàn)想法的“不同”，答題者必須在所提出的方案中使用不同的方法、工具或執(zhí)行者。同一類別的響應(yīng)視為“相同”，編碼指南將包含一份盡可能詳細的常規(guī)解決方案分類表作為判斷依據(jù)。

第二個任務(wù)涉及三個維度中的“產(chǎn)生創(chuàng)造性想法”，在該任務(wù)中提到了用來獎勵用戶節(jié)約用水行為的智能手機應(yīng)用程序，要求學(xué)生提出一種創(chuàng)造性的方法向潛在用戶宣傳該應(yīng)用程序。按照“產(chǎn)生創(chuàng)造性想法”這一維度的評分方式，首先判斷回答是否“適當(dāng)”，這項任務(wù)中的“適當(dāng)”想法類似于廣告策略，其目的是可以為應(yīng)用程序做推廣，若回答能達到這一目的，則可編碼為“適當(dāng)”;接著是確定是否“原創(chuàng)”，評分者將參考特定任務(wù)的編碼指南，以確定學(xué)生的回答在主題或方法上是否是常規(guī)的，若屬于常規(guī)主題或常規(guī)方法，則不符合要求。這個任務(wù)的常規(guī)主題例子可以是： （1）張貼海報或廣告牌來宣傳這個應(yīng)用程序;（2）播放一個電視廣告，展示干旱的負面影響及其應(yīng)用。如果學(xué)生的反應(yīng)可以歸類到這些常規(guī)的主題中，但采用了非常規(guī)的方法，它仍然可以被認(rèn)為是原創(chuàng)的，編碼指南中提供了非常規(guī)方法的示例。

第三個任務(wù)是要求學(xué)生對應(yīng)用程序提出一個原創(chuàng)的改進建議，以解決用戶保留率低的問題，這一任務(wù)涉及“評估和改進想法”這一維度。第一步仍然是判斷回答是否是“適當(dāng)”的，該項目的“適當(dāng)”想法需要達到能夠通過提供額外激勵來改進應(yīng)用程序，讓人們長期使用此應(yīng)用軟件的目的;第二步則是判斷是否為“原創(chuàng)的改進”，依據(jù)所提建議在主題或方法上的改進是否是非常規(guī)進行確定，若主題和方法都是常規(guī)的，則不符合要求，若屬于主題常規(guī)，但方法原創(chuàng)，仍可以被認(rèn)作是“原創(chuàng)的改進”。在每一個任務(wù)中，如果回答既適當(dāng)又新穎，則為滿分;回答僅僅符合適當(dāng)，則部分給分;其他情況則為零分。5PISA2021創(chuàng)造性思維評分方式特點

5.1評分規(guī)定標(biāo)準(zhǔn)化

PISA2021根據(jù)創(chuàng)造性思維的表征特點，提出影響因素和表現(xiàn)形式關(guān)系模型以及能力模型，給出四領(lǐng)域能力測試的可行方法，基于測試重點和目標(biāo)給出評價標(biāo)準(zhǔn)，共同構(gòu)成操作性強的評價指標(biāo)體系[10]。從三個維度切入，根據(jù)不同的領(lǐng)域和單元給出具體的評分方式（見圖2），并利用計算機交互式測驗來遞送測試系統(tǒng)，捕捉行為數(shù)據(jù)，搜集響應(yīng)數(shù)據(jù)信息，進行編碼從而評分。這種方式保證了技術(shù)應(yīng)用的可行性，為收集個體的反應(yīng)、分析個體的表現(xiàn)提供了更便利的途徑[11]。該評價指標(biāo)體系實施性強，對評分者進行適當(dāng)?shù)呐嘤?xùn)，即可進行編碼響應(yīng)評分操作，極大地提升了大型測評的有效性。

5.2重視評分者信度

PISA2021創(chuàng)造性思維測評主要是開放式任務(wù)，就其本質(zhì)而言會對評分的信度產(chǎn)生風(fēng)險。好的評分信度和可比性是PISA測評的一個主要目標(biāo)，驗證編碼方法是否切實可行非常重要，這就需要在投入大規(guī)模測評之前經(jīng)過多個驗證步驟和多次經(jīng)驗檢查，來降低這一風(fēng)險。評分方式是否可行顯然取決于所產(chǎn)生的編碼標(biāo)準(zhǔn)的質(zhì)量，特別是要有嚴(yán)格的驗證過程，以確保評分過程中不會出現(xiàn)文化偏見。鑒于這一點，PISA將要求參與國或地區(qū)的評分者就編碼指南和標(biāo)準(zhǔn)中的內(nèi)容以及語言提供反饋，并要求所有參與現(xiàn)場試驗的評分者，而不僅僅是說英語的評分者，對大量翻譯后的回答進行評分。這將揭示各國或地區(qū)在評分的寬松度方面是否存在系統(tǒng)性差異，并評估這些差異對最終得分的影響。

為了確定評分的準(zhǔn)確性，PISA根據(jù)已有的實踐經(jīng)驗，在現(xiàn)場試驗和主調(diào)查期間，通過讓多名評分者對每個人工編碼的項目隨機選擇100個答案進行編碼，來測量“評分者間的信度”，以檢查編碼的一致性。這項研究還將跨國進行，以檢查各國或地區(qū)的系統(tǒng)評分偏差?！翱鐕u分者間的信度”是PISA2021創(chuàng)造性思維測評的一個重要設(shè)計標(biāo)準(zhǔn)，通過要求不同國家或地區(qū)的評分者對一組任務(wù)的10個回答（來自于在不同參與國或地區(qū)中真實的學(xué)生的項目回答）進行編碼，來評估“跨國或地區(qū)評分者間的信度”。編碼的可靠性不僅需要通過對一部分響應(yīng)進行多重編碼，還要通過仔細監(jiān)控編碼結(jié)果來建立。在形成評分標(biāo)準(zhǔn)之前，PISA2021創(chuàng)造性思維測評項目組將組織多場現(xiàn)場測評，對評分者之間的可靠性進行驗證，以進一步確保評分的合理性。