教學(xué)效果評(píng)價(jià)系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)與實(shí)踐

趙紅波　張海濤　黃生健　司慧迎　曹志勇

摘要：對(duì)試卷進(jìn)行分析是教學(xué)效果評(píng)價(jià)與考核的主要依據(jù)和內(nèi)容。基于經(jīng)典教育測(cè)量原理的評(píng)價(jià)指標(biāo)和試卷分析方法，設(shè)計(jì)并開發(fā)實(shí)現(xiàn)了相應(yīng)的評(píng)價(jià)系統(tǒng)軟件。實(shí)踐結(jié)果表明，這種基于網(wǎng)絡(luò)動(dòng)態(tài)數(shù)據(jù)庫(kù)設(shè)計(jì)的評(píng)價(jià)系統(tǒng)，穩(wěn)定可靠，方便快捷，信息易于共享，可對(duì)試卷進(jìn)行科學(xué)的分析，對(duì)指導(dǎo)教學(xué)、準(zhǔn)確評(píng)價(jià)，提高教學(xué)質(zhì)量，具有重要意義。

關(guān)鍵詞：教學(xué)效果；試卷分析；評(píng)價(jià)指標(biāo)；系統(tǒng)設(shè)計(jì)；系統(tǒng)實(shí)現(xiàn)

[中圖分類號(hào)] G202 [ 文獻(xiàn)標(biāo)識(shí)碼] A

0 引 言

教育是一個(gè)復(fù)雜的系統(tǒng)工程，教學(xué)是這個(gè)系統(tǒng)工程中的重要環(huán)節(jié)，是引導(dǎo)教育培養(yǎng)高素質(zhì)人才、幫助社會(huì)充分利用教育成果和促進(jìn)教育健康發(fā)展的保障。教學(xué)和質(zhì)量保障體系運(yùn)行的有效度是教育部最新的高校本科教學(xué)評(píng)估核心之一，教學(xué)效果的好壞將直接影響教育的質(zhì)量。保障教育質(zhì)量的主要方式是對(duì)教師和學(xué)生進(jìn)行監(jiān)控和管理，關(guān)注點(diǎn)集中在教學(xué)的環(huán)節(jié)上]。教學(xué)效果的測(cè)試手段主要是考試，試卷是教學(xué)內(nèi)容、考試要求和學(xué)生知識(shí)應(yīng)用的綜合載體，整個(gè)試卷是否基本反映了大綱的規(guī)定和要求，能否正確地反映考生對(duì)教學(xué)內(nèi)容和應(yīng)掌握知識(shí)的吸收運(yùn)用能力及教師對(duì)教學(xué)內(nèi)容的把握和熟練程度，因此只有質(zhì)量合格的考試才能有效地檢測(cè)教學(xué)效果。對(duì)教學(xué)效果的評(píng)價(jià)最直接的方式就是利用現(xiàn)代的教育統(tǒng)計(jì)學(xué)、教育測(cè)量學(xué)，通過(guò)對(duì)試卷分析，得到具體的數(shù)量指標(biāo)來(lái)檢測(cè)考試的質(zhì)量。教育測(cè)量技術(shù)的科學(xué)性和準(zhǔn)確性取決于測(cè)量規(guī)則和測(cè)量工具。測(cè)驗(yàn)或者考試、測(cè)試是教育測(cè)量的基礎(chǔ)工具，它們都是通過(guò)試卷來(lái)實(shí)現(xiàn)的。

1 開發(fā)評(píng)價(jià)系統(tǒng)的目標(biāo)

考試是教學(xué)評(píng)價(jià)的重要手段，為認(rèn)識(shí)教與學(xué)過(guò)程中的各種因素提供依據(jù)。教學(xué)是否達(dá)到預(yù)期效果，就需要對(duì)試卷進(jìn)行科學(xué)的分析與評(píng)價(jià)。目前考試成績(jī)絕大多數(shù)用于檢測(cè)學(xué)生的學(xué)習(xí)效果，卻很少用于對(duì)教師教學(xué)效果的反饋，這主要因?yàn)樵嚲矸治鍪墙⒃诮y(tǒng)計(jì)量之上，公式繁雜，數(shù)據(jù)繁多，計(jì)算量大，絕大多數(shù)老師都難以用科學(xué)的方法對(duì)試卷做出細(xì)致地分析，并難以得到一個(gè)對(duì)教學(xué)效果的基本評(píng)價(jià)。地方普通高等學(xué)校對(duì)教學(xué)評(píng)價(jià)往往采用教學(xué)督導(dǎo)對(duì)課堂教學(xué)進(jìn)行評(píng)價(jià)，并根據(jù)反饋的評(píng)價(jià)信息進(jìn)行綜合評(píng)定教學(xué)效果。教學(xué)評(píng)分來(lái)自教學(xué)督導(dǎo)員對(duì)課堂教學(xué)評(píng)價(jià)依據(jù)的客觀標(biāo)準(zhǔn)的把握和對(duì)授課教師授課水平的主觀認(rèn)定，因此存在教學(xué)督導(dǎo)員評(píng)分差異和教學(xué)評(píng)價(jià)權(quán)威性的問(wèn)題。

評(píng)價(jià)教學(xué)效果采用對(duì)試卷質(zhì)量進(jìn)行分析，應(yīng)真實(shí)反映教師的教和學(xué)生的學(xué)兩個(gè)方面，并且應(yīng)具有客觀的評(píng)價(jià)方法和指標(biāo)。試卷分析是對(duì)學(xué)生的考試試卷進(jìn)行定量與定性分析，以試卷的評(píng)估、考試結(jié)果和對(duì)試題的分析結(jié)果作為依據(jù)，對(duì)試卷進(jìn)行系統(tǒng)而科學(xué)的分析。試卷分析中對(duì)試題的評(píng)估包括試卷信度和考試效度；而對(duì)試題的分析包括了試題的難度和區(qū)分度等指標(biāo)；考試結(jié)果的數(shù)據(jù)即為學(xué)生考試成績(jī)統(tǒng)計(jì)。試卷分析的結(jié)果能夠反映出考試是否真正檢查出學(xué)生的知識(shí)水平與能力，也可以將此結(jié)果作為評(píng)價(jià)教學(xué)過(guò)程是否成功的依據(jù)。王云利用SPSS對(duì)網(wǎng)絡(luò)環(huán)境下適應(yīng)性考試進(jìn)行分析，驗(yàn)證了可行性和實(shí)用性。王鐵等人使用了Web技術(shù)對(duì)試卷分?jǐn)?shù)進(jìn)行了分?jǐn)?shù)段的可視化?，F(xiàn)在很多試卷分析都以微軟的Execl或者使用單機(jī)版軟件在本地實(shí)現(xiàn)，基本無(wú)法對(duì)教師的信息處理結(jié)果進(jìn)行匯總，所以學(xué)校也就缺乏對(duì)教學(xué)效果的客觀衡量依據(jù)。趙永華等對(duì)100多篇高校試卷分析相關(guān)論文進(jìn)行分析后認(rèn)為目前的應(yīng)用主要是針對(duì)單一課程試卷的分析，信息利用率不高，并且沒(méi)有廣泛開展試卷分析，因而未能為教學(xué)過(guò)程提供足夠的反饋控制信息。要改變這一現(xiàn)狀，一方面離不開相關(guān)試卷分析觀念的轉(zhuǎn)變、相關(guān)管理制度的確立及教師自身試卷分析素質(zhì)的提高，另一方面也離不開相關(guān)理論及易于使用的專用試卷分析軟件的支持。

目前各高校都建立了各類型教學(xué)教務(wù)系統(tǒng)，多數(shù)情況下各教學(xué)業(yè)務(wù)科室站在各自角度對(duì)數(shù)據(jù)的理解和定義，都有自己的數(shù)據(jù)規(guī)范，往往會(huì)出現(xiàn)相同的業(yè)務(wù)、用戶有不同的定義。當(dāng)需要進(jìn)行跨業(yè)務(wù)的數(shù)據(jù)合作時(shí)，往往會(huì)發(fā)現(xiàn)數(shù)據(jù)邏輯上的孤立，溝通成本極高。這種數(shù)據(jù)孤島現(xiàn)象是普遍存在的，高校教學(xué)效果評(píng)價(jià)需要大量數(shù)據(jù)，急需消除各系統(tǒng)之間的數(shù)據(jù)孤島現(xiàn)象，對(duì)數(shù)據(jù)大集中，發(fā)展和創(chuàng)造出各種渠道、模式讓數(shù)據(jù)協(xié)作得更好，從而發(fā)揮數(shù)據(jù)自身的價(jià)值。利用現(xiàn)代信息技術(shù)手段將數(shù)據(jù)庫(kù)技術(shù)、Web技術(shù)等開發(fā)技術(shù)集合起來(lái)，認(rèn)證分析當(dāng)前系統(tǒng)模型，開發(fā)基于B/S模式的效果評(píng)價(jià)系統(tǒng)，可以很好地針對(duì)高校試卷分析的具體需求（主要對(duì)考試試卷做出各項(xiàng)指標(biāo)的分析，得出分析結(jié)果），并能有效地利用校園網(wǎng)的軟硬件資源，為高校的教學(xué)效果評(píng)價(jià)提供一種交互、開放、易用的全新環(huán)境。建立基于校園網(wǎng)的試卷分析系統(tǒng)網(wǎng)絡(luò)動(dòng)態(tài)數(shù)據(jù)庫(kù)，可以提供一個(gè)共享平臺(tái)，使學(xué)校的各個(gè)部門之間共享教學(xué)效果評(píng)價(jià)中的不同指標(biāo)信息，諸如學(xué)生的各科成績(jī)、試題的難易程序等均可以通過(guò)網(wǎng)絡(luò)一目了然。一方面可以使試卷信息的管理工作更加快捷、方便；另一方面可以實(shí)現(xiàn)學(xué)校各級(jí)教學(xué)部門的試卷協(xié)調(diào)工作在網(wǎng)絡(luò)上的自然完成，可以避免由于學(xué)校各級(jí)部門之間由于信息不流通所掌握的學(xué)生情況不一致，造成對(duì)學(xué)生成績(jī)信息的管理十分不便。因此，建立基于試卷分析的完整的高校教學(xué)效果評(píng)價(jià)系統(tǒng)及網(wǎng)絡(luò)動(dòng)態(tài)數(shù)據(jù)庫(kù)是十分必要的。

2 關(guān)鍵評(píng)價(jià)指標(biāo)

教學(xué)效果評(píng)價(jià)系統(tǒng)的關(guān)鍵評(píng)價(jià)指標(biāo)可以劃分為3個(gè)方面：學(xué)生成績(jī)?cè)u(píng)價(jià)指標(biāo)、試題評(píng)價(jià)指標(biāo)和試卷評(píng)價(jià)指標(biāo)。

2.1 學(xué)生成績(jī)?cè)u(píng)價(jià)指標(biāo)

學(xué)生成績(jī)?cè)u(píng)價(jià)指標(biāo)就是對(duì)具體參加某科目考試的所有學(xué)生的統(tǒng)計(jì)結(jié)果，主要包括學(xué)生的成績(jī)統(tǒng)計(jì)指標(biāo)和成績(jī)分布曲線指標(biāo)。

成績(jī)統(tǒng)計(jì)指標(biāo)包括試卷的平均分、最高分、最低分；各分?jǐn)?shù)段學(xué)生人數(shù)及其所占的比例、及格率、不及格率、優(yōu)秀率。通過(guò)成績(jī)統(tǒng)計(jì)指標(biāo)可以清楚地知道考生在這次考試中的答題情況，各分?jǐn)?shù)段的人數(shù)和百分比，也可以從中方便地看出該次考試的及格率、不及格率、優(yōu)秀率等指標(biāo)。通過(guò)最高分，最低分這兩個(gè)極端指標(biāo)可以知道試卷出題是否超過(guò)了哪個(gè)極端，或者幫助教師發(fā)現(xiàn)該班級(jí)中存在的個(gè)別學(xué)生。平均分體現(xiàn)了該班級(jí)考生在這次考試中的平均答題水平，一定程度上代表了該班級(jí)考生對(duì)該試卷學(xué)科知識(shí)的掌握程度。

成績(jī)分布曲線指標(biāo)可以清晰地顯示出學(xué)生考試成績(jī)分布是否合理。根據(jù)經(jīng)典測(cè)量理論，在正常情況下，如果試卷的考試成績(jī)呈正態(tài)分布，則試卷的質(zhì)量較高，否則較低。通過(guò)對(duì)各分?jǐn)?shù)段學(xué)生人數(shù)及其所占的比例統(tǒng)計(jì)建立一個(gè)曲線圖，對(duì)學(xué)生成績(jī)分布曲線進(jìn)行評(píng)價(jià)是最形象直接的方法。

2.2 試題評(píng)價(jià)指標(biāo)

2.2.1 試題難度

主要檢測(cè)試題對(duì)于考察的學(xué)生來(lái)說(shuō)究竟是偏難還是偏容易，試題難度過(guò)大或過(guò)小，易造成全部學(xué)生得高分或得低分現(xiàn)象，從而不能區(qū)分學(xué)生水平，也影響試卷的信度和效度。

難度總是在0到1之間變化的，難度值愈大，試題愈容易；難度值愈小，試題愈難。一般認(rèn)為，選拔性考試試題難度值在0.3到0.7之間為宜。P值大于0.7的題目約占30%，P值為0.3～0.7的題目約占60%，P值小于0.3的題目約占10%。

2.2.2 試題區(qū)分度

試題區(qū)分度是指試題對(duì)學(xué)生實(shí)際水平的區(qū)分程度或鑒別能力。區(qū)分度高的試題能對(duì)不同知識(shí)水平和能力的學(xué)生加以區(qū)分，使能力高的學(xué)生得高分，能力低的學(xué)生得低分；區(qū)分度低的試題則不能對(duì)學(xué)生的能力進(jìn)行很好的鑒別，使水平高和水平低的學(xué)生得分相差不大或沒(méi)有規(guī)律可循。

客觀性試題：將試題分?jǐn)?shù)從高到低排列，分為兩段，各取25%為高分組和低分組，PH和PL分別為高分組和低分組在該題上的通過(guò)率。則該題區(qū)分度D為

2.3 試卷評(píng)價(jià)指標(biāo)

2.3.1 試卷信度

試卷質(zhì)量分析主要評(píng)價(jià)試卷信度， 試卷信度只在試題數(shù)至少為2才有效。試卷信度是針對(duì)試卷所反映出的考分穩(wěn)定性的評(píng)估，即考試結(jié)果的穩(wěn)定性和可靠程度，是衡量考分與考生真實(shí)水平的指標(biāo)。采用克隆巴赫（信度）系數(shù)（Cronbach's alpha），設(shè)K代表題目總數(shù)， 代表考試總分方差， 代表第j題得分的方差，則試卷信度R為：

影響信度的因素：影響信度的因素很多，比如測(cè)驗(yàn)內(nèi)容、考試的環(huán)境、考生的狀況等，都能導(dǎo)致測(cè)驗(yàn)分?jǐn)?shù)的不一致，從而降低信度值。試題過(guò)易或過(guò)難都會(huì)影響信度。一般題目多，信度就會(huì)高；區(qū)分能力強(qiáng)的題目越多信度也會(huì)越高；考生能力的差異越大，信度越高。通常考試的試卷信度指標(biāo)要求在0.6以上，而大規(guī)模標(biāo)準(zhǔn)化考試信度要求在0.7以上。

2.3.2 試卷難度

主要檢測(cè)試卷對(duì)于被考查的學(xué)生來(lái)說(shuō)究竟是偏難還是偏容易，無(wú)論是太容易還是太難都認(rèn)為這份試卷是失敗的。試題難度過(guò)大或過(guò)小，宜造成全部學(xué)生得高分或得低分現(xiàn)象，從而不能區(qū)分學(xué)生水平，也影響試卷的信度和效度。試卷難度的測(cè)定是建立在試題難度的基礎(chǔ)上，以試題難度為變量，以試題滿分值為權(quán)數(shù)的加權(quán)平均值。選拔性測(cè)試P=0.5左右為宜，通常期末考試為目標(biāo)參照性考試，P可適當(dāng)偏高，全卷平均難度以0.7左右為宜，0.6～0.8為正常。難度適中能更客觀地反映出學(xué)生的學(xué)習(xí)效果。

2.3.3 試卷區(qū)分度

指試卷區(qū)分考生水平差異的程度。區(qū)分度越高，說(shuō)明試卷區(qū)分考生水平差異的能力越強(qiáng)，反之，區(qū)分能力就越差。采用試題區(qū)分度的加權(quán)平均計(jì)算得到。一般以0.4～0.6為宜。

3 評(píng)價(jià)系統(tǒng)的實(shí)現(xiàn)

3.1 概念模型

概念模型如圖1所示。

3.3 程序設(shè)計(jì)實(shí)現(xiàn)

使用ASP.NET的內(nèi)置對(duì)象、組件和ADO組件開發(fā)出功能強(qiáng)大的Web數(shù)據(jù)庫(kù)應(yīng)用程序，并將系統(tǒng)數(shù)據(jù)信息存儲(chǔ)在SQL SERVER進(jìn)行訪問(wèn)，很好地解決了全校各級(jí)教學(xué)部門的數(shù)據(jù)信息共享問(wèn)題，構(gòu)建較完善的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)管理系統(tǒng)。通過(guò)該開發(fā)平臺(tái)開發(fā)的試卷分析平臺(tái)可以很直觀地體現(xiàn)出學(xué)生的學(xué)習(xí)狀態(tài)、學(xué)習(xí)成績(jī)的分布、試題區(qū)分度等指標(biāo)。

系統(tǒng)與學(xué)校的教務(wù)管理系統(tǒng)進(jìn)行無(wú)縫連接，成為教務(wù)系統(tǒng)的一部分。每個(gè)使用者以一個(gè)唯一用戶名登錄，可進(jìn)行創(chuàng)建一個(gè)新的試卷分析記錄或編輯使用原有試卷分析記錄兩種操作。第一步，在線填寫考試的基本信息；第二步，填寫考卷中題型和大題、小題數(shù)量；第三步，系統(tǒng)分層抽樣自動(dòng)得到學(xué)生名單，按學(xué)生名單在線填寫或?qū)敕謹(jǐn)?shù)；第四步，評(píng)價(jià)系統(tǒng)生成各項(xiàng)指標(biāo)，由教師根據(jù)評(píng)價(jià)指標(biāo)進(jìn)行補(bǔ)充說(shuō)明。試卷分析結(jié)果以圖形和表格形式表現(xiàn)，給出各項(xiàng)指標(biāo)、文字分析結(jié)果。內(nèi)容包括：考試基本信息、成績(jī)分布圖、試卷信度、區(qū)分度、難度等，如圖3所示。

3.4 實(shí)例分析

實(shí)例1：168人參加考試，試卷難度0.789，試卷區(qū)分度0.397，試卷信度-1.973。該試卷的試卷難度和試卷區(qū)分度較理想，卻出現(xiàn)了信度不達(dá)標(biāo)，無(wú)法對(duì)教學(xué)效果進(jìn)行評(píng)價(jià)。究其原因發(fā)現(xiàn)在80～90分?jǐn)?shù)段集中了接近70%的學(xué)生，而在總分相近的情況下，各大題和小題得分差異卻很大，所以就出現(xiàn)了試卷難度區(qū)分度尚可，信度指標(biāo)是負(fù)數(shù)。針對(duì)以上情況建議教師在以后試卷中增加題量，這樣可使每個(gè)題目上的隨機(jī)誤差相互抵消，從而提高信度；在一個(gè)測(cè)試中避免安排許多性質(zhì)不同的內(nèi)容，這樣會(huì)降低一致性，影響信度。

實(shí)例2：65人參加考試，試卷難度0.768，試卷區(qū)分度0.36，試卷信度0.917。由于考試屬目標(biāo)性檢測(cè)，對(duì)區(qū)分度要求不是太高，故并不影響本試卷的可靠性。對(duì)于難度較低的問(wèn)題，我們分析了每道試題的難度，題目中超過(guò)70分的試題難度指標(biāo)在0.83以上，相應(yīng)題目的區(qū)分度指標(biāo)也就很差，導(dǎo)致了高分段考生人數(shù)偏多。針對(duì)以上情況建議教師改進(jìn)題目的質(zhì)量，將試題難度控制在中等，區(qū)分度要大。

實(shí)例3：99人參加考試，試卷難度0.631，試卷區(qū)分度0.622，試卷信度0.929，優(yōu)7人，良21人，中22人，及格20人，及格以下29人。此次考試為統(tǒng)一命題，試卷題目質(zhì)量較高，難易程度合理。統(tǒng)一閱卷，流水作業(yè)，降低了個(gè)人行為的誤差。擔(dān)任此教學(xué)班教學(xué)任務(wù)的教師教齡超過(guò)20年，具備豐富的教學(xué)經(jīng)驗(yàn)?？梢?jiàn)評(píng)價(jià)指標(biāo)很好地對(duì)教學(xué)效果進(jìn)行了反映。

4 結(jié) 語(yǔ)

教學(xué)效果評(píng)價(jià)對(duì)改進(jìn)教學(xué)過(guò)程提供了必要的反饋信息，這是教學(xué)效果評(píng)價(jià)直接的、主要的功能；對(duì)學(xué)生學(xué)習(xí)成績(jī)優(yōu)劣、好壞的區(qū)別，與教師和學(xué)生的動(dòng)機(jī)有緊密的聯(lián)系，因而很重要，也是調(diào)控教學(xué)過(guò)程所需要的信息。認(rèn)識(shí)到這一點(diǎn)，有助于我們積極、主動(dòng)地利用和開發(fā)教學(xué)效果評(píng)價(jià)系統(tǒng)的全部功能，提高教學(xué)的質(zhì)量和效率。

在實(shí)際應(yīng)用中，完全符合高校情況，采用無(wú)紙化試卷分析，化簡(jiǎn)煩瑣的工作模式，使得教師們從復(fù)雜的日常工作中解放出來(lái)，節(jié)省了大量的人力和物力，避免了重復(fù)性的工作。系統(tǒng)上線以來(lái)，共有1確100多名教師做了32 000余份分析報(bào)告，受到教師的高度評(píng)價(jià)。教師進(jìn)行定性分析、教學(xué)反思等環(huán)節(jié)結(jié)合教學(xué)效果評(píng)價(jià)系統(tǒng)中定量數(shù)據(jù)找出教學(xué)中存在的問(wèn)題，總結(jié)教學(xué)經(jīng)驗(yàn)，不斷改進(jìn)教學(xué)，提高教學(xué)質(zhì)量。豐富的評(píng)價(jià)數(shù)據(jù)結(jié)合相關(guān)數(shù)據(jù)挖掘方法在教育學(xué)中的應(yīng)用，可進(jìn)一步進(jìn)行數(shù)據(jù)分析，發(fā)現(xiàn)重要的數(shù)據(jù)模式，對(duì)教學(xué)研究做出更多貢獻(xiàn)。

主要參考文獻(xiàn)

[1]教育部.普通高等學(xué)校本科教學(xué)工作審核評(píng)估方案[EB/OL].http：//www moe edu cn/publicfiles/business/htmlfiles/moe/s7168/201312/160919，html.

[2]李明.整合策略，切實(shí)改進(jìn)高校質(zhì)量保障體系[J].中國(guó)高等教育.2011（11）：40-42.

[3]徐美.高校教學(xué)督導(dǎo)員課堂教學(xué)評(píng)價(jià)的權(quán)威性：?jiǎn)栴}與對(duì)策.[J].教育理論與實(shí)踐，2014（3）：6-8.

[4]王云，楊芳.相關(guān)系數(shù)法在適應(yīng)性考試試卷分析中的應(yīng)用研究[J].教育理論與實(shí)踐，2015（27）：52-54.

[5]王鐵，劉婧姝，耿春明.基于Web技術(shù)的試卷分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].齊齊哈爾大學(xué)學(xué)報(bào)，哲學(xué)社會(huì)科學(xué)版2009（2）：178-180.

[6]趙永華，李海櫻.高校試卷分析研究的內(nèi)容分析[J].考試周刊，2011（87）：3-4.

[7]張敏強(qiáng).教育測(cè)量學(xué)[M].北京：人民教育出版社，1998.

[8]王松桂，程維虎，等.概率論與數(shù)理統(tǒng)計(jì)[M].北京：科學(xué)出版社，2000.

[9]楊毅.數(shù)據(jù)庫(kù)系統(tǒng)原理及應(yīng)用[M].北京：科學(xué)出版社，2004.

[10]耿玉清，張春生一種試卷分析及數(shù)據(jù)挖掘系統(tǒng)的開發(fā)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2010（10）：241-245.