趙雪晶
(華東師范大學(xué)公共管理學(xué)院,上海 200062)
作為日常教研活動(dòng)的“聽評(píng)課”,是培育和提升教師評(píng)價(jià)素養(yǎng)的實(shí)踐平臺(tái),是教師運(yùn)用評(píng)價(jià)來診斷教學(xué)、改進(jìn)教學(xué)的重要途徑。但不少“聽評(píng)課”流于形式,成了為新教師磨課、給骨干教師展示的平臺(tái),教師們很少利用“聽評(píng)課”來幫助自己學(xué)習(xí)評(píng)價(jià)、應(yīng)用評(píng)價(jià)和改進(jìn)評(píng)價(jià)的途徑?;诖?,筆者將圍繞對(duì)“聽評(píng)課”中教師在評(píng)價(jià)素養(yǎng)方面的不足,在改良“聽評(píng)課”形式的基礎(chǔ)上,探索提升教師評(píng)價(jià)素養(yǎng)的可操作性策略。
“評(píng)價(jià)素養(yǎng)”最初是由美國學(xué)者斯蒂金斯(Stiggins,R.J.)于 1991年在一篇名為“評(píng)價(jià)素養(yǎng)”的文章中提出的[1]。他認(rèn)為,評(píng)價(jià)素養(yǎng)是教師在日常教學(xué)與評(píng)價(jià)行為活動(dòng)中養(yǎng)成或修成的素質(zhì)?!皩?duì)于工作在一線的教師來說,有相當(dāng)大的一部分教學(xué)時(shí)間用在與評(píng)價(jià)相關(guān)的活動(dòng)上?!保?]筆者認(rèn)為:教師評(píng)價(jià)素養(yǎng)至少應(yīng)包括:
(1)評(píng)價(jià)意識(shí)。教師有意識(shí)地將評(píng)價(jià)作為自己日常教學(xué)活動(dòng)的一部分,這是評(píng)價(jià)行為習(xí)慣的養(yǎng)成與評(píng)價(jià)技能的提高的前提條件。
(2)評(píng)價(jià)知識(shí)。教師應(yīng)當(dāng)具備評(píng)價(jià)活動(dòng)的基本知識(shí),包括評(píng)價(jià)目標(biāo)的確定、評(píng)價(jià)方法的種類、評(píng)價(jià)結(jié)果的呈現(xiàn)等等。[3]這類知識(shí)可以從專業(yè)的評(píng)價(jià)領(lǐng)域中獲取,但對(duì)于大多數(shù)教師來說,評(píng)價(jià)知識(shí)是通過教學(xué)實(shí)踐而豐富的。
(3)評(píng)價(jià)技能。即將評(píng)價(jià)知識(shí)應(yīng)用于評(píng)價(jià)實(shí)踐的能力,教師運(yùn)用評(píng)價(jià)來診斷學(xué)生學(xué)習(xí)效果,利用評(píng)價(jià)結(jié)果反思與改進(jìn)自身的教學(xué)行為等,評(píng)價(jià)技能是教師開展有效評(píng)價(jià)活動(dòng)(學(xué)生評(píng)價(jià)、自我評(píng)價(jià)、同行評(píng)價(jià))的重要條件。
(4)評(píng)價(jià)態(tài)度。即是指教師對(duì)評(píng)價(jià)持有的看法以及由此做出行動(dòng)選擇的一種心理傾向。
可以說,聽評(píng)課是教師將評(píng)價(jià)融合到教學(xué)改進(jìn)當(dāng)中去的最好機(jī)會(huì),但遺憾的是,大多數(shù)教師都沒能很好地運(yùn)用評(píng)價(jià)工具。這種不足主要表現(xiàn)在:
(1)事先缺乏系統(tǒng)的規(guī)劃。在聽評(píng)課開始前,評(píng)課者沒有做好充分的準(zhǔn)備,一是評(píng)課教師沒有與上課教師進(jìn)行有效的溝通,不了解上課班級(jí)的學(xué)情與教情,而是根據(jù)自己的教學(xué)經(jīng)驗(yàn)和直覺去做判斷;二是評(píng)課老師沒有找準(zhǔn)課堂觀測(cè)點(diǎn),對(duì)于信息容量較大的一堂課,不能有條理地記錄教學(xué)過程中的重點(diǎn)、疑難點(diǎn)以及顯現(xiàn)的問題。
(2)評(píng)價(jià)建議針對(duì)性不強(qiáng)。在聽評(píng)課中,評(píng)課方式都是以質(zhì)性評(píng)價(jià)為主,觀課者僅從課堂呈現(xiàn)效果的總體感受出發(fā),從而導(dǎo)致評(píng)課時(shí),雖存在質(zhì)疑之處,但又缺乏證據(jù)支持,因此評(píng)課建議往往是問題漫談式、即席發(fā)揮式的,贊美是共同的贊美,問題是普遍的問題,缺乏針對(duì)性。
(3)評(píng)價(jià)的改進(jìn)功能未得到體現(xiàn)。在聽評(píng)課活動(dòng)結(jié)束之后,授課教師與評(píng)課老師理應(yīng)在這次共同的教研活動(dòng)中都有所收獲,但令人遺憾的情況是,評(píng)課的最終結(jié)果是用好、壞或者是達(dá)標(biāo)、達(dá)標(biāo)的分?jǐn)?shù)來衡量。這種考量只是考察授課教師是否實(shí)現(xiàn)其教學(xué)計(jì)劃,完成了教學(xué)任務(wù),而對(duì)學(xué)生的有效學(xué)習(xí)沒有足夠的關(guān)注。
這些問題的產(chǎn)生在很大程度上投射出教師評(píng)價(jià)素養(yǎng)方面的缺失,歸納起來,這些原因主要有:
(1)教師評(píng)價(jià)意識(shí)的欠缺。無論是上課還是評(píng)課的教師在課堂教學(xué)進(jìn)行中都在運(yùn)用評(píng)價(jià),但不是每個(gè)教師都明確自己何時(shí)使用了評(píng)價(jià),以及有沒有通過評(píng)價(jià)來達(dá)到促進(jìn)學(xué)生的學(xué)習(xí)。在課堂上,筆者觀察大多數(shù)教師在聽課時(shí)都在空白的紙張上隨機(jī)記下自己的觀感或建議,事先并沒有一份擬定好的評(píng)課目標(biāo)或評(píng)價(jià)指標(biāo)。同樣的,課后通過對(duì)教師的詢問得知,通常他們?cè)诮虒W(xué)前都會(huì)制定一份教學(xué)計(jì)劃,但很少有人會(huì)專門對(duì)“課堂評(píng)價(jià)”的部分進(jìn)行單獨(dú)的設(shè)計(jì)。這普遍反映出當(dāng)前教師的評(píng)價(jià)意識(shí),即通過評(píng)價(jià)、應(yīng)用評(píng)價(jià)來改進(jìn)教學(xué)的意識(shí)的欠缺。
(2)教師的評(píng)價(jià)知識(shí)和技能的匱乏。有資料顯示,教師在進(jìn)入工作崗位之前并沒有作好評(píng)價(jià)方面的準(zhǔn)備。斯蒂金斯在有關(guān)教師課堂評(píng)價(jià)培訓(xùn)項(xiàng)目的調(diào)查中發(fā)現(xiàn),教師在課堂中實(shí)際所需的和教師所接受的評(píng)價(jià)培訓(xùn)內(nèi)容很不匹配。[5]實(shí)踐證明,大多數(shù)教師是從自己日積月累的教學(xué)經(jīng)驗(yàn)中獲取評(píng)價(jià)知識(shí),并在教學(xué)實(shí)踐中將知識(shí)轉(zhuǎn)化為應(yīng)用技能的。而對(duì)于年輕教師來說,免不了要通過“試誤”來改善和提升自己的評(píng)價(jià)能力。在聽評(píng)課活動(dòng)中,由于觀課教師們對(duì)于如何系統(tǒng)的、科學(xué)的評(píng)價(jià)課堂教學(xué)并沒有把握,通常會(huì)將自己的教學(xué)和評(píng)價(jià)理念投射到授課教師身上,從而得出主觀性強(qiáng),缺乏的證據(jù)的評(píng)價(jià)結(jié)論。
(3)教師評(píng)價(jià)態(tài)度的不端正。有的教師會(huì)以與授課教師的親疏度來左右自己的褒貶建議;有的教師會(huì)將活躍的課堂氣氛,教學(xué)形式的變化多樣作為評(píng)價(jià)重點(diǎn),而真正的評(píng)價(jià)目標(biāo)——促進(jìn)學(xué)生的學(xué)習(xí)常常被忽視了。
有效的聽評(píng)課是需要教師評(píng)價(jià)素養(yǎng)來保障的。這些要求主要有:
教師的評(píng)價(jià)意識(shí)應(yīng)當(dāng)貫穿于整個(gè)教學(xué)過程當(dāng)中,無論是自己實(shí)施教學(xué)還是作為旁觀者評(píng)價(jià)同行教學(xué),教師都能夠有意識(shí)的設(shè)計(jì)評(píng)價(jià)方案或者規(guī)劃評(píng)價(jià)活動(dòng)。在聽評(píng)課活動(dòng)中,評(píng)課教師應(yīng)當(dāng)根據(jù)授課教師的教學(xué)設(shè)計(jì),并結(jié)合自己的觀察重心,在課前確定好評(píng)價(jià)目標(biāo)與評(píng)價(jià)內(nèi)容,并在課中記錄下教師的評(píng)價(jià)行為及學(xué)生的評(píng)價(jià)反饋,這樣在課后的評(píng)課活動(dòng)中才能據(jù)點(diǎn)施評(píng)。
評(píng)價(jià)知能包括評(píng)價(jià)知識(shí)和評(píng)價(jià)技能兩個(gè)方面,聽評(píng)課活動(dòng)對(duì)教師的評(píng)價(jià)知識(shí)與能力的要求很高,評(píng)課教師不僅要對(duì)教學(xué)活動(dòng)熟知,更要明確自己作為觀評(píng)者的職責(zé),用評(píng)價(jià)的手段對(duì)課堂上教師的教學(xué)行為進(jìn)行深入的分析,并結(jié)合課堂學(xué)生的興趣、思維狀態(tài)、學(xué)習(xí)習(xí)慣等情況的觀察與記錄來對(duì)這堂課的效果進(jìn)行綜合評(píng)定。因此,聽評(píng)課不僅是檢驗(yàn)教師教學(xué)水平的活動(dòng),同樣也是考察教師評(píng)價(jià)知識(shí)與能力的活動(dòng)。
評(píng)價(jià)態(tài)度是教師評(píng)價(jià)立場(chǎng)的體現(xiàn),即教師站在什么角度去聽課評(píng)課?確立了態(tài)度之后所踐行的評(píng)價(jià)行為又是什么?聽評(píng)課教師在收集證據(jù)時(shí)要保持價(jià)值中立,公正地看待授課教師的教學(xué),關(guān)注課堂中的每一位學(xué)生。作為第三方的聽評(píng)課者,聽評(píng)課其實(shí)也是參與和學(xué)習(xí)的過程。教師要依據(jù)自己的觀課感受為授課教師提供真誠的建議。而不是憑借個(gè)人印象和過往經(jīng)驗(yàn)泛泛而談。評(píng)價(jià)一堂課的好壞不能僅僅以課堂氛圍作為標(biāo)準(zhǔn),也不能以活躍的少數(shù)學(xué)生作為衡量,而應(yīng)該本著課堂是提供給全部學(xué)生學(xué)習(xí)機(jī)會(huì)、促進(jìn)學(xué)生學(xué)習(xí)的理念,依賴科學(xué)的評(píng)價(jià)給予授課老師提供幫助。
教師的評(píng)價(jià)素質(zhì)通常是在日常的教學(xué)活動(dòng)以及教研活動(dòng)中得到提升的,因此,我們應(yīng)該利用好聽評(píng)課的環(huán)節(jié),在聽評(píng)課中提升教師的評(píng)價(jià)素養(yǎng)。
1、在聽評(píng)課中喚醒教師的評(píng)價(jià)意識(shí)
真正的學(xué)校變革始源于教師在個(gè)人內(nèi)在理論和參照系改造、自身日常實(shí)踐行為變革的嘗試中的內(nèi)在醒悟及對(duì)生命發(fā)展的自我更新與內(nèi)在追求。[7]有效地聽評(píng)課會(huì)讓教師有意識(shí)地將“評(píng)價(jià)”從教學(xué)中暫時(shí)分離出來,并運(yùn)用“評(píng)價(jià)”來改進(jìn)教學(xué)策略,提升對(duì)教學(xué)診斷的能力。這種意識(shí)的覺醒需要給教師以實(shí)踐的機(jī)會(huì),往往在專家引領(lǐng)下的聽評(píng)課活動(dòng)是喚醒教師評(píng)價(jià)意識(shí)的重要途徑。
2、在聽評(píng)課中培育教師的評(píng)價(jià)知能
在聽評(píng)課活動(dòng)開始前,對(duì)教師進(jìn)行評(píng)價(jià)知識(shí)的培訓(xùn),讓教師明確自己的評(píng)價(jià)目的、評(píng)價(jià)任務(wù)、評(píng)價(jià)途徑和方法,這是保障教學(xué)評(píng)價(jià)活動(dòng),尤其是重視操作性的量化評(píng)價(jià)是科學(xué)評(píng)價(jià)的前提條件。但俗話說“授之于魚不如授之于漁”,教師只有將評(píng)價(jià)知識(shí)運(yùn)用到實(shí)踐當(dāng)中,逐步提升自身的評(píng)價(jià)技能。技能的掌握和操作不是紙上談兵,而是要在教學(xué)實(shí)踐中不斷的嘗試和應(yīng)用。當(dāng)教師學(xué)會(huì)利用教學(xué)前后評(píng)價(jià)結(jié)果的比較來評(píng)判自己的教學(xué)效果時(shí),他們有足夠的理由和信心來決定自己的教學(xué)安排或者評(píng)價(jià)建議是否需要徹底地調(diào)整,并作出相應(yīng)的教育決策。[9]
3、在聽評(píng)課中樹立教師的評(píng)價(jià)信念
自信心不足的教師往往依賴于外部評(píng)價(jià)的診斷結(jié)果。但是這種依賴也帶來了各種各樣的“以考定教”、“以考定學(xué)”、“以評(píng)代管”等等與“以學(xué)定教”相背的現(xiàn)象。如果讓教師認(rèn)識(shí)到過程性評(píng)價(jià)的意義,體驗(yàn)和感知到評(píng)價(jià)是如何作用于教學(xué),又是如何促進(jìn)教學(xué)的?那么就會(huì)極大地樹立與堅(jiān)定教師要學(xué)會(huì)用評(píng)價(jià)的信念。
就如何提升教師評(píng)價(jià)素養(yǎng)筆者曾結(jié)合有關(guān)理論在有關(guān)項(xiàng)目學(xué)校進(jìn)行三方面的探索:一是協(xié)同教師設(shè)計(jì)“聽評(píng)課觀測(cè)表”;二是科學(xué)的系統(tǒng)的改良聽評(píng)課活動(dòng)形式,加大教師之間的互助合作功能;三是給教師對(duì)比呈現(xiàn)改進(jìn)前后的教學(xué)與評(píng)價(jià)“證據(jù)”,幫助教師更好的進(jìn)行自我反思。
1、專家引領(lǐng),完善評(píng)價(jià)工具
關(guān)于如何收集有效的觀課證據(jù),我們與教師們就學(xué)情、教學(xué)狀況、課程情況等進(jìn)行了理論與實(shí)踐相結(jié)合的交流,由此設(shè)計(jì)出包含教師維度、學(xué)生維度、課程性質(zhì)維度在內(nèi)的三維“聽評(píng)課觀測(cè)表”。觀測(cè)表的主要功能在于通過解構(gòu)課堂,將師生互動(dòng)的教與學(xué)行為具體化,評(píng)課老師依照觀測(cè)點(diǎn)對(duì)課堂呈現(xiàn)出來的師生行為進(jìn)行描述與記錄,在兩堂課結(jié)束后,全體教師共同對(duì)同一教師,同一教學(xué)內(nèi)容,兩次不同對(duì)象的教學(xué)呈現(xiàn)進(jìn)行診斷。筆者摘取了某次英語聽評(píng)課活動(dòng)中教師對(duì)“學(xué)生維度”中的“學(xué)習(xí)目標(biāo)的呈現(xiàn)與達(dá)成情況”指標(biāo)的觀測(cè)記錄,如下圖所示:
從觀測(cè)表中可以看出,評(píng)課教師能詳細(xì)地記錄下課堂上的教與學(xué)行為,并能夠作出相應(yīng)的思考和建議,這與教師在課前就做好的評(píng)價(jià)準(zhǔn)備、有了明確的評(píng)價(jià)目標(biāo)密不可分?!奥犜u(píng)課觀測(cè)表”的設(shè)計(jì)和使用,不僅僅是給評(píng)課教師提供了評(píng)價(jià)的工具,也為授課教師提供了教學(xué)“證據(jù)”,它有助于教師們?cè)谠u(píng)課階段對(duì)課堂教學(xué)進(jìn)行有理有據(jù)的解析和診斷,同時(shí)也有效地幫助了教師實(shí)現(xiàn)了從掌握評(píng)價(jià)知識(shí)到運(yùn)用評(píng)價(jià)技能的轉(zhuǎn)換。
“工欲善其事必先利其器”,為了更好的科學(xué)的引導(dǎo)教師應(yīng)用評(píng)價(jià),我們應(yīng)該不斷完善觀課工具,依照可觀察、可操作、可改進(jìn)、可推廣的原則,更細(xì)致地歸納出最有效、最有說服力、簡單易行的量表。這樣,教師的觀察所產(chǎn)生的評(píng)價(jià)才能有效作用于教學(xué)改進(jìn)。
2、同伴互助,提升評(píng)價(jià)實(shí)效
課堂觀察不是教師的自我觀察,也不是教師個(gè)體隨意去“觀”課,而是一項(xiàng)有意識(shí)、有任務(wù)、有規(guī)則、且互惠的教學(xué)活動(dòng)。所以聽評(píng)課活動(dòng)中的課堂觀察不是教師個(gè)體的業(yè)務(wù)活動(dòng),而是一個(gè)合作體的專業(yè)實(shí)踐。但紛繁復(fù)雜的課堂教學(xué)活動(dòng)猶如一個(gè)多面體,聽評(píng)課時(shí),教師必須本著可觀察、可記錄、可解釋的原則對(duì)這項(xiàng)整體任務(wù)進(jìn)行合理分解,才能使每個(gè)個(gè)體觀察人員所分配到的內(nèi)容具體細(xì)致、具有操作性,便于進(jìn)行深入觀察與研究。[6]因此,合作意味著授課者與評(píng)課者都有著各自相應(yīng)的教學(xué)與評(píng)價(jià)任務(wù),如果授課者是來表演的,而評(píng)課者是來觀賞的,那么這種合作研究就失去了意義,顯得低效或無效。讓聽評(píng)課以“同師同課異構(gòu)”的形式呈現(xiàn),意在構(gòu)建一個(gè)教師互助的課堂:授課教師通過第一次“嘗試課”教學(xué)后,由觀課教師進(jìn)行即時(shí)診斷,大家給出建議并幫助其修改教學(xué)設(shè)計(jì),之后,授課教師將教學(xué)改進(jìn)直接運(yùn)用于緊接著的第二次的“重建課”教學(xué)。兩次授課結(jié)束后,全體教師再一同開展評(píng)課活動(dòng),通過對(duì)比兩次課堂觀察諸項(xiàng)評(píng)價(jià)指標(biāo)的變化,形成對(duì)于這節(jié)課質(zhì)性與量化相結(jié)合的評(píng)價(jià)結(jié)論。
實(shí)踐證明,第二次重建課上,授課教師大多及時(shí)地改進(jìn)第一次課上的錯(cuò)誤,有些教師還能有所創(chuàng)新和突破。而且,筆者注意到,在評(píng)課階段,不僅僅是授課教師對(duì)自己取得的進(jìn)步感到高興,評(píng)課教師也對(duì)自己所提的評(píng)價(jià)建議能夠在教學(xué)實(shí)踐中得到檢驗(yàn)而感到欣慰。因此,基于“真誠合作”的聽評(píng)課活動(dòng)中,授課者和評(píng)課者的角色和地位都不是凝固的,更不是二元對(duì)立的。教師們本著真誠合作的態(tài)度,在分別用心做好自己的教、學(xué)、觀、評(píng)任務(wù)時(shí),也能夠互惠互利,給予對(duì)方最有效的反饋,從而共同實(shí)現(xiàn)教與學(xué)活動(dòng)的改善與提升。
3、自我反思,實(shí)現(xiàn)評(píng)價(jià)意義
“一切教育歸根到底是自我教育”,要實(shí)現(xiàn)評(píng)價(jià)的意義,必須依賴于教師的自我反思。無論是專家的指導(dǎo)還是同行之間的互助,有效的教研活動(dòng)最終都是為了幫助教師提升專業(yè)素養(yǎng),促進(jìn)學(xué)生的發(fā)展。在“聽評(píng)課觀測(cè)表”的協(xié)助下,評(píng)課教師有目的性地運(yùn)用評(píng)價(jià)技能診斷和分析課堂教學(xué)問題,授課教師有針對(duì)性地依據(jù)評(píng)價(jià)建議修改自己的教學(xué)設(shè)計(jì);而在“同師同課異構(gòu)”的聽評(píng)課活動(dòng)中,評(píng)課教師和授課教師都能夠通過第二次重建課的課堂效果和課后反饋來了解自己剛才所作出的評(píng)價(jià)和調(diào)整是否正確。
一次完整的聽評(píng)課活動(dòng),讓擔(dān)任不同角色、擔(dān)當(dāng)不同任務(wù)的教師都得到了實(shí)踐和鍛煉的機(jī)會(huì),同時(shí)教師在教學(xué)和評(píng)價(jià)過程中產(chǎn)生的錯(cuò)誤、未被解決的問題則成為其開展自我反思的關(guān)鍵。由于課堂教學(xué)過程是被詳細(xì)的分解且記錄了下來,教師可以更為準(zhǔn)確的抓住重點(diǎn),各個(gè)擊破,這對(duì)于教師評(píng)估自己工作實(shí)踐的優(yōu)劣,鼓勵(lì)教師持續(xù)的變革和改進(jìn)有著巨大的促進(jìn)作用。
綜上所述,無論從理論還是實(shí)踐的角度,以培養(yǎng)和提升教師評(píng)價(jià)素養(yǎng)為目標(biāo),對(duì)課堂教學(xué)進(jìn)行同師同課異構(gòu)式的聽評(píng)課活動(dòng),是一個(gè)能夠改進(jìn)和優(yōu)化教學(xué),并且能彰顯出評(píng)價(jià)本身的價(jià)值和意義的有效性探索。因此,教師要珍惜和利用如聽評(píng)課等一系列貼近教學(xué)實(shí)踐的教研形式,來增加自身的評(píng)價(jià)能力,同時(shí)學(xué)校也要提供支持性的教師評(píng)價(jià)素養(yǎng)發(fā)展機(jī)會(huì),營造評(píng)價(jià)文化與環(huán)境,只有各方合力,才能有步驟、有計(jì)劃的逐步提升教師的評(píng)價(jià)素養(yǎng)整體水平,從而更好地促進(jìn)學(xué)生與學(xué)校的發(fā)展。
[1]Stiggins,R.J.(1991).Assessment literacy.Phi Delta Kappan,72(7):534-539.
[2]王少非.教育評(píng)價(jià)范式轉(zhuǎn)換中的教師評(píng)價(jià)素養(yǎng)框架[J].教師教育研究,2009(3).
[3]鄭東輝,葉盛楠.中小學(xué)教師課堂評(píng)價(jià)知識(shí)及其來源的研究[J].教育發(fā)展研究,2012(20).
[4]鄭東輝.教師評(píng)價(jià)素養(yǎng)發(fā)展研究[D].華東師范大學(xué)博士學(xué)位論文,2009(4).
[5]Stiggins,R.J.(1991).Relevant classroom assessment training for teachers.Educational Measurement:Issues and Practice,10(1):7-12.
[6]付黎黎.聽評(píng)課:指向合作的課堂觀察[J].教育科學(xué)研究2010(2).
[7]參見沈毅,崔允漷.課堂觀察:走向?qū)I(yè)的聽評(píng)課[M]上海:華東師范大學(xué)出版社,2008.
[8]葉瀾主編,張向眾著.中國基礎(chǔ)教育評(píng)價(jià)的積弊與更新[M].北京:教育科學(xué)出版社,2009:253.
[9]W.James Popham 著.促進(jìn)教學(xué)的課堂評(píng)價(jià)[M].國家基礎(chǔ)教育課程改革“促進(jìn)教師發(fā)展和學(xué)生成長的評(píng)價(jià)研究”項(xiàng)目組譯.北京:中國輕工業(yè)出版社,2003.11.