• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    探究式教學(xué)評(píng)價(jià)指標(biāo)體系的構(gòu)建

    2022-07-13 06:03:10劉巍巍陳宇晴王迎春黃笑悅
    關(guān)鍵詞:指標(biāo)體系探究指標(biāo)

    劉巍巍,陳宇晴,劉 設(shè),王迎春,黃笑悅

    探究式教學(xué)評(píng)價(jià)指標(biāo)體系的構(gòu)建

    劉巍巍,陳宇晴,劉 設(shè),王迎春,黃笑悅

    (沈陽(yáng)工業(yè)大學(xué) 機(jī)械工程學(xué)院,遼寧 沈陽(yáng) 100870)

    針對(duì)探究式教學(xué)評(píng)價(jià)多聚焦于學(xué)習(xí)過(guò)程的評(píng)價(jià),缺乏改進(jìn)機(jī)制等問(wèn)題,為此,本文提出了一種以CIPP評(píng)價(jià)模型為框架的探究式教學(xué)評(píng)價(jià)體系。采用文獻(xiàn)法、深度訪談等方法構(gòu)建三級(jí)指標(biāo)體系,采取德?tīng)柗品ㄟM(jìn)行修正,通過(guò)問(wèn)卷調(diào)查法對(duì)其信效度進(jìn)行了檢驗(yàn)。結(jié)果表明:該評(píng)價(jià)體系能夠全面評(píng)價(jià)探究式教學(xué)質(zhì)量、促進(jìn)學(xué)生能力發(fā)展、提升教師教學(xué)水平,可為改進(jìn)與推廣探究式教學(xué)模式提供支撐。

    CIPP模型;探究式教學(xué);評(píng)價(jià)指標(biāo)體系;德?tīng)柗品?/p>

    國(guó)務(wù)院學(xué)位委員會(huì)和教育部于2018年發(fā)布的文件規(guī)定,將原工程碩士中工業(yè)工程專業(yè)學(xué)位調(diào)整到工業(yè)工程與管理專業(yè)學(xué)位。目前,我國(guó)共有80余所高校設(shè)置了工業(yè)工程與管理專業(yè)碩士學(xué)位點(diǎn)。專業(yè)學(xué)位調(diào)整后,其生源來(lái)源愈加廣泛,學(xué)情差異化顯著,教學(xué)方法與課程設(shè)置的不適切導(dǎo)致傳授式教學(xué)模式難以適應(yīng)該專業(yè)課程的培養(yǎng)目標(biāo)。探究式教學(xué)因注重理論與實(shí)踐相結(jié)合、個(gè)性化培養(yǎng)學(xué)生能力、教學(xué)方法靈活而逐漸被用于工業(yè)工程與管理的專業(yè)課教學(xué)中,但針對(duì)其應(yīng)用效果評(píng)價(jià)方面的研究比較匱乏,仍存在許多不足。王較過(guò)等以學(xué)生的學(xué)習(xí)成果、認(rèn)知水平的定量評(píng)價(jià)輔助學(xué)生的學(xué)習(xí)行為和教師的教學(xué)行為的定性評(píng)價(jià),來(lái)評(píng)判探究式課堂的有效性[1];陸長(zhǎng)平等構(gòu)建了包括學(xué)生課堂表現(xiàn)、學(xué)生作品和教師課堂表現(xiàn)在內(nèi)的探究式教學(xué)課程評(píng)價(jià)量表[2];邱文教等構(gòu)建了課堂上教師教學(xué)、學(xué)生表現(xiàn)與探究效果三方面的課堂教學(xué)指標(biāo)體系[3]。已有文獻(xiàn)研究表明,現(xiàn)有研究重點(diǎn)針對(duì)師生課堂表現(xiàn)和學(xué)生學(xué)習(xí)成果的評(píng)價(jià),忽略了教學(xué)準(zhǔn)備、教學(xué)資源和教師收獲等的評(píng)價(jià),評(píng)價(jià)主體較單一,評(píng)價(jià)體系全面性不足。

    為全面評(píng)價(jià)工業(yè)工程與管理專業(yè)類課程中探究式教學(xué)的應(yīng)用效果,引入CIPP(Context evaluation–Input evaluation–Process evaluation–Product evaluation)教學(xué)評(píng)價(jià)模型,構(gòu)建了以“評(píng)價(jià)內(nèi)容全面化、評(píng)價(jià)標(biāo)準(zhǔn)多元化”為特點(diǎn)的評(píng)價(jià)指標(biāo)體系,對(duì)探究式教學(xué)全過(guò)程進(jìn)行評(píng)價(jià),并以評(píng)價(jià)結(jié)果作依據(jù)來(lái)指導(dǎo)教學(xué)模式的改進(jìn),進(jìn)一步豐富和拓展探究式教學(xué)評(píng)價(jià)的理論和實(shí)踐成果。

    一、基于CIPP模型的探究式教學(xué)指標(biāo)體系構(gòu)建

    (一)“全面化”一級(jí)指標(biāo)的構(gòu)建

    CIPP模型由背景評(píng)價(jià)、輸入評(píng)價(jià)、過(guò)程評(píng)價(jià)、成果評(píng)價(jià)四部分組成:其中背景評(píng)價(jià)根據(jù)評(píng)價(jià)對(duì)象的需要對(duì)教學(xué)的必要性進(jìn)行分析;輸入評(píng)價(jià)對(duì)教學(xué)的可行性進(jìn)行判斷,為最佳方案的提出提供依據(jù);過(guò)程評(píng)價(jià)對(duì)教學(xué)實(shí)施的過(guò)程作持續(xù)地監(jiān)督、控制和反饋;成果評(píng)價(jià)是對(duì)教學(xué)目標(biāo)達(dá)成程度的評(píng)價(jià)[4]。根據(jù)CIPP模型的內(nèi)涵和探究式教學(xué)的教學(xué)過(guò)程,結(jié)合工業(yè)工程與管理專業(yè)特點(diǎn),確定以教學(xué)設(shè)計(jì)、資源配置、實(shí)施過(guò)程和教學(xué)成果為一級(jí)指標(biāo)來(lái)全面評(píng)價(jià)探究式教學(xué),構(gòu)建了基于CIPP的探究式教學(xué)評(píng)價(jià)的理論模型(見(jiàn)圖1)。該模型包含三個(gè)層次,由外層到內(nèi)層依次由宏觀到微觀,形成探究式教學(xué)評(píng)價(jià)指標(biāo)體系。其總體構(gòu)成和層級(jí)關(guān)系是:

    (1)以對(duì)探究式教學(xué)的開(kāi)展進(jìn)行診斷為前提,基于背景評(píng)價(jià)構(gòu)建教學(xué)設(shè)計(jì)評(píng)價(jià)指標(biāo);(2)以對(duì)探究式教學(xué)的開(kāi)展進(jìn)行可行性分析為保障,基于投入評(píng)價(jià)構(gòu)建資源配置評(píng)價(jià)指標(biāo);(3)以對(duì)探究式教學(xué)中教與學(xué)全過(guò)程的形成性評(píng)估為核心,基于過(guò)程評(píng)價(jià)構(gòu)建實(shí)施過(guò)程評(píng)價(jià)指標(biāo);(4)以對(duì)教學(xué)效果的終結(jié)性評(píng)價(jià)為關(guān)鍵,基于成果評(píng)價(jià)構(gòu)建教學(xué)成果評(píng)價(jià)指標(biāo)。

    圖1 基于CIPP的探究式教學(xué)評(píng)價(jià)理論模型

    (二)“多元化”二、三級(jí)指標(biāo)的構(gòu)建

    本研究在整理分析有關(guān)探究式教學(xué)評(píng)價(jià)文獻(xiàn)的基礎(chǔ)上,結(jié)合沈陽(yáng)工業(yè)大學(xué)工業(yè)工程與管理專業(yè)從2017年至今開(kāi)展的探究式教學(xué)實(shí)踐,對(duì)一線教師、院校管理者和相關(guān)研究生進(jìn)行了深度訪談,依據(jù)全面與重點(diǎn)相結(jié)合、特定性與靈活性相結(jié)合、科學(xué)性與實(shí)踐性相結(jié)合、反思性與發(fā)展性相結(jié)合的原則,并根據(jù)各評(píng)價(jià)階段評(píng)價(jià)對(duì)象的不同以多元化評(píng)價(jià)標(biāo)準(zhǔn)來(lái)進(jìn)一步構(gòu)建二級(jí)指標(biāo)和三級(jí)指標(biāo)如下:

    1. 教學(xué)設(shè)計(jì)評(píng)價(jià)下二、三級(jí)指標(biāo)。教學(xué)理念和教學(xué)目標(biāo)是教學(xué)設(shè)計(jì)的核心,是開(kāi)展探究式教學(xué)的前提,所以經(jīng)討論確定教學(xué)理念和教學(xué)目標(biāo)為二級(jí)指標(biāo)。工業(yè)工程與管理研究生教育重視學(xué)生差異化,強(qiáng)調(diào)個(gè)性化培養(yǎng),教學(xué)理念的評(píng)價(jià)主要考查學(xué)校對(duì)探究式教學(xué)及該專業(yè)培養(yǎng)方案的理解;教學(xué)目標(biāo)的評(píng)價(jià)主要考查教學(xué)目標(biāo)設(shè)計(jì)是否合理、清晰,是否能夠適應(yīng)社會(huì)需求等,并采用是否式的評(píng)價(jià)方式對(duì)其進(jìn)行診斷。

    教學(xué)設(shè)計(jì)評(píng)價(jià)包括了2個(gè)二級(jí)指標(biāo)和6個(gè)三級(jí)指標(biāo),如表1所示。

    表1 教學(xué)設(shè)計(jì)評(píng)價(jià)指標(biāo)

    一級(jí)指標(biāo)二級(jí)指標(biāo)三級(jí)指標(biāo) 教學(xué)設(shè)計(jì)教學(xué)理念1.是否以學(xué)生為中心 2.是否尊重學(xué)生個(gè)體差異 3.是否注重學(xué)生個(gè)性化發(fā)展 教學(xué)目標(biāo)4.教學(xué)目標(biāo)是否明確 5.教學(xué)目標(biāo)是否體現(xiàn)專業(yè)特色 6.教學(xué)目標(biāo)是否合乎社會(huì)需求

    2. 資源配置評(píng)價(jià)下二、三級(jí)指標(biāo)。姚山季等認(rèn)為,探究式教學(xué)應(yīng)用的障礙為教師教學(xué)能力欠缺、學(xué)生參與積極性不高和教學(xué)資源投入無(wú)保證[5]。工業(yè)工程與管理專業(yè)研究生的專業(yè)課程注重學(xué)生實(shí)踐,需要學(xué)生對(duì)教學(xué)內(nèi)容感興趣,并能自覺(jué)學(xué)習(xí)、探究,且通過(guò)對(duì)教師與管理者的訪談得知,探究式教學(xué)對(duì)教師的教學(xué)經(jīng)驗(yàn)有一定要求,應(yīng)重點(diǎn)考查其設(shè)計(jì)的教學(xué)活動(dòng)是否可行。經(jīng)過(guò)討論,資源配置評(píng)價(jià)板塊以學(xué)生態(tài)度、教師能力和教學(xué)資源為二級(jí)指標(biāo)。通過(guò)調(diào)查,學(xué)生對(duì)探究式教學(xué)的態(tài)度及教師組織管理探究式課堂的效果、教學(xué)資源與教學(xué)手段是否匹配來(lái)對(duì)探究式教學(xué)能否順利開(kāi)展進(jìn)行可行性分析。

    資源配置評(píng)價(jià)包括3個(gè)二級(jí)指標(biāo)和9個(gè)三級(jí)指標(biāo),如表2所示。

    表2 資源配置評(píng)價(jià)指標(biāo)

    一級(jí)指標(biāo)二級(jí)指標(biāo)三級(jí)指標(biāo) 資源配置學(xué)生態(tài)度7.對(duì)探究式學(xué)習(xí)的熱情 8.參與小組討論的意愿 9.自主完成練習(xí)的自覺(jué)性 教師能力10.創(chuàng)設(shè)合理探究情境 11.設(shè)計(jì)系統(tǒng)的教學(xué)活動(dòng) 12.組織探究課堂活動(dòng) 教學(xué)資源13.文獻(xiàn)資料的豐富度 14.專業(yè)書(shū)籍的齊全度 15.實(shí)驗(yàn)設(shè)備的先進(jìn)性

    3. 實(shí)施過(guò)程評(píng)價(jià)下二、三級(jí)指標(biāo)。通過(guò)查閱文獻(xiàn)和訪談,確定將實(shí)施過(guò)程分為學(xué)生參與過(guò)程和教師指導(dǎo)過(guò)程,關(guān)注選題的可行性及探究過(guò)程的科學(xué)性。研究生教學(xué)區(qū)別于本科生教學(xué),其專業(yè)課程需要學(xué)生進(jìn)行調(diào)查、實(shí)驗(yàn),所以在指標(biāo)設(shè)置上應(yīng)重點(diǎn)對(duì)實(shí)驗(yàn)過(guò)程進(jìn)行描述。通過(guò)對(duì)探究課堂全程記錄跟蹤和動(dòng)態(tài)評(píng)價(jià),發(fā)現(xiàn)學(xué)生在探究過(guò)程中的短板和缺乏的能力,反饋給教師,使其在教學(xué)過(guò)程中不斷調(diào)整教學(xué)方案。實(shí)施過(guò)程評(píng)價(jià)能夠在教學(xué)過(guò)程中使教師認(rèn)識(shí)到自己的不足和自己缺乏的能力,不斷自我提升。實(shí)施過(guò)程評(píng)價(jià)包括二級(jí)指標(biāo)2個(gè),三級(jí)指標(biāo)10個(gè),如表3所示。

    表3 實(shí)施過(guò)程評(píng)價(jià)指標(biāo)

    一級(jí)指標(biāo)二級(jí)指標(biāo)三級(jí)指標(biāo) 實(shí)施過(guò)程學(xué)生參與16.探究選題科學(xué)有效 17.活動(dòng)方案設(shè)計(jì)的可行性 18.調(diào)查或?qū)嶒?yàn)數(shù)據(jù)的可靠性 19.運(yùn)用多種研究方法分析數(shù)據(jù) 20.參與討論并進(jìn)行反思

    續(xù)表

    4. 教學(xué)成果評(píng)價(jià)下二、三級(jí)指標(biāo)。工業(yè)工程與管理專業(yè)培養(yǎng)具有分析問(wèn)題能力、終身學(xué)習(xí)能力、個(gè)人和團(tuán)隊(duì)精神等的高素質(zhì)應(yīng)用型人才。教學(xué)成果的評(píng)價(jià)應(yīng)更注重學(xué)生在探究中的所學(xué)、所獲得的能力,以及教師在教學(xué)過(guò)程中教學(xué)能力的變化。所以,本文以學(xué)生和教師的收獲來(lái)考查教學(xué)成果,關(guān)注其在探究過(guò)程中能力的提升情況。針對(duì)學(xué)生能力的評(píng)價(jià)標(biāo)準(zhǔn),可由成績(jī)、作品展示和探究表現(xiàn)等綜合制定。其評(píng)價(jià)結(jié)果不僅可以反映教學(xué)效果,還能為改進(jìn)教學(xué)方案和實(shí)施提供依據(jù)。

    教學(xué)成果評(píng)價(jià)環(huán)節(jié)包括二級(jí)指標(biāo)2個(gè),三級(jí)指標(biāo)8個(gè),如表4所示。

    表4 教學(xué)成果評(píng)價(jià)指標(biāo)

    一級(jí)指標(biāo)二級(jí)指標(biāo)三級(jí)指標(biāo) 教學(xué)成果學(xué)生收獲26.能夠主動(dòng)學(xué)習(xí)專業(yè)知識(shí)的能力 27.能聽(tīng)取他人的合理建議并積極闡述自己的觀點(diǎn)的能力 28.學(xué)生報(bào)告撰寫(xiě)、文獻(xiàn)綜述能力 29.解決問(wèn)題能力 教師收獲30.教學(xué)指導(dǎo)能力 31.教學(xué)組織能力 32.教學(xué)研究能力 33.撰寫(xiě)教研日記和教科研論文

    二、CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)的修正

    (一)德?tīng)柗品▽?duì)CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)的修正

    為進(jìn)一步完善探究式教學(xué)評(píng)價(jià)指標(biāo)體系,采用德?tīng)柗品ǎ幹茖<艺髟円庖?jiàn)表,將維度重要性劃分為4個(gè)級(jí)別,根據(jù)專家意見(jiàn)對(duì)指標(biāo)進(jìn)行修正與改進(jìn)。

    1. 專家組的選擇。選擇專家是德?tīng)柗品▌t的關(guān)鍵組成部分,需要所選專家都對(duì)該范疇有著較深入的認(rèn)識(shí)。在選取專家數(shù)量時(shí),Mitchell提出,當(dāng)專家數(shù)量為13人以上時(shí),誤差幅度并不明顯[6]。于是按照上述準(zhǔn)則,選擇了15名專家組成員。其中,咨詢的專家主要包括以下三種:

    第一種,教育學(xué)教授,以教育基礎(chǔ)理論研究的視角制定評(píng)估指標(biāo);

    第二種,高等院校課程管理人員,從高等教育教學(xué)規(guī)劃的視角修訂評(píng)價(jià)指標(biāo)體系;

    第三種,具有豐富探究式教學(xué)經(jīng)驗(yàn)的高校教師,從課程應(yīng)用的視角修訂評(píng)價(jià)指標(biāo)。

    2. 第一輪德?tīng)柗普{(diào)查與分析。針對(duì)初步構(gòu)建的CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系,進(jìn)行第一輪征詢意見(jiàn)。第一輪征詢包括:

    第一,指標(biāo)內(nèi)容合理性,即指標(biāo)的設(shè)定是否符合實(shí)際;

    第二,各項(xiàng)指標(biāo)的重要性。每項(xiàng)指標(biāo)右側(cè)都有修改意見(jiàn)表格,若專家有其他意見(jiàn),可在修改意見(jiàn)表格中指出。征詢調(diào)查發(fā)放15份,回收率為100%,征詢專家的積極系數(shù)為100%。結(jié)果采用 SPSS25.0和Excel進(jìn)行數(shù)據(jù)分析,以重要性均值、滿分頻率、變異系數(shù)、集中程度進(jìn)行篩選,如表5所示。

    表5 第一輪專家征詢數(shù)據(jù)分析

    續(xù)表

    123.8793.33%0.13440 教學(xué)配置133.6060.00%0.14431 143.2753.33%0.2742.51.5 153.8786.67%0.09440 學(xué)生參與163.5360.00%0.18431 173.7373.33%0.1243.50.5 183.6766.67%0.13431 193.4760.00%0.21431 203.6060.00%0.14431 教師指導(dǎo)213.4053.33%0.22431 223.6060.00%0.14431 233.4053.33%0.22431 243.6066.67%0.18431 253.6060.00%0.14431 學(xué)生收獲263.4753.33%0.18431 273.2746.67%0.24431 283.4040.00%0.15431 293.6766.67%0.13431 教師收獲303.3353.33%0.24431 313.8080.00%0.11440 323.6066.67%0.18431 333.0726.67%0.233.530.5

    第一輪征詢數(shù)據(jù)分析可知,指標(biāo)的滿分頻率多數(shù)在50% 以上,變異系數(shù)在0.1—0.3,表明專家對(duì)CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系的協(xié)調(diào)性良好。每一個(gè)指標(biāo)重要性均值均大于3.00,集中程度均小于1.8,說(shuō)明專家所給意見(jiàn)非常集中。專家給出的修改意見(jiàn)為:對(duì)于第3項(xiàng)改為是否注重學(xué)生能力培養(yǎng),因?yàn)樘骄渴浇虒W(xué)更注重于對(duì)學(xué)生能力的培養(yǎng),第12項(xiàng)改為能否掌控探究課堂活動(dòng),第16項(xiàng)改為探究選題的可行性,第26項(xiàng)改為自主學(xué)習(xí)能力,第27項(xiàng)改為團(tuán)隊(duì)合作能力,第28項(xiàng)改為科研表達(dá)能力。第33項(xiàng)重要性均值與滿分頻率偏低,專家建議刪除。專家認(rèn)為,對(duì)于教師撰寫(xiě)教研日記和教科研論文不應(yīng)作為硬性要求,并新增教學(xué)反思能力。教學(xué)反思是教師進(jìn)行自我提高的關(guān)鍵步驟。由此,經(jīng)過(guò)第一輪專家征詢,其中的一級(jí)指標(biāo)和二級(jí)指標(biāo)全部保留,對(duì)部分三級(jí)指標(biāo)進(jìn)行修正。

    3. 第二輪德?tīng)柗普{(diào)查與分析。在對(duì)第一輪專家建議修改后,開(kāi)展第二次建議征求。使用與第一輪中同樣的方式進(jìn)行,在第二輪分析中,專家所給意見(jiàn)集中程度很高,各數(shù)據(jù)均在合理范圍內(nèi)。在第二次修改意見(jiàn)中,主要為指標(biāo)描述問(wèn)題:第9項(xiàng)改為獨(dú)立完成練習(xí)的自覺(jué)性。至此,形成的CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系,經(jīng)過(guò)兩輪研究、修改后,取得共識(shí),專家看法基本統(tǒng)一,因此不需要再進(jìn)行第三輪專家征詢。修改后的CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系,如表6所示。

    表6 基于CIPP模型的探究式教學(xué)評(píng)價(jià)指標(biāo)

    一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)三級(jí)指標(biāo)指標(biāo)三級(jí)指標(biāo) 教學(xué)設(shè)計(jì)教學(xué)理念1.是否以學(xué)生為中心 2.是否尊重學(xué)生個(gè)體差異 3.是否注重學(xué)生能力培養(yǎng) 教學(xué)目標(biāo)4.教學(xué)目標(biāo)是否明確 5.教學(xué)目標(biāo)是否體現(xiàn)專業(yè)特色 6.教學(xué)目標(biāo)是否合乎社會(huì)需求 資源配置學(xué)生態(tài)度7.對(duì)探究式學(xué)習(xí)的熱情 8.參與小組討論的意愿 9.獨(dú)立完成練習(xí)的自覺(jué)性 教師能力10.創(chuàng)設(shè)合理探究情境 11.設(shè)計(jì)系統(tǒng)的教學(xué)活動(dòng) 12.能否掌控探究課堂活動(dòng) 教學(xué)配置13.文獻(xiàn)資料的豐富度 14.專業(yè)書(shū)籍的齊全度 15.實(shí)驗(yàn)設(shè)備的先進(jìn)性 16.探究選題的可行性

    續(xù)表

    (二)CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系信效度檢驗(yàn)

    根據(jù)修正后的CIPP探究式教學(xué)評(píng)價(jià)指標(biāo)體系,編制了“基于CIPP模型的探究式教學(xué)評(píng)價(jià)指標(biāo)體系信效度問(wèn)卷”,選取了沈陽(yáng)工業(yè)大學(xué)工業(yè)工程與管理專業(yè)參與探究式教學(xué)改革的老師、學(xué)生與管理者共90人,采用教師自評(píng)、學(xué)生自評(píng)、師生互評(píng)和他人評(píng)價(jià)的多主體評(píng)價(jià)方式,回收有效問(wèn)卷82人,有效回收率為91.1%。經(jīng)檢驗(yàn)該指標(biāo)整體一致性信度為0.93,一級(jí)指標(biāo)內(nèi)部的一致性系數(shù)依次為0.82,0.89,0.85,0.90,表明該指標(biāo)體系的內(nèi)部一致性較高。臨界比率(CR)都在0.9以上,說(shuō)明各維度的區(qū)分度較好,即各項(xiàng)指標(biāo)具備區(qū)分不同學(xué)習(xí)程度的能力[7]。采用驗(yàn)證性因素分析,結(jié)果表明:該體系在指標(biāo)上擬合優(yōu)度和契合度較好,GFI、 RFI、NFI、CFI四個(gè)指數(shù)都較為理想,表明系統(tǒng)每個(gè)指數(shù)的結(jié)構(gòu)效度較好。

    三、結(jié)束語(yǔ)

    基于CIPP模型的探究式教學(xué)評(píng)價(jià)指標(biāo)體系在一定程度上提升了探究式教學(xué)模式與課程的適切性,可以實(shí)現(xiàn)對(duì)教學(xué)全過(guò)程的評(píng)價(jià),不僅能夠?yàn)樘骄渴浇虒W(xué)的開(kāi)展提供科學(xué)的參考,又能夠通過(guò)評(píng)價(jià)結(jié)果來(lái)促進(jìn)探究式教學(xué)的改進(jìn)。實(shí)踐表明,該評(píng)價(jià)體系打破了傳統(tǒng)的“成績(jī)論”評(píng)價(jià)模式,推動(dòng)了教學(xué)方式的革新,也促使教師不斷地創(chuàng)新教學(xué)方法,并提出了更有利于學(xué)生的新教學(xué)內(nèi)容,從而推動(dòng)學(xué)校教學(xué)質(zhì)量的進(jìn)一步提升。

    在開(kāi)展探究式教學(xué)過(guò)程中應(yīng)該注意,不同的學(xué)科之間雖然存在共性,但更多存在學(xué)科差異。本文以沈陽(yáng)工業(yè)大學(xué)工業(yè)工程與管理專業(yè)為例,為了能夠合理、有效地對(duì)教學(xué)過(guò)程進(jìn)行評(píng)價(jià),使用者應(yīng)該根據(jù)其學(xué)科特點(diǎn),科學(xué)地對(duì)各級(jí)指標(biāo)進(jìn)行處理。

    [1] 王較過(guò), 何傳杰, 張夢(mèng)琴. 探究式教學(xué)的有效性及其評(píng)價(jià)[J]. 教育理論與實(shí)踐, 2010, 30(8): 47-48.

    [2] 陸長(zhǎng)平, 姜銳, 鄧慶山. 構(gòu)建探究式教學(xué)課程評(píng)價(jià)指標(biāo)體系[J]. 中國(guó)大學(xué)教學(xué), 2013(6): 76-78.

    [3] 邱文教, 趙光, 雷威. 基于層次分析法的高校探究式課堂教學(xué)評(píng)價(jià)指標(biāo)體系構(gòu)建[J]. 高等工程教育研究, 2016(6): 138-143.

    [4] 謝娟, 張婷, 程鳳農(nóng). 基于CIPP的翻轉(zhuǎn)課堂教學(xué)評(píng)價(jià)體系構(gòu)建[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2017(5): 95-103.

    [5] 姚山季, 錢(qián)存華. 高校探究式教學(xué)改革: 實(shí)施障礙與超越路徑[J]. 江蘇高教, 2015(1): 79-81.

    [6] Mitchell V W. The delphi technique:An exposition and application[J]. Technology Analysis & Strategic Management,1991, 3(4): 333-358.

    [7] 常珊珊, 蔣立兵. 面向?qū)W生學(xué)科素養(yǎng)發(fā)展的學(xué)習(xí)過(guò)程評(píng)價(jià)指標(biāo)體系建構(gòu)[J]. 教育科學(xué)研究, 2020(9): 24-29.

    10.15916/j.issn1674-327x.2022.03.029

    G642

    A

    1674-327X (2022)03-0116-05

    2021-10-13

    遼寧省教育科學(xué)“十三五”規(guī)劃課題(JG20DB340)

    劉巍巍(1973-),女(滿族),遼寧沈陽(yáng)人,副教授,博士。

    (責(zé)任編輯:付春玲)

    猜你喜歡
    指標(biāo)體系探究指標(biāo)
    一道探究題的解法及應(yīng)用
    一道IMO預(yù)選題的探究
    最新引用指標(biāo)
    莫讓指標(biāo)改變初衷
    商周刊(2018年26期)2018-12-29 12:56:00
    探究式學(xué)習(xí)在國(guó)外
    一道IMO預(yù)選題的探究及思考
    層次分析法在生態(tài)系統(tǒng)健康評(píng)價(jià)指標(biāo)體系中的應(yīng)用
    供給側(cè)改革指標(biāo)體系初探
    Double圖的Kirchhoff指標(biāo)
    KPI與指標(biāo)選擇
    直男gayav资源| 综合色丁香网| 久久精品影院6| 亚洲成人精品中文字幕电影| 国内少妇人妻偷人精品xxx网站| 国产免费一级a男人的天堂| 女同久久另类99精品国产91| 在线观看66精品国产| 日韩在线高清观看一区二区三区| 国产探花在线观看一区二区| 联通29元200g的流量卡| 成人美女网站在线观看视频| 老女人水多毛片| 中文在线观看免费www的网站| 人妻久久中文字幕网| 99久国产av精品| 免费看日本二区| 免费看日本二区| 亚洲不卡免费看| 欧洲精品卡2卡3卡4卡5卡区| 成人亚洲精品av一区二区| 久久草成人影院| 亚洲av电影不卡..在线观看| 亚洲精品456在线播放app| 久久精品国产99精品国产亚洲性色| 欧美成人免费av一区二区三区| 晚上一个人看的免费电影| 男人狂女人下面高潮的视频| 如何舔出高潮| 亚洲精品乱码久久久v下载方式| 又爽又黄a免费视频| 欧美国产日韩亚洲一区| 乱码一卡2卡4卡精品| 久久久久久久亚洲中文字幕| 乱码一卡2卡4卡精品| 老师上课跳d突然被开到最大视频| 桃色一区二区三区在线观看| 99热这里只有是精品在线观看| 欧美丝袜亚洲另类| 少妇熟女欧美另类| a级毛色黄片| 老司机午夜福利在线观看视频| 91精品国产九色| 欧美高清性xxxxhd video| 久久人妻av系列| 国产探花在线观看一区二区| 欧美最黄视频在线播放免费| av专区在线播放| 97超碰精品成人国产| 看黄色毛片网站| 搡老熟女国产l中国老女人| 日韩成人伦理影院| 91在线观看av| 亚洲成av人片在线播放无| 精品福利观看| 亚洲电影在线观看av| 国产乱人视频| 亚洲成人中文字幕在线播放| 99久久精品热视频| 国产精品人妻久久久影院| 综合色av麻豆| 黄色视频,在线免费观看| 舔av片在线| 变态另类成人亚洲欧美熟女| 性欧美人与动物交配| 性插视频无遮挡在线免费观看| 国产黄a三级三级三级人| 久久精品夜夜夜夜夜久久蜜豆| 91午夜精品亚洲一区二区三区| 亚洲无线观看免费| 亚洲欧美精品综合久久99| 欧美xxxx黑人xx丫x性爽| 3wmmmm亚洲av在线观看| 日韩制服骚丝袜av| 最近2019中文字幕mv第一页| 国产欧美日韩一区二区精品| 日韩 亚洲 欧美在线| 性欧美人与动物交配| 久久久久精品国产欧美久久久| 国产成人a区在线观看| 亚洲丝袜综合中文字幕| 亚洲国产日韩欧美精品在线观看| 中国美白少妇内射xxxbb| 两性午夜刺激爽爽歪歪视频在线观看| 欧美不卡视频在线免费观看| 网址你懂的国产日韩在线| 成人特级黄色片久久久久久久| 久久精品91蜜桃| 久久欧美精品欧美久久欧美| 国产乱人视频| 欧美日本亚洲视频在线播放| 亚洲成人中文字幕在线播放| 精品国产三级普通话版| 精品乱码久久久久久99久播| 久久精品影院6| av在线天堂中文字幕| 欧美激情在线99| 久久久色成人| 少妇熟女欧美另类| 中出人妻视频一区二区| 精品久久久久久久久久久久久| 国产成人a区在线观看| 精品久久久久久久人妻蜜臀av| 国产成人freesex在线 | 色在线成人网| 色噜噜av男人的天堂激情| 黑人高潮一二区| 欧美一区二区亚洲| 免费人成视频x8x8入口观看| 欧美日韩乱码在线| 久久综合国产亚洲精品| 哪里可以看免费的av片| 精品一区二区免费观看| 无遮挡黄片免费观看| 亚洲美女视频黄频| 久久人人爽人人爽人人片va| 久久久精品欧美日韩精品| 久久韩国三级中文字幕| 久久九九热精品免费| 国产亚洲欧美98| 99久久成人亚洲精品观看| 一级毛片aaaaaa免费看小| 国产精品亚洲美女久久久| 亚洲色图av天堂| ponron亚洲| 搡老岳熟女国产| 色吧在线观看| 露出奶头的视频| 岛国在线免费视频观看| 人妻少妇偷人精品九色| 亚洲av电影不卡..在线观看| 大又大粗又爽又黄少妇毛片口| 特级一级黄色大片| 国语自产精品视频在线第100页| 日本-黄色视频高清免费观看| 日韩精品青青久久久久久| 少妇人妻一区二区三区视频| 婷婷六月久久综合丁香| 久久人人爽人人爽人人片va| 久久综合国产亚洲精品| 六月丁香七月| 好男人在线观看高清免费视频| 色视频www国产| 亚洲人成网站高清观看| 人人妻人人看人人澡| 亚洲国产精品合色在线| 日韩欧美 国产精品| 蜜臀久久99精品久久宅男| 99久久精品热视频| 欧美一区二区国产精品久久精品| 99国产精品一区二区蜜桃av| 日韩欧美精品免费久久| 久久久国产成人精品二区| 国产在视频线在精品| 国产亚洲精品综合一区在线观看| 色综合色国产| 午夜福利在线观看免费完整高清在 | 日本精品一区二区三区蜜桃| 九九热线精品视视频播放| 俄罗斯特黄特色一大片| 国模一区二区三区四区视频| 三级毛片av免费| 日本在线视频免费播放| 在线播放无遮挡| 在线a可以看的网站| 免费看a级黄色片| 久久精品国产清高在天天线| 黄色视频,在线免费观看| 日本一二三区视频观看| 国产精品一二三区在线看| 级片在线观看| 久久鲁丝午夜福利片| 免费观看在线日韩| 国产 一区精品| 免费不卡的大黄色大毛片视频在线观看 | 人人妻人人澡欧美一区二区| 丰满人妻一区二区三区视频av| 中国国产av一级| 美女免费视频网站| 亚洲成人精品中文字幕电影| 美女黄网站色视频| 精品免费久久久久久久清纯| 好男人在线观看高清免费视频| 内地一区二区视频在线| 久久久久久久久中文| 99视频精品全部免费 在线| 亚洲精品日韩在线中文字幕 | 久久亚洲精品不卡| 淫秽高清视频在线观看| 一本一本综合久久| 欧美高清性xxxxhd video| 亚洲精华国产精华液的使用体验 | 欧美三级亚洲精品| 精品久久久久久久久亚洲| 床上黄色一级片| 18禁在线无遮挡免费观看视频 | 一级黄色大片毛片| 亚洲乱码一区二区免费版| 亚洲熟妇熟女久久| 日韩高清综合在线| 如何舔出高潮| 亚洲性久久影院| av.在线天堂| 精品国产三级普通话版| 一级毛片久久久久久久久女| 在现免费观看毛片| 一卡2卡三卡四卡精品乱码亚洲| 人人妻人人看人人澡| 亚洲中文字幕日韩| 国产 一区精品| 美女xxoo啪啪120秒动态图| 国产精品嫩草影院av在线观看| 校园春色视频在线观看| 中国美白少妇内射xxxbb| 寂寞人妻少妇视频99o| 精品久久久久久久久亚洲| 我要搜黄色片| 亚洲成人久久爱视频| 直男gayav资源| 国产毛片a区久久久久| 国产三级在线视频| 丰满乱子伦码专区| 精品一区二区三区视频在线| 国产高清三级在线| 国产亚洲精品久久久久久毛片| av免费在线看不卡| 俄罗斯特黄特色一大片| 成人性生交大片免费视频hd| 尤物成人国产欧美一区二区三区| 久久久欧美国产精品| 人妻夜夜爽99麻豆av| 亚洲av.av天堂| 岛国在线免费视频观看| 欧美色欧美亚洲另类二区| 啦啦啦韩国在线观看视频| 人人妻人人澡人人爽人人夜夜 | 日本一本二区三区精品| 成人高潮视频无遮挡免费网站| 日本黄大片高清| 久久精品夜夜夜夜夜久久蜜豆| 国产精品精品国产色婷婷| 在现免费观看毛片| 午夜精品国产一区二区电影 | 国产高清激情床上av| 九九热线精品视视频播放| 性色avwww在线观看| 久久草成人影院| 小蜜桃在线观看免费完整版高清| 成人特级黄色片久久久久久久| 国产精品无大码| 男女边吃奶边做爰视频| 高清毛片免费观看视频网站| 亚洲人与动物交配视频| 日本在线视频免费播放| 少妇的逼水好多| 日本-黄色视频高清免费观看| 亚洲欧美成人综合另类久久久 | 国产探花在线观看一区二区| av天堂中文字幕网| 日韩中字成人| 嫩草影院精品99| 少妇人妻精品综合一区二区 | 日本欧美国产在线视频| 国产在视频线在精品| 亚洲av五月六月丁香网| 亚洲国产精品sss在线观看| 亚洲无线在线观看| 麻豆国产av国片精品| 精品久久久噜噜| 不卡一级毛片| 精品乱码久久久久久99久播| 一个人观看的视频www高清免费观看| 免费看日本二区| 日韩成人伦理影院| 日韩精品青青久久久久久| 亚洲熟妇熟女久久| 好男人在线观看高清免费视频| 又黄又爽又刺激的免费视频.| 高清午夜精品一区二区三区 | 黄片wwwwww| 日日摸夜夜添夜夜爱| 如何舔出高潮| 久久久久国产精品人妻aⅴ院| 2021天堂中文幕一二区在线观| 欧美性猛交黑人性爽| 国产成人aa在线观看| 淫妇啪啪啪对白视频| 在线观看美女被高潮喷水网站| 给我免费播放毛片高清在线观看| 在线播放国产精品三级| 老熟妇乱子伦视频在线观看| 美女大奶头视频| 在线观看美女被高潮喷水网站| 久久久久性生活片| 18+在线观看网站| 日日啪夜夜撸| 免费看美女性在线毛片视频| 美女 人体艺术 gogo| 亚洲av中文字字幕乱码综合| 人妻夜夜爽99麻豆av| 亚洲国产欧洲综合997久久,| 国模一区二区三区四区视频| 国产精品永久免费网站| 国产精品99久久久久久久久| 午夜影院日韩av| 俄罗斯特黄特色一大片| 国产视频内射| 国产精品不卡视频一区二区| 国产不卡一卡二| 亚洲精品国产av成人精品 | 2018国产大陆天天弄谢| 久久精品国产亚洲网站| 久久精品国产亚洲av涩爱| 少妇人妻久久综合中文| a级毛色黄片| 夫妻性生交免费视频一级片| 一本色道久久久久久精品综合| 亚洲人与动物交配视频| 不卡视频在线观看欧美| 五月伊人婷婷丁香| 成人漫画全彩无遮挡| 最近的中文字幕免费完整| 黑人巨大精品欧美一区二区蜜桃 | 六月丁香七月| 久久久久久久大尺度免费视频| 麻豆成人av视频| 少妇丰满av| 精品久久久精品久久久| h视频一区二区三区| 精品人妻偷拍中文字幕| 日日爽夜夜爽网站| 少妇精品久久久久久久| 亚洲精品,欧美精品| 欧美日韩国产mv在线观看视频| 欧美97在线视频| 国产精品国产三级国产av玫瑰| 中文字幕制服av| 一区二区三区精品91| 水蜜桃什么品种好| 日韩人妻高清精品专区| 狂野欧美激情性bbbbbb| 亚洲精品自拍成人| 国产精品一区www在线观看| 国产免费福利视频在线观看| 老司机亚洲免费影院| 熟女电影av网| 一本大道久久a久久精品| 夫妻性生交免费视频一级片| 一区二区三区免费毛片| 欧美日韩综合久久久久久| 日日爽夜夜爽网站| 日韩熟女老妇一区二区性免费视频| 久久久久久久精品精品| 免费看光身美女| 国产综合精华液| 久久亚洲国产成人精品v| 丰满乱子伦码专区| 久久毛片免费看一区二区三区| 国产精品免费大片| 成人午夜精彩视频在线观看| 国产精品三级大全| 国产精品国产av在线观看| 男女边吃奶边做爰视频| 赤兔流量卡办理| 少妇的逼好多水| 中文字幕久久专区| 亚洲内射少妇av| tube8黄色片| 亚洲美女视频黄频| 久久精品国产鲁丝片午夜精品| 国产一区二区在线观看日韩| 亚洲精品国产av蜜桃| 五月伊人婷婷丁香| 免费黄网站久久成人精品| 欧美日韩精品成人综合77777| 久久精品久久久久久久性| 男人舔奶头视频| 狂野欧美激情性bbbbbb| 2022亚洲国产成人精品| 国产乱来视频区| 免费高清在线观看视频在线观看| 在线观看www视频免费| 婷婷色麻豆天堂久久| 欧美xxxx性猛交bbbb| 精品人妻偷拍中文字幕| 免费在线观看成人毛片| 自拍偷自拍亚洲精品老妇| 三级国产精品片| 亚洲精品,欧美精品| 国产精品一二三区在线看| 亚洲真实伦在线观看| 韩国av在线不卡| 亚洲精品视频女| 亚洲国产精品成人久久小说| 在线看a的网站| 99久国产av精品国产电影| 一级毛片黄色毛片免费观看视频| 亚洲精品国产av成人精品| 国产白丝娇喘喷水9色精品| 啦啦啦视频在线资源免费观看| 免费看光身美女| 99九九线精品视频在线观看视频| 国产伦在线观看视频一区| 综合色丁香网| 女人久久www免费人成看片| 黄色毛片三级朝国网站 | 天美传媒精品一区二区| 九草在线视频观看| 国产免费一区二区三区四区乱码| 最近中文字幕2019免费版| 国产免费一区二区三区四区乱码| 99视频精品全部免费 在线| 美女内射精品一级片tv| 欧美日韩综合久久久久久| 精品少妇久久久久久888优播| 午夜免费观看性视频| 色吧在线观看| 在线亚洲精品国产二区图片欧美 | 91精品国产国语对白视频| 91精品国产九色| 人体艺术视频欧美日本| 国产高清有码在线观看视频| 中文资源天堂在线| 色哟哟·www| 观看免费一级毛片| 91午夜精品亚洲一区二区三区| 国产亚洲精品久久久com| 国产黄片美女视频| 菩萨蛮人人尽说江南好唐韦庄| 亚洲人成网站在线播| 少妇被粗大猛烈的视频| a级毛色黄片| 日韩av在线免费看完整版不卡| 99久国产av精品国产电影| 青春草视频在线免费观看| 一本—道久久a久久精品蜜桃钙片| 亚洲人成网站在线播| 日本与韩国留学比较| 亚洲欧美中文字幕日韩二区| 99精国产麻豆久久婷婷| 一区二区三区四区激情视频| 午夜视频国产福利| 五月玫瑰六月丁香| av线在线观看网站| 免费观看a级毛片全部| 亚洲精品第二区| 三级国产精品欧美在线观看| 精品卡一卡二卡四卡免费| 精品少妇黑人巨大在线播放| 噜噜噜噜噜久久久久久91| 久久这里有精品视频免费| 亚洲av福利一区| 亚洲精品日韩av片在线观看| 亚洲欧美清纯卡通| 人人妻人人澡人人爽人人夜夜| 色视频在线一区二区三区| 寂寞人妻少妇视频99o| 啦啦啦中文免费视频观看日本| 尾随美女入室| 成人影院久久| 久久久精品免费免费高清| xxx大片免费视频| 久久久a久久爽久久v久久| 精品久久久久久电影网| 免费黄网站久久成人精品| 婷婷色综合大香蕉| 啦啦啦啦在线视频资源| 汤姆久久久久久久影院中文字幕| 国产成人aa在线观看| 边亲边吃奶的免费视频| 国产精品熟女久久久久浪| 制服丝袜香蕉在线| 少妇猛男粗大的猛烈进出视频| 中文资源天堂在线| √禁漫天堂资源中文www| 成人美女网站在线观看视频| 亚州av有码| 欧美精品高潮呻吟av久久| 亚洲美女视频黄频| 又黄又爽又刺激的免费视频.| 久久久精品94久久精品| 黄色一级大片看看| 老司机影院成人| 国产亚洲5aaaaa淫片| 亚洲不卡免费看| 日韩av免费高清视频| 中国美白少妇内射xxxbb| 男男h啪啪无遮挡| 国产成人精品久久久久久| 人妻系列 视频| 亚洲美女视频黄频| 在线观看免费视频网站a站| 精品少妇久久久久久888优播| 99视频精品全部免费 在线| 少妇人妻精品综合一区二区| 免费播放大片免费观看视频在线观看| 亚洲三级黄色毛片| 人人妻人人添人人爽欧美一区卜| 在线天堂最新版资源| 一级黄片播放器| 亚洲av成人精品一二三区| 久久婷婷青草| av国产精品久久久久影院| 制服丝袜香蕉在线| 妹子高潮喷水视频| 亚洲综合色惰| 亚洲精华国产精华液的使用体验| 好男人视频免费观看在线| 在线观看av片永久免费下载| 精品99又大又爽又粗少妇毛片| 777米奇影视久久| 国产成人午夜福利电影在线观看| 中文字幕av电影在线播放| 高清黄色对白视频在线免费看 | 69精品国产乱码久久久| 亚洲精品国产av蜜桃| 大码成人一级视频| 国产日韩欧美在线精品| 亚洲情色 制服丝袜| 久久鲁丝午夜福利片| 高清av免费在线| 中文字幕久久专区| 男女边吃奶边做爰视频| 久久久久久久久久久免费av| 乱系列少妇在线播放| 国产免费福利视频在线观看| 久热久热在线精品观看| 亚洲精品日韩av片在线观看| 国产免费又黄又爽又色| 欧美+日韩+精品| 国精品久久久久久国模美| 久久人妻熟女aⅴ| 亚洲av免费高清在线观看| 国产黄频视频在线观看| 99热全是精品| 一级毛片 在线播放| 久久精品国产a三级三级三级| 免费av中文字幕在线| 国产午夜精品一二区理论片| 一区二区三区免费毛片| 性高湖久久久久久久久免费观看| 国产黄色视频一区二区在线观看| 国内揄拍国产精品人妻在线| 亚洲美女搞黄在线观看| 91久久精品国产一区二区三区| 亚洲丝袜综合中文字幕| 国产免费视频播放在线视频| 久久国产精品大桥未久av | 午夜福利在线观看免费完整高清在| 99热这里只有是精品在线观看| 午夜日本视频在线| 亚洲精品一区蜜桃| 亚洲av.av天堂| 亚洲性久久影院| 国产精品一区二区在线不卡| 欧美日韩一区二区视频在线观看视频在线| 老司机亚洲免费影院| 欧美精品一区二区大全| 久久精品国产亚洲av天美| 日韩不卡一区二区三区视频在线| 免费看不卡的av| 人人妻人人添人人爽欧美一区卜| 午夜福利网站1000一区二区三区| 国产精品熟女久久久久浪| 亚洲欧美精品专区久久| 欧美精品高潮呻吟av久久| 亚洲自偷自拍三级| 岛国毛片在线播放| 黄色视频在线播放观看不卡| 3wmmmm亚洲av在线观看| 99热这里只有精品一区| 欧美国产精品一级二级三级 | 男人舔奶头视频| 日日啪夜夜爽| 午夜免费鲁丝| 欧美+日韩+精品| 大香蕉97超碰在线| 久久久亚洲精品成人影院| 亚洲精品国产av成人精品| 三级国产精品欧美在线观看| 美女福利国产在线| 国产白丝娇喘喷水9色精品| 一级二级三级毛片免费看| www.av在线官网国产| 国产亚洲最大av| 国产精品不卡视频一区二区| 国产亚洲5aaaaa淫片| 狠狠精品人妻久久久久久综合| 亚洲成人av在线免费| av免费在线看不卡| 亚洲美女搞黄在线观看| 成人漫画全彩无遮挡| 永久网站在线| 久久久久国产精品人妻一区二区| 色吧在线观看| 亚洲在久久综合| 99久久综合免费| 亚洲美女黄色视频免费看| 欧美97在线视频| 9色porny在线观看| 91久久精品电影网| 新久久久久国产一级毛片| 久久久国产一区二区| 免费av不卡在线播放| 国产精品一二三区在线看| 日本wwww免费看| 久久av网站| 日韩免费高清中文字幕av| 日本黄大片高清| 亚洲av在线观看美女高潮| 天美传媒精品一区二区| 欧美激情国产日韩精品一区| 国产黄色视频一区二区在线观看| 国产精品国产三级国产av玫瑰| 欧美97在线视频|