基于兩維語義的課程思政評價指標(biāo)體系構(gòu)建

洪 昀，張洪濤，劉小林

(1.浙江農(nóng)林大學(xué) 光機(jī)電工程學(xué)院，浙江 杭州 311300；2.浙江農(nóng)林大學(xué) 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，浙江 杭州 311300)

一、課程思政評價體系的研究背景

牢牢把握“立德樹人”根本任務(wù)，強(qiáng)化教書育人是高校教師的第一要務(wù)，應(yīng)堅持思政工作和教育教學(xué)相結(jié)合，使各類課程與思政理論課同向同行，形成協(xié)同效應(yīng)。近年來，高校在積極推進(jìn)“課程思政”教育教學(xué)改革，各類改革實踐活動如火如荼開展。當(dāng)前，隨著課程思政不斷深入推進(jìn)，課程思政的理論探索和實踐經(jīng)驗不斷涌現(xiàn)，課程思政的基本理念、內(nèi)涵、構(gòu)成、實施路徑和邏輯關(guān)系等越發(fā)清晰明了。

科學(xué)合理的評價機(jī)制可以激發(fā)教師課程思政的積極性，引導(dǎo)教師優(yōu)化教學(xué)設(shè)計，提升課程教學(xué)成效；同時評價結(jié)果也能促進(jìn)教師對教學(xué)進(jìn)行反思，及時形成改進(jìn)措施，優(yōu)化課程思政教育內(nèi)容。目前，如何對課程思政進(jìn)行有效評價已引起學(xué)者廣泛的關(guān)注，如劉曉等[1]聚焦課程思政的五個環(huán)節(jié)，提出了過程導(dǎo)向、價值導(dǎo)向、差異導(dǎo)向三個評估原則；譚紅巖等[2]借鑒專業(yè)評估的理論與方法，構(gòu)建了課程、專業(yè)和高校不同層面課程思政建設(shè)的評估指標(biāo)體系；徐妍艷[3]以某高校五個專業(yè)為例進(jìn)行實證研究，構(gòu)建高校推進(jìn)課程思政的測評指標(biāo)體系；黃煜棟等[4]在課程評價中引入思政環(huán)節(jié)，闡述了課堂教學(xué)質(zhì)量存在的問題，并提出了優(yōu)化策略；王岳喜[5]分析了課程思政評價的主客體，并從學(xué)校、專業(yè)、課程、教師、學(xué)生等多個維度構(gòu)建了課程思政評價指標(biāo)體系；陸道坤[6]提出以學(xué)生思想政治素養(yǎng)發(fā)展評價為中心，延展到課程思政課堂教學(xué)評價、以課程為單位的課程思政評價、專業(yè)課程思政群評價的課程思政評價思路。上述研究對課程思政的評價與實施有著重要的理論和實踐意義，但也存在著指標(biāo)體系構(gòu)建時沒有充分利用教育教學(xué)專家集體知識的問題。在課程思政指標(biāo)體系的構(gòu)建時通常需要多個專家從不同角度對指標(biāo)體系進(jìn)行遴選判斷，且由于不同的專家對課程思政評價的熟悉程度不同，其提供指標(biāo)體系的可靠性可能也不同，而現(xiàn)有的指標(biāo)體系構(gòu)建方法較少考慮這點(diǎn)。

為了更好地表示多個教育教學(xué)專家的課程思政評價指標(biāo)體系遴選意見，提高指標(biāo)體系構(gòu)建的科學(xué)性和嚴(yán)謹(jǐn)性，本研究構(gòu)建了基于兩維語義的課程思政評價指標(biāo)遴選方法。該方法首先由多個專家給出所有可能的課程思政評價指標(biāo)，構(gòu)成課程思政評價指標(biāo)池；其次，讓專家對指標(biāo)池中的各個指標(biāo)進(jìn)行評判，給出各個指標(biāo)的重要性和對該指標(biāo)熟悉程度的兩維評價信息；最后，在各個指標(biāo)上通過對多個專家兩維語義評價信息的集結(jié)，形成多個專家對各個指標(biāo)的綜合評價，根據(jù)遴選規(guī)則實現(xiàn)對課程思政評價指標(biāo)體系的遴選與構(gòu)建。

二、基于兩維語義信息的指標(biāo)體系遴選方法

(一)兩維語義信息的內(nèi)涵

所謂的兩維語義信息是指評價者同時使用了I、II兩維語言評價信息描述自己對于某一事物的評判，其中第I維語言用于描述評價對象，第II維語言用來描述第I維語言的信息質(zhì)量，這種由兩個維度構(gòu)成的語言評價信息稱為兩維語義信息。

例如，專家在對某一指標(biāo)進(jìn)行評價時，給出評價信息(重要，把握較大)即為兩維語義評價信息，其中第I維評價信息“重要”為專家對該指標(biāo)在整個評價體系中作用的評價，而第II維評價信息“把握較大”為專家對自己給出上述評價時的狀態(tài)評價。

(二)兩維語義評價信息的集結(jié)方法

第II維評價信息不僅一定程度上反映了第I維評價信息的質(zhì)量，同時也能反映該評價信息的不確定性。證據(jù)理論的信度函數(shù)能更恰當(dāng)表示信息中的“不確定性”，因此，可用信度函數(shù)表示兩維語義評價信息中的不確定性，用證據(jù)的權(quán)重表示專家評價信息的可靠性，用證據(jù)推理算子對多個兩維語義信息進(jìn)行集結(jié)。

假設(shè)有M個課程思政評價備選指標(biāo)xi(i=1，2，…，M)，H={H1，H2，…，HN}和S={S1，S2，…，ST}分別為第I、II兩個維度的語言評價短語集，R個遴選專家對指標(biāo)xi(i=1，2，…，M)給出的兩維語義評價信息為

(1)

則通過構(gòu)造映射f將兩維語義評價信息轉(zhuǎn)化為證據(jù)體，即

t=1，2，…，T

(2)

((Hn,βj,n(xi)))

(3)

設(shè)R個專家的權(quán)重向量為

w={w1，w2，…，wR}

(4)

(5)

R個評價信息的基本可信度分配可以通過以下算法進(jìn)行融合，即

(6)

再應(yīng)用基本可信度分配進(jìn)行規(guī)范化處理，可得綜合信度為

(7)

式中：βn為指標(biāo)Ai被評定Hn的信度；βH為指標(biāo)不知被評為哪個等級的信度。

(三)基于兩維語義的課程思政評價指標(biāo)體系遴選與構(gòu)建的一般步驟

步驟1構(gòu)建課程思政評價指標(biāo)體系指標(biāo)池。通過文獻(xiàn)調(diào)研、發(fā)放問卷、專家頭腦風(fēng)暴等形式，歸集課程思政評價包括的所有可能的指標(biāo)，形成課程思政評價指標(biāo)體池。

步驟2專家分別對指標(biāo)池中各指標(biāo)給出兩維語義評價信息。邀請多位專家，分別對指標(biāo)池中的指標(biāo)的重要性進(jìn)行評價，并附上做出上述評價時的可靠性評價，形成兩維語義評價信息。

步驟3將兩維語義信息轉(zhuǎn)化為證據(jù)體，并將信息的可靠性轉(zhuǎn)化為權(quán)重。根據(jù)兩維語義信息的語義內(nèi)涵，構(gòu)造兩維語義信息轉(zhuǎn)化為證據(jù)體的轉(zhuǎn)化函數(shù)，并利用第Ⅱ維信息對證據(jù)體進(jìn)行附權(quán)。

步驟4融合多個專家的評價意見。利用證據(jù)推理算子融合多個專家在每個指標(biāo)上的兩維語義評價信息，形成每個指標(biāo)的綜合評價意見。

步驟5遴選課程思政評價指標(biāo)。確定指標(biāo)體系遴選規(guī)則，根據(jù)綜合后的各指標(biāo)評價信息，遴選出課程思政評價指標(biāo)，構(gòu)建課程思政評價指標(biāo)體系。

三、課程思政評價指標(biāo)的遴選與體系構(gòu)建過程

(一)課程思政評價指標(biāo)體系的遴選

通過文獻(xiàn)調(diào)查和問卷調(diào)查等方式，采集多位專家給出課程思政可能的評價指標(biāo)體系，從而形成課程思政評價指標(biāo)池。設(shè)定語言評價標(biāo)度如下：H={很重要(H1)，重要(H2)，較重要(H3)，一般(H4)，較不重要(H5)，不重要(H6)，很不重要(H7) }表示第I維語言標(biāo)度；S={非常了解(S1)，很了解(S2)，了解(S3)，較了解(S4)，不了解(S5)}表示第Ⅱ維語言標(biāo)度。請某高校教務(wù)處處長、規(guī)劃處處長和馬克思主義學(xué)院院長等5位專家針對指標(biāo)池中的各指標(biāo)給出兩維語義評價信息。指標(biāo)備選集與專家給出的評價信息如表1所示(以專家對指標(biāo)C1的評價為例)。

表1 課程思政評價備選指標(biāo)集及專家評價信息(以指標(biāo)C1為例)

根據(jù)兩維語義的語義內(nèi)涵，對5位專家進(jìn)行多輪問卷咨詢，構(gòu)建了兩維語義評價信息轉(zhuǎn)化函數(shù)f:(Hn，St)→(Hk，βtk)為

(8)

由式(8)，可將專家的兩維語義評價信息(Hn，St)轉(zhuǎn)換為證據(jù)體。

一般來說，對指標(biāo)越熟悉的專家，給出的評價信息的質(zhì)量可能越可靠，其在指標(biāo)評價選擇中的作用也應(yīng)占更高的比重。因此，分別賦予“了解程度Si”的分值si為si=5-i(i=1，2，…，5)，構(gòu)造5位專家在各個指標(biāo)上的評價信息的權(quán)重為

(9)

利用式(2)～(7)的證據(jù)推理算子，在各指標(biāo)上將多個專家的兩維語義評價信息進(jìn)行融合，得到專家對各指標(biāo)的綜合評價結(jié)果。

計算指標(biāo)綜合得分，分別附Hn的分值：γn=8-n，即H1，H2，…，H7的分值為7，6，…，1，并根據(jù)焦元信度βn將βH按比例分配給各焦元，計算各指標(biāo)的加權(quán)得分zi，即

(10)

若指標(biāo)得分zi≥4則對應(yīng)的指標(biāo)Ci入選；若zi<4，則對應(yīng)的指標(biāo)被剔除，由此遴選出課程思政評價指標(biāo)集。

以專家對指標(biāo)C1的評價為例，則指標(biāo)C11的專家評價信息和應(yīng)用上述方法得到的綜合評價結(jié)果如表2所示。

表2 指標(biāo)C11的評價意見和綜合評價結(jié)果

根據(jù)5位專家對指標(biāo)C11的綜合評價意見，該指標(biāo)在指標(biāo)體系中“很重要(H1)”可能性最大，為0.57。利用式(10)計算該指標(biāo)的得分為6.61，大于4，因此，應(yīng)將指標(biāo)C11納入課程思政評價指標(biāo)體系中。類似可得，其他指標(biāo)綜合評價結(jié)果和指標(biāo)遴選意見，如表3所示。

表3 專家對各課程思政評價指標(biāo)的綜合評價結(jié)果和遴選

(二)課程思政評價指標(biāo)體系的構(gòu)建

根據(jù)上述多個專家的評價結(jié)果和對指標(biāo)進(jìn)行遴選結(jié)果，可得最終的課程思政評價指標(biāo)體系，如表4所示。

表4 課程思政評價指標(biāo)體系及評價標(biāo)準(zhǔn)

(三)評價指標(biāo)體系的信度和效度分析

某高校的課程思政示范學(xué)院由院教學(xué)委員會應(yīng)用該評價指標(biāo)體系對學(xué)院2020—2021學(xué)年開設(shè)的112門課程的課程思政情況進(jìn)行評價，每門課程至少3名委員參加評審，共收回評價表336份，均為有效評價表，評價表的有效率100%。對該評價指標(biāo)體系中各個指標(biāo)依次給出“優(yōu)、良、中、較差、差”五個評價等級，依次賦分5，4，3，2，1分，利用評價數(shù)據(jù)對指標(biāo)體系進(jìn)行信度和效度分析。

1.信度分析。對課程思政評價指標(biāo)進(jìn)行信度分析，應(yīng)用信度反映評價指標(biāo)的穩(wěn)定性和可靠性。運(yùn)用計算量表的克朗巴哈(Cronbach’s)α系數(shù)來檢驗量表的可靠性，克朗巴哈系數(shù)計算公式為

(11)

該系數(shù)主要考慮量表的內(nèi)在一致性，通常認(rèn)為，量表的內(nèi)部信度克朗巴哈α系數(shù)在0.9～1.0范圍內(nèi)為極可信，在0.8～0.9表明信度可以接受，0.7～0.8表明有些指標(biāo)需要修訂；小于0.7表明量表中有些指標(biāo)需要拋棄，α系數(shù)越高，信度越高。對336份評價表的各指標(biāo)評價結(jié)果進(jìn)行信度分析，得到各一級指標(biāo)的信度克朗巴哈系數(shù)如表5所示。

表5 各一級指標(biāo)克朗巴哈α系數(shù)

從表5可以看出，各一級指標(biāo)的克朗巴哈系數(shù)均在0.9以上，綜合信度系數(shù)為0.937，由此可見，本研究構(gòu)建的課程思政評價指標(biāo)體系指標(biāo)可信度較高。

2.效度分析。為了檢驗評價指標(biāo)體系的內(nèi)容效度，邀請了某高校教務(wù)處處長、規(guī)劃處處長、馬克思主義學(xué)院院長和課程思政示范學(xué)院院長等5位權(quán)威課程思政專家對課程思政評價指標(biāo)體系進(jìn)行了評價，專家對該指標(biāo)體系給予了充分的肯定，建議在學(xué)院試行，并逐步推廣到全校。學(xué)院教學(xué)委員會應(yīng)用該指標(biāo)體系對學(xué)院112門課程的課程思政情況進(jìn)行評價，遴選出課程思政評價前10位的課程參加學(xué)校和省里課程思政示范課程遴選，結(jié)果顯示，用本研究指標(biāo)體系得到的評價結(jié)果與學(xué)校邀請的校內(nèi)外專家得到的評價結(jié)果，除1門課程的排序稍有差別以外，其他排序基本一致，且前6位排名完全一致，表明該指標(biāo)體系具有一定的有效性。

四、評價指標(biāo)體系的應(yīng)用分析

基于兩維語義信息對課程思政評價指標(biāo)體系遴選，并應(yīng)用該指標(biāo)體系對我校的課程思政進(jìn)行試評價，結(jié)果表明，該指標(biāo)體系遴選方法和指標(biāo)體系均有效可行。

1.對于高校來說，評價模型對落實“三全育人”要求、開展課程思政的改革具有切實的指導(dǎo)意義。通過專家對指標(biāo)進(jìn)行二維語義評價，利用第二維語言有效區(qū)分了各個專家提供信息質(zhì)量的不同，構(gòu)建科學(xué)有效的課程思政評價體系，一方面，在全校課程思政建設(shè)中具有重要的診斷、導(dǎo)向、調(diào)控、激勵等作用，推進(jìn)課程思政的內(nèi)涵式建設(shè)。另一方面，有利于健全課程思政工作機(jī)制，進(jìn)一步完善黨委統(tǒng)一領(lǐng)導(dǎo)，教務(wù)部門牽頭抓總、相關(guān)部門協(xié)同聯(lián)動、院系推進(jìn)落實的大思政工作格局，從而提升課程思政育人實效。

2.對于課程組來說，評價模型對把控培養(yǎng)環(huán)節(jié)質(zhì)量、修訂課程建設(shè)方案提供科學(xué)依據(jù)。每一門課的課程思政都是一個系統(tǒng)工程，除了高校相關(guān)部門的指導(dǎo)建議，更需要課程組積極開展改革研究。目前課程思政改革開展五六年了，每一所高校開展的進(jìn)度和效果不一，每一門課的改革實施進(jìn)度和效果也不一，因此，每門課要形成以課程組為單位的協(xié)同研究團(tuán)隊，負(fù)責(zé)把控教學(xué)培養(yǎng)環(huán)節(jié)的質(zhì)量、修訂課程建設(shè)方案和指導(dǎo)團(tuán)隊成員的教學(xué)能力。本研究形成的課程思政評價指標(biāo)體系，通過評價與應(yīng)用，可以發(fā)現(xiàn)人才培養(yǎng)方案中存在的問題，為改進(jìn)教學(xué)提供系統(tǒng)全面的科學(xué)依據(jù)。在下一步研究中，課題組擬將該評價指標(biāo)體系在部分學(xué)院和學(xué)校逐步推廣運(yùn)行，并對評價指標(biāo)體系進(jìn)行持續(xù)改進(jìn)。

3.對于教學(xué)主體(教師)來說，評價模型可作為改進(jìn)教學(xué)方法、提升課程思政實效性的參考標(biāo)準(zhǔn)。高校教師的課程思政改革是一個不斷探索和改進(jìn)的過程，除了課程組團(tuán)隊的共同探討、協(xié)同作戰(zhàn)，還亟需提升教師自身的思政素養(yǎng)，加強(qiáng)對思政資源的把控能力，積極學(xué)習(xí)先進(jìn)的教學(xué)方法，但是對于教師來說，課程思政改革效果是否得到同行和學(xué)生的認(rèn)同，就需要一個完善和科學(xué)的評價體系進(jìn)行評價。本研究遴選出的5個一級指標(biāo)，其中前面4個一級指標(biāo)分?jǐn)?shù)的高低可以反映教師相對應(yīng)的課程思政本領(lǐng)掌握的好壞，可以指導(dǎo)教師及時改進(jìn)自己存在的問題。第5個持續(xù)改進(jìn)指標(biāo)可以推動教師及時開展教學(xué)總結(jié)、對教學(xué)過程存在的問題進(jìn)行反思，改進(jìn)教學(xué)舉措，提高課程思政的實效性和系統(tǒng)性。

4.對于學(xué)生來說，評價模型是全面了解學(xué)生的學(xué)習(xí)歷程和學(xué)習(xí)效果、激勵學(xué)生提升能力和樹立正確價值觀的重要手段。學(xué)生是課程思政最直接的體驗者和受益者，評價指標(biāo)體系立足于學(xué)生，設(shè)置關(guān)注學(xué)生課堂學(xué)習(xí)氛圍和課后作業(yè)完成度的評價維度，評價結(jié)果可以反映學(xué)生的學(xué)習(xí)歷程，推動學(xué)生綜合能力的提升；設(shè)置關(guān)注學(xué)生思政獲得感的評價維度，評價結(jié)果可以反映課程思政入腦入心的程度，進(jìn)而培養(yǎng)學(xué)生樹立正確的世界觀、價值觀和人生觀；設(shè)置關(guān)注學(xué)生課程考核相關(guān)的指標(biāo)，評價結(jié)果可以充分反映學(xué)生的學(xué)習(xí)成效，有助于學(xué)生提升學(xué)習(xí)動力和學(xué)習(xí)興趣。