基于“指標回路法”的本科高校教育質(zhì)量評估指標體系研究

王家明,丁 浩

(1.中國石油大學勝利學院 文法與經(jīng)濟管理學院,山東 東營 257000; 2.中國石油大學(華東) 經(jīng)濟管理學院,山東 青島 266580)

2018年教育部要求全面整頓本科教育教學秩序,構(gòu)建高水平人才培養(yǎng)體系,提高本科高等院校教育質(zhì)量,本科高等院校教育質(zhì)量評估至關(guān)重要。目前國內(nèi)比較認可的高等教育評價機構(gòu)主要有武書連的《中國大學評價》、中國校友會、ARMU及中國科教評價研究院等,以上幾種機構(gòu)評價為現(xiàn)有高等教育評價及本科高等教育質(zhì)量的提升做出了貢獻。但以上機構(gòu)評價均側(cè)重于產(chǎn)出,即以成果作為評價主要依據(jù),此類評價固然重要,但各高校投入差距較大,若單從產(chǎn)出角度,投入不足的本科高校排名很可能靠后。因此，應(yīng)用“指標回路法”從投入產(chǎn)出角度對本科高校教育質(zhì)量評估的指標體系進行研究,以對現(xiàn)有專家機構(gòu)的評價做出有益補充,為本科高校教育質(zhì)量評估及水平的提升做出貢獻。

一、文獻綜述

現(xiàn)有專家學者對高校教育質(zhì)量評估研究較為廣泛,主要集中在評估指標體系、評估方法、教育質(zhì)量評估、質(zhì)量保障等方面。陳蓓(2008)[1]對目前高校教育質(zhì)量評價的概念、方法、問題及建議等方面進行了梳理研究,特別指出教學評價從功能上、方法上和評價主體上的不同分類;彭貞貞(2014)[2]從高校人才培養(yǎng)質(zhì)量的內(nèi)涵入手,對現(xiàn)有評價指標體系構(gòu)建及評價方法的選擇進行了綜述;耿慧(2015)[3]從目前高校教育質(zhì)量評價存在的問題入手,對高校教育質(zhì)量評價指標體系及其影響因素進行研究,最后進行了評價與展望。除此之外,現(xiàn)有學者從質(zhì)量評價、大學分類等方面也有研究,比如樊晶明(2008)[4]、武書連(2001)[5]等。但綜合現(xiàn)有研究可以發(fā)現(xiàn),目前高校教育質(zhì)量評估研究均為實證研究范式,且指標選取均從前人研究中獲取,并未進行充分論證,因此,文章提出“指標回路法”對其構(gòu)建的評估指標體系進行論證,并提出一套完善的研究范式為前人研究作出補充。

二、“指標回路法”及指標體系的初步構(gòu)建

“指標回路法”是在實證評價領(lǐng)域研究重點前移的條件下提出的。目前大多數(shù)專家學者對實證評價的研究重在評價模型選擇和創(chuàng)新,重在對評價結(jié)果的分析。評價模型和結(jié)果固然重要,但再復雜、再新穎的評價模型都是在評價指標體系之上完成的。因此,實證評價中評價指標體系的構(gòu)建至關(guān)重要。

(一)指標回路法

指標體系作為科學有效實證評價的首要前提,其科學與否直接決定了實證評價的科學性和價值性。同一指標體系,采用不同模型評價可能得到相同或差異不大的評價結(jié)果,但不同指標體系、不同指標權(quán)重,采用同一模型或不同模型所得的評價結(jié)果是截然不同的?；诖?“指標回路法”指標體系的構(gòu)建從以下三方面進行理解[6]:

(1)“回路”指從被評價主體到各末級指標可正向?qū)訉臃纸?也可從各末級指標到被評價主體層層詮釋,即指標體系具有可逆性。指標體系的構(gòu)建是一個閉環(huán),需要從正向、逆向兩條路徑進行完善。

(2)“指標回路法”強調(diào)指標的獨立性和鑒別力,即各評價指標之間相關(guān)度限制和單個評價指標的鑒別能力。對于指標的獨立性和鑒別力,可結(jié)合因子分析法進行定量測算。

(3)指標體系正向、逆向驗證后,需進行最后的合理性驗證。

(二)本科高校教育質(zhì)量評估指標體系的初步構(gòu)建

本科高校教育質(zhì)量評估簡單來講是對本科高校教育的質(zhì)量評價,即設(shè)定標準和評價指標,采用相關(guān)理論模型將現(xiàn)有數(shù)據(jù)進行計算論證,將所得結(jié)果與評價標準進行比照或進行排序,形成評價結(jié)論。整個過程最重要的是標準和指標體系的構(gòu)建,對于標準現(xiàn)無統(tǒng)一論證,大都采用排序進行結(jié)果展示,因此評估指標體系的構(gòu)建是整個實證研究過程中的重中之重。故在構(gòu)建本科高校教育質(zhì)量評估體系之前,文章梳理了國內(nèi)外先進的高等教育評估經(jīng)驗,包括美國以認證制度為核心的高等教育質(zhì)量評價模式、法國的“外控式”模式、英國的多元性評價模式、荷蘭的內(nèi)外結(jié)合評價模式,以及國內(nèi)武書連、校友會及軟科的評價體系。在此基礎(chǔ)上,從我國本科高校內(nèi)涵、外延及人才培養(yǎng)目標入手,結(jié)合不同主體對本科高校的人才培養(yǎng)需求,從投入、產(chǎn)出兩個角度,形成了本科高校教育質(zhì)量初步評估指標體系[7],如表1所示。

三、指標體系完善及賦權(quán)

前文強調(diào)“指標回路法”的指標體系要具有可逆性,要通過相關(guān)性、鑒別力及合理性的驗證,因此初步的指標體系要再次進行優(yōu)化完善才可作為實證評價所用。本文運用指標回路法對本科高校教育質(zhì)量評估指標體系的構(gòu)建,所采用的實驗數(shù)據(jù)為山東省2017年本科高校數(shù)據(jù)。

(一)相關(guān)性篩選

相關(guān)性分析是研究兩個指標的一致性程度,即對于評價主體而言二者貢獻度是否一致或相似解疑對相關(guān)性較大的指標進行篩選,優(yōu)化指標體系。目前對相關(guān)性的測度較為成熟的主要有線性相關(guān)性分析、偏分析和距離分析。文章借鑒遲國泰(2018)[8]的研究,使用線性相關(guān)分析并用相關(guān)系數(shù)r來表示,而線性相關(guān)可分為正相關(guān)、負相關(guān)及無線性相關(guān)三種。正相關(guān)是指兩變量在對評價主體的評價貢獻上存在一致性,相關(guān)系數(shù)為正值;負相關(guān)是指在對評價主體的評價貢獻上不存在一致性,相關(guān)系數(shù)為負;無線性相關(guān)是指相關(guān)系數(shù)為零,兩變量對于評價主體的評價貢獻不相關(guān)。

r的計算可以通過Pearson相關(guān)系數(shù)、Spearman和Kendall相關(guān)系數(shù)。對定距連續(xù)變量的數(shù)據(jù)使用Pearson相關(guān)系數(shù)計算,而對于分類變量的數(shù)據(jù)或變量值的分布明顯非正態(tài)或分布不明時,在離散數(shù)據(jù)排序或定量變量排秩后需要通過Spearman和Kendall相關(guān)系數(shù)來計算。

對于定序變量則采用等級相關(guān)來描述,即R系數(shù)與γ系數(shù)。本文中對于R系數(shù)采用英國統(tǒng)計學家C.E.Spearman推導的簡潔式

(1)

式中,di為變量值差,即xi-yi,i=1,2,…,N,N為次數(shù)。

等級相關(guān)系數(shù)R的絕對值與變量的相關(guān)性成正相關(guān)。設(shè)定臨界值r=0.6,文章刪除了I2、I20、I21、I22共4個評價指標,保留了余下的指標構(gòu)成第二輪的評價指標體系。

表1 本科高校教育質(zhì)量初步評估指標體系

(二)鑒別力篩選

在構(gòu)建評價指標體系中,評價指標的鑒別力是必須要考慮的，假設(shè)被兩個或多個評價區(qū)域在某一指標上區(qū)別不大,同時呈現(xiàn)很高或很低的得分或數(shù)值,或不能充分解釋被評價對象,則說明此指標鑒別力差;相反,在同一指標上被評價對象存在顯著差異,則可判定此指標在評價競爭力上鑒別力較強。在目前的學術(shù)研究中,所使用差異系數(shù)來描述評價指標的鑒別力,差異系數(shù)用標準差相對于平均數(shù)大小的相對量來表示:

CV=s/x.

(2)

式中,CV為變差系數(shù),s為標準差,x為平均值。變差系數(shù)與鑒別力呈正相關(guān)關(guān)系。基于變差系數(shù)的測算,文章刪除變差系數(shù)相對小的I3、I4、I10、I23共7個指標,保留了52個評價指標,構(gòu)成了最終的評價指標體系,見表2。

表2 本科高校教育質(zhì)量最終評估指標體系

(三)合理性驗證

通過初步構(gòu)建文化產(chǎn)業(yè)競爭力評價指標體系,加之相關(guān)度、鑒別力的篩選,形成目前的評價指標體系,不過此指標體系的合理性還有待驗證。目前學術(shù)界對評價指標體系合理性的評價集中在因子分析、AHP、模糊綜合評價、TOPSIS法等,在此文章借鑒王里克(2013)[9]的研究,結(jié)合上文因子分析數(shù)據(jù),采用因子分析對其合理性進行驗證。因子分析驗證即如何將眾多變量通過少數(shù)因子表示,并且保證信息損失最小和因子間不具有顯著相關(guān)的變量統(tǒng)計分析方法。在本文中就是最終由52個指標能否充分代表原始的60個指標形成的指標體系。

因子分析用方差表示信息含量,據(jù)此建立指標體系構(gòu)建合理性的判定標準。設(shè)S為指標數(shù)據(jù)的協(xié)方差矩陣,借助協(xié)方差矩陣及協(xié)方差的跡對篩選后的指標的信息貢獻率In進行測算:

In=trSn/trSp=99.8%.

(3)

式中,n為篩選后最終指標體系的指標個數(shù),p為篩選前原始初步指標體系的指標個數(shù),表明從海選指標中篩選出87%(52/60)的指標反映了99.8%的原始信息。經(jīng)驗證,此指標體系是合理的。

(四)指標權(quán)重的確定

單一的客觀賦權(quán)法無法考慮指標的實際意義,權(quán)重計算結(jié)果會與指標實際重要程度相差較大,而單一的主觀賦權(quán)法則會導致主觀性過強,專家賦權(quán)差距大。因此,有必要選擇主客觀結(jié)合的組合賦權(quán)法,獲得較為合理的指標權(quán)重。文章將結(jié)合主觀的層次分析法及客觀的熵值法進行組合賦權(quán),鑒于層次分析法與熵值法均屬于本領(lǐng)域非常成熟經(jīng)典的模型,故在此不多做介紹。

組合賦權(quán)法即結(jié)合多種賦權(quán)法的賦權(quán)結(jié)果,形成綜合權(quán)重,從而避免單一客觀賦權(quán)法無法考慮指標的實際意義以及單一主觀賦權(quán)法主觀性過強無法反映現(xiàn)實的弊端。綜合權(quán)重計算公式為

W組合權(quán)重=αW主觀權(quán)重+βW客觀權(quán)重.

(4)

式中,α、β兩種賦權(quán)法的權(quán)重系數(shù),層次分析法和熵值法分屬主觀賦權(quán)法與客觀賦權(quán)法,在進行組合權(quán)重計算時,鑒于最終指標體系中定性、定量指標參半,故認為兩種賦權(quán)法同等重要,均賦以0.5的權(quán)重,即α=0.5。組合賦權(quán)法權(quán)重結(jié)果見表2。

(五)原始數(shù)據(jù)的處理

通過表2可以看出,本體系中指標有定性定量差異、量綱差異、數(shù)量級差異及正負向的差異等,因此在采用本體系進行實證評價之前,需對已采集的數(shù)據(jù)進行處理。現(xiàn)有數(shù)據(jù)處理方式比較成熟的標準化處理,這可對以上四大差異進行規(guī)范,增加數(shù)據(jù)的可比性和可使用性,標準化處理見式(5)、(6)。

(5)

(6)

(六)評估模型的選擇

現(xiàn)有學術(shù)界對評估模型的研究較為成熟,比如傳統(tǒng)經(jīng)典的AHP、模糊綜合評價以及現(xiàn)有TOPSIS、因子分析模型、神經(jīng)網(wǎng)絡(luò)等都可作為實證評價的模型備選方案。但對本科高校教育質(zhì)量評估而言,定性指標數(shù)據(jù)的獲取難度較大,故建議采用組合評價法,即對不同評價模型進行權(quán)重賦值,根據(jù)不同評價模型的評價結(jié)果進行權(quán)衡后,依據(jù)權(quán)重對評價結(jié)果進行綜合處理。

四、結(jié)語

文章提出了“指標回路法”,并設(shè)定了指標回路法的研究規(guī)范。運用“指標回路法”構(gòu)建了一套完善的本科高校教育質(zhì)量評估指標體系,對指標間相關(guān)性及各指標的鑒別力進行論證,對整個指標體系進行了合理性驗證。從指標體系構(gòu)建及完善、賦權(quán)、數(shù)據(jù)處理與評價模型選擇四方面提出了一套完整的實證評價研究范式,為現(xiàn)有實證評價研究作了補充,但由于評價模型不同,對于實證評價中標準設(shè)定未作深入探討。