基于模糊層次分析法的世界一流學(xué)科水平評價方法研究

劉 琳，楊曉江，朱 明

(1.金陵科技學(xué)院研究生處, 江蘇 南京 211169；2.南京航空航天大學(xué)經(jīng)濟(jì)管理學(xué)院, 江蘇 南京 210016；3.巢湖學(xué)院教務(wù)處, 安徽 巢湖 238000)

目前，人們對學(xué)科的評價尚未建立評價自身的方法論體系，就評價實踐而言，一般是依托科學(xué)計量學(xué)、數(shù)理統(tǒng)計學(xué)、管理數(shù)學(xué)等理論方法，利用各類數(shù)據(jù)庫、統(tǒng)計年鑒等提供的數(shù)據(jù)，結(jié)合聲譽等定性評價來進(jìn)行綜合評價。對這些評價進(jìn)行分析不難發(fā)現(xiàn)，多數(shù)評價并未明確學(xué)科真正水平，對學(xué)科水平的評價也只是突出其中某些重要的可量化指標(biāo)，如論文發(fā)表數(shù)量、論文被引頻次等。單就某一具體學(xué)科而言，其當(dāng)前水平與世界一流水平間的差距大小實際上并不清楚。同時，將學(xué)科水平評價局限于一定區(qū)域也不利于了解學(xué)科發(fā)展的最高水平。因此，應(yīng)“眼睛先外看”，充分了解學(xué)科的世界一流水平，進(jìn)而就如何發(fā)展學(xué)科作出科學(xué)決策。

一、評價方法

為便于問題分析，我們將研究著眼點放在與世界一流學(xué)科水平的比較上，以此為標(biāo)桿，設(shè)立評價標(biāo)準(zhǔn)，構(gòu)建評價指標(biāo)體系，綜合考慮定量和定性因素，運用層次分析法(AHP)和模糊數(shù)學(xué)[1]相關(guān)理論與方法對學(xué)科進(jìn)行綜合評價。AHP的基本思想是將復(fù)雜系統(tǒng)或復(fù)雜問題按照內(nèi)在關(guān)聯(lián)分解為各個組成因素，將這些因素按支配關(guān)系構(gòu)造遞階層次結(jié)構(gòu)，再通過對各因素進(jìn)行兩兩比較來確定同一層次中各因素的重要性，然后綜合決策者的判斷，根據(jù)相對重要性作出決策[2]。這種方法將人們主觀判斷的定性分析結(jié)果定量化，但其本質(zhì)還是模糊的。模糊評價來源于L.A.Zadeh教授于1965年提出的模糊集概念，用于評價“亦此亦彼”的模糊性問題。由于學(xué)科所涉及的因素存在諸多模糊性和不確定性，因此使用模糊數(shù)學(xué)方法進(jìn)行評價有較強(qiáng)的適用性。

二、世界一流學(xué)科水平評價指標(biāo)體系構(gòu)建

(一)指標(biāo)體系的構(gòu)建及內(nèi)涵

目前，人們對世界一流學(xué)科的認(rèn)知信息主要來源于各類機(jī)構(gòu)發(fā)布的大學(xué)排行榜，其中較有影響的有《泰晤士高等教育》、《美國新聞與世界報道》、德國高等教育研究中心、上海交通大學(xué)、英國高等教育基金會等媒體或機(jī)構(gòu)開展的世界大學(xué)學(xué)科評價。不同排行榜對學(xué)科的評價，有偏研究性的，有注重教學(xué)質(zhì)量的，還有重視聲譽的，在方法與技術(shù)、指標(biāo)體系、對象、結(jié)果等方面都存在較大差異。本文首先研究了這些著名排行榜的學(xué)科評價指標(biāo)，同時采用問卷調(diào)查、專家訪談等方法獲取研究數(shù)據(jù)，經(jīng)統(tǒng)計分析后，選擇學(xué)科聲譽、學(xué)科力量、科學(xué)研究、教學(xué)與人才培養(yǎng)、國際融合、發(fā)展環(huán)境作為世界一流學(xué)科水平評價的基礎(chǔ)性指標(biāo)；然后對基礎(chǔ)性指標(biāo)進(jìn)行分解衍生，結(jié)合世界一流學(xué)科的內(nèi)涵和特征，再選擇具體標(biāo)識性子指標(biāo)；最后綜合運用層次分析法，按照指標(biāo)間內(nèi)在關(guān)聯(lián)性進(jìn)行層次分解，形成世界一流學(xué)科水平評價指標(biāo)體系，如圖1所示。

圖1 世界一流學(xué)科水平評價指標(biāo)體系

各指標(biāo)基本內(nèi)涵如下：

1.學(xué)科聲譽指標(biāo)包括社會影響力和社會地位兩個子指標(biāo)。社會影響力是指該學(xué)科對社會發(fā)展和社會進(jìn)步所發(fā)揮的影響力大小；社會地位是指該學(xué)科在各個領(lǐng)域相較于其他學(xué)科所體現(xiàn)的重要性程度。上述兩個指標(biāo)均使用來自同行和社會的綜合評價結(jié)果。

2.學(xué)科力量指標(biāo)主要評價學(xué)科的師資力量，選取了國際知名學(xué)者、國際頂尖大師和團(tuán)隊結(jié)構(gòu)三個子指標(biāo)。國際知名學(xué)者是指以自身的突出成就而在該學(xué)科領(lǐng)域廣為人知的專家、學(xué)者；國際頂尖大師指獲得國際公認(rèn)杰出獎項(如諾貝爾獎、菲爾茲獎等)的高水平學(xué)者；團(tuán)隊結(jié)構(gòu)指某學(xué)科的不同水平師資配備情況。

3.科學(xué)研究指標(biāo)以是否有對人類社會發(fā)展起決定或重要作用的研究項目或成果為標(biāo)準(zhǔn)，選擇了五個子指標(biāo)。其中，國際知名成果指在世界范圍得到普遍關(guān)注、認(rèn)可并產(chǎn)生重要影響的研究成果，含學(xué)術(shù)論文、專利、著作等；國際頂級獎項指獲得的全球公認(rèn)著名獎項，如諾貝爾獎、菲爾茲獎等；原創(chuàng)性研究是指圍繞學(xué)科發(fā)展進(jìn)行的研究中所具有的原創(chuàng)當(dāng)量；高水平研究項目是指為解決社會實際問題而設(shè)立的達(dá)到世界領(lǐng)先水平的研究型項目；產(chǎn)學(xué)研合作強(qiáng)調(diào)學(xué)科自身發(fā)展與社會聯(lián)系程度，以合作對象的高層次、高水平為評價依據(jù)。

4.教學(xué)與人才培養(yǎng)指標(biāo)主要衡量學(xué)科在人才培養(yǎng)方面對社會所做的貢獻(xiàn)，選擇了六個子指標(biāo)。其中，就業(yè)去向以畢業(yè)生是否就業(yè)于世界一流企業(yè)為衡量標(biāo)準(zhǔn)；學(xué)生選擇主要指入學(xué)率，用以衡量國內(nèi)外學(xué)生對該學(xué)科的選擇情況；人才培養(yǎng)主要指培養(yǎng)出的畢業(yè)生水平和層次，使用相對質(zhì)量指標(biāo)(RCI)進(jìn)行綜合質(zhì)量分析；培養(yǎng)條件指培養(yǎng)人才所需的資源、設(shè)備、實驗室等方面條件是否達(dá)到世界先進(jìn)水平；師生比指教師與學(xué)生之間的數(shù)量比，反映學(xué)科辦學(xué)規(guī)模；資源投入指在培養(yǎng)人才上所投入的人、財、物等資源是否達(dá)到世界領(lǐng)先水平。

5.國際融合指標(biāo)主要考量學(xué)科的國際地位，選取國際教師、國際學(xué)生、對外交流與合作三個子指標(biāo)。國際教師指聘任承擔(dān)該學(xué)科教學(xué)和研究任務(wù)的全時制外國籍高水平教師；國際學(xué)生指學(xué)科所吸引的外國留學(xué)生；對外交流與合作指學(xué)科參與國際交流與合作的情況，以交流與合作內(nèi)容的水平為衡量依據(jù)。

6.發(fā)展環(huán)境指標(biāo)用以衡量學(xué)科發(fā)展?jié)摿蜕?，設(shè)立了四個子指標(biāo)。其中，組織管理指學(xué)科管理的模式、理念、技術(shù)等是否具有國際先進(jìn)性；戰(zhàn)略遠(yuǎn)景規(guī)劃指學(xué)科未來發(fā)展是否具有國際前瞻性以及實現(xiàn)的可能性等；支持環(huán)境指學(xué)科發(fā)展所得到的來自外部各方面的支持，包括政治、經(jīng)濟(jì)、社會等各方面的支持；學(xué)科特色指學(xué)科發(fā)展所形成的個性化特征。

(二)指標(biāo)體系層次分析及權(quán)重設(shè)定

在構(gòu)建了世界一流學(xué)科水平評價指標(biāo)體系后，還需確定指標(biāo)體系中各指標(biāo)的權(quán)重。目前，賦予權(quán)重的方法大體有主觀賦權(quán)、客觀賦權(quán)以及組合賦權(quán)等方法。本研究中各指標(biāo)權(quán)重的分配按照四個步驟進(jìn)行。首先進(jìn)行定量化。采用美國運籌學(xué)家T.L.Saaty教授提出的1—9標(biāo)度法對各指標(biāo)重要性程度進(jìn)行兩兩比較，構(gòu)造相應(yīng)n階判斷矩陣

A=[Aij]n×n

式中Aij>0(i≠j;i,j=1,2,3,…,n)，Aii=1(i=1,2,3,…,n)，Aji=1/Aij(i≠j;i,j=1,2,3,…,n)。然后利用和積法或方根法計算指標(biāo)權(quán)重。先計算各判斷矩陣特征根，再找出最大特征值λmax及其對應(yīng)的歸一化特征向量W，從而得出同一層各指標(biāo)相對于上一層指標(biāo)的相對重要性的權(quán)重排序。接著進(jìn)行指標(biāo)一致性檢驗，包括層次單排序和層次總排序一致性檢驗。利用一致性指標(biāo)CI和T.L.Saaty提出的平均隨機(jī)一致性指標(biāo)RI進(jìn)行檢驗，其中，CI=(λmax-n)/(n-1),CR=CI/RI，n為矩陣階數(shù)，λmax為矩陣最大特征根。若CR<0.1，則認(rèn)為判斷矩陣具有滿意的一致性，反之，則需對判斷矩陣進(jìn)行調(diào)整直至符合要求。最后進(jìn)行總指標(biāo)權(quán)重合成。此外，由于不少學(xué)者認(rèn)為既然決策者的意見本質(zhì)是模糊的，兩兩比較的結(jié)果就應(yīng)該是模糊數(shù)而非實數(shù)[3]，所以一些學(xué)者采用了基于區(qū)間數(shù)[4]、三角模糊數(shù)[5]和語言變量等多類型數(shù)量形式來判斷矩陣的排序權(quán)重及進(jìn)行一致性檢驗的方法。但這些方法相對復(fù)雜，計算量大，結(jié)果也因多種因素的影響而難以滿足整體一致性要求，因此，本文以取區(qū)間數(shù)中心值的方法簡化數(shù)量形式，根據(jù)不同評價者兩兩判斷結(jié)果確定比較區(qū)間，然后取區(qū)間數(shù)中心值來構(gòu)造判斷矩陣并進(jìn)行一致性檢驗。

按照上述步驟和方法，以來自研究型高校、教育主管部門、教育評估專業(yè)機(jī)構(gòu)的工作人員和社會人士為評價者，共計20人，請他們根據(jù)多年工作經(jīng)驗對各指標(biāo)的重要性進(jìn)行兩兩比較，并計算得出各指標(biāo)權(quán)重，然后進(jìn)行分析，從中剔除一些不合理因素，再綜合計算各指標(biāo)權(quán)重。在這一過程中，將一致性判斷不合理的評價再反饋給評價者重新進(jìn)行判斷，經(jīng)多次循環(huán)往復(fù)，直至通過一致性檢驗，最終得到學(xué)科聲譽B1、學(xué)科力量B2、科學(xué)研究B3、教學(xué)與人才培養(yǎng)B4、國際融合B5、發(fā)展環(huán)境B6六個指標(biāo)在層次評價中的權(quán)重系數(shù)以及指標(biāo)層各指標(biāo)的權(quán)重系數(shù)。各評價指標(biāo)的判斷矩陣A—B、B—C及權(quán)重和一致性檢驗結(jié)果如表1—表7所示。

1.判斷矩陣A—B。相對于世界一流學(xué)科水平評價總目標(biāo)，準(zhǔn)則層各要素間相對重要性比較結(jié)果見表1。

表1 世界一流學(xué)科水平評價(A)判斷矩陣

2.判斷矩陣B1—C。相對于學(xué)科聲譽，其內(nèi)部評價要素間相對重要性比較結(jié)果見表2。

表2 學(xué)科聲譽(B1)判斷矩陣

3.判斷矩陣B2—C。相對于學(xué)科力量，其內(nèi)部評價要素間相對重要性比較結(jié)果見表3。

表3 學(xué)科力量(B2)判斷矩陣

4.判斷矩陣B3—C。相對于科學(xué)研究，其內(nèi)部評價要素間相對重要性比較結(jié)果見表4。

表4 科學(xué)研究(B3)判斷矩陣

5.判斷矩陣B4—C。相對于教學(xué)與人才培養(yǎng)，其內(nèi)部評價要素間相對重要性比較結(jié)果見表5。

表5 教學(xué)與人才培養(yǎng)(B4)判斷矩陣

6.判斷矩陣B5—C。相對于國際融合，其內(nèi)部評價要素間相對重要性比較結(jié)果見表6。

表6 國際融合(B5)判斷矩陣

7.判斷矩陣B6—C。相對于發(fā)展環(huán)境，其內(nèi)部評價要素間相對重要性比較結(jié)果見表7。

表7 發(fā)展環(huán)境(B6)判斷矩陣

8.評價指標(biāo)層次總排序的計算。根據(jù)上述判斷矩陣，利用方根法分別計算B—A、C—B的相對重要性權(quán)重W并進(jìn)行一致性檢驗；同理，利用上述數(shù)據(jù)進(jìn)行指標(biāo)層對目標(biāo)層的整體一致性檢驗，經(jīng)計算可得，CI=0.042 9，RI=0.830 5，CR=0.052(小于0.1)，整體一致性通過檢驗。同時，因各CR均小于0.1，故說明該指標(biāo)體系設(shè)計和權(quán)重設(shè)定比較合理，可以作為評價依據(jù)。評價指標(biāo)的層次總排序如表8所示。

表8 世界一流學(xué)科水平評價指標(biāo)的層次總排序結(jié)果

從研究結(jié)果來看，被調(diào)查者在對學(xué)科水平進(jìn)行評價時整體偏向于社會聲譽、教學(xué)質(zhì)量、科研質(zhì)量等較容易反映學(xué)科實力的關(guān)鍵性指標(biāo)，相應(yīng)權(quán)重較大，這比較符合目前國內(nèi)的普遍認(rèn)識；而對于學(xué)科力量、國際融合、發(fā)展環(huán)境等要素，由于國與國之間的差異(如文化、背景、認(rèn)識上的不同)而在評價認(rèn)知上有所偏差，這也為進(jìn)一步論證這些因素對學(xué)科水平評價的影響程度提供了研究點。

三、世界一流學(xué)科水平模糊綜合評價模型

根據(jù)模糊綜合評價的基本思想，評價應(yīng)確定因素集、評價集、模糊評價矩陣，并按照模糊識別的“最大隸屬度”原則針對評價對象給出科學(xué)判斷。

首先，確定因素集。因素集是由綜合評價的各種因素組成的集合。在本文的評價指標(biāo)體系中，定義一級因素集為A={B1,B2,B3,B4,B5,B6}；二級因素集為B1={C1,C2}，B2={C3,C4,C5}，B3={C6,C7,C8,C9,C10}，B4={C11,C12,C13,C14,C15,C16}，B5={C17,C18,C19}，B6={C20,C21,C22,C23}。

然后，定義評價集。將世界一流學(xué)科水平劃分為5個等級并建立相應(yīng)集合，即V={V1,V2,V3,V4,V5}，其中，V1為達(dá)到世界一流水平，V2為達(dá)到國際卓越水平但尚未達(dá)到世界一流水平，V3為具有國際性水平，V4為達(dá)到國內(nèi)一流水平，V5為一般水平或尚未達(dá)到國內(nèi)一流水平。

接著，確定權(quán)重集。由上述層次分析計算得到B1、B2、B3、B4、B5、B6對目標(biāo)層A的權(quán)重集為

WA={WB1,WB2,WB3,WB4,WB5,WB6}=

{0.188 4,0.055 2,0.288 4,0.288 4,0.113 3,0.074 2}

WB1={WC1,WC2}={0.75,0.25}

WB2={WC3,WC4,WC5}={0.258,0.636,0.106}

WB3={WC6,WC7,WC8,WC9,WC10}={0.140 1,0.264 3,0.381 2,0.140 1,0.074 3}

WB4={WC11,WC12,WC13,WC14,WC15,WC16}={0.139 6,0.183 7,0.277 4,0.139 6,0.160 2,0.099 5}

WB5={WC17,WC18,WC19}={0.2,0.2,0.6}

WB6={WC20,WC21,WC22,WC23}={0.065 5,0.146 5,0.288 5,0.499 5}

最后，構(gòu)造模糊評價矩陣。依據(jù)確立的評價等級，有針對性地選擇若干專家、社會人士、高校教師等人員組成評價組對每個二級指標(biāo)進(jìn)行評價，經(jīng)統(tǒng)計可得到各個因素對應(yīng)于等級的頻數(shù)，經(jīng)過歸一化處理，即可得到各個因素對應(yīng)于各等級的隸屬度，從而得到單因素模糊評價矩陣R=(Rij)n×m。R是n×m階模糊評價矩陣，Rij∈[0,1]，其中n,m=1,2,3,…,6。

對準(zhǔn)則層指標(biāo)B作一級模糊綜合評價。Bi=Ai×Ri。已知Ai={WBi},i=1,2,3,…,6；R1=(rij)2×2，R2=(rij)3×3，R3=(rij)5×5，R4=(rij)6×6，R5=(rij)3×3，R6=(rij)3×3。由此，經(jīng)歸一化處理可得二級指標(biāo)對一級指標(biāo)的隸屬向量B，B={B1,B2,B3,B4,B5,B6}。

對目標(biāo)A作二級模糊綜合評價。W=A×B。已知A=WA，依據(jù)上述計算結(jié)果，經(jīng)歸一化處理得到新向量W={W1,W2,W3,W4}。

將W與評價等級V對應(yīng)進(jìn)行模糊運算，根據(jù)模糊識別“最大隸屬度”原則就可以對所研究學(xué)科是否為世界一流學(xué)科做出基本評價，并判斷對象學(xué)科目前的發(fā)展水平。

四、評價體系與評價模型的應(yīng)用

運用上述分析方法，可以對某一學(xué)科進(jìn)行評價，這種評價方法可用于兩方面的評價比較。其一，對象學(xué)科與世界一流水平對象學(xué)科間的比較。如以某大學(xué)的管理學(xué)科為例，若針對各一級指標(biāo)和二級指標(biāo)設(shè)定具體量化標(biāo)準(zhǔn)并以此作為衡量是否為世界一流學(xué)科的評價標(biāo)準(zhǔn)，則可運用上述分析結(jié)果進(jìn)行反模糊化處理，得到一個綜合評價數(shù)值，這個數(shù)值可較為準(zhǔn)確地反映該大學(xué)的管理學(xué)科與世界一流水平管理學(xué)科之間的差距大小。其二，兩個同類對象學(xué)科間的比較。運用上述分析方法也可進(jìn)行學(xué)科間的比較研究，比如就一所大學(xué)的管理學(xué)科(G1)與另一所大學(xué)的管理學(xué)科(G2)哪個更接近世界一流水平進(jìn)行分析。在進(jìn)行模糊綜合評價時，可分別組織評價組對G1和G2進(jìn)行評價，建立各自因素評判矩陣，經(jīng)兩級評判得到最終評價向量，再經(jīng)過一定的反模糊化處理，可得到G1與G2兩個學(xué)科的評價結(jié)果，從而判斷孰優(yōu)孰劣。

在采用層次分析法和模糊評價法對世界一流學(xué)科水平進(jìn)行評價時，為提高評價的精確度和可信度，還要注意三方面的問題。其一，評價數(shù)據(jù)的獲取方面問題。由于國際范圍較廣以及存在對評價指標(biāo)認(rèn)識的差異等問題，所以獲取全面、科學(xué)、準(zhǔn)確的評價數(shù)據(jù)是非常困難的。此外，許多數(shù)據(jù)和評價內(nèi)容的邊界本身并不十分清晰，比如學(xué)科的界定、研究成果的劃定和歸屬等，這雖然屬于模糊數(shù)學(xué)、模糊評價的應(yīng)用范圍，但可能會因忽略許多重要評價信息而影響到對水平的度量，從而降低評價信度和效度。其二，指標(biāo)權(quán)重的確定方面問題。在上述分析中，我們采用了層次分析法來確定各指標(biāo)對評價目標(biāo)的重要程度。雖然方法比較科學(xué)，但由于各指標(biāo)具有動態(tài)變化的特征，與政策、環(huán)境、社會經(jīng)濟(jì)發(fā)展等方面存在一定的相關(guān)性，所以在應(yīng)用中要注意根據(jù)內(nèi)外環(huán)境等條件的變化對指標(biāo)權(quán)重進(jìn)行適當(dāng)調(diào)整，或者采取相對固期的評價方式，即評價一定時期內(nèi)世界一流學(xué)科平均水平，以減少其他因素的干擾。其三，評價的調(diào)查對象的選擇方面問題。由于這種評價根本上是定性基礎(chǔ)上的定量分析，因此，無論是判斷矩陣還是模糊評價矩陣的構(gòu)建，都涉及調(diào)查對象的選擇問題，而選擇的數(shù)量、調(diào)查對象的經(jīng)驗與水平等因素都影響著評價的最終結(jié)果。同時，由于研究對象是世界一流學(xué)科，而國內(nèi)外學(xué)者對世界一流本身的認(rèn)識與理解至今尚未統(tǒng)一，那么不同的群體如何看待這一概念以及如何客觀做出較為準(zhǔn)確的主觀判斷，對于這些問題也需要在選擇對象時予以考慮。

五、結(jié)語

利用AHP和模糊數(shù)學(xué)對學(xué)科進(jìn)行其與世界一流水平學(xué)科的比較評價時，可大體判斷該學(xué)科目前的發(fā)展水平。這種評價方法可操作性較強(qiáng)，程序較為簡單，也能反映一定的問題，但要進(jìn)一步明確水平差距的大小，則需確定各評價指標(biāo)具體量化標(biāo)準(zhǔn)，過程中還需考慮科學(xué)計量學(xué)的使用范圍，避免其技術(shù)上的內(nèi)在缺陷，同時，應(yīng)盡可能擴(kuò)大主觀評價者的遴選范圍，增加主觀評價的樣本數(shù)據(jù)，以提高評價的準(zhǔn)確性。