方思越 劉清
關(guān)鍵詞:政策文獻(xiàn)量化:PMC指數(shù)模型:計(jì)量分析:綜述
當(dāng)前,政府治理現(xiàn)代化不斷推進(jìn),政府信息公開制度已逐步完善。同時(shí),伴隨著統(tǒng)計(jì)學(xué)、計(jì)量學(xué)、數(shù)據(jù)可視化等學(xué)科和方法的不斷發(fā)展,以政策文獻(xiàn)為研究對(duì)象的公共政策研究有了更為廣闊的發(fā)展空間,政策文獻(xiàn)量化研究這一分析視角也獲得了更多的關(guān)注。政策文獻(xiàn)量化研究將語(yǔ)言表述的非結(jié)構(gòu)化的政策文本轉(zhuǎn)化為使用數(shù)量表示的資料,并使用統(tǒng)計(jì)數(shù)字描述分析的結(jié)果,在研究的過(guò)程中克服質(zhì)化政策研究中的主觀性和不確定性,從而得到相對(duì)直觀和精確的政策認(rèn)知。
近年來(lái),政策文獻(xiàn)量化研究蓬勃發(fā)展,使用的方法也更加多元,典型的研究方法有政策計(jì)量分析、政策內(nèi)容量化和政策文本挖掘3個(gè)類別,而政策內(nèi)容量化的主要類型又包括基于政策文本描述性量化分析結(jié)果,再使用PMC指數(shù)對(duì)政策進(jìn)行績(jī)效評(píng)價(jià)。PMC指數(shù)模型(Policy Modelling Consistency)由MarioArturo Ruiz Estrada(下文簡(jiǎn)稱Estrada)于2011年提出。該模型被引入國(guó)內(nèi)后在政策文獻(xiàn)量化研究中得到了較為充分的應(yīng)用,但具體應(yīng)用情況仍未明晰,同時(shí)也未見對(duì)該模型本土化應(yīng)用上的系統(tǒng)梳理。鑒于此,本文對(duì)目前國(guó)內(nèi)使用PMC指數(shù)模型的研究進(jìn)行梳理,計(jì)量分析當(dāng)前研究現(xiàn)狀,整理出PMC指數(shù)模型的一般流程,討論使用過(guò)程中存在的問題并給出相應(yīng)的建議,以期為PMC指數(shù)模型后續(xù)的實(shí)踐提供一定的借鑒。
1研究設(shè)計(jì)
1.1研究問題
梳理政策文獻(xiàn)量化研究中的PMC指數(shù)模型應(yīng)用研究,首先需要厘清研究問題。Estrada提出的PMC指數(shù)模型用于評(píng)判政策建模的一致性。政策建模是通過(guò)使用不同的理論、模型和技術(shù)對(duì)任意政策進(jìn)行分析評(píng)估的學(xué)術(shù)或?qū)嵺`工作,其本身即可被理解為一種對(duì)政策的評(píng)價(jià)工作。PMC指數(shù)模型的提出基于“Omnia Mobilis”假說(shuō),即“一切都在運(yùn)動(dòng)中”,在政策建模中不應(yīng)忽略任何相關(guān)變量。然而,當(dāng)PMC指數(shù)模型被引入國(guó)內(nèi)后,卻多被用于政策文獻(xiàn)的評(píng)價(jià)之中。從政策建模的評(píng)價(jià)到政策文獻(xiàn)的評(píng)價(jià),這種本土化應(yīng)用是本研究的主要關(guān)注點(diǎn)。由此衍生出本研究主要討論的3個(gè)問題:①國(guó)內(nèi)PMC指數(shù)模型應(yīng)用現(xiàn)狀如何?②國(guó)內(nèi)學(xué)者是如何使用PMC指數(shù)模型的?③如何更合理地應(yīng)用PMC指數(shù)模型?
1.2數(shù)據(jù)來(lái)源與處理
本研究的目標(biāo)文獻(xiàn)是應(yīng)用了PMC指數(shù)模型的期刊文獻(xiàn),選取的數(shù)據(jù)庫(kù)為中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)和維普中文期刊服務(wù)平臺(tái)。本研究制定的文獻(xiàn)選擇階段和標(biāo)準(zhǔn)為:①文獻(xiàn)檢索。根據(jù)研究主題,PMC指數(shù)模型在應(yīng)用上與“政策”這一關(guān)鍵詞息息相關(guān),且“PMC”暫無(wú)代稱,因此使用“政策”與“PMC”的組合作為檢索詞進(jìn)行學(xué)術(shù)期刊文獻(xiàn)檢索,設(shè)定檢索字段為篇關(guān)摘,出版年度結(jié)束年為2022年;②文獻(xiàn)去重。剔除重復(fù)文獻(xiàn);③文獻(xiàn)篩選。此階段主要判斷文獻(xiàn)是否完整地使用了PMC指數(shù)模型。對(duì)標(biāo)題和摘要進(jìn)行瀏覽,剔除與政策文獻(xiàn)量化研究無(wú)關(guān)的內(nèi)容,如省直管縣(Province Manage Country,PMC)和項(xiàng)目管理承包模式(Project ManagementContracting.PMC)等的研究;對(duì)正文進(jìn)行瀏覽,剔除沒有描述PMC指數(shù)模型應(yīng)用全過(guò)程的文獻(xiàn)。最終,本研究確定的目標(biāo)文獻(xiàn)為169篇。
1.3研究方法
研究主要采用計(jì)量分析的方法。針對(duì)問題①,對(duì)目標(biāo)文獻(xiàn)的發(fā)布時(shí)間、刊載期刊、作者信息和關(guān)鍵詞進(jìn)行統(tǒng)計(jì)分析,得到國(guó)內(nèi)PMC指數(shù)模型應(yīng)用的發(fā)文趨勢(shì)、期刊分布、主要作者、機(jī)構(gòu)和主要研究主題;針對(duì)問題②,對(duì)目標(biāo)文獻(xiàn)進(jìn)行深入閱讀,結(jié)合原PMC指數(shù)模型,提煉出本土化應(yīng)用的一般流程,再對(duì)流程每一階段進(jìn)行描述分析;在問題①和問題②的基礎(chǔ)上,對(duì)問題③展開討論,給出更合理使用PMC指數(shù)模型的建議。
2研究結(jié)果分析
2.1目標(biāo)文獻(xiàn)統(tǒng)計(jì)分析
2.1.1發(fā)文趨勢(shì)
對(duì)目標(biāo)文獻(xiàn)進(jìn)行發(fā)文趨勢(shì)統(tǒng)計(jì),如圖1所示。201 1年,Estrada設(shè)計(jì)PMC指數(shù)模型,2015年國(guó)內(nèi)首次將該方法引入。發(fā)文量呈逐年增長(zhǎng)趨勢(shì),2015-2022年,發(fā)文量從1篇增長(zhǎng)到169篇。可見,PMC指數(shù)模型在國(guó)內(nèi)正越來(lái)越多地被應(yīng)用。
2.1.2期刊分布
對(duì)目標(biāo)文獻(xiàn)來(lái)源進(jìn)行統(tǒng)計(jì),如圖2所示。目標(biāo)文獻(xiàn)分布于113本不同的期刊上,收錄量為5篇及以上的期刊分別為《中國(guó)科技論壇》《科技進(jìn)步與對(duì)策》《情報(bào)雜志》《軟科學(xué)》《統(tǒng)計(jì)與決策》和《科技管理研究》,總占比21.89%。其余期刊的收錄量均在5篇以下,有88本期刊只發(fā)了1篇相關(guān)文獻(xiàn),說(shuō)明應(yīng)用了PMC指數(shù)模型的期刊文獻(xiàn)分布較為分散。
參考數(shù)據(jù)庫(kù)中的專輯名稱、專題名稱和期刊描述對(duì)期刊進(jìn)行分類統(tǒng)計(jì),如圖3所示。有100篇文獻(xiàn)分布在55本管理科學(xué)類的期刊上,占總文獻(xiàn)量的57.17%,有31篇文獻(xiàn)分布在26本大學(xué)學(xué)報(bào)上,20篇文獻(xiàn)分布在13本醫(yī)藥衛(wèi)生科技類的期刊上,另外,在教育學(xué)、體育學(xué)、信息科學(xué)等領(lǐng)域的期刊上也都有應(yīng)用了PMC指數(shù)模型的文獻(xiàn)。在不同類別期刊上的分布說(shuō)明應(yīng)用了PMC指數(shù)模型的文獻(xiàn)多分布于管理科學(xué)類的期刊上,且在其他學(xué)科領(lǐng)域也獲得了一定的認(rèn)可。
2.1.3作者信息
對(duì)作者的發(fā)文次數(shù)進(jìn)行統(tǒng)計(jì),共有411位不同的作者。發(fā)文量排名前3的作者分別為張永安教授(北京工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院,8篇),杜寶貴教授(東北大學(xué)文法學(xué)院,4篇)和褚淑貞教授(中國(guó)藥科大學(xué)國(guó)家藥物政策與醫(yī)藥產(chǎn)業(yè)經(jīng)濟(jì)研究中心,4篇)。其中,張永安教授是首位將PMC指數(shù)模型引入國(guó)內(nèi)的學(xué)者。
對(duì)第一作者的相關(guān)信息進(jìn)行統(tǒng)計(jì),共有145名不同的第一作者,發(fā)文量排名前5的作者分別為張永安教授(北京工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院,8篇),杜寶貴教授(東北大學(xué)文法學(xué)院,4篇),周海煒教授(河海大學(xué)商學(xué)院,3篇),沈俊鑫教授(昆明理工大學(xué)管理與經(jīng)濟(jì)學(xué)院,3篇)和劉紀(jì)達(dá)博士(哈爾濱工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院,3篇)。對(duì)這些作者所屬的機(jī)構(gòu)進(jìn)行統(tǒng)計(jì),共涉及101個(gè)不同的機(jī)構(gòu)。其中,有8名不同的作者來(lái)自北京工業(yè)大學(xué)的經(jīng)濟(jì)與管理學(xué)院,涉及16篇目標(biāo)文獻(xiàn);6名不同的作者來(lái)自河海大學(xué)(5名來(lái)自商學(xué)院,1名來(lái)自公共管理學(xué)院),涉及9篇目標(biāo)文獻(xiàn);6名不同的作者來(lái)自中國(guó)藥科大學(xué),涉及6篇目標(biāo)文獻(xiàn)。通過(guò)對(duì)作者信息的統(tǒng)計(jì)可以發(fā)現(xiàn),以張永安教授為代表的北京工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院在PMC指數(shù)模型的應(yīng)用上有較多經(jīng)驗(yàn),作者的分布相對(duì)分散。
2.1.4研究主題
對(duì)目標(biāo)文獻(xiàn)的關(guān)鍵詞進(jìn)行統(tǒng)計(jì),排名前3的研究主題如表1所示。研究主題中,“政策量化評(píng)價(jià)”的出現(xiàn)頻次位列第一,與“PMC指數(shù)模型”不相上下,但與“文本內(nèi)容分析”這一主題拉開了較大差距。研究主題的排序印證了PMC指數(shù)模型多應(yīng)用于政策文獻(xiàn)量化研究,尤其是政策量化評(píng)價(jià)中,且部分研究還應(yīng)用了其他文本內(nèi)容分析的方法。
通過(guò)對(duì)關(guān)鍵詞的統(tǒng)計(jì)還可以發(fā)現(xiàn),這些文獻(xiàn)選取的政策來(lái)自不同的領(lǐng)域,按照《國(guó)民經(jīng)濟(jì)行業(yè)分類》(GB/T4754-2017)將目標(biāo)文獻(xiàn)涉及的政策內(nèi)容進(jìn)行劃分,并映射到經(jīng)濟(jì)、政治、文化、社會(huì)、生態(tài)文明五大建設(shè)中。排名前3的政策領(lǐng)域如表2所示,分別為公共管理、社會(huì)保障和社會(huì)組織,科學(xué)研究和技術(shù)服務(wù)業(yè)以及租賃和制造業(yè)。五大建設(shè)中的分布如圖4所示,相關(guān)研究分析的政策在這五大建設(shè)中均有涉獵,其中最多的是有關(guān)經(jīng)濟(jì)建設(shè)的政策。
2.2目標(biāo)文獻(xiàn)PMC指數(shù)模型應(yīng)用分析
Estrada提出的PMC指數(shù)模型分為6個(gè)步驟:①構(gòu)建多投入一產(chǎn)出表;②確認(rèn)變量和具體參數(shù);③PMC指數(shù)計(jì)算:④構(gòu)建政策建模的一致性評(píng)價(jià)標(biāo)準(zhǔn):⑤繪制PMC曲面圖:⑥根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)分析政策建模的優(yōu)劣勢(shì)。而通過(guò)對(duì)目標(biāo)文獻(xiàn)的梳理,可得國(guó)內(nèi)學(xué)者應(yīng)用該模型時(shí)主要分為政策文本搜集與預(yù)處理、指標(biāo)體系構(gòu)建、PMC指數(shù)計(jì)算、PMC曲面圖繪制和政策綜合分析5個(gè)步驟,如圖5所示。
2.2.1政策文本搜集與預(yù)處理
在政策文本搜集與預(yù)處理部分,學(xué)者們依據(jù)需要分析的主題設(shè)計(jì)關(guān)鍵詞,在專業(yè)政策數(shù)據(jù)庫(kù)(北大法寶、北大法意、白鹿智庫(kù)等)和相關(guān)政府網(wǎng)站上搜集政策文本。根據(jù)文本的相關(guān)性和有效性篩選出研究需要的政策文獻(xiàn),并挖掘文本內(nèi)容。部分學(xué)者使用ROST數(shù)據(jù)分析軟件和(或)Python編程語(yǔ)言輔助識(shí)別政策文本高頻關(guān)鍵詞和主題,部分學(xué)者根據(jù)編碼提取政策文本的要點(diǎn),這些關(guān)鍵詞、主題和要點(diǎn)是構(gòu)建PMC指標(biāo)體系的重要依據(jù)。
2.2.2指標(biāo)體系構(gòu)建
使用PMC指數(shù)模型的第一步是設(shè)計(jì)多投入一產(chǎn)出表。多投入產(chǎn)出表在Estrada的設(shè)計(jì)中是一種量化單個(gè)政策建模文本的數(shù)據(jù)分析框架,由10個(gè)一級(jí)變量和50個(gè)二級(jí)變量構(gòu)成,如表3所示。國(guó)內(nèi)學(xué)者在沿用的過(guò)程中保留了含兩級(jí)變量的指標(biāo)體系,并根據(jù)待分析的政策文本調(diào)整各級(jí)變量的數(shù)目和內(nèi)容。
對(duì)目標(biāo)文獻(xiàn)構(gòu)建的指標(biāo)體系進(jìn)行分析。169篇目標(biāo)文獻(xiàn)中有98篇構(gòu)建了10個(gè)一級(jí)變量.65篇構(gòu)建了9個(gè)一級(jí)變量,各有兩篇文獻(xiàn)構(gòu)建了13個(gè)和16個(gè)一級(jí)變量,各有1篇文獻(xiàn)構(gòu)建了7個(gè)和8個(gè)一級(jí)變量。構(gòu)建的二級(jí)變量數(shù)量最少為25個(gè),最多為77個(gè),為40個(gè)二級(jí)變量的文獻(xiàn)數(shù)量最多。出現(xiàn)頻次前10的一級(jí)變量和相應(yīng)的二級(jí)變量示例如表4所示。
這10個(gè)一級(jí)變量分別為政策性質(zhì)、政策時(shí)效、政策評(píng)價(jià)、政策領(lǐng)域、政策公開、政策功能、政策視角、政策內(nèi)容、政策工具和發(fā)布機(jī)構(gòu)。在相應(yīng)的二級(jí)變量設(shè)計(jì)上:①政策性質(zhì)。二級(jí)變量除了示例中的預(yù)測(cè)、監(jiān)管、建議、描述、引導(dǎo)之外還有診斷、導(dǎo)向、判定、倡議、支持、穩(wěn)定、規(guī)范、試行等;②政策時(shí)效。二級(jí)變量中的長(zhǎng)期、中期、短期主要有兩種時(shí)長(zhǎng)劃分方式:一是將長(zhǎng)期劃分為10年以上,中期5~10年,短期1~5年;二是將長(zhǎng)期劃分為5年以上,中期3~5年,短期1~3年;③政策評(píng)價(jià)。二級(jí)變量的設(shè)計(jì)是研究者對(duì)政策文本的主觀判讀,除了示例中的依據(jù)充分、目標(biāo)明確、方案科學(xué)、符合國(guó)情之外還有鼓勵(lì)創(chuàng)新、規(guī)劃翔實(shí)等;④政策領(lǐng)域。二級(jí)變量主要為政治、經(jīng)濟(jì)、社會(huì)、環(huán)境、科技;⑤政策公開。一般沒有設(shè)置二級(jí)變量,主要用于判斷政策文本是否公開;⑥政策功能。二級(jí)變量描述政策期望實(shí)現(xiàn)的功能,依據(jù)預(yù)處理時(shí)得到的關(guān)鍵詞、主題和要點(diǎn)確定;⑦政策視角。二級(jí)變量主要有宏觀、中觀和微觀,也有學(xué)者直接用宏觀和微觀;⑧政策內(nèi)容。二級(jí)變量描述政策包含的內(nèi)容,依據(jù)預(yù)處理時(shí)得到的關(guān)鍵詞、主題和要點(diǎn)確定;⑨政策工具。二級(jí)指標(biāo)列舉政策使用的工具,描述粒度上因研究而異,示例中直接將政策工具劃分為供給型、環(huán)境型和需求型,粒度較粗,部分研究直接使用下位層次的具體工具作為二級(jí)變量,如財(cái)政投入、基礎(chǔ)設(shè)施建設(shè)、人才培育等;⑩發(fā)布機(jī)構(gòu)。二級(jí)變量列舉指發(fā)布政策的機(jī)構(gòu)性質(zhì),不同研究在該變量的設(shè)計(jì)和表達(dá)上也有所不同。
2.2.3PMC指數(shù)計(jì)算
在構(gòu)建了指標(biāo)體系后,需要對(duì)變量進(jìn)行計(jì)算。一般地,指標(biāo)體系中一級(jí)變量的取值范圍為[0,1],二級(jí)變量的取值為0或1,也有部分研究規(guī)定了具體變量的取值。根據(jù)式(1)將每一項(xiàng)政策的一級(jí)變量的分值進(jìn)行加總,即得到相應(yīng)政策的PMC指數(shù)。假設(shè)一項(xiàng)研究中有10個(gè)一級(jí)變量,且變量取值范圍為[0,1],則其最高分為10,最低分為0。
另有學(xué)者改進(jìn)了PMC指數(shù)計(jì)算的方法,提出PMC-AE指數(shù),即利用神經(jīng)網(wǎng)絡(luò)中的自編碼技術(shù)對(duì)多參數(shù)進(jìn)行融合,對(duì)政策進(jìn)行打分。PMC-AE指數(shù)的計(jì)算減少了人工賦值的主觀性,但計(jì)算過(guò)程相對(duì)復(fù)雜。
目標(biāo)文獻(xiàn)中,有的研究會(huì)計(jì)算所有搜集到的政策文本的PMC指數(shù),而有的研究則根據(jù)一定的標(biāo)準(zhǔn)選取部分政策文本進(jìn)行計(jì)算。
2.2.4PMC曲面繪制
繪制PMC曲面圖,是為了直觀地展示各項(xiàng)被研究的政策在各個(gè)變量上的分值o PMC曲面繪制有兩種形式:一是繪制單一政策的三維曲面圖:二是將多個(gè)政策進(jìn)行橫向?qū)Ρ壤L制雷達(dá)圖。在繪制單一政策的曲面圖時(shí),將政策樣本中的各個(gè)一級(jí)變量得分轉(zhuǎn)化為矩陣形式,再進(jìn)行繪制,如圖6所示,假設(shè)某一政策有9個(gè)一級(jí)變量,取值分別為1.0、0.2、0.6、0.2、0.5、0、0.1、0.9、0.8,被轉(zhuǎn)化為三維矩陣形式。
在繪制雷達(dá)圖時(shí),依據(jù)為政策個(gè)數(shù)和其相應(yīng)的一級(jí)變量的分值,示例如圖7所示(圖示分值為隨機(jī)生成),假設(shè)研究涉及3項(xiàng)不同的政策P1、P2、P3,共有9個(gè)一級(jí)指標(biāo)體系。雷達(dá)圖直觀展示了P1、P2、P3在X1~9指標(biāo)上的分值和凹陷程度。
2.2.5政策綜合分析
通過(guò)政策綜合分析,得出政策優(yōu)化建議。目標(biāo)文獻(xiàn)中,有156篇文獻(xiàn)沿用了Estrada劃分PMC指數(shù)值等級(jí)的做法,按照PMC指數(shù)值等級(jí)對(duì)相對(duì)應(yīng)的政策進(jìn)行評(píng)價(jià)。Estrada將PMC指數(shù)值劃分為4個(gè)不同的等級(jí):分值在9~10為完美一致性,7~8.99為優(yōu)秀一致性,5~6.99為可接受一致性,0~4.99為低一致性。國(guó)內(nèi)學(xué)者沿用時(shí),部分直接采取這一等級(jí)劃分,也將政策分為完美(優(yōu)秀)、優(yōu)秀(良好)、可接受、不良(不及格)4個(gè)等級(jí);部分研究則自定義等級(jí)劃分,如參考百分制標(biāo)準(zhǔn)將分值劃分為完美、優(yōu)秀、良好、不良4個(gè)等級(jí),亦有學(xué)者劃分為不良、可接受(合格)、良好、優(yōu)秀、完美5個(gè)等級(jí)。由于Estrada設(shè)計(jì)了10個(gè)一級(jí)變量,對(duì)于一級(jí)變量數(shù)量并非10的研究,等級(jí)評(píng)判的分值應(yīng)當(dāng)作出相應(yīng)的改變,如對(duì)于設(shè)計(jì)了9個(gè)一級(jí)變量的研究,完美、優(yōu)秀、可接受、不良4個(gè)層級(jí)的取值可能分別為[7,9]、[5,7)、[3,5)、[0,3) ]或[8,9]、[6,7)、[4,6)、[ 0,4)]等。沒有劃分政策等級(jí)的研究則直接根據(jù)PMC指數(shù)值進(jìn)行分析。
在具體的分析過(guò)程中,如果研究只計(jì)算了某單一政策的PMC指數(shù),則在給出優(yōu)化建議的過(guò)程中依據(jù)其一級(jí)變量的分值給出對(duì)應(yīng)的方案。舉例而言,計(jì)算后發(fā)現(xiàn)政策P1在X4(政策領(lǐng)域)和X6(政策功能)上的評(píng)分較低,則可以聚焦到政策領(lǐng)域和政策功能的二級(jí)變量上尋找評(píng)分較低的原因,提出改進(jìn)方案。如果研究計(jì)算了多項(xiàng)政策的PMC指數(shù),一般會(huì)對(duì)這些政策進(jìn)行分值排序,再進(jìn)行單一政策的重點(diǎn)分析。
此外,部分目標(biāo)文獻(xiàn)并未將PMC指數(shù)模型作為主要研究?jī)?nèi)容,而是服務(wù)于整體的分析框架。最為典型的是“政策主體一政策工具一政策效力”三維分析框架。其中政策主體是依照法定權(quán)限和程序頒布相關(guān)政策文件的機(jī)構(gòu)或組織:政策工具是為落實(shí)某項(xiàng)政策采取的相關(guān)措施或手段:政策效力是政策文本的內(nèi)容效力和影響力。政策主體的識(shí)別可以通過(guò)政策文獻(xiàn)的結(jié)構(gòu)要素直接獲取:政策工具主要依托Rothewell的政策工具理論,將政策文本單位化后進(jìn)行編碼,劃分為環(huán)境面、供給面和需求面3類政策工具:政策效力使用PMC指數(shù)進(jìn)行衡量。使用三維分析框架在進(jìn)行政策綜合分析時(shí)關(guān)注政策主體維度上各政策主體之間的協(xié)同程度,政策工具維度上3類政策工具的占比和各自的優(yōu)化點(diǎn),以及政策效力維度上政策的PMC指數(shù)值分析結(jié)果。
3研究討論及結(jié)論建議
PMC指數(shù)模型在國(guó)內(nèi)的應(yīng)用自2015年興起,穩(wěn)步發(fā)展至今,已經(jīng)成為政策文獻(xiàn)量化研究中的重要研究方法之一。通過(guò)研究結(jié)果分析可以得知:
1)PMC指數(shù)模型在國(guó)內(nèi)越來(lái)越多地被應(yīng)用,且應(yīng)用的學(xué)科領(lǐng)域較為廣泛,作者分布也較為分散。以張永安教授為代表的北京工業(yè)大學(xué)經(jīng)濟(jì)與管理學(xué)院在PMC指數(shù)模型的應(yīng)用上有較多的經(jīng)驗(yàn),其研究?jī)?nèi)容可作為初學(xué)者的重要參考。
2)通過(guò)統(tǒng)計(jì)分析,可知PMC指數(shù)模型的主要研究主題為“政策量化評(píng)價(jià)”。通過(guò)應(yīng)用分析,可知在政策綜合分析這一步驟中,目標(biāo)文獻(xiàn)中有156篇文章(占比92%)對(duì)計(jì)算得到的PMC指數(shù)值進(jìn)行了等級(jí)劃分,進(jìn)一步印證了PMC指數(shù)模型在國(guó)內(nèi)主要被應(yīng)用于政策評(píng)價(jià)。
3)國(guó)內(nèi)在PMC指數(shù)模型應(yīng)用的過(guò)程中,政策文本搜集與預(yù)處理是基礎(chǔ),指標(biāo)體系構(gòu)建是核心,PMC指數(shù)計(jì)算實(shí)現(xiàn)量化,PMC曲面圖繪制實(shí)現(xiàn)可視化,政策綜合分析是PMC指數(shù)模型應(yīng)用的最終目的。與原模型相比,指標(biāo)體系更加多樣化、指數(shù)計(jì)算存在改進(jìn)算法、曲面圖繪制新增雷達(dá)圖。
通過(guò)對(duì)研究結(jié)果的進(jìn)一步審視,有以下3個(gè)問題值得討論:
1)使用PMC指數(shù)模型進(jìn)行政策評(píng)價(jià)是否合理。首先,PMC指數(shù)模型的原設(shè)計(jì)是對(duì)政策建模的評(píng)價(jià),政策建模不應(yīng)該忽略任何變量。政策建模是通過(guò)使用不同的理論、模型和技術(shù)對(duì)任意政策進(jìn)行分析評(píng)估的學(xué)術(shù)或?qū)嵺`工作。在Estrada的設(shè)計(jì)中,作者通過(guò)計(jì)算發(fā)現(xiàn)政策建模文章在應(yīng)用研究類型、研究方向、數(shù)據(jù)源、應(yīng)用的計(jì)量經(jīng)濟(jì)學(xué)方法、研究領(lǐng)域、研究理論框架、按部門劃分的政策建模、經(jīng)濟(jì)學(xué)框架在政策建模中的應(yīng)用、地理分析和論文引用這10個(gè)一級(jí)變量上的一致性。首先,如果一份政策建模的研究的PMC指數(shù)值高,則說(shuō)明該政策建模研究在變量考慮上較為全面,一致性高,因此較優(yōu)。但政策建模并不等于政策,故國(guó)內(nèi)將PMC指數(shù)模型方法移植到政策評(píng)價(jià)上的合理性值得探討。其次,相關(guān)研究表明,政策評(píng)價(jià)有廣義和狹義之分。對(duì)政策系統(tǒng)及政策過(guò)程進(jìn)行綜合的、全方位的考察與分析,并給予評(píng)價(jià)、判斷和總結(jié)的功能活動(dòng)是廣義層面上的評(píng)價(jià)。作為系統(tǒng)觀念的政策評(píng)估,包括作為評(píng)估者的評(píng)估主體、作為評(píng)估客體的公共政策、作為外部條件的評(píng)估環(huán)境,以及政策評(píng)估過(guò)程與方法體系等諸多組成要素,對(duì)政策系統(tǒng)及政策過(guò)程某個(gè)或若干個(gè)要素及環(huán)節(jié)的評(píng)估是狹義層面的評(píng)價(jià)。鑒于此,從狹義層面去理解PMC指數(shù)模型在政策評(píng)價(jià)中的作用是可以被接受的,因?yàn)檎呶谋颈灰暈槭菍?duì)客觀事實(shí)的全面描述與建構(gòu),具有確定性和完盡性。而如果使用PMC指數(shù)模型直接判斷政策的優(yōu)劣,容易造成廣義層面上的誤解。最后,政策文本的注意力也并不能完全通過(guò)PMC指數(shù)模型體現(xiàn),目標(biāo)文獻(xiàn)中,指標(biāo)體系中的變量一般為不含情感的短語(yǔ),如“科技供給”,而非“提高科技供給”或“降低科技供給”。因此,一項(xiàng)政策在某一級(jí)變量上的分值高只說(shuō)明該政策在這一變量上有所描述,在某一變量上的分值低只說(shuō)明該政策在這一變量上描述不足,而該政策是否需要在低分值變量部分施以更多的關(guān)注度,則需要回歸政策文本,由原文決定。綜上,筆者認(rèn)為使用PMC指數(shù)模型進(jìn)行政策評(píng)價(jià)是一種僅落在政策文本上的狹義評(píng)價(jià),這種評(píng)價(jià)方式主要用于評(píng)價(jià)政策的完盡性。
2)怎樣構(gòu)建更加科學(xué)的指標(biāo)體系。指標(biāo)體系構(gòu)建是PMC指數(shù)模型應(yīng)用的核心,通過(guò)對(duì)目標(biāo)文獻(xiàn)的梳理發(fā)現(xiàn),指標(biāo)體系的科學(xué)性有待提高。在目標(biāo)文獻(xiàn)中,部分指標(biāo)的設(shè)計(jì)可操作性不強(qiáng),如“政策評(píng)價(jià)”,二級(jí)指標(biāo)的設(shè)計(jì)和評(píng)價(jià)都顯得主觀:部分指標(biāo)的設(shè)計(jì)獨(dú)立性不夠,如一級(jí)變量為“政策領(lǐng)域”,其下的二級(jí)變量既含“社會(huì)服務(wù)”又含“醫(yī)療”,“醫(yī)療”亦可以算作“社會(huì)服務(wù)”的一種:部分指標(biāo)的設(shè)計(jì)在分析過(guò)程中顯得冗余,如“政策公開”,不公開的政策不會(huì)出現(xiàn)在待分析文獻(xiàn)集中。一般地,綜合評(píng)價(jià)問題在指標(biāo)體系的設(shè)計(jì)過(guò)程中需要遵循目的性、完備性、可操作性、獨(dú)立性、顯著性與動(dòng)態(tài)性6個(gè)原則。目的性代表指標(biāo)體系應(yīng)具有一定的導(dǎo)向性,能為評(píng)價(jià)對(duì)象的改進(jìn)提供方向:完備性代表指標(biāo)體系指標(biāo)能較全面地反映待評(píng)價(jià)對(duì)象系統(tǒng)的整體性能和特征:可操作性代表每項(xiàng)指標(biāo)都可被觀測(cè)和衡量:獨(dú)立性代表每項(xiàng)指標(biāo)要盡可能相互獨(dú)立,互不交叉重疊,互不矛盾因果;顯著性代表指標(biāo)體系涵蓋關(guān)鍵指標(biāo)即可,指標(biāo)數(shù)量不應(yīng)過(guò)多冗余:動(dòng)態(tài)性代表指標(biāo)體系可根據(jù)評(píng)價(jià)的反映效果進(jìn)行動(dòng)態(tài)修正。筆者認(rèn)為,在指標(biāo)體系的構(gòu)建中需要檢驗(yàn)是否符合這6個(gè)原則。
3)怎樣保證PMC指數(shù)模型使用的前后一致性。部分學(xué)者在研究過(guò)程中的搜集和預(yù)處理部分對(duì)目標(biāo)領(lǐng)域的所有相關(guān)政策文本進(jìn)行處理,但后續(xù)指數(shù)計(jì)算部分則只選取了“具有代表性的”“隨機(jī)的”政策文本進(jìn)行分析。這一做法的出發(fā)點(diǎn)可能在于對(duì)所有政策文本進(jìn)行預(yù)處理,以增強(qiáng)指標(biāo)體系的全面性,但選擇代表性政策意味著丟失了研究的完備性,且存在一定的主觀性,對(duì)政策的隨機(jī)選擇又存在不確定性。因此筆者認(rèn)為,為了保證模型使用的前后一致性,在政策文本搜集與預(yù)處理階段就確定待分析的政策文獻(xiàn)集,這一做法也可以保證構(gòu)建的指標(biāo)體系中的各級(jí)變量能包含待分析文獻(xiàn)中的全部要點(diǎn)。
通過(guò)對(duì)以上3個(gè)問題的討論,精簡(jiǎn)出3條在政策文獻(xiàn)量化分析中使用PMC指數(shù)模型的建議:①由于PMC指數(shù)模型應(yīng)用于政策評(píng)價(jià)是一種狹義的政策評(píng)價(jià),在使用PMC分值進(jìn)行劃分時(shí),“完美”“優(yōu)秀”“可接受”“不良”之類的描述較為粗糙,使用“合理完備”“符合預(yù)期”“有所側(cè)重”“覆蓋面窄”“適用性弱”的類似表達(dá)更為合理:②指標(biāo)體系構(gòu)建盡量滿足目的性、完備性、可操作性、獨(dú)立性、顯著性與動(dòng)態(tài)性的原則,尤其需要注意完備性、可操作性和獨(dú)立性;③研究設(shè)計(jì)之初就確定待分析的政策文獻(xiàn),避免后續(xù)應(yīng)用PMC指數(shù)模型時(shí)對(duì)政策文獻(xiàn)的二次選擇。
4小結(jié)
本研究系統(tǒng)梳理了當(dāng)前國(guó)內(nèi)政策文獻(xiàn)量化研究中應(yīng)用的PMC指數(shù)模型期刊文獻(xiàn),通過(guò)目標(biāo)文獻(xiàn)的統(tǒng)計(jì)分析揭示國(guó)內(nèi)應(yīng)用PMC指數(shù)模型的現(xiàn)狀,通過(guò)目標(biāo)文獻(xiàn)的PMC指數(shù)模型應(yīng)用分析揭示國(guó)內(nèi)學(xué)者如何使用PMC指數(shù)模型,并進(jìn)一步討論了如何更合理地應(yīng)用PMC指數(shù)模型。同時(shí),本研究也存在一定的局限性。首先,為了使目標(biāo)文獻(xiàn)更具有解釋性和對(duì)比性,本研究并未對(duì)學(xué)位論文進(jìn)行分析:其次,本研究?jī)H對(duì)國(guó)內(nèi)應(yīng)用PMC指數(shù)模型的現(xiàn)狀進(jìn)行梳理,并未考慮外文文獻(xiàn)中的應(yīng)用;最后,本研究側(cè)重于對(duì)方法本身的描述,更適合對(duì)PMC指數(shù)模型不了解或未實(shí)踐過(guò)PMC指數(shù)模型的讀者。此外,還存在一些待思考的更加深入的問題,如怎樣對(duì)PMC指數(shù)模型進(jìn)行改進(jìn)使其能更好地體現(xiàn)政策的關(guān)注度,怎樣構(gòu)建指標(biāo)體系才能滿足目的性、完備性、可操作性、獨(dú)立性、顯著性與動(dòng)態(tài)性的原則,怎樣選取合適的待分析政策文獻(xiàn)等。