面向“一村一名大學(xué)生計劃”的遠(yuǎn)程開放教育教學(xué)質(zhì)量評價體系研究

張曉梅++鐘志賢++沈建華

【摘 要】

“一村一名大學(xué)生計劃”（簡稱“一村一”）是電大系統(tǒng)實施的一個特別教育項目。它依托電大遠(yuǎn)程開放教育將高等教育伸向農(nóng)村，旨在培養(yǎng)和造就一大批“扎根農(nóng)村、服務(wù)農(nóng)民、發(fā)展農(nóng)業(yè)、帶頭致富”的鄉(xiāng)土實用人才，以調(diào)整農(nóng)村人才結(jié)構(gòu)，培養(yǎng)新型農(nóng)民，實現(xiàn)“人才強(qiáng)農(nóng)”政策。本研究根據(jù)實施“一村一”教育教學(xué)的需要，緊緊圍繞其人才培養(yǎng)目標(biāo)，在遠(yuǎn)程開放教育教學(xué)質(zhì)量評價體系研究成果基礎(chǔ)上，遵循快速原型技術(shù)原則構(gòu)建了專門面向“一村一”的教育教學(xué)質(zhì)量評價指標(biāo)體系雛形，并依此編制專家調(diào)查問卷，以Delphi法完善與修正評價指標(biāo)體系雛形，再以層次分析法確定評價指標(biāo)權(quán)重，最終形成系統(tǒng)的質(zhì)量評價指標(biāo)體系。該體系試圖凸顯客觀性、科學(xué)性和適用性，以促進(jìn)“一村一”教育教學(xué)活動的過程反饋和結(jié)果評價，規(guī)范遠(yuǎn)程開放教育教學(xué)管理模式，展示電大服務(wù)社會的能力和成效。同時，拓展遠(yuǎn)程開放教育教學(xué)質(zhì)量保證體系的研究內(nèi)涵，為完善遠(yuǎn)程開放教育教學(xué)質(zhì)量保證制度提供理論和實踐的依據(jù)。

【關(guān)鍵詞】 一村一；遠(yuǎn)程開放教育；教育教學(xué)質(zhì)量評價體系；Delphi法；層次分析法

【中圖分類號】 G420 【文獻(xiàn)標(biāo)識碼】 A 【文章編號】 1009—458x（2016）01—0032—09

一、研究背景

2004年，教育部依托全國廣播電視大學(xué)系統(tǒng)啟動了“一村一名大學(xué)生計劃”。作為首批試點單位，江西省遂川、大余、上饒、都昌縣級電大和新余、贛州等市級電大先后以“局部試點”和“局部推廣”方式進(jìn)行了實驗，在實踐過程中探索了針對農(nóng)民大學(xué)生的人才培養(yǎng)模式，積累了廣泛而豐富的農(nóng)民大學(xué)生教育教學(xué)經(jīng)驗，取得了較好的社會效益。

鑒于以往成功的經(jīng)驗，2011年，江西省人民政府決定在全省范圍內(nèi)啟動“江西省一村一名大學(xué)生工程”，從2012年開始，一直持續(xù)到2020年，每年以“政府出錢、電大出力、農(nóng)民受益”的方式培養(yǎng) 6，000名，實現(xiàn)每個行政村有2～3名農(nóng)民大學(xué)生的培養(yǎng)目標(biāo)。這項工程在教學(xué)和管理上與已實施的“一村一名大學(xué)生計劃”并行運行（以下統(tǒng)稱“一村一”）?！耙淮逡弧币劳薪麟姶筮h(yuǎn)程開放教育手段，將高等教育延伸到農(nóng)村，旨在培養(yǎng)和造就一大批“扎根農(nóng)村、服務(wù)農(nóng)民、發(fā)展農(nóng)業(yè)、帶頭致富”的鄉(xiāng)土實用人才，使他們成為發(fā)展現(xiàn)代農(nóng)業(yè)的骨干力量、推廣運用農(nóng)業(yè)技術(shù)的示范典型、實現(xiàn)科技致富的創(chuàng)業(yè)先鋒和推動農(nóng)村社會進(jìn)步的生力軍。

眾所周知，完善的質(zhì)量保障制度是人才培養(yǎng)的關(guān)鍵與核心，教育教學(xué)評價體系是實現(xiàn)過程監(jiān)控和績效評估的必要手段，而評價指標(biāo)體系的確定則是教育教學(xué)評價的難點和重點。雖然“一村一”教育教學(xué)有著豐富的經(jīng)驗和成果，但就評價體系研究和實踐而言卻一直是較為薄弱的部分，嚴(yán)重滯后于實踐需求，目前還沒有發(fā)現(xiàn)針對“一村一”進(jìn)行教育教學(xué)質(zhì)量評價體系的專門研究。在遠(yuǎn)程開放教育歷史上，教育教學(xué)質(zhì)量評價體系的研究并不是一個全新課題，但隨著遠(yuǎn)程開放教育規(guī)模的發(fā)展和現(xiàn)代教育技術(shù)手段的更新，評價體系研究的與時俱進(jìn)和創(chuàng)新發(fā)展顯得愈來愈迫切。而對于具有特定人才目標(biāo)規(guī)格和培養(yǎng)模式的“一村一”來說，更具有緊迫性和現(xiàn)實意義，因為探索一個具有較強(qiáng)針對性、客觀性、科學(xué)性和適用性的評價指標(biāo)體系，不僅是系統(tǒng)實施“一村一”教育教學(xué)活動的標(biāo)準(zhǔn)或參照，有利于拓展遠(yuǎn)程開放教育教學(xué)質(zhì)量保證體系的研究內(nèi)涵，更是展示電大服務(wù)社會能力的最佳表現(xiàn)手段與方式之一。

二、研究設(shè)計

（一）內(nèi)涵

教育評價體系由反映評價對象內(nèi)涵的指標(biāo)集及評價標(biāo)準(zhǔn)和量化符號構(gòu)成，其主體框架是指標(biāo)。[1]其中，指標(biāo)是具體的、可測量的、行為化的和可操作化的，體現(xiàn)評價的全過程，對評價結(jié)果具有決定性作用；指標(biāo)集具有系統(tǒng)性、整體性特征，能反映評價對象的全部特征。

“質(zhì)量是電大發(fā)展的生命線?！彪姶筮h(yuǎn)程教育質(zhì)量觀認(rèn)為，“電大對質(zhì)量的認(rèn)定，關(guān)注的是學(xué)生對工作崗位的適應(yīng)性，政府和用人單位的滿意度，以及社會對電大教育的認(rèn)同度”。[2]從辦學(xué)層面來看，教育教學(xué)質(zhì)量應(yīng)該綜合反映包括指導(dǎo)思想、辦學(xué)條件、教學(xué)要素和教學(xué)過程等在內(nèi)的各個方面。

因此，構(gòu)建面向“一村一”的遠(yuǎn)程開放教育教學(xué)質(zhì)量評價體系應(yīng)該是基于電大遠(yuǎn)程教育質(zhì)量觀，通過構(gòu)建完善的評價指標(biāo)體系，對遠(yuǎn)程開放教育各環(huán)節(jié)和要素進(jìn)行綜合評價的過程。

（二）定位

本研究所要構(gòu)建的面向“一村一”的教育教學(xué)質(zhì)量評價體系具有自評和他評功能，評價主體可以是教學(xué)點本身，也可以是教學(xué)點的上級監(jiān)管部門；評價客體是電大系統(tǒng)內(nèi)開展“一村一”的所有教學(xué)點。其目的是更好地規(guī)范遠(yuǎn)程開放教育教學(xué)管理模式，健全遠(yuǎn)程開放教育教學(xué)質(zhì)量保證體系，發(fā)揮系統(tǒng)監(jiān)管和自我評價的功能，使電大系統(tǒng)服務(wù)“三農(nóng)”更具穩(wěn)定性和發(fā)展?jié)摿Α?/p>

該體系構(gòu)建過程嚴(yán)格遵循公平、公正、導(dǎo)向激勵的考核原則；確保指標(biāo)體系的科學(xué)性、完備性和可行性特點；尊重現(xiàn)代遠(yuǎn)程教育“質(zhì)量文化”的開放性、適應(yīng)性和多元性特征[3]；以提高教育教學(xué)質(zhì)量為出發(fā)點和落腳點；從“重入口、重過程、重實效、重社會效益”的角度選取各要素指標(biāo)作為考核項；在實施過程中靈活參照評價指標(biāo)的考核內(nèi)涵，堅持“整體性、結(jié)構(gòu)性、創(chuàng)新性、操作性”的基本理念，對各教學(xué)點的具體實施情況進(jìn)行自評和他評。

（三）過程設(shè)計

在充分的文獻(xiàn)研究基礎(chǔ)上，以快速原型技術(shù)（rapid prototyping technology， 簡稱“RPD”）理念和量規(guī)（rubric）開發(fā)技術(shù)為指導(dǎo)[4]，充分考慮農(nóng)民大學(xué)生培養(yǎng)模式特點和政府民生工程的特殊性等因素，建立評價指標(biāo)體系雛形，然后利用Delphi（德爾斐）法，借助專家的力量對評價體系進(jìn)行多輪次修正與完善，最后采用層次分析法確定各級指標(biāo)權(quán)重。量規(guī)開發(fā)技術(shù)指導(dǎo)下的評價指標(biāo)體系開發(fā)思路如表1所示。

三、構(gòu)建評價體系

（一）建立評價指標(biāo)體系雛形

首先，通過文獻(xiàn)綜合研究，全面分析我國遠(yuǎn)程教育領(lǐng)域的教育教學(xué)評價體系研究成果，以部分具有針對性、普遍適用性和廣泛影響力的研究成果為基礎(chǔ)，遵照快速原型技術(shù)理念初步擬定評價指標(biāo)元素；然后，深入了解“一村一”作為政府惠民工程的特殊性因素在培養(yǎng)對象、培養(yǎng)目標(biāo)、培養(yǎng)模式、培養(yǎng)方式等方面產(chǎn)生的特殊訴求與形式，并在此基礎(chǔ)上對初擬評價指標(biāo)元素及其內(nèi)涵進(jìn)行有針對性的增刪與修改。

1. 初擬評價指標(biāo)元素

文獻(xiàn)研究結(jié)果顯示，有學(xué)者以擁有遠(yuǎn)程教育體驗的學(xué)生作為研究對象，以問卷調(diào)查法為研究方法，通過因素分析法和結(jié)構(gòu)方程模型等技術(shù)手段最終構(gòu)建了包括“質(zhì)量策略、學(xué)習(xí)支持、教學(xué)組織、基礎(chǔ)設(shè)施、教學(xué)管理、社會聲譽(yù)、教學(xué)支持、教學(xué)效果”8個要素作為一級評價指標(biāo)的遠(yuǎn)程教育質(zhì)量評價體系。[5]中央廣播電視大學(xué)在多年的探索與實踐基礎(chǔ)上，以5項核心要素為主線構(gòu)建了遠(yuǎn)程開放教育教學(xué)質(zhì)量標(biāo)準(zhǔn)體系，該體系包含5項一級指標(biāo)、35項二級指標(biāo)和對應(yīng)的35項三級指標(biāo)。[6]還有學(xué)者以全面性、客觀性和重視學(xué)習(xí)原則為前提，著重考慮網(wǎng)絡(luò)遠(yuǎn)程教育教學(xué)管理在人才培養(yǎng)模式改革和開放教育試點項目中所發(fā)揮的重要作用，針對性地設(shè)計了包括5項一級指標(biāo)、26項二級指標(biāo)和相應(yīng)內(nèi)容觀測點的評價指標(biāo)體系，并通過秩和運算法對該指標(biāo)體系進(jìn)行權(quán)重分析。[7]上海電大以中央電大“創(chuàng)建示范性基層電大（教學(xué)點）”活動為契機(jī)，啟動了上海電大系統(tǒng)“達(dá)標(biāo)評優(yōu)”活動，并為此制定了開放遠(yuǎn)程教育質(zhì)量評價指標(biāo)體系框架，該指標(biāo)體系包括了5項一級指標(biāo)、11項二級指標(biāo)和21項觀測點。[8]

分析上述評價體系發(fā)現(xiàn)，遠(yuǎn)程開放教育教學(xué)質(zhì)量評價體系的構(gòu)建在形式上力求指標(biāo)的具體化和可操作性，內(nèi)容主要涵括定位評價、條件評價、過程評價、效果評價和創(chuàng)新評價5個層面。因此，將目標(biāo)定位、基本建設(shè)、教學(xué)運行、辦學(xué)效果、特色創(chuàng)新作為一級指標(biāo)，由此確立評價指標(biāo)體系基本框架。然后，對上述指標(biāo)要素進(jìn)行整合和篩選，分解出對應(yīng)的二級指標(biāo)和三級指標(biāo)（即觀測點），從而建立一個按層級劃分、樹狀結(jié)構(gòu)的指標(biāo)群，結(jié)合各教學(xué)點在遠(yuǎn)程開放教育教學(xué)中的職能定位概括出三級指標(biāo)內(nèi)涵。最后，以“重入口、重過程、重實效、重社會效益”為原則，從整體角度修改該指標(biāo)群，對各元素補(bǔ)其所缺，增其所益，以保證評價體系的“整體性、結(jié)構(gòu)性、創(chuàng)新性和操作性”，并盡量保證評價指標(biāo)盡可能地符合全面、不重疊和易于取得的要求。由此擬定“遠(yuǎn)程開放教育教學(xué)質(zhì)量綜合評價指標(biāo)”（見表2），其中包括一級指標(biāo)5項、二級指標(biāo)13項、主要觀測點33項。

2.“一村一”項目特殊性分析

“一村一”屬于政府重大惠農(nóng)工程，旨在培養(yǎng)“留得住、用得上”的本土農(nóng)民大學(xué)生，以改變農(nóng)村人才素質(zhì)結(jié)構(gòu)。正是基于這樣的項目背景，其教育教學(xué)必然存在特殊的訴求和形式。因此，以江西電大在開展“一村一”教育教學(xué)過程中的經(jīng)驗為參考，充分契合“一村一”教育教學(xué)在培養(yǎng)對象、培養(yǎng)目標(biāo)、辦學(xué)模式、培養(yǎng)方式等方面的現(xiàn)實需求，并在此基礎(chǔ)上對表2中的各指標(biāo)元素及其內(nèi)涵進(jìn)行更具針對性的增刪與修改。

（1）培養(yǎng)對象的特殊性：要求“因地制宜”地制定評價指標(biāo)

采用問卷調(diào)查法對江西省農(nóng)村成人學(xué)習(xí)特點進(jìn)行局部調(diào)查的數(shù)據(jù)顯示，農(nóng)村成人學(xué)習(xí)有三個主要特點：一是教學(xué)對象學(xué)習(xí)基礎(chǔ)普遍較差，農(nóng)村學(xué)習(xí)氛圍弱，缺乏教育資源，較少接觸現(xiàn)代信息技術(shù)；二是基礎(chǔ)知識不扎實，學(xué)習(xí)動機(jī)源自當(dāng)前可見的操作性或技術(shù)性的知識或技能，片面看中學(xué)習(xí)內(nèi)容的高度實用性；三是學(xué)習(xí)時間存在明顯的“時令性”，要求與農(nóng)業(yè)生產(chǎn)時間密切結(jié)合。[9]這些學(xué)習(xí)特點要求“一村一”教學(xué)方式和教學(xué)模式在遵循遠(yuǎn)程教育管理實踐原理和經(jīng)驗基礎(chǔ)上更加強(qiáng)調(diào)“因地制宜”或者“量體裁衣”。比如，教學(xué)計劃與農(nóng)時、當(dāng)?shù)禺a(chǎn)業(yè)和農(nóng)村工作重點相結(jié)合，而不是機(jī)械地執(zhí)行“統(tǒng)一教學(xué)計劃”；教學(xué)模式做到自學(xué)、導(dǎo)學(xué)、助學(xué)、促學(xué)、督學(xué)相互作用、相輔相成等。因此，構(gòu)建面向“一村一”的評價指標(biāo)體系的總體思路應(yīng)該是“因地制宜”的，通過增加教學(xué)“適應(yīng)性”評價指標(biāo)來鼓勵、支持培養(yǎng)模式和方式的改革與創(chuàng)新。

（2）培養(yǎng)目標(biāo)的特殊性：轉(zhuǎn)移評價指標(biāo)目標(biāo)導(dǎo)向

“一村一”是以電大學(xué)歷教育方式開展人才培養(yǎng)工程的，培養(yǎng)的學(xué)員頒發(fā)成人高等教育?？飘厴I(yè)證書，培養(yǎng)目標(biāo)定位為扎根農(nóng)村、服務(wù)農(nóng)民、發(fā)展農(nóng)業(yè)、帶頭致富的鄉(xiāng)土實用人才。該培養(yǎng)目標(biāo)旨在培養(yǎng)我國社會主義新農(nóng)村建設(shè)進(jìn)程中的農(nóng)村本土人才，培養(yǎng)的人才應(yīng)該與當(dāng)?shù)亟?jīng)濟(jì)發(fā)展特色、本土文化導(dǎo)向等保持協(xié)調(diào)一致，因此該評價體系不能完全照搬電大開放教育學(xué)歷教育人才培養(yǎng)的教育教學(xué)評價標(biāo)準(zhǔn)。根據(jù)多年開展“一村一”的實踐經(jīng)驗和社會反饋來看，教育教學(xué)的最終結(jié)果“給江西農(nóng)業(yè)、農(nóng)村和農(nóng)民帶來明顯的變化，改善農(nóng)民的基本素質(zhì)、知識結(jié)構(gòu)，并在本質(zhì)上提高他們的生活質(zhì)量、生存本領(lǐng)及收入水平等才是農(nóng)民、農(nóng)村甚至農(nóng)業(yè)的最迫切需要”[10]。因此，在指標(biāo)體系的設(shè)計上，評價導(dǎo)向應(yīng)向?qū)W員自身知識結(jié)構(gòu)、就業(yè)與創(chuàng)業(yè)、媒體報道、口碑調(diào)查等社會反饋上轉(zhuǎn)移。

（3）辦學(xué)模式的特殊性：增加政策性支持評價指標(biāo)

電大教學(xué)點是電大辦學(xué)系統(tǒng)中的基礎(chǔ)和終端，是電大辦學(xué)面向農(nóng)村、面向基層、面向生產(chǎn)第一線的落腳點。對江西電大系統(tǒng)縣級電大遠(yuǎn)程教育成本效益進(jìn)行研究發(fā)現(xiàn)：江西電大系統(tǒng)內(nèi)，99%的縣級教學(xué)點不具備獨立法人資格，沒有相應(yīng)的人員編制和專門的辦學(xué)場所，大部分都只是作為縣教師進(jìn)修學(xué)校、縣委黨校、縣工會或縣職校等機(jī)構(gòu)的附設(shè)部門而存在，很難得到專門的教育事業(yè)撥款，缺乏穩(wěn)定的經(jīng)費來源和基本的制度保障，辦學(xué)的政策條件和物質(zhì)基礎(chǔ)亟待完善與提高。[11]而個別地方經(jīng)濟(jì)實力較為樂觀的教學(xué)點又存在一味追求高、新、現(xiàn)代的現(xiàn)象，教育信息化基礎(chǔ)設(shè)施建設(shè)存在脫離實際需要的傾向，缺乏針對性的合理經(jīng)費投入與分配。由于“一村一”是由江西省委、省政府發(fā)起的一項民生工程，屬于各級地方政府的工作內(nèi)容之一，其教育教學(xué)活動的開展更容易得到地方政府和相關(guān)部門的重視與支持，比如宣傳、經(jīng)費投入等方面。另外，地方領(lǐng)導(dǎo)小組成員、地方政府官員以“教師”或“專家”身份對“一村一”學(xué)員進(jìn)行授課，教授行政基礎(chǔ)知識、法律常識、縣域經(jīng)濟(jì)文化等內(nèi)容，這種教學(xué)支持也將極大地提高“一村一”教育教學(xué)的效果。因此，與地方政府建立密切聯(lián)系、取得政策支持也應(yīng)該作為評價指標(biāo)之一。

（4）培養(yǎng)方式的特殊性：實踐教學(xué)基地建設(shè)作為重點評價指標(biāo)

實踐教學(xué)是“中央廣播電視大學(xué)人才培養(yǎng)模式改革和開放教育試點”項目實現(xiàn)人才培養(yǎng)目標(biāo)的重要手段之一，而實踐教學(xué)基地建設(shè)則為保障實踐教學(xué)效果提供了現(xiàn)實條件，“一村一”人才培養(yǎng)目標(biāo)規(guī)格對實踐教學(xué)基地建設(shè)則提出更高的要求。實踐教學(xué)基地建設(shè)不僅是保證實踐教學(xué)環(huán)節(jié)有效落實的前提和基礎(chǔ)，更是培養(yǎng)“知識+素質(zhì)+技能”型農(nóng)村實用人才、提高農(nóng)民大學(xué)生“即學(xué)即用”的技術(shù)應(yīng)用能力的最佳手段。這些實踐基地形式可以是農(nóng)、林業(yè)生產(chǎn)基地，畜禽養(yǎng)殖基地，村委會、鎮(zhèn)政府、新農(nóng)村建設(shè)示范村，鄉(xiāng)鎮(zhèn)企業(yè)等多種類型，可以滿足學(xué)員“不離原地，不誤農(nóng)時”的學(xué)習(xí)要求。因此，實踐基地的選擇、合作、互動等也應(yīng)當(dāng)屬于教學(xué)運行重要且必需的內(nèi)容之一。

由此，我們對表2做了進(jìn)一步的補(bǔ)充、刪除和修改，包括增加了3項二級指標(biāo)和對應(yīng)的8項觀測點。具體如下：

第一，在“I-3教學(xué)運行”后增加旨在考察實踐基地建設(shè)的二級指標(biāo)“基地建設(shè)”，對應(yīng)“規(guī)范建設(shè)”“基地師資”“檔案管理”3項觀測點；在“I-4辦學(xué)效果”后增加旨在考察社會關(guān)注程度的二級指標(biāo)“社會關(guān)注”，對應(yīng)“媒體報道”“學(xué)生典型”2項觀測點；增加旨在考察社會反饋的二級指標(biāo)“社會調(diào)查”，對應(yīng)“學(xué)生滿意度”“政府滿意度”2項觀測點；

第二，在“I-5特色創(chuàng)新”后增加旨在考察辦學(xué)獨特性和創(chuàng)新性的二級指標(biāo)“辦學(xué)特色”，對應(yīng)“專家講學(xué)”“縣本課程建設(shè)”“送教下鄉(xiāng)”3項觀測點；

第三，對“Ⅱ-2辦學(xué)定位”觀測點進(jìn)行具體化，將原來的“Ⅲ-3辦學(xué)思路”改為“組織保障”“領(lǐng)導(dǎo)重視”，通過考察領(lǐng)導(dǎo)小組成員及重視情況來觀測教學(xué)點對“一村一”教學(xué)的定位與重視程度；

第四，“一村一”是電大辦學(xué)主體業(yè)務(wù)之一，招生宣傳工作由江西省農(nóng)村工作部系統(tǒng)協(xié)助完成，因此刪除“Ⅲ-2主體業(yè)務(wù)”“Ⅲ-12咨詢服務(wù)”“Ⅲ-14獎懲制度”3項指標(biāo)；

第五，電大系統(tǒng)經(jīng)過30余年的發(fā)展日臻完善，用于支撐“一村一”教育教學(xué)的軟硬件條件也相對成熟，因此弱化“I-2基本建設(shè)”的考察指標(biāo)，刪除“Ⅲ-8人員管理”“Ⅲ-11經(jīng)費管理”2項指標(biāo)。

另外，根據(jù)“一村一”具體教學(xué)實施情況對各個觀測點也作了相應(yīng)修改，最終得到面向“一村一”的遠(yuǎn)程開放教育教學(xué)評價指標(biāo)體系（見表3），其中包含一級指標(biāo)5項、二級指標(biāo)17項、三級指標(biāo)39項。

（二）修正評價指標(biāo)體系

Delphi法是一種借助專家集體智慧，通過多輪次的“背靠背”咨詢，在不斷的反饋與再咨詢中獲得專家一致意見的研究方法，具有匿名性、反饋性和可操作性三大特點，既可以用于預(yù)測結(jié)果，也可以用于評估績效。眾多實踐經(jīng)驗表明，“Delphi法在解決非結(jié)構(gòu)化問題上具有顯著效果，對于實現(xiàn)決策科學(xué)化、民主化具有重要價值”[12]。

本研究采用Delphi法對表3進(jìn)行修正，希望借助“專家”力量，在多次循環(huán)調(diào)查中對指標(biāo)框架及指標(biāo)內(nèi)涵作進(jìn)一步的篩選和修正。

1. 設(shè)計咨詢問卷

在專家咨詢過程中共設(shè)計了兩份問卷：第一份以咨詢內(nèi)容合理與否為目的，以專家“背靠背”的形式進(jìn)行多次循環(huán)咨詢與修改，直到專家意見趨于一致為止；第二份問卷以采集專家對各指標(biāo)重要性程度的評價為目的，分別要求專家對一級指標(biāo)中的各要素進(jìn)行“兩兩對比”式的重要性評判，對二級和三級指標(biāo)按照5個等級進(jìn)行量化打分。

2. 邀請咨詢專家

采用經(jīng)驗選擇的方式，邀請在江西廣播電視大學(xué)系統(tǒng)內(nèi)從事遠(yuǎn)程開放教育教學(xué)、考務(wù)、學(xué)籍管理、招生等相關(guān)業(yè)務(wù)的教師作為專家咨詢組成員。確定備選專家必須滿足的條件有：具有副高級及以上技術(shù)職稱，無職稱者需在本領(lǐng)域具備工作l0年以上的工作經(jīng)驗；參與“一村一”的教學(xué)或管理。符合以上條件的人員擁有豐富的遠(yuǎn)程開放教育教學(xué)實踐經(jīng)驗，思維力和判斷力較之一般遠(yuǎn)程從業(yè)者強(qiáng)，能夠在不同層面對評價指標(biāo)做出全方位的立體反饋。最終成功邀請了在招生、教學(xué)、考務(wù)和學(xué)籍管理等方面具有豐富經(jīng)驗的專家共14名。

3. 進(jìn)行專家咨詢

在發(fā)放第一份問卷時，要求各專家以“目標(biāo)定位是前提，基本建設(shè)是基礎(chǔ)，教學(xué)運行是重點，辦學(xué)效果是核心，特色創(chuàng)新是亮點”為原則，憑借自身多年的遠(yuǎn)程教育從教經(jīng)驗，對指標(biāo)元素及其內(nèi)涵進(jìn)行真實客觀的評價并提出修改意見。第一次回收問卷后，對專家的反饋意見進(jìn)行匯總、分析，并修改指標(biāo)體系，然后將修改后的指標(biāo)體系及爭議較大的指標(biāo)（包括爭議的主要觀點）再次反饋給專家，開始第二輪征詢。在第三輪咨詢結(jié)束時，專家的修改意見已經(jīng)基本趨于一致。

4. 修正評價指標(biāo)

根據(jù)多輪反饋與修正，專家們的修改意見主要集中在三級指標(biāo)的設(shè)定和指標(biāo)內(nèi)涵的描述上。具體包括：“Ⅲ-3領(lǐng)導(dǎo)重視”與“Ⅲ-32政府滿意度”均為考察當(dāng)?shù)卣块T對當(dāng)?shù)亍耙淮逡弧钡闹匾暻闆r，存在重復(fù)考核，刪除前者，保留后者；“Ⅲ-16作業(yè)批改”、“Ⅲ-17成績上報”、“Ⅲ-18作業(yè)上交”三個觀測點均為考察學(xué)生的形成性作業(yè)完成情況，根據(jù)負(fù)責(zé)教學(xué)管理的專家反饋和修改意見，這三個觀測點在實際考察中很難分別進(jìn)行考察，教師通常會在專門的“形成性考核記錄本”上記錄學(xué)生的作業(yè)完成情況，這也成為可供考核的主要依據(jù)。因此，將這三個觀測點合并成一個觀測點，重新命名為“作業(yè)情況”；“Ⅲ-21小組活動”與“Ⅲ-22協(xié)作學(xué)習(xí)”兩個觀測點也存在重復(fù)考核的情況，合并為“小組協(xié)作”。

在內(nèi)涵的描述上，專家意見傾向于可操作的、提供量化標(biāo)準(zhǔn)的參考指標(biāo)（比如提供五級判斷的量化參照標(biāo)準(zhǔn)），便于考核人員迅速做出準(zhǔn)確判斷。另外，專家認(rèn)為“II-16參與”與“II-17總結(jié)”考察內(nèi)容存在交叉，建議合并改為“總結(jié)探索”。修正后的評價指標(biāo)如表4所示。

（三）確定各級評價指標(biāo)權(quán)重

層次分析法（analytic hierarchy process，簡稱“AHP”）是在20世紀(jì)70年代初由美國匹茲堡大學(xué)教授、運籌學(xué)家薩蒂（T. L. Saaty）首次提出來的，是一種“利用矩陣特征值和特征向量運算，幫助人們進(jìn)行群組判斷，以確定某些定性變量的賦值”的方 法[13]。具體操作步驟為：第一步，根據(jù)指標(biāo)體系建立層次結(jié)構(gòu)模型；第二步，利用成對比較法和1—9相對比較尺度構(gòu)造判斷矩陣；第三步，計算判斷矩陣的最大特征值所對應(yīng)的特征向量，通過正規(guī)化求和計算權(quán)重值；第四步，利用隨機(jī)一致性指標(biāo)和一致性比率作一致性檢驗。

本研究在確定一級指標(biāo)權(quán)重時，嚴(yán)格按照層次分析法的計算方法得出5項一級指標(biāo)權(quán)重。在確定二級和三級指標(biāo)權(quán)重時，考慮到元素的增多對構(gòu)造判斷矩陣和專家判斷帶來的“級數(shù)式”的增長難度，操作性不強(qiáng)，因此，只要求專家進(jìn)行直觀判定，即按照重要程度分別給予1—5分的權(quán)值分，通過計算每個指標(biāo)的滿分頻率來分析專家的意見集中程度，通過比例分配法計算二級和三級指標(biāo)權(quán)重，通過計算指標(biāo)的變異系數(shù)和協(xié)調(diào)系數(shù)來分析專家意見的協(xié)調(diào)程度。[14]

1. 確定一級指標(biāo)權(quán)重

在專家對指標(biāo)體系意見趨于一致時，向?qū)＜野l(fā)放第二份問卷，根據(jù)層次分析法原理，要求專家依據(jù)Satty相對重要性等級表（見表5）用1—9的標(biāo)度對5項一級指標(biāo)分別進(jìn)行兩兩對比，并做出相對重要性判斷，再通過計算并分析定量化判斷的數(shù)據(jù)結(jié)果來確定一級指標(biāo)權(quán)重。

回收專家定量問卷征詢表后，將每一位專家的判斷結(jié)果均轉(zhuǎn)化為判斷矩陣（見表6），然后以正規(guī)化求和法計算權(quán)重系數(shù)。

下面以專家Z的判斷數(shù)據(jù)為例說明其對應(yīng)的一級指標(biāo)權(quán)重的計算方法和過程。