基于DEA的網(wǎng)絡(luò)課程評(píng)價(jià)模型構(gòu)建

張 愷

(天津?qū)嶒?yàn)中學(xué) 天津 300202)

教育評(píng)價(jià)是教育管理和教育決策的主要依據(jù)，是現(xiàn)代教育中一個(gè)重要的研究領(lǐng)域，在國(guó)內(nèi)外的教育領(lǐng)域，并沒(méi)有對(duì)教育評(píng)價(jià)形成統(tǒng)一的概念界定。泰勒認(rèn)為：“評(píng)價(jià)過(guò)程在本質(zhì)上是確定課程和教育大綱在實(shí)際上實(shí)現(xiàn)教育目標(biāo)的程度的過(guò)程?！?/p>

我國(guó)對(duì)網(wǎng)絡(luò)課程的教學(xué)評(píng)價(jià)模型研究相對(duì)薄弱，特別是基礎(chǔ)教育的教學(xué)評(píng)價(jià)模型研究，到目前為止，還沒(méi)有開(kāi)發(fā)出高中階段的相對(duì)完整、全面的適合新課程理念的評(píng)價(jià)模式，往往是運(yùn)用傳統(tǒng)課堂教學(xué)的評(píng)價(jià)模式或者電教課程、借助網(wǎng)絡(luò)技術(shù)的課堂教學(xué)的評(píng)價(jià)模式，作為網(wǎng)絡(luò)課程的臨時(shí)評(píng)價(jià)模式，在使用的過(guò)程中我們就會(huì)發(fā)現(xiàn)這樣或那樣的問(wèn)題。

使用單一的課程評(píng)價(jià)模型來(lái)評(píng)價(jià)新課程中多種多樣的課程模式會(huì)有失公允性、全面性和科學(xué)性。必須根據(jù)教育目標(biāo)的一致性，制定出課程評(píng)價(jià)模型的原型，涵蓋教育過(guò)程中教育自身與教育支撐的全部評(píng)價(jià)點(diǎn)，然后根據(jù)不同課程類(lèi)型自身的特點(diǎn)，調(diào)節(jié)每一個(gè)評(píng)價(jià)點(diǎn)的權(quán)重，也就是分?jǐn)?shù)值，制定出各自的評(píng)價(jià)模型，從而形成一套完整的學(xué)校課程評(píng)價(jià)體系，以此來(lái)全面而有針對(duì)性地評(píng)價(jià)和指導(dǎo)每一種課程的教育過(guò)程。簡(jiǎn)單的說(shuō)，就是多樣的學(xué)生來(lái)自多樣的課程，而多樣的課程要有多樣的評(píng)價(jià)。

1 評(píng)價(jià)指標(biāo)的設(shè)置原則

網(wǎng)絡(luò)課程課堂教學(xué)評(píng)價(jià)是對(duì)網(wǎng)絡(luò)課程課堂教學(xué)活動(dòng)尺度和范圍的把握，是教學(xué)管理部門(mén)對(duì)本單位教育者教育能力和教學(xué)進(jìn)度的評(píng)價(jià)依據(jù)，本文對(duì)網(wǎng)絡(luò)課程課堂教學(xué)評(píng)價(jià)設(shè)計(jì)的原則如下：

1.1 對(duì)象的全面性

正像前面所說(shuō)，網(wǎng)絡(luò)課程與傳統(tǒng)課程相比存在一定的差異，傳統(tǒng)課堂教學(xué)的教育對(duì)象只有教育者和受教育者兩個(gè)，而在網(wǎng)絡(luò)教育中，除了上述兩者之外，整個(gè)教學(xué)過(guò)程中，起到重要作用的還有網(wǎng)絡(luò)環(huán)境的支持者，網(wǎng)絡(luò)教學(xué)系統(tǒng)的開(kāi)發(fā)者、管理者，以及網(wǎng)絡(luò)教學(xué)資源的制本文、整合者等等，這些教育對(duì)象同樣對(duì)整個(gè)教育教學(xué)過(guò)程起到舉足輕重的作用，例如網(wǎng)絡(luò)環(huán)境的好與壞，網(wǎng)絡(luò)課件是否正確表達(dá)教育的目的，學(xué)生的疑問(wèn)能否通過(guò)網(wǎng)絡(luò)及時(shí)送達(dá)到教育者手中，以便及時(shí)做出反饋等等。

1.2 系統(tǒng)的集成性

網(wǎng)絡(luò)課程與傳統(tǒng)課程最大的不同還在于，傳統(tǒng)課程一般只由 2個(gè)系統(tǒng)組成，一個(gè)是教學(xué)系統(tǒng)，由教與學(xué)兩個(gè)方面組成；另一個(gè)是支持系統(tǒng)，主要由各種教材、教輔資料、教具組成。而網(wǎng)絡(luò)課程就相對(duì)復(fù)雜，它是由若干個(gè)系統(tǒng)集合而成，除了上述兩個(gè)系統(tǒng)之外，它至少還包括以下幾個(gè)系統(tǒng)：網(wǎng)絡(luò)系統(tǒng)、課件支持系統(tǒng)、遠(yuǎn)程交互平臺(tái)、學(xué)業(yè)管理平臺(tái)。

1.3 評(píng)價(jià)的整體性

網(wǎng)絡(luò)課程的對(duì)象眾多，系統(tǒng)龐大，時(shí)空關(guān)系復(fù)雜，對(duì)網(wǎng)絡(luò)課程進(jìn)行課程評(píng)價(jià)的時(shí)候，就不能僅僅針對(duì)其中的某一部分或某幾部分進(jìn)行評(píng)價(jià)，必須整體的評(píng)價(jià)整個(gè)網(wǎng)絡(luò)課程，做到全面和客觀。

1.3.1 內(nèi)容的時(shí)效性

這個(gè)原則是傳統(tǒng)課堂課程評(píng)價(jià)中所沒(méi)有的，即使在目前一些網(wǎng)絡(luò)課程評(píng)價(jià)中也是很少見(jiàn)到的，但是它尤為重要，因?yàn)榫W(wǎng)絡(luò)課程往往一旦錄制完成就會(huì)使用很長(zhǎng)一段時(shí)間，而在這段時(shí)間內(nèi)，教育者就不再關(guān)注它了，只是由系統(tǒng)的管理者來(lái)維護(hù)。維護(hù)只涉及能否流暢播放，對(duì)于課程內(nèi)容無(wú)法進(jìn)行有效的評(píng)價(jià)，這就會(huì)出現(xiàn)播放的課程中的數(shù)據(jù)過(guò)于陳舊，使得課程不嚴(yán)謹(jǐn)，有時(shí)還會(huì)導(dǎo)致嚴(yán)重的科學(xué)性錯(cuò)誤。

1.3.2 成本的性?xún)r(jià)比

網(wǎng)絡(luò)課程的成本相對(duì)于傳統(tǒng)課程來(lái)說(shuō)相對(duì)昂貴，傳統(tǒng)課程主要為教育者的課時(shí)費(fèi)，而網(wǎng)絡(luò)課程則還包括很多，如網(wǎng)絡(luò)設(shè)備、采錄編設(shè)備、計(jì)算機(jī)設(shè)備的采購(gòu)費(fèi)用，運(yùn)營(yíng)費(fèi)用和維護(hù)費(fèi)用，網(wǎng)絡(luò)管理員、課件制作人員、系統(tǒng)工作人員的勞務(wù)費(fèi)用等等，所以在評(píng)價(jià)一節(jié)課的時(shí)候也要將其考慮進(jìn)去，以適度為標(biāo)準(zhǔn)，不必過(guò)分追求聽(tīng)覺(jué)和視覺(jué)的感受，以完成教育目的作為唯一標(biāo)準(zhǔn)。

1.3.3 權(quán)重的一致性

網(wǎng)絡(luò)課程自身也是種類(lèi)繁多、差異性極大的，所以在評(píng)價(jià)的時(shí)候一定要將每一個(gè)評(píng)價(jià)點(diǎn)的權(quán)重嚴(yán)格制定好，防止不同的評(píng)價(jià)者各自根據(jù)其自身的職業(yè)特點(diǎn)或習(xí)慣愛(ài)好，過(guò)分放大或縮小某一個(gè)評(píng)價(jià)點(diǎn)，造成以偏概全的現(xiàn)象發(fā)生。

2 網(wǎng)絡(luò)課程課堂教學(xué)評(píng)價(jià)三級(jí)指標(biāo)及權(quán)重設(shè)計(jì)

根據(jù)對(duì)傳統(tǒng)課堂教學(xué)的分析，將傳統(tǒng)課堂教學(xué)的評(píng)價(jià)主要集中以下幾個(gè)方面：教學(xué)目標(biāo)、教學(xué)過(guò)程、教學(xué)方法、教學(xué)內(nèi)容、教師表達(dá)、教學(xué)效果。

2.1 教學(xué)目標(biāo)

在新課程中，教學(xué)目標(biāo)分為知識(shí)與技能、過(guò)程與方法、情感態(tài)度價(jià)值觀 3個(gè)方面，威廉·赫德·克伯屈在對(duì)杜威“整個(gè)兒童”概念做闡釋的時(shí)候，寫(xiě)道：“兒童是一個(gè)有機(jī)的整體?！?/p>

從整體課程論角度，教育的目的就是培養(yǎng)獨(dú)立、完整的人，從這個(gè)角度考慮，我們不應(yīng)該把 3個(gè)方面獨(dú)立開(kāi)，割裂地分析，而應(yīng)該從教育的目的是培養(yǎng)一個(gè)完整的人的角度去考慮問(wèn)題。所以，在新課程中雖然分為3個(gè)方面，但并不是讓我們?cè)诮虒W(xué)時(shí)割裂地分別對(duì)待，而是將3個(gè)方面融合到一節(jié)課的教學(xué)過(guò)程和師生互動(dòng)中，讓學(xué)生在潛移默化中得到完整的知識(shí)、經(jīng)驗(yàn)、道德、品質(zhì)、情感的吸收與升華。

2.2 教學(xué)過(guò)程

知識(shí)、經(jīng)驗(yàn)都是在教學(xué)過(guò)程中加以傳遞和交流的，教育者實(shí)現(xiàn)根據(jù)一定的教育目的提前設(shè)計(jì)的腳本，在某個(gè)特定時(shí)間和環(huán)境下，利用特定的教學(xué)資源，與受教育者共同完成一次教與學(xué)的交流。在這個(gè)過(guò)程中，教育者不僅僅是教育活動(dòng)的導(dǎo)演者，還是演員，他必須參與到學(xué)生學(xué)習(xí)的過(guò)程中，時(shí)時(shí)把握學(xué)習(xí)過(guò)程中的問(wèn)題和變化，隨時(shí)對(duì)腳本進(jìn)行微調(diào)使得教學(xué)過(guò)程永遠(yuǎn)能貼合學(xué)生的學(xué)習(xí)過(guò)程。所以在這過(guò)程中，教育者對(duì)受教育者的心理狀態(tài)、學(xué)習(xí)狀態(tài)的把握和調(diào)節(jié)是考驗(yàn)教育者教學(xué)功底的重要環(huán)節(jié)。根據(jù)整體課程觀，本文將為學(xué)生創(chuàng)設(shè)教學(xué)情景，幫助學(xué)生梳理新舊知識(shí)，合理分配教學(xué)、練習(xí)時(shí)間，注重對(duì)學(xué)生進(jìn)行變式訓(xùn)練，注重知識(shí)與技能的遷移與應(yīng)用作為對(duì)教學(xué)過(guò)程的評(píng)價(jià)點(diǎn)。

2.3 教學(xué)方法

從心理學(xué)角度，同一事物在不同的描述和表現(xiàn)方式下，學(xué)習(xí)者的領(lǐng)會(huì)和接受程度是不一樣的。這里面涉及幾個(gè)問(wèn)題，一個(gè)是每個(gè)人對(duì)不同媒體的敏感度不同，另外，不同的教學(xué)內(nèi)容適合使用的表現(xiàn)手段也是不一樣的。本文中強(qiáng)調(diào)利用有效學(xué)習(xí)理論指導(dǎo)教學(xué)，指導(dǎo)學(xué)生進(jìn)行研究性學(xué)習(xí)和探究性學(xué)習(xí)。

2.4 教學(xué)內(nèi)容

任何一次教學(xué)過(guò)程都是圍繞一定的教學(xué)內(nèi)容展開(kāi)的，此次教學(xué)過(guò)程效果的好與壞直接取決于教育者對(duì)教學(xué)內(nèi)容的理解和把握。同樣一首詩(shī)詞，不同的教師由于教學(xué)經(jīng)驗(yàn)、生活閱歷、學(xué)科功底的不同，其自身理解起來(lái)就會(huì)有所出入，這樣勢(shì)必會(huì)影響他傳授給學(xué)生的知識(shí)和能力的深度和廣度。所以，教學(xué)內(nèi)容涵蓋全部教學(xué)內(nèi)容和教學(xué)內(nèi)容無(wú)科學(xué)性錯(cuò)誤被設(shè)定為教學(xué)內(nèi)容的評(píng)價(jià)點(diǎn)。

2.5 教師表達(dá)

學(xué)生有個(gè)體差異，教師同樣也有，同樣的教學(xué)設(shè)計(jì)、同樣的教學(xué)文本，不同的教師的表達(dá)能力是各有不同的，從多元智能角度分析，教育者同樣存在 8種不同的智能，每一種智能不會(huì)非常平均，這就要求教育者要深刻了解自身的特長(zhǎng)和不足，發(fā)揚(yáng)優(yōu)勢(shì)、彌補(bǔ)不足。在教師表達(dá)中，本文強(qiáng)調(diào)使用規(guī)范語(yǔ)言、語(yǔ)言幽默、有感染力，運(yùn)用規(guī)范漢字、書(shū)寫(xiě)規(guī)范板書(shū)。

2.6 教學(xué)效果

針對(duì)性的教學(xué)目的，適合的教學(xué)方法，恰當(dāng)?shù)慕虒W(xué)過(guò)程，最終的目的還是有效的教學(xué)結(jié)果，可以說(shuō)教學(xué)效果是對(duì)教育者備課程度和臨場(chǎng)教學(xué)水平的綜合評(píng)價(jià)。根據(jù)有效學(xué)習(xí)理論，本文將教學(xué)效果部分的評(píng)價(jià)點(diǎn)設(shè)定在保證全體學(xué)生的吸收率和注重每一個(gè)學(xué)生的個(gè)性差異上面。

3 DEA模型分析

數(shù)據(jù)包絡(luò)分析(Data Envelopment Analysis，簡(jiǎn)記為 DEA)是著名的運(yùn)籌大師 A.Charnes和 W.Cooper等學(xué)者和他們的學(xué)生利用運(yùn)籌學(xué)、管理學(xué)的理論，在“相對(duì)效率”理論的基礎(chǔ)上提出的一種新的數(shù)理分析方法，是一種非參數(shù)評(píng)價(jià)方法，特別適合處理涉及多目標(biāo)決策的問(wèn)題。DEA是研究有同類(lèi)型的部門(mén)或單位間的相對(duì)有效性的一類(lèi)方法，也是處理多目標(biāo)決策問(wèn)題的理論上非常完備的手段，更是經(jīng)濟(jì)理論中估計(jì)具有多個(gè)輸入，特別是具有多個(gè)輸出的生產(chǎn)前沿面的有力工具。DEA的本質(zhì)是利用統(tǒng)計(jì)數(shù)據(jù)確定相對(duì)有效的生產(chǎn)前沿面，利用生產(chǎn)前沿面的理論和方法研究部門(mén)和企業(yè)的技術(shù)進(jìn)步狀況，建立非參數(shù)的最優(yōu)化模型等。

3.1 概念：決策單元(DMU)

從經(jīng)濟(jì)學(xué)角度，在經(jīng)濟(jì)社會(huì)，任何一個(gè)經(jīng)濟(jì)系統(tǒng)或一個(gè)生產(chǎn)過(guò)程都可以被當(dāng)作是在一定的適用區(qū)間內(nèi)部，通過(guò)一定數(shù)量的各種生產(chǎn)元素的投入而產(chǎn)生的相應(yīng)產(chǎn)品的一種經(jīng)濟(jì)活動(dòng)。而作為任何一種經(jīng)濟(jì)活動(dòng)，追求經(jīng)濟(jì)效益的最大化都是其最根本的目的，這類(lèi)活動(dòng)的最小單位我們就稱(chēng)為決策單元，即 DMU。從上述的描述中我們不難發(fā)現(xiàn)，DMU實(shí)際上是一個(gè)非常寬泛的概念，它可以針對(duì)任何一個(gè)相對(duì)閉合的區(qū)間，或者是多個(gè)具有某種相同特性的區(qū)間的集合。例如同樣的價(jià)值、同樣的目標(biāo)、同樣的外部環(huán)境等等。

其基本思路是把每個(gè)被評(píng)價(jià)單位作為一個(gè)決策單元(DMU，Decision Making Unit)，眾多DMU構(gòu)成被評(píng)價(jià)群體，通過(guò)對(duì)投入和產(chǎn)出比率的綜合分析，確定有效生產(chǎn)前沿面，根據(jù)各DMU與有效生產(chǎn)前沿面的距離，確定各 DMU是否 DEA有效。通過(guò)對(duì)輸入輸出數(shù)的綜合分析，DEA可以得出每個(gè) DMU的綜合數(shù)量指標(biāo)，據(jù)此將各 DMU定級(jí)排隊(duì)，確定有效的(即相對(duì)效率最高的)DMU，并指出其他 DMU 非有效的原因和程度，給主管部門(mén)提供管理信息。DEA還能判斷各 DMU的投入規(guī)模是否恰當(dāng)，并給出了各DMU調(diào)整投入規(guī)模的正確方向和程度，應(yīng)擴(kuò)大還是縮小，改變多少為好。

由于 DEA方法不需要預(yù)先估計(jì)參數(shù)，把單輸入單輸出的簡(jiǎn)單效率概念推廣到多輸入多輸出的生產(chǎn)有效性分析上，極大地豐富了微觀經(jīng)濟(jì)學(xué)中生產(chǎn)函數(shù)理論及其應(yīng)用技術(shù)，同時(shí)在避免主觀因素和簡(jiǎn)化運(yùn)算、減少誤差等方面有著不可低估的優(yōu)越性。

3.2 應(yīng)用模型：C2R模型

通過(guò)對(duì)權(quán)系數(shù)u和v的選取，使得：

其步驟為：分析問(wèn)題，明確目的；設(shè)定決策單元；確定輸入、輸出向量；構(gòu)建指標(biāo)體系；歸納相關(guān)數(shù)據(jù)；選擇DEA模型；導(dǎo)入數(shù)據(jù)、實(shí)際計(jì)算；分析、評(píng)價(jià)。

DEA在處理多輸入、多輸出的問(wèn)題上具有較大的優(yōu)勢(shì)，這也使得它在國(guó)民生產(chǎn)和社會(huì)生活的許多方面都具有非常高的應(yīng)用價(jià)值。

［1］ 埃利奧特·W·艾斯納，李雁冰主譯，教育想象-學(xué)校課程設(shè)計(jì)與評(píng)價(jià)[M]. 北京：教育科學(xué)出版社，2008：9-11.

［2］ 袁振國(guó). 當(dāng)代教育學(xué)[M]. 北京：教育科學(xué)出版社，2004：258-259.

［3］ Reza G. Hamzaee. A survey and a theoretical model of distance education programs[J].International Advances in Economic Research，2005，11(2)：215-229.

［4］ Iraide Zipitria，Jon Ander Elorriaga，Ana Arruarte，et al. From human to automatic summary evaluation[J].Intelligent Tutoring Systems，Lecture Notes in Computer Science，2004，3220：432-442.

［5］ 天津師范大學(xué)教育科學(xué)學(xué)院課題組. 課程評(píng)價(jià)模式研究綜述[J]. 天中學(xué)刊，2006(4)：8-10.

［6］ 布盧姆，邱淵，王鋼．教育評(píng)價(jià)[M]. 上海：華東師范大學(xué)出版社，1988.

［7］ 比爾·約翰遜著，李雁冰主譯，學(xué)生表現(xiàn)評(píng)定手冊(cè)-場(chǎng)地設(shè)計(jì)和前景指南[M]. 上海：華東師范大學(xué)出版社，2001.

［8］ 格蘭朗德. 教學(xué)測(cè)量與評(píng)價(jià)[M]. 石家莊：河北教育出版社，1997.

［9］ 劉本固. 教育評(píng)價(jià)的理論與實(shí)踐[M]. 杭州：浙江教育出版社，2001.

［10］ 劉志軍. 課堂評(píng)價(jià)論[M]. 桂林：廣西師范大學(xué)出版社，2002.

［11］ 張玉田，程培杰. 學(xué)校教育評(píng)價(jià)[M]. 北京：中央民族大學(xué)出版社，1998.

［12］ 黃光揚(yáng). 教育測(cè)量與評(píng)價(jià)[M]. 上海：華東師范大學(xué)出版社，2002.

［13］ 程書(shū)肖. 教育評(píng)價(jià)方法技術(shù)[M]. 北京：北京師范大學(xué)出版社，2007.

［14］ 王景英. 教育評(píng)價(jià)理論與實(shí)踐[M]. 長(zhǎng)春：東北師范大學(xué)出版社，2002.

［15］ 馮建新. 現(xiàn)代教育評(píng)價(jià)與測(cè)量學(xué)[M]. 北京：中國(guó)社會(huì)科學(xué)出版社，2005.

［16］ 張祥明. 教育評(píng)價(jià)的理論與實(shí)踐[M]. 福建：福建教育出版社，2000.

［17］ 黃光揚(yáng). 新課程與學(xué)生學(xué)習(xí)評(píng)價(jià)[M]. 福州：福建教育出版社，2005.

［18］ 白日霞. 創(chuàng)新教育評(píng)價(jià)體系的構(gòu)建和實(shí)踐[J]. 中國(guó)高教研究，2006(6)：79-80.

［19］ 杜威著，姜文閔譯，我們?cè)鯓铀季S·經(jīng)驗(yàn)與教育[M].北京：人民教育出版社，1991.

［20］ Miller J. P，Cassie JRB，Drake SM.The Holistic Learning：A Teacher’s Guide to Integrated Studies[M]. Toronto：OISE Press，1990.

［21］ Gardner H.The Disciplined Mind：What All Students Should Understand[M]. New York：Simon and Schuster，1999a.

［22］ Miller J. P.The Holistic Curriculum. Revised and Expanded Edition[M]. Toronto：OISE Press，2001：4-5.

［23］ 郭亞軍. 綜合評(píng)價(jià)理論、方法及應(yīng)用[M]. 北京：科學(xué)出版社，2007.

［24］ 格朗蘭德著，鄭軍等譯. 教學(xué)測(cè)量與評(píng)價(jià)[M]. 石家莊：河北教育出版社，1997.

［25］ 袁振國(guó). 當(dāng)代教育學(xué)[M]. 北京：教育科學(xué)出版社，2004.

［26］ Gardner H.Frame of Mind：The Theory of Multiple Intelligences[M]. New York：Basic Books，1983.

［27］ Gardner H.Intelligences Reframed：Multiple Intelligences for 21st Century[M]. New York：Basic Books，1999b.

［28］ Gardner H. Multiple intelligences as a partner in school improvement[J].Teaching for Multiple Intelligences，1997，55(1)：20-21.

［29］ 哈維·席爾瓦，理查德·斯特朗，馬修·佩里尼著，張玲 譯. 多元智能與學(xué)習(xí)風(fēng)格[M]. 北京：教育科學(xué)出版社，2003.

［30］ Feldman D. H.Beyond Universals in Cognitive Development Norwood[M]. New Jersey：Ablex Publishing Corporation，1980.

［31］ 黃濟(jì). 教育哲學(xué)[M]. 北京：北京師范大學(xué)出版社，1985.

［32］ 桑新民. 當(dāng)代教育哲學(xué)[M]. 昆明：云南人民出版社，1988.

［33］ Dewey John.Democracy and Education[M]. New York：Macmillan Free Press，1916.

［34］ 石中英. 教育哲學(xué)[M]. 北京：北京師范大學(xué)出版社，2007.

［35］ 石中英. 教育哲學(xué)[M]. 北京：北京師范大學(xué)出版社，2007：111-117.

［36］ Miller R.The Renewal of Meaning in Education[M]，Brandon：Holistic Education Press，1993：9.

［37］ MiIler R. Make connections to the world：some thoughts on holistic curriculum[J].Encounter：Education for Meaning and Social Justice，2001，14(4)：31.

［38］ Miller R.Caring for New Life：Essays on Holistic Education(Foundations of Holistic Education Series)[M].Brandon：Foundation for Educational Renewal，2000：72-73.

［39］ Flake Carol L.Holistic Education：Principles，Perspectives and Practices Version 1. 0[M] Brandon：Holistic Education Press，1993：222.

［40］ Miler J. P.The Holistic Curriculum(Revised and Expanded Edition)[M]. Toronto：OISE Press，2001：8-9.

［41］ Miler J. P. ，Cassie JRB，Drake SM.The Holistic Learning：A Teacher’s Guide to integrated Studies(Curriculum Series)[M]. Toronto：OISE Press，1990：3-6.

［42］Education 2000：A Holistic Perspective[EB/OL]，http：//www. ties-edu. org/GATE/Education2000. html.

［43］ Miller R.Caring for New Life：Essays on Holistic Education[M]. Brandon：Foundations for Educational Renewal，2000：23-24.

［44］ 周蓉. 天津市“普通高中選修課程空中課堂”項(xiàng)目應(yīng)用與實(shí)踐研究[M]. 北京：中國(guó)電化教育，2009.

［45］ Lee J Cronbach. Course improvement through evaluation[J].Evaluation in Education and Human Services，2000(49)：235-247.

［46］ 安桂清. 整體課程論[M]. 上海：華東師范大學(xué)出版社，2007：57.

［47］ Carol L Flake.Holistic Education：Principles，Perspectives and Practice[M]. Brandon：Holistic Education Press，1993.

［48］ Charnes A. ，Cooper W. W. ，Rhodes E. Measuring the efficiency of decision making units[J].European Journal of Operational Research，1978(2)：429-444.

［49］ 魏權(quán)齡. 數(shù)據(jù)包絡(luò)分析[M]. 北京：科學(xué)出版社，2006.

［50］ Seiford L M. Data envelopment analysis：the evolution of state of art(1978-1995)[J]，Journal of Production Analysis，1996(7)：99-137.

［51］ 魏權(quán)齡. 數(shù)據(jù)包絡(luò)分析田[J]. 科學(xué)通報(bào)，2000，45(17)：1793-1807.

［52］ 魏權(quán)齡. 評(píng)價(jià)相對(duì)有效性的 DEA 方法(運(yùn)籌學(xué)的新領(lǐng)域)[M]，北京：中國(guó)人民大學(xué)出版社，1988.

［53］ 馬占新. 數(shù)據(jù)包絡(luò)分析方法的研究進(jìn)展[J]. 系統(tǒng)工程與電子技術(shù)，2002，24(3)：42-46.

［54］ Charnes A. ，Cooper W W，Wei Q L.A Semi-infinite Multicriteria Programming Approach to Data Envelopment Analysis with Infinitely Many Decision Making Units[R]. Center for Cybernetic Studies Report CCS 511，1986.

［55］ Sengupta J. K. Data envelopment analysis for efficiency measurement in the stochastic case[J].Computers and Operations Research，1987(14)：117-129.