基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐仿真研究

趙秀麗 彭銀

摘? 要 以高職院校Hadoop教學(xué)資源、實(shí)訓(xùn)設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點(diǎn)，結(jié)合學(xué)校開(kāi)設(shè)的大數(shù)據(jù)技術(shù)與應(yīng)用等相關(guān)專業(yè)，探討充分利用大數(shù)據(jù)平臺(tái)，整合校企教學(xué)資源，開(kāi)發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，實(shí)現(xiàn)Hadoop集群配置管理與應(yīng)用、實(shí)驗(yàn)輔助教學(xué)管理和Hadoop課程資源開(kāi)放性、共享性、職業(yè)性，推動(dòng)學(xué)校Hadoop課程的虛擬仿真實(shí)驗(yàn)室建設(shè)和實(shí)踐教學(xué)改革。

關(guān)鍵詞 Hadoop;實(shí)訓(xùn)設(shè)備;高職;大數(shù)據(jù)技術(shù)與應(yīng)用;教學(xué)

資源;智慧教學(xué);虛擬實(shí)驗(yàn)室;虛擬仿真教學(xué)管理系統(tǒng)

中圖分類號(hào)：TP391.9? ? 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2020）01-0053-03

1 引言

大數(shù)據(jù)已成為時(shí)下IT界最炙手可熱的名詞，在全球引領(lǐng)了新一輪信息技術(shù)革命的浪潮。因大數(shù)據(jù)而生的Hadoop可以處理海量規(guī)模的數(shù)據(jù)，其高可靠性、高可拓展性、高容錯(cuò)性和高效性的優(yōu)點(diǎn)，一出現(xiàn)就受到眾多大公司的青睞，同時(shí)引起研究界的普遍關(guān)注。

Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開(kāi)發(fā)分布式程序，只需要簡(jiǎn)單地實(shí)現(xiàn)相應(yīng)的接口即可，完全不用考慮底層數(shù)據(jù)流、容錯(cuò)、程序的并行執(zhí)行等細(xì)節(jié)，這種設(shè)計(jì)無(wú)疑大大降低了開(kāi)發(fā)分布式并行程序的難度。并且，Hadoop依賴社區(qū)服務(wù)器，其成本比較低。

2016年后，全國(guó)各高校先后開(kāi)設(shè)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)，Hadoop課程逐漸登上高校教育的舞臺(tái)，但目前國(guó)內(nèi)高校普遍面臨實(shí)訓(xùn)設(shè)備、教學(xué)資源等缺乏的問(wèn)題。本文以高職院校Hadoop教學(xué)資源、實(shí)訓(xùn)設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點(diǎn)，充分利用大數(shù)據(jù)平臺(tái)，開(kāi)發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，實(shí)現(xiàn)Hadoop集群配置管理與應(yīng)用，提高學(xué)生學(xué)習(xí)興趣、操作能力、編程能力以及自主創(chuàng)新能力，實(shí)現(xiàn)智慧教學(xué)，加快學(xué)校信息化建設(shè)。

2 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的意義

Hadoop仿真研究對(duì)于解決實(shí)訓(xùn)資源匱乏至關(guān)重要? ? 《2017年中國(guó)大數(shù)據(jù)人才發(fā)展報(bào)告》指出，大數(shù)據(jù)人才需求呈現(xiàn)爆炸式增長(zhǎng)，但是大數(shù)據(jù)人才儲(chǔ)備出現(xiàn)極度缺乏的態(tài)勢(shì)。2016年后，全國(guó)各高校先后開(kāi)設(shè)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)。近年來(lái)，由于高校普遍擴(kuò)招，大數(shù)據(jù)相關(guān)專業(yè)的學(xué)生人數(shù)越來(lái)越多，而受制于實(shí)驗(yàn)室建設(shè)費(fèi)用高昂、實(shí)驗(yàn)指導(dǎo)教師有限等因素，很多院校實(shí)驗(yàn)器材、實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)環(huán)境無(wú)法完全滿足Hadoop實(shí)際教學(xué)環(huán)境的需求?；诖髷?shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐的仿真研究能夠一定程度上解決這些問(wèn)題，而且是一種經(jīng)濟(jì)有效的解決方式。通過(guò)仿真實(shí)驗(yàn)的開(kāi)展，可以使學(xué)生對(duì)實(shí)驗(yàn)原理、實(shí)驗(yàn)結(jié)果進(jìn)行更深入的了解，掌握Hadoop的關(guān)鍵技術(shù)，培養(yǎng)學(xué)生利用Hadoop

技術(shù)解決大數(shù)據(jù)問(wèn)題的能力。

Hadoop仿真研究對(duì)于Hadoop信息化教學(xué)改革尤為重要? ? 《教育信息化“十三五”規(guī)劃》指出，到2020年，基本建成“人人皆學(xué)、處處能學(xué)、時(shí)時(shí)可學(xué)”的與國(guó)家教育現(xiàn)代化發(fā)展目標(biāo)相適應(yīng)的教育信息化體系。Hadoop仿真研究是加快大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)專業(yè)信息化建設(shè)的需要，通過(guò)建立虛擬實(shí)驗(yàn)室環(huán)境，提供可操作的虛擬實(shí)驗(yàn)設(shè)備和實(shí)驗(yàn)輔助教學(xué)管理，使學(xué)生能夠通過(guò)Web界面實(shí)現(xiàn)接近真實(shí)的人機(jī)交互界面完成實(shí)驗(yàn)，提高學(xué)生的學(xué)習(xí)興趣，提升學(xué)生利用Hadoop技術(shù)解決問(wèn)題的能力。虛擬仿真的研究，一方面順應(yīng)了時(shí)代發(fā)展的趨勢(shì)，另一方面滿足了大數(shù)據(jù)實(shí)訓(xùn)室建設(shè)和Hadoop實(shí)踐教學(xué)改革與創(chuàng)新的需要。

Hadoop仿真研究對(duì)于提高學(xué)生運(yùn)用Hadoop知識(shí)解決大數(shù)據(jù)問(wèn)題的能力尤為必要? Hadoop仿真研究的課程整合校企資源，采用項(xiàng)目開(kāi)展實(shí)踐教學(xué)，知識(shí)和能力結(jié)構(gòu)從低到高，涵蓋了Hadoop的關(guān)鍵技術(shù)。將知識(shí)和技能包含在項(xiàng)目中，通過(guò)完成項(xiàng)目提高學(xué)生利用Hadoop分析大數(shù)據(jù)問(wèn)題和解決大數(shù)據(jù)問(wèn)題的能力。

Hadoop仿真研究對(duì)于實(shí)現(xiàn)Hadoop課程資源的開(kāi)放性、共享性、先進(jìn)性十分關(guān)鍵? 教學(xué)資源可以開(kāi)放、共享，學(xué)生和教師可以不受時(shí)間與空間的制約，隨時(shí)隨地都可以登錄系統(tǒng)進(jìn)行學(xué)習(xí)與研究，打破了傳統(tǒng)實(shí)驗(yàn)教學(xué)必須依賴具體的設(shè)備和受空間約束等問(wèn)題，真正實(shí)現(xiàn)“人人皆學(xué)、處處能學(xué)、時(shí)時(shí)可學(xué)”。

3 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的國(guó)內(nèi)外研究現(xiàn)狀

2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop

的集群系統(tǒng)——Yahoo！ Search Webmap。UC Berkeley等著名高校也對(duì)Hadoop進(jìn)行應(yīng)用和研究，以提高其整體性能，其Hadoop仿真研究處于國(guó)際領(lǐng)先的地位;格拉斯哥大學(xué)的Terrier Team擁有超過(guò)30個(gè)節(jié)點(diǎn)的實(shí)驗(yàn)集群，使用Hadoop

促進(jìn)信息檢索研究和實(shí)驗(yàn)，處于國(guó)際領(lǐng)先地位;內(nèi)布拉斯加大學(xué)的Holland Computing Center擁有中等規(guī)模的Hadoop

機(jī)群用于存儲(chǔ)和提供物理數(shù)據(jù)，在Hadoop的實(shí)驗(yàn)研究中處于國(guó)際領(lǐng)先地位。

2008年以后，特別是2015年后，國(guó)內(nèi)對(duì)Hadoop進(jìn)行研究的企業(yè)越來(lái)越多，互聯(lián)網(wǎng)企業(yè)成為國(guó)內(nèi)Hadoop研究的中堅(jiān)力量。黨的十八屆五中全會(huì)公報(bào)提出要實(shí)施“國(guó)家大數(shù)據(jù)戰(zhàn)略”，標(biāo)志著大數(shù)據(jù)戰(zhàn)略上升為國(guó)家戰(zhàn)略。

2016年，教育部先后設(shè)置“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科專業(yè)和“大數(shù)據(jù)技術(shù)與應(yīng)用”高職專業(yè)，Hadoop課程正式登上高校教育的舞臺(tái)。Hadoop在高校特別是在高職院校教育中面臨指導(dǎo)教師、學(xué)習(xí)資源和實(shí)訓(xùn)設(shè)備缺乏等諸多問(wèn)題，Hadoop仿真研究仍處于探索階段。目前，國(guó)內(nèi)有部分高校陸續(xù)開(kāi)始創(chuàng)建省級(jí)Hadoop虛擬仿真實(shí)驗(yàn)機(jī)構(gòu)，但是到目前為止，仍沒(méi)有較為完善的Hadoop仿真教學(xué)資源，并且存在Hadoop教學(xué)資源開(kāi)放共享程度不夠的問(wèn)題。

根據(jù)國(guó)家級(jí)虛擬仿真實(shí)驗(yàn)教學(xué)中心建設(shè)要求，高校虛擬仿真實(shí)驗(yàn)室的管理和共享平臺(tái)應(yīng)該具有擴(kuò)展性、兼容性和前瞻性，能夠?qū)崿F(xiàn)校內(nèi)外、本地區(qū)及更廣范圍內(nèi)的實(shí)驗(yàn)教學(xué)資源共享，滿足多地區(qū)、多學(xué)校和多學(xué)科專業(yè)的虛擬仿真實(shí)驗(yàn)教學(xué)的需求。目前，高校Hadoop虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目和實(shí)驗(yàn)教學(xué)資源大都僅僅滿足對(duì)本校學(xué)生開(kāi)放或者是對(duì)較少專業(yè)的學(xué)生開(kāi)放，對(duì)周圍高校或更廣范圍的實(shí)驗(yàn)教學(xué)沒(méi)有較強(qiáng)的輻射作用。

4 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的預(yù)期成果

通過(guò)開(kāi)發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，不斷優(yōu)化教學(xué)資源，推動(dòng)信息化教學(xué)條件下學(xué)生自主學(xué)Hadoop、探究學(xué)Hadoop等實(shí)驗(yàn)教學(xué)改革方法，提高教學(xué)效率，豐富教學(xué)內(nèi)容，降低成本和風(fēng)險(xiǎn)，開(kāi)展綠色、開(kāi)放的實(shí)驗(yàn)教學(xué)。該系統(tǒng)主要由Hadoop課程實(shí)驗(yàn)仿真平臺(tái)和Hadoop虛擬實(shí)驗(yàn)教學(xué)管理系統(tǒng)兩部分組成，可以完全滿足“Hadoop實(shí)戰(zhàn)”模擬實(shí)驗(yàn)教學(xué)，是真實(shí)實(shí)驗(yàn)教學(xué)很好的補(bǔ)充，預(yù)期成果：能夠模擬實(shí)現(xiàn)Hadoop集群搭建和應(yīng)用的真實(shí)實(shí)驗(yàn)中所用到的器材和設(shè)備;能夠提供與Hadoop集群搭建和應(yīng)用真實(shí)實(shí)驗(yàn)相似的實(shí)戰(zhàn)環(huán)境;能夠提供Hadoop集群搭建和應(yīng)用全方位的虛擬實(shí)驗(yàn)教學(xué)輔助功能，包括實(shí)驗(yàn)預(yù)習(xí)、實(shí)戰(zhàn)項(xiàng)目維護(hù)、實(shí)戰(zhàn)項(xiàng)目的指導(dǎo)等;通過(guò)實(shí)現(xiàn)Hadoop虛擬仿真教學(xué)，提高學(xué)生的自主學(xué)習(xí)能力和學(xué)習(xí)興趣。

5 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的目標(biāo)與內(nèi)容

大數(shù)據(jù)時(shí)代的到來(lái)，造成大數(shù)據(jù)人才缺口較大的態(tài)勢(shì)，通過(guò)高校教育培養(yǎng)復(fù)合型大數(shù)據(jù)人才迫在眉睫。培養(yǎng)復(fù)合型大數(shù)據(jù)技能人才，Hadoop集群的搭建成為其中最重要的一環(huán)。2016年后越來(lái)越多的國(guó)內(nèi)高職高專院校開(kāi)設(shè)了Hadoop

課程，為解決高職高專院校由于教師資源緊缺，教學(xué)資源、教學(xué)設(shè)備、教學(xué)環(huán)境等缺乏的突出問(wèn)題，本課題以Hadoop集群搭建與應(yīng)用為研究對(duì)象，開(kāi)展Hadoop虛擬仿真教學(xué)管理系統(tǒng)研究。通過(guò)Java Web開(kāi)發(fā)技術(shù)，開(kāi)發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)。利用該系統(tǒng)，用戶能夠在客戶端通過(guò)Web方式學(xué)習(xí)Hadoop的基礎(chǔ)知識(shí)及Hadoop集群搭建與應(yīng)用的虛擬仿真;同時(shí)，系統(tǒng)管理員能夠?qū)W(xué)生的實(shí)戰(zhàn)項(xiàng)目的進(jìn)度、效果進(jìn)行有效監(jiān)督和管理，減輕教師的教學(xué)負(fù)擔(dān)，充分發(fā)揮學(xué)生的主觀能動(dòng)性，提升Hadoop的教學(xué)質(zhì)量，從而真正實(shí)現(xiàn)培養(yǎng)復(fù)合型大數(shù)據(jù)技術(shù)技能人才的目標(biāo)。

基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究主要有三方面的內(nèi)容：智慧教學(xué)管理平臺(tái)、智慧學(xué)習(xí)平臺(tái)、智慧實(shí)訓(xùn)平臺(tái)。智慧教學(xué)管理平臺(tái)主要實(shí)現(xiàn)學(xué)生信息管理、課程信息管理、在線考試管理、在線交流;智慧學(xué)習(xí)平臺(tái)主要實(shí)現(xiàn)學(xué)習(xí)實(shí)時(shí)跟蹤、在線發(fā)布實(shí)驗(yàn)、學(xué)習(xí)資源庫(kù);智慧實(shí)訓(xùn)平臺(tái)主要包括在線交流、在線實(shí)訓(xùn)、實(shí)訓(xùn)資源庫(kù)。

6 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的方案

系統(tǒng)總體規(guī)劃與設(shè)計(jì)? 通過(guò)大數(shù)據(jù)平臺(tái)，對(duì)Hadoop虛擬仿真教學(xué)管理系統(tǒng)進(jìn)行需求分析，確定系統(tǒng)的概要設(shè)計(jì)與詳細(xì)設(shè)計(jì)，并且確定開(kāi)發(fā)所需的軟硬件環(huán)境。

課程標(biāo)準(zhǔn)的制定? 課程標(biāo)準(zhǔn)制定依據(jù)大數(shù)據(jù)技術(shù)與應(yīng)用職業(yè)行業(yè)規(guī)范，積極引進(jìn)行業(yè)、企業(yè)的崗位技能標(biāo)準(zhǔn)，嵌入真實(shí)工作任務(wù)的大數(shù)據(jù)技術(shù)與應(yīng)用大賽賽項(xiàng)規(guī)程，建立課、崗、賽融合的課程標(biāo)準(zhǔn)。

課程教學(xué)資源的完善，提高教學(xué)質(zhì)量，提升學(xué)生崗位適應(yīng)能力? 依據(jù)行業(yè)發(fā)展?fàn)顩r，服從貴州省“大扶貧、大數(shù)據(jù)、大生態(tài)”的戰(zhàn)略，對(duì)課程內(nèi)容進(jìn)行優(yōu)化整合，將與職業(yè)崗位相關(guān)的Hadoop新知識(shí)、新技術(shù)盡可能引入課堂教學(xué)項(xiàng)目中，把學(xué)生的興趣引導(dǎo)到對(duì)新產(chǎn)業(yè)、新知識(shí)、新技能的思考中來(lái)，確保教學(xué)內(nèi)容與時(shí)俱進(jìn)。形成突出職業(yè)能力培養(yǎng)、項(xiàng)目為導(dǎo)向的教學(xué)內(nèi)容組織，以項(xiàng)目或典型工作任務(wù)驅(qū)動(dòng)開(kāi)展教學(xué)，通過(guò)實(shí)踐項(xiàng)目教學(xué)，充分調(diào)動(dòng)學(xué)生的學(xué)習(xí)熱情，提高學(xué)生的主動(dòng)學(xué)習(xí)能力、團(tuán)隊(duì)合作精神以及協(xié)調(diào)能力，進(jìn)一步提升學(xué)生崗位適應(yīng)能力，提高教學(xué)質(zhì)量。

Hadoop課程實(shí)驗(yàn)仿真平臺(tái)和Hadoop虛擬實(shí)驗(yàn)教學(xué)管理的實(shí)現(xiàn)? 通過(guò)仿真平臺(tái)和虛擬實(shí)驗(yàn)教學(xué)管理，達(dá)到Hadoop集群搭建與應(yīng)用的目的。

7 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實(shí)踐進(jìn)行仿真研究的科學(xué)問(wèn)題

虛擬化技術(shù)? 虛擬化技術(shù)是一種資源管理技術(shù)，是將計(jì)算機(jī)的各種實(shí)體資源，如服務(wù)器、網(wǎng)絡(luò)及存儲(chǔ)等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來(lái)，打破實(shí)體結(jié)構(gòu)間不可切割的障礙，使用戶可以運(yùn)用比原本的組態(tài)更好的方式來(lái)應(yīng)用這些資源。

HDFS? Hadoop分布式文件系統(tǒng)（HDFS）被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

MapReduce? MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1 TB）的并行運(yùn)算。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

8 結(jié)語(yǔ)

信息化時(shí)代，國(guó)家倡導(dǎo)發(fā)展“互聯(lián)網(wǎng)+教育”。響應(yīng)此號(hào)召，以Hadoop集群搭建與應(yīng)用為研究對(duì)象，將教育技術(shù)與信息技術(shù)深度融合，開(kāi)展Hadoop虛擬仿真教學(xué)管理系統(tǒng)研究，實(shí)現(xiàn)資源平臺(tái)、管理平臺(tái)互通，形成優(yōu)質(zhì)Hadoop課程體系，實(shí)現(xiàn)高效Hadoop教學(xué)管理，共享Hadoop實(shí)訓(xùn)資源，能有效解決高職高專院校教師資源緊缺，教學(xué)資源、教學(xué)設(shè)備、教學(xué)環(huán)境等缺乏的問(wèn)題，實(shí)現(xiàn)網(wǎng)絡(luò)化、智能化、個(gè)性化的Hadoop智慧教學(xué)。

參考文獻(xiàn)

[1]薛占熬，王楠，司小朦，等.多粒度粗糙直覺(jué)模糊截集的研究[J].河南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2016（5）：131-139.