基于Hadoop的英語輔助教學(xué)云平臺的構(gòu)建

李潔　鐘銳

摘 要： 目前傳統(tǒng)網(wǎng)絡(luò)英語教學(xué)方法互動性不足，無法同時滿足學(xué)生不同的英語學(xué)習(xí)需求，傳統(tǒng)網(wǎng)絡(luò)英語教學(xué)平臺采用的是單服務(wù)器模式，無法負(fù)荷大量學(xué)生對教學(xué)資源的同時訪問。本文通過使用Hadoop平臺軟件，通過對該平臺軟件的配置，實現(xiàn)英語輔助教學(xué)云平臺的搭建，在所搭建的輔助教學(xué)云平臺中添加優(yōu)質(zhì)的英語教學(xué)資源，實現(xiàn)大量學(xué)生同時訪問，有效提高學(xué)生的學(xué)習(xí)興趣與自主學(xué)習(xí)能力。

關(guān)鍵詞： Hadoop 云計算 英語輔助教學(xué)云平臺

云計算是傳統(tǒng)的分布式計算技術(shù)與網(wǎng)絡(luò)技術(shù)共同發(fā)展融合而成的產(chǎn)物，具有高度可靠性、通用性、可擴(kuò)展性及成本低廉等諸多優(yōu)勢。因此，云計算經(jīng)過近幾年的快速發(fā)展，已經(jīng)被廣泛應(yīng)用于各行各業(yè)。目前有很多開源的云計算平臺軟件：Hadoop、Eucalyptus、Enomalism、MongoDB等。其中Hadoop是當(dāng)前應(yīng)用最為廣泛的云計算平臺之一，該平臺基于Google的MapReduce的編程模型包發(fā)展而成，現(xiàn)已迅速發(fā)展成為大數(shù)據(jù)分析的領(lǐng)先平臺。在英語教學(xué)方面，由于涉及聽說讀寫等多個模塊，每個學(xué)生針對不同的模塊有不同的側(cè)重點。如果采用傳統(tǒng)課堂教學(xué)方式，將無法滿足學(xué)生對英語教學(xué)中各技能的訓(xùn)練需求，不能有效提高學(xué)生的學(xué)習(xí)積極性。同時，英語教學(xué)涉及的學(xué)生人數(shù)眾多，英語教學(xué)資源多為視頻、音頻等資源，傳統(tǒng)輔助教學(xué)平臺無法負(fù)荷大量學(xué)生同時對以上資源的訪問。因此，在本項目中采用Hadoop構(gòu)建英語輔助教學(xué)云平臺，通過在所構(gòu)建的輔助教學(xué)云平臺中添加優(yōu)質(zhì)的英語教學(xué)資源，增加師生互動的網(wǎng)絡(luò)英語版塊，提高學(xué)生的學(xué)習(xí)興趣與自主學(xué)習(xí)能力。

1.Hadoop平臺的系統(tǒng)架構(gòu)

Hadoop是一款開源的云計算平臺軟件，由Apache基金會所開發(fā)，由于其具有擴(kuò)展性強(qiáng)、成本低、可靠性高等優(yōu)點，目前被廣泛應(yīng)用于各領(lǐng)域。Hadoop主要由三部分構(gòu)成：Map/Reduce分布式計算框架、分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）和分布式數(shù)據(jù)存儲HBase（Hadoop Database）。Hadoop能夠在低端的硬件平臺上搭建云計算環(huán)境的基礎(chǔ)服務(wù)與接口API。同時由于Hadoop采用Java進(jìn)行開發(fā)，因此能夠兼容多種操作系統(tǒng)，移植性較高。

1.1Map/Reduce分布式計算框架。云計算的核心技術(shù)為分布式并行計算，Map/Reduce分布式計算框架是Hadoop平臺的分布式編程模式。其具體的工作流程如下所示：

Step1：將需要運(yùn)行的程序調(diào)用Map/Reduce分布式計算框架，把輸入的數(shù)據(jù)分割成與Map主機(jī)數(shù)目相同的n個部分?jǐn)?shù)據(jù)塊，并將劃分好的數(shù)據(jù)塊分配給所有Map主機(jī)；

Step2：由Master主機(jī)對任務(wù)進(jìn)行分配，將Map任務(wù)分發(fā)給Slave主機(jī)進(jìn)行分布式并行計算，最后由Reduce主機(jī)對Slave主機(jī)所得出的計算結(jié)果進(jìn)行合并。

Step3：每一臺被分配了Map任務(wù)的Slave主機(jī)計算出一組鍵值對〈key，value〉，所有這些鍵值對為當(dāng)前任務(wù)的中間結(jié)果。

Step4：將Slave主機(jī)計算出來的中間結(jié)果送入Reduce主機(jī)中進(jìn)行結(jié)果的整理與合并，得出當(dāng)前任務(wù)的最終結(jié)果。

從以上Map/Reduce分布式計算框架的工作流程可以看出，該計算框架的兩個核心步驟為任務(wù)映射Map結(jié)果整合Reduce，通過調(diào)用Hadoop云計算平臺中的映射函數(shù)（Map）與整合函數(shù)（Reduce），實現(xiàn)Map/Reduce的核心功能。

1.2分布式文件系統(tǒng)HDFS。HDFS系統(tǒng)采用的是Master/Slave架構(gòu)，該架構(gòu)由命名節(jié)點（NameNode）、數(shù)據(jù)節(jié)點（DataNode）和客戶端（Client）構(gòu)成。其中命名節(jié)點是分布式文件系統(tǒng)的核心部分，主要用于控制客戶端對文件系統(tǒng)的管理與訪問。當(dāng)使用Hadoop平臺實現(xiàn)基于的云計算管理平臺時，在命名節(jié)點的統(tǒng)一調(diào)度下對數(shù)據(jù)進(jìn)行分塊、刪除及復(fù)制等操作。數(shù)據(jù)節(jié)點則主要負(fù)責(zé)數(shù)據(jù)的存儲，同時HDFS為每一個數(shù)據(jù)塊創(chuàng)建多個副本，確保數(shù)據(jù)的高度可靠性。

1.3分布式數(shù)據(jù)存儲HBase。HBase在分布式文件系統(tǒng)HDFS之上實現(xiàn)一種非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫，該數(shù)據(jù)庫中的數(shù)據(jù)不像傳統(tǒng)的數(shù)據(jù)庫表中存在大量的關(guān)聯(lián)關(guān)系，HBase中存儲的數(shù)據(jù)為松散數(shù)據(jù)，在該數(shù)據(jù)庫中，每一個數(shù)據(jù)行都具有一個可供選擇的鍵與不限定數(shù)量的列。在該數(shù)據(jù)庫中創(chuàng)建的表可以根據(jù)需要為每一行定義不同列的屬性，具有很強(qiáng)的靈活性，對于一個復(fù)雜的數(shù)據(jù)庫項目具有很好的實用性，能夠極大地簡化數(shù)據(jù)庫設(shè)計與升級的成本開銷。同時分布式計算框架Map/Reduce為HBase提供了強(qiáng)大的計算能力，使之實現(xiàn)高速的數(shù)據(jù)檢索。

2.英語輔助教學(xué)云平臺的系統(tǒng)框架

為了搭建有效的英語輔助教學(xué)云平臺，采用Browser/Server模式搭建該平臺，將搭建的英語輔助教學(xué)云平臺中的數(shù)據(jù)存儲、分布式計算及用戶體驗進(jìn)行模塊化處理，使每個模塊之間都相互獨立。為此，本項將該平臺劃分為三個層次，分別為教學(xué)資源存儲層、學(xué)習(xí)評價層和用戶訪問層，每一層具體完成的功能如下：

2.1教學(xué)資源存儲層：該層采用Hadoop平臺實現(xiàn)，使用Hadoop平臺中HBase作為教學(xué)資源的存儲數(shù)據(jù)庫，將各種有利于英語教學(xué)的音頻、視頻、圖像等數(shù)據(jù)存儲于該數(shù)據(jù)庫，應(yīng)用Hadoop平臺的分布式特性，實現(xiàn)以上教學(xué)資源的分布式存儲，當(dāng)以上教學(xué)資源存在大量的并發(fā)讀取、寫入及查詢等操作請求時，則調(diào)用Hadoop平臺中的分布式計算框架Map/Reduce為HBase提供高速并行的計算能力。

2.2學(xué)習(xí)評價層：在該層使用數(shù)據(jù)挖掘中的聚類、關(guān)聯(lián)規(guī)則、貝葉斯分類等算法，設(shè)計出高效可靠的學(xué)習(xí)評價算法。該算法能夠?qū)W(xué)生使用英語輔助教學(xué)云平臺時的使用效果進(jìn)行評價，并根據(jù)學(xué)生的使用情況為學(xué)生提供詳細(xì)的學(xué)習(xí)建議，同時為教師提供學(xué)生在整個學(xué)習(xí)過程中存在的主要問題。

2.3用戶訪問層：該層是學(xué)生與教師訪問的人機(jī)交互接口，該接口采用Web界面實現(xiàn)，該界面能夠為學(xué)生和教師提供簡潔明了的資源訪問與操作界面。

3.基于Hadoop的英語輔助教學(xué)云平臺的配置

在搭建本項目的英語輔助教學(xué)云平臺時，需要使用的硬件為10臺PC機(jī)，將其中1臺PC機(jī)作為Hadoop Master，將其設(shè)置為云平臺的NameNode和JobTracker，剩余的9臺作為Hadoop Slave，設(shè)置為云平臺的DataNode和TaskTracker。具體的配置步驟如下所示：

Step1：為以上10臺PC機(jī)安裝Ubuntu Linux操作系統(tǒng)，并為每一臺PC機(jī)設(shè)置用戶賬號及密碼，通過網(wǎng)絡(luò)將所有PC機(jī)進(jìn)行互聯(lián)，為所有PC機(jī)設(shè)置IP地址，確保每一臺PC機(jī)之間都能進(jìn)行互相通信，并能使用所設(shè)置的用戶賬號和密碼對所有PC機(jī)進(jìn)行訪問與管理。

Step2：在Hadoop的官方網(wǎng)站上下載最新版本的Hadoop云計算平臺軟件，為每一臺主機(jī)安裝上該云計算平臺軟件，并在Hadoop平臺中設(shè)置Hadoop的用戶賬號，由Master主機(jī)通過Hadoop賬號和密碼對Slave主機(jī)進(jìn)行任務(wù)調(diào)度與管理。

Step3：為每一臺PC機(jī)安裝系統(tǒng)必備軟件，需要安裝Java SDK、Java plugin、SSH、SSH Server及rsync同步軟件。

Step4：對Hadoop云計算系統(tǒng)進(jìn)行配置，需要確保Mater主機(jī)與Slave主機(jī)的設(shè)置相同，應(yīng)用SSH密鑰證書以加密的形式，將hdp0主機(jī)上的基本配置分發(fā)給其他主機(jī)。

Step5：對Hadoop安裝目錄下的系統(tǒng)設(shè)置文檔進(jìn)行編輯，將主機(jī)hadoop1中的設(shè)置文檔進(jìn)行編輯，將該主機(jī)設(shè)置為Master主機(jī)，并將其配置為NameNode與JobTracker。對其余的主機(jī)中配置文檔進(jìn)行編輯，設(shè)置為Slave主機(jī)，并配置為DataNode與TaskTracker。

Step6：在Master主機(jī)上應(yīng)用Hadoop指令對NameNode進(jìn)行格式化，當(dāng)格式化完成后，通過在瀏覽器中訪問http：//hadoop1：60021對NameNode的運(yùn)行狀態(tài)進(jìn)行檢查，通過訪問http：//hadoop1：60040對JobTracker的運(yùn)行狀態(tài)進(jìn)行檢查。

4.基于Hadoop的英語輔助教學(xué)云平臺的性能測試

為了對搭建的英語輔助教學(xué)云平臺的性能進(jìn)行測試，通過在云計算平臺上傳一部大小為1GB的英文電影文件。為了測試學(xué)生的聽力水平，學(xué)生觀看完該英文電影文件后設(shè)置20個問題，將該測試掛在某學(xué)校的主頁鏈接，召集1000名學(xué)生同時對該測試鏈接進(jìn)行訪問，以測試該平臺的并行處理能力，具體的實驗結(jié)果如下表所示。

從上表的數(shù)據(jù)分析可以看出，使用云計算技術(shù)構(gòu)建的英語輔助教學(xué)云平臺，極大地降低了系統(tǒng)訪問的延時，當(dāng)訪問人數(shù)達(dá)到1000人時，系統(tǒng)延時為6s。而采用傳統(tǒng)的單服務(wù)器模式構(gòu)建英語輔助教學(xué)平臺，當(dāng)并發(fā)人數(shù)達(dá)到800人時，系統(tǒng)就出現(xiàn)無法訪問的情況，可見云計算技術(shù)的使用，極大地提高了英語輔助教學(xué)平臺的可靠性與實時性。

5.結(jié)語

目前云計算技術(shù)已經(jīng)深刻地影響教育信息化的發(fā)展進(jìn)程，越來越多的教育手段通過云計算技術(shù)進(jìn)行推廣。本文采用Hadoop構(gòu)建英語輔助教學(xué)平臺，詳細(xì)介紹該云計算平臺的工作原理與部署策略，并對該平臺的性能進(jìn)行測試，取得較好的實驗結(jié)果。如何充分利用該平臺及在此平臺中開發(fā)出更高效的英語輔助教學(xué)應(yīng)用，是今后進(jìn)一步研究的重點所在。

參考文獻(xiàn)：

[1]蔣寧，李文，李鴻彬.基于Hadoop的云計算輔助教學(xué)平臺研究[J].中國遠(yuǎn)程教育，2012.（9）：79-82.

[2]洪沙，楊深遠(yuǎn).云計算關(guān)鍵技術(shù)及基于Hadoop的云計算模型研究[J].軟件導(dǎo)刊，2010，9.（9）：9-11.

[3]王皎，呼明亮.基于Hadoop云計算平臺的資源搜索系統(tǒng)[J].電腦知識與技術(shù)，2014，10.（19）：4463-4465.