對職業(yè)院校學習資源云存儲模型構(gòu)建的思考

楊斌++馬小虎

摘要：針對大數(shù)據(jù)時代以及職業(yè)院校學習資源需求的特點和海量數(shù)字學習資源提供服務(wù)中的不足，結(jié)合云計算的特點提出了基于Hadoop框架構(gòu)建學校內(nèi)部云存儲的設(shè)計方案，為學生在大數(shù)據(jù)背景下能夠進行高效的學習提供幫助。文中重點論述了云存儲的體系結(jié)構(gòu)和各個層的功能，通過實驗進行模擬測試進行分析。

關(guān)鍵詞：學習資源 云存儲 模型構(gòu)建

中圖分類號：TP333 文獻標識碼：A 文章編號：1007-9416（2014）08-0203-01

數(shù)字化學習資源的不斷增長，使傳統(tǒng)的單一課堂教學向網(wǎng)絡(luò)化的數(shù)字學習模式發(fā)展，人們的學習方式和理念也在發(fā)生變化：“人們期望能夠按照自己的意愿在任何時間、任何地點從事學習、工作和研究”， 泛在學習已經(jīng)成為學習發(fā)展的重要方向。大數(shù)據(jù)時代來臨，數(shù)字化學習資源的建設(shè)受到廣泛的關(guān)注。各高職院校也在積極的投入資金和人力進行數(shù)字化學習資源的建設(shè)與采購。

1 目前職業(yè)院校學習資源存儲模式不足

大數(shù)據(jù)時代學習資源呈爆炸式增長趨勢。隨著教育信息化不斷提高，各種新形式的學習資源不斷出現(xiàn)，職業(yè)院校學生仿真模擬實踐、數(shù)字化的各種教育積件資源存儲等需求，不斷對存儲結(jié)構(gòu)提出新的挑戰(zhàn)。學生獲取學習資源受制于地理位置和學習對象，無法實現(xiàn)泛在式學習，學習效率不高。在資源存儲結(jié)構(gòu)上大多采用單機服務(wù)器的存儲結(jié)構(gòu)，給資源服務(wù)制造了不穩(wěn)定因素。隨著學習資源的增長，需要不斷的進行硬件設(shè)備和管理系統(tǒng)的升級和更新，會造成設(shè)備和資金的浪費。學校資源存儲中主要存在三個問題：一是資源來源復(fù)雜，資源類型多樣、內(nèi)容豐富，缺乏有效的組織和管理，安全性不高；二是數(shù)字學習資源需求高，資源共享程度不高，提供服務(wù)效率低；三是系統(tǒng)更新較慢，不能滿足泛在學習的高速檢索和下載，資金投入壓力大。

2 學習資源云存儲模型設(shè)計與實現(xiàn)

云計算是大數(shù)據(jù)的基礎(chǔ)，大數(shù)據(jù)時代需要云存儲才能實現(xiàn)高效的資源服務(wù)。構(gòu)建一個安全、穩(wěn)定、高效的云存儲結(jié)構(gòu)對于解決海量學習資源的存儲和泛在式學習對數(shù)字資源高效需求存在的問題是一個新的方案。

云存儲。云存儲是為了滿足海量數(shù)據(jù)的存儲和管理，通過網(wǎng)格技術(shù)和分布式文件系統(tǒng)等技術(shù)，把大量各種類型的存儲設(shè)備組成集群，運用虛擬化技術(shù)形成一個整體，提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的系統(tǒng)。用戶無需考慮存儲設(shè)備的型號、磁盤的容量和類型，也無需考慮具體采用何種接口和傳輸協(xié)議及存儲和服務(wù)器之間的連接電纜等，即可快速建立自己的數(shù)據(jù)中心并將本地數(shù)據(jù)部署至網(wǎng)絡(luò)存儲。它具有：存儲容量大、高可靠性、通用性、高擴展性、按需服務(wù)、成本低等特點。

Hadoop框架。Hadoop是Apache軟件基金會組織下的一個開源云平臺項目，它可以使用普通的硬件組件大規(guī)模的集群系統(tǒng)，是云計算、大數(shù)據(jù)存儲的方法之一，主要包括HDFS文件系統(tǒng)和MapReduce映射/簡化引擎。采用Hadoop框架構(gòu)建學校學習資源云存儲系統(tǒng)具有一定的優(yōu)勢。

學習資源云存儲模型。由于網(wǎng)絡(luò)訪問量較大，為了減少訪問的壓力，在使用Hadoop構(gòu)建學習資源云存儲模型時對其結(jié)構(gòu)進行改進。在本模型中采用了三級模式，在第一層的分析節(jié)點中使用單節(jié)點來控制多個名字空間節(jié)點，構(gòu)成一個主從結(jié)構(gòu)；在名字節(jié)點下又設(shè)置有數(shù)據(jù)集群管理節(jié)點，名字空間節(jié)點控制數(shù)據(jù)集群管理節(jié)點構(gòu)成第二層的主從結(jié)構(gòu)；數(shù)據(jù)控制節(jié)點控制所有的低端數(shù)據(jù)集群，構(gòu)成了底層主從結(jié)構(gòu)。在Hadoop的主框架下，通過對中心任務(wù)的分解和下放的方式，來降低中心節(jié)點的任務(wù)量。把原來中心節(jié)點的任務(wù)分布到分析節(jié)點、名字空間節(jié)點和數(shù)據(jù)管理節(jié)點上執(zhí)行，可以極大的降低中心節(jié)點的壓力。實現(xiàn)學習資源在底端物理存儲設(shè)備上的分布存儲。

在設(shè)計存儲模型時，充分考慮學習資源的特點和內(nèi)在的聯(lián)系，設(shè)計時把名字空間節(jié)點，按照學科進行劃分。當有資源文件提交寫入申請后，在分析節(jié)點進行解析、提取學習資源的信息，并根據(jù)學科分配到相應(yīng)的名字空間節(jié)點。在名字空間節(jié)點上，對學習文件進行分塊，同時向下層和上層傳遞信息。在數(shù)據(jù)控制節(jié)點接收到塊文件以后對塊文件分配數(shù)據(jù)節(jié)點進行存儲。在存儲時把一次提交的資源文件的塊文件，采用就近原則進行存儲（分布存儲在多個數(shù)據(jù)節(jié)點上，方便以后的并行訪問）。然后根據(jù)副本存儲策略進行副本的存儲。在訪問的時候系統(tǒng)根據(jù)需要決定哪些數(shù)據(jù)節(jié)點提供服務(wù)，在數(shù)據(jù)管理節(jié)點可以對資源的訪問情況進行記錄，當某些資源被頻繁的訪問，可以通過改變塊文件的分布情況和增加塊文件的副本數(shù)量的方法，讓更多的數(shù)據(jù)節(jié)點參與提供服務(wù)。關(guān)系數(shù)據(jù)庫在處理海量數(shù)據(jù)的時候，服務(wù)效率（包括查詢、插入等）都會有一定程度的降低，而且容易產(chǎn)生系統(tǒng)瓶頸。為了能夠滿足海量學習資源存儲的要求，采用Hadoop中的HBase對資源的元數(shù)據(jù)進行存儲。可以把不同的表分布存儲到不同的節(jié)點上，而且具有良好的擴展性。

3 實驗測試

采用清華同方個人計算機7臺，在實驗室內(nèi)對模型進行測試。在模擬測試模型中設(shè)計將1臺計算機設(shè)置為控制節(jié)點，2臺計算機模擬名字空間節(jié)點，4臺計算機模擬數(shù)據(jù)管理節(jié)點，在數(shù)據(jù)管理節(jié)點使用虛擬機下安裝4個Linux操作系統(tǒng)，模擬數(shù)據(jù)集群。在名字空間節(jié)點上部署Hadoop的中心節(jié)點程序和數(shù)據(jù)庫程序，在數(shù)據(jù)控制節(jié)點上安裝集群節(jié)點程序，形成一個Hadoop平臺。在模擬存儲結(jié)構(gòu)上進行5G學習資源的存儲和學習資源的檢索，實驗表明：學習資源的云存儲模型可以有效的提高學習資源的存儲效率和資源的檢索效率?？梢姡褂玫托阅艿挠嬎銠C作為節(jié)點服務(wù)器是可行的。使用Hadoop平臺替代傳統(tǒng)的學習資源存儲方式，提高學習資源存儲中的經(jīng)濟性，解決硬件瓶頸，提高了讀取效率。

4 結(jié)語

數(shù)字學習資源的高效存儲是大數(shù)據(jù)時代泛在學習過程中不容忽視的一個重要環(huán)節(jié)，職業(yè)院校學習資源云存儲解決了學生獲取數(shù)字教育資源后的管理與學習問題，實現(xiàn)了海量數(shù)字學習資源的集成共享，推進了學校教育信息化、云計算的普遍應(yīng)用，使學生可以獲得大數(shù)據(jù)時代下更多優(yōu)質(zhì)的、豐富的數(shù)字學習資源。

參考文獻

[1]陳巧，施佺，等.大數(shù)據(jù)時代下個人運資源柜的構(gòu)建研究[J].現(xiàn)代教育技術(shù)，2013（10）.

[2]劉琨，李愛菊，等.基于Hadoop的云存儲的研究及實現(xiàn)[J].微計算機信息，2011（2）：220-223.

[3]陳公超，劉海濤.云存儲中多類型文件存儲及訪問優(yōu)化機制的研究[J].計算機應(yīng)用與軟件，2011（12）：165-168.endprint