淺談Hadoop與SSM的大數(shù)據(jù)云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)

廣東工業(yè)大學(xué) 袁斯烺

1.概述

云存儲(chǔ)的一個(gè)關(guān)鍵技術(shù)是分布式文件系統(tǒng)。在系統(tǒng)架構(gòu)與云存儲(chǔ)的解決文字上，Hadoop的HDFS文件系統(tǒng)是被當(dāng)前的各行各業(yè)選用得比較多的分布式文件系統(tǒng)。把具有高穩(wěn)定性與可擴(kuò)展性等優(yōu)點(diǎn)的分布式計(jì)算平臺(tái)運(yùn)行在廉價(jià)、使用廣泛的硬件設(shè)備上是Hadoop的設(shè)計(jì)初衷。有根據(jù)相關(guān)調(diào)查分析，目前國內(nèi)有一部分知名企業(yè)就是采用Hadoop來實(shí)現(xiàn)去服務(wù)架構(gòu)體系的搭建。比如國內(nèi)的互聯(lián)網(wǎng)巨頭華為、百度的云計(jì)算架構(gòu)都是使用Hadoop技術(shù)來搭建。所以，在云存儲(chǔ)與云計(jì)算領(lǐng)域，研究Hadoop生態(tài)體系相關(guān)的應(yīng)用與采用HDFS搭建云存儲(chǔ)平臺(tái)具有極其重要的意義。

當(dāng)前HDFS還不是很完善，在設(shè)計(jì)上它有存在一些需要改進(jìn)的地方。例如在一般的HDFS分部式文件系統(tǒng)中，整個(gè)集群內(nèi)只有一個(gè)namenode節(jié)點(diǎn)用于存儲(chǔ)、管理元數(shù)據(jù)信息，若namenode出現(xiàn)故障則整個(gè)集群將不能正常運(yùn)行，另外單個(gè)namenode的內(nèi)存容量大小也約束了整個(gè)分式性集群的擴(kuò)展；存儲(chǔ)在HDFS上的文件的安全性得不到保障，一旦HDFS上的數(shù)據(jù)發(fā)生泄漏，很可以會(huì)對(duì)個(gè)人或企業(yè)造成不可挽回的損失。

綜合上述的分析，本論文中基于Hadoop的大數(shù)據(jù)云存儲(chǔ)平臺(tái)的研究具有以下重要意義：第一點(diǎn)，當(dāng)前云計(jì)算領(lǐng)域的一大研究熱點(diǎn)是hadoop，所以通過對(duì)hadoop的hdfs分布式文件系統(tǒng)的研究可以讓我們把握與云存儲(chǔ)與云計(jì)算有關(guān)的領(lǐng)域的發(fā)展方向和獲取最新前沿信息；第二點(diǎn)，對(duì)當(dāng)前HDFS分布式文件系統(tǒng)存在的缺陷進(jìn)行改進(jìn)。第一，針對(duì)HDFS的單一namenode問題，增加namenode的備用節(jié)點(diǎn)，可提高HDFS的穩(wěn)定性與可靠性。第二，針對(duì)HDFS分布式文件系統(tǒng)對(duì)數(shù)據(jù)的安全不加密問題，需要額外附加一層數(shù)據(jù)加密機(jī)制，把將要存儲(chǔ)在HDFS上的數(shù)據(jù)先進(jìn)行加密再存儲(chǔ)，可提高HDFS的安全性；第三點(diǎn)，鑒于HDFS可以在廉價(jià)的PC上運(yùn)行，對(duì)硬件要求不高，可極大地降低云存儲(chǔ)的成本。第四點(diǎn)，基于hadoop的一系列優(yōu)點(diǎn)和業(yè)界對(duì)hadoop的熱衷，對(duì)HDFS的研究一旦取得一定的成果，將會(huì)推動(dòng)hadoop的廣泛用使用。

2.Hadoop與SSM

Hadoop是當(dāng)前大數(shù)據(jù)領(lǐng)域的主流技術(shù)，可實(shí)現(xiàn)云計(jì)算與存儲(chǔ)。而SSM后端則是對(duì)用于開發(fā)Web網(wǎng)站，以網(wǎng)站的方式提供服務(wù)。把Hadoop與SSM技術(shù)結(jié)合在一起，可以快速開發(fā)出一個(gè)可用性強(qiáng)的云存儲(chǔ)平臺(tái)。下面我們分別對(duì)Hadoop與SSM作簡(jiǎn)要介紹。

Hadoop實(shí)現(xiàn)一個(gè)分布式文件系統(tǒng)，具有高容錯(cuò)性的特點(diǎn)，可以實(shí)現(xiàn)在廉價(jià)硬件上部署分。此外Hadoop還可以高吞吐量地訪問數(shù)據(jù)，特別適合有著海量數(shù)據(jù)的應(yīng)用程序使用。

SSM全稱是SrpingMVC+Spring+MyBatis，是一套開發(fā)Web應(yīng)用的主流框架。其中SpringMVC把分派器、模型對(duì)象、控制器分離。Spring相當(dāng)一個(gè)大窗口，實(shí)現(xiàn)IoC和AOP。MyBaits是一個(gè)支持自己編寫SQL和存儲(chǔ)過程的持久層框架，實(shí)現(xiàn)對(duì)關(guān)系型數(shù)據(jù)庫的問題。

3.基于hadoop與ssm框架的大數(shù)據(jù)云存儲(chǔ)平臺(tái)

Hadoop在大數(shù)據(jù)領(lǐng)域是當(dāng)前主流的技術(shù)，其有著一套完整的生態(tài)體系。但hadoop并不能直接給遠(yuǎn)程用戶使用，必須要提供一個(gè)用于處理用戶請(qǐng)求的系統(tǒng)，請(qǐng)用戶的請(qǐng)求進(jìn)行分析并轉(zhuǎn)化為相應(yīng)的hadoop操作。以java為例，為hadoop開發(fā)一個(gè)基于socket套接字的用戶請(qǐng)求處理系統(tǒng)，其工作量和難度都是極大。所以，我們最終決定采用SSM后端框架完成的用戶請(qǐng)求處理系統(tǒng)的開發(fā)。

基于Hadoop所構(gòu)建的大數(shù)據(jù)云存儲(chǔ)平臺(tái)其基本功能需求有：1）普通用戶與vip用戶功能權(quán)限認(rèn)證；2）可實(shí)現(xiàn)自動(dòng)同步功能。在設(shè)備當(dāng)前處于連網(wǎng)狀態(tài)下，可自動(dòng)同步云端數(shù)據(jù)和自動(dòng)上傳文件，快速方便地保持了客戶端與大數(shù)據(jù)云存儲(chǔ)集群間的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性；3）擁有高度的安全機(jī)制，保證數(shù)據(jù)在保存和傳輸過程的這個(gè)人信息安全性；4）能實(shí)現(xiàn)本地設(shè)備存儲(chǔ)文件，用戶可隨時(shí)隨地地翻看個(gè)人存儲(chǔ)的文件，即使在斷網(wǎng)或斷電的情況下，客戶端的數(shù)據(jù)也不會(huì)丟失。

3.1 系統(tǒng)功能模塊總體設(shè)計(jì)

綜上所述，大數(shù)據(jù)云存儲(chǔ)平臺(tái)一共可分為三大主要的功能模塊，包括安全可靠的傳輸層模塊、安全可靠的客戶端模塊和安全可靠的服務(wù)器端集群模塊。結(jié)合大數(shù)據(jù)云存儲(chǔ)平臺(tái)功能模塊劃分的原則，在充分分析與考慮各個(gè)功能耦合性和二次開發(fā)的可行性的基礎(chǔ)上，大數(shù)據(jù)云存儲(chǔ)平臺(tái)大功能上分為以幾個(gè)主要部分：

3.2 客戶端

安全客戶端是由大數(shù)據(jù)云存儲(chǔ)平臺(tái)提供給注冊(cè)用戶直接使用的功能模塊，從系統(tǒng)的實(shí)現(xiàn)角度出發(fā)，其又可以細(xì)分為以下必個(gè)小模塊：

注冊(cè)登錄：每個(gè)成熟的云存儲(chǔ)系統(tǒng)都必須具備的一個(gè)功能就用戶注冊(cè)登錄。我們的用戶在注冊(cè)賬號(hào)我們提供的信息包括注冊(cè)的用戶名（具有唯一性）、登錄密碼以及獨(dú)立的文件數(shù)據(jù)加密密鑰。用戶在登錄時(shí)需要正常填寫賬號(hào)名和登錄密碼，之后再填寫正確的加密密鑰才能打開虛擬硬盤使用我們的大數(shù)據(jù)云存儲(chǔ)服務(wù)。

文件過濾驅(qū)動(dòng)：文件過濾驅(qū)動(dòng)是在文件系統(tǒng)驅(qū)動(dòng)上實(shí)現(xiàn)的加密方式。我們可以在本地文件系統(tǒng)的驅(qū)動(dòng)上添加一屋過濾機(jī)制來完成對(duì)用戶虛擬硬盤中指定文件的透明加密。

文件實(shí)時(shí)監(jiān)控：為了使服務(wù)器端與客戶端的文件可以實(shí)時(shí)同步，還需要將一種實(shí)時(shí)監(jiān)控機(jī)制建立在客戶端中，當(dāng)文件在客戶端的虛擬硬盤發(fā)生增、刪、改等操作后，可以及時(shí)有效地把這些文件同步到后臺(tái)的云存儲(chǔ)集群當(dāng)中。這種實(shí)時(shí)監(jiān)控機(jī)制是文件同步模塊的極其重要的部分。

3.3 傳輸模塊

大數(shù)據(jù)云存儲(chǔ)平臺(tái)的中間模塊是安全可靠傳輸層。這個(gè)是中間模塊的安全性與可靠性具有極其重要的意義，因?yàn)樗麤Q定的用戶是否會(huì)長久地使用這個(gè)大數(shù)據(jù)云存儲(chǔ)系統(tǒng)。基于實(shí)際角度分析考慮，主要可分為心下兩個(gè)重要模塊：

3．3．1 HTTPS安全傳輸

HTTPS安全傳輸：依照大數(shù)據(jù)云存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)原理，數(shù)據(jù)可以實(shí)現(xiàn)云端存取，我們必須采取穩(wěn)定可靠的同步策略來進(jìn)行文件的同步操作。為提升文件在傳輸過程中的安全性，本大數(shù)據(jù)云存儲(chǔ)平臺(tái)使用HTTPS協(xié)議以實(shí)現(xiàn)數(shù)據(jù)的傳輸。其具體的文件傳輸細(xì)節(jié)將在后而的章節(jié)中詳細(xì)分析。

多線程傳輸：在提升文件同步操作過程中的可靠性，本大數(shù)據(jù)云存儲(chǔ)平臺(tái)還將使用多線程技術(shù)實(shí)現(xiàn)文件數(shù)據(jù)的傳輸，其中還會(huì)使用當(dāng)下熱點(diǎn)的斷點(diǎn)續(xù)傳技術(shù)加以支持?？蛻舳水?dāng)前的網(wǎng)絡(luò)處于斷網(wǎng)或系統(tǒng)出現(xiàn)故障后，其不可以實(shí)現(xiàn)之后的自動(dòng)從文件斷點(diǎn)處為新的起點(diǎn)，開始繼續(xù)傳輸。

3．3．2 服務(wù)器端

大數(shù)據(jù)云存儲(chǔ)平臺(tái)的核心部分在于服務(wù)器端。本論文中，它包含一兩部分：一是云存儲(chǔ)集群；二是安全云存儲(chǔ)系統(tǒng)的后臺(tái)服務(wù)器端。云存儲(chǔ)集群是功能是為用戶提供文件的存儲(chǔ)服務(wù)。而來自客戶端的請(qǐng)求則是由安全云存儲(chǔ)系統(tǒng)的后臺(tái)服務(wù)器端來響應(yīng)。我們可以分為以下兩下模塊：

存儲(chǔ)集群：我們使用基于hadoop來搭建云存儲(chǔ)集群，因?yàn)檫@部分我們必須重點(diǎn)分析研究如何搭建和配置hadoop分布式集群，合理布置整體框架，盡最大限度為發(fā)揮集群的性能。

數(shù)據(jù)處理：該模將采用SSM后臺(tái)框架實(shí)現(xiàn)，用于監(jiān)聽來自客戶端請(qǐng)求。對(duì)于客戶端文件的請(qǐng)求操作，我們將采取不同的請(qǐng)求處理方式 。這些處理方式包括文件的創(chuàng)建、文件的更新、文件的重命名、文件的刪除和文件的轉(zhuǎn)移等等，一共五個(gè)主要操作。

實(shí)時(shí)監(jiān)控：提升整個(gè)服務(wù)器集群的可操作性，還必須要有一個(gè)實(shí)時(shí)監(jiān)控的功能，用于對(duì)服務(wù)器端集群的實(shí)時(shí)監(jiān)控。實(shí)時(shí)監(jiān)控需要監(jiān)控下面三個(gè)主要方面的內(nèi)容：1）文件同步情況：監(jiān)控所有個(gè)人用戶的文件的同步情況；2）云存儲(chǔ)集群的運(yùn)行情況：對(duì)云存儲(chǔ)集群的運(yùn)行發(fā)問我們必須有采取相對(duì)就的策略，實(shí)時(shí)對(duì)其進(jìn)行監(jiān)控，主監(jiān)控的監(jiān)控內(nèi)容有集群的硬件利用率、存儲(chǔ)空間的使用率和個(gè)人用戶數(shù)據(jù)的存放情況；3）元服務(wù)器的運(yùn)行情況：元服務(wù)器是服務(wù)器集群中的大腦，對(duì)它的監(jiān)控是不可或缺的，這部分的內(nèi)容包括系統(tǒng)的硬盤、CPU、內(nèi)存以及線程并發(fā)數(shù)等等的使用情況。

4.結(jié)語

我們探討了大數(shù)據(jù)云存儲(chǔ)的當(dāng)前現(xiàn)狀和研究意義，Hadoop是未來存儲(chǔ)領(lǐng)域的趨勢(shì)。對(duì)Hadoop分布式文件系統(tǒng)的研究能推動(dòng)Hadoop的發(fā)展與推廣。然后通過對(duì)基于Hadoop與SSM框架的大數(shù)據(jù)云存儲(chǔ)平臺(tái)的初步探索，了解到采用Hadoop搭建分布式文件系統(tǒng)的可行性與SSM開發(fā)用戶請(qǐng)求處理平臺(tái)的關(guān)系。

[1]劉鵬．云計(jì)算-將計(jì)算變成水和電[J]．中國計(jì)算機(jī)學(xué)會(huì)通訊,2009,5(10)∶49-54．

[2]張唯維．云計(jì)算用戶數(shù)據(jù)傳輸與存儲(chǔ)安全方案研究[D]．北京∶北京郵電大學(xué),2011．

[3]王彩亮．云存儲(chǔ)環(huán)境下數(shù)據(jù)副本管理策略研究[D]．昆明∶云南大學(xué),2011．

[4]周可,王樺,李春花．云存儲(chǔ)技術(shù)及其應(yīng)用[J]．中興通訊技術(shù),2010,16⑷∶24-27．

[5]陳濤．云計(jì)算理論及技術(shù)研究[J]．重慶交通大學(xué)學(xué)報(bào),2009,9(4)∶104-106．

[6]余寅輝,余鎮(zhèn)危,楊傳棟,等．SAN存儲(chǔ)系統(tǒng)的性能分析模型[J]．計(jì)算機(jī)工程,2007,33(10)∶271-273．

[7]劉金柱．NAS網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究[D]．武漢∶華中科技大學(xué),2009．

[8]陳康,鄭煒民．云計(jì)算∶系統(tǒng)實(shí)例與研究現(xiàn)狀[J]．軟件學(xué)報(bào),2009,20(5)∶1338-1339．

[9]張為民,唐劍峰．云計(jì)算∶深刻改變未來[M]．北京∶科學(xué)出版社,2009,1．