大數(shù)據(jù)背景下企業(yè)分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

朱彤

（西安中興新軟件有限責(zé)任公司，陜西 西安 710000）

0 引言

隨著大數(shù)據(jù)時(shí)代和云存儲(chǔ)的到來(lái)，各個(gè)企業(yè)公司在日常運(yùn)營(yíng)中所產(chǎn)生的數(shù)據(jù)量和信息量也在日益增加，人們?cè)跀?shù)據(jù)存儲(chǔ)問(wèn)題也隨之日益突出，雖然市場(chǎng)上所供應(yīng)的硬盤(pán)存儲(chǔ)越來(lái)越大，但是在大部分的情況下用戶對(duì)這些存儲(chǔ)空間并沒(méi)有做到充分的利用，對(duì)數(shù)據(jù)安全性的需求也變得更加突出。大型企業(yè)每天所產(chǎn)生的數(shù)據(jù)量更是數(shù)以億計(jì)，企業(yè)也對(duì)公司內(nèi)部的存儲(chǔ)需求更加完整，不但對(duì)數(shù)據(jù)的存儲(chǔ)容量有了更大的要求，而且還需要對(duì)數(shù)據(jù)的讀取訪問(wèn)速度更大迅速，還要能隨時(shí)可以保證數(shù)據(jù)的安全性，在遇到突發(fā)性事故或一些不可預(yù)測(cè)的情況下，需要數(shù)據(jù)能夠自動(dòng)備份，不至于造成數(shù)據(jù)丟失的現(xiàn)象。在這個(gè)大數(shù)據(jù)的世代，每一次數(shù)據(jù)的丟失都會(huì)給公司和企業(yè)造成難以估計(jì)的損失。所以，這里引出了分布式存儲(chǔ)的思想，針對(duì)公司總部到分支機(jī)構(gòu)的文件共享和快速訪問(wèn)的問(wèn)題提出解決方案，為企業(yè)搭建一個(gè)可靠、容錯(cuò) 、容量巨大的存儲(chǔ)系統(tǒng)。

1 企業(yè)分布式系統(tǒng)需求分析

1.1 實(shí)現(xiàn)基本的文件共享功能

隨著現(xiàn)如今企業(yè)公司的普及，企業(yè)對(duì)文件的存取方式也有了更多的需求，為了能夠在企業(yè)中能夠?qū)崿F(xiàn)高效率辦公的需求，企業(yè)都會(huì)選擇要能夠使得日常辦公文件存儲(chǔ)到一個(gè)容器上，這個(gè)容器每個(gè)人都能夠訪問(wèn)，已達(dá)到資源共享的目的，能夠使企業(yè)辦公提高效率的同時(shí)，還能節(jié)約企業(yè)的投入成本[1-2]。

1.2 實(shí)現(xiàn)異地的高效訪問(wèn)

隨著企業(yè)的發(fā)展和其規(guī)模的不斷擴(kuò)大，當(dāng)企業(yè)規(guī)模達(dá)到一定的程度后，就會(huì)在不同的城市，不同的地方發(fā)展起來(lái)一些分公司進(jìn)行營(yíng)業(yè)，為了能夠使得分公司與總公司的數(shù)據(jù)得到同步，當(dāng)分公司在較遠(yuǎn)的地方訪問(wèn)總公司的網(wǎng)絡(luò)使，難免會(huì)存在網(wǎng)絡(luò)的延遲，這使得數(shù)據(jù)的傳輸效率很大程度上受到影響，所以，怎么能夠使得分公司在異地能夠快速高效的訪問(wèn)總公司的網(wǎng)絡(luò)就顯得尤為重要了。

1.3 實(shí)現(xiàn)對(duì)存儲(chǔ)的高效管理

作為21世紀(jì)新時(shí)代的發(fā)展企業(yè)來(lái)說(shuō)，如何能夠高效的管理公司日常所產(chǎn)生的大規(guī)模數(shù)據(jù)的問(wèn)題已經(jīng)迫在眉睫，在這個(gè)智能化的時(shí)代里，傳統(tǒng)的數(shù)據(jù)管理模式已經(jīng)落伍了，企業(yè)如何能夠摒棄傳統(tǒng)的數(shù)據(jù)管理模式，達(dá)到數(shù)據(jù)的高效管理。

1.4 解決異地?cái)?shù)據(jù)中心的文件同步問(wèn)題

現(xiàn)代的數(shù)據(jù)中心是一個(gè)企業(yè)信息的命脈，他并不是絕對(duì)的安全的，公司的服務(wù)器也可能經(jīng)常會(huì)遇到一些突發(fā)性的災(zāi)害和事故，例如斷電，設(shè)備故障，自然自然災(zāi)害等情況，都會(huì)給企業(yè)的存儲(chǔ)系統(tǒng)帶來(lái)不可挽救的傷害。所以，怎么能在異地隨時(shí)隨地做到數(shù)據(jù)中心的文件同步也是一個(gè)企業(yè)迫不及待的需求。當(dāng)一個(gè)地方的服務(wù)器發(fā)生意外的情況下，能夠在另外的服務(wù)器上做到受損數(shù)據(jù)的恢復(fù)[1-2]。

2 企業(yè)分布式系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

現(xiàn)有一個(gè)企業(yè)需要搭建一個(gè)存儲(chǔ)系統(tǒng)，該企業(yè)的總公司（A公司）在北京，分公司（B公司）在西安，企業(yè)要求B公司每天都向A公司提交工作報(bào)告，并且兩個(gè)公司的工作報(bào)告都存儲(chǔ)到一個(gè)文件路徑下。

我們?cè)趯?shí)現(xiàn)這樣的存儲(chǔ)需求時(shí)，優(yōu)先考慮的就是以分布式存儲(chǔ)系統(tǒng)的環(huán)境來(lái)實(shí)現(xiàn)，分布式存儲(chǔ)可以滿足公司的文件存儲(chǔ)的基本要求，而且，使用分布式存儲(chǔ)能夠大量節(jié)約企業(yè)的設(shè)備成本。我們首先在A公司服務(wù)器上安裝配置Active Directory服務(wù)，該服務(wù)用于管理企業(yè)子公司對(duì)服務(wù)器文件的訪問(wèn)權(quán)限。然后為A公司和B公司同時(shí)配置DFS服務(wù)，創(chuàng)建DFS復(fù)制的文件共享路徑，在該路徑文件夾下可以實(shí)現(xiàn)文件的共享功能。

在完成了上述的操作過(guò)程后，該分布式存儲(chǔ)系統(tǒng)能使企業(yè)的總公司和分公司服務(wù)器實(shí)現(xiàn)文件的共享功能，當(dāng)其中某一個(gè)公司的服務(wù)器發(fā)生意外不能正常工作時(shí)，我們可以先使用另一個(gè)公司的服務(wù)器進(jìn)行臨時(shí)工作，等服務(wù)器恢復(fù)正常后可以使用另一臺(tái)服務(wù)器為該服務(wù)器進(jìn)行數(shù)據(jù)的同步。假設(shè)一個(gè)用戶需要訪問(wèn)該企業(yè)在北京公司的數(shù)據(jù)信息，該用戶現(xiàn)在人處于西安的地理位置，那么該次訪問(wèn)用戶會(huì)優(yōu)先訪問(wèn)到西安公司的服務(wù)器，這樣就會(huì)最大化減少訪問(wèn)的延遲，做到異地的高效訪問(wèn)。

2.1 進(jìn)行Windows Server 2008的安裝和配置

首先設(shè)置了虛擬機(jī)的電腦名稱和系統(tǒng)類型，根據(jù)模擬實(shí)驗(yàn)的需求，我們選擇了使用window 2008（64-bit）的版本類型進(jìn)行模擬實(shí)驗(yàn)。

接著，開(kāi)始為新建的虛擬電腦設(shè)置運(yùn)行內(nèi)存的大小，系統(tǒng)會(huì)默認(rèn)建議設(shè)置為2048MB大小的運(yùn)行內(nèi)存，但是考慮到設(shè)備性能的限制，我們將虛擬電腦的運(yùn)行內(nèi)存降低到了1024MB.

開(kāi)始為window server 2008的操作系統(tǒng)創(chuàng)建硬盤(pán)的空間大小，選擇分配給虛擬電腦的存儲(chǔ)大小為80GB，為創(chuàng)建的虛擬操作系統(tǒng)命名為DC-01。接著為虛擬電腦設(shè)置網(wǎng)絡(luò)連接，選擇使用內(nèi)部網(wǎng)絡(luò)連接，這樣選擇是為了能夠使兩臺(tái)虛擬設(shè)備能夠更容易的連接到同一個(gè)網(wǎng)段[3]。

接下來(lái)就可以選擇之前準(zhǔn)備好的window server 2008的鏡像操作系統(tǒng)作為啟動(dòng)盤(pán)來(lái)完成我們的系統(tǒng)安裝了。本次模擬實(shí)驗(yàn)將要使用到兩臺(tái)虛擬設(shè)備，所以還需要為另外一臺(tái)虛擬設(shè)備安裝操作系統(tǒng)，操作方法與第一個(gè)虛擬設(shè)備的安裝方法一樣，為第二臺(tái)虛擬設(shè)備命名為SVR01。

2.2 活動(dòng)目錄服務(wù)的安裝

在服務(wù)器管理器界面找到添加角色的功能，為服務(wù)器添加新的域管理人員。在添加角色向?qū)У慕缑嫔希x擇我們需要為這個(gè)服務(wù)器上安裝的各種服務(wù)，在這次的模擬環(huán)境實(shí)驗(yàn)下，我們需要為這個(gè)操作系統(tǒng)安裝活動(dòng)目錄域服務(wù)和DNS服務(wù)?；顒?dòng)目錄服務(wù)和DNS服務(wù)的安裝只需要按照安裝流程分布進(jìn)行就可以了。接下來(lái)我們需要耐心等待服務(wù)安裝完成。

2.3 文件分布系統(tǒng)DFS的配置

首先我們需要在sql，vsphere兩臺(tái)服務(wù)器上都安裝DFS的文件復(fù)制服務(wù)，SVR01作為被同步的服務(wù)器，只需要為其安裝DFS的復(fù)制功能就行了。

在sql建立命名空間，這里需要設(shè)置命名空間的共享文件夾名稱，共享文件夾路徑等相關(guān)操作，為用戶設(shè)置對(duì)文件的讀取權(quán)限，為這個(gè)命名空間選擇為基于域的命名空間。開(kāi)始創(chuàng)建復(fù)制組test,選擇要?jiǎng)?chuàng)建的復(fù)制組的類型為多用途復(fù)制組，多用途復(fù)制組用于配置兩個(gè)或更多服務(wù)器之間的文件復(fù)制用于發(fā)布、內(nèi)用共享和其他方案。

在設(shè)置復(fù)制組的名稱和域時(shí)，需要選擇兩個(gè)或者更多將成為復(fù)制組成員的服務(wù)器，我們?cè)谶@里選擇添加SQL服務(wù)器和VSPHERE服務(wù)器?？紤]到我們的模擬實(shí)驗(yàn)應(yīng)用范圍是面向企業(yè)，在實(shí)際生產(chǎn)環(huán)境中，我們選擇使用交錯(cuò)拓?fù)涞耐負(fù)浞绞絒4-5]。

接下來(lái)，為我們的命名空間建立源復(fù)制文件夾，建立需要共享文件的目的文件服務(wù)器共享文件夾。

在SQL,VSPHERE服務(wù)器上測(cè)試我們的實(shí)驗(yàn)效果，在主服務(wù)器SQL上新建一個(gè)文件夾，該數(shù)據(jù)會(huì)被自動(dòng)同步到VSPHERE服務(wù)器上去，這個(gè)效果達(dá)到了我們的實(shí)驗(yàn)?zāi)康男枨蟆?/p>

3 結(jié)語(yǔ)

分布式存儲(chǔ)系統(tǒng)不但能夠存儲(chǔ)大規(guī)模的數(shù)據(jù)量，而且還具有可擴(kuò)展性的性能有點(diǎn)，具有很高的性價(jià)比，在信息工程的領(lǐng)域里得到了很多熱愛(ài)系統(tǒng)的專業(yè)人員的關(guān)注。我們從傳統(tǒng)的存儲(chǔ)系統(tǒng)為出發(fā)點(diǎn)，相比較與現(xiàn)在的那些主流的分布式存儲(chǔ)系統(tǒng)，得出了傳統(tǒng)的存儲(chǔ)系統(tǒng)和主流的分布式存儲(chǔ)系統(tǒng)的優(yōu)劣區(qū)別。接著，我們對(duì)分布式存儲(chǔ)系統(tǒng)的各種分類都進(jìn)行了其特點(diǎn)的分析研究，搭建分布式系統(tǒng)的操作方法有很多種，每一種方式方法都有其特有的優(yōu)點(diǎn)，具體使用什么樣的搭建方式需要根據(jù)我們?cè)趯?shí)際的工作環(huán)境下所遇到的具體問(wèn)題進(jìn)行分析，根據(jù)問(wèn)題的不同從而選擇不同的分布式存儲(chǔ)系統(tǒng)。