云計算的數(shù)據(jù)存儲技術(shù)

阮從昊

摘 要

隨著計算機信息技術(shù)的發(fā)展，一種新型的計算模式——云計算逐漸興起，云計算具有超強的計算能力、可靠性、虛擬性、通用性、按需付費等特點，因此云計算近年來發(fā)展迅速，已經(jīng)成為未來計算機發(fā)展的方向。本文主要闡述了云計算和云儲存的概念，并分析了云計算環(huán)境下云計算數(shù)據(jù)存儲Google File System和Hadoop Distributed File System兩種存儲數(shù)據(jù)。

【關(guān)鍵詞】云計算 云儲存 數(shù)據(jù)存儲技術(shù)

21世紀是信息知識爆炸的年代，每天產(chǎn)生海量的信息，企業(yè)需要處理和存儲的數(shù)據(jù)信息越來越多。如果按照傳統(tǒng)計算機算法，企業(yè)為了存儲信息需要購置大量的硬件設(shè)施和軟件設(shè)施，并需要專人對數(shù)據(jù)信息進行管理，對設(shè)備進行維護，需要耗費大量的人力和物力成本。而云計算這種計算方式，省去了企業(yè)管理和維修的麻煩，企業(yè)可以將大量的數(shù)據(jù)信息放在服務(wù)器或者云端，企業(yè)只需要支付少量的管理費用，就能隨時調(diào)取云端的數(shù)據(jù)信息，并享受圖片處理、歸檔服務(wù)、音視頻轉(zhuǎn)碼等多種數(shù)據(jù)增值服務(wù)。

1 云計算與云存儲的概念

1.1 云計算

根據(jù)美國國家標準與技術(shù)研究院的定義：云計算是一種按使用量付費的模式，這種模式提供便捷的、可用的、按需的網(wǎng)絡(luò)訪問，用戶只需要進入到可配置的計算資源共享池，包括服務(wù)器、存儲、網(wǎng)絡(luò)、應(yīng)用軟件和服務(wù)器等，云端管理人員只要通過少量的管理或者與服務(wù)商進行少量的交互，就能實現(xiàn)對云端的管理。云其實是互聯(lián)網(wǎng)的一種比喻說法，通過云計算可以將數(shù)據(jù)信息存儲在計算機中，這里的計算機指的是遠程服務(wù)器。然后企業(yè)根據(jù)自己的需求，對計算機存儲系統(tǒng)進行訪問，并將信息資源直接切換到實際應(yīng)用方面。計算機直接將主機功能交給了云端，云端的計算能力就跟水電一樣，成為了一種商品，這就促使傳統(tǒng)計算機方式向現(xiàn)代計算機方式轉(zhuǎn)變。

1.2 云儲存

云儲存是在云計算的基礎(chǔ)上提出的，它與云計算有很多相同的地方。云計算主要是通過網(wǎng)絡(luò)技術(shù)、集群應(yīng)用和分布式文件系統(tǒng)，利用應(yīng)用軟件將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備連接起來，共同合作，對外提供業(yè)務(wù)訪問和數(shù)據(jù)存儲功能。云存儲與傳統(tǒng)的存儲模式相比，它是一種特殊的構(gòu)架服務(wù)，它必須建立在互聯(lián)網(wǎng)基礎(chǔ)上，為用戶提供在線的存儲服務(wù)。用戶不需要考慮存儲器中的容量、數(shù)據(jù)存儲位置、安全等問題，只需要按時付費就可以了。

2 云計算的數(shù)據(jù)存儲技術(shù)

云計算存儲技術(shù)具有比較明顯的兩個特點：第一是高傳輸率，第二是高吞吐率。當前，云計算存儲技術(shù)比較主要有谷歌開發(fā)的非開源的GFS和Hadoop團隊開發(fā)的HDFS技術(shù)。不過后者在IT廠商應(yīng)用的比較廣泛。

2.1 Google File System

Google File System簡稱GFS，這種存儲技術(shù)不僅開源擴展，而且是分布式的，廣泛應(yīng)用在分布式的數(shù)據(jù)訪問。它的硬件價格比較低，但是卻提供了容錯的功能。每一個GFS都是由一個master和多個chunkserver構(gòu)成，能夠提供多用戶的訪問權(quán)限，只要用戶的訪問資源不受限制。chunkserver可以和訪問同時進行。GFS系統(tǒng)文件被分成很多個小塊，每一個小塊的標識是chunk—handle，chunk—handle由master分配。為了保證數(shù)據(jù)的安全性和可靠性，GFS系統(tǒng)文件會被復(fù)制在多個chunk—handle上，文件的副本由用戶決定，master會對系統(tǒng)文件進行維護。比如系統(tǒng)訪問控制、空間名字。此外它還可以控制系統(tǒng)的活動范圍，chunkserver間的遷移和單個模塊的垃圾收集等。master還會定期發(fā)布指令給chunkserver，讓chunkserver收集它的發(fā)展狀態(tài)。目前谷歌公司開發(fā)的GFS客戶代碼基本已經(jīng)實現(xiàn)了系統(tǒng)文件的AP，所以用戶與master的數(shù)據(jù)交換，之限制元數(shù)據(jù)操作，存儲數(shù)據(jù)直接和chunkserver聯(lián)系，chunkserver和文件數(shù)據(jù)客戶不會緩存。

2.2 Hadoop Distributed File System（HDFS）

Hadoop分布式文件系統(tǒng)是HDFS由多個存儲數(shù)據(jù)的終點和管理節(jié)點構(gòu)成的。它的中心服務(wù)器是namenode，客戶端和文件管理系統(tǒng)namenode對文件進行訪問。每一個namenode節(jié)點都有一臺普通的計算機對應(yīng)，運行時與單機計算機文件系統(tǒng)類似，可以在文件系統(tǒng)常見名錄、更改文件名。其實系統(tǒng)的底層已經(jīng)把文件分割成了Block，并將這些Block進行不同的存儲，從而達到容錯的目的。namenode是HDFS文件系統(tǒng)的核心內(nèi)容，它可以維護一些數(shù)據(jù)結(jié)果，再把記錄文件分割成Block，并在namenode獲得相關(guān)的消息。

3 結(jié)語

云計算是一種新型的計算模式，它必須依靠大數(shù)據(jù)或者在大數(shù)據(jù)的基礎(chǔ)上，為計算機用戶提供服務(wù)和幫助。為了確保計算機數(shù)據(jù)的可靠性和安全性，云計算對云端數(shù)據(jù)采取了分層存儲的方式，為用戶提供多層次的安全防護。但是如今云計算的安全問題依然是用戶關(guān)心的重點。云存儲已經(jīng)是未來存儲的一種趨勢。當前各大云存儲運營商正在積極開發(fā)應(yīng)用技術(shù)、搜索和云存儲相結(jié)合的技術(shù)，為用戶提供更加便利的服務(wù)，但是云存儲的發(fā)展還須加強云存儲的安全防護功能和技術(shù)研究。

參考文獻

[1]劉曉輝.試析計算機云計算的數(shù)據(jù)存儲技術(shù)[J].通訊世界，2015（21）：257-257.

[2]耿麗娟.基于云計算的數(shù)據(jù)存儲技術(shù)探索[J].科技尚品，2016（03）：174-174.

[3]蔣穗，祁杰.數(shù)據(jù)存儲技術(shù)在云環(huán)境下的應(yīng)用特性分析[J].移動通信，2013（11）：42-44.

作者單位

河南省師范大學附屬中學 河南省新鄉(xiāng)市 453002