基于云計(jì)算的云數(shù)據(jù)管理技術(shù)

展鵬飛

（中國(guó)航天科技國(guó)際交流中心 北京市 100048）

云計(jì)算是在現(xiàn)階段發(fā)展相對(duì)比較快的，對(duì)數(shù)據(jù)進(jìn)行管理的一種技術(shù)，自從他誕生以來(lái)，人們就在逐漸的將網(wǎng)絡(luò)資源和資源的儲(chǔ)備，以各種服務(wù)的方式向客戶提供，而這種轉(zhuǎn)變使得人們對(duì)計(jì)算機(jī)的操控方式產(chǎn)生了本質(zhì)的改變。因此，我們?yōu)榱四軌蚋玫捻槕?yīng)未來(lái)云計(jì)算技術(shù)的發(fā)展趨勢(shì)，我們就必須對(duì)其進(jìn)行深入的探討與研究，我們只有這樣做，才能夠?qū)?shù)據(jù)的安全性得到保障，與此同時(shí)，通過(guò)對(duì)云數(shù)據(jù)的管理技術(shù)和云計(jì)算技術(shù)進(jìn)行深入的研究，還能夠極大的推動(dòng)我國(guó)計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展，有著非常強(qiáng)的現(xiàn)實(shí)意義。

1 云計(jì)算概念以及它的特點(diǎn)

近些年來(lái)，隨著我國(guó)科技水平不斷提升和市場(chǎng)經(jīng)濟(jì)的不斷發(fā)展，我國(guó)對(duì)相關(guān)數(shù)據(jù)的管理水平也有著明顯的提升。現(xiàn)階段云計(jì)算最新技術(shù)，已經(jīng)廣泛應(yīng)用到許多領(lǐng)域上，同時(shí)云計(jì)算的廣泛應(yīng)用，也使得我國(guó)的云數(shù)據(jù)管理工作有了本質(zhì)上的提升，具有里程碑式的意義。改革開(kāi)放以來(lái)，特別是進(jìn)入20 世紀(jì)以來(lái)，我國(guó)的經(jīng)濟(jì)正在以飛快的速度發(fā)展著，我國(guó)的科學(xué)技術(shù)也在不斷取得重大突破，從而極大地促進(jìn)了我國(guó)互聯(lián)網(wǎng)技術(shù)的普及與發(fā)展，與此同時(shí)，它還推動(dòng)了我國(guó)各行各業(yè)的綜合發(fā)展，極大得便利了人們的日常生活。在這一客觀背景下，各行各業(yè)為了更好的適應(yīng)市場(chǎng)，提高自身的競(jìng)爭(zhēng)力，都在積極的引進(jìn)先進(jìn)的技術(shù)，總的來(lái)看，這在一定程度上促進(jìn)了我國(guó)很多行業(yè)的發(fā)展，但他還導(dǎo)致了一些非常嚴(yán)重的問(wèn)題，這些問(wèn)題往往都不是明顯的，是潛在的。所以我們?cè)诎l(fā)展的同時(shí)，必須給予這些問(wèn)題足夠的重視，盡可能的避免危害產(chǎn)生。

我們這里所講的云計(jì)算技術(shù)指的是那些在現(xiàn)階段，對(duì)互聯(lián)網(wǎng)數(shù)據(jù)處理效率較高的一種數(shù)據(jù)處理技術(shù)，它本身?yè)碛兄姸鄡?yōu)勢(shì)，而其中最明顯的一個(gè)優(yōu)勢(shì)就是，效率更高，成本更低。我們通過(guò)日常生活中，相關(guān)的數(shù)據(jù)，就能夠明顯的看出，相比于那些傳統(tǒng)的計(jì)算方式，云計(jì)算的成本更低。而這在很大程度上促進(jìn)了那些新成立的互聯(lián)網(wǎng)公司的發(fā)展，因?yàn)閷?duì)這些新成立的公司而言，所需要投入的資金更少，風(fēng)險(xiǎn)也更低，與實(shí)體的對(duì)數(shù)據(jù)進(jìn)行計(jì)算的計(jì)算技術(shù)相比，云計(jì)算技術(shù)，有著明顯的不同，其中最代表性的就是云計(jì)算技術(shù)是通過(guò)計(jì)算機(jī)為載體通過(guò)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行處理的一種技術(shù)，是一種虛擬的技術(shù)，他能夠非常高效的，配置和整理，那些存在于計(jì)算機(jī)中的資源，他還能夠在很大程度上將用戶的成本降低，最重要的是他的工作效率非常高，并且穩(wěn)定性也比較高。

與此同時(shí)，它還能夠?qū)⑴c計(jì)算過(guò)程相關(guān)的內(nèi)容合理的分配在計(jì)算機(jī)各個(gè)部分中，將那些比較復(fù)雜的問(wèn)題簡(jiǎn)單化，這就極大的緩解了用戶在使用計(jì)算機(jī)時(shí)的壓力，利用云計(jì)算技術(shù)，用戶在對(duì)相關(guān)數(shù)據(jù)進(jìn)行計(jì)算時(shí)，有著較大的自由發(fā)揮度，云計(jì)算技術(shù)允許用戶在計(jì)算時(shí)，將自己的想法融入到計(jì)算過(guò)程中，從而使得用戶可以按照自己習(xí)慣的方式來(lái)進(jìn)行操作和控制。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，人們?cè)絹?lái)越重視云計(jì)算技術(shù)。在發(fā)展初期，云計(jì)算技術(shù)主要是應(yīng)用在相關(guān)的搜索引擎上，這主要是由于以前的互聯(lián)網(wǎng)技術(shù)不夠發(fā)達(dá)，相關(guān)的公司，也沒(méi)有非常雄厚的資金，這些公司為了更好的控制成本，就選擇了那些成本相對(duì)比較低的計(jì)算機(jī)處理技術(shù)，進(jìn)而云計(jì)算技術(shù)得到了產(chǎn)生并不斷發(fā)展，在操作方面上，云計(jì)算對(duì)用戶比較友好，他的操作難度比較低，用戶在使用云計(jì)算技術(shù)進(jìn)行計(jì)算時(shí)，并不需要非常專(zhuān)業(yè)的技術(shù)，同時(shí)，云計(jì)算在獲取相關(guān)信息和數(shù)據(jù)方面的速度也比較快，用戶在獲取相關(guān)內(nèi)容和信息時(shí)，能夠?qū)⒆约旱囊笕谌肫渲?，然后將信息與內(nèi)容統(tǒng)一起來(lái)。

云計(jì)算技術(shù)有許多免費(fèi)的操作，這些免費(fèi)的操作能夠在很大程度上滿足用戶的日常需要，但如果用戶所需要的功能比較特殊，還可以進(jìn)行單獨(dú)的付費(fèi)運(yùn)行，用戶們通過(guò)付費(fèi)，可以獲得更多更專(zhuān)業(yè)的服務(wù)，與此同時(shí)，用戶還可以組建那些成本比較低的模塊，建立起一個(gè)與云計(jì)算服務(wù)相關(guān)的平臺(tái)，現(xiàn)階段，國(guó)內(nèi)的互聯(lián)網(wǎng)公司很多都是為他們的用戶提供相關(guān)的互聯(lián)網(wǎng)服務(wù)的，而隨著我國(guó)云計(jì)算技術(shù)不斷的發(fā)展，它們的服務(wù)也將會(huì)不斷得到創(chuàng)新與改善。云計(jì)算還有著許多其他的特點(diǎn)，例如較強(qiáng)的擴(kuò)展性和管理性，除此之外，他還具有服務(wù)多樣化，經(jīng)濟(jì)可靠性高的特點(diǎn)，如果我們想要建造一個(gè)服務(wù)水平較高的云計(jì)算服務(wù)平臺(tái)，那么我們就必須投入大量的資金，但是在計(jì)算機(jī)比較密集的商業(yè)圈中，我們所需要投入的資金就比較少，云計(jì)算技術(shù)的多樣性集中體現(xiàn)在，用戶在使用云計(jì)算時(shí)，可以根據(jù)用戶不同的需求提供不同的服務(wù)。而應(yīng)用云計(jì)算技術(shù)的門(mén)檻也比較低，用戶在使用云計(jì)算技術(shù)時(shí)，并不需要對(duì)云計(jì)算的相關(guān)原理進(jìn)行深入的研究，它們也能夠得到自己需要的相關(guān)服務(wù)，由于云計(jì)算技術(shù)主要是以計(jì)算機(jī)為載體來(lái)發(fā)揮自身作用的，因此計(jì)算機(jī)的性能在很大程度上影響著云計(jì)算技術(shù)，我們能夠通過(guò)提高計(jì)算機(jī)的性能，從而提高它的服務(wù)水平，與此同時(shí)，在對(duì)相關(guān)數(shù)據(jù)進(jìn)行處理時(shí)，我們還可以將多臺(tái)計(jì)算機(jī)聯(lián)合，進(jìn)而提升處理數(shù)據(jù)的正確性。

2 云數(shù)據(jù)管理技術(shù)

隨著現(xiàn)階段科學(xué)技術(shù)水平，不斷的進(jìn)步，使得互聯(lián)網(wǎng)技術(shù)愈加成熟，而這都在客觀上促進(jìn)了云計(jì)算技術(shù)的發(fā)展，但是云計(jì)算技術(shù)的發(fā)展并不是一帆風(fēng)順的，它在發(fā)展的過(guò)程中同時(shí)出現(xiàn)了一些問(wèn)題，而這些問(wèn)題對(duì)于發(fā)展云計(jì)算技術(shù)起著很大的阻礙作用。例如，在眾多用戶之間，將數(shù)據(jù)進(jìn)行分隔的問(wèn)題，數(shù)據(jù)的安全性，數(shù)據(jù)修復(fù)技術(shù)等等，這些問(wèn)題非常不利于云計(jì)算技術(shù)的發(fā)展。所以為了云計(jì)算技術(shù)能夠更好的發(fā)展，我們必須基于這些問(wèn)題足夠的重視與關(guān)注，把工作的重心放在，對(duì)云計(jì)算管理技術(shù)的研究方面上，不斷完善云計(jì)算的各項(xiàng)服務(wù)和功能，對(duì)數(shù)據(jù)的集合問(wèn)題進(jìn)行有針對(duì)性的研究，以此來(lái)保證信息系統(tǒng)能夠有效的將眾多數(shù)據(jù)的集合進(jìn)行處理.

與此同時(shí)，為了能夠更好的對(duì)組織文件和數(shù)據(jù)的管理問(wèn)題進(jìn)行處理，我們可以在實(shí)際工作中利用那些先進(jìn)的數(shù)據(jù)管理技術(shù)。例如，谷歌公司，為了能夠更好的對(duì)數(shù)據(jù)進(jìn)行儲(chǔ)存，它們存在研究big table 技術(shù)，并且這項(xiàng)技術(shù)已經(jīng)出具形態(tài)，云數(shù)據(jù)管理技術(shù)是即數(shù)據(jù)庫(kù)管理系統(tǒng)和網(wǎng)絡(luò)數(shù)據(jù)管理之后的一個(gè)正在飛速發(fā)展的技術(shù)，它主要從分布式特點(diǎn)和結(jié)構(gòu)化入手，將數(shù)據(jù)進(jìn)行轉(zhuǎn)化，并以云數(shù)據(jù)管理系統(tǒng)，對(duì)其進(jìn)行管理，這項(xiàng)技術(shù)有著許多優(yōu)勢(shì)，它的數(shù)據(jù)讀取方式更符合人們的習(xí)慣，同時(shí)用戶在獲取數(shù)據(jù)時(shí)更加方便，并且數(shù)據(jù)的可靠性較高。然而我們需要注意的是，云計(jì)算管理系統(tǒng)本身別不能處理關(guān)系型的數(shù)據(jù)，因此我們?yōu)榱四軌蚴瓜嚓P(guān)數(shù)據(jù)系統(tǒng)更加多樣化，就需要相應(yīng)的提高它的數(shù)據(jù)牽引功能和查詢(xún)功能，并且，現(xiàn)階段的云數(shù)據(jù)智能水平還不夠高，為了能夠更好的服務(wù)于我們的需求，我們就必須完善其智能形式，提高其智能水平，以此來(lái)滿足人們?nèi)粘５男枨?，為用戶提供更多樣化的服?wù)。云數(shù)據(jù)管理技術(shù)主要有以下幾種技術(shù)，以下將對(duì)其進(jìn)行分析。

2.1 Gfs技術(shù)

Gfs 本身是屬于那些分布式的大型文件系統(tǒng)，它可以?xún)?chǔ)存大量的谷歌云計(jì)算，數(shù)據(jù)，與此同時(shí)它還合理的融合了big table，chubby 現(xiàn)階段比較先進(jìn)的技術(shù)，它可以有效的解決那些針對(duì)谷歌的運(yùn)算問(wèn)題，Gfs. 技術(shù)系統(tǒng)主要有主服務(wù)器，數(shù)據(jù)模塊，服務(wù)器用戶端，三個(gè)方面組成。用戶端的作用在于它可以利用各種程序允許用戶對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)，它以庫(kù)文件為傳遞方式，相關(guān)程序可以利用庫(kù)運(yùn)算以及庫(kù)文件進(jìn)行連接，Gfs 的核心部分是主服務(wù)器，主服務(wù)器可以有效的儲(chǔ)存眾多的云數(shù)據(jù)，而數(shù)據(jù)模塊服務(wù)器是一個(gè)具體化的管理模塊。與前兩者相比，它的數(shù)量比較多，在大多數(shù)情況下，它的數(shù)量收到系統(tǒng)規(guī)模的直接影響。在gfs 中，64 MB. 是它的默認(rèn)容量，它在對(duì)文件進(jìn)行分類(lèi)時(shí)，往往采用模塊化的方式，每個(gè)模塊都是一個(gè)單獨(dú)的數(shù)據(jù)快，并且在這些數(shù)據(jù)塊中，有著不同的索引號(hào)，用戶在用戶端對(duì)Gfs 系統(tǒng)進(jìn)行訪問(wèn)時(shí)，首先需要訪問(wèn)主服務(wù)器，然后降速巨快服務(wù)器獲取相關(guān)的信息，最后再訪問(wèn)各個(gè)數(shù)據(jù)庫(kù)服務(wù)器，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的提取和存入。Gfs 系統(tǒng)可以將控制流和數(shù)據(jù)流進(jìn)行有效的分離，由于控制流僅僅在服務(wù)器和用戶端之間存在，它還可以將主服務(wù)器的負(fù)載有效的降低，這就突破了系統(tǒng)性能固有的局限性，數(shù)據(jù)快服務(wù)器與用戶端之間，僅需要對(duì)相關(guān)數(shù)據(jù)進(jìn)行傳輸就可以了，最終這些文件以分布式的形式進(jìn)行儲(chǔ)存，而這一切就使得用戶能夠?qū)崟r(shí)的訪問(wèn)多個(gè)數(shù)據(jù)塊服務(wù)器，與此同時(shí)，它還可以實(shí)現(xiàn)系統(tǒng)進(jìn)行高效的并行處理，促進(jìn)整個(gè)系統(tǒng)性能的提升。

2.2 Map reduce技術(shù)

為了能夠更有效快速的對(duì)志愿和信息進(jìn)行運(yùn)用，云計(jì)算可以利用Map reduce. 程序來(lái)編寫(xiě)相關(guān)模式，在這種模式下，它的操作主要有兩種類(lèi)型，一個(gè)是，Map. 一個(gè)是Reduce. Map. 還說(shuō)能夠有效的分解相關(guān)任務(wù)，讓他可以在單獨(dú)的節(jié)點(diǎn)上，處理相應(yīng)的子任務(wù)，然后再對(duì)數(shù)據(jù)進(jìn)行處理和調(diào)度之后，實(shí)現(xiàn)值/對(duì)集合，然 reduce 函數(shù)，所以實(shí)際需求為出發(fā)點(diǎn)，通過(guò)對(duì)Map. 還說(shuō)進(jìn)行合并和分類(lèi)，處理后的集合，這樣可以更方便的求出最終結(jié)果，Map reduce. 技術(shù)，從現(xiàn)實(shí)需求出發(fā)，能夠非常有效的分解那些復(fù)雜大量的云數(shù)據(jù)，除此之外，每個(gè)節(jié)點(diǎn)還能夠，以靈活的方式，有效的處理相關(guān)數(shù)據(jù)，從而使得云計(jì)算的數(shù)據(jù)儲(chǔ)存和資源處理得到不斷的優(yōu)化和提升.

2.3 Big table.技術(shù)

在我國(guó)科技水平不斷提升，經(jīng)濟(jì)不斷發(fā)展的大背景下，我國(guó)相關(guān)的數(shù)據(jù)管理水平也在不斷的提高，現(xiàn)階段，由于云計(jì)算技術(shù)的出現(xiàn)以及廣泛應(yīng)用，使得我們?cè)趯?duì)數(shù)據(jù)的管理方面出現(xiàn)了很大的改變，極大提高了人們對(duì)數(shù)據(jù)管理的效率和準(zhǔn)確性，促進(jìn)了數(shù)據(jù)管理的高速發(fā)展，而正是由于其本身獨(dú)特的優(yōu)勢(shì)，使得它普遍的在互聯(lián)網(wǎng)得到應(yīng)用。其中，BigTable 技術(shù)是基于GFS 技術(shù)和MapReduce技術(shù)的大規(guī)模分布式數(shù)據(jù)庫(kù)，其實(shí)質(zhì)是一個(gè)大規(guī)模的表格，容量高達(dá)1PB，將云數(shù)據(jù)視作對(duì)象來(lái)計(jì)算和管理。其實(shí)，Big-Table 是數(shù)據(jù)化管理的分布式存儲(chǔ)系統(tǒng)，擴(kuò)展性較好，比如目前許多谷歌應(yīng)用程序都基于BigTable 技術(shù)，企業(yè)服務(wù)器高達(dá)PB 規(guī)模的存儲(chǔ)容量等。Big Table 本質(zhì)是有序的、多維的、分布式的Map 各單元格通過(guò)行關(guān)鍵字、列關(guān)鍵字來(lái)進(jìn)行定位。

3 云數(shù)據(jù)管理整體構(gòu)架分析

在當(dāng)前時(shí)代不斷，進(jìn)一步與發(fā)展的大背景下，云計(jì)算的數(shù)據(jù)管理技術(shù)也在不斷的更新和完善，現(xiàn)階段云數(shù)據(jù)管理整體構(gòu)架主要有四個(gè)層面構(gòu)成，它包括數(shù)據(jù)分析，數(shù)據(jù)集成和管理，并行處理數(shù)據(jù)組織以及管理。這是四部分，相互配合，將云計(jì)算數(shù)據(jù)管理技術(shù)得到了充分的發(fā)揮，首先在在數(shù)據(jù)管理和組織層面，在組織方面主要是分布式的儲(chǔ)存，這一數(shù)據(jù)儲(chǔ)存方式可以有效的對(duì)分布式和大規(guī)模的數(shù)據(jù)庫(kù)進(jìn)行有效的查詢(xún)與訪問(wèn)，它還能夠直接的作用于普通的硬件設(shè)備中。除此之外，它的容錯(cuò)能力也比較好，他能夠?qū)?shù)據(jù)進(jìn)行真實(shí)快速和準(zhǔn)確的存取。第二，在數(shù)據(jù)集成和管理層面，語(yǔ)音數(shù)據(jù)本身就有著巨大的容量，以及較高的結(jié)構(gòu)差異性和不確定性，對(duì)數(shù)據(jù)進(jìn)行管理時(shí)運(yùn)用分布式的管理技術(shù)，能夠非常有效得提高對(duì)數(shù)據(jù)的分析和計(jì)算能力，成為更好的滿足用戶的需求，更有效的解決用戶的問(wèn)題。第三，并行處理層面，在以云計(jì)算為核心的云數(shù)據(jù)管理模式中，用戶能夠使用并行程序編寫(xiě)模式。例如，map reduce 并行處理，能夠有效的將操作任務(wù)進(jìn)行分解，更有效的對(duì)資源并行處理和調(diào)度相關(guān)資源。第四，數(shù)據(jù)分析層面，云數(shù)據(jù)管理最后一個(gè)步驟就是，合理利用相關(guān)的數(shù)據(jù)分析技術(shù)，同時(shí)通過(guò)數(shù)據(jù)分析引擎來(lái)合理的調(diào)度和語(yǔ)義分析技術(shù)，以此來(lái)對(duì)相關(guān)信息資源實(shí)現(xiàn)深度的挖掘，幫助用戶們?cè)诒姸嗟男畔⒑蛿?shù)據(jù)中，找出對(duì)他們有用的信息。

4 結(jié)束語(yǔ)

綜上所述，云計(jì)算本身就有著許多優(yōu)勢(shì)，它可以更高效的處理相關(guān)數(shù)據(jù)，并且處理數(shù)據(jù)和對(duì)數(shù)據(jù)進(jìn)行管理的成本比較低，對(duì)新建的互聯(lián)網(wǎng)公司比較友好，它可以幫助企業(yè)在日常的活動(dòng)中，提升工作效率，計(jì)算機(jī)網(wǎng)絡(luò)在未來(lái)會(huì)不斷的得到發(fā)展，相應(yīng)得云計(jì)算技術(shù)也會(huì)得到發(fā)展。但是，在現(xiàn)階段云計(jì)算的發(fā)展過(guò)程中，也存在著許多急需解決的問(wèn)題，這些問(wèn)題嚴(yán)重阻礙著云計(jì)算技術(shù)的發(fā)展，為此我們必須基于這些問(wèn)題足夠的關(guān)注與重視，不斷的完善相關(guān)技術(shù)，努力創(chuàng)造和完善更多的數(shù)據(jù)處理方式，從多方面入手，真正得讓云計(jì)算技術(shù)得到發(fā)展與完善。