大數(shù)據(jù)時(shí)代數(shù)據(jù)管理技術(shù)研究綜述

馬凱航++高永明++吳止鍰++李磊

摘要：隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的快速發(fā)展，半結(jié)構(gòu)化和非結(jié)構(gòu)化等類型數(shù)據(jù)成幾何倍增長(zhǎng)，學(xué)習(xí)和使用大數(shù)據(jù)管理技術(shù)順應(yīng)時(shí)代發(fā)展潮流。本文從數(shù)據(jù)管理技術(shù)的發(fā)展進(jìn)程出發(fā)，介紹了人工管理方式、文件系統(tǒng)管理方式、數(shù)據(jù)庫(kù)管理方式三種階段的管理方式。然后詳細(xì)介紹了關(guān)系數(shù)據(jù)庫(kù)和NoSQL非關(guān)系數(shù)據(jù)庫(kù)，并且將兩者從三種角度進(jìn)行了對(duì)比。最后對(duì)未來(lái)大數(shù)據(jù)時(shí)代數(shù)據(jù)管理方式作出了展望。

關(guān)鍵詞：計(jì)算機(jī)應(yīng)用技術(shù)；大數(shù)據(jù)；數(shù)據(jù)管理技術(shù)；關(guān)系數(shù)據(jù)庫(kù)；NoSQL數(shù)據(jù)庫(kù)

中圖分類號(hào)：TP392 文獻(xiàn)標(biāo)識(shí)碼：A DOI： 10.3969/j.issn.1003-6970.2015.10.013

引言

隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)、云計(jì)算等各種新興服務(wù)的興起，極大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，隨之產(chǎn)生的是海量的數(shù)據(jù)，這些數(shù)據(jù)不僅來(lái)源的渠道多樣，并且數(shù)據(jù)規(guī)模和數(shù)據(jù)種類也是快速的增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。大數(shù)據(jù)時(shí)代，無(wú)法將海量數(shù)據(jù)存儲(chǔ)和管理在一臺(tái)或者有限數(shù)目的服務(wù)器內(nèi)，更無(wú)法借助有限的計(jì)算機(jī)去處理和管理大數(shù)據(jù)。因此，如何利用現(xiàn)有的資源應(yīng)對(duì)當(dāng)前數(shù)據(jù)量的快速增長(zhǎng)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的有效、便捷、安全的管理，是當(dāng)前國(guó)內(nèi)外關(guān)于數(shù)據(jù)管理和數(shù)據(jù)分析亟需解決的問(wèn)題。

1 數(shù)據(jù)管理技術(shù)的發(fā)展

數(shù)據(jù)管理是指對(duì)各種類型的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、分類、計(jì)算、加工、檢索和傳輸?shù)倪^(guò)程。隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和改進(jìn)，數(shù)據(jù)庫(kù)管理技術(shù)也在不斷的更新?lián)Q代。到目前階段為止，數(shù)據(jù)管理技術(shù)主要發(fā)展歷程經(jīng)歷了以下階段：人工數(shù)據(jù)管理方式、文件系統(tǒng)管理方式和數(shù)據(jù)庫(kù)系統(tǒng)管理方式。

1.1 人工數(shù)據(jù)管理方式

20世紀(jì)50年代中期，計(jì)算機(jī)初期被應(yīng)用于科學(xué)計(jì)算方面，因此，早期的數(shù)據(jù)處理都是手工完成的。數(shù)據(jù)存儲(chǔ)只有磁帶、卡片和紙帶等低速存儲(chǔ)設(shè)備。既沒(méi)有操作系統(tǒng)，也沒(méi)有管理數(shù)據(jù)的專門軟件，此階段管理的數(shù)據(jù)，不能進(jìn)行共享，且沒(méi)有獨(dú)立性，數(shù)據(jù)純粹面向應(yīng)用，服務(wù)于應(yīng)用。

1.2 文件系統(tǒng)管理方式

20世紀(jì)60年代中期，隨著計(jì)算機(jī)進(jìn)一步的發(fā)展，不僅用于科學(xué)計(jì)算，而且更多地用于信息處理。對(duì)于數(shù)據(jù)存儲(chǔ)，有了磁盤、磁鼓等存儲(chǔ)設(shè)備。操作系統(tǒng)和高級(jí)語(yǔ)言的出現(xiàn)為文件系統(tǒng)管理提供了可能。此階段的文件系統(tǒng)，是按照相應(yīng)的規(guī)則將數(shù)據(jù)組織成一個(gè)獨(dú)立的命名文件。這一時(shí)期的數(shù)據(jù)特點(diǎn)是：數(shù)據(jù)可以長(zhǎng)期存儲(chǔ)在磁盤上、有專門的軟件進(jìn)行管理維護(hù)、數(shù)據(jù)不再獨(dú)立存在，數(shù)據(jù)不止服務(wù)于應(yīng)用，在一定程度上，數(shù)據(jù)的共享性得到了提高。

1.3 數(shù)據(jù)庫(kù)系統(tǒng)管理方式

20世紀(jì)60年代后期，數(shù)據(jù)庫(kù)系統(tǒng)管理方式逐漸形成并具有一定的規(guī)模。由于磁盤技術(shù)的不斷進(jìn)步和發(fā)展，低成本、高速的硬盤占領(lǐng)了市場(chǎng)，為新的數(shù)據(jù)管理技術(shù)提供了產(chǎn)生的必要條件。對(duì)應(yīng)的軟件技術(shù)也有一定的發(fā)展。數(shù)據(jù)庫(kù)系統(tǒng)是由計(jì)算機(jī)的軟硬件資源共同組成，實(shí)現(xiàn)了數(shù)據(jù)的動(dòng)態(tài)、有規(guī)則、獨(dú)立存儲(chǔ)。如圖1所示。

2 大數(shù)據(jù)管理技術(shù)

大數(shù)據(jù)是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。歸結(jié)為四個(gè)特點(diǎn)就是四“V”，即大量（Volume）、高速（Velocity）和多樣性（Variety）和價(jià)值（Value）。大數(shù)據(jù)首先體現(xiàn)在數(shù)據(jù)量上：全球著名咨詢機(jī)構(gòu)IDC（國(guó)際文獻(xiàn)資料中心）在2006年估計(jì)全世界產(chǎn)生的數(shù)據(jù)量是0.18ZB（1ZB=100萬(wàn)PB），而截至2011年這個(gè)數(shù)字已經(jīng)提升了一個(gè)數(shù)量級(jí)，達(dá)到1.8ZB。這種數(shù)據(jù)產(chǎn)生的速度仍在增長(zhǎng)，預(yù)計(jì)2015年將達(dá)到8ZB。隨著數(shù)據(jù)量的增長(zhǎng)，得到龐大的數(shù)據(jù)源和樣本數(shù)據(jù)后，人們并不能容忍對(duì)于這些龐大的數(shù)據(jù)處理響應(yīng)時(shí)間。因此，大數(shù)據(jù)需要在數(shù)據(jù)量提高的前提下，數(shù)據(jù)的處理和響應(yīng)能力進(jìn)行提高，從而確保數(shù)據(jù)延遲可以在人們的接受范圍之內(nèi)。因此數(shù)據(jù)處理要得到有效的保證，那如何存儲(chǔ)和組織管理這些海量數(shù)據(jù)，值得我們?nèi)ヌ剿骱脱芯俊?/p>

2.1 關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）

2.1.1 關(guān)系數(shù)據(jù)庫(kù)的提出

20世紀(jì)70年代初，IBM工程師Codd發(fā)表了一篇論文“A Relational Model of Large Shared DataBanks”，隨之關(guān)系數(shù)據(jù)庫(kù)時(shí)代宣告到來(lái)。關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（Relational Database ManagementSystem，簡(jiǎn)稱RDBMS）就是基于上述的論文而被設(shè)計(jì)出來(lái)的。在關(guān)系數(shù)據(jù)庫(kù)之前的系統(tǒng)主要有基于層次模型的層次數(shù)據(jù)庫(kù)、基于網(wǎng)狀模型的網(wǎng)狀數(shù)據(jù)庫(kù)等。以上幾種數(shù)據(jù)庫(kù)的主要不足是數(shù)據(jù)模型是很難被用戶所理解，并且編寫的軟件與數(shù)據(jù)模式依賴性比較高。Codd提出的關(guān)系數(shù)據(jù)模型是基于表格、行、列、屬性等基本概念，將現(xiàn)實(shí)世界中的各類實(shí)體及其關(guān)系映射到表格上，并且還為關(guān)系模型建立了關(guān)系代數(shù)運(yùn)算。

2.1.2 關(guān)系數(shù)據(jù)庫(kù)的應(yīng)用

關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)最初主要是應(yīng)用于事務(wù)處理領(lǐng)域。隨著數(shù)據(jù)的不斷積累增長(zhǎng)，人們需要對(duì)數(shù)據(jù)進(jìn)行分析操作，提取出有用的信息以支持決策等等。這些分析操作主要包括簡(jiǎn)單匯總、聯(lián)機(jī)分析處理（online analytical processing，簡(jiǎn)稱OLAP，主要是多維分析）、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等。有些分析處理需要對(duì)數(shù)據(jù)集進(jìn)行多次的掃描，分析查詢執(zhí)行的時(shí)間以分鐘或者小時(shí)計(jì)。與普通行存儲(chǔ)模式不同，一些學(xué)者提出了列存儲(chǔ)模式（columnar storage model）。列存儲(chǔ)模型有行存儲(chǔ)沒(méi)有的優(yōu)勢(shì)特征，當(dāng)查詢只涉及關(guān)系的某些數(shù)據(jù)列時(shí)，不會(huì)造成無(wú)關(guān)數(shù)據(jù)的提取，減少I/O操作，提高了查詢的效率。圍繞RDBMS，形成了一個(gè)完整的生態(tài)體系（廠家、技術(shù)、產(chǎn)品、服務(wù)等），提供了包括數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)查詢與分析、數(shù)據(jù)展現(xiàn)（即可視化）等技術(shù)和產(chǎn)品，創(chuàng)造了巨大的數(shù)據(jù)庫(kù)產(chǎn)業(yè)，為社會(huì)發(fā)展做出了巨大貢獻(xiàn)。

2.1.3 關(guān)系數(shù)據(jù)庫(kù)的不足

大數(shù)據(jù)時(shí)代的到來(lái)，關(guān)系型數(shù)據(jù)庫(kù)并未做好全面的準(zhǔn)備，出現(xiàn)了諸多問(wèn)題，主要問(wèn)題有以下幾個(gè)方面：

（1）關(guān)系模型不容易組織和管理所有類型多樣的數(shù)據(jù)，例如在關(guān)系數(shù)據(jù)庫(kù)里，管理大規(guī)模的高維時(shí)空數(shù)據(jù)、大規(guī)模的圖像數(shù)據(jù)等都顯得力不從心。

（2）如何才能通過(guò)大量節(jié)點(diǎn)的并行操作實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的高速處理，仍然值得我們?nèi)ヌ剿?。在關(guān)系數(shù)據(jù)庫(kù)上進(jìn)行大規(guī)模的事物處理，不但需要解決查詢的性能問(wèn)題，更需要解決修改操作的性能問(wèn)題，大量的事物處理，需要高效完成，才能保證數(shù)據(jù)的持久性和可靠性。

（3）在關(guān)系數(shù)據(jù)庫(kù)上進(jìn)行數(shù)據(jù)的復(fù)雜分析，能夠使用的是統(tǒng)計(jì)分析和數(shù)據(jù)挖掘軟件包；現(xiàn)有的統(tǒng)計(jì)分析、數(shù)據(jù)挖掘軟件包能夠處理的數(shù)據(jù)量受限于內(nèi)存開銷，并行化程度不高。從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，注入到分析軟件中進(jìn)行分析，在大數(shù)據(jù)時(shí)代，這樣的數(shù)據(jù)移動(dòng)以及不合適了。通過(guò)數(shù)據(jù)的劃分和并行計(jì)算，實(shí)現(xiàn)高性能的數(shù)據(jù)分析成為必然選擇。

從中可以得出，現(xiàn)如今的數(shù)據(jù)管理已經(jīng)不是簡(jiǎn)單的關(guān)系型數(shù)據(jù)庫(kù)可以解決的，關(guān)系型數(shù)據(jù)庫(kù)在一定程度上只能解決初期的大數(shù)據(jù)管理。

2.2 NoSQL數(shù)據(jù)庫(kù)管理技術(shù)

隨著時(shí)代的發(fā)展，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足人們對(duì)于更高的并發(fā)讀寫、海量數(shù)據(jù)的高效存儲(chǔ)和訪問(wèn)以及高擴(kuò)展性和可用性等需求，出現(xiàn)了NoSQL數(shù)據(jù)技術(shù)。

對(duì)于NoSQL技術(shù)，學(xué)術(shù)界有兩種對(duì)其的解釋：（1）“Non-Relational”，也就是非關(guān)系型數(shù)據(jù)庫(kù)；（2）“Not Only SQL”，即數(shù)據(jù)庫(kù)不僅僅是SQL。當(dāng)前第二種解釋比較流行。NoSQL數(shù)據(jù)庫(kù)是指數(shù)據(jù)模型定義不明確的非關(guān)系型數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)具有靈活的數(shù)據(jù)模型、高可擴(kuò)展性和美好的發(fā)展前景。下面主要介紹NoSQL的幾種管理技術(shù)。

NoSQL數(shù)據(jù)庫(kù)普遍采用的數(shù)據(jù)管理方式有四種：Key-Value存儲(chǔ)方式、BigTable存儲(chǔ)方式、Document存儲(chǔ)方式以及Graph存儲(chǔ)方式。2010年Rick Cattell對(duì)各種典型NoSQL系統(tǒng)從各個(gè)方面做了比較系統(tǒng)的分析。

2.2.1 基于Key-Value存儲(chǔ)的NoSQL技術(shù)

Key-Value是NoSQL系統(tǒng)比較常用的數(shù)據(jù)存儲(chǔ)方式，每個(gè)Key值對(duì)應(yīng)每一個(gè)任意類的數(shù)據(jù)值，對(duì)應(yīng)的對(duì)象可以是結(jié)構(gòu)化數(shù)據(jù)，也可以是文檔。Key-Value存儲(chǔ)的思想是將抽取唯一可以確定數(shù)據(jù)的特征屬性，作為key，并將作為value對(duì)象。基于Key-Value模型組織數(shù)據(jù)，需要將數(shù)據(jù)按照Key-Value形式存儲(chǔ)，而后可以通過(guò)對(duì)Key-Value進(jìn)行序列化排序操作繼而存儲(chǔ)、將Key-Value存儲(chǔ)為字符串或者字節(jié)數(shù)據(jù)，并且對(duì)key建立索引以便進(jìn)行快速查詢。Key-Value存儲(chǔ)方式的NoSQL系統(tǒng)有的采用的DISK方式存儲(chǔ)實(shí)現(xiàn)同步數(shù)據(jù)復(fù)制（例如Membase等），有的采用RAM存儲(chǔ)數(shù)據(jù)實(shí)現(xiàn)異步數(shù)據(jù)復(fù)制（例如Redis等）。

Jing Han等人基于Key-Value存儲(chǔ)提出了CDSA（Cloud Data Storage Architecture），體系結(jié)構(gòu)可以較好優(yōu)化云計(jì)算過(guò)程中的數(shù)據(jù)查詢，同時(shí)也保證了海量數(shù)據(jù)的存儲(chǔ)。CSDA包括三層：DCL（DataCache Layer）、MDL（Memory Database Layer）、DDL（Disk Database Layer）。

2.2.2 基于BigTable存儲(chǔ)的NoSQL技術(shù)

BigTable管理方式是Google提出來(lái)并廣泛采用的存儲(chǔ)方式，而且也被HBase、HyperTabley以及Cassandra等系統(tǒng)借鑒使用。在BigTable存儲(chǔ)中，同樣是通過(guò)Key-Value基礎(chǔ)模型對(duì)數(shù)據(jù)進(jìn)行建模，不一樣的是Value具有了比較精巧的結(jié)構(gòu)，即一個(gè)Value包含多個(gè)列，這些列還能進(jìn)行分組（column family），表現(xiàn)出了多層嵌套映射的數(shù)據(jù)結(jié)構(gòu)特點(diǎn)。HBase是受BigTable啟發(fā)而開發(fā)的基于Column Family存儲(chǔ)的NoSQL技術(shù)。Hbase提供系統(tǒng)的SQL查詢接口，用戶可以輕松的對(duì)數(shù)據(jù)進(jìn)行管理工作。Cassandra技術(shù)也是受到BigTable的啟發(fā)，只不過(guò)Cassandra做了大幅度的修改。Cassandra在Column Family下加入了超級(jí)列（super column）概念層次的映射關(guān)系，方便對(duì)數(shù)據(jù)進(jìn)行建模。Cassandra還可以將多個(gè)Column Family在磁盤存儲(chǔ)在一起，這樣就可以在同時(shí)訪問(wèn)時(shí)提高效率。

2.2.3 基于Document存儲(chǔ)的NoSQL技術(shù)

基于Document（文檔）存儲(chǔ)的技術(shù)以及發(fā)展很久了，例如IBM的Lotus Notes。這里所說(shuō)的基于Document存儲(chǔ)的NoSQL技術(shù)是基于傳統(tǒng)文檔存儲(chǔ)技術(shù)的新發(fā)展、新技術(shù)?；贒ocument存儲(chǔ)技術(shù)仍是以Key-Value存儲(chǔ)模型為基本模型，此模型可以對(duì)文檔的歷史版本進(jìn)行追蹤，單個(gè)文檔又是一個(gè)Key-Value的列表，形成循環(huán)嵌套的結(jié)構(gòu)，對(duì)于某些特定的查詢方式來(lái)說(shuō)，Document存儲(chǔ)的效率更高。因?yàn)槠鋽?shù)據(jù)的循環(huán)嵌套的結(jié)構(gòu)特點(diǎn)，應(yīng)用程序可能會(huì)越來(lái)越復(fù)雜并且難以維護(hù)和理解。主要的技術(shù)和產(chǎn)品有CouchDB， MongoDB和Dynamo。

2.2.4 基于Graph存儲(chǔ)的NoSQL技術(shù)

基于Graph存儲(chǔ)的系統(tǒng)包括Ne04J， InfoGrid，Hyper Graph DB等。有些圖數(shù)據(jù)庫(kù)是基于面向?qū)ο髷?shù)據(jù)庫(kù)創(chuàng)建的，例如Infnite Graph，在節(jié)點(diǎn)的遍歷等圖數(shù)據(jù)的操作中，展現(xiàn)出了高效的性能。Graph存儲(chǔ)方式是將整個(gè)數(shù)據(jù)集建模成一個(gè)大型的網(wǎng)絡(luò)結(jié)構(gòu)，之后再采用一系列圖操作實(shí)現(xiàn)對(duì)數(shù)據(jù)的操作。由于圖由結(jié)點(diǎn)和邊構(gòu)成，對(duì)于海量數(shù)據(jù)不能完全裝入內(nèi)存，因此，Graph存儲(chǔ)方式一般是基于DISK的，NoSQL系統(tǒng)實(shí)現(xiàn)圖索引，完成圖的調(diào)入調(diào)出。

從數(shù)據(jù)管理的角度來(lái)看，使用非結(jié)構(gòu)化Key-Value存儲(chǔ)管理結(jié)構(gòu)化大數(shù)據(jù)仍然是順應(yīng)應(yīng)用需求的。因?yàn)榛贙ey-Value存儲(chǔ)的Hadoop數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)技術(shù)尚處于起步階段，需要其他數(shù)據(jù)庫(kù)技術(shù)來(lái)加速器發(fā)展進(jìn)程。

2.2.5 NoSQL的不足

與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)相比，NoSQL非關(guān)系型數(shù)據(jù)庫(kù)在并行處理方面有一定優(yōu)勢(shì)，但也是存在一些問(wèn)題，主要體現(xiàn)在：

（ 1） NoSQL很難實(shí)現(xiàn)數(shù)據(jù)的完整性

由于NoSQL項(xiàng)目中很難實(shí)現(xiàn)數(shù)據(jù)的完整性，而在企業(yè)中數(shù)據(jù)完整性又是必不可少的。因此，在企業(yè)中，NoSQL的應(yīng)用還不是很廣泛。

（2）成熟度不高

大部分的NoSQL數(shù)據(jù)庫(kù)都是開源項(xiàng)目，沒(méi)有世界級(jí)的數(shù)據(jù)庫(kù)廠商提供完整的服務(wù)，出現(xiàn)問(wèn)題，都是自己解決，風(fēng)險(xiǎn)較大。

（3）關(guān)系數(shù)據(jù)庫(kù)比NoSQL在設(shè)計(jì)時(shí)更能夠體現(xiàn)實(shí)際，而NoSQL數(shù)據(jù)庫(kù)缺乏這種關(guān)系，難以體現(xiàn)業(yè)務(wù)的實(shí)際情況，對(duì)于數(shù)據(jù)庫(kù)的設(shè)計(jì)與維護(hù)都增加了難度。

2.3 關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)的區(qū)別

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)與NoSQL數(shù)據(jù)庫(kù)在數(shù)據(jù)管理系統(tǒng)發(fā)展不同的時(shí)間段里都體現(xiàn)出了自己的可用性和實(shí)用性，能夠解決的一定的問(wèn)題。表格l將兩者進(jìn)行了對(duì)比。

3 數(shù)據(jù)管理方式的展望

通過(guò)上述研究分析可以看出，關(guān)系數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足現(xiàn)階段即大數(shù)據(jù)時(shí)代人們對(duì)于數(shù)據(jù)存儲(chǔ)和管理的需求，更高的存儲(chǔ)效率和更快的查詢速度等一系列高要求，促使數(shù)據(jù)管理方式不斷向前發(fā)展。NoSQL技術(shù)在一定程度上解決了大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理需求，但仍需采用新技術(shù)提高數(shù)據(jù)庫(kù)的一致性和可用性。關(guān)系數(shù)據(jù)庫(kù)主要優(yōu)點(diǎn)表現(xiàn)在其屬性值之間可以通過(guò)SQL操作進(jìn)行關(guān)聯(lián)操作，體現(xiàn)出了數(shù)據(jù)的完整性，NoSQL數(shù)據(jù)庫(kù)將數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，為之后的大數(shù)據(jù)處理作鋪墊。關(guān)系數(shù)據(jù)庫(kù)的ACID強(qiáng)調(diào)數(shù)據(jù)一致性通常指的是關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整，而對(duì)于很多互聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，對(duì)一致性和隔離性的要求可以降低，而可用性的要求則更為明顯。關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)并不是對(duì)立的矛盾體，而是可以相互補(bǔ)充的，可以根據(jù)不同的需求使用不同的技術(shù)，各取所需，甚至可以共同存在，互不影響。

目前大數(shù)據(jù)的應(yīng)用領(lǐng)域還是主要以民用為主，以電信通信為例，客戶之間通信傳輸過(guò)程中產(chǎn)生海量數(shù)據(jù)，將這些海量數(shù)據(jù)進(jìn)行實(shí)時(shí)存儲(chǔ)，再利用大數(shù)據(jù)方法提取有效信息，形成整套的數(shù)據(jù)管理與分析的流程。在電信.氣象、企業(yè)等領(lǐng)域大數(shù)據(jù)管理與分析已經(jīng)有比較成熟的思路和解決方法。在航天試驗(yàn)領(lǐng)域，空間飛行器執(zhí)行任務(wù)可以產(chǎn)生海量數(shù)據(jù)，包括飛行器自身載荷數(shù)據(jù)，以及試驗(yàn)任務(wù)數(shù)據(jù)，這些數(shù)據(jù)的類型多樣、數(shù)據(jù)量大，隨著試驗(yàn)任務(wù)的頻率和在軌航天器數(shù)量的增大，數(shù)據(jù)管理問(wèn)題日益凸顯，采用大數(shù)據(jù)管理的思維解決航天試驗(yàn)任務(wù)中數(shù)據(jù)管理問(wèn)題，是未來(lái)航天試驗(yàn)任務(wù)數(shù)據(jù)存儲(chǔ)和分析的必然趨勢(shì)。

4 結(jié)論

大數(shù)據(jù)時(shí)代已經(jīng)向我們走來(lái)，數(shù)據(jù)管理技術(shù)已經(jīng)進(jìn)入了新的階段。本文研究分析了數(shù)據(jù)管理技術(shù)的發(fā)展進(jìn)程，分析了關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)，并且進(jìn)行了對(duì)比區(qū)分。最后，對(duì)大數(shù)據(jù)未來(lái)的管理方式作出了展望。關(guān)系數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)系統(tǒng)是隨著人們對(duì)于數(shù)據(jù)管理的需求產(chǎn)生和發(fā)展的，在不同的數(shù)據(jù)管理發(fā)展階段，根據(jù)需要對(duì)其進(jìn)行分析的數(shù)據(jù)特點(diǎn)，選擇適當(dāng)?shù)臄?shù)據(jù)管理方式，幫助人們解決了一定的問(wèn)題和需求。