大數(shù)據(jù)背景下數(shù)據(jù)庫新技術(shù)的探索

常曉宇

摘? 要：數(shù)據(jù)庫已是計(jì)算機(jī)科學(xué)技術(shù)中發(fā)展最快、應(yīng)用最廣泛的重要分支之一。而大數(shù)據(jù)技術(shù)實(shí)際上就是將所掌握的海量的數(shù)據(jù)進(jìn)行分析和使用，使這些數(shù)據(jù)發(fā)揮更大的價(jià)值。該文首先闡述了大數(shù)據(jù)的基本概念及大數(shù)據(jù)的特性，從3個(gè)方面指出了傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別，從大數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)挖掘、大數(shù)據(jù)的價(jià)值與應(yīng)用幾個(gè)方面總結(jié)了大數(shù)據(jù)的關(guān)鍵技術(shù)，最后展望了大數(shù)據(jù)的未來方向。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)庫技術(shù);數(shù)據(jù)挖掘

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)志碼：A

1 大數(shù)據(jù)的基本概念

1.1 定義

數(shù)據(jù)庫是依據(jù)一定的數(shù)據(jù)結(jié)構(gòu)組織起來并存儲(chǔ)和管理在一起的各種數(shù)據(jù)的集合，是多種數(shù)據(jù)的大倉庫。其規(guī)模較大，與傳統(tǒng)的數(shù)據(jù)庫軟件工具相比其海量數(shù)據(jù)的存儲(chǔ)、管理和使用都超出其能力范圍，有著規(guī)模更大、數(shù)據(jù)流轉(zhuǎn)更快、數(shù)據(jù)類型更多、價(jià)值密度更低等特征。

1.2 大數(shù)據(jù)的特性

在大數(shù)據(jù)技術(shù)平臺(tái)下，與當(dāng)前流行的數(shù)據(jù)庫處理技術(shù)、可擴(kuò)展的存儲(chǔ)系統(tǒng)技術(shù)、數(shù)據(jù)挖掘電網(wǎng)技術(shù)、云計(jì)算平臺(tái)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫互聯(lián)網(wǎng)技術(shù)等技術(shù)有著密切的關(guān)系，其主要特點(diǎn)表現(xiàn)如下。

1.2.1 數(shù)據(jù)量巨大

當(dāng)前人們使用的印刷產(chǎn)品數(shù)據(jù)量不足200PB，個(gè)人計(jì)算機(jī)硬盤容量則達(dá)到了TB，大型企業(yè)的數(shù)據(jù)量則超過了EB。

1.2.2 數(shù)據(jù)類型多樣

由于數(shù)據(jù)量級(jí)存在豐富多樣的類型，因此數(shù)據(jù)還可以分為結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)主要以存儲(chǔ)形式為主，當(dāng)前非結(jié)構(gòu)化數(shù)據(jù)格式非常多樣，其種類不僅包括文本，而且還呈現(xiàn)為圖片、視頻、聲音、位置等多個(gè)不同的種類，存在著大量的個(gè)性化數(shù)據(jù)。

1.2.3 價(jià)值密度低

為了更好地對(duì)數(shù)據(jù)進(jìn)行分析和研究，并以最快的速度提取有價(jià)值的信息，當(dāng)前主要的問題是使用機(jī)器算法對(duì)數(shù)據(jù)進(jìn)行分析。

1.2.4 處理速度快

在處理數(shù)據(jù)時(shí)通常以“1秒定律”作為考察指標(biāo)，來衡量海量信息的價(jià)值提取速度。大數(shù)據(jù)的這種信息數(shù)據(jù)分析技術(shù)和傳統(tǒng)的數(shù)據(jù)分析技術(shù)有著很大區(qū)別，其體現(xiàn)如下。

2 傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別

第一，大數(shù)據(jù)技術(shù)出現(xiàn)之前，在數(shù)據(jù)處理方面主要應(yīng)用模型和各種算法。為了獲取所需的準(zhǔn)確結(jié)果要建立一定的模型來實(shí)現(xiàn)，還要應(yīng)用準(zhǔn)確的因果關(guān)系和合理算法才可以實(shí)現(xiàn)。因此要想進(jìn)行準(zhǔn)確地?cái)?shù)據(jù)分析就離不開高標(biāo)準(zhǔn)模型的構(gòu)建，使用合理的算法，才會(huì)得到所需的信息，隨著大數(shù)據(jù)技術(shù)的出現(xiàn)，這一問題迎刃而解。

第二，在數(shù)據(jù)量較大時(shí)，無須借助因果關(guān)系就能夠?qū)崿F(xiàn)數(shù)據(jù)分析。象Google幫助用戶進(jìn)行翻譯時(shí)會(huì)依據(jù)客戶自身的使用習(xí)慣來翻譯，而不局限于固定的語法和標(biāo)準(zhǔn)。

第三，在大數(shù)據(jù)技術(shù)支持下，通過互聯(lián)網(wǎng)技術(shù)可以記錄人們?nèi)粘５男袨閿?shù)據(jù)，通過對(duì)這些數(shù)據(jù)信息進(jìn)行分析可以獲得個(gè)性化的信息需求，而不需要像傳統(tǒng)數(shù)據(jù)技術(shù)一樣構(gòu)建相應(yīng)的數(shù)據(jù)庫，需要再對(duì)各種數(shù)據(jù)進(jìn)行前期的處理并建立多種數(shù)據(jù)庫。在大數(shù)據(jù)技術(shù)下不再需要數(shù)據(jù)結(jié)構(gòu)，通過網(wǎng)絡(luò)技術(shù)就可以隨時(shí)便捷地處理網(wǎng)絡(luò)中所產(chǎn)生的各種社交信息，對(duì)用戶行為所產(chǎn)生的地理位置信息等進(jìn)行獲取，更加精準(zhǔn)地獲知用戶的日常行為習(xí)慣等個(gè)性化的數(shù)據(jù)內(nèi)容。

3 大數(shù)據(jù)的關(guān)鍵技術(shù)

3.1 大數(shù)據(jù)采集

電商可以在借助傳統(tǒng)數(shù)據(jù)庫MySQL和Oracle的基礎(chǔ)上，把客戶往來的大量信息數(shù)據(jù)存儲(chǔ)和管理起來。大數(shù)據(jù)技術(shù)在采集數(shù)據(jù)信息的過程中有著很高的并發(fā)數(shù)，這是因?yàn)橥瑫r(shí)還有其他較多的用戶也在對(duì)數(shù)據(jù)進(jìn)行訪問和操作，象購票網(wǎng)站和淘寶，在集中的時(shí)間段內(nèi)就會(huì)有上百萬次的點(diǎn)擊量和使用量，因此需要采集端事先要設(shè)置海量的數(shù)據(jù)庫，以滿足短時(shí)間內(nèi)所聚集的海量的用戶點(diǎn)擊需求。在大數(shù)據(jù)背景下，數(shù)據(jù)不僅來自互聯(lián)網(wǎng)、各種物聯(lián)網(wǎng)以及云計(jì)算系統(tǒng)，同時(shí)還包括了手機(jī)、物聯(lián)網(wǎng)、IPAD、電腦等移動(dòng)數(shù)據(jù)端產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)由于人們頻繁地使用數(shù)據(jù)量急速膨脹。

3.2 數(shù)據(jù)分析

主要是指應(yīng)用恰當(dāng)?shù)慕y(tǒng)計(jì)方法來分析所收集的數(shù)據(jù)，并篩選和提取所需的信息。通過這些數(shù)據(jù)的分析和研究，能夠?yàn)槿藗兊娜粘；顒?dòng)提供相應(yīng)的參考，幫助人們樹立正確的認(rèn)知，獲得所需的信息，調(diào)整自己的行為，得到正確的結(jié)論，從而獲取更深刻、更有價(jià)值的信息。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，其應(yīng)用范圍更加廣闊，不僅體現(xiàn)在數(shù)據(jù)數(shù)量方面，在數(shù)據(jù)速度、數(shù)據(jù)多樣性等大數(shù)據(jù)的應(yīng)用趨勢(shì)方面都有著增長(zhǎng)的趨勢(shì)，因此不管何種行業(yè)都應(yīng)該選擇更為先進(jìn)的大數(shù)據(jù)技術(shù)以獲得更好的發(fā)展。

3.3 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)不僅是一門綜合利用了人工智能的新興技術(shù)，同時(shí)這一技術(shù)還使用了常見的數(shù)據(jù)庫技術(shù)以及計(jì)算機(jī)系統(tǒng)中的機(jī)器語言技術(shù)，還有其他學(xué)科的統(tǒng)計(jì)技術(shù)等，是一種集多種學(xué)科技術(shù)和知識(shí)于一身的綜合性的技術(shù)系統(tǒng)。這一技術(shù)的前提是存在海量的數(shù)據(jù)需要處理，同時(shí)需要具有相應(yīng)的能力，象較強(qiáng)的數(shù)據(jù)存儲(chǔ)和計(jì)算能力等，因此，數(shù)據(jù)挖掘技術(shù)要基于現(xiàn)有數(shù)據(jù)通過多種算法，才能起到良好的數(shù)據(jù)分析效果。

3.4 大數(shù)據(jù)的價(jià)值與應(yīng)用

大數(shù)據(jù)技術(shù)最大的作用就是可以分析龐大的數(shù)據(jù)，同時(shí)將分析結(jié)果呈現(xiàn)在需求者面前。在不同行業(yè)、不同企業(yè)的各種業(yè)務(wù)中，甚至相同行業(yè)的不同企業(yè)的相同業(yè)務(wù)當(dāng)中，也會(huì)有著不同的發(fā)展方向、對(duì)數(shù)據(jù)集合有著不同的要求、不同的挖掘目標(biāo)，因此所選擇的大數(shù)據(jù)技術(shù)與大數(shù)據(jù)信息系統(tǒng)也不會(huì)相同。只有做到“應(yīng)用對(duì)象、應(yīng)用技術(shù)、實(shí)際應(yīng)用”協(xié)調(diào)運(yùn)行，大數(shù)據(jù)才能表現(xiàn)出本身最大的價(jià)值。當(dāng)人類技術(shù)發(fā)展到頂端時(shí)，表明數(shù)據(jù)技術(shù)也達(dá)到了頂端，研究數(shù)據(jù)、應(yīng)用數(shù)據(jù)，可以創(chuàng)造新的發(fā)展機(jī)會(huì)，人們并不關(guān)心大數(shù)據(jù)的概念，而是關(guān)注大數(shù)據(jù)的應(yīng)用。

4 大數(shù)據(jù)的未來方向

4.1 數(shù)據(jù)的資源化

數(shù)據(jù)的資源化指的是大數(shù)據(jù)技術(shù)對(duì)于企業(yè)和社會(huì)發(fā)展有著不可忽視的重要作用，應(yīng)引起人們的廣泛關(guān)注和重視，并獲得社會(huì)不同領(lǐng)域的積極認(rèn)可，獲得更具普及性的應(yīng)用和發(fā)展，所以對(duì)于企業(yè)來說，要重視新興技術(shù)的應(yīng)用，不斷調(diào)整營銷戰(zhàn)略，從而獲得更好的發(fā)展。

4.2 與云計(jì)算的深度結(jié)合

在云數(shù)據(jù)分析平臺(tái)的基礎(chǔ)上，大數(shù)據(jù)技術(shù)的發(fā)展將會(huì)更加完善，越來越多的企業(yè)把各類日常事務(wù)運(yùn)行及管理都搬到了這一平臺(tái)上，使這一技術(shù)獲得了空前的發(fā)展，促進(jìn)了大數(shù)據(jù)技術(shù)與云計(jì)算的融合發(fā)展。

總之，隨著數(shù)據(jù)分析技術(shù)的快速發(fā)展，企業(yè)內(nèi)部的數(shù)據(jù)分析也要與各部門進(jìn)行融合，不限于某個(gè)部門，而是將其應(yīng)用到企業(yè)的各個(gè)方面，從而更好地獲得有利于企業(yè)自身發(fā)展的各種數(shù)據(jù)和信息，為企業(yè)的發(fā)展決策提供相應(yīng)的支持。

參考文獻(xiàn)

[1]龍厚彥.大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)庫技術(shù)應(yīng)用[J].信息與電腦（理論版），2018（23）：15.

[2]何邦財(cái).探究大數(shù)據(jù)背景下的數(shù)據(jù)庫技術(shù)研究[J].計(jì)算機(jī)產(chǎn)品與流通，2017（8）：3-4.

[3]竹林.用數(shù)據(jù)庫編一本個(gè)人專用詞典[J].中國索引，2004（2）：21.

[4]李天輪.數(shù)據(jù)庫技術(shù)的發(fā)展現(xiàn)狀與趨勢(shì)研究[J].科技風(fēng)， 2019（2）：32.

[5]時(shí)進(jìn).數(shù)據(jù)庫技術(shù)的發(fā)展現(xiàn)狀與趨勢(shì)[J].電子技術(shù)與軟件工程，2019（2）：22-23.