大數(shù)據(jù)背景下數(shù)據(jù)庫新技術(shù)研究

張亮

摘要：數(shù)據(jù)庫軟件是程序員進(jìn)行軟件開發(fā)的必不可少的工具，在網(wǎng)絡(luò)時(shí)代現(xiàn)在很多軟件公司都選擇Oracle數(shù)據(jù)庫，這種大型數(shù)據(jù)庫軟件比較適合網(wǎng)絡(luò)環(huán)境下進(jìn)行軟件開發(fā)，數(shù)據(jù)庫技術(shù)是數(shù)據(jù)庫軟件核心，數(shù)據(jù)庫技術(shù)必須不斷更新以適合現(xiàn)在軟件開發(fā)需要。本論文主要從大數(shù)據(jù)的基本概念、傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別、大數(shù)據(jù)的關(guān)鍵技術(shù)、大數(shù)據(jù)的未來方向進(jìn)行闡述大數(shù)據(jù)背景下數(shù)據(jù)庫新技術(shù)研究，希望為研究大數(shù)據(jù)庫新技術(shù)的專家和學(xué)者提供理論參考依據(jù)。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)庫新技術(shù);研究

數(shù)據(jù)庫是存儲(chǔ)在一起的相關(guān)數(shù)據(jù)的集合，是“按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)和管理數(shù)據(jù)的倉庫。大數(shù)據(jù)是指規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。所謂大數(shù)據(jù)技術(shù)就是利用分析掌握的豐富數(shù)據(jù)，從而發(fā)掘具有較高價(jià)值信息的能力。大數(shù)據(jù)技術(shù)有機(jī)融合并行處理數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)技術(shù)、可擴(kuò)展的存儲(chǔ)系統(tǒng)等。

1大數(shù)據(jù)基本概念

大數(shù)據(jù)（big data），指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

2傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別

2.1解決問題不再依賴模型與各種算法

在沒有出現(xiàn)大數(shù)據(jù)技術(shù)時(shí)，為了幫助人們得到準(zhǔn)確結(jié)果，計(jì)算機(jī)通常要利用建立各種模型與算法，還需引用正確的因果關(guān)系與合理算法才能得到實(shí)用的結(jié)果。但隨著大數(shù)據(jù)技術(shù)的出現(xiàn)這一問題得到了有效解決。如果擁有的數(shù)據(jù)數(shù)量非常巨大，則不需研究因果關(guān)系就能得到準(zhǔn)確結(jié)果。如Google在翻譯用戶數(shù)據(jù)時(shí)，本身不應(yīng)用固定的語法與標(biāo)準(zhǔn)，而主要結(jié)合本身數(shù)據(jù)庫中保存的用戶用語習(xí)慣進(jìn)行翻譯。

2.2不需要利用數(shù)據(jù)結(jié)構(gòu)就能隨時(shí)處理各類網(wǎng)絡(luò)信息

大數(shù)據(jù)可以結(jié)合互聯(lián)網(wǎng)記錄的各種人類行為數(shù)據(jù)對(duì)獲得的信息進(jìn)行處理。在沒有大數(shù)據(jù)技術(shù)時(shí)，本身掌握的各種數(shù)據(jù)必須經(jīng)過前期處理，同時(shí)保存于數(shù)據(jù)庫當(dāng)中。但大數(shù)據(jù)出現(xiàn)以后不需要利用數(shù)據(jù)的結(jié)構(gòu)，可以隨時(shí)處理存在于網(wǎng)上的各種社交信息、地理位置信息、行為習(xí)慣信息、偏好信息等，從而得到不同個(gè)體的行為特點(diǎn)。

3大數(shù)據(jù)的關(guān)鍵技術(shù)

3.1大數(shù)據(jù)采集

電商可以在借助傳統(tǒng)數(shù)據(jù)庫MysoL和Oracle的基礎(chǔ)上，把客戶往來的大量信息數(shù)據(jù)存儲(chǔ)和管理起來。大數(shù)據(jù)技術(shù)在采集數(shù)據(jù)信息的過程中有著很高的并發(fā)數(shù)，這是因?yàn)橥瑫r(shí)還有其他較多的用戶也在對(duì)數(shù)據(jù)進(jìn)行訪問和操作，象購票網(wǎng)站和淘寶，在集中的時(shí)間段內(nèi)就會(huì)有上百萬次的點(diǎn)擊量和使用量，因此需要采集端事先要設(shè)置海量的數(shù)據(jù)庫，以滿足短時(shí)間內(nèi)所聚集的海量的用戶點(diǎn)擊需求。在大數(shù)據(jù)背景下，數(shù)據(jù)不僅來自互聯(lián)網(wǎng)、各種物聯(lián)網(wǎng)以及云計(jì)算系統(tǒng)，同時(shí)還包括了手機(jī)、物聯(lián)網(wǎng)、IPAD、電腦等移動(dòng)數(shù)據(jù)端產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)由于人們頻繁地使用數(shù)據(jù)量急速膨脹。

3.2數(shù)據(jù)分析

主要是指應(yīng)用恰當(dāng)?shù)慕y(tǒng)計(jì)方法來分析所收集的數(shù)據(jù)，并篩選和提取所需的信息。通過這些數(shù)據(jù)的分析和研究，能夠?yàn)槿藗兊娜粘；顒?dòng)提供相應(yīng)的參考，幫助人們樹立正確的認(rèn)知，獲得所需的信息，調(diào)整自己的行為，得到正確的結(jié)論，從而獲取更深刻、更有價(jià)值的信息。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，其應(yīng)用范圍更加廣闊，不僅體現(xiàn)在數(shù)據(jù)數(shù)量方面，在數(shù)據(jù)速度、數(shù)據(jù)多樣性等大數(shù)據(jù)的應(yīng)用趨勢(shì)方面都有著增長的趨勢(shì)，因此不管何種行業(yè)都應(yīng)該選擇更為先進(jìn)的大數(shù)據(jù)技術(shù)以獲得更好的發(fā)展。

3.3數(shù)據(jù)挖掘

數(shù)據(jù)挖掘技術(shù)不僅是一門綜合利用了人工智能的新興技術(shù)，同時(shí)這一技術(shù)還使用了常見的數(shù)據(jù)庫技術(shù)以及計(jì)算機(jī)系統(tǒng)中的機(jī)器語言技術(shù)，還有其他學(xué)科的統(tǒng)計(jì)技術(shù)等，是一種集多種科技術(shù)和知識(shí)于一身的綜合性的技術(shù)系統(tǒng)。這一技術(shù)的前提是存在海量的數(shù)據(jù)需要處理，同時(shí)需要具有相應(yīng)的能力，象較強(qiáng)的數(shù)據(jù)存儲(chǔ)和計(jì)算能力等，因此，數(shù)據(jù)挖掘技術(shù)要基于現(xiàn)有數(shù)據(jù)通過多種算法，才能起到良好的數(shù)據(jù)分析效果。

3.4大數(shù)據(jù)的價(jià)值與應(yīng)用

大數(shù)據(jù)技術(shù)最大的作用就是可以分析龐大的數(shù)據(jù)，同時(shí)將分析結(jié)果呈現(xiàn)在需求者面前。在不同行業(yè)、不同企業(yè)的各種業(yè)務(wù)中，甚至相同行業(yè)的不同企業(yè)的相同業(yè)務(wù)當(dāng)中，也會(huì)有著不同的發(fā)展方向、對(duì)數(shù)據(jù)集合有著不同的要求、不同的挖掘目標(biāo)，因此所選擇的大數(shù)據(jù)技術(shù)與大數(shù)據(jù)信息系統(tǒng)也不會(huì)相同。只有做到“應(yīng)用對(duì)象、應(yīng)用技術(shù)、實(shí)際應(yīng)用”協(xié)調(diào)運(yùn)行，大數(shù)據(jù)才能表現(xiàn)出本身最大的價(jià)值。當(dāng)人類技術(shù)發(fā)展到頂端時(shí)，表明數(shù)據(jù)技術(shù)也達(dá)到了頂端，研究數(shù)據(jù)、應(yīng)用數(shù)據(jù)，可以創(chuàng)造新的發(fā)展機(jī)會(huì)，人們并不關(guān)心大數(shù)據(jù)的概念，而是關(guān)注大數(shù)據(jù)的應(yīng)用。

4大數(shù)據(jù)的未來方向

4.1數(shù)據(jù)的資源化

指的是大數(shù)據(jù)技術(shù)在企業(yè)與社會(huì)發(fā)展中會(huì)起到舉足輕重的作用，當(dāng)前已經(jīng)得到了社會(huì)各界的大力重視，得到了社會(huì)各個(gè)領(lǐng)域的積極應(yīng)用。所以對(duì)于一個(gè)企業(yè)來說，必須要及時(shí)制訂大數(shù)據(jù)營銷戰(zhàn)略，才能在激烈的市場(chǎng)競(jìng)爭中處于有利地位。

4.2與云計(jì)算的深度結(jié)合

云計(jì)算與大數(shù)據(jù)技術(shù)相結(jié)合是計(jì)算機(jī)技術(shù)的發(fā)展趨勢(shì)，符合現(xiàn)代社會(huì)發(fā)展的需要，同時(shí)也為大數(shù)據(jù)技術(shù)的快速發(fā)展提供了基本保障。基于云的數(shù)據(jù)分析平臺(tái)將更趨完善，企業(yè)越來越希望能將自己的各類應(yīng)用程序及基礎(chǔ)設(shè)施轉(zhuǎn)移到云平臺(tái)上。就像其他IT系統(tǒng)那樣，大數(shù)據(jù)的分析工具和數(shù)據(jù)庫也將走向云計(jì)算。

總之，隨著數(shù)據(jù)分析技術(shù)的快速發(fā)展，企業(yè)內(nèi)部的數(shù)據(jù)分析也要與各部門進(jìn)行融合，不限于某個(gè)部門，而是將其應(yīng)用到企業(yè)的各個(gè)方面，從而更好地獲得有利于企業(yè)自身發(fā)展的各種數(shù)據(jù)和信息，為企業(yè)的發(fā)展決策提供相應(yīng)的支持。

參考文獻(xiàn)

[1]大數(shù)據(jù)時(shí)代面臨的問題與解決對(duì)策[J].朱婉英，余曉紅.才智.2016 （09）

[2]大數(shù)據(jù)研究綜述[J].鄭強(qiáng)，高群， 科技視界.2018 （30）

[3]淺談大數(shù)據(jù)挖掘的應(yīng)用[J].翟天昊. 科技風(fēng).2018（32）

[4]大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)[J].趙永霞，羅建平. 通訊世界.2016 （08）

[5]大數(shù)據(jù)技術(shù)在智慧校園中的應(yīng)用研究[J].陳向東，李靜蕾. 電腦知識(shí)與技術(shù).2018 （15）

[6]圖書館大數(shù)據(jù)研究的思考[J].孔令頻，韶紅. 貴圖學(xué)苑.2018 （03）

[7]淺談科研院所數(shù)據(jù)挖掘的應(yīng)用[J].余艷，陳樂，孟慶惠，張林，劉琴華. 中國管理信息化.2016 （01）

[8]多層次數(shù)據(jù)分析[J].祁鵬年. 現(xiàn)代計(jì)算機(jī)（專業(yè)版）.2015 （02）