“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的分析

摘 要：互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的發(fā)展給社會(huì)帶來大變革的同時(shí)也帶來了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代的到來對(duì)社會(huì)帶來了機(jī)遇與挑戰(zhàn)。本文從大數(shù)據(jù)和計(jì)算機(jī)信息處理技術(shù)的定義出發(fā)，介紹了大數(shù)據(jù)時(shí)代，計(jì)算機(jī)信息處理技術(shù)的挑戰(zhàn)和機(jī)遇。進(jìn)一步介紹了大數(shù)據(jù)時(shí)代下計(jì)算機(jī)處理技術(shù)的種類和研究熱點(diǎn)，對(duì)大數(shù)據(jù)時(shí)代下計(jì)算機(jī)信息處理技術(shù)的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：大數(shù)據(jù)；計(jì)算機(jī)信息處理技術(shù)；存儲(chǔ)

中圖分類號(hào)：TP391.1

1 大數(shù)據(jù)和計(jì)算機(jī)信息處理技術(shù)的定義

1.1 大數(shù)據(jù)定義?！度A爾街日?qǐng)?bào)》在一篇對(duì)當(dāng)今先進(jìn)技術(shù)的報(bào)道中提出，智能化生產(chǎn)、無線網(wǎng)絡(luò)革命和大數(shù)據(jù)時(shí)代，是引領(lǐng)未來繁榮的三大技術(shù)變革。大數(shù)據(jù)泛指巨量的資料，指的是資料量規(guī)模十分巨大，并能從中提取出有價(jià)值的信息。大數(shù)據(jù)主要有數(shù)據(jù)量大，數(shù)據(jù)種類多，處理速度快，價(jià)值密度低四大數(shù)據(jù)特征。由于大數(shù)據(jù)的特殊性，對(duì)大數(shù)據(jù)的技術(shù)也提出了更高的要求。當(dāng)今大數(shù)據(jù)的關(guān)鍵技術(shù)主要：遺傳算法、分類分析，聚類分析，機(jī)器學(xué)習(xí)，自然語言處理等。

1.2 計(jì)算機(jī)信息處理技術(shù)定義。計(jì)算機(jī)信息處理技術(shù)是數(shù)據(jù)輸送、獲取、分析、處理的結(jié)合體。主要包括計(jì)算機(jī)技術(shù)、通信技術(shù)、網(wǎng)絡(luò)技術(shù)和微電子技術(shù)等。計(jì)算機(jī)信息處理技術(shù)的類型主要包括信息系統(tǒng)技術(shù)，數(shù)據(jù)庫(kù)技術(shù)和檢索技術(shù)。信息處理技術(shù)是以計(jì)算機(jī)技術(shù)為核心，配合數(shù)據(jù)庫(kù)和通信網(wǎng)絡(luò)技術(shù)進(jìn)行分析的技術(shù)。其中數(shù)據(jù)庫(kù)技術(shù)是關(guān)鍵技術(shù)，它能將相關(guān)信息進(jìn)行整合，儲(chǔ)存有序信息并進(jìn)行有效的利用。

2 大數(shù)據(jù)的研究意義、機(jī)遇和挑戰(zhàn)

2.1 大數(shù)據(jù)的研究意義：（1）大數(shù)據(jù)是國(guó)家信息的戰(zhàn)略資源，一個(gè)國(guó)家對(duì)大數(shù)據(jù)的研究程度，對(duì)大數(shù)據(jù)的解釋和運(yùn)用的能力直接決定了國(guó)家信息安全的競(jìng)爭(zhēng)力。大數(shù)據(jù)關(guān)系著國(guó)家的穩(wěn)定和安全。（2）大數(shù)據(jù)能推動(dòng)我國(guó)新產(chǎn)業(yè)的誕生和產(chǎn)業(yè)的升級(jí)。大數(shù)據(jù)時(shí)代下，數(shù)據(jù)的重要性不言而喻，各產(chǎn)業(yè)的關(guān)注重點(diǎn)集中在數(shù)據(jù)處理和利用上。云計(jì)算和物聯(lián)網(wǎng)技術(shù)的興起，大大提高了科研和生產(chǎn)的效率。加快了我國(guó)產(chǎn)業(yè)信息化和科技化的到來。（3）大數(shù)據(jù)引發(fā)了科學(xué)思維革命。大數(shù)據(jù)的復(fù)雜性使人們開始積極尋求各種定理和定律和相應(yīng)的研究方向，從而引發(fā)了一種科學(xué)革命。

2.2 大數(shù)據(jù)時(shí)代的機(jī)遇：（1）數(shù)據(jù)的發(fā)掘和應(yīng)用，創(chuàng)造了多產(chǎn)業(yè)的價(jià)值。（2）大數(shù)據(jù)時(shí)代帶來了信息安全、云計(jì)算和物聯(lián)網(wǎng)的新形勢(shì)。（3）大數(shù)據(jù)對(duì)信息安全的要求帶來了信息安全的發(fā)展。

2.3 大數(shù)據(jù)時(shí)代的挑戰(zhàn)：（1）對(duì)數(shù)據(jù)挖掘的要求變高。主要體現(xiàn)在數(shù)據(jù)收集的全面性和可信性。數(shù)據(jù)儲(chǔ)存要低成本，高可靠。還要進(jìn)行必要的分類，方便日后的檢索。數(shù)據(jù)處理的準(zhǔn)確性和快速性。要求進(jìn)行結(jié)果的可視化。（2）大數(shù)據(jù)時(shí)代下信息安全的要求更高。大數(shù)據(jù)的關(guān)注度比較高，數(shù)據(jù)的潛力比較大，所以更容易成為黑客攻擊的目標(biāo)。數(shù)據(jù)的大量聚集會(huì)使這種損失更大。同時(shí)，大量數(shù)據(jù)的匯聚和集中儲(chǔ)存，增加了數(shù)據(jù)泄露的風(fēng)險(xiǎn)，由于沒有界定數(shù)據(jù)的所有權(quán)和使用權(quán)，大數(shù)據(jù)還會(huì)涉及到很多個(gè)體隱私的問題。另外，大數(shù)據(jù)集中的后果是很多復(fù)雜數(shù)據(jù)儲(chǔ)存在一起，安全防護(hù)的手段和措施要求更高。大數(shù)據(jù)技術(shù)有其優(yōu)越性，黑客也可能利用大數(shù)據(jù)技術(shù)進(jìn)行攻擊，從而造成了防護(hù)信息安全的難度。（3）大數(shù)據(jù)時(shí)代需要專門的人才。大數(shù)據(jù)技術(shù)是新技術(shù)，人才的培養(yǎng)需要一定的周期，市場(chǎng)需要很多大數(shù)據(jù)的創(chuàng)新人才，人才缺口重大，中國(guó)關(guān)于大數(shù)據(jù)的應(yīng)用人才更是少之又少。

3 大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)信息處理技術(shù)

3.1 DEEP WEB數(shù)據(jù)感知與獲取技術(shù)。DEEP WEB技術(shù)是網(wǎng)絡(luò)深層空間技術(shù)，其數(shù)據(jù)量具有信息規(guī)模大，信息動(dòng)態(tài)變化，分布性和訪問方式特殊等特點(diǎn)。DEEP WEB技術(shù)是充分利用其數(shù)據(jù)，進(jìn)行高質(zhì)量的數(shù)據(jù)的集成，進(jìn)而進(jìn)行抽取和整合。

3.2 分布式數(shù)據(jù)存儲(chǔ)。分布式數(shù)據(jù)處理技術(shù)的具體實(shí)現(xiàn)是由谷歌公司提出的GFS技術(shù)。此技術(shù)在IBM，百度等公司得到了大量的應(yīng)用和快速發(fā)展。分布式儲(chǔ)存利用的是列存儲(chǔ)的概念。列存儲(chǔ)是以列為單位進(jìn)行儲(chǔ)存，相比于行存儲(chǔ)，其具有數(shù)據(jù)壓縮，快循環(huán)等優(yōu)點(diǎn)。當(dāng)今較流行的技術(shù)的行列混合式儲(chǔ)存結(jié)構(gòu)，該結(jié)構(gòu)能夠快速加載海量數(shù)據(jù)，縮短查詢時(shí)間，高效利用磁盤空間等。在研究中，要繼續(xù)優(yōu)化數(shù)據(jù)布局分布的存儲(chǔ)方法。提高大數(shù)據(jù)的存儲(chǔ)和處理效率。

3.3 數(shù)據(jù)高效索引。谷歌公司提出的BIGTABLE技術(shù)是目前主流的索引技術(shù)。目前的研究熱點(diǎn)是聚簇索引和互補(bǔ)式聚簇索引。其中聚簇索引是同時(shí)按照索引順序存儲(chǔ)全部的數(shù)據(jù)結(jié)構(gòu)。而互補(bǔ)式聚簇索引是利用多副本為索引列創(chuàng)建互為補(bǔ)充的索引表。同時(shí)結(jié)合查詢結(jié)果估算辦法，進(jìn)行最優(yōu)數(shù)據(jù)查詢的計(jì)劃。

3.4 基于內(nèi)容信息的數(shù)據(jù)挖掘。基于內(nèi)容的數(shù)據(jù)挖掘的主要內(nèi)容為網(wǎng)絡(luò)搜索技術(shù)和實(shí)體關(guān)聯(lián)分析。當(dāng)今的互聯(lián)網(wǎng)信息搜素的熱點(diǎn)為排序?qū)W習(xí)算法，排序?qū)W習(xí)算法的提出主要針對(duì)社會(huì)媒體的信息量，社會(huì)媒體的關(guān)注數(shù)據(jù)的特點(diǎn)為短文本特征，排序?qū)W習(xí)算法正是基于此特征提出，常見的排序?qū)W習(xí)算法主要有逐點(diǎn)，逐對(duì)和逐列。

3.5 遺傳算法和神經(jīng)網(wǎng)絡(luò)。遺傳算法的提出是借鑒生物界的進(jìn)化規(guī)律演化的隨機(jī)化搜索辦法，遺傳辦法的尋優(yōu)辦法采用概率化，其能夠自動(dòng)調(diào)整搜索方向。遺傳算法技術(shù)已經(jīng)被應(yīng)用在，機(jī)器學(xué)習(xí)，信號(hào)處理，物流選址等多方面。神經(jīng)網(wǎng)絡(luò)的提出啟發(fā)來自生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和運(yùn)作。神經(jīng)網(wǎng)絡(luò)算法模擬動(dòng)物運(yùn)動(dòng)神經(jīng)的網(wǎng)絡(luò)行為，是進(jìn)行分布式并行信息處理的的數(shù)學(xué)算法。

3.6 分類分析和聚類分析。分類分析是指首先對(duì)數(shù)據(jù)點(diǎn)進(jìn)行歸類，然后確定新的數(shù)據(jù)點(diǎn)。在明確假設(shè)和客觀結(jié)構(gòu)的前提下，預(yù)測(cè)客戶行為。而聚類分析，是指在不知道限制因素的前提下，將集合分若干對(duì)象組，然后對(duì)對(duì)象組進(jìn)行分析。分類分析和聚類分析主要應(yīng)用于數(shù)據(jù)挖掘

3.7 關(guān)聯(lián)規(guī)則學(xué)習(xí)和機(jī)器學(xué)習(xí)。關(guān)聯(lián)規(guī)則學(xué)習(xí)是指在數(shù)據(jù)處理的過程中找到數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則。而機(jī)器學(xué)習(xí)是研究計(jì)算機(jī)模擬人類的學(xué)習(xí)行為，重新組織已有的知識(shí)體系。機(jī)器學(xué)習(xí)是人工智能的核心。關(guān)聯(lián)規(guī)則學(xué)習(xí)和機(jī)器學(xué)習(xí)也用于數(shù)據(jù)發(fā)掘。

3.8 數(shù)據(jù)分析技術(shù)。數(shù)據(jù)分析技術(shù)主要包括情感分析、網(wǎng)絡(luò)分析、空間分析、時(shí)域序列分析和回歸分析。其中情感分析是對(duì)自然語言進(jìn)行主觀分析，網(wǎng)絡(luò)分析是基于網(wǎng)絡(luò)的特征分析?？臻g分析是集拓?fù)?，幾何和地理編碼的技術(shù)統(tǒng)計(jì)分析。

3.9 可視化技術(shù)。為了方便人們對(duì)大數(shù)據(jù)分析結(jié)果的理解和溝通，需要可視化技術(shù)進(jìn)行創(chuàng)建圖片、圖表和動(dòng)畫等等。Clustergram是可視化技術(shù)，該可視化技術(shù)基礎(chǔ)是聚類分析。該技術(shù)用于顯示數(shù)據(jù)集的個(gè)別成員如何分配到集群。

4 大數(shù)據(jù)時(shí)代下計(jì)算機(jī)信息處理技術(shù)的發(fā)展方向

（1）計(jì)算機(jī)網(wǎng)絡(luò)朝著云計(jì)算網(wǎng)絡(luò)發(fā)展：現(xiàn)在的計(jì)算機(jī)網(wǎng)絡(luò)構(gòu)架多以硬件為基礎(chǔ)，局限性較大。數(shù)據(jù)中心技術(shù)是當(dāng)今的主要技術(shù)。計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)該利用數(shù)據(jù)技術(shù)，朝著云計(jì)算發(fā)展。（2）計(jì)算機(jī)技術(shù)朝著開放式網(wǎng)絡(luò)傳輸發(fā)展。通過定義網(wǎng)絡(luò)構(gòu)架，將網(wǎng)絡(luò)信息與其硬件分離開來。（3）計(jì)算機(jī)與計(jì)算機(jī)網(wǎng)絡(luò)相互融合，成為一體。以后的計(jì)算機(jī)信息處理技術(shù)不在依靠單獨(dú)的計(jì)算機(jī)硬件設(shè)備，而是靠網(wǎng)絡(luò)進(jìn)行連接。只有基于網(wǎng)絡(luò)技術(shù)的計(jì)算機(jī)信息處理技術(shù)才能滿足大數(shù)據(jù)時(shí)代的要求。

5 結(jié)束語

大數(shù)據(jù)時(shí)代的到來，給計(jì)算機(jī)信息處理技術(shù)注入了一種新的力量，本文著重介紹了大數(shù)據(jù)時(shí)代下，計(jì)算機(jī)信息處理的主要技術(shù)和研究熱點(diǎn)，希望能給從事相關(guān)研究工作的人作為簡(jiǎn)單的參考。

參考文獻(xiàn)：

[1]趙春雷，喬治納漢.“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)[J].世界科學(xué)，2012.

[2]莊晏冬.智能信息處理技術(shù)應(yīng)用與發(fā)展[J].黑龍江科技信息，2011.

[3]艾伯特拉斯洛，巴拉巴西，著.馬慧，譯.爆發(fā)：大數(shù)據(jù)時(shí)代預(yù)見未來的新思維[M].北京：中國(guó)人民大學(xué)出版社，2012.

作者簡(jiǎn)介：馮瀟婧（1992-），女，山西人，本科在讀，研究方向：計(jì)算機(jī)。

作者單位：天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300387