談大數(shù)據(jù)技術(shù)在計(jì)算機(jī)數(shù)據(jù)信息處理中的應(yīng)用

◆王國(guó)娟 劉安諾 黃福亮

談大數(shù)據(jù)技術(shù)在計(jì)算機(jī)數(shù)據(jù)信息處理中的應(yīng)用

◆王國(guó)娟1劉安諾1黃福亮2

（1.北京國(guó)電通網(wǎng)絡(luò)技術(shù)有限公司 北京 100070；2.國(guó)網(wǎng)青海信通公司 青海 810000）

信息化時(shí)代，各行各業(yè)數(shù)據(jù)信息規(guī)模不斷增大，對(duì)數(shù)據(jù)處理時(shí)效和處理準(zhǔn)確度也提出了更高要求。大數(shù)據(jù)技術(shù)具有強(qiáng)大的數(shù)據(jù)挖掘、分析、分布式存儲(chǔ)等處理功能，對(duì)提高計(jì)算機(jī)數(shù)據(jù)信息處理水平作用明顯。本文首先解析大數(shù)據(jù)和計(jì)算機(jī)信息處理的內(nèi)涵，其次概述了大數(shù)據(jù)技術(shù)的主要處理工具，最后探討大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息中的應(yīng)用，以供相關(guān)讀者參考。

大數(shù)據(jù)技術(shù)；計(jì)算機(jī)；數(shù)據(jù)信息處理；應(yīng)用

當(dāng)今社會(huì)，計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)應(yīng)用越來(lái)越廣泛，不僅為人民的生活、工作帶來(lái)了巨大便利，而且推動(dòng)了整個(gè)社會(huì)的發(fā)展進(jìn)步，產(chǎn)生了深遠(yuǎn)的影響。伴隨著計(jì)算機(jī)使用量和網(wǎng)絡(luò)用戶群體的不斷增加，數(shù)據(jù)信息規(guī)模越來(lái)越大，社會(huì)已經(jīng)邁入了大數(shù)據(jù)時(shí)代。如何高效、精準(zhǔn)地處理批量化數(shù)據(jù)信息，并從海量數(shù)據(jù)中挖掘出重要信息發(fā)揮數(shù)據(jù)的最大化價(jià)值，已經(jīng)成了各行各業(yè)新一輪競(jìng)爭(zhēng)的焦點(diǎn)。大數(shù)據(jù)技術(shù)的出現(xiàn)讓計(jì)算機(jī)數(shù)據(jù)處理工作變得更加簡(jiǎn)單，也受到了社會(huì)的追捧。筆者就此分析和探討以大數(shù)據(jù)技術(shù)為支撐的計(jì)算機(jī)數(shù)據(jù)信息處理應(yīng)用。

1 大數(shù)據(jù)技術(shù)及計(jì)算機(jī)信息處理內(nèi)涵

1.1 大數(shù)據(jù)技術(shù)及其特點(diǎn)

大數(shù)據(jù)指的是在一定時(shí)間范圍內(nèi)超出常規(guī)軟件工具的捕捉、管理和處理能力的數(shù)據(jù)集合。必須依靠更新、更強(qiáng)大的處理模式才能獲得更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的多樣化信息資源。大數(shù)據(jù)技術(shù)也就是大數(shù)據(jù)的應(yīng)用技術(shù)，具體表現(xiàn)為各種大數(shù)據(jù)平臺(tái)、大數(shù)據(jù)指數(shù)體系等。大數(shù)據(jù)是以現(xiàn)代信息技術(shù)為基礎(chǔ)發(fā)展起來(lái)的，其數(shù)據(jù)流量、規(guī)模等都非常龐大，其中包含了各種結(jié)構(gòu)形式的重要信息。大數(shù)據(jù)技術(shù)的主要特點(diǎn)為：一是可以存儲(chǔ)巨量數(shù)據(jù)。大數(shù)據(jù)的數(shù)據(jù)集通常是萬(wàn)億或EB的單位，互聯(lián)網(wǎng)一天所產(chǎn)生的數(shù)據(jù)內(nèi)容可以刻滿1.68億張DVD，大數(shù)據(jù)技術(shù)一般使用LSI技術(shù)，可存儲(chǔ)數(shù)據(jù)超過(guò)宇宙天體數(shù)的三倍以上。二是可以抓取、搜集類型繁雜的數(shù)據(jù)[1]。大數(shù)據(jù)技術(shù)對(duì)各種結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)都可以進(jìn)行處理，包括各種各樣的語(yǔ)音、圖像、文本信息、地理位置信息、數(shù)字符號(hào)等。三是應(yīng)用空間巨大。大數(shù)據(jù)分析技術(shù)可以幫助用戶從巨量數(shù)據(jù)中準(zhǔn)確挖掘出所需的數(shù)據(jù)資料，對(duì)提高決策科學(xué)性作用巨大。當(dāng)前大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于工業(yè)、教育、服務(wù)行業(yè)等諸多領(lǐng)域，發(fā)揮著重要價(jià)值。

1.2 計(jì)算機(jī)信息處理技術(shù)及發(fā)展情況

計(jì)算機(jī)信息處理技術(shù)，是指以計(jì)算機(jī)為基礎(chǔ)，集數(shù)據(jù)采集、傳輸、整合、分析為一體的一類技術(shù)。它并非單一技術(shù)，而是多種技術(shù)應(yīng)用綜合體，主要包括網(wǎng)絡(luò)技術(shù)、信息處理技術(shù)、通信技術(shù)等，其中信息處理技術(shù)是其中的最核心部分，對(duì)數(shù)據(jù)的處理起著關(guān)鍵作用。伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，計(jì)算機(jī)信息處理技術(shù)既面臨著機(jī)遇，又存在諸多新挑戰(zhàn)。其機(jī)遇是指，社會(huì)對(duì)數(shù)據(jù)處理技術(shù)的依賴，推動(dòng)計(jì)算機(jī)技術(shù)的不斷發(fā)展，可以運(yùn)用新的思想和方法來(lái)改進(jìn)技術(shù)現(xiàn)狀。挑戰(zhàn)指的是，面對(duì)數(shù)量龐大的數(shù)據(jù)信息，現(xiàn)有的計(jì)算機(jī)軟硬件能力都達(dá)不到快速、精準(zhǔn)、全面、安全處理數(shù)據(jù)信息的技術(shù)要求，必須升級(jí)更新引入更先進(jìn)的技術(shù)。

2 大數(shù)據(jù)技術(shù)及處理工具

2.1 大數(shù)據(jù)處理流程

（1）數(shù)據(jù)采集

大數(shù)據(jù)的基本特點(diǎn)是數(shù)據(jù)多、類型復(fù)雜，所以，通過(guò)有效方法來(lái)獲取有效數(shù)據(jù)信息就顯得尤為重要。數(shù)據(jù)采集是大數(shù)據(jù)處理過(guò)程中的一個(gè)基礎(chǔ)環(huán)節(jié)，當(dāng)前使用較普遍的數(shù)據(jù)采集手段包括：傳感器采集、射頻識(shí)別（RFID）、數(shù)據(jù)檢索分析（Baidu、Goole等主流搜索引擎）及條形碼技術(shù)等。

（2）數(shù)據(jù)處理和集成

這一步建立在數(shù)據(jù)采集基礎(chǔ)上，主要是對(duì)所采集的各種數(shù)據(jù)信息進(jìn)行篩選、分類、清洗去噪并進(jìn)一步地集成存儲(chǔ)等。

（3）數(shù)據(jù)分析

在大數(shù)據(jù)處理的過(guò)程中，數(shù)據(jù)分析是最核心的環(huán)節(jié)，它是實(shí)現(xiàn)從海量數(shù)據(jù)中，準(zhǔn)確找出有價(jià)值的數(shù)據(jù)信息的關(guān)鍵。在大數(shù)據(jù)時(shí)代，傳統(tǒng)的數(shù)據(jù)處理分析方法顯然已經(jīng)無(wú)法滿足規(guī)?；?、個(gè)性化數(shù)據(jù)的分析需求。關(guān)于數(shù)據(jù)分析技術(shù)，Google在2006年率先提出了“云計(jì)算”的概念，它將各種數(shù)據(jù)的應(yīng)用建立在云計(jì)算技術(shù)之上，如GFS（分布式文件系統(tǒng)）、BigTable（分布式數(shù)據(jù)庫(kù)）、MapReduce（批處理技術(shù)）以及開源實(shí)現(xiàn)平臺(tái)Hadoop等[2]，有助于進(jìn)一步提升大數(shù)據(jù)的處理、分析水平。

（4）數(shù)據(jù)解釋

在完整的數(shù)據(jù)分析流程中，數(shù)據(jù)結(jié)果解釋極為重要。但是，由于數(shù)據(jù)量的持續(xù)增加，結(jié)果分析也往往變得越來(lái)越復(fù)雜，用傳統(tǒng)的數(shù)據(jù)顯示方法難以達(dá)到數(shù)據(jù)分析結(jié)果快速輸出的要求，所以為了提高數(shù)據(jù)的解釋力和展示效果，“數(shù)據(jù)可視化技術(shù)”被引入了大數(shù)據(jù)系統(tǒng)中。利用結(jié)果可視化分析可將數(shù)據(jù)分析結(jié)果直觀地展現(xiàn)給用戶，更便于用戶理解和接受。常用的可視化技術(shù)包括基于圖標(biāo)的技術(shù)、面向像素的技術(shù)、分布式技術(shù)以及基于集合的可視化技術(shù)等。

2.2 大數(shù)據(jù)技術(shù)依托

云計(jì)算作為計(jì)算機(jī)概念的一種具體實(shí)現(xiàn)，也是大數(shù)據(jù)技術(shù)的主要依托，它不僅可以實(shí)現(xiàn)分布式計(jì)算、網(wǎng)格計(jì)算和并行計(jì)算的功能，還在此基礎(chǔ)上進(jìn)行了進(jìn)一步擴(kuò)展，被廣泛用于數(shù)據(jù)備份、災(zāi)難恢復(fù)、電子郵件、虛擬桌面、軟件開發(fā)和測(cè)試、大數(shù)據(jù)分析以及面向客戶的Web應(yīng)用程序等。云計(jì)算中的“云”是一個(gè)虛擬容器，集合了基礎(chǔ)設(shè)施、平臺(tái)和軟件等。每種類型的云計(jì)算都提供不同級(jí)別的控制、靈活性和管理，因此可以根據(jù)需要選擇合適的服務(wù)集。云計(jì)算功能的有效實(shí)現(xiàn)需要多種信息設(shè)備和技術(shù)的支持，包括數(shù)據(jù)存儲(chǔ)設(shè)備和功能、數(shù)據(jù)索引技術(shù)、查詢系統(tǒng)等，最終支持?jǐn)?shù)據(jù)分析處理功能的實(shí)現(xiàn)。

2.3 大數(shù)據(jù)處理工具

關(guān)系數(shù)據(jù)庫(kù)模式是傳統(tǒng)數(shù)據(jù)處理的基本依托，能夠應(yīng)對(duì)常規(guī)計(jì)算機(jī)數(shù)據(jù)的處理需要。但是這種模式并適合大數(shù)據(jù)環(huán)境下的計(jì)算機(jī)信息處理要求。目前已經(jīng)出現(xiàn)了多種大數(shù)據(jù)處理工具，社會(huì)評(píng)價(jià)效果較好的有Hadoop、HPCC、STORM、ApacheDrill以及RapidMiner等。以RapidMiner為例，作為世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，RapidMiner的數(shù)據(jù)挖掘任務(wù)涉及范圍很廣泛，包括各種數(shù)據(jù)技術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)。它可以免費(fèi)提供數(shù)據(jù)挖掘技術(shù)和庫(kù)；100%用Java代碼（可運(yùn)行在操作系統(tǒng)上）；數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單、強(qiáng)大和直觀；內(nèi)部XML保證了用標(biāo)準(zhǔn)化的格式來(lái)表示交換數(shù)據(jù)挖掘過(guò)程；支持用簡(jiǎn)單腳本語(yǔ)言自動(dòng)進(jìn)行大規(guī)模進(jìn)程；支持多層次的數(shù)據(jù)視圖，可確保有效和透明的數(shù)據(jù)；命令行（批處理模式）可自動(dòng)大規(guī)模應(yīng)用等。

3 基于大數(shù)據(jù)技術(shù)的計(jì)算機(jī)信息處理技術(shù)應(yīng)用

大數(shù)據(jù)技術(shù)的強(qiáng)大功能，對(duì)計(jì)算機(jī)數(shù)據(jù)信息的處理有著重要的支撐作用，可以促進(jìn)計(jì)算機(jī)信息處理體系的不斷完善，促進(jìn)處理效率和處理質(zhì)量的有效提升。其技術(shù)應(yīng)用主要有：

（1）應(yīng)用于信息采集與加工

在大數(shù)據(jù)技術(shù)支持下，可構(gòu)造出信息采集與處理技術(shù)系統(tǒng)，該系統(tǒng)建立的數(shù)據(jù)模型具有較強(qiáng)的實(shí)效性，能有效地處理網(wǎng)絡(luò)上的各類信息內(nèi)容，并實(shí)現(xiàn)數(shù)據(jù)內(nèi)容的及時(shí)采集。通常來(lái)說(shuō)，基于大數(shù)據(jù)的信息采集和處理技術(shù)的數(shù)據(jù)模型可分為兩類：一種是數(shù)據(jù)流處理模型，另一種是批量處理數(shù)據(jù)模型[3]。其中流數(shù)據(jù)處理方式可調(diào)速計(jì)算機(jī)數(shù)據(jù)的傳輸速度，也就是對(duì)計(jì)算機(jī)中的大數(shù)據(jù)內(nèi)容進(jìn)行正確及時(shí)的調(diào)整，保證計(jì)算機(jī)內(nèi)部空間上的大數(shù)據(jù)信息精準(zhǔn)，還可以調(diào)整數(shù)據(jù)處理技術(shù)體系結(jié)構(gòu)，支持?jǐn)?shù)據(jù)信息的有效篩選與采集，確保所有的數(shù)據(jù)信息都能得到有效處理。這一過(guò)程將特別采用分析、存儲(chǔ)等精細(xì)處理的技術(shù)方法，確保數(shù)據(jù)處理質(zhì)量。另外，還可以建立數(shù)據(jù)動(dòng)態(tài)監(jiān)測(cè)機(jī)制，對(duì)可能被疏忽的數(shù)據(jù)內(nèi)容進(jìn)行監(jiān)控，分析數(shù)據(jù)的變化狀態(tài)，聯(lián)合通信技術(shù)將采集的有用數(shù)據(jù)及時(shí)傳送到指定地點(diǎn)，凸顯數(shù)據(jù)信息的預(yù)設(shè)作用，充分發(fā)揮其數(shù)據(jù)的應(yīng)用價(jià)值。

（2）應(yīng)用于虛擬資源調(diào)度

虛擬化資源的調(diào)度就是虛擬網(wǎng)絡(luò)的合理配置，目的是保證其資源分配和虛擬存儲(chǔ)得當(dāng)。首先使用大數(shù)據(jù)技術(shù)全面采集各種信息資源，并對(duì)這些資源進(jìn)行存儲(chǔ)管理[4]。然后，建立資源優(yōu)化技術(shù)體系，對(duì)虛擬技術(shù)應(yīng)用過(guò)程進(jìn)行數(shù)據(jù)處理，通過(guò)靈活調(diào)控、合理劃分虛擬云資源，形成一套完整的計(jì)算機(jī)應(yīng)用與技術(shù)服務(wù)體系，確保相關(guān)數(shù)據(jù)信息能夠圍繞著不同的使用目的得到有效處理和管理?？茖W(xué)、合理的虛擬資源調(diào)度與任務(wù)分配，可以有效提高資源利用率，降低成本開銷和時(shí)間約束，使整個(gè)系統(tǒng)達(dá)到一個(gè)良好的平衡。

（3）應(yīng)用于信息數(shù)據(jù)挖掘

在利用大數(shù)據(jù)技術(shù)挖掘、分析計(jì)算機(jī)數(shù)據(jù)信息時(shí)，首先建立基于Internet的數(shù)據(jù)檢索與數(shù)據(jù)關(guān)聯(lián)技術(shù)體系，保證系統(tǒng)數(shù)據(jù)挖掘和分析的順利實(shí)施。同時(shí)提出一套基于互聯(lián)網(wǎng)平臺(tái)的核心排序算法，并結(jié)合多種流媒體平臺(tái)，對(duì)數(shù)據(jù)信息進(jìn)行整合、分析處理，找出其中的關(guān)鍵信息，實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效、準(zhǔn)確挖掘。簡(jiǎn)而言之，就是在主流算法的基礎(chǔ)上對(duì)數(shù)據(jù)內(nèi)容逐個(gè)按點(diǎn)、按組、按列進(jìn)行有效調(diào)整。

（4）應(yīng)用于遺傳算法和神經(jīng)網(wǎng)絡(luò)技術(shù)

在計(jì)算機(jī)系統(tǒng)中應(yīng)用GeneticAlgorithm遺傳算法，可以保證產(chǎn)生的隨機(jī)思維內(nèi)容符合生物發(fā)展與進(jìn)化規(guī)律，以此優(yōu)化信息資源的獲取與分析流程，保證在遺傳信息的基礎(chǔ)上融入概率思維的內(nèi)容，確保數(shù)據(jù)信息中自動(dòng)調(diào)節(jié)的信息易于搜索。與此同時(shí)，通過(guò)應(yīng)用信息技術(shù)識(shí)別功能，借鑒生物神經(jīng)網(wǎng)絡(luò)和信息傳遞模式，以遺傳算法為基礎(chǔ)來(lái)處理計(jì)算機(jī)數(shù)據(jù)信息，可建立完善的機(jī)器人學(xué)習(xí)機(jī)制實(shí)現(xiàn)人工智能。

4 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)作為現(xiàn)代信息技術(shù)的杰出代表，其強(qiáng)大技術(shù)功能可以很好地彌補(bǔ)計(jì)算機(jī)數(shù)據(jù)信息處理方面的不足，能夠讓數(shù)據(jù)采集更全面，數(shù)據(jù)分類更準(zhǔn)確，數(shù)據(jù)挖掘更深入，可以滿足各種以計(jì)算機(jī)和網(wǎng)絡(luò)為基礎(chǔ)的多樣化數(shù)據(jù)信息需求。從而提高工作便利性，實(shí)現(xiàn)最大化效益。

[1]張文娟，孫丹.大數(shù)據(jù)時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)分析[J].科技資訊，2017，15（36）：202-203

[2]郝賓波.“大數(shù)據(jù)”時(shí)代背景下的計(jì)算機(jī)信息處理技術(shù)安全分析[J].數(shù)碼世界，2018（02）：71.

[3]劉麗鳳.試論基于大數(shù)據(jù)視域下計(jì)算機(jī)信息處理系統(tǒng)的優(yōu)化設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2020（5）：12-13.

[4]孫芳芳.“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)分析[J].中國(guó)設(shè)備工程，2019（2）：196-197.