網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)采集和處理

耿貞偉 保富

摘 ?要：在信息媒體技術(shù)高速發(fā)展的今天，網(wǎng)絡(luò)信息日新月異，大數(shù)據(jù)正在世界掀起一股狂熱浪潮，成為人類社會的一大生產(chǎn)力。網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)技術(shù)不僅僅只是對信息的收集，同時也是對信息的分析和處理，整合信息背后所隱藏的價值。大數(shù)據(jù)技術(shù)將會為人類社會帶來新的改革方向，促進(jìn)人類社會的文明發(fā)展。文章主要通過探索網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)發(fā)展的規(guī)律，以及網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)存在的特點，針對大數(shù)據(jù)資源的有效應(yīng)用途徑，進(jìn)一步研究其數(shù)據(jù)的采集及處理技術(shù)。

關(guān)鍵詞：網(wǎng)絡(luò)環(huán)境;大數(shù)據(jù);采集和處理

中圖分類號：TP399 ? ? ?文獻(xiàn)標(biāo)識碼：A

Abstract：With the rapid development of information and media technology，network information is changing with each passing day.Big data is setting off a craze wave in the world and becoming a major productive force for human society.Big data technology in the network environment is not only used to collect information，but also analyze and process information，so as to integrate the potential value hidden in the information.Big data technology will bring new direction of reform for human society and promote the development of human civilization.This paper mainly explores the development laws and characteristics of big data in the network environment，and further studies the data acquisition and processing technology for the effective application of big data resources.

Keywords：network environment;big data;acquisition and processing

1 ? 引言（Introduction）

大數(shù)據(jù)主要指超過數(shù)據(jù)系統(tǒng)收集和處理能力的數(shù)據(jù)，是網(wǎng)絡(luò)環(huán)境中常見的數(shù)據(jù)信息。大數(shù)據(jù)對信息規(guī)模和傳送能力的要求都比較高，由于與原數(shù)據(jù)系統(tǒng)不相匹配，大數(shù)據(jù)信息并不會得到系統(tǒng)很好的整理及處理。大數(shù)據(jù)對于當(dāng)今時代的發(fā)展具有重要作用，能促進(jìn)新生產(chǎn)力的發(fā)展。所以，在信息更迭速度加快的信息時代，為了獲取大數(shù)據(jù)所隱藏的信息價值及促進(jìn)生產(chǎn)力發(fā)展，相關(guān)技術(shù)人員應(yīng)有所行動，采取行之有效地方法對之進(jìn)行采集和處理。

2 ?網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)的發(fā)展（Development of big data in network environment）

最早給出大數(shù)據(jù)時代已經(jīng)到來定義的是咨詢公司麥肯錫。該公司在社會研究調(diào)查報告中指出，大數(shù)據(jù)信息已經(jīng)融入到了社會各行各業(yè)中，成為社會各領(lǐng)域中重要的生產(chǎn)力。而隨著人們對海量數(shù)據(jù)的運用又預(yù)示著新信息與生產(chǎn)率增長時代的到來。大數(shù)據(jù)的發(fā)展是人類社會進(jìn)步發(fā)展的標(biāo)志，它預(yù)示著人類社會將朝向更文明、科技化、信息化方向進(jìn)步發(fā)展。在現(xiàn)代社會中，大數(shù)據(jù)已經(jīng)成為計算機(jī)網(wǎng)絡(luò)媒體技術(shù)中的熱門內(nèi)容，引起了電子計算機(jī)行業(yè)的研究熱潮，成為相關(guān)企業(yè)發(fā)展的主要動力因素。目前大數(shù)據(jù)在我國的發(fā)展和研究都還處于初級階段，但大數(shù)據(jù)的市場價值已經(jīng)顯現(xiàn)出來，在很長一段時間內(nèi)我國都會注重對大數(shù)據(jù)的研究與應(yīng)用，大數(shù)據(jù)在我國市場中擁有可觀的發(fā)展未來。

大數(shù)據(jù)的未來整體態(tài)勢及發(fā)展趨勢主要表現(xiàn)在幾個方面：大數(shù)據(jù)與人類社會活動;大數(shù)據(jù)與人類文化藝術(shù);大數(shù)據(jù)隱私安全;系統(tǒng)處理;應(yīng)用關(guān)鍵技術(shù);產(chǎn)業(yè)影響。在大數(shù)據(jù)的整體態(tài)勢中，數(shù)據(jù)的規(guī)模將會逐漸擴(kuò)張，數(shù)據(jù)信息成為引用資源，數(shù)據(jù)共享將會成為推動企業(yè)發(fā)展的核心內(nèi)容。在大數(shù)據(jù)發(fā)展環(huán)境下，會催生出一批批新興產(chǎn)業(yè)，伴隨開創(chuàng)一些新興職業(yè)，如數(shù)據(jù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)分析師等。這些新興職業(yè)能為各國社會提供更多的就業(yè)崗位，一方面也為國家解決了就業(yè)的民生問題。大數(shù)據(jù)下信息共享是必不可少的，伴隨著又會帶來信息隱私安全的問題，信息共享帶來便利的同時也蘊藏了較大的信息隱私安全問題。數(shù)據(jù)信息資源化發(fā)展，大數(shù)據(jù)在各個國家及地區(qū)都會成為競爭中最有力的戰(zhàn)略資源，成為新的競爭優(yōu)勢和新發(fā)展動力。

3 ?網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)的分類及特點（Classification and characteristics of big data in network environment）

3.1 ? 大數(shù)據(jù)的分類

3.1.1 ? 以實時性特點劃分，分為實時數(shù)據(jù)分析和離線數(shù)據(jù)分析

實時數(shù)據(jù)分析應(yīng)用的領(lǐng)域主要是B2C產(chǎn)品，包括金融、互聯(lián)網(wǎng)和移動領(lǐng)域內(nèi)的B2C產(chǎn)品。這類產(chǎn)品往往會要求在限定時間內(nèi)反饋上億次的信息，以此來達(dá)到提高用戶體驗的目的。實時數(shù)據(jù)分析對處理體系的要求比離線數(shù)據(jù)分析的要高，而當(dāng)前對大數(shù)據(jù)采集和處理的研究也主要針對的是實時數(shù)據(jù)信息。對于大多數(shù)對反饋時間要求不高的應(yīng)用，如機(jī)器學(xué)習(xí)、推薦引擎計算、離線統(tǒng)計分析等，可以采用離線數(shù)據(jù)分析的方式，通過采集的數(shù)據(jù)將其轉(zhuǎn)移到專用的分析平臺。面對海量數(shù)據(jù)的沖擊，傳統(tǒng)ETL工具往往會出現(xiàn)崩潰的問題。ETL在格式轉(zhuǎn)換上對資金的需求較高，所以在性能上根本無法滿足對海量數(shù)據(jù)的采集和處理需求。從實時數(shù)據(jù)分析與離線數(shù)據(jù)分析來看，大數(shù)據(jù)在量上遠(yuǎn)高于其他物質(zhì)流量，因此需要抓緊對大數(shù)據(jù)采集和處理體系的研究。

3.1.2 ? 以數(shù)據(jù)量分析，分為內(nèi)存級別、海量級別、BI級別

大數(shù)據(jù)中的內(nèi)存級別是指不超過群體的內(nèi)存最大值;海量級別是指對于BI產(chǎn)品和數(shù)據(jù)庫都已經(jīng)失效或者成本過高的數(shù)據(jù)量;BI是區(qū)別于內(nèi)存較小來說，具有過大特征的數(shù)據(jù)量。這類數(shù)據(jù)一般可以放在傳統(tǒng)BI產(chǎn)品和量身定做的BI數(shù)據(jù)中進(jìn)行分析。無論是內(nèi)存級別還是海量級別或BI級別的數(shù)據(jù)來說，都是以數(shù)據(jù)量為基礎(chǔ)進(jìn)行分析，同時也都滿足大數(shù)據(jù)的概念。所以，在具體應(yīng)用中需要對數(shù)據(jù)類型進(jìn)行分類比較，以采取適當(dāng)?shù)牟杉疤幚矸椒╗1]。海量級別的大數(shù)據(jù)流量是當(dāng)前發(fā)展的一個主要趨勢，在這里所有的數(shù)據(jù)信息都會匯聚于此。而當(dāng)前技術(shù)發(fā)展的要求是建立具體的海量數(shù)據(jù)分析系統(tǒng)，以確保信息特征的有效分類采集和處理。

3.2 ? 大數(shù)據(jù)的特點

大數(shù)據(jù)在社會實踐過程中表現(xiàn)了以下幾個特點：海量性、易變性、多樣性、高速性。社會各行各業(yè)都面臨數(shù)據(jù)量范圍增長的挑戰(zhàn)。比如，在最近一次的IDC報告預(yù)測中曾說，在2020年，世界范圍內(nèi)的信息量將會擴(kuò)大為原來的50倍。當(dāng)前，大數(shù)據(jù)的增長規(guī)模仍然存在一個不確定的指標(biāo)，單一數(shù)據(jù)集的范圍可以從數(shù)十TB到數(shù)PB不等。1PB的數(shù)據(jù)需要兩萬臺50GB硬盤的電腦才能進(jìn)行處理，可見大數(shù)據(jù)的增長規(guī)模是非常巨大的。此外，在這個過程中還會催生出其他數(shù)據(jù)信息，數(shù)據(jù)量也會持續(xù)不斷的增加，最終形成海量的數(shù)據(jù)信息流量。大數(shù)據(jù)一般都具有多層結(jié)構(gòu)，各層結(jié)構(gòu)都具有不同的特征表現(xiàn)，因此大數(shù)據(jù)也會有不同的類型和形式。相較于傳統(tǒng)業(yè)務(wù)數(shù)據(jù)而言，大數(shù)據(jù)在該系統(tǒng)下會存在特征不明顯、形狀不規(guī)則等問題，傳統(tǒng)數(shù)據(jù)處理軟件是很難對其進(jìn)行有效處理的。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)已經(jīng)能生成符合自身發(fā)展的標(biāo)準(zhǔn)個數(shù)，能夠被智能軟件所識別。

目前，社會發(fā)展所面臨的難題就是從海量數(shù)據(jù)中發(fā)覺其市場價值。社會大眾普遍都認(rèn)為，使用互聯(lián)網(wǎng)進(jìn)行搜索是造成數(shù)據(jù)增長的主要原因，改觀點是不正確的[2]。數(shù)據(jù)的增長主要是新型多結(jié)構(gòu)數(shù)據(jù)的原因，其中包括了網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)搜索、手機(jī)通訊錄等。數(shù)據(jù)的快速增長一直是處理大數(shù)據(jù)的一大難題，在這里人們需要考慮到更多方面的因素，以免出現(xiàn)數(shù)據(jù)采集和處理不恰當(dāng)?shù)那闆r。此外，傳感器的安裝也增加了數(shù)據(jù)量增長、范圍擴(kuò)大的可能性，推動數(shù)據(jù)多樣性的發(fā)展;高速主要是指被創(chuàng)建和被移動的速度。在網(wǎng)絡(luò)大環(huán)境下，流行的趨勢是通過基于實現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器。企業(yè)需要掌握快速創(chuàng)建數(shù)據(jù)、處理信息、反饋方法的方法，以此來對數(shù)據(jù)進(jìn)行采集和處理。

4 ?網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)的處理和分析（Processing and analysis of big data in network environment）

要將大數(shù)據(jù)作為一種資源，就必須對大數(shù)據(jù)進(jìn)行相關(guān)處理和分析。大數(shù)據(jù)的處理和分析對海量數(shù)據(jù)處理，信息價值的提取都有較高的要求。大數(shù)據(jù)具有不同的類型及特征，所以目前，針對市場針對靜態(tài)數(shù)據(jù)主要還是采取批處理的方法，對實時在線數(shù)據(jù)采取流處理。批處理方法首先需要將原始數(shù)據(jù)進(jìn)行分類處理，以得出數(shù)據(jù)的具體含義，然后分配給不同的任務(wù)區(qū)進(jìn)行處理，最終形成有效的處理措施。把計算推到數(shù)據(jù)是大數(shù)據(jù)處理的有效辦法，對文本中構(gòu)建良好的模型具有重要影響。于大數(shù)據(jù)的靜態(tài)數(shù)據(jù)而言，比較適用于先儲存后計算的處理系統(tǒng)。Dremel交互式數(shù)據(jù)分析系統(tǒng)是Google公司推出了一款實時數(shù)據(jù)處理系統(tǒng)，這款系統(tǒng)一經(jīng)問世便引領(lǐng)電子計算機(jī)行業(yè)向?qū)崟r數(shù)據(jù)處理邁進(jìn)。實時數(shù)據(jù)的處理大致可分為流式處理和交互式處理兩種模式，交互式的處理在具有靈活、直觀、操作便捷的特點，處理的結(jié)果可以直接得到運用。交互式數(shù)據(jù)處理比較常用于服務(wù)器實時日志數(shù)據(jù)的采取上，交互式處理系統(tǒng)可以適當(dāng)將網(wǎng)絡(luò)上的PB級數(shù)處理時間縮短到最小，盡可能地對數(shù)據(jù)進(jìn)行處理和分析并給出結(jié)果[3]。交互式處理是常見的大數(shù)據(jù)處理方式，在應(yīng)用該技術(shù)的過程中需要更加注意對數(shù)據(jù)PB級數(shù)的處理，以提高大數(shù)據(jù)的處理效率。

電子設(shè)備的普及和發(fā)展，催生了海量的圖像、影音數(shù)據(jù)信息，由于數(shù)據(jù)信息本身的特征能表示事物之間的相關(guān)關(guān)系，大數(shù)據(jù)融合的特征使信息范圍的規(guī)模不斷增長，達(dá)到了上百萬或上億個節(jié)點的大圖數(shù)據(jù)庫，這也對計算機(jī)的數(shù)據(jù)采集和處理技術(shù)提出了巨大的挑戰(zhàn)。圖數(shù)據(jù)需要選取適當(dāng)?shù)膱D分割和計算機(jī)模型來進(jìn)行處理挑戰(zhàn)，以實現(xiàn)對大數(shù)據(jù)的采集和處理效果。大數(shù)據(jù)在互聯(lián)網(wǎng)領(lǐng)域、公共服務(wù)領(lǐng)域及安全防護(hù)領(lǐng)域內(nèi)的運用以初見成效。目前據(jù)調(diào)查顯示，在微博、微信中人們都會對根據(jù)文本、圖片、聯(lián)系方式等信息來推薦的內(nèi)容倍感興趣，提升了用戶本身的體驗效果。對大數(shù)據(jù)的處理是信息快速發(fā)展的要求，受大數(shù)據(jù)海量性、易變性、高速性等特點的影響，處理大數(shù)據(jù)需要更多行之有效地方法。大數(shù)據(jù)的分析系統(tǒng)需要依靠傳感分析處理系統(tǒng)，對抓取的數(shù)據(jù)進(jìn)行分塊處理，發(fā)現(xiàn)每個文本信息所對應(yīng)的特征，將信息歸類到具體的板塊。

5 ?網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)的采集和篩選（Acquisition and ? ? screening of big data in network environment）

5.1 ? 網(wǎng)絡(luò)大數(shù)據(jù)采集的基本流程與關(guān)鍵技術(shù)

5.1.1 ? 網(wǎng)絡(luò)大數(shù)據(jù)采集的基本流程

數(shù)據(jù)采集的整體框架主要包括六大板塊：網(wǎng)站頁面、鏈接抽取、鏈接過濾、內(nèi)容抽取、爬蟲URL隊列和數(shù)據(jù)。這些板塊各自所帶有的功能分別是：網(wǎng)站頁面的功能是獲取網(wǎng)站的網(wǎng)頁內(nèi)容;鏈接抽取是抽取網(wǎng)站頁面中的鏈接地址;鏈接過濾是辨別該鏈接地址下的網(wǎng)頁內(nèi)容是否被抓取過;內(nèi)容抽取是從網(wǎng)頁內(nèi)容中抽取需要的屬性，然后提取所需內(nèi)容值;URL隊列是為爬蟲提供需要抓取數(shù)據(jù)網(wǎng)站的url;數(shù)據(jù)主要包括Site Url，被抓取的數(shù)據(jù)網(wǎng)站中的url、Spider Url，已經(jīng)抓取過的網(wǎng)站數(shù)據(jù)Url和Spider Content，被抓取的網(wǎng)頁內(nèi)容[4]。

網(wǎng)絡(luò)大數(shù)據(jù)的采集過程主要包括：將被抓取的網(wǎng)站Url信息寫入Url Queue程序中;在URL隊列中獲取被抓取網(wǎng)站的信息;集中獲取某一網(wǎng)站的網(wǎng)頁內(nèi)容;在網(wǎng)頁內(nèi)容中抽取鏈接地址;在數(shù)據(jù)庫中讀取被抓取網(wǎng)站的網(wǎng)頁地址;過濾Url，對比抓取前后的Url信息;分類處理，將沒有被抓取過的網(wǎng)頁地址寫入Spider Url數(shù)據(jù)庫，已抓取過的放置對該網(wǎng)頁地址的抓取;獲取網(wǎng)頁地址內(nèi)容，抽取所需屬性的內(nèi)容值;將抽取的內(nèi)容值寫入數(shù)據(jù)庫[5]。對大數(shù)據(jù)的處理必須具備條理清晰的處理流程和方法，這樣才能井然有序地對海量數(shù)據(jù)信息進(jìn)行處理。此外，在處理大數(shù)據(jù)時還要針對數(shù)據(jù)信息的特征來進(jìn)一步來分析處理，以確保其精準(zhǔn)度。

5.1.2 ? 數(shù)據(jù)采集的關(guān)鍵技術(shù)

數(shù)據(jù)采集的關(guān)鍵是布隆過濾器。鏈接過濾技術(shù)的核心是判斷當(dāng)前鏈接是否在已被抓取過的鏈接里面。在進(jìn)行網(wǎng)頁大數(shù)據(jù)的采集時，可以增加布隆過濾器來完成對鏈接的篩選。運用布隆過濾器的想法是：當(dāng)集合中加入一個新元素，可以通過X個散列函數(shù)實現(xiàn)對該元素的X個映射點數(shù)組，并將這些數(shù)組置為1。在檢索的過程中我們只需要觀察這些點是否為1就基本能判斷該集合中有沒有這個新元素了。若這些點數(shù)組中存在一個0，則被檢測的元素一定不存在;若都是1，則被檢測的元素很可能會存在于這些點數(shù)組中[6]。布隆過濾器在橫向和縱向上都具有很大的優(yōu)勢：

（1）在簡潔程度方面，布隆過濾器的簡潔程度達(dá)到了最大值，該過濾器的儲存空間和插入、查詢時間都為常數(shù)。

（2）在相互關(guān)系上，散列的函數(shù)并沒有連接關(guān)系，有利于各硬件的并行運行。

（3）在儲存方面，布隆過濾器并不儲存元素本身，這一點是布隆過濾器在保密性要求較高場合中的優(yōu)勢。布隆過濾器的運行方法是，已被抓取的url，以X個hash函數(shù)計算，得出X個值，再與一個bit數(shù)組的這X個位置的元素對應(yīng)起來（元素值已被設(shè)為1）。根據(jù)上面所論述過的方法即可得出判斷。

5.2 ? 網(wǎng)絡(luò)大數(shù)據(jù)篩選的基本流程與關(guān)鍵技術(shù)

5.2.1 ? 網(wǎng)絡(luò)大數(shù)據(jù)篩選的基本流程

網(wǎng)絡(luò)大數(shù)據(jù)篩選的整體框架和處理過程主要包括四個板塊：分詞、排重、整合、數(shù)據(jù)。四個板塊的功能主要是：分詞，是對抓取到的網(wǎng)頁進(jìn)行切詞處理;排重，是對網(wǎng)頁內(nèi)容進(jìn)行多重排重檢查;整合，是對不同源信息進(jìn)行格式層面的整合;數(shù)據(jù)，主要指Spider Data和Dp Data兩方面的數(shù)據(jù)。網(wǎng)絡(luò)大數(shù)據(jù)處理的基本流程主要有六個步驟：將抓取的網(wǎng)頁進(jìn)行分詞;將分詞處理的結(jié)果寫入數(shù)據(jù)庫;將抓取網(wǎng)頁進(jìn)行排重檢查;將排重結(jié)果寫入數(shù)據(jù)庫;更具分詞和排重結(jié)果，對數(shù)據(jù)進(jìn)行整合;將整合結(jié)果寫入數(shù)據(jù)庫。

5.2.2 ? 網(wǎng)絡(luò)大數(shù)據(jù)篩選的關(guān)鍵技術(shù)

網(wǎng)絡(luò)大數(shù)據(jù)篩選的關(guān)鍵技術(shù)之一是排重技術(shù)，而排重技術(shù)則需要依靠Simhash算法來實現(xiàn)高效排重。Simhash算法是實現(xiàn)對海量數(shù)據(jù)進(jìn)行文本排重的算法，simhash算法在一定程度上避免了文本比較的復(fù)雜方式，于余弦角、Jaccard相似系數(shù)而言，效率得到了有效提高。運用Simhash算法對抓取的網(wǎng)頁內(nèi)容進(jìn)行排重，可以有效擴(kuò)大數(shù)據(jù)容量，提供更快速的數(shù)據(jù)處理速度。運用Simhash算法的想法是：輸入一個為K的維向量V，如文本的特征向量，但需要保證每個特征都具有一定的權(quán)重。輸出一個N位的二進(jìn)制簽名X[7]。

（1）初始化一個N維向量Q為0，N位的二進(jìn)制簽名S為0。

（2）對向量K中的所有特征使用傳統(tǒng)的Hash算法算出一個N位的散列值H。判斷式子為1≤i≤N，如果H中的第i位數(shù)是1則Q的第i個元素減去該特征的權(quán)重。

（3）如果Q的第i位元素大于0，則S的第i位數(shù)為1反之則為0。

（4）返回簽名S。在Simhash算法得出每篇文檔的簽名之后，需要再計算兩個簽名間的海明距離。根據(jù)實踐經(jīng)驗，64位的Simhash海明距離在3以內(nèi)可以認(rèn)為相似度較高。

數(shù)據(jù)篩選的又一關(guān)鍵技術(shù)便是整合技術(shù)，整合就是把抓取來的網(wǎng)頁同各企業(yè)間建立連接關(guān)系。對于企業(yè)來說，可以使用一組關(guān)鍵詞對企業(yè)進(jìn)行描述，同樣，經(jīng)過處理的網(wǎng)頁內(nèi)容也可以使用一組關(guān)鍵詞來進(jìn)行描述。所以，整合就成了兩組關(guān)鍵詞之間的信息整合。網(wǎng)頁內(nèi)容的分詞結(jié)果通常表現(xiàn)出兩個特點：分詞結(jié)果數(shù)量大;大部分分詞對網(wǎng)頁內(nèi)容來說沒有價值。所以，需要對網(wǎng)頁內(nèi)容的分詞進(jìn)行簡化處理，使用常頻詞匯來描述網(wǎng)頁內(nèi)容[8]。簡化之后，關(guān)鍵詞信息的整合效率得到了很大的提升，精確度也得到了保障。在關(guān)鍵詞的信息整合之后，抓取來的網(wǎng)頁內(nèi)容就與企業(yè)之間建立了聯(lián)系，就能知道某一企業(yè)的相關(guān)數(shù)據(jù)信息了。

6 ? 結(jié)論（Conclusion）

網(wǎng)絡(luò)環(huán)境下大數(shù)據(jù)的信息類型是豐富多樣的，需要采集和處理的數(shù)據(jù)量龐大，對信息數(shù)據(jù)展現(xiàn)的要求較高，并且會著重關(guān)注數(shù)據(jù)的高效性和可用性。大數(shù)據(jù)是促進(jìn)社會生產(chǎn)力新發(fā)展的關(guān)鍵因素，是引起人類社會變革的重要條件。所以，在網(wǎng)絡(luò)環(huán)境中要抓緊對大數(shù)據(jù)采集和處理技術(shù)的研究，以提高大數(shù)據(jù)的高效性和可用性，促進(jìn)社會生產(chǎn)力的發(fā)展。

參考文獻(xiàn)（References）

[1] 丁俊，鄭輝.大數(shù)據(jù)時代下的動態(tài)可配置數(shù)據(jù)采集系統(tǒng)的研究與設(shè)計[J].計算機(jī)應(yīng)用與軟件，2018（3）：75-79.

[2] 陳廉芳.大數(shù)據(jù)環(huán)境下圖書館用戶小數(shù)據(jù)的采集、分析與應(yīng)用[J].國家圖書館學(xué)刊，2016，25（3）：069-074.

[3] 亓峰，唐曉璇，邢寧哲，等.未來大數(shù)據(jù)環(huán)境下的配用電通信網(wǎng)虛擬網(wǎng)絡(luò)架構(gòu)及應(yīng)用[J].數(shù)據(jù)采集與處理，2015（3）：511-518.

[4] 鞠娜.移動互聯(lián)網(wǎng)的大數(shù)據(jù)處理關(guān)鍵技術(shù)[J].信息與電腦（理論版），2015（23）：38.

[5] 張繼棟，許鵬.大數(shù)據(jù)采集系統(tǒng)的設(shè)計與應(yīng)用[J].大觀，2017（11）：40.

[6] 李明.大數(shù)據(jù)環(huán)境下無線終端智能通信信號采集系統(tǒng)設(shè)計[J].電子設(shè)計工程，2017，25（16）：94-98.

[7] 林文輝.基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué)，2014：29-36.

[8] 楊剛，楊凱.大數(shù)據(jù)關(guān)鍵處理技術(shù)綜述[J].計算機(jī)與數(shù)字工程，2016，44（4）：694-699.

作者簡介：

耿貞偉（1973-），男，碩士，工程師.研究領(lǐng)域：云計算信息技術(shù).

保 ?富（1993-），男，碩士，助理工程師.研究領(lǐng)域：云計算信息技術(shù).