互聯(lián)網+時代的大數(shù)據淺談

李國忠

摘要：大數(shù)據已經滲透到商業(yè)、生活、通訊、金融等各個方面。由互聯(lián)網+衍生出的新型電子商務產業(yè)對于大數(shù)據的處理機制和算法有著極高的要求，對數(shù)據庫系統(tǒng)的高并發(fā)和承載提出了更高的要求。文章對互聯(lián)網+時代的大數(shù)據進行了分析。

關鍵詞：大數(shù)據；電子商務；系統(tǒng)承載；高并發(fā)

1大數(shù)據概述

大數(shù)據，在IT行業(yè)的專業(yè)解釋是指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據集合。簡單地理解，即很難用工具實時統(tǒng)計或者計算的數(shù)據，特別是隨著信息技術的發(fā)展，尋常意義的數(shù)據量已經不能完全記錄龐大的網絡行為。在這種條件下，大數(shù)據就應運而生了。大數(shù)據甚至不能用G或者T來衡量，始計量起碼是P（1000個T），E（100萬個T）或者Z（100億個T），如此龐大的數(shù)據量不可能在短時間內捕捉，而只能進行有效的數(shù)據挖掘。

有了大數(shù)據的發(fā)展，才可能造就一個新的時代——大數(shù)據時代。最早提出這個概念的是全球知名咨詢公司麥肯錫。他提到：“數(shù)據，已經滲透到當今的每一個行業(yè)和業(yè)務職能領域，成為重要的生產因素。人們對于海量的數(shù)據挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來?！?/p>

2大數(shù)據的來源

其實準確地說大數(shù)據一直都存在，只是在這個概念提出之前，人們沒有過多地關注它，才會覺得大數(shù)據是在突然之間出現(xiàn)的新事物。其實不然，以前人們關注的都是交易系統(tǒng)和業(yè)務系統(tǒng)產生的最終數(shù)據，因此呈現(xiàn)的數(shù)據比較少。而其中的各種流水操作，例如購買物品清單、上網瀏覽歷史、照片，同這些數(shù)據同樣存在，但是不關注，也沒有特意去存儲，因為那些數(shù)據既是繁雜的，也是大量的，在那時看來，也是無價值的。

而在大數(shù)據時代，更多的則是關注這些大量的看似并不重要的數(shù)據。當然，這些數(shù)據來源是不同的，包括用戶、本地數(shù)據、社交數(shù)據、網站分析等，通過整合并且分析這些數(shù)據可以挖掘出用戶的消費習慣以及個人偏好，從而在一定意義上知曉用戶需要什么體驗，喜歡怎樣的產品。對這些大數(shù)據加以利用，相比以前能更容易地理解業(yè)務，也能更準確地獲取用戶信息，從而創(chuàng)造出更大的價值。

迄今為止，大數(shù)據已經滲透到商業(yè)、生活、通訊、金融等各個方面。由互聯(lián)網衍生出的新型產業(yè)，例如像新浪這樣的門戶網站，以及微信、qq這樣的社交軟件，都對大數(shù)據的處理機制和算法有著極高的要求。新浪的數(shù)據挖掘要實時地從數(shù)千萬條用戶關注的詞條中篩選出最熱門的詞條，每一秒產生的數(shù)據量便是數(shù)千萬，甚至更多。為了應對這樣的難題，自然會研發(fā)出相應的大數(shù)據核心搜索算法，而兩者是相輔相成的，大數(shù)據的產生促進了大數(shù)據處理機制的完善，而愈加完善的處理機制使大數(shù)據創(chuàng)造出更多的價值。

當然，與大數(shù)據緊密相關的還有2個詞：高并發(fā)和系統(tǒng)承載。高并發(fā)指的是使用多個線程或者多個進程，同時處理不同的操作，像淘寶這樣的電商平臺，在雙十一的購物節(jié)同時訪問網站的活躍用戶可達數(shù)千萬，系統(tǒng)必須有應對高并發(fā)量的處理能力，即系統(tǒng)承載能力要強，否則整個系統(tǒng)會因陷入紊亂而癱瘓。

3大數(shù)據的應用領域

在未來的發(fā)展中，大數(shù)據的應用領域又是什么。本文將從5個方面來闡述。

第一大領域是市場營銷。一個企業(yè)的發(fā)展前景與它在這個領域所占據的市場份額是密切相關的，因此市場營銷就顯得尤為重要。具體來說，通過大數(shù)據提升消費者與企業(yè)之間的關系，使得企業(yè)的產品能夠賣得更多，更快，更有效率。

過去的營銷方式主要是通過電話和電子郵件進行推廣與營銷，但現(xiàn)在不同了，有網頁、社交媒體賬戶、博客、新浪微博等。正是因為渠道的多樣性，跟蹤客戶的腳步就變得更加困難，他們的每一次點擊、收藏、點贊、分享、加好友、轉發(fā)等行為都將納入企業(yè)的銷售漏斗中，如此龐大的數(shù)據量無疑是一個巨大的挑戰(zhàn)，但也是一個有潛力的挑戰(zhàn)，這就是一種全方面的客戶視角，能夠實現(xiàn)個性化和精準定位，將企業(yè)與客戶之間的接觸點變得更細。

第二大領域是公共服務。將大數(shù)據應用于社會和政府，通過數(shù)據挖掘來預測疾病暴發(fā)，理解交通模型并改善教育。如今，就中國而言，隨著大量的農村和郊區(qū)人口涌入城市，城市正面臨著預算超支、基礎設施難題這些緊迫的問題。而城市也將變?yōu)榇髷?shù)據計劃的絕佳實驗室，政府公共數(shù)據公開化以及市民生活的高度數(shù)字化（購物、交通、醫(yī)療等）等都是大數(shù)據分析的理想對象，也可以通過數(shù)據挖掘和調整政策來緩解公共問題。

第三大領域是人工智能。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考，也可能超過人的智能。這門技術目前還不成熟，卻也為未來之路奠定了方向。大數(shù)據的采集和分析將會為人工智能的發(fā)展提供可靠的數(shù)據。比如，人類思考的過程中腦部神經細胞的相關活動，要完整地記錄這些活動，需要的數(shù)據是龐大的，大數(shù)據的分析就顯得至關重要。

第四大領域是機器和設備性能優(yōu)化。大數(shù)據分析還可以讓機器和設備在應用上更加智能化和自主化?，F(xiàn)在涌出的智能手機便是如此，智能手機的發(fā)展，由當初諾基亞的塞班系統(tǒng)，到谷歌公司的安卓系統(tǒng)再到后來蘋果公司的lOS系統(tǒng)，無不體現(xiàn)大數(shù)據的重要性，只有通過大數(shù)據的分析來掌握手機用戶的全方面的需求，從而更深一步開發(fā)和優(yōu)化手機系統(tǒng)，才能贏得更多的市場，而當年風靡全球的塞班系統(tǒng)正是由于過于守舊，沒有借助大數(shù)據的浪潮，才會逐漸被取代。

不僅在手機系統(tǒng)方面，大數(shù)據工具還曾經被谷歌公司利用于研發(fā)谷歌自駕汽車。豐田的普瑞就配有相機、GPS以及傳感器，在交通上能夠安全駕駛，不需要人類的干預。

第五大領域是安全改善。大數(shù)據現(xiàn)在已經廣泛應用到安全防衛(wèi)中，隨著科技的發(fā)展，不法分子的作案技巧也越來越高，而攝像設備的利用則讓他們無法順利地逃脫，收集、存儲視頻數(shù)據，一旦有需要，警察應用大數(shù)據工具，通過數(shù)據分析就能為破案提供重要的線索。比如，美國安全局利用大數(shù)據打擊恐怖主義，甚至監(jiān)控人們的日常生活，企業(yè)則應用大數(shù)據技術防御網絡攻擊。信用卡公司應用大數(shù)據工具防止欺詐性交易，信用卡公司可以收集用戶的消費信息，從而推斷其消費能力，進行風險評估，最大程度地防止詐騙借貸。

4大數(shù)據的風險

一種事物的產生，往往都有兩面性，大數(shù)據存在優(yōu)勢，為時代帶來新的發(fā)展，但其存在的風險也依舊不容忽視。

維克托·邁爾·舍恩伯格在其著作《大數(shù)據時代》中提到：“數(shù)據量的大幅增加會造成結果的準確，一些錯誤的數(shù)據會混進數(shù)據庫，而來源不同的各種信息混雜在一起會增大數(shù)據的混亂性?！?/p>

還有統(tǒng)計學者和計算機科學家指出，巨量數(shù)據集和細顆粒度的測量會增加“錯誤發(fā)現(xiàn)”的風險。斯坦福大學的統(tǒng)計學教授特Trevor Hastie說“在大規(guī)模的數(shù)據干草堆中尋找一根有意義的針，其麻煩在于‘許多稻草看起來也像針”。這句話的意思很明顯，當數(shù)據量太多的時候，要從其中尋找需要的數(shù)據，無疑是大海撈針，給數(shù)據的準確分析和統(tǒng)計增加了難度，也為惡搞統(tǒng)計和帶偏見的實情調查研究提供了更多的原材料，從中推導出的結論也會變得更加的多樣性，會對人們造成更多的誤導。

在利用計算機及數(shù)學模型的情況下，我們已經馴服和理解了數(shù)據。這些模型，正如文學之隱喻，是一種解釋的簡化。它們對于理解是很有用的，不過也存在局限性，沒有一個數(shù)學模型能確保它永遠是正確的，而在進行大數(shù)據分析的時候，也極有可能得出不正確的結論。

不僅如此，大數(shù)據的風險還在于它太注重細節(jié)，將信息無限細化，這樣的后果是將不該暴露的隱私全部暴露出來，甚至會被有不良企圖的人加以利用，從而達到他們的目的。

例如現(xiàn)在的軟件系統(tǒng)中都存在著位置定位的權限，別人甚至可以通過手機獲取你的位置，正是因為大數(shù)據的存在，自己的蹤跡都仿佛時時刻刻被他人掌握，自己的個人信息同樣能夠被別人知曉。

蘋果公司的云存儲系統(tǒng)曾經發(fā)生過泄露事件，部分用戶手機中的私人照片流失，甚至被公布到網絡上，這一行為已經對用戶造成了巨大的傷害，但是究其根底，不得不承認，是大數(shù)據導致了這一事件的發(fā)生。

大數(shù)據將用戶所有的信息加以細化，但隨著產生、存儲、分析的數(shù)據量越來越大，用戶的隱私問題在未來的幾年也將愈加凸顯，這些大數(shù)據存在著安全隱患，這種風險是大家都不愿意發(fā)生在自己身上的，所以新的數(shù)據保護要求以及立法機構和監(jiān)管部門的完善應當提上日程。

5結語

總的來說，大數(shù)據無疑已成為避不開的一個因素，也為企業(yè)發(fā)展的帶來了契機，只有從實時更新的大數(shù)據中獲取有效的商業(yè)信息，恰當?shù)靥魬?zhàn)發(fā)展戰(zhàn)略，才能讓企業(yè)獲得更長遠的發(fā)展。大數(shù)據時代的到來已是大勢所趨，也同樣會對那些守舊的實體企業(yè)帶來沖擊，快速崛起的電商占據了越來越多的市場，新的經營模式煥發(fā)出璀璨的光彩。