計(jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用

吳子紅

摘要：大數(shù)據(jù)的爆炸式增長(zhǎng)在大容量、多樣性和高增速方面，全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力；同時(shí)，也為企業(yè)帶來(lái)了獲取更豐富、更深入和更準(zhǔn)確地洞察市場(chǎng)行為的大量機(jī)會(huì)。對(duì)企業(yè)而言，能夠從大數(shù)據(jù)中獲得全新價(jià)值的消息是令人振奮的。然而，如何從大數(shù)據(jù)中發(fā)掘出“真金白銀”則是一個(gè)現(xiàn)實(shí)的挑戰(zhàn)。這就要求采用一套全新的、對(duì)企業(yè)決策具有深遠(yuǎn)影響的解決方案。

關(guān)鍵詞：計(jì)算機(jī) 大數(shù)據(jù)時(shí)代 容量 準(zhǔn)確 價(jià)值 影響 方案

1 概述

自從計(jì)算機(jī)出現(xiàn)以后，傳統(tǒng)的計(jì)算工作已經(jīng)逐步被淘汰出去，為了在新的競(jìng)爭(zhēng)與挑戰(zhàn)中取得勝利，許多網(wǎng)絡(luò)公司開(kāi)始致力于數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)庫(kù)的研究，為互聯(lián)網(wǎng)用戶(hù)提供各種服務(wù)。隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)已經(jīng)開(kāi)始被人們廣泛關(guān)注。一般來(lái)講，大數(shù)據(jù)指的是這樣的一種現(xiàn)象：互聯(lián)網(wǎng)在不斷運(yùn)營(yíng)過(guò)程中逐步壯大，產(chǎn)生的數(shù)據(jù)越來(lái)越多，甚至已經(jīng)達(dá)到了10億T。大數(shù)據(jù)時(shí)代的到來(lái)給計(jì)算機(jī)信息處理技術(shù)帶來(lái)了更多的機(jī)遇和挑戰(zhàn)，隨著科技的發(fā)展，計(jì)算機(jī)信息處理技術(shù)一定會(huì)越來(lái)越完善，為我們提供更大的方便。

大數(shù)據(jù)是IT行業(yè)在云計(jì)算和物聯(lián)網(wǎng)之后的又一次技術(shù)變革，在企業(yè)的管理、國(guó)家的治理和人們的生活方式等領(lǐng)域都造成了巨大的影響。大數(shù)據(jù)將網(wǎng)民與消費(fèi)的界限和企業(yè)之間的界限變得模糊，在這里，數(shù)據(jù)才是最核心的資產(chǎn)，對(duì)于企業(yè)的運(yùn)營(yíng)模式、組織結(jié)構(gòu)以及文化塑造中起著很大的作用。所有的企業(yè)在大數(shù)據(jù)時(shí)代都將面對(duì)戰(zhàn)略、組織、文化、公共關(guān)系和人才培養(yǎng)等許多方面的挑戰(zhàn)，但是也會(huì)迎來(lái)很大的機(jī)遇，因?yàn)橹皇亲鳛橐环N共享的公共網(wǎng)絡(luò)資源，其層次化和商業(yè)化不但會(huì)為其自身發(fā)展帶來(lái)新的契機(jī)，而且良好的服務(wù)品質(zhì)更會(huì)讓其充分具有獨(dú)創(chuàng)性和專(zhuān)用性的鮮明特點(diǎn)。所以，知識(shí)層次化和商業(yè)化勢(shì)必會(huì)開(kāi)啟知識(shí)創(chuàng)造的嶄新時(shí)代?？梢?jiàn)，這是一個(gè)競(jìng)爭(zhēng)與機(jī)遇并存的時(shí)代。

2 大數(shù)據(jù)時(shí)代的數(shù)據(jù)整合應(yīng)用

自從2013年，大數(shù)據(jù)應(yīng)用帶來(lái)令人矚目的成績(jī)，不僅國(guó)內(nèi)外的產(chǎn)業(yè)界與科技界，還有各國(guó)政府部門(mén)都在積極布局、制定戰(zhàn)略規(guī)劃。更多的機(jī)構(gòu)和企業(yè)都準(zhǔn)備好了迎接大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)的內(nèi)涵應(yīng)是數(shù)據(jù)的資產(chǎn)化和服務(wù)化，而挖掘數(shù)據(jù)的內(nèi)在價(jià)值是研究大數(shù)據(jù)技術(shù)的最終目標(biāo)。在應(yīng)用數(shù)據(jù)快速增長(zhǎng)的背景下，為了降低成本獲得更好的能效，越來(lái)越趨向?qū)Ｓ没南到y(tǒng)架構(gòu)和數(shù)據(jù)處理技術(shù)逐漸擺脫傳統(tǒng)的通用技術(shù)體系。如何解決“通用”和“專(zhuān)用”體系和技術(shù)的取舍，以及如何解決數(shù)據(jù)資產(chǎn)化和價(jià)值挖掘問(wèn)題。

企業(yè)數(shù)據(jù)的應(yīng)用內(nèi)容涵蓋數(shù)據(jù)獲取與清理、傳輸、存儲(chǔ)、計(jì)算、挖掘、展現(xiàn)、開(kāi)發(fā)平臺(tái)與應(yīng)用市場(chǎng)等方面，覆蓋了數(shù)據(jù)生產(chǎn)的全生命周期。除了Hadoop版本2.0系統(tǒng)YARN，以及Spark等新型系統(tǒng)架構(gòu)介紹外，還將探討研究流式計(jì)算（Storm，Samza，Puma，S4等）、實(shí)時(shí)計(jì)算（Dremel，Impala，Drill）、圖計(jì)算（Pregel，Hama，Graphlab）、NoSQL、NewSQL和BigSQL等的最新進(jìn)展。在大數(shù)據(jù)時(shí)代，借力計(jì)算機(jī)智能（MI）技術(shù)，通過(guò)更透明、更可用的數(shù)據(jù)，企業(yè)可以釋放更多蘊(yùn)含在數(shù)據(jù)中的價(jià)值。實(shí)時(shí)、有效的一線(xiàn)質(zhì)量數(shù)據(jù)可以更好地幫助企業(yè)提高產(chǎn)品品質(zhì)、降低生產(chǎn)成本。企業(yè)領(lǐng)導(dǎo)者也可根據(jù)真實(shí)可靠的數(shù)據(jù)制訂正確戰(zhàn)略經(jīng)營(yíng)決策，讓企業(yè)真正實(shí)現(xiàn)高度的計(jì)算機(jī)智能決策辦公，下面我們從通信和商業(yè)運(yùn)營(yíng)兩個(gè)方面進(jìn)行闡述。

2.1 通信行業(yè)：XO Communications通過(guò)使用IBM SPSS預(yù)測(cè)分析軟件，減少了將近一半的客戶(hù)流失率。XO現(xiàn)在可以預(yù)測(cè)客戶(hù)的行為，發(fā)現(xiàn)行為趨勢(shì)，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時(shí)采取措施，保留客戶(hù)。此外，IBM新的Netezza網(wǎng)絡(luò)分析加速器，將通過(guò)提供單個(gè)端到端網(wǎng)絡(luò)、服務(wù)、客戶(hù)分析視圖的可擴(kuò)展平臺(tái)，幫助通信企業(yè)制定更科學(xué)、合理決策。電信業(yè)者透過(guò)數(shù)以千萬(wàn)計(jì)的客戶(hù)資料，能分析出多種使用者行為和趨勢(shì)，賣(mài)給需要的企業(yè)，這是全新的資料經(jīng)濟(jì)。中國(guó)移動(dòng)通過(guò)大數(shù)據(jù)分析，對(duì)企業(yè)運(yùn)營(yíng)的全業(yè)務(wù)進(jìn)行針對(duì)性的監(jiān)控、預(yù)警、跟蹤。系統(tǒng)在第一時(shí)間自動(dòng)捕捉市場(chǎng)變化，再以最快捷的方式推送給指定負(fù)責(zé)人，使他在最短時(shí)間內(nèi)獲知市場(chǎng)行情。

2.2 商業(yè)運(yùn)營(yíng)：辛辛那提動(dòng)物園使用了Cognos，為iPad提供了單一視圖查看管理即時(shí)訪(fǎng)問(wèn)的游客和商務(wù)信息的服務(wù)。借此，動(dòng)物園可以獲得新的收入來(lái)源和提高營(yíng)收，并根據(jù)這些信息及時(shí)調(diào)整營(yíng)銷(xiāo)政策。數(shù)據(jù)收集和分析工具能夠幫助銀行設(shè)立最佳網(wǎng)點(diǎn)，確定最好的網(wǎng)點(diǎn)位置，幫助這個(gè)銀行更好地運(yùn)作業(yè)務(wù)，推動(dòng)業(yè)務(wù)的成長(zhǎng)。

3 企業(yè)信息解決方案在大數(shù)據(jù)時(shí)代的應(yīng)用

企業(yè)信息管理軟件廣泛應(yīng)用于解決欺詐偵測(cè)、雇員流動(dòng)、客戶(hù)獲取與維持、網(wǎng)絡(luò)銷(xiāo)售、市場(chǎng)細(xì)分、風(fēng)險(xiǎn)分析、親和性分析、客戶(hù)滿(mǎn)意度、破產(chǎn)預(yù)測(cè)和投資組合分析等多樣化問(wèn)題。根據(jù)大數(shù)據(jù)時(shí)代的企業(yè)挖掘的特征，提出了數(shù)據(jù)挖掘的SEMMA方法論——在SAS/EM環(huán)境中，數(shù)據(jù)挖掘過(guò)程被劃分為Sample、Explore、Modify、Model、Assess這五個(gè)階段，簡(jiǎn)記為SEMMA：

3.1 Sample 抽取一些代表性的樣本數(shù)據(jù)集（通常為訓(xùn)練集、驗(yàn)證集和測(cè)試集）。樣本容量的選擇標(biāo)準(zhǔn)為：包含足夠的重要信息，同時(shí)也要便于分析操作。該步驟涉及的處理工具為：數(shù)據(jù)導(dǎo)入、合并、粘貼、過(guò)濾以及統(tǒng)計(jì)抽樣方法。

3.2 Explore 通過(guò)考察關(guān)聯(lián)性、趨勢(shì)性以及異常值的方式來(lái)探索數(shù)據(jù)，增進(jìn)對(duì)于數(shù)據(jù)的認(rèn)識(shí)。該步驟涉及的工具為：統(tǒng)計(jì)報(bào)告、視圖探索、變量選擇以及變量聚類(lèi)等方法。

3.3 Modify 以模型選擇為目標(biāo)，通過(guò)創(chuàng)建、選擇以及轉(zhuǎn)換變量的方式來(lái)修改數(shù)據(jù)集。該步驟涉及工具為：變量轉(zhuǎn)換、缺失處理、重新編碼以及數(shù)據(jù)分箱等。

3.4 Model 為了獲得可靠的預(yù)測(cè)結(jié)果，我們需要借助于分析工具來(lái)訓(xùn)練統(tǒng)計(jì)模型或者機(jī)器學(xué)習(xí)模型。該步驟涉及技術(shù)為：線(xiàn)性及邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、偏最小二乘法、LARS及LASSO、K近鄰法以及其他用戶(hù)（包括非SAS用戶(hù)）的模型算法。endprint

3.5 Assess 評(píng)估數(shù)據(jù)挖掘結(jié)果的有效性和可靠性。涉及技術(shù)為：比較模型及計(jì)算新的擬合統(tǒng)計(jì)量、臨界分析、決策支持、報(bào)告生成、評(píng)分代碼管理等。數(shù)據(jù)挖掘者可能不會(huì)使用全部SEMMA分析步驟。然而，在獲得滿(mǎn)意結(jié)果之前，可能需要多次重復(fù)其中部分或者全部步驟。

在完成SEMMA步驟后，可將從優(yōu)選模型中獲取的評(píng)分公式應(yīng)用于（可能不含目標(biāo)變量的）新數(shù)據(jù)。將優(yōu)選公式應(yīng)用于新數(shù)據(jù)，這是大多數(shù)數(shù)據(jù)挖掘問(wèn)題的目標(biāo)。此外，先進(jìn)的可視化工具使得用戶(hù)能在多維直方圖中快速、輕松地查閱大量數(shù)據(jù)并以圖形化方式比較模擬結(jié)果。SAS/EM包括了一些非同尋常的工具，比如：能用來(lái)產(chǎn)生數(shù)據(jù)挖掘流程圖的完整評(píng)分代碼（SAS、C以及Java代碼）的工具，以及交換式進(jìn)行新數(shù)據(jù)評(píng)分計(jì)算和考察執(zhí)行結(jié)果的工具。

如果您將優(yōu)選模型注冊(cè)進(jìn)入SAS元數(shù)據(jù)服務(wù)器，便可以讓SAS/EG和SAS/DI Studio的用戶(hù)分享您的模型，從而將優(yōu)選模型的評(píng)分代碼整合進(jìn)入工作報(bào)告和生產(chǎn)流程之中。SAS模型管理系統(tǒng)，通過(guò)提供了開(kāi)發(fā)、測(cè)試和生產(chǎn)系列環(huán)境的項(xiàng)目管理結(jié)構(gòu)，進(jìn)一步補(bǔ)充了數(shù)據(jù)挖掘過(guò)程，實(shí)現(xiàn)了與SAS/EM的無(wú)縫聯(lián)接。

在SAS/EM環(huán)境中，您可以從SEMMA工具欄上拖放節(jié)點(diǎn)進(jìn)入工作區(qū)的工藝流程圖中，這種流程圖驅(qū)動(dòng)著整個(gè)數(shù)據(jù)挖掘過(guò)程。SAS/EM的圖形用戶(hù)界面（GUI）是按照這樣的思路來(lái)設(shè)計(jì)的：一方面，掌握少量統(tǒng)計(jì)知識(shí)的商務(wù)分析者可以瀏覽數(shù)據(jù)挖掘過(guò)程的技術(shù)方法；另一方面，具備數(shù)量分析技術(shù)的專(zhuān)家可以用微調(diào)方式深入探索每一個(gè)分析節(jié)點(diǎn)。

4 結(jié)束語(yǔ)

在近十年時(shí)間里，數(shù)據(jù)采集、存儲(chǔ)和數(shù)據(jù)分析技術(shù)飛速發(fā)展，大大降低了數(shù)據(jù)儲(chǔ)存和處理的成本，一個(gè)大數(shù)據(jù)時(shí)代逐漸展現(xiàn)在我們的面前。大數(shù)據(jù)革新性地將海量數(shù)據(jù)處理變?yōu)榭赡?，并且大幅降低了成本，使得越?lái)越多跨專(zhuān)業(yè)學(xué)科的人投入到大數(shù)據(jù)的開(kāi)發(fā)應(yīng)用中來(lái)。

參考文獻(xiàn)：

[1]薛志文.淺析計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)及其發(fā)展趨勢(shì)[J].信息與電腦，2009.

[2]張帆，朱國(guó)仲.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展綜述[J].光盤(pán)技術(shù)，2007.

[3]孫雅珍.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[J].東北水利水電，1994.

[4]史萍.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展及展望[J].五邑大學(xué)學(xué)報(bào)，1999.

[5]桑新民.步入信息時(shí)代的學(xué)習(xí)理論與實(shí)踐[M].中央廣播大學(xué)出版社，2000.

[6]張浩，郭燦.數(shù)據(jù)可視化技術(shù)應(yīng)用趨勢(shì)與分類(lèi)研究[J].軟件導(dǎo)刊.

[7]王丹.數(shù)字城市與城市地理信息產(chǎn)業(yè)化——機(jī)遇與挑戰(zhàn)[J].遙感信息，2000（02）.

[8]楊鳳霞.淺析Excel 2000對(duì)數(shù)據(jù)的安全管理[J].湖北商業(yè)高等專(zhuān)科學(xué)校學(xué)報(bào)，2001（01）.endprint