云計(jì)算與大數(shù)據(jù)的發(fā)展趨勢(shì)

摘要：本文旨在論述云計(jì)算與大數(shù)據(jù)的關(guān)系，并展望了云計(jì)算與大數(shù)據(jù)不斷發(fā)展，為人們提供通過云計(jì)算的方式提高大數(shù)據(jù)的應(yīng)用能力。

關(guān)鍵詞：云計(jì)算;大數(shù)據(jù);趨勢(shì)

1.云計(jì)算與大數(shù)據(jù)

云計(jì)算和大數(shù)據(jù)是一個(gè)硬幣的兩面，云計(jì)算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計(jì)算的一個(gè)殺手級(jí)應(yīng)用，云計(jì)算是大數(shù)據(jù)成長(zhǎng)的驅(qū)動(dòng)力，而另一方面，由于數(shù)據(jù)越來越多、越來越復(fù)雜、越來越實(shí)時(shí)，這就更加需要云計(jì)算去處理，所以二者之間是相輔相成的。

30年前，存儲(chǔ)也就是約1000GB數(shù)據(jù)的成本大約是16億美元，如今存儲(chǔ)到云上只需不到100美元。但存儲(chǔ)下來的數(shù)據(jù)，如果不以云計(jì)算進(jìn)行挖掘和分析，就只是僵死的數(shù)據(jù)，沒有太大價(jià)值。目前，云計(jì)算已經(jīng)普及并成為IT行業(yè)主流技術(shù)，其實(shí)質(zhì)是在計(jì)算量越來越大、數(shù)據(jù)越來越多、越來越動(dòng)態(tài)、越來越實(shí)時(shí)的需求背景下被催生出來的一種基礎(chǔ)架構(gòu)和商業(yè)模式。個(gè)人用戶將文檔、照片、視頻、游戲存檔記錄上傳至“云”中永久保存，企業(yè)客戶根據(jù)自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT資源與服務(wù)，這些都已不是新鮮事?？梢哉f，云是一棵掛滿了大數(shù)據(jù)的蘋果樹。

大數(shù)據(jù)的出現(xiàn)，引發(fā)全球范技術(shù)與商業(yè)變革。在技術(shù)上以往更多是依靠模型的方法，現(xiàn)在可以借用規(guī)模龐大的數(shù)據(jù)，用基于統(tǒng)計(jì)的方法，有望使語音識(shí)別、機(jī)器翻譯這些技術(shù)領(lǐng)域在大數(shù)據(jù)時(shí)代取得新的進(jìn)展。在搜索引擎和在線廣告中發(fā)揮重要作用的機(jī)器學(xué)習(xí)，被認(rèn)為是大數(shù)據(jù)發(fā)揮真正價(jià)值的領(lǐng)域在海量的數(shù)據(jù)中統(tǒng)計(jì)分析出人的行為、習(xí)慣等方式，計(jì)算機(jī)可以更好地學(xué)習(xí)模擬人類智能。隨著包括語音、視覺、手勢(shì)和多點(diǎn)觸控等在內(nèi)的自然用戶界面越來越普及，計(jì)算系統(tǒng)正在具備與人類相仿的感知能力，其看見、聽懂和理解人類用戶的能力不斷提高。這種計(jì)算系統(tǒng)不斷增強(qiáng)的感知能力，與大數(shù)據(jù)以及機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展相結(jié)合，已使得目前的計(jì)算系統(tǒng)開始能夠理解人類用戶的意圖和語境。“這使得計(jì)算機(jī)能夠真正幫助人類并代表人類去工作”。以往，移動(dòng)運(yùn)營(yíng)商和互聯(lián)網(wǎng)服務(wù)運(yùn)營(yíng)商等擁有著大量的用戶行為習(xí)慣的各種數(shù)據(jù)，在IT產(chǎn)業(yè)鏈中具有舉足輕重的地位。而在大數(shù)據(jù)時(shí)代，移動(dòng)運(yùn)營(yíng)商如果不能挖掘出數(shù)據(jù)的價(jià)值，可能徹徹底底被管道化和邊緣化。運(yùn)營(yíng)商和更懂用戶需求的第三方開發(fā)者互利共贏的模式，已取得一定共識(shí)。

2.云計(jì)算與大數(shù)據(jù)的關(guān)系

本質(zhì)上講，云計(jì)算與大數(shù)據(jù)是靜與動(dòng)的關(guān)系;如果結(jié)合實(shí)際的應(yīng)用，前者強(qiáng)調(diào)的是計(jì)算能力，或者看重的存儲(chǔ)能力;但是這樣說，并不意味著兩個(gè)概念就如此涇渭分明。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清潔、轉(zhuǎn)換、統(tǒng)計(jì)等能力），其實(shí)就是強(qiáng)大的計(jì)算能力;另一方面，云計(jì)算的動(dòng)也是相對(duì)而言，比如基礎(chǔ)設(shè)施即服務(wù)中的存儲(chǔ)設(shè)備提供的主要是數(shù)據(jù)存儲(chǔ)能力，所以可謂是動(dòng)中有靜。如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器！

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲(chǔ)和虛擬化技術(shù)。云計(jì)算能盛行的原因在于互聯(lián)網(wǎng)領(lǐng)域應(yīng)用系統(tǒng)的構(gòu)建：客戶群體是不確定的，系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應(yīng)用有很清晰的并行分割特征、數(shù)據(jù)倉(cāng)庫系統(tǒng)的構(gòu)建、數(shù)據(jù)倉(cāng)庫規(guī)?？晒浪恪?shù)據(jù)倉(cāng)庫的系統(tǒng)投資與業(yè)務(wù)分析的價(jià)值和回報(bào)相關(guān)、商業(yè)智能應(yīng)用屬于整體應(yīng)用、Saas模式構(gòu)建數(shù)據(jù)倉(cāng)庫系統(tǒng)。大數(shù)據(jù)管理，分布式文件系統(tǒng);同時(shí)SQL支持，以HiveHADOOP為代表的SQL界面支持，在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉(cāng)庫成為熱門話題。

云計(jì)算環(huán)境中基本計(jì)算單元的分化。企業(yè)云計(jì)算平臺(tái)上雖然有多個(gè)并行計(jì)算的CPU，但并沒有創(chuàng)造出具有超強(qiáng)數(shù)據(jù)處理能力的超級(jí)CPU，因此云計(jì)算平臺(tái)需要有并行運(yùn)算能力的軟件系統(tǒng)。同時(shí)，當(dāng)用戶的數(shù)據(jù)全部放在云端時(shí)，雖然存儲(chǔ)容量可以很方便地?cái)U(kuò)充，但面對(duì)大量用戶同時(shí)發(fā)起的海量數(shù)據(jù)處理請(qǐng)求，簡(jiǎn)單的數(shù)據(jù)處理邏輯已經(jīng)無法滿足需要。國(guó)內(nèi)有相當(dāng)多的電商企業(yè)使用過小型機(jī)和Oracle，并請(qǐng)了Oracle的專家不停優(yōu)化應(yīng)用系統(tǒng)，但由于數(shù)據(jù)量激增，業(yè)務(wù)開始受到嚴(yán)重影響，最典型的例子無疑是京東商城所發(fā)生的大規(guī)模訪問請(qǐng)求宕機(jī)事件，因此用戶開始逐漸放棄Oracle或者M(jìn)S-SQL，并逐漸轉(zhuǎn)向MySQLX86的分布式架構(gòu)。

對(duì)系統(tǒng)穩(wěn)定性的需求，在應(yīng)對(duì)大規(guī)模訪問的時(shí)候有一些系統(tǒng)穩(wěn)定性的追求，來自很多方面，來自網(wǎng)絡(luò)穩(wěn)定性、數(shù)據(jù)庫穩(wěn)定性。對(duì)系統(tǒng)而言，需要把握一個(gè)大原則，需要消除任何單點(diǎn)故障。不僅是網(wǎng)絡(luò)上單點(diǎn)故障，還有來自呼叫中心里的單點(diǎn)故障，只要有單點(diǎn)故障一定要消除掉。因?yàn)閷?duì)于電商行業(yè)而言，每一秒都是錢，電子商務(wù)業(yè)務(wù)如果宕機(jī)一個(gè)小時(shí)，損失多少是可以算出來的，電商行業(yè)需要非常全面的技術(shù)系統(tǒng)監(jiān)控報(bào)警系統(tǒng)。有時(shí)候會(huì)發(fā)現(xiàn)如果通過技術(shù)系統(tǒng)的監(jiān)控去推導(dǎo)出發(fā)生的問題已經(jīng)來不及了。

3.發(fā)展趨勢(shì)：大數(shù)據(jù)逐步“云”化

縱觀歷史，過去的數(shù)據(jù)中心無論應(yīng)用層次還是規(guī)模大小，都僅僅是停留在過去有限的基礎(chǔ)架構(gòu)之上，采用的是傳統(tǒng)精簡(jiǎn)指令集計(jì)算機(jī)和傳統(tǒng)大型機(jī)，各個(gè)基礎(chǔ)架構(gòu)之間都相互孤立，沒有形成一個(gè)統(tǒng)一的有機(jī)整體。在過去的數(shù)據(jù)中心里面，各種資源都沒有得到有效充分地利用。而且傳統(tǒng)數(shù)據(jù)中心資源配置和部署大多采用人工方式，沒有相應(yīng)的平臺(tái)支持，使大量人力資源耗費(fèi)在繁重的重復(fù)性工作上，缺少自助服務(wù)和自動(dòng)部署能力，既耗費(fèi)時(shí)間和成本，又嚴(yán)重影響工作效率。而當(dāng)今越來越流行的云計(jì)算、虛擬化和云存儲(chǔ)等新IT模式的出現(xiàn)，又再一次說明了過去那種孤立、缺乏有機(jī)整合的數(shù)據(jù)中心資源并沒有得到有效利用，并不能滿足當(dāng)前多樣、高效和海量的業(yè)務(wù)應(yīng)用需求。在云計(jì)算時(shí)代背景下，數(shù)據(jù)中心需要向集中大規(guī)模共享平臺(tái)推進(jìn)，并且，數(shù)據(jù)中心要能實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)擴(kuò)容，實(shí)現(xiàn)自助和自動(dòng)部署服務(wù)。

正所謂“梅雖遜雪三分白，雪卻輸梅一段香”，相比之下，私有云會(huì)比公有云在數(shù)據(jù)安全性方面有更好的表現(xiàn)，但公有云卻會(huì)比私有云有更“強(qiáng)壯的云架構(gòu)”。因此，從數(shù)據(jù)中心演進(jìn)的角度來看，討論何種“云”并無實(shí)質(zhì)意義，而重點(diǎn)應(yīng)該重視的是數(shù)據(jù)中心在未來發(fā)展中所扮演的角色和出現(xiàn)的歷史性變革。

參考文獻(xiàn)

[1]張倩.”大數(shù)據(jù)”技術(shù)再高校檔案信息服務(wù)中的應(yīng)用探索[J].電子技術(shù)與軟件工程.2016（21）：27-31

[2]李洪民.大數(shù)據(jù)在高校的應(yīng)用與探索[J].海外文摘，2018⑶：55-57

作者簡(jiǎn)介：李洪民（1964.02）男、漢，山東濱州、濱州醫(yī)學(xué)院網(wǎng)絡(luò)信息中心，高級(jí)實(shí)驗(yàn)師、本科、研究方向：計(jì)算機(jī)網(wǎng)絡(luò)與信息技術(shù)