大數(shù)據(jù)向云端過(guò)渡

大多數(shù)企業(yè)都會(huì)努力捕獲和分析自己的數(shù)據(jù)。但這項(xiàng)工作以何種方式，在哪里進(jìn)行呢？

解決方案曾經(jīng)僅限于完全部署在本地的數(shù)據(jù)庫(kù)。但今天，企業(yè)必須面對(duì)一個(gè)充滿眾多技術(shù)和部署類型的環(huán)境。從單個(gè)數(shù)據(jù)庫(kù)和Hadoop產(chǎn)品到云端、本地和混合部署，數(shù)據(jù)格局呈現(xiàn)出多樣化和快速演變的特征。

《云端數(shù)據(jù)簡(jiǎn)報(bào)》是一項(xiàng)持續(xù)性項(xiàng)目，目標(biāo)是對(duì)這種格局的演變進(jìn)行定量。它探索Tableau Online客戶在全球范圍內(nèi)使用的數(shù)據(jù)源的連接。通過(guò)分析這些連接，我們可以窺見企業(yè)當(dāng)前，以何種方式在何處分析自己的數(shù)據(jù)。

我們的方法：

《云端數(shù)據(jù)簡(jiǎn)報(bào)》對(duì)4000 多個(gè)客戶向Tableau Online發(fā)布，數(shù)量超過(guò)一百萬(wàn)個(gè)匿名數(shù)據(jù)源連接進(jìn)行采樣分析。由于這是一種云端托管工具，其使用模式可能在總體上帶有云端偏向性。

盡管如此，Tableau Online客戶既有小公司，也有大型股份制企業(yè)，并且?guī)缀醺采w了所有行業(yè)。此報(bào)告中的數(shù)據(jù)囊括了這些客戶，我們相信它可以準(zhǔn)確地指示市場(chǎng)大趨勢(shì)。

重要發(fā)現(xiàn)：

數(shù)據(jù)存儲(chǔ)正在延伸到傳統(tǒng)數(shù)據(jù)庫(kù)概念之外。

Tableau Online客戶在自己的分析中使用眾多類型的數(shù)據(jù)源。從專有數(shù)據(jù)庫(kù)到開源Hadoop工具，客戶使用的數(shù)據(jù)源類型超過(guò)40種。就其中三分之二的數(shù)據(jù)源類型而言，云端部署比本地部署更常見。

數(shù)據(jù)重心正在向云端偏移

●在過(guò)去15個(gè)月內(nèi)，云端托管數(shù)據(jù)的連接數(shù)量增加了28%。2015年1月，在Tableau Online的數(shù)據(jù)源連接中，云端和本地部署的數(shù)據(jù)源基本呈均勢(shì)分布。到2016 年第一季度，二者的比例已經(jīng)變?yōu)?0：30。

●Amazon Redshift和Google BigQuery之類云端原生數(shù)據(jù)源正在獲得更多的市場(chǎng)份額。2014年年初，此類連接僅占Tableau Online連接總數(shù)的12%。到2016年第一季度，其份額已增長(zhǎng)到所有連接的28%。

混合數(shù)據(jù)技術(shù)對(duì)企業(yè)經(jīng)營(yíng)仍至關(guān)重要。

●既能部署在本地又能部署在云端的混合數(shù)據(jù)源

仍然是Tableau Online客戶使用最多的連接類型，遠(yuǎn)超其他類型。在過(guò)去兩年內(nèi)，混合數(shù)據(jù)源在所有連接中的份額從未低于60%。

●混合數(shù)據(jù)的重心同樣正在朝云端偏移。15個(gè)月前，Tableau Online客戶在云端環(huán)境和本地環(huán)境中部署的混合數(shù)據(jù)源一樣多。到2016年第一季度，云端部署的混合數(shù)據(jù)源在連接中的份額已增加到了60%。

數(shù)據(jù)呈多樣化格局

Tableau Online用戶使用40多種數(shù)據(jù)源。

排除基于文件的源（例如Excel）和業(yè)務(wù)特定Web應(yīng)用程序（例如Salesforce和Google Analytics），用戶使用32個(gè)不同的數(shù)據(jù)庫(kù)類型和Hadoop生態(tài)系統(tǒng)。這種多樣性表明當(dāng)今可用的數(shù)據(jù)管理工具，具有廣泛且多樣的格局。

未來(lái)，該格局只會(huì)變得更加稠密。高德納 （Gartner） 報(bào)告指出，運(yùn)營(yíng)數(shù)據(jù)庫(kù)管理系統(tǒng)正在經(jīng)歷“強(qiáng)勢(shì)復(fù)蘇，新來(lái)者在這一過(guò)程中對(duì)傳統(tǒng)領(lǐng)先者構(gòu)成了挑戰(zhàn)。”高德納還發(fā)現(xiàn)，在專為數(shù)據(jù)分析設(shè)計(jì)的倉(cāng)儲(chǔ)工具中，顛覆過(guò)程將加速創(chuàng)新。

在用戶更喜歡云端部署還是本地部署的問(wèn)題上，各種數(shù)據(jù)源類型之間有很大差異。

就三分之二的上述數(shù)據(jù)源而言，云端部署比本地部署更常見。但雖然Amazon Redshift和Google BigQuery之類的某些數(shù)據(jù)倉(cāng)庫(kù)僅支持云端部署，SQL Server和MySQL等其他數(shù)據(jù)倉(cāng)庫(kù)同時(shí)支持云端和本地環(huán)境部署。

部署偏好有怎樣的總體趨勢(shì)？

云端部署的連接正在增長(zhǎng)。

在2015年1月，云端部署的數(shù)據(jù)源在向Tableau Online發(fā)布的所有連接中占55%。到2016年第一季度，其份額為所有連接的70%。這相當(dāng)于在短短15個(gè)月內(nèi)，就實(shí)現(xiàn)了28%的合計(jì)百分比增長(zhǎng)。

是什么在推動(dòng)云端數(shù)據(jù)源連接的增長(zhǎng)？

云端部署，無(wú)疑可以幫助組織在設(shè)置和維護(hù)基礎(chǔ)結(jié)構(gòu)方面，降低成本和節(jié)省時(shí)間。但另外三個(gè)趨勢(shì)，在進(jìn)一步推動(dòng)云端數(shù)據(jù)源的使用：

●新公司常?！霸谠贫苏Q生”。這些公司從第一天起就將自己的數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)部署在云端，它們?cè)谑袌?chǎng)中的占比不大，但卻一直在增加。

●新數(shù)據(jù)源讓高度可擴(kuò)展的環(huán)境不可或缺。最好的例子是物聯(lián)網(wǎng)（IoT），在其中，機(jī)器生成的數(shù)據(jù)不斷地從設(shè)備和傳感器流出。組織常常使用可擴(kuò)展的云基礎(chǔ)結(jié)構(gòu)，來(lái)捕獲和存儲(chǔ)這些數(shù)據(jù)。企業(yè)管理協(xié)會(huì)（一家研究公司）估計(jì)IoT記錄當(dāng)前占云端環(huán)境中數(shù)據(jù)總量的33%。另外，在使用IoT數(shù)據(jù)來(lái)為業(yè)務(wù)系統(tǒng)提供信息和改進(jìn)業(yè)務(wù)系統(tǒng)的企業(yè)中，這些情況正在變得越來(lái)越普遍。

●人們?cè)絹?lái)越多地使用手機(jī)和平板電腦之類的設(shè)備來(lái)完成業(yè)務(wù)任務(wù)。Dresner Advisory Service的“Wisdom of Crowds 2015”市場(chǎng)調(diào)查發(fā)現(xiàn)，接近 70%的調(diào)查對(duì)象認(rèn)為，移動(dòng)設(shè)備的支持對(duì)于商業(yè)智能計(jì)劃而言“重要、非常重要或至關(guān)重要”。云解決方案可以在任何時(shí)間和地點(diǎn)實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)，由此為業(yè)務(wù)數(shù)據(jù)的移動(dòng)訪問(wèn)提供了基礎(chǔ)。

雖然一些數(shù)據(jù)庫(kù)僅支持云端部署，另一些解決方案既可以在本地，也可以在云端環(huán)境部署。企業(yè)怎樣選擇？

在過(guò)去兩年中，云端原生數(shù)據(jù)源的連接增加了125%。

2014年初，支持云端使用的數(shù)據(jù)源僅占Tableau Online連接總數(shù)的12%。到2016年3月，其占比為27%。Tableau Online客戶對(duì)Amazon Redshift 和Google BigQuery等云端數(shù)據(jù)倉(cāng)庫(kù)的使用，推動(dòng)了這一增長(zhǎng)。

云端部署呈增長(zhǎng)態(tài)勢(shì)，但混合部署仍占統(tǒng)治地位，最常見的連接類型仍然是“混合”數(shù)據(jù)源。

在2014 年初，既可以部署在本地又可以部署在云端的混合數(shù)據(jù)源占連接總量的73%。2016年3月，其占比為62%。雖然略有下降，混合類型仍然在Tableau Online用戶發(fā)布的所有數(shù)據(jù)源連接中占據(jù)絕大多數(shù)。

混合數(shù)據(jù)源為何如此盛行？許多組織以多種數(shù)據(jù)源為基礎(chǔ)進(jìn)行分析構(gòu)建，其中的一些數(shù)據(jù)源無(wú)法部署在云端。例如，為了符合某些類型的財(cái)務(wù)和醫(yī)療數(shù)據(jù)在安全性方面的要求，常常需要采用本地存儲(chǔ)方式。在另一些情況下，將業(yè)務(wù)遷移至云端是一個(gè)漸進(jìn)的過(guò)程，需耗費(fèi)數(shù)月或數(shù)年時(shí)間才能完成。高德納預(yù)測(cè)，2016 年的競(jìng)爭(zhēng)將以這些混合產(chǎn)品的實(shí)現(xiàn)為焦點(diǎn)。到2018年，這些產(chǎn)品將成為主流。

業(yè)務(wù)用戶具體選擇部署混合類型中的哪種數(shù)據(jù)庫(kù)技術(shù)，在哪里部署？

混合數(shù)據(jù)源的重心已移至云端。

2015年1月，Tableau Online客戶的云端環(huán)境混合數(shù)據(jù)源連接與本地環(huán)境混合數(shù)據(jù)源連接一樣多。到2016年第一季度，云端部署的混合數(shù)據(jù)源在連接中的份額略有增加，達(dá)到60%。

《云端數(shù)據(jù)簡(jiǎn)報(bào)》使用Tableau Online 中混合數(shù)據(jù)源連接的匿名IP 地址，判斷它們是部署在本地還是在云端。這種方法雖有少量誤差，但可以正確確定多數(shù)部署的類型。

高德納預(yù)測(cè)，同時(shí)包含云端和本地軟件部署的企業(yè)資源規(guī)劃 （ERP） 環(huán)境，最晚將在2018年成為常見環(huán)境。與混合數(shù)據(jù)的總體統(tǒng)治地位一樣，云端部署和本地部署幾乎平分混合數(shù)據(jù)源的現(xiàn)象也表明，雖然市場(chǎng)明顯趨向于云端部署，過(guò)渡還遠(yuǎn)未完成。

Tableau Online客戶使用最多的四種混合數(shù)據(jù)源為Microsoft SQL Server、MySQL、PostgreSQL和Oracle。

在這四種類型中，SQL Server和Oracle部署在本地的可能性更大。

平均而言，本地部署的SQL Server比云端部署的SQL Server多出一倍。本地Oracle數(shù)據(jù)源的連接概率是云端Oracle數(shù)據(jù)源的四倍。

SQL Server和Oracle都是云時(shí)代到來(lái)之前的常見技術(shù)。它們長(zhǎng)期以來(lái)一直部署在本地，對(duì)本地部署的偏向性不足為奇。然而，隨著Microsoft Azure云平臺(tái)的增長(zhǎng)，Rightscale的《State of the Cloud》發(fā)現(xiàn)Azure的使用量，在2014至2015年增加了一倍。我們可能很快就會(huì)看到，該公司的SQL Server更加普遍地采用云端部署。

相比之下，與云端部署的MySQL和PostgreSQL的連接遠(yuǎn)比本地部署連接常見。

平均而言，云端MySQL 的概率幾乎是本地MySQL的六倍。云端部署的PostgreSQL比本地部署的PostgreSQL多四倍。

作為開源技術(shù)，MySQL和PostgreSQL在云端的流行很可能都是因?yàn)樗鼈兗嫒菟兄饕脑贫似脚_(tái)（包括Amazon Web Services、Microsoft Azure和Google Cloud Platform）。Tableau Online客戶對(duì)于云端MySQL和PostgreSQL的偏愛，還突出了在云端使用開源數(shù)據(jù)庫(kù)技術(shù)的更大行業(yè)趨勢(shì)。

未來(lái)的數(shù)據(jù)格局

從部署方案到具體的數(shù)據(jù)庫(kù)產(chǎn)品，想要捕獲自己的數(shù)據(jù)并從其中提取見解的企業(yè)有眾多選擇。本地、云端，還是混合？Redshift還是SQL Server？選擇最佳的解決方案并不容易。

但盡管選擇眾多，企業(yè)管理協(xié)會(huì) （EMA） 的一項(xiàng)近期調(diào)查發(fā)現(xiàn)，企業(yè)對(duì)具體技術(shù)的屬性并不是特別關(guān)注。他們關(guān)注的是，特定解決方案的價(jià)值實(shí)現(xiàn)時(shí)間。確實(shí)，同一項(xiàng)調(diào)查發(fā)現(xiàn)，40%的組織相信他們的數(shù)據(jù)管理系統(tǒng)有助于建立競(jìng)爭(zhēng)優(yōu)勢(shì)。云端托管的軟件，日益被視為創(chuàng)造這種競(jìng)爭(zhēng)優(yōu)勢(shì)的最佳方法。

為了構(gòu)建成功的數(shù)據(jù)戰(zhàn)略，組織需要理解并考慮大數(shù)據(jù)世界正在發(fā)生的變化。高德納等行業(yè)分析機(jī)構(gòu)提出，很快大部分IT費(fèi)用將會(huì)用于“對(duì)已經(jīng)長(zhǎng)期使用的業(yè)務(wù)應(yīng)用程序進(jìn)行現(xiàn)代化改進(jìn)或擴(kuò)展，或用基于云的應(yīng)用程序?qū)ζ溥M(jìn)行取代。”云端部署的數(shù)據(jù)源在Tableau Online用戶中越來(lái)越流行，這表明云技術(shù)的勢(shì)頭在大數(shù)據(jù)世界同樣日趨強(qiáng)勁。

三個(gè)具體趨勢(shì)將影響分析和可視化未來(lái)將使用什么樣的數(shù)據(jù)：

1. 數(shù)據(jù)重心將向云端偏移。

數(shù)據(jù)重力表示數(shù)據(jù)在服務(wù)和應(yīng)用程序方面的影響。如果您的數(shù)據(jù)存儲(chǔ)在云端，您將很可能希望您的數(shù)據(jù)工具（從處理到分析）也能在云端運(yùn)行。

現(xiàn)在，數(shù)據(jù)重心集中在云端，集中程度在未來(lái)會(huì)進(jìn)一步增強(qiáng)。構(gòu)建數(shù)據(jù)生態(tài)系統(tǒng)的企業(yè)應(yīng)將工作重心放在云端工作流程上，以確保系統(tǒng)做好應(yīng)對(duì)數(shù)據(jù)改變的準(zhǔn)備。

2. 在向云端遷移的過(guò)程中，混合數(shù)據(jù)技術(shù)對(duì)企業(yè)經(jīng)營(yíng)至關(guān)重要。

如果只有部分?jǐn)?shù)據(jù)可以遷移至云端，或者你想循序漸進(jìn)地遷移數(shù)據(jù)，混合數(shù)據(jù)選項(xiàng)讓你可以靈活地應(yīng)對(duì)云端托管和本地環(huán)境之間的矛盾。

高德納最近預(yù)計(jì)，到2018年前，這些混合產(chǎn)品與服務(wù)將成為標(biāo)準(zhǔn)。針對(duì)正在向云端轉(zhuǎn)移的企業(yè)，混合已經(jīng)成為了標(biāo)準(zhǔn)。

3. 數(shù)據(jù)存儲(chǔ)正在迅速地延伸到傳統(tǒng)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)概念之外。

現(xiàn)在，數(shù)據(jù)來(lái)自四面八方，來(lái)自萬(wàn)事萬(wàn)物。因此，為滿足多種多樣的新數(shù)據(jù)流所帶來(lái)的需求，存儲(chǔ)的格局正在擴(kuò)展。

通過(guò)Snowflake等“即服務(wù)”產(chǎn)品以及Amazon關(guān)系數(shù)據(jù)庫(kù)服務(wù)等可信服務(wù)，云端托管數(shù)據(jù)工具對(duì)這種擴(kuò)展起到了尤為突出的推動(dòng)作用。

未來(lái)，該格局一定會(huì)變得更加稠密。為了從突飛猛進(jìn)的創(chuàng)新中獲益，許多企業(yè)正在致力于構(gòu)建以靈活性和選擇性為最高標(biāo)準(zhǔn)的數(shù)據(jù)流程。

無(wú)論數(shù)據(jù)有多大或是來(lái)源于多少系統(tǒng)，Tableau軟件都能幫助人們查看并理解數(shù)據(jù)。通過(guò)從PC到iPad的無(wú)縫體驗(yàn)，快速連接、混合、可視化并分享數(shù)據(jù)儀表板。用戶不需要編程技能，就能創(chuàng)建和發(fā)布帶有自動(dòng)數(shù)據(jù)更新功能的儀表板，并分享給同事、合作伙伴或客戶。