2018年數(shù)據(jù)分析的六大趨勢(shì)

Thor Olavsrud 沈建苗

數(shù)據(jù)分析和相關(guān)的數(shù)據(jù)技術(shù)與社交媒體、移動(dòng)和云計(jì)算一道已成為數(shù)字時(shí)代的幾大顛覆者。隨著許多公司從2017年開始從數(shù)據(jù)生成型企業(yè)轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)型企業(yè)，數(shù)據(jù)和分析已成為許多企業(yè)的重心。2018年，這些技術(shù)需要開始實(shí)現(xiàn)價(jià)值。

數(shù)據(jù)湖需要證明商業(yè)價(jià)值，否則就完蛋

多年來(lái)數(shù)據(jù)在企業(yè)界迅速積累。隨著數(shù)據(jù)源從互聯(lián)網(wǎng)轉(zhuǎn)移到移動(dòng)端和機(jī)器，物聯(lián)網(wǎng)會(huì)進(jìn)一步加快生成數(shù)據(jù)的速度。

實(shí)時(shí)流數(shù)據(jù)平臺(tái)提供商DataTorrent的首席執(zhí)行官Guy Churchward說(shuō)：“這迫切需要以一種經(jīng)濟(jì)高效的方式來(lái)擴(kuò)展數(shù)據(jù)管道?！?/p>

對(duì)于許多企業(yè)來(lái)說(shuō)，由Apache Hadoop之類的技術(shù)作為支撐，解決方案就是創(chuàng)建數(shù)據(jù)湖――面向整個(gè)企業(yè)的數(shù)據(jù)管理平臺(tái)，用于以原生格式存儲(chǔ)企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖有望消除信息孤島，因?yàn)樗峁┝藛我粩?shù)據(jù)存儲(chǔ)庫(kù)，整個(gè)企業(yè)可以將該存儲(chǔ)庫(kù)用于從業(yè)務(wù)分析到數(shù)據(jù)挖掘的各個(gè)方面。很多廠商號(hào)稱原始、無(wú)人管理的數(shù)據(jù)湖是無(wú)所不包的大數(shù)據(jù)萬(wàn)靈藥。

雖然數(shù)據(jù)湖已被證明存儲(chǔ)海量數(shù)據(jù)很有效，可是從這些數(shù)據(jù)中獲取可付諸行動(dòng)的洞察力卻很難。

Churchward說(shuō)：“數(shù)據(jù)湖讓許多公司順利地度過(guò)了數(shù)據(jù)‘靜態(tài)和‘批處理時(shí)代。然而早在2015年，這種架構(gòu)被過(guò)度使用的弊端開始顯露出來(lái)，現(xiàn)在數(shù)據(jù)湖成了實(shí)時(shí)數(shù)據(jù)分析的致命弱點(diǎn)。先放置數(shù)據(jù)再分析數(shù)據(jù)，這立刻使公司處于極大的劣勢(shì)。獲取洞察力，并盡快采取行動(dòng)，然而依賴過(guò)時(shí)事件數(shù)據(jù)的公司無(wú)法看清情況、應(yīng)采取的行動(dòng)以及任何可能的即時(shí)補(bǔ)救措施。在這個(gè)方面，“足夠好”從戰(zhàn)略上來(lái)說(shuō)很致命。

Splice Machine的首席執(zhí)行官M(fèi)onte Zweben贊同這個(gè)觀點(diǎn)。Zweben預(yù)測(cè)，2018年，“Hadoop迎來(lái)全面幻滅的時(shí)代，許多公司喪生于數(shù)據(jù)湖。這是因?yàn)榘鸦贖adoop的計(jì)算引擎搭起來(lái)很復(fù)雜，無(wú)法獲得投資回報(bào)?！?/p>

數(shù)據(jù)目錄專業(yè)公司Alation的戰(zhàn)略和聯(lián)盟副總裁Ken Hoang表示，想在2018年生存下去，數(shù)據(jù)湖就得開始證明其商業(yè)價(jià)值。

Hoang說(shuō)：“在過(guò)去幾年，數(shù)據(jù)湖（新的數(shù)據(jù)傾倒場(chǎng)）已經(jīng)歷了試驗(yàn)性部署，除非它證明能實(shí)現(xiàn)價(jià)值，否則會(huì)開始關(guān)閉。成功數(shù)據(jù)湖的特征是擁有這樣一種企業(yè)目錄，可以將信息發(fā)掘、人工智能和信息管理結(jié)合起來(lái)，為企業(yè)提供新的洞察力?！?/p>

然而，Hoang并不認(rèn)為數(shù)據(jù)湖完全失敗。他預(yù)測(cè)，數(shù)據(jù)湖及其他大型數(shù)據(jù)樞紐會(huì)通過(guò)他所謂的“超級(jí)樞紐”（super hub）找到新的生機(jī)，“超級(jí)樞紐”可以通過(guò)機(jī)器學(xué)習(xí)提供“環(huán)境即服務(wù)”（context-as-a-service）。

Hoang說(shuō)：“過(guò)去25年部署的大型數(shù)據(jù)樞紐（比如數(shù)據(jù)倉(cāng)庫(kù)、主數(shù)據(jù)管理、數(shù)據(jù)湖、Salesforce和ERP）導(dǎo)致了更多的數(shù)據(jù)孤島，而這些孤島之間無(wú)法輕易理解、關(guān)聯(lián)或共享。樞紐中的樞紐能夠跨這些樞紐關(guān)聯(lián)資產(chǎn)，因而實(shí)現(xiàn)環(huán)境即服務(wù)，這反過(guò)來(lái)會(huì)帶來(lái)更相關(guān)、更精準(zhǔn)的預(yù)測(cè)性洞察力，從而更迅速地獲得更顯著的運(yùn)營(yíng)業(yè)務(wù)成效。”

MapR的首席應(yīng)用架構(gòu)師Ted Dunning預(yù)測(cè)會(huì)出現(xiàn)類似的轉(zhuǎn)變：由于大數(shù)據(jù)系統(tǒng)成為存儲(chǔ)、訪問(wèn)和運(yùn)營(yíng)等方面的重心，企業(yè)會(huì)考慮構(gòu)建一種全局?jǐn)?shù)據(jù)結(jié)構(gòu)，以便全面訪問(wèn)來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)和面向真正多租戶的系統(tǒng)的計(jì)算資源。

Dunning說(shuō)：“我們會(huì)看到越來(lái)越多的企業(yè)將計(jì)算當(dāng)成數(shù)據(jù)流，而不是當(dāng)成處理完后存入到數(shù)據(jù)庫(kù)中的數(shù)據(jù)。這些數(shù)據(jù)流獲取關(guān)鍵的業(yè)務(wù)事件，體現(xiàn)業(yè)務(wù)結(jié)構(gòu)。統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)將成為構(gòu)建這種大規(guī)模數(shù)據(jù)流系統(tǒng)的基礎(chǔ)?！?/p>

自助服務(wù)數(shù)據(jù)分析專業(yè)公司Alteryx的首席戰(zhàn)略官Langley Eide表示，并非只有IT部門擔(dān)負(fù)起責(zé)任讓數(shù)據(jù)湖實(shí)現(xiàn)價(jià)值，業(yè)務(wù)部門的分析員和首席數(shù)字官（CDO）也要在2018年擔(dān)負(fù)起責(zé)任。

Eide說(shuō)：“大多數(shù)分析員并沒(méi)有充分利用涌入數(shù)據(jù)湖的大量非結(jié)構(gòu)化資源，比如點(diǎn)擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)和日志數(shù)據(jù)等，主要是由于這些數(shù)據(jù)很難利用起來(lái)。而事實(shí)上，如果分析員不去處理這些數(shù)據(jù)，就沒(méi)有盡到責(zé)任。人們普遍認(rèn)為，許多數(shù)據(jù)湖是不良資產(chǎn)――人們不知道有什么數(shù)據(jù)、如何訪問(wèn)數(shù)據(jù)，或者如何從數(shù)據(jù)獲取洞察力。更多的CDO和企業(yè)希望從數(shù)據(jù)湖獲得更高的投資回報(bào)，這個(gè)現(xiàn)狀在2018年會(huì)發(fā)生變化?！?/p>

Eide預(yù)測(cè)，2018年我們會(huì)看到分析員們將Excel和SQL之類的“蠻力”工具換成更注重編程的方法和技術(shù)，比如數(shù)據(jù)編目，從數(shù)據(jù)中發(fā)掘并獲取更多的價(jià)值。

CDO將成熟起來(lái)

由于新的趨勢(shì)是從數(shù)據(jù)中獲得更好的洞察力，Edie還預(yù)測(cè)CDO的角色在2018年會(huì)成熟起來(lái)。

“數(shù)據(jù)實(shí)質(zhì)上是新的石油，CDO開始被認(rèn)為是解決當(dāng)今企業(yè)最重要的問(wèn)題：從數(shù)據(jù)中獲取價(jià)值的關(guān)鍵角色。由于預(yù)算通常不到1000萬(wàn)美元，CDO面臨的最大挑戰(zhàn)和機(jī)遇之一就是，讓企業(yè)的數(shù)據(jù)資產(chǎn)更貼近業(yè)務(wù)用戶，從而使大加宣傳的自助服務(wù)機(jī)會(huì)成為現(xiàn)實(shí)。2018年，努力在集中式功能與嵌入在業(yè)務(wù)部門的功能之間取得平衡的CDO最終將獲得更多的預(yù)算?！?/p>

Eide認(rèn)為，讓資源、技能和功能能夠在卓越中心和業(yè)務(wù)部門之間迅速轉(zhuǎn)移的CDO將會(huì)取得最大的成功。為此，敏捷的平臺(tái)和方法是關(guān)鍵。

數(shù)據(jù)管理員崛起？

數(shù)據(jù)分析初創(chuàng)公司Dremio的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Tomer Shiran是Apache Arrow開源項(xiàng)目發(fā)展背后的一大推手，他預(yù)測(cè)企業(yè)會(huì)需要一種新的角色：數(shù)據(jù)管理員（data curator）。

Shiran表示，數(shù)據(jù)管理員介于數(shù)據(jù)使用者和數(shù)據(jù)工程師之間。數(shù)據(jù)使用者是指使用Tableau和Python等工具，用數(shù)據(jù)來(lái)解答重要問(wèn)題的分析師和數(shù)據(jù)科學(xué)家，而數(shù)據(jù)工程師是指使用腳本語(yǔ)言、Spark、Hive和MapReduce在系統(tǒng)之間移動(dòng)和轉(zhuǎn)換數(shù)據(jù)的人員。要想獲得成功，數(shù)據(jù)管理員不但要了解運(yùn)用于數(shù)據(jù)的技術(shù)，還要了解數(shù)據(jù)的含義。

Shiran說(shuō)：“數(shù)據(jù)管理員負(fù)責(zé)了解整個(gè)企業(yè)內(nèi)不同的群體需要執(zhí)行的數(shù)據(jù)分析類型，了解哪些數(shù)據(jù)集非常適合于這項(xiàng)工作，并了解需要哪些步驟將數(shù)據(jù)由原始狀態(tài)轉(zhuǎn)換為數(shù)據(jù)使用者執(zhí)行的工作所需的形態(tài)和形式。數(shù)據(jù)管理員使用自助服務(wù)數(shù)據(jù)平臺(tái)之類的系統(tǒng)，加快讓數(shù)據(jù)使用者便于訪問(wèn)必要數(shù)據(jù)集的端到端過(guò)程，無(wú)需制作無(wú)數(shù)的數(shù)據(jù)副本?！?h3>數(shù)據(jù)治理戰(zhàn)略將成為所有高管的重要課題

歐盟的《通用數(shù)據(jù)保護(hù)條例》（GDPR）將于2018年5月25日生效，它如陰霾一般籠罩在數(shù)據(jù)分析領(lǐng)域的上空，可是并非所有企業(yè)做好了準(zhǔn)備。

美富律師事務(wù)所（Morrison & Foerster）全球隱私和數(shù)據(jù)安全部門的多位律師解釋，GDPR將直接適用于歐盟所有成員國(guó)，它徹底改變了公司征得同意后才能收集和處理歐盟公民數(shù)據(jù)的方式。這些律師包括：全球隱私業(yè)務(wù)部聯(lián)合主任Miriam Wugmeister、歐洲隱私專家Lokke Moerel以及全球風(fēng)險(xiǎn)和危機(jī)管理業(yè)務(wù)部主任John Carlin（美國(guó)司法部國(guó)家安全司前總檢察長(zhǎng)助理）。

他們解釋：“那些有賴于征得同意才能開展所有處理工作的公司再也無(wú)法這么做，需要具備其他的法律依據(jù)（即必要的合同條文和合法權(quán)益）。公司要實(shí)施一套全新的生態(tài)系統(tǒng)來(lái)進(jìn)行通知并征得同意。”

雖然GDPR處罰金額可能很高――行政罰金可能高達(dá)2000萬(wàn)歐元或全球年?duì)I業(yè)額的4%（以金額高者為準(zhǔn)），但許多企業(yè)、尤其是美國(guó)企業(yè)并沒(méi)有做好準(zhǔn)備。

Hortonworks的首席技術(shù)官Scott Gnau說(shuō)：“千年蟲問(wèn)題來(lái)臨時(shí)，每個(gè)人都在為是否真正碰到不好說(shuō)的問(wèn)題做準(zhǔn)備。今天，似乎很少有人為2018年5月即將實(shí)施的GDPR做準(zhǔn)備。為何如此？我們目前處于這樣一個(gè)階段，每個(gè)企業(yè)不僅要處理‘接下來(lái)的工作，還要努力處理需要解決的問(wèn)題。許多企業(yè)可能依賴首席安全官來(lái)確定規(guī)則、系統(tǒng)和參數(shù)等，幫助全球系統(tǒng)集成商找出最佳的行動(dòng)方案。但要讓一個(gè)人來(lái)完成這項(xiàng)工作是不現(xiàn)實(shí)的。”

Gnau表示，正確貫徹GDPR需要企業(yè)高管充分了解，做好準(zhǔn)備，并與本企業(yè)的各部門進(jìn)行溝通。企業(yè)需要在數(shù)據(jù)資產(chǎn)的整體治理方面有更大的把握。但是重大數(shù)據(jù)泄密（比如2017年曝光的Equifax數(shù)據(jù)泄密）意味著，它們會(huì)努力在讓員工自助訪問(wèn)數(shù)據(jù)與保護(hù)同樣這些數(shù)據(jù)免受潛在的威脅之間求得平衡。

因此，Gnau預(yù)測(cè)數(shù)據(jù)治理將成為2018年所有企業(yè)關(guān)注的重點(diǎn)?！耙粋€(gè)關(guān)鍵的目標(biāo)應(yīng)該是，開發(fā)出一套兼顧數(shù)據(jù)民主化、訪問(wèn)、自助分析和監(jiān)管的系統(tǒng)。將來(lái)我們?yōu)閿?shù)據(jù)安全地設(shè)計(jì)架構(gòu)的方式將影響到每個(gè)人：美國(guó)和海外的客戶、媒體和合作伙伴等?！?/p>

多云數(shù)據(jù)管理專業(yè)公司Veritas Technologies的解決方案營(yíng)銷主管Zachary Bosin預(yù)測(cè)，美國(guó)公司會(huì)是最先依據(jù)GDPR受到處罰的企業(yè)之一。

Bosin說(shuō)：“盡管截止日期馬上就到，但Veritas在全球調(diào)查的公司中只有31%認(rèn)為自己符合GDPR。對(duì)違規(guī)行為的處罰非常嚴(yán)厲，該法規(guī)將影響到與歐盟公民打交道的任何一家公司?！?h3>元數(shù)據(jù)管理繼續(xù)盛行

當(dāng)然，擺在面前的不僅僅是GDPR。數(shù)據(jù)日益泛濫，全球各國(guó)政府因而在制定新的法規(guī)。在企業(yè)內(nèi)部，團(tuán)隊(duì)訪問(wèn)數(shù)據(jù)的現(xiàn)象比以前普遍得多。這一切使得數(shù)據(jù)治理以及數(shù)據(jù)質(zhì)量、數(shù)據(jù)整合和元數(shù)據(jù)管理顯得更為重要。

分析軟件提供商Infogix的產(chǎn)品管理高級(jí)副總裁Emily Washington說(shuō)：“除了人工智能和物聯(lián)網(wǎng)等早期的趨勢(shì)外，現(xiàn)在多了元數(shù)據(jù)管理和確保數(shù)據(jù)隱私以符合GDPR等法規(guī)，但2018年一個(gè)令人意外的趨勢(shì)將是數(shù)據(jù)管理技術(shù)的融合。企業(yè)在日益評(píng)估簡(jiǎn)化整體技術(shù)架構(gòu)的方式，因?yàn)樗鼈兿氤晒Φ乩么髷?shù)據(jù)和分析技術(shù)來(lái)打造更好的客戶體驗(yàn)，實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，并最終成為市場(chǎng)領(lǐng)導(dǎo)者?！?/p>

Williams表示，獲取有意義的洞察力并提高運(yùn)營(yíng)效率需要靈活、整合的工具，好讓用戶迅速獲取、準(zhǔn)備、分析和治理數(shù)據(jù)。尤其是，元數(shù)據(jù)管理對(duì)于滿足企業(yè)數(shù)據(jù)環(huán)境中的數(shù)據(jù)治理、法規(guī)遵從和數(shù)據(jù)管理需求將至關(guān)重要。

預(yù)測(cè)分析有助于改善數(shù)據(jù)質(zhì)量

隨著數(shù)據(jù)項(xiàng)目進(jìn)入到生產(chǎn)環(huán)境，數(shù)據(jù)質(zhì)量日益受到關(guān)注。隨著物聯(lián)網(wǎng)進(jìn)一步打開數(shù)據(jù)閘門，尤為如此。Infogix表示，2018年企業(yè)會(huì)借助機(jī)器學(xué)習(xí)算法，改善數(shù)據(jù)質(zhì)量異常檢測(cè)。通過(guò)利用歷史模式來(lái)預(yù)測(cè)未來(lái)的數(shù)據(jù)質(zhì)量結(jié)果，企業(yè)可以動(dòng)態(tài)檢測(cè)原本被忽略的異常情況，或者只有通過(guò)手動(dòng)干預(yù)才能在后期階段發(fā)現(xiàn)的異常情況。

Washington說(shuō)：“由于更多的數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)等技術(shù)而生成，管理和利用數(shù)據(jù)變得越來(lái)越難。集成的自助工具提供了全面的企業(yè)數(shù)據(jù)視圖，以便得出及時(shí)而有意義的結(jié)論。進(jìn)入到2018年，企業(yè)的數(shù)據(jù)資產(chǎn)做到完全透明對(duì)于成功的數(shù)據(jù)分析項(xiàng)目將至關(guān)重要，以便滿足數(shù)據(jù)治理和隱私要求、用數(shù)據(jù)資產(chǎn)來(lái)賺錢等等。”