大數(shù)據(jù)的痛點(diǎn)

王雄

全世界都知道大數(shù)據(jù)是怎么回事：埃森哲公司“大數(shù)據(jù)的成功”研究發(fā)現(xiàn)，79 %的企業(yè)高管表示，不采用大數(shù)據(jù)的公司將失去市場實(shí)力，可能面臨倒閉。大數(shù)據(jù)被廣泛視為所有連接到互聯(lián)網(wǎng)的組織的生命線。此外，89 %的受訪者認(rèn)為，大數(shù)據(jù)將以互聯(lián)網(wǎng)的方式徹底改變商業(yè)運(yùn)營。早期采用者在大數(shù)據(jù)方面看到了競爭優(yōu)勢，正在迅速改變并顛覆他們自己的數(shù)據(jù)實(shí)踐。

但問題的關(guān)鍵在于許多組織只是在努力實(shí)施大數(shù)據(jù)。Unravel公司最近對組織對其大數(shù)據(jù)堆棧的意見和期望進(jìn)行了一項(xiàng)研究，結(jié)果顯示只有17 %的受訪者將其大數(shù)據(jù)堆棧的性能評為“最佳”，幾乎滿足所有關(guān)鍵績效指標(biāo)和目標(biāo)。這主要是由于缺乏合適的技能、成本以及獲得有價(jià)值和可操作的見解所需的時(shí)間等障礙。

如果“關(guān)鍵”在人們的掌握之外，那么如何才能通過數(shù)據(jù)“必殺技”？答案是優(yōu)化。但首先，人們必須評估給他們當(dāng)前數(shù)據(jù)堆棧帶來的疑慮，以便充分理解為什么人們作為DataOps社區(qū)，需要如此拼命地進(jìn)行優(yōu)化。

由于技能仍然稀缺，大數(shù)據(jù)引擎是否會(huì)停滯不前？

我們的研究揭示了IT運(yùn)營人員的廣泛痛點(diǎn)。36 %的受訪者將其列為主要的痛點(diǎn)，因此缺乏技能不斷成為追求數(shù)據(jù)堆棧協(xié)同效應(yīng)的持續(xù)障礙。在這種技能差距中，最迫切的需求是大數(shù)據(jù)架構(gòu)師，幾乎一半的組織（45 %）存在問題。

隨著大數(shù)據(jù)不斷爆炸，日常生活中人們需要越來越多的大數(shù)據(jù)架構(gòu)師處理的大規(guī)模數(shù)據(jù)庫，使數(shù)據(jù)科學(xué)家和分析師能夠梳理這些數(shù)據(jù)，以便提取可行的見解為需要做出業(yè)務(wù)決策的利益相關(guān)者提供更好的支持。它們對于實(shí)現(xiàn)企業(yè)領(lǐng)導(dǎo)者對組織的期望至關(guān)重要，特別是當(dāng)他們著眼于改進(jìn)的數(shù)據(jù)分析、轉(zhuǎn)換和可視化時(shí)。架構(gòu)師將是企業(yè)實(shí)現(xiàn)這些目標(biāo)的不可或缺的組成部分。

其中一個(gè)主要問題可能是讓企業(yè)重新回到數(shù)據(jù)棧協(xié)調(diào)和商業(yè)幸福的風(fēng)險(xiǎn)中，因?yàn)楹芏嘟M織還沒有在云中托管他們的大數(shù)據(jù)應(yīng)用程序。82 %的受訪者表示他們具有將現(xiàn)有大數(shù)據(jù)應(yīng)用程序遷移到云端的戰(zhàn)略。這里的推論是，他們中的許多人還沒有將他們的應(yīng)用程序放在云中，因此面臨著隨意擴(kuò)展和縮小的挑戰(zhàn)，這需要所有基礎(chǔ)設(shè)施的準(zhǔn)備和維護(hù)。

托管在云中的好處是：更多的企業(yè)正在意識(shí)到云計(jì)算提供的可能性。云計(jì)算的可擴(kuò)展性為業(yè)務(wù)基礎(chǔ)設(shè)施提供了包含多個(gè)服務(wù)器以及前所未有容量水平的可能性。在云中托管還可以降低成本以及提高大數(shù)據(jù)應(yīng)用程序的性能。遷移到云端可能會(huì)讓企業(yè)在自身尚未意識(shí)到的大數(shù)據(jù)堆棧中釋放出大量潛力。

目前，大數(shù)據(jù)在防御性使用時(shí)似乎最有利可圖或者說最有效，報(bào)告的主要4個(gè)用例是：

網(wǎng)絡(luò)安全情報(bào)（42 %）；

風(fēng)險(xiǎn)，監(jiān)管，合規(guī)報(bào)告（41 %）；

預(yù)防性維護(hù)的預(yù)測分析（35 %）；

欺詐檢測和預(yù)防（35 %）。

超越經(jīng)過試驗(yàn)和測試的項(xiàng)目可以對業(yè)務(wù)應(yīng)用程序性能管理（APM）解決方案產(chǎn)生更大的影響，這是對大型數(shù)據(jù)堆棧的復(fù)雜軟件和硬件沖突進(jìn)行的微調(diào)、處理和增壓。。

APM是一種能夠支持雙方分歧并幫助企業(yè)找到共同點(diǎn)的技術(shù)，是否錯(cuò)過了服務(wù)等級協(xié)議（SLA）、失敗的作業(yè)或工作流程，緩慢的作業(yè)或查詢，或計(jì)算資源不明智地分配并導(dǎo)致延遲亦或最終導(dǎo)致用戶不滿。通過監(jiān)控大數(shù)據(jù)平臺(tái)，并嘗試無法實(shí)現(xiàn)預(yù)防或解決這些問題使用日志和圖表修復(fù)問題。在典型的大數(shù)據(jù)部署中，該方法無法擴(kuò)展。從隱喻的角度來說，傳統(tǒng)的監(jiān)控和調(diào)試方法就像試圖解開交織在一起的電線，它只是無法擴(kuò)展。對于DevOps來說，在太多不同的系統(tǒng)中存在太多潛在問題，但可以通過反復(fù)試驗(yàn)來解決問題并保持準(zhǔn)時(shí)。

該技術(shù)有望為企業(yè)帶來新的數(shù)據(jù)使用方式，但DevOps團(tuán)隊(duì)可能會(huì)在可預(yù)見的未來管理混合平臺(tái)，因?yàn)檫@不是一夜之間的過渡。利用APM的強(qiáng)大功能和優(yōu)化業(yè)務(wù)流程將揭示大數(shù)據(jù)堆棧的真正可能性，更多業(yè)務(wù)領(lǐng)導(dǎo)者將開始看到此技術(shù)滿足其KPI，有助于降低整個(gè)業(yè)務(wù)的成本和時(shí)間管理。

在“大數(shù)據(jù)或?qū)⑾觥钡氖澜缋?，是時(shí)候認(rèn)真解決復(fù)雜、快速、不斷發(fā)展的大數(shù)據(jù)棧所帶來的挑戰(zhàn)了?，F(xiàn)在的主要挑戰(zhàn)是確保大數(shù)據(jù)棧可靠、高效地運(yùn)行，并且大數(shù)據(jù)團(tuán)隊(duì)擁有交付下一代應(yīng)用程序、分析、人工智能和機(jī)器學(xué)習(xí)的工具和專業(yè)知識(shí)。