數(shù)據(jù)協(xié)同拉通是企業(yè)數(shù)字化和智能化進(jìn)程中的基石,不僅需要過硬的技術(shù)和平臺支持,更需要深入識別和解決團(tuán)隊問題。企業(yè)通過打造一個深度融合、統(tǒng)一思路、全面協(xié)同和技術(shù)高效的數(shù)據(jù)團(tuán)隊,才能把數(shù)據(jù)作為生產(chǎn)資料和新質(zhì)生產(chǎn)力的突破力量
在數(shù)字化和智能化的今天,數(shù)據(jù)已然成為企業(yè)生產(chǎn)與運營中不可或缺的生產(chǎn)資料。然而,如何充分發(fā)揮數(shù)據(jù)作為企業(yè)爭優(yōu)創(chuàng)先核心資產(chǎn)的作用,關(guān)鍵在于企業(yè)能否打造一個高效協(xié)同的數(shù)據(jù)團(tuán)隊。
從數(shù)據(jù)管理到數(shù)據(jù)科學(xué),再到數(shù)據(jù)工程和數(shù)據(jù)分析,企業(yè)級數(shù)據(jù)價值創(chuàng)造是一個系統(tǒng)性復(fù)雜問題,需要以場景為核心、以價值為導(dǎo)向,進(jìn)行全面融合貫通,構(gòu)建數(shù)據(jù)智能底座,從而實現(xiàn)全面協(xié)同和持續(xù)創(chuàng)新,打造從數(shù)據(jù)算力到業(yè)務(wù)價值的高效全鏈路。
企業(yè)級數(shù)據(jù)協(xié)同面臨6個挑戰(zhàn)
從企業(yè)數(shù)據(jù)生產(chǎn)加工過程來看,企業(yè)數(shù)據(jù)協(xié)同面臨以下6個挑戰(zhàn),如圖1所示。
挑戰(zhàn)一:目標(biāo)不一致。協(xié)同的基礎(chǔ)是有共同的目標(biāo),只有擁有共同的目標(biāo)和利益,相關(guān)人員才能夠從內(nèi)心認(rèn)同協(xié)同。如果連目標(biāo)都不一致,那么協(xié)同就成為一句空話,企業(yè)提供再好的工具平臺都是無效的。而現(xiàn)在很多部門的數(shù)據(jù)利用與生產(chǎn)是割裂的,各方分別有各自的KPI,并沒有形成統(tǒng)一的目標(biāo),導(dǎo)致缺少對齊目標(biāo)的意識和行動。
挑戰(zhàn)二:缺少意識。目標(biāo)的不一致帶來的直接后果,是很多企業(yè)未能樹立起數(shù)據(jù)協(xié)同的意識。業(yè)務(wù)部門認(rèn)為數(shù)據(jù)是技術(shù)部門和數(shù)據(jù)部門的事情,與自己無關(guān);應(yīng)用開發(fā)團(tuán)隊將數(shù)據(jù)團(tuán)隊隔離在外,什么事情都喜歡自己搞定。這導(dǎo)致不同部門或團(tuán)隊總會出現(xiàn)數(shù)據(jù)不一致等情況,究其原因是缺乏數(shù)據(jù)協(xié)同的意識。
挑戰(zhàn)三:缺少標(biāo)準(zhǔn)。當(dāng)下很多企業(yè)在數(shù)據(jù)開發(fā)和利用上沒有統(tǒng)一的標(biāo)準(zhǔn),包括數(shù)據(jù)協(xié)同處理的流程和規(guī)則、各個團(tuán)隊之間的分工等方面。
挑戰(zhàn)四:缺少度量。很多企業(yè)尚未建立協(xié)同的標(biāo)準(zhǔn),部門間數(shù)據(jù)協(xié)作的過程也都是線下自發(fā)的。沒有標(biāo)準(zhǔn)帶來采集不到協(xié)作過程中包括進(jìn)度、狀態(tài)等關(guān)鍵指標(biāo)的問題,進(jìn)而導(dǎo)致無法可視化和度量每一個數(shù)據(jù)任務(wù)的狀態(tài),比如該任務(wù)目前處于哪個環(huán)節(jié)、進(jìn)度是否符合計劃等。
挑戰(zhàn)五:缺少平臺。與此同時,只有標(biāo)準(zhǔn)也是不夠的,必須要有工具和平臺來支撐標(biāo)準(zhǔn)的執(zhí)行和落實,否則標(biāo)準(zhǔn)帶來的只是額外的管理工作量。但是目前大部分企業(yè)都缺少能把業(yè)務(wù)、技術(shù)和數(shù)據(jù)等三方相關(guān)內(nèi)容和工作人員整合在一起、無縫銜接、無邊界協(xié)作的企業(yè)級數(shù)據(jù)協(xié)同平臺。
挑戰(zhàn)六:缺少運營。讓企業(yè)實現(xiàn)數(shù)據(jù)協(xié)同還需要運營。運營的主要任務(wù)包括運維(監(jiān)控企業(yè)的各項數(shù)據(jù)協(xié)同狀況,及時發(fā)現(xiàn)問題,比如數(shù)據(jù)處理鏈異常、存儲空間不夠等)、調(diào)度(調(diào)度相關(guān)的資源來支持和保障各項數(shù)據(jù)協(xié)同任務(wù)能夠高效完成)、分析(通過分析相關(guān)的協(xié)同數(shù)據(jù),發(fā)現(xiàn)數(shù)據(jù)協(xié)同過程的趨勢、風(fēng)險以及待優(yōu)化點)、引導(dǎo)(舉辦活動、制定機制,鼓勵和引導(dǎo)更有價值的數(shù)據(jù)協(xié)同生產(chǎn))等。
當(dāng)前,企業(yè)已經(jīng)進(jìn)入數(shù)據(jù)民主化的時代,如何能夠在全員皆是數(shù)據(jù)用戶的情況下做好數(shù)據(jù)協(xié)同,成為所有企業(yè)面臨的問題。如果這個問題解決不好,那么數(shù)據(jù)治理也會越來越難。而要解決這個問題,需從用戶的本質(zhì)需求出發(fā),搞清楚企業(yè)數(shù)據(jù)的用戶都有哪些、分成什么類型、不同的訴求是什么、會進(jìn)行怎樣的協(xié)同。
不同企業(yè)數(shù)據(jù)團(tuán)隊面臨不同的痛點
與數(shù)據(jù)產(chǎn)品生產(chǎn)關(guān)系最緊密的角色是數(shù)據(jù)團(tuán)隊,它可以分為4類:數(shù)據(jù)管理團(tuán)隊、業(yè)務(wù)團(tuán)隊、數(shù)據(jù)分析團(tuán)隊、數(shù)據(jù)工程團(tuán)隊。不同的團(tuán)隊面臨的痛點不一樣。
數(shù)據(jù)管理團(tuán)隊的痛點
數(shù)據(jù)管理團(tuán)隊肩負(fù)著統(tǒng)籌管理企業(yè)數(shù)據(jù)資產(chǎn)、挖掘和度量數(shù)據(jù)價值、保證數(shù)據(jù)產(chǎn)品和數(shù)據(jù)相關(guān)系統(tǒng)平臺穩(wěn)定運行的職責(zé)。數(shù)據(jù)管理團(tuán)隊面臨如下痛點:
數(shù)據(jù)資產(chǎn)統(tǒng)籌管理難。企業(yè)的數(shù)據(jù)資產(chǎn)越來越多,種類越來越復(fù)雜,并且越來越重要,如何全面、安全地統(tǒng)籌管理數(shù)據(jù)資產(chǎn),既要讓所有人能夠便捷地訪問和利用數(shù)據(jù)資產(chǎn),又要保證安全合規(guī)?這是數(shù)據(jù)管理團(tuán)隊的首要需求,也是最大的痛點。
業(yè)務(wù)價值度量評價難。如何評價數(shù)據(jù)產(chǎn)品的價值,特別是那些不能直接銷售的數(shù)據(jù)產(chǎn)品的價值,是數(shù)據(jù)管理團(tuán)隊面臨的第二個痛點。需要一種模式讓數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的價值顯性化、具象化,讓業(yè)務(wù)用戶和企業(yè)管理者感受到。
數(shù)據(jù)管理工作煩瑣。數(shù)據(jù)團(tuán)隊越來越龐大,且每天的工作任務(wù)都很多。那么,團(tuán)隊的工作狀態(tài)如何,進(jìn)度是否符合計劃,是否有風(fēng)險,有什么困難和挑戰(zhàn),是數(shù)據(jù)管理者需要關(guān)心的。數(shù)據(jù)管理者需要一個全景視圖,全面了解團(tuán)隊的關(guān)鍵項目、任務(wù)執(zhí)行情況,以及數(shù)據(jù)相關(guān)資產(chǎn)的利用情況和風(fēng)險情況。
業(yè)務(wù)需求反饋協(xié)調(diào)慢。業(yè)務(wù)部門中,數(shù)據(jù)產(chǎn)品消費者對于數(shù)據(jù)產(chǎn)品的反饋如何?有什么問題?是否能及時解決?過去,這些反饋往往在事后以投訴的方式才能獲知。但事實上,數(shù)據(jù)的加工生產(chǎn)本身都是在線的,完全具備實時監(jiān)控和溝通的條件。
業(yè)務(wù)團(tuán)隊的痛點
數(shù)據(jù)已經(jīng)成為業(yè)務(wù)團(tuán)隊工作的必備方法和工具,但是大部分業(yè)務(wù)人員都不是技術(shù)或者數(shù)據(jù)相關(guān)專業(yè)出身,仍然需要借助數(shù)據(jù)分析和技術(shù)團(tuán)隊來實現(xiàn)數(shù)據(jù)需求。但是企業(yè)的數(shù)據(jù)利用鏈路往往很難給業(yè)務(wù)團(tuán)隊提供高響應(yīng)的支撐,主要體現(xiàn)在以下5方面:
找不到數(shù)據(jù)。業(yè)務(wù)人員經(jīng)常面臨的問題包括不知道公司有多少數(shù)據(jù),不知道這些數(shù)據(jù)在哪里,想看數(shù)據(jù)卻不知道如何獲得,數(shù)據(jù)管理流程復(fù)雜冗長等。業(yè)務(wù)人員縱使有很多的業(yè)務(wù)需求和想法,還是會因為繁重而封閉的數(shù)據(jù)管理體系望而卻步,最終只能放棄。
缺少業(yè)務(wù)型分析工具。業(yè)務(wù)團(tuán)隊雖然有很多的數(shù)據(jù)報表,也有專業(yè)的數(shù)據(jù)分析人員,但是很多時候針對個性化的需求,業(yè)務(wù)團(tuán)隊也希望自己能夠直接快速地進(jìn)行一些簡單的分析洞察。但是大部分企業(yè)缺少友好的業(yè)務(wù)型數(shù)據(jù)分析工具,導(dǎo)致很多企業(yè)超過50%的數(shù)據(jù)分析都是在Excel里進(jìn)行的。
數(shù)據(jù)分析質(zhì)量差。由于數(shù)據(jù)口徑、數(shù)據(jù)質(zhì)量的問題,很多數(shù)據(jù)分析的結(jié)果不準(zhǔn)確。業(yè)務(wù)團(tuán)隊與數(shù)據(jù)團(tuán)隊對同一個數(shù)據(jù)的理解不一致,又帶來巨大的溝通成本,并且導(dǎo)致數(shù)據(jù)描述不清晰、數(shù)據(jù)分析效果差。
數(shù)據(jù)開發(fā)響應(yīng)慢。業(yè)務(wù)對數(shù)據(jù)的需求總是比較緊迫的,需要被快速響應(yīng),但是數(shù)據(jù)開發(fā)團(tuán)隊的響應(yīng)往往比應(yīng)用開發(fā)團(tuán)隊慢很多。這個問題的產(chǎn)生主要有兩個原因:一個是業(yè)務(wù)團(tuán)隊與數(shù)據(jù)開發(fā)團(tuán)隊對數(shù)據(jù)需求的理解很難對齊,需要多次嘗試驗證才能找到最終正確的數(shù)據(jù);另一個是企業(yè)數(shù)據(jù)開發(fā)團(tuán)隊的能力與應(yīng)用開發(fā)團(tuán)隊相比,尚不那么成熟,缺少標(biāo)準(zhǔn)、統(tǒng)一的工具和流程。
應(yīng)用上線慢。數(shù)據(jù)應(yīng)用的上線和業(yè)務(wù)應(yīng)用不一樣。在上線之前,數(shù)據(jù)的接入、遷移、驗證、測試需要很長時間,接入數(shù)據(jù)越多的應(yīng)用,上線過程越復(fù)雜。并且,數(shù)據(jù)應(yīng)用的問題追溯比較困難,所以數(shù)據(jù)工程團(tuán)隊一般很難提供明確的SLA(服務(wù)等級承諾)。
數(shù)據(jù)分析團(tuán)隊的痛點
數(shù)據(jù)分析團(tuán)隊現(xiàn)在成為很多企業(yè)里最熱門、但也是最辛苦、最有挑戰(zhàn)的團(tuán)隊。在季度、年度結(jié)束的時候,數(shù)據(jù)分析團(tuán)隊往往會接到大量需求,需要通宵達(dá)旦地工作,這是因為數(shù)據(jù)已經(jīng)成為所有業(yè)務(wù)的生產(chǎn)要素,而數(shù)據(jù)分析團(tuán)隊的產(chǎn)能是有限的,導(dǎo)致數(shù)據(jù)分析團(tuán)隊超負(fù)荷工作。數(shù)據(jù)分析團(tuán)隊的痛點如圖2所示,主要有以下5點:
重復(fù)數(shù)據(jù)需求。這是很多數(shù)據(jù)分析團(tuán)隊最大的痛點。不同的業(yè)務(wù)團(tuán)隊提出的需求很多都是重復(fù)的,甚至80%的需求都是已經(jīng)分析過的。但是由于需求提出方不同、數(shù)據(jù)范圍不同、理解不一致,數(shù)據(jù)分析團(tuán)隊就要對這些需求重新分析一遍;而且很多需求的時間要求并不像業(yè)務(wù)團(tuán)隊在提需求時所說的那么緊迫,甚至不少數(shù)據(jù)分析的需求完成以后,其結(jié)果并沒有被使用。
數(shù)據(jù)定位難。業(yè)務(wù)團(tuán)隊只能描述對數(shù)據(jù)的需求,但是不知道對應(yīng)這些需求的數(shù)據(jù)從哪個系統(tǒng)中獲取,數(shù)據(jù)分析人員沒有參與系統(tǒng)的構(gòu)建,也不知道數(shù)據(jù)在哪兒,往往需要通過多次交叉稽核、校驗才能確認(rèn)數(shù)據(jù)來源。
數(shù)據(jù)獲取難。數(shù)據(jù)分散在不同的源系統(tǒng)中,系統(tǒng)對應(yīng)部門不一樣,數(shù)據(jù)的存儲格式、結(jié)構(gòu)標(biāo)準(zhǔn)也不一樣,導(dǎo)致獲取數(shù)據(jù)很困難。據(jù)統(tǒng)計,數(shù)據(jù)分析團(tuán)隊超過50%的時間花在了獲取數(shù)據(jù)上,而真正花在分析數(shù)據(jù)、探索價值的時間卻相對較少。
數(shù)據(jù)產(chǎn)品管理難。業(yè)務(wù)部門對數(shù)據(jù)的需求很多都是重復(fù)的,但是作為支持性部門,數(shù)據(jù)分析團(tuán)隊只能積極響應(yīng),導(dǎo)致最后開發(fā)的數(shù)據(jù)產(chǎn)品非常多,但是缺少體系化的管理。重復(fù)的、冗余的數(shù)據(jù)集和數(shù)據(jù)分析報表及視圖等都堆積在各個平臺中,越堆越多、越來越難以管理。
工具打通難。不同的數(shù)據(jù)分析人員所使用的數(shù)據(jù)分析工具不一樣,有使用傳統(tǒng)商業(yè)智能工具的,有使用Jupyter Notebook的,也有使用MATLAB的,多種數(shù)據(jù)工具分析的結(jié)果文件需要解析轉(zhuǎn)換,打通工具很困難。
數(shù)據(jù)工程團(tuán)隊的痛點
數(shù)據(jù)工程團(tuán)隊負(fù)責(zé)最終解決所有數(shù)據(jù)問題,但是大部分?jǐn)?shù)據(jù)工程團(tuán)隊都面臨多個痛點,如圖3所示:
不確定的數(shù)據(jù)源。數(shù)據(jù)工程團(tuán)隊的工作對象和生產(chǎn)要素就是數(shù)據(jù),但是目前企業(yè)的數(shù)據(jù)分散在不同的內(nèi)外部系統(tǒng)中,其中很多都是遺留系統(tǒng),缺少文檔、缺少標(biāo)準(zhǔn)、缺少對數(shù)據(jù)結(jié)構(gòu)的描述記錄。于是這些數(shù)據(jù)缺少統(tǒng)一的規(guī)劃和管理,相互不聯(lián)通,使數(shù)據(jù)用戶像進(jìn)入原始森林一樣迷茫。如何清晰地管理這些分散的、高度不確定的數(shù)據(jù)源是數(shù)據(jù)工程團(tuán)隊的一大痛點。
重復(fù)數(shù)據(jù)需求。很多數(shù)據(jù)需求從源頭開始就是重復(fù)的,企業(yè)缺少全局的數(shù)據(jù)規(guī)劃,數(shù)據(jù)工程團(tuán)隊只能以響應(yīng)業(yè)務(wù)需求為第一要務(wù),最終產(chǎn)生了一系列新的數(shù)據(jù),而已有的數(shù)據(jù)利用率較低,并且使用多套指標(biāo)體系,數(shù)據(jù)立方體相互矛盾,數(shù)據(jù)工程團(tuán)隊難以對其進(jìn)行維護(hù)和復(fù)用。
資產(chǎn)歸屬不清晰。企業(yè)的數(shù)據(jù)每天都在不斷增長,而數(shù)據(jù)資產(chǎn)的管理體系跟不上,導(dǎo)致數(shù)據(jù)資產(chǎn)的歸屬不明確,數(shù)據(jù)工程團(tuán)隊在開發(fā)和維護(hù)數(shù)據(jù)資產(chǎn)的時候缺少標(biāo)準(zhǔn)。哪些數(shù)據(jù)應(yīng)該從哪個部門去獲取,哪個部門擁有對這些數(shù)據(jù)的審核、修改的權(quán)限,這些問題經(jīng)常導(dǎo)致數(shù)據(jù)工程團(tuán)隊要花大量的時間去盤點和溝通。
監(jiān)控運維困難。數(shù)據(jù)的問題一旦出現(xiàn),就很難被定位和修復(fù)。一個不準(zhǔn)確的數(shù)據(jù),其背后可能是十幾年企業(yè)業(yè)務(wù)邏輯的變化,“數(shù)據(jù)血緣”難以梳理,數(shù)據(jù)工程團(tuán)隊缺少文檔和知識的積累,對數(shù)據(jù)的運維非常困難。
新技術(shù)鴻溝。數(shù)據(jù)技術(shù)日新月異,各種工具層出不窮。對數(shù)據(jù)工程團(tuán)隊來說,使用數(shù)據(jù)處理技術(shù)和工具是需要很高的學(xué)習(xí)成本的。不同的數(shù)據(jù)工程師,對數(shù)據(jù)處理技術(shù)和工具的選擇往往都不一樣,加工處理的過程和結(jié)果也就很難共享。建立一套經(jīng)過驗證的、適合企業(yè)數(shù)據(jù)架構(gòu)和特點的、標(biāo)準(zhǔn)化的數(shù)據(jù)技術(shù)體系,并提供給數(shù)據(jù)工程團(tuán)隊使用,是數(shù)據(jù)工程團(tuán)隊的迫切需求。
溝通低效。數(shù)據(jù)工程團(tuán)隊負(fù)責(zé)最底層的數(shù)據(jù)工作,所有的數(shù)據(jù)需求最終都要由數(shù)據(jù)工程團(tuán)隊來實現(xiàn),所以數(shù)據(jù)工程團(tuán)隊每天需要面對大量的需求提報、問題溝通。但是目前很多企業(yè)缺少有效的溝通工具,導(dǎo)致數(shù)據(jù)工程師們將大量的時間花在低效的溝通上,甚至可能出現(xiàn)雞同鴨講的情況,雙方講了半天,結(jié)果并不是在討論同一個問題,或者并不是在同一個數(shù)據(jù)集的基礎(chǔ)上進(jìn)行溝通。
數(shù)據(jù)團(tuán)隊能力全景圖
數(shù)據(jù)驅(qū)動的企業(yè)需要什么樣的數(shù)據(jù)能力?需要構(gòu)建什么樣的數(shù)據(jù)團(tuán)隊來打造這樣的能力?精益數(shù)據(jù)方法總結(jié)了典型的數(shù)據(jù)團(tuán)隊能力全景圖,如圖4所示:
數(shù)據(jù)戰(zhàn)略能力
首先是要有數(shù)據(jù)戰(zhàn)略能力,數(shù)據(jù)團(tuán)隊能夠根據(jù)企業(yè)的業(yè)務(wù)愿景和目標(biāo),結(jié)合企業(yè)的發(fā)展階段、業(yè)務(wù)技術(shù)現(xiàn)狀,制定出適合企業(yè)發(fā)展的數(shù)據(jù)戰(zhàn)略規(guī)劃,打造業(yè)務(wù)場景藍(lán)圖、數(shù)據(jù)資產(chǎn)藍(lán)圖和數(shù)字化技術(shù)藍(lán)圖,并且梳理出轉(zhuǎn)型路線。
企業(yè)的數(shù)據(jù)戰(zhàn)略能力主要由五大部分構(gòu)成:第一是業(yè)務(wù)戰(zhàn)略的解碼能力,數(shù)據(jù)戰(zhàn)略必須服務(wù)于企業(yè)的業(yè)務(wù)戰(zhàn)略,所以數(shù)據(jù)團(tuán)隊的首要能力是能夠理解和解讀業(yè)務(wù)戰(zhàn)略,然后制定與業(yè)務(wù)戰(zhàn)略對齊的數(shù)據(jù)戰(zhàn)略。第二是數(shù)據(jù)資產(chǎn)的管理能力,包括數(shù)據(jù)資產(chǎn)規(guī)劃、數(shù)據(jù)生態(tài)的構(gòu)建、數(shù)據(jù)治理體系等。第三是業(yè)務(wù)價值場景的探索、挖掘和識別能力,能夠描繪出讓數(shù)據(jù)發(fā)揮價值的業(yè)務(wù)場景藍(lán)圖。第四是數(shù)據(jù)架構(gòu)能力,選擇適合企業(yè)的技術(shù)棧和工具體系,搭建企業(yè)的數(shù)據(jù)技術(shù)架構(gòu)。第五是組織文化建設(shè)能力,打造企業(yè)的數(shù)據(jù)人才培養(yǎng)體系、能力模型以及數(shù)據(jù)驅(qū)動的企業(yè)文化。
數(shù)據(jù)運營能力
在數(shù)字化的企業(yè)中,所有的業(yè)務(wù)和產(chǎn)品都會以數(shù)據(jù)的形式存在,并且會產(chǎn)生新的能返回企業(yè)的數(shù)據(jù)。數(shù)據(jù)驅(qū)動的企業(yè)要擁有卓越的數(shù)據(jù)運營能力,能對業(yè)務(wù)數(shù)據(jù)進(jìn)行分析挖掘,并且基于數(shù)據(jù)制定和優(yōu)化運營策略,采取業(yè)務(wù)動作,提升企業(yè)的敏捷性。
數(shù)據(jù)運營和運維是兩個概念,運營是讓業(yè)務(wù)獲得增長,運維是讓系統(tǒng)穩(wěn)定、不出故障。數(shù)據(jù)運營是指通過數(shù)據(jù)來讓產(chǎn)品和服務(wù)持續(xù)地產(chǎn)生價值,并不斷優(yōu)化產(chǎn)品和服務(wù)的能力,包括用戶運營、產(chǎn)品運營、渠道運營、活動運營、內(nèi)容運營等。數(shù)據(jù)運營不僅服務(wù)于營銷,還支持客戶服務(wù),有利于提升客戶滿意度等。
產(chǎn)品設(shè)計能力
從項目制到產(chǎn)品制的轉(zhuǎn)變體現(xiàn)了一個企業(yè)的敏捷程度。能否深度洞察市場和用戶的需求,設(shè)計出用戶需要的產(chǎn)品,不斷地優(yōu)化迭代,提升用戶體驗,是企業(yè)數(shù)據(jù)資產(chǎn)對外呈現(xiàn)價值的核心能力。數(shù)據(jù)團(tuán)隊要有數(shù)據(jù)產(chǎn)品經(jīng)理、產(chǎn)品設(shè)計人員,他們往往具有很強的市場和用戶意識,能夠打造出有競爭力、能產(chǎn)生業(yè)務(wù)價值的數(shù)據(jù)產(chǎn)品,而不是一個僅能提供數(shù)據(jù)資源的產(chǎn)品。
數(shù)據(jù)分析能力
數(shù)據(jù)分析能力是利用統(tǒng)計分析、人工智能等技術(shù)和工具對數(shù)據(jù)進(jìn)行分析,提取有用信息,幫助業(yè)務(wù)洞察,形成可靠結(jié)論的能力。數(shù)據(jù)分析包括描述性分析、探索性分析、驗證性分析、預(yù)測性分析等多種形式。企業(yè)需要構(gòu)建強大的數(shù)據(jù)分析能力,來實現(xiàn)看現(xiàn)狀、看根因、看風(fēng)險、看未來的“四看”效果。
數(shù)據(jù)科學(xué)能力
數(shù)據(jù)科學(xué)能力特指利用人工智能技術(shù)對數(shù)據(jù)進(jìn)行挖掘、建模,最終輸出算法模型的能力。數(shù)據(jù)分析更多處理結(jié)構(gòu)化數(shù)據(jù),而數(shù)據(jù)科學(xué)面向的數(shù)據(jù)范圍更加寬泛,通常與多種類型的數(shù)據(jù),且大部分是與非結(jié)構(gòu)化數(shù)據(jù)打交道。在數(shù)字化時代,企業(yè)要重點建設(shè)以人工智能技術(shù)為核心的數(shù)據(jù)科學(xué)能力。
數(shù)據(jù)工程能力
數(shù)據(jù)工程能力包括兩類,一類是處理數(shù)據(jù)的能力,另一類是構(gòu)建數(shù)據(jù)平臺和工具的能力。前者主要處理關(guān)系型數(shù)據(jù),構(gòu)建數(shù)據(jù)處理鏈、數(shù)據(jù)立方體等數(shù)據(jù)生產(chǎn)工作,后者主要利用軟件工程技術(shù)來構(gòu)建大數(shù)據(jù)平臺,實現(xiàn)DataOps;前者需要對數(shù)據(jù)模型、SQL語言等非常熟悉,而后者需要對處理數(shù)據(jù)的技術(shù)和工具非常熟悉。
軟件工程能力
軟件工程能力是當(dāng)今數(shù)據(jù)工程師的基礎(chǔ)能力。過去的數(shù)據(jù)從業(yè)人員以熟練使用SQL為主要工作技能。而現(xiàn)在,隨著非關(guān)系型數(shù)據(jù)庫、流計算、實時計算、消息隊列等多種數(shù)據(jù)工具和技術(shù)的發(fā)展,軟件工程能力成為數(shù)據(jù)工程師的基本技能。
企業(yè)數(shù)據(jù)團(tuán)隊全景圖
數(shù)據(jù)團(tuán)隊的能力是由不同的崗位構(gòu)成的,企業(yè)典型的數(shù)據(jù)崗位可以用圖5所示的全景圖來描述。
按照生產(chǎn)資料、產(chǎn)出物的不同,可以將數(shù)據(jù)崗位分成兩類。一類是數(shù)據(jù)工程,側(cè)重對數(shù)據(jù)的開發(fā)和利用,最終的產(chǎn)出物也以數(shù)據(jù)為主。另一類是軟件工程,側(cè)重以生產(chǎn)數(shù)據(jù)為目標(biāo)的軟件開發(fā),主要工作是軟件編程,產(chǎn)出物以架構(gòu)和代碼為主。從圖5可以看出,企業(yè)數(shù)據(jù)崗位從上往下貫穿了戰(zhàn)略層和執(zhí)行層,越偏向執(zhí)行層,企業(yè)的數(shù)據(jù)崗位需求越多,崗位人員也越多。
首席數(shù)據(jù)官
Gartner在2015年就預(yù)測,在2017年全球?qū)⒂?0%的公司設(shè)置首席數(shù)據(jù)官的崗位。到2024年的今天,國內(nèi)很多企業(yè)已經(jīng)開始設(shè)置首席數(shù)據(jù)官了,這充分說明了國內(nèi)外企業(yè)對數(shù)據(jù)的重視。
首席數(shù)據(jù)官管理企業(yè)所有數(shù)據(jù)相關(guān)的工作,從而使企業(yè)從數(shù)據(jù)中獲得最大的業(yè)務(wù)價值和競爭力。簡而言之,首席數(shù)據(jù)官就是從數(shù)據(jù)中創(chuàng)造業(yè)務(wù)價值的高級管理人員。
不同于傳統(tǒng)的技術(shù)管理者,首席數(shù)據(jù)官首先是一個業(yè)務(wù)負(fù)責(zé)人,需要對數(shù)據(jù)產(chǎn)品產(chǎn)生的業(yè)務(wù)價值負(fù)責(zé)。數(shù)據(jù)的管理、團(tuán)隊的設(shè)置、人員的培養(yǎng)、技術(shù)平臺和應(yīng)用的構(gòu)建等其他工作內(nèi)容都服務(wù)于這個核心目標(biāo)。
數(shù)據(jù)架構(gòu)師
數(shù)據(jù)架構(gòu)師是確認(rèn)和評估企業(yè)對于數(shù)據(jù)生產(chǎn)和利用的需求,給出開發(fā)規(guī)范,搭建系統(tǒng)的核心構(gòu)架,并澄清技術(shù)細(xì)節(jié)、掃清主要難點的資深技術(shù)人員。數(shù)據(jù)架構(gòu)師是企業(yè)數(shù)據(jù)能力構(gòu)建的中堅力量,是根據(jù)目標(biāo)和需求設(shè)計數(shù)據(jù)系統(tǒng)的頂層架構(gòu),并且對技術(shù)方向和選型起到?jīng)Q定性作用的角色。
數(shù)據(jù)科學(xué)家
數(shù)據(jù)科學(xué)家是利用業(yè)務(wù)、技術(shù)和數(shù)據(jù)來幫助業(yè)務(wù)部門解決復(fù)雜問題的專家。數(shù)據(jù)科學(xué)家是一個綜合性非常強的角色,既需要具備非常強的業(yè)務(wù)理解、數(shù)據(jù)分析、技術(shù)實踐能力,又需要有很深的研究背景和工作資歷。數(shù)據(jù)科學(xué)家是數(shù)據(jù)團(tuán)隊的技術(shù)領(lǐng)袖。
數(shù)據(jù)科學(xué)家是一個技能交叉的綜合性崗位,需要同時具備業(yè)務(wù)領(lǐng)域、軟件和數(shù)據(jù)、數(shù)學(xué)和統(tǒng)計的綜合技能。
數(shù)據(jù)產(chǎn)品經(jīng)理
數(shù)據(jù)產(chǎn)品經(jīng)理是充分利用數(shù)據(jù)來解決某一類問題,或者為某一類用戶提供服務(wù)的產(chǎn)品負(fù)責(zé)人。從能力模型上講,數(shù)據(jù)產(chǎn)品經(jīng)理具有數(shù)據(jù)認(rèn)知、數(shù)據(jù)分析能力。這個角色在傳統(tǒng)數(shù)據(jù)團(tuán)隊中非常缺少、需要快速補充。數(shù)據(jù)產(chǎn)品經(jīng)理要有非常強的同理心和敏銳的用戶洞察力,從而能夠從數(shù)據(jù)中發(fā)現(xiàn)用戶的痛點、需求,再利用數(shù)據(jù)去設(shè)計并開發(fā)對用戶有價值的產(chǎn)品。
數(shù)據(jù)業(yè)務(wù)分析師
在數(shù)據(jù)團(tuán)隊必不可少懂?dāng)?shù)據(jù)的業(yè)務(wù)分析師,也就是數(shù)據(jù)業(yè)務(wù)分析師,簡單來說,就是具備數(shù)據(jù)素養(yǎng)和技能的業(yè)務(wù)分析師。
數(shù)據(jù)運營工程師
數(shù)據(jù)運營工程師負(fù)責(zé)在數(shù)據(jù)平臺和數(shù)據(jù)產(chǎn)品上線后利用數(shù)據(jù)洞察業(yè)務(wù)的狀況,制定對應(yīng)的用戶運營、產(chǎn)品運營、內(nèi)容運營的策略,采取相應(yīng)的行動讓業(yè)務(wù)達(dá)成既定目標(biāo)。
數(shù)據(jù)庫工程師
數(shù)據(jù)庫工程師特指對關(guān)系型數(shù)據(jù)庫進(jìn)行管理、維護(hù)和開發(fā)的工程師,類似于數(shù)據(jù)庫管理員,數(shù)據(jù)庫工程師的主要技能是掌握SQL語言和主流數(shù)據(jù)庫軟件工具。
數(shù)據(jù)分析師
數(shù)據(jù)分析師可以將原始數(shù)據(jù)通過處理和分析轉(zhuǎn)化為輔助業(yè)務(wù)決策的信息或產(chǎn)品。
數(shù)據(jù)平臺工程師
數(shù)據(jù)平臺工程師是指構(gòu)建數(shù)據(jù)工具和平臺的軟件工程師。和數(shù)據(jù)工程師不同在于,數(shù)據(jù)平臺工程師的工作輸出物是數(shù)據(jù)平臺本身,所以技能上更偏構(gòu)建,主要的工作是實現(xiàn)數(shù)據(jù)平臺或工具,提供數(shù)據(jù)處理功能或生產(chǎn)數(shù)據(jù)產(chǎn)品。
數(shù)據(jù)可視化工程師
數(shù)據(jù)可視化工程師是近年來數(shù)據(jù)崗位細(xì)分產(chǎn)生的一個方向。數(shù)據(jù)可視化工程師會根據(jù)業(yè)務(wù)的需要,將數(shù)據(jù)分析的結(jié)果以可視化的方式設(shè)計并實現(xiàn)出來,是一個綜合性的角色,最終目標(biāo)是利用數(shù)據(jù)講好業(yè)務(wù)故事。數(shù)據(jù)可視化工程師需要關(guān)注儀表盤、報表的可擴(kuò)展性、美觀性和功能性,需要具備一定的設(shè)計、數(shù)據(jù)工程、軟件工程能力,以及精通各種行業(yè)工具。
DataOps工程師
DataOps工程師和傳統(tǒng)的運維工程師不一樣。DataOps工程師的核心工作是從企業(yè)整體的角度出發(fā),設(shè)計、開發(fā)和維護(hù)數(shù)據(jù)管道,從而更有效地支持企業(yè)的數(shù)據(jù)開發(fā)和生產(chǎn)。
機器學(xué)習(xí)工程師
機器學(xué)習(xí)工程師是最近幾年機器學(xué)習(xí)技術(shù)逐漸成熟后出現(xiàn)的新崗位,機器學(xué)習(xí)工程師首先確定要解決的問題,然后對數(shù)據(jù)進(jìn)行探索,利用機器學(xué)習(xí)算法訓(xùn)練數(shù)據(jù),生成算法模型,解決業(yè)務(wù)問題。
數(shù)據(jù)測試工程師
數(shù)據(jù)測試工程師又稱數(shù)據(jù)質(zhì)量分析工程師。該角色會執(zhí)行數(shù)據(jù)測試,與數(shù)據(jù)庫開發(fā)人員合作,優(yōu)化數(shù)據(jù)收集和存儲過程,并準(zhǔn)備數(shù)據(jù)測試報告,提高數(shù)據(jù)的準(zhǔn)確性和完整性,提升數(shù)據(jù)產(chǎn)品質(zhì)量。
綜上來看,數(shù)據(jù)協(xié)同拉通是企業(yè)數(shù)字化和智能化進(jìn)程中的基石,它不僅僅需要過硬的技術(shù)和平臺支持,更需要深入識別和解決團(tuán)隊問題。企業(yè)的數(shù)據(jù)、業(yè)務(wù)、技術(shù)團(tuán)隊要實現(xiàn)深度拉通,通過打造一個深度融合、統(tǒng)一思路、全面協(xié)同和技術(shù)高效的數(shù)據(jù)團(tuán)隊,企業(yè)才能把數(shù)據(jù)作為生產(chǎn)資料和新質(zhì)生產(chǎn)力的突破力量最大化。
(作者系中國特色數(shù)字化轉(zhuǎn)型方法論創(chuàng)始人。暢銷書《精益數(shù)據(jù)方法論——數(shù)據(jù)驅(qū)動的數(shù)字化轉(zhuǎn)型》唯一作者,中國計算機學(xué)會數(shù)字化轉(zhuǎn)型與企業(yè)架構(gòu)SIG主席、數(shù)字產(chǎn)業(yè)創(chuàng)新研究中心副主席、公眾號“凱哥講數(shù)字化”作者,為企業(yè)提供數(shù)字化轉(zhuǎn)型咨詢培訓(xùn)輔導(dǎo)教練服務(wù)。)