基于數(shù)據(jù)中臺(tái)架構(gòu)的數(shù)據(jù)管理研究

關(guān)鍵詞：數(shù)據(jù)中臺(tái)架構(gòu);數(shù)據(jù)管理;工業(yè)互聯(lián)網(wǎng)

中圖法分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

1引言

在工業(yè)互聯(lián)網(wǎng)時(shí)代，企業(yè)數(shù)字化轉(zhuǎn)型將成為一種趨勢。數(shù)字轉(zhuǎn)型本質(zhì)上是通過運(yùn)用信息技術(shù)推動(dòng)產(chǎn)業(yè)進(jìn)行轉(zhuǎn)型。企業(yè)的數(shù)字化轉(zhuǎn)型不是孤立環(huán)節(jié)，而是整個(gè)社會(huì)數(shù)字化轉(zhuǎn)型中非常重要的部分。如何最大化數(shù)據(jù)的價(jià)值，以指導(dǎo)業(yè)務(wù)決策并刺激業(yè)務(wù)增長是企業(yè)推動(dòng)數(shù)字化轉(zhuǎn)型的關(guān)鍵挑戰(zhàn)。數(shù)據(jù)中心的重點(diǎn)是收集商業(yè)數(shù)據(jù)商品、數(shù)據(jù)開發(fā)和建模、數(shù)據(jù)服務(wù)功能的生產(chǎn)和企業(yè)的完全自主，是數(shù)字轉(zhuǎn)換技術(shù)的核心。

2建設(shè)數(shù)據(jù)中臺(tái)架構(gòu)的意義

（1）大數(shù)據(jù)改變了企業(yè)的管理方式

由于大數(shù)據(jù)具有很強(qiáng)的包容性，因此各個(gè)單位與企業(yè)之間的界限是非常模糊的，這也解決了信息孤島問題，讓數(shù)據(jù)共享成為可能，以此讓協(xié)作工作和業(yè)務(wù)工作的效率和自主性得到提高。隨著大數(shù)據(jù)技術(shù)水平的提升，在公共服務(wù)管理的過程中，能夠有效減少投資、有效監(jiān)管企業(yè)、有效提升決策能力，并提升公共服務(wù)能力，從而實(shí)現(xiàn)智慧化管理。

（2）大數(shù)據(jù)可以用來整合信息

對(duì)企業(yè)收集的信息進(jìn)行共享和比較，能夠發(fā)現(xiàn)其中存在的監(jiān)管漏洞，有效提升對(duì)問題的識(shí)別和預(yù)警能力，達(dá)到增加企業(yè)利潤、提高質(zhì)量的目的。建設(shè)數(shù)據(jù)中臺(tái)架構(gòu)，收集、整理和分析數(shù)據(jù)，運(yùn)用云計(jì)算技術(shù)實(shí)現(xiàn)對(duì)資源的集成管理，可以對(duì)資源進(jìn)行有效利用。而提高設(shè)備的使用效率和資源配置的服務(wù)效率，可以防止進(jìn)行重復(fù)建設(shè)，從而有效地減少維護(hù)成本。隨著大數(shù)據(jù)技術(shù)的應(yīng)用，能夠極大地提升決策效率，讓決策過程更加科學(xué)和準(zhǔn)確，提升其可預(yù)測性、快速預(yù)警以及應(yīng)急響應(yīng)的能力，降低決策成本。

（3）數(shù)據(jù)中臺(tái)架構(gòu)是構(gòu)建和應(yīng)用大型業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)平臺(tái)

通過對(duì)數(shù)據(jù)中臺(tái)的建設(shè)，大型企業(yè)數(shù)據(jù)應(yīng)用項(xiàng)目能夠在總體框架內(nèi)進(jìn)行統(tǒng)一;通過更高層次的集成和聯(lián)合建設(shè)，可以形成更加集中、有序以及共享的數(shù)據(jù)，從而能夠?qū)ΜF(xiàn)有的信息資源進(jìn)行有效整合。打破信息孤島之后，可以讓行業(yè)和部門之間的信息進(jìn)行有效共享，進(jìn)而有效提升協(xié)作效率以及服務(wù)水平。

數(shù)據(jù)中臺(tái)架構(gòu)需要包含數(shù)據(jù)技術(shù)能力。數(shù)據(jù)中心能夠進(jìn)行收集、處理和應(yīng)用相應(yīng)的數(shù)據(jù)，對(duì)于多種技術(shù)進(jìn)行集成。然而，數(shù)據(jù)中臺(tái)架構(gòu)不只是進(jìn)行數(shù)據(jù)收集，應(yīng)該讓處理后的數(shù)據(jù)不再像網(wǎng)絡(luò)一樣耀眼。其主要內(nèi)容是從各種業(yè)務(wù)線和業(yè)務(wù)領(lǐng)域的海量數(shù)據(jù)中進(jìn)行提取，并將它們按照邏輯組合到特定的業(yè)務(wù)中。此外，應(yīng)該恢復(fù)業(yè)務(wù)運(yùn)營、生產(chǎn)、管理全連接下各對(duì)象的行為樹，使其能夠靈活、快速地?cái)U(kuò)展使用。同時(shí)，數(shù)據(jù)中臺(tái)架構(gòu)需要讓企業(yè)的職能活動(dòng)能夠?qū)ν惶椎募夹g(shù)和數(shù)據(jù)產(chǎn)品進(jìn)行共享。通過業(yè)務(wù)系統(tǒng)，可以為業(yè)務(wù)提供強(qiáng)大的算法、數(shù)據(jù)和技術(shù)支持。而數(shù)據(jù)則來自企業(yè)并為企業(yè)提供服務(wù)，形成周期循環(huán)。

3 數(shù)據(jù)中臺(tái)架構(gòu)的建設(shè)

3.1數(shù)據(jù)規(guī)劃

數(shù)據(jù)中臺(tái)架構(gòu)屬于綜合性的數(shù)據(jù)中心，其主要任務(wù)是讓企業(yè)對(duì)數(shù)據(jù)進(jìn)行集成以及提取，并對(duì)相應(yīng)的數(shù)據(jù)和技術(shù)進(jìn)行共享，以更好地挖掘數(shù)據(jù)的附加值，進(jìn)而結(jié)合產(chǎn)品的能力以及算法進(jìn)行業(yè)務(wù)反饋。換句話說，數(shù)據(jù)來自業(yè)務(wù)并提供相應(yīng)的服務(wù)，業(yè)務(wù)則周期性地包含更多的能量，據(jù)此形成數(shù)據(jù)生態(tài)并迸發(fā)無限的可能性。數(shù)據(jù)應(yīng)用程序是使用數(shù)據(jù)中心中的數(shù)據(jù)創(chuàng)建自己的數(shù)據(jù)值。采用大數(shù)據(jù)處理技術(shù)，可以為整個(gè)平臺(tái)提供實(shí)時(shí)的信息服務(wù)，查明工作中存在的不足，并自動(dòng)反饋給各部門，成為人工智能大腦，在業(yè)務(wù)系統(tǒng)的配合下進(jìn)行自動(dòng)控制。數(shù)據(jù)中臺(tái)建設(shè)主要包含以下情況。

第一，數(shù)據(jù)中心體系結(jié)構(gòu)設(shè)計(jì)。其為數(shù)據(jù)共享服務(wù)設(shè)計(jì)了一個(gè)整體架構(gòu)，重點(diǎn)關(guān)注“如何使分析場景成為現(xiàn)實(shí)”。系統(tǒng)分析和盤點(diǎn)各種數(shù)據(jù)源、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)使用、數(shù)據(jù)質(zhì)量、數(shù)據(jù)共享以及公司資產(chǎn)建設(shè)和管理的現(xiàn)狀，包括但不限于公司的其他方面。規(guī)劃公司數(shù)據(jù)共享服務(wù)的架構(gòu)項(xiàng)目，可以設(shè)計(jì)主數(shù)據(jù)中心、全球數(shù)據(jù)中心、提取數(shù)據(jù)中心、綜合數(shù)據(jù)服務(wù)層和數(shù)據(jù)資產(chǎn)管理系統(tǒng)?；诠緮?shù)據(jù)共享服務(wù)的項(xiàng)目架構(gòu)，可以結(jié)合可用性、可預(yù)測性、可擴(kuò)展性和合理投資的原則設(shè)計(jì)基礎(chǔ)架構(gòu)，以支持產(chǎn)品選擇。

第二，對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)規(guī)劃。需要結(jié)合企業(yè)現(xiàn)有的數(shù)據(jù)現(xiàn)狀、業(yè)務(wù)流程以及數(shù)據(jù)應(yīng)用需求，制定相應(yīng)的數(shù)據(jù)共享服務(wù)，如業(yè)務(wù)板塊的規(guī)劃、數(shù)據(jù)域以及業(yè)務(wù)空間等。

第三，定義數(shù)據(jù)規(guī)范。其代表公司相關(guān)數(shù)據(jù)的定義，如數(shù)據(jù)大小、業(yè)務(wù)流程、原子度量、業(yè)務(wù)限制等。

第四，R+D數(shù)據(jù)建模。數(shù)據(jù)存儲(chǔ)規(guī)劃、數(shù)據(jù)的標(biāo)準(zhǔn)化定義、基于現(xiàn)有業(yè)務(wù)流程和數(shù)據(jù)的模型物理設(shè)計(jì)、模型的邏輯設(shè)計(jì)和數(shù)據(jù)輸入策略（清理、結(jié)構(gòu)化和更新）、準(zhǔn)時(shí)性等。

第五，對(duì)數(shù)據(jù)進(jìn)行導(dǎo)入。為了整合多個(gè)來源數(shù)據(jù)，可以根據(jù)不同渠道的特點(diǎn)和分析需求，制定不同的同步策略和數(shù)據(jù)分析的規(guī)則，并對(duì)項(xiàng)目數(shù)據(jù)集成策略及其內(nèi)容進(jìn)行邏輯更新，實(shí)現(xiàn)數(shù)據(jù)周期的自動(dòng)同步。

第六，綜合方案。以模型設(shè)計(jì)為基礎(chǔ)，進(jìn)行數(shù)據(jù)標(biāo)識(shí)，從而完善數(shù)據(jù)生產(chǎn)環(huán)節(jié)，組織周期性任務(wù)，進(jìn)而做好數(shù)據(jù)中心的建設(shè)。通過標(biāo)準(zhǔn)化定義、智能化的數(shù)據(jù)建模、研發(fā)數(shù)據(jù)、數(shù)據(jù)連接提取和綜合調(diào)度，形成相應(yīng)的數(shù)據(jù)管理系統(tǒng)。

3.2項(xiàng)目設(shè)計(jì)方案

數(shù)據(jù)中心不僅專注于內(nèi)部共享，還開放給社會(huì)公司和成員單位以及整合大型行業(yè)的數(shù)據(jù)和應(yīng)用程序。隨著數(shù)據(jù)不斷增多，共享變得越來越普遍，數(shù)據(jù)安全和隱私變得越來越重要。數(shù)據(jù)中心由五個(gè)主要功能組成：存儲(chǔ)和處理、數(shù)據(jù)平臺(tái)、數(shù)據(jù)治理（數(shù)據(jù)資產(chǎn)管理）、數(shù)據(jù)操作和數(shù)據(jù)應(yīng)用。數(shù)據(jù)中心設(shè)計(jì)數(shù)據(jù)的采集、處理、分析以及服務(wù)的全過程功能，形成了多種采集方式和一套基于元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)以及數(shù)據(jù)資產(chǎn)管理的管理體系。此外，企業(yè)的共享數(shù)據(jù)中心可以劃分成垂直數(shù)據(jù)中心、公共數(shù)據(jù)中心、數(shù)據(jù)提取的中心。

第一，垂直數(shù)據(jù)中心。企業(yè)垂直數(shù)據(jù)中心由垂直數(shù)據(jù)存儲(chǔ)中心組成，垂直數(shù)據(jù)存儲(chǔ)中心根據(jù)不同的業(yè)務(wù)分類執(zhí)行不同的業(yè)務(wù)功能。垂直數(shù)據(jù)中心為公司收集業(yè)務(wù)數(shù)據(jù)和管理數(shù)據(jù)，包括來自各個(gè)業(yè)務(wù)子系統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

第二，公共數(shù)據(jù)中心。公共數(shù)據(jù)中心是比較抽象的概念，其主要集成、分類和分析信息系統(tǒng)中的數(shù)據(jù)。每個(gè)主題都需要對(duì)應(yīng)相應(yīng)的領(lǐng)域，在分析數(shù)據(jù)后，可以進(jìn)行完整和一致的描述，從而描述每個(gè)分析目標(biāo)中包含的多個(gè)數(shù)據(jù)和數(shù)據(jù)關(guān)系。

第三，數(shù)據(jù)中心的提取。構(gòu)建一個(gè)健全的數(shù)據(jù)中心，用于使用/自然業(yè)務(wù)對(duì)象提取公司數(shù)據(jù)，并以提取標(biāo)簽為結(jié)構(gòu)，形成用戶、建筑和財(cái)務(wù)等自然對(duì)象數(shù)據(jù)系統(tǒng)。數(shù)據(jù)系統(tǒng)由多維數(shù)據(jù)指標(biāo)和基本數(shù)據(jù)標(biāo)簽、統(tǒng)計(jì)數(shù)據(jù)標(biāo)簽和算法數(shù)據(jù)標(biāo)簽組成。

3.3數(shù)據(jù)中臺(tái)功能設(shè)計(jì)

在企業(yè)發(fā)展的階段，數(shù)據(jù)研發(fā)模型與企業(yè)的業(yè)務(wù)之間是緊密相連的。此外，數(shù)據(jù)系統(tǒng)也是結(jié)合企業(yè)的數(shù)據(jù)單元進(jìn)行的縱向建立。而每個(gè)垂直業(yè)務(wù)都會(huì)帶來與之類似的其他數(shù)據(jù)系統(tǒng)。同時(shí)，隨著業(yè)務(wù)的不斷發(fā)展，數(shù)據(jù)規(guī)模迅速擴(kuò)大，垂直業(yè)務(wù)單元數(shù)量也會(huì)不斷增加。雖然是一個(gè)垂直單位，但所有領(lǐng)域的所有數(shù)據(jù)類型（品種）都可以具有核心競爭力。

垂直單元之間的數(shù)據(jù)組織反過來會(huì)導(dǎo)致數(shù)據(jù)調(diào)用和復(fù)制的混亂，加之重復(fù)建設(shè)造成的資源浪費(fèi)、數(shù)據(jù)度量定義不同造成的歧義、數(shù)據(jù)使用門檻的提高等問題在企業(yè)發(fā)展的過程中日益突出，亟待解決。

數(shù)據(jù)開發(fā)和管理平臺(tái)是未來業(yè)務(wù)的必要平臺(tái)，該平臺(tái)涵蓋離線計(jì)算和實(shí)時(shí)應(yīng)用，以滿足開發(fā)者在數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)提取方面的需求。數(shù)據(jù)質(zhì)量和數(shù)據(jù)應(yīng)用程序（如地圖、數(shù)據(jù)模型和數(shù)據(jù)API）可以提高開發(fā)人員的生產(chǎn)效率，提高業(yè)務(wù)數(shù)據(jù)開發(fā)的效率，并有效簡化數(shù)據(jù)的提取過程。

第一，對(duì)數(shù)據(jù)進(jìn)行計(jì)算和存儲(chǔ)。整個(gè)平臺(tái)底層通過運(yùn)用流行的Hadoop分布式平臺(tái)，spark計(jì)算引擎可以進(jìn)行離線計(jì)算，F(xiàn)link引擎則主要是進(jìn)行實(shí)時(shí)計(jì)算。該系統(tǒng)主要以分布式的體系結(jié)構(gòu)為基礎(chǔ)，可以水平擴(kuò)展。隨著數(shù)據(jù)量不斷增加，通過使用添加的方式，能夠有效地解決計(jì)算性能中存在的問題，滿足各種場景的數(shù)據(jù)需求，從而支持SQL、Java、Python等接口，進(jìn)而滿足不同的需求。存儲(chǔ)系統(tǒng)架構(gòu)主要以分布式HDFS文件系統(tǒng)為基礎(chǔ)，能夠?yàn)閿?shù)據(jù)分配計(jì)算能力提供支持。計(jì)算集群可以基于硬件異構(gòu)體進(jìn)行配置，并且可以根據(jù)性能要求輕松地進(jìn)行更改。

第二，離線數(shù)據(jù)的開發(fā)和管理。首先，數(shù)據(jù)集成。數(shù)據(jù)集成模塊是不同存儲(chǔ)設(shè)備之間數(shù)據(jù)交換的通道，其能夠更好地支持常用數(shù)據(jù)庫的集成和共享。數(shù)據(jù)集成支持分布式系統(tǒng)的結(jié)構(gòu)，支持同步閾值檢查等;其次，數(shù)據(jù)開發(fā)。數(shù)據(jù)開發(fā)是完成計(jì)算機(jī)清理、統(tǒng)計(jì)或數(shù)據(jù)提取邏輯的統(tǒng)一過程。而在編程周期方面，其支持按天、周、月、時(shí)、分配置多個(gè)編程周期的各種任務(wù)。同時(shí)，需要記錄每個(gè)版本的修改歷史，以便比較不同版本的代碼/參數(shù);最后，管理服務(wù)中心。當(dāng)進(jìn)行實(shí)時(shí)數(shù)據(jù)采集時(shí)，該系統(tǒng)還可以實(shí)時(shí)跟蹤和警告輸入和輸出數(shù)據(jù)的數(shù)量。而支持實(shí)時(shí)任務(wù)執(zhí)行控制、列出不同的任務(wù)執(zhí)行狀態(tài)，從而能夠制定相應(yīng)的警報(bào)功能，可同時(shí)設(shè)置任務(wù)啟動(dòng)、任務(wù)終止等條件，進(jìn)行短信、消息和其他方式的提醒方式，并配置相應(yīng)的警報(bào)接受者。

3.4數(shù)據(jù)應(yīng)用水平

在平臺(tái)生成數(shù)據(jù)后，需要通過相關(guān)應(yīng)用程序?yàn)橛脩籼峁?shù)據(jù)服務(wù)，從而最大程度地提高數(shù)據(jù)的價(jià)值。而企業(yè)中的相關(guān)數(shù)據(jù)或?qū)ο蠓治隹梢灾苯舆M(jìn)行數(shù)據(jù)的顯示或應(yīng)用。同時(shí)，業(yè)務(wù)數(shù)據(jù)目錄和數(shù)據(jù)處理服務(wù)等應(yīng)用程序可以把資源進(jìn)行整合，從而有效提高數(shù)據(jù)的商業(yè)價(jià)值以及大型數(shù)據(jù)中臺(tái)的計(jì)算能力。項(xiàng)目數(shù)據(jù)的應(yīng)用和技術(shù)的開發(fā)則在技術(shù)市場占據(jù)主要地位。此外，根據(jù)最終需求，Bi報(bào)告軟件用于固定的內(nèi)容分析，其可由PC和移動(dòng)終端創(chuàng)建。一些智能數(shù)據(jù)應(yīng)用程序（如存儲(chǔ)位置和公司簡介）則以定制開發(fā)的形式呈現(xiàn)。

4基于數(shù)據(jù)中臺(tái)架構(gòu)的數(shù)據(jù)管理應(yīng)用

主要數(shù)據(jù)指用于描述公司實(shí)體的數(shù)據(jù)，如組織中的事物和人員，其核心是公司數(shù)據(jù)。主要數(shù)據(jù)是不同系統(tǒng)之間交換和共享數(shù)據(jù)的關(guān)鍵。目前，一些公司已經(jīng)建立了統(tǒng)一的基礎(chǔ)數(shù)據(jù)平臺(tái)，但基礎(chǔ)數(shù)據(jù)仍由公司內(nèi)部的專門服務(wù)部門進(jìn)行維護(hù)和使用，沒有形成統(tǒng)一的公司、項(xiàng)目、業(yè)務(wù)和組織標(biāo)準(zhǔn)。不正確的主代碼則加劇了其他系統(tǒng)中工人的重復(fù)管理和低效操作現(xiàn)象。

基于統(tǒng)一的數(shù)據(jù)模型，公司基礎(chǔ)數(shù)據(jù)管理平臺(tái)設(shè)計(jì)用于識(shí)別和隔離分布在各個(gè)系統(tǒng)中的基礎(chǔ)數(shù)據(jù)，管理和維護(hù)基礎(chǔ)數(shù)據(jù)表中的各個(gè)字段，通過分布機(jī)制進(jìn)行權(quán)限認(rèn)證和共享，以滿足各業(yè)務(wù)系統(tǒng)的使用要求。同時(shí)，為了避免基礎(chǔ)數(shù)據(jù)的重復(fù)，應(yīng)整合業(yè)務(wù)基礎(chǔ)數(shù)據(jù)管理平臺(tái)的相關(guān)功能，對(duì)各業(yè)務(wù)系統(tǒng)的功能進(jìn)行改造和增強(qiáng)，并在其系統(tǒng)中維護(hù)基礎(chǔ)數(shù)據(jù)。

因此，在主要數(shù)據(jù)的基礎(chǔ)上，對(duì)原產(chǎn)地?cái)?shù)據(jù)整合的建議是：第一，建立商業(yè)模式標(biāo)準(zhǔn)。通過建立主業(yè)務(wù)數(shù)據(jù)分類框架，建立目錄索引，逐一分析和整理各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，形成數(shù)據(jù)模型的標(biāo)準(zhǔn);第二，統(tǒng)計(jì)主要數(shù)據(jù)。識(shí)別各業(yè)務(wù)系統(tǒng)的主要數(shù)據(jù)，對(duì)相關(guān)參數(shù)的屬性進(jìn)行排序，確定各數(shù)據(jù)元的來源和權(quán)限，建立基礎(chǔ)數(shù)據(jù)臺(tái)賬;第三，完善基礎(chǔ)數(shù)據(jù)平臺(tái)。及時(shí)維護(hù)和更新業(yè)務(wù)數(shù)據(jù)管理平臺(tái)，以維護(hù)高級(jí)功能并集成一系列基本服務(wù);第四，改造和更新現(xiàn)有的信息系統(tǒng)。通過對(duì)各業(yè)務(wù)系統(tǒng)相關(guān)功能的應(yīng)用和集成，可以協(xié)調(diào)原系統(tǒng)中業(yè)務(wù)活動(dòng)和事件產(chǎn)生的主要數(shù)據(jù);第五，建立數(shù)據(jù)管理機(jī)制。建立數(shù)據(jù)管理相關(guān)機(jī)制，在公司內(nèi)部搭建數(shù)據(jù)管理支撐平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)、共享、賬戶、安全、質(zhì)量的一體化管理。

5結(jié)語

業(yè)務(wù)數(shù)據(jù)管理是構(gòu)建業(yè)務(wù)數(shù)據(jù)中心體系結(jié)構(gòu)的首要任務(wù)。在分析基于數(shù)據(jù)中心組織的數(shù)據(jù)管理時(shí)，顯然首先要解決的是數(shù)據(jù)問題，以實(shí)現(xiàn)數(shù)據(jù)共享和標(biāo)準(zhǔn)化。本文從數(shù)據(jù)中臺(tái)架構(gòu)進(jìn)行建設(shè)的意義著手，探討了數(shù)據(jù)中臺(tái)架構(gòu)建設(shè)的具體思路，并提出了基于數(shù)據(jù)中臺(tái)架構(gòu)的數(shù)據(jù)管理應(yīng)用，希望可以為企業(yè)數(shù)據(jù)管理提供參考，從而提高企業(yè)在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代的競爭力。

作者簡介：

劉戈（1985—），本科，研究方向：ITSS運(yùn)維和智慧城市。