數(shù)據(jù)中臺技術在業(yè)務系統(tǒng)中的應用研究

摘? 要：隨著大數(shù)據(jù)技術的快速發(fā)展，以數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)治理等為典型特征的數(shù)據(jù)中臺技術得到發(fā)展應用。本文通過對數(shù)據(jù)中臺和數(shù)據(jù)倉庫、數(shù)據(jù)平臺的特征進行對比，闡明了數(shù)據(jù)中臺應該具備的能力和作用。結(jié)合泛在電力物聯(lián)網(wǎng)的建設，指明了數(shù)據(jù)中臺建設需關注的關鍵指標，為企業(yè)數(shù)據(jù)中臺建設提供了參考。

關鍵詞：大數(shù)據(jù);數(shù)據(jù)驅(qū)動;數(shù)據(jù)中臺;泛在電力物聯(lián)網(wǎng)

中圖分類號：TP391.7? ? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）21-0108-03

Abstract：With the rapid development of big data technology，DPaaS technology with typical characteristics such as data collection，data integration and data governance has been developed and applied. By comparing the characteristics of DPaaS，data warehouse and data platform，the capability and function of DPaaS are expounded. Combined with the construction of ubiquitous electric power internet of things，it points out the key indicators to be concerned about in the construction of DPaaS，and provides a reference for the construction of enterprise DPaaS.

Keywords：big data;data driven;DPaaS;ubiquitous electric power internet of things

0? 引? 言

伴隨著移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的迅猛發(fā)展，大數(shù)據(jù)技術逐步推廣應用，根據(jù)中國信息通信研究院發(fā)布的中國大數(shù)據(jù)發(fā)展調(diào)查報告：2017年中國大數(shù)據(jù)總體規(guī)模為4700億元人民幣，2018年大數(shù)據(jù)產(chǎn)業(yè)規(guī)模已經(jīng)突破6000億元人民幣，增長迅速，預計2019年大數(shù)據(jù)市場規(guī)模可超過7150億元人民幣。在大數(shù)據(jù)方面，國內(nèi)60%以上的企業(yè)開展了包括數(shù)據(jù)挖掘、機器學習、數(shù)據(jù)資產(chǎn)管理、智能決策等大數(shù)據(jù)技術研究與應用，企業(yè)對數(shù)據(jù)分析的重視程度進一步提高。數(shù)字化轉(zhuǎn)型成為企業(yè)發(fā)展的戰(zhàn)略需要，其中通過大數(shù)據(jù)應用實現(xiàn)智能決策的企業(yè)占比最高，達到了55.2%，其次，46.6%的企業(yè)表示應用大數(shù)據(jù)后能夠提升運營效果，35.9%的企業(yè)應用大數(shù)據(jù)后能夠更好地管理風險。近幾年，相應技術層級的企業(yè)都如雨后春筍般涌現(xiàn)。目前，數(shù)據(jù)體量、產(chǎn)業(yè)規(guī)模以及云計算高速發(fā)展所推動的基礎設施成本都已不再是問題，大數(shù)據(jù)能否創(chuàng)造真實的商業(yè)價值和回報是大數(shù)據(jù)企業(yè)真正關心的核心問題。數(shù)據(jù)時代帶來的挑戰(zhàn)不僅僅是數(shù)據(jù)量的爆發(fā)式增長，更重要的是如何管理好、治理好、利用好這些數(shù)據(jù)，顯然，傳統(tǒng)的大數(shù)據(jù)建設方法論無法滿足需求。大數(shù)據(jù)應用的意義不在于掌握了龐大的數(shù)據(jù)信息，而在于對數(shù)據(jù)的專業(yè)化處理。我們需要經(jīng)由不同渠道將數(shù)據(jù)采集進來，基于存儲技術將這些數(shù)據(jù)快速、安全、分類、有序地存儲起來，再基于計算技術對這些數(shù)據(jù)進行加工、處理，將數(shù)據(jù)轉(zhuǎn)化為有用信息[1，2]，其中，數(shù)據(jù)采集是大數(shù)據(jù)應用的基礎，而數(shù)據(jù)計算則是大數(shù)據(jù)應用的關鍵。然而，傳統(tǒng)信息化架構(gòu)存在的弊端，導致數(shù)據(jù)應用在這三個層次上均無法有效落地。

基于技術發(fā)展需求，數(shù)據(jù)中臺技術應運而生。中臺概念產(chǎn)生的核心思想是“共享”和“復用”。中臺概念與前臺和后臺相對應。前臺即面向客戶的市場、銷售和服務部門或系統(tǒng)，后臺是技術支持、研發(fā)、財務、人力資源、內(nèi)部審計等二線支撐部門或系統(tǒng)。

1? 數(shù)據(jù)中臺的概念

所謂數(shù)據(jù)中臺，可以理解為是數(shù)據(jù)界面的一種架構(gòu)，通過數(shù)據(jù)技術將數(shù)據(jù)從應用界面復制出來，然后通過數(shù)據(jù)計算、加工，進而為上層數(shù)據(jù)應用提供統(tǒng)一標準和口徑的支撐。數(shù)據(jù)中臺主要是構(gòu)建規(guī)范的、數(shù)據(jù)全域化的、智能的數(shù)據(jù)處理架構(gòu)，進而為前臺提供高效的數(shù)據(jù)分析和應用服務。數(shù)據(jù)中臺主要涵蓋了數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)模型、全域數(shù)據(jù)中心、數(shù)據(jù)服務等多個層次的體系化建設方法。

1.1? 數(shù)據(jù)中臺的作用

根據(jù)Gartner的Pace Layer來理解中間層，可以更好地理解中臺的定位和價值。在數(shù)據(jù)開發(fā)中，核心數(shù)據(jù)模型的變化是相對緩慢的，同時，對數(shù)據(jù)進行維護的工作量也非常大;但業(yè)務創(chuàng)新的速度對數(shù)據(jù)提出的需求變化是非?？焖俚?。數(shù)據(jù)中臺的出現(xiàn)，就是為了彌補數(shù)據(jù)開發(fā)和應用開發(fā)之間，由于開發(fā)速度不匹配出現(xiàn)的響應力跟不上的問題。數(shù)據(jù)中臺解決的問題可以總結(jié)為如下三點：效率問題、協(xié)作問題、能力問題。

1.2? 數(shù)據(jù)中臺和數(shù)據(jù)倉庫、數(shù)據(jù)平臺的關鍵區(qū)別

數(shù)據(jù)中臺的實質(zhì)是構(gòu)建全域數(shù)據(jù)共享的中心，提供數(shù)據(jù)采集、數(shù)據(jù)萃取、數(shù)據(jù)服務等全鏈路一體化的服務，提供面向企業(yè)業(yè)務應用的數(shù)據(jù)智能平臺;數(shù)據(jù)平臺是以存儲、運算、顯示為目的的平臺，它是以處理海量數(shù)據(jù)存儲、計算及不間斷流數(shù)據(jù)實時計算等場景為主的一套基礎設施，主要是直接為業(yè)務提供數(shù)據(jù)集服務;數(shù)據(jù)倉庫則是信息的集中存儲庫，為企業(yè)提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合，創(chuàng)建的目的主要是出于分析和決策支持，它以前端查詢和分析作為基礎，存在的問題是冗余較大，需要的存儲空間較大[3-5]。通過對比可以看出，數(shù)據(jù)中臺更加貼近具體業(yè)務，可以為業(yè)務提供更快捷的服務，企業(yè)可以在已有的數(shù)據(jù)平臺和數(shù)據(jù)倉庫之上構(gòu)建數(shù)據(jù)中臺，也可以把數(shù)據(jù)中臺看作為企業(yè)從具體數(shù)據(jù)到業(yè)務價值實現(xiàn)過程的中間層。

從圖1可以看出，數(shù)據(jù)中臺首先把企業(yè)的公開數(shù)據(jù)、內(nèi)部數(shù)據(jù)、線上數(shù)據(jù)、線下數(shù)據(jù)等所有數(shù)據(jù)都集成到一起，進而構(gòu)建為一個大的數(shù)據(jù)集。當有相關業(yè)務需求時，再通過數(shù)據(jù)抽取，以數(shù)據(jù)集的形式提供數(shù)據(jù)應用。所以，數(shù)據(jù)中臺的核心首先要做到數(shù)據(jù)高效匯集、整合、處理，進而實現(xiàn)在不同單位、不同專業(yè)間的共享及應用。

2? 數(shù)據(jù)中臺的數(shù)據(jù)能力

企業(yè)所需要具備的數(shù)據(jù)能力可以簡單概括為六種，如圖2所示。企業(yè)具備了這六種能力，才具備成為數(shù)據(jù)驅(qū)動的智能企業(yè)的基礎，而這些能力的承載平臺，就是數(shù)據(jù)中臺。

數(shù)據(jù)資產(chǎn)的獲取和存儲：數(shù)據(jù)中臺要為企業(yè)提供強大的數(shù)據(jù)資產(chǎn)的獲取和存儲的能力。

數(shù)據(jù)資產(chǎn)的規(guī)劃和治理：做中臺之前，首先需要知道業(yè)務價值是什么，從業(yè)務角度去思考企業(yè)的數(shù)據(jù)資產(chǎn)是什么。數(shù)據(jù)資產(chǎn)不等同于數(shù)據(jù)，數(shù)據(jù)資產(chǎn)是唯一的，能為業(yè)務產(chǎn)生價值的數(shù)據(jù)。對于同一堆數(shù)據(jù)，不同業(yè)務部門所關注的數(shù)據(jù)指標可能完全不同。這就需要讓各個跨域的業(yè)務有統(tǒng)一的標準，為此也就需要規(guī)劃企業(yè)的數(shù)據(jù)全景圖，將所有可能用上的、對企業(yè)可能有價值的數(shù)據(jù)都規(guī)劃出來，最終梳理出企業(yè)的數(shù)據(jù)資產(chǎn)目錄。在這個時候不需要考慮有沒有系統(tǒng)或數(shù)據(jù)，只需要關注哪些數(shù)據(jù)是對企業(yè)業(yè)務有價值的。數(shù)據(jù)的共享和協(xié)作：企業(yè)的數(shù)據(jù)中臺一定是跨域的，需要讓所有的人都知道數(shù)據(jù)資產(chǎn)目錄在哪里。不能為了保障數(shù)據(jù)安全，就不讓大家知道企業(yè)有什么數(shù)據(jù)。沒有共享和開放，數(shù)據(jù)就沒有辦法流動起來，如果沒有流動，數(shù)據(jù)的價值產(chǎn)生速度就會非常慢。所以在數(shù)據(jù)安全的基礎上，企業(yè)的數(shù)據(jù)資產(chǎn)目錄要對利益相關者、價值創(chuàng)造者開放。

業(yè)務價值的探索和分析：數(shù)據(jù)中臺不僅要建立到源數(shù)據(jù)的通路，還需要提供分析數(shù)據(jù)的工具和能力，幫助業(yè)務人員去探索和發(fā)現(xiàn)數(shù)據(jù)的業(yè)務價值。一個好的數(shù)據(jù)中臺解決方案中需要針對不同業(yè)務崗位的用戶提供個性化的數(shù)據(jù)探索和分析的工具，并且在此基礎上一鍵生成數(shù)據(jù)API，以多樣化的方式提供給前臺系統(tǒng)。

數(shù)據(jù)服務的構(gòu)建和治理：數(shù)據(jù)中臺需要保證數(shù)據(jù)服務的性能和穩(wěn)定性，以及數(shù)據(jù)質(zhì)量和準確性，還需要具備強大的服務治理能力。數(shù)據(jù)中臺是一個生態(tài)平臺，在數(shù)據(jù)中臺上面會不斷生長各種數(shù)據(jù)服務，所以從一開始就構(gòu)建好數(shù)據(jù)服務的治理結(jié)構(gòu)是非常重要的，數(shù)據(jù)服務需要可以被記錄、跟蹤、審計和監(jiān)控。

數(shù)據(jù)服務的度量和運行：如果數(shù)據(jù)中臺最終只是做到把數(shù)據(jù)給到業(yè)務人員，那它就只是一個搬運工的角色。數(shù)據(jù)中臺還需要具備度量和運營數(shù)據(jù)服務的能力，能夠?qū)χ信_上提供的數(shù)據(jù)服務及相關行為持續(xù)跟蹤和記錄，包括哪些數(shù)據(jù)服務被哪個部門用了多少次等，通過這些去度量每一個數(shù)據(jù)服務的業(yè)務價值。

3? 建設數(shù)據(jù)中臺的關鍵點

建設數(shù)據(jù)中臺的關鍵點可以簡要概括為兩方面。

一方面，數(shù)據(jù)中臺一定要與業(yè)務價值對齊。構(gòu)建數(shù)據(jù)中臺，最重要的不是技術，也不是數(shù)據(jù)質(zhì)量的高低，而是數(shù)據(jù)思維和數(shù)據(jù)文化。數(shù)據(jù)思維就是要建立起從數(shù)據(jù)的視角去思考問題的方式;數(shù)據(jù)文化就是要把數(shù)據(jù)和業(yè)務看作一個整體，而不是只將數(shù)據(jù)當作一個支持工具。想清楚業(yè)務對于數(shù)據(jù)的訴求是構(gòu)建數(shù)據(jù)中臺的第一步，哪怕暫時不能想得太細，也要去想，想不清楚就先不要做。不要在業(yè)務場景還沒有明確、優(yōu)先級還不清晰、價值度量體系尚未建立起來的時候，就建立大而全的數(shù)據(jù)平臺，并且把所有的數(shù)據(jù)都存起來。企業(yè)都是追求投入產(chǎn)出比的，大而全的數(shù)據(jù)平臺往往會面臨尷尬的局面，大量功能看上去很有用，應該都能用上，但是缺乏應用場景;但當真的有了場景，發(fā)現(xiàn)也不能開箱即用，還需要眾多的定制化。

另一方面，數(shù)據(jù)中臺應該從小數(shù)據(jù)、小場景做起。數(shù)據(jù)中臺是面向場景而非面向技術的，這種與客戶的業(yè)務、企業(yè)的結(jié)構(gòu)和信息化發(fā)展階段有著緊密的相關性的業(yè)務基礎架構(gòu)，是很難通過購買一個大而全的產(chǎn)品來一勞永逸地解決的。一開始的時候需要進行頂層設計，面向業(yè)務愿景制定中臺的整體規(guī)劃，全面梳理數(shù)據(jù)創(chuàng)新全景藍圖，通過業(yè)務愿景驅(qū)動出所有的業(yè)務場景探索，從而推導出數(shù)據(jù)中臺的全景架構(gòu)、技術支撐。但是在實施的時候，要從具體的業(yè)務場景出發(fā)。從高價值數(shù)據(jù)集場景做起，然后順著這個場景豎切，找到數(shù)據(jù)全景圖中的一個或多個數(shù)據(jù)集合，從小數(shù)據(jù)場景落地，這樣才能快速驗證價值。從大處思考，全局拉通，避免后續(xù)的數(shù)據(jù)孤島，從小數(shù)據(jù)集切入，從可實現(xiàn)性高的場景啟動，然后將一個個的場景做起來，業(yè)務價值和中臺能力也就可以同步地建立起來。

4? 在業(yè)務系統(tǒng)中的應用

2019年，國家電網(wǎng)提出建設“三型兩網(wǎng)”的企業(yè)戰(zhàn)略目標，其涉及到的平臺型、共享型企業(yè)，就是要實現(xiàn)公司數(shù)據(jù)資源共享化、服務化，破除企業(yè)各系統(tǒng)之間的“部門級”壁壘，將數(shù)據(jù)資源上升到“企業(yè)級”，將企業(yè)共性的服務和數(shù)據(jù)進行服務化處理，以微服務技術為基礎，形成靈活、強大的企業(yè)共享服務能力。完善提升國網(wǎng)全業(yè)務統(tǒng)一數(shù)據(jù)中心、完善泛在電力物聯(lián)網(wǎng)統(tǒng)一數(shù)據(jù)模型（SG-CIM），促進數(shù)據(jù)橫向跨專業(yè)共享，其建設需要堅持企業(yè)級建設、以用戶為中心、以應用為導向、統(tǒng)一創(chuàng)新結(jié)合、立足公司實際，借鑒外部先進成功經(jīng)驗，結(jié)合國網(wǎng)公司業(yè)務實際和現(xiàn)有系統(tǒng)建設情況進行完善提升。

例如，隨著新能源接入比例的不斷提高與特高壓電網(wǎng)互聯(lián)的日益加深，現(xiàn)有的機組調(diào)控模式及管理方法難以匹配新能源本身所固有的波動性，造成棄風棄光等現(xiàn)象的發(fā)生以及電網(wǎng)頻率的不穩(wěn)定。需要考慮如何根據(jù)各區(qū)域電網(wǎng)內(nèi)電源的情況，掌握自身的功率調(diào)節(jié)空間和調(diào)節(jié)速率，進而提煉出區(qū)域電網(wǎng)內(nèi)的功率實時調(diào)整空間，為跨區(qū)域電網(wǎng)調(diào)度提供參考決策。電源側(cè)機組的功率調(diào)節(jié)空間和調(diào)節(jié)速率是受多方面因素影響的，比如對火電機組來說，影響功率的直接因素為汽輪機調(diào)門的開度、鍋爐主蒸汽壓力的高低等，而鍋爐主蒸汽壓力的高低又受磨煤機的制粉能力，給水泵的供水能力，送風機、引風機、一次風機等的風量控制等諸多系統(tǒng)的影響，如果電網(wǎng)將所有每臺機組的數(shù)據(jù)采集到主站端，那一臺機組的數(shù)據(jù)點就是上萬個，并且對數(shù)據(jù)的可靠性也提出了嚴格的要求。因此，需要在子站電源端的數(shù)據(jù)平臺上進行開發(fā)，根據(jù)電網(wǎng)關注的數(shù)據(jù)進行研發(fā)。同時，通過電源側(cè)發(fā)電機組狀態(tài)的全面感知，提高其發(fā)電、并網(wǎng)及新能源消納問題;在負荷側(cè)，提升用戶用能效率，進而實現(xiàn)源網(wǎng)荷協(xié)同發(fā)展。

針對運維過程中的工作不便捷、疑難故障需遠程協(xié)助的問題，提供物聯(lián)網(wǎng)移動協(xié)作解決方案，包括使用移動化技術的APP、“互聯(lián)網(wǎng)+”思維的資源整合遠程協(xié)助和生物識別技術的認證權限管控，提升運維工作的便捷性，保障泛在電力物聯(lián)網(wǎng)系統(tǒng)的運行安全穩(wěn)定。方案特點：移動化APP實現(xiàn)隨時隨地掌控系統(tǒng)狀態(tài)、遠程協(xié)助實現(xiàn)故障會診處理、實現(xiàn)生物識別認證，更加安全。應用場景：領導外出時的在線審批;運維人員夜間及時感知系統(tǒng)狀態(tài);疑難故障多專家會診處理;故障處理時在線查看備件狀態(tài);運維人員手持終端開展核查資產(chǎn)等。

5? 結(jié)? 論

一個企業(yè)的數(shù)據(jù)要能夠充分發(fā)揮價值，很重要的一個前提條件就是這個企業(yè)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)資產(chǎn)目錄是對整個企業(yè)開放的。所有人都能夠通過這個資產(chǎn)目錄了解公司有哪些類別的數(shù)據(jù)、包含什么屬性、源數(shù)據(jù)由誰管理，這樣就可以快速搞清楚這些數(shù)據(jù)是不是自己需要的。但數(shù)據(jù)本身可以不開放，因為數(shù)據(jù)是有隱私信息和安全級別的。同時，面向短時間尺度的動態(tài)需求響應，可結(jié)合5G技術，采集海量多元化數(shù)據(jù)提升泛在物聯(lián)網(wǎng)的全息感知、泛在連接、開放共享能力，實現(xiàn)行業(yè)與信息的互聯(lián)互通，最終實現(xiàn)共建、共治、共享的互聯(lián)網(wǎng)生態(tài)圈。

參考文獻：

[1] 王珊，王會舉，覃雄派，等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望 [J].計算機學報，2011，34（10）：1741-1752.

[2] 金培權，郝行軍，岳麗華.面向新型存儲的大數(shù)據(jù)存儲架構(gòu)與核心算法綜述 [J].計算機工程與科學，2013，35（10）：12-24.

[3] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn) [J].計算機研究與發(fā)展，2013（1）：148-171.

[4] 李建中，劉顯敏.大數(shù)據(jù)的一個重要方面：數(shù)據(jù)可用性 [J].計算機研究與發(fā)展，2013，50（6）：1147-1162.

[5] HAN J，KAMBER M.數(shù)據(jù)挖掘：概念與技術 [M].范明，孟小峰，等譯.北京：機械工業(yè)出版社，2001.

作者簡介：李巍?。?981-），女，漢族，山東招遠人，高級工程師，畢業(yè)于山東大學計算機科學與技術學院，工學碩士，研究方向：信息系統(tǒng)和數(shù)據(jù)中心的規(guī)劃建設、架構(gòu)及信息技術應用等。