基于生產(chǎn)全鏈條管理的大數(shù)據(jù)治理體系建設(shè)

王志榮

摘?要：上海城投水務(wù)集團(tuán)利用基于生產(chǎn)全鏈條管理的大數(shù)據(jù)治理體系建設(shè)，通過業(yè)務(wù)建模、算法優(yōu)化、模擬仿真，促進(jìn)了集團(tuán)業(yè)務(wù)管理創(chuàng)新和節(jié)源增效，增強(qiáng)了全產(chǎn)業(yè)鏈上生產(chǎn)管理、運(yùn)行狀況的態(tài)勢感知能力，提高了智慧化生產(chǎn)調(diào)度能力、輔助決策能力，支持生產(chǎn)管理更加全息化、精細(xì)化、數(shù)字化、智能化。這既增加了企業(yè)盈利能力，又監(jiān)護(hù)了水生態(tài)環(huán)境、保障了上海城市生活用水更安全。

關(guān)鍵詞：生產(chǎn)全鏈條?數(shù)據(jù)資產(chǎn)?大數(shù)據(jù)?數(shù)據(jù)治理?主數(shù)據(jù)?元數(shù)據(jù)

一、背景

上海城投水務(wù)（集團(tuán)）有限公司（簡稱水務(wù)集團(tuán)）是專業(yè)從事原水供應(yīng)，自來水制水、輸配和銷售服務(wù)，雨水防汛、干線輸送、污水輸送和處理、污泥處理，供排水工程投資，供排水專業(yè)技術(shù)領(lǐng)域內(nèi)的技術(shù)開發(fā)、技術(shù)咨詢等城市水務(wù)產(chǎn)業(yè)的國有大型企業(yè)集團(tuán)。集團(tuán)核心的產(chǎn)業(yè)鏈分別由原、制、供、排、污五大分子公司管理運(yùn)營，上下游企業(yè)生產(chǎn)運(yùn)行彼此依賴，生產(chǎn)全鏈條管理對集團(tuán)經(jīng)營管理至關(guān)重要。在當(dāng)今大數(shù)據(jù)的時(shí)代，數(shù)據(jù)已被當(dāng)作企業(yè)的重要資產(chǎn)來進(jìn)行管理，數(shù)據(jù)就像“情報(bào)”成為決策者們的重要參考依據(jù)，然而數(shù)據(jù)并非天然成為資產(chǎn)，必須經(jīng)過數(shù)據(jù)質(zhì)量保障、有序的管理后，才能像人財(cái)物一樣成為企業(yè)資產(chǎn)。數(shù)據(jù)的資源經(jīng)過數(shù)據(jù)治理才能成為數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)通過數(shù)據(jù)服務(wù)和共享發(fā)布才能煥發(fā)數(shù)據(jù)的價(jià)值。

二、建設(shè)內(nèi)容

（一）體系結(jié)構(gòu)與分類

1.數(shù)據(jù)標(biāo)準(zhǔn)化體系

水務(wù)集團(tuán)數(shù)據(jù)標(biāo)準(zhǔn)化體系是在集團(tuán)業(yè)務(wù)、數(shù)據(jù)的基礎(chǔ)上，結(jié)合數(shù)據(jù)治理歷史經(jīng)驗(yàn)的總結(jié)，并非憑空創(chuàng)造。數(shù)據(jù)標(biāo)準(zhǔn)也難以一蹴而就，是一個(gè)“制訂標(biāo)準(zhǔn)、執(zhí)行標(biāo)準(zhǔn)、修訂標(biāo)準(zhǔn)”的持續(xù)優(yōu)化過程。信息化建設(shè)的不同階段，數(shù)據(jù)標(biāo)準(zhǔn)關(guān)注的對象和目標(biāo)各不相同。數(shù)據(jù)標(biāo)準(zhǔn)的管理、維護(hù)與優(yōu)化是生產(chǎn)大數(shù)據(jù)管理與數(shù)據(jù)治理不可或缺的工作。

2. 數(shù)據(jù)資源分布

水務(wù)集團(tuán)生產(chǎn)管理數(shù)據(jù)涉及業(yè)務(wù)范圍包括原水公司、制水公司、供水公司、排水公司和污水公司所屬水庫、水廠、泵站、管網(wǎng)等基礎(chǔ)設(shè)施的生產(chǎn)狀態(tài)、生產(chǎn)調(diào)度和水位＼液位、水質(zhì)、水壓、水量、安監(jiān)、計(jì)量和藥耗、電耗等生產(chǎn)監(jiān)控和調(diào)度管理。數(shù)據(jù)資源類別包括生產(chǎn)工控實(shí)時(shí)數(shù)據(jù)、遠(yuǎn)傳數(shù)據(jù)（含水質(zhì)、水壓、流量等監(jiān)控計(jì)量梳理）和調(diào)度管理數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)類型包括Historian工業(yè)實(shí)時(shí)數(shù)據(jù)庫、傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫（Oracle、SQL Server等）和各類安監(jiān)視頻、Excel報(bào)表、文檔文件等。

（二）技術(shù)路線

為了實(shí)現(xiàn)生產(chǎn)全鏈條管理的目標(biāo)，水務(wù)集團(tuán)在數(shù)據(jù)源、數(shù)據(jù)時(shí)效性、數(shù)據(jù)質(zhì)量、數(shù)據(jù)全生命周期和數(shù)據(jù)應(yīng)用等方面做了深化拓展，持續(xù)開展數(shù)據(jù)治理和平臺(tái)建設(shè)，建設(shè)技術(shù)內(nèi)容包括以下幾個(gè)主要方面。

1.基于云計(jì)算的數(shù)據(jù)采集

水務(wù)集團(tuán)所屬各基層單位建設(shè)時(shí)期跨度較大，部分設(shè)備歷史久遠(yuǎn)，生產(chǎn)設(shè)備品牌、技術(shù)參數(shù)、工藝標(biāo)準(zhǔn)、通訊方式、接口協(xié)議等存在較大的差異性，數(shù)據(jù)互聯(lián)對接難度較大，數(shù)據(jù)流向管理困難。為此，水務(wù)集團(tuán)先期通過公有云驗(yàn)證各“游離”數(shù)據(jù)對接的技術(shù)可行性和數(shù)據(jù)中斷、數(shù)據(jù)延遲等數(shù)據(jù)時(shí)效性、可用性問題，再搭建混合云實(shí)施統(tǒng)一的數(shù)據(jù)集中采集與數(shù)據(jù)預(yù)處理，同時(shí)充分利用邊緣計(jì)算能力，減少數(shù)據(jù)集中過程中的網(wǎng)絡(luò)通信壓力。

2.主數(shù)據(jù)管理系統(tǒng)

主數(shù)據(jù)作為企業(yè)最核心、最權(quán)威的業(yè)務(wù)數(shù)據(jù)，也是跨系統(tǒng)互聯(lián)打通業(yè)務(wù)流程的關(guān)鍵數(shù)據(jù)。隨著數(shù)據(jù)治理項(xiàng)目的開展與歷史遺留系統(tǒng)的改造，水務(wù)集團(tuán)已建設(shè)主數(shù)據(jù)管理系統(tǒng)，管理維護(hù)了客戶檔案、客戶服務(wù)、生產(chǎn)計(jì)劃、水質(zhì)檢測、調(diào)度監(jiān)控、新裝業(yè)務(wù)、現(xiàn)維工單、管網(wǎng)設(shè)備、生產(chǎn)工藝、表卡計(jì)量等19類主題域。

3.元數(shù)據(jù)管理系統(tǒng)

集團(tuán)元數(shù)據(jù)管理系統(tǒng)是水務(wù)集團(tuán)信息資產(chǎn)管理的關(guān)鍵。它幫助用戶可以快速找到數(shù)據(jù)并了解其上下游數(shù)據(jù)關(guān)系及其所處數(shù)據(jù)環(huán)境。通過業(yè)務(wù)、技術(shù)等方面的元數(shù)據(jù)逐步實(shí)現(xiàn)統(tǒng)一描述，可以降低乃至消除業(yè)務(wù)部門之間、業(yè)務(wù)與IT部門之間的溝通障礙。元數(shù)據(jù)管理系統(tǒng)是知識管理的系統(tǒng)，是數(shù)據(jù)源梳理、數(shù)據(jù)加工過程等數(shù)據(jù)治理成果的固化系統(tǒng)。從長期來看，系統(tǒng)的應(yīng)用會(huì)降低數(shù)據(jù)的發(fā)現(xiàn)、使用的成本。

水務(wù)集團(tuán)通過主數(shù)據(jù)管理、元數(shù)據(jù)管理系統(tǒng)等相關(guān)應(yīng)用平臺(tái)建設(shè)，提高了生產(chǎn)數(shù)據(jù)質(zhì)量和數(shù)據(jù)流通共享的效率。

4.基于Hadoop的生產(chǎn)大數(shù)據(jù)平臺(tái)

水廠、泵站工業(yè)自動(dòng)化生產(chǎn)過程中，各種種類的生產(chǎn)設(shè)備會(huì)產(chǎn)生大量的實(shí)時(shí)數(shù)據(jù)，部分?jǐn)?shù)據(jù)頻率為秒級甚至毫秒級，其數(shù)據(jù)存量和新增數(shù)據(jù)的規(guī)模極為龐大;在業(yè)務(wù)管理過程中，積累了生產(chǎn)運(yùn)營計(jì)劃、調(diào)度指令執(zhí)行、安全監(jiān)控、運(yùn)維審計(jì)日志等各種種類的數(shù)據(jù)，這些數(shù)據(jù)在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等多個(gè)方面存在巨大差異性，多信息源并發(fā)形成大量的異構(gòu)數(shù)據(jù)。從數(shù)據(jù)量、數(shù)據(jù)類型、增長速度、數(shù)據(jù)價(jià)值和數(shù)據(jù)真實(shí)性等5V視角來看，明顯符合大數(shù)據(jù)特征。

（1）數(shù)據(jù)量的巨大，包括數(shù)據(jù)采集、傳輸、存儲(chǔ)和計(jì)算的量都非常大。這些數(shù)據(jù)涵蓋的業(yè)務(wù)包括生產(chǎn)工控、調(diào)度、水位、水量、水壓、水質(zhì)、流量、計(jì)量、考核、安監(jiān)、熱線、人事、財(cái)務(wù)、物資、設(shè)備、客戶服務(wù)、物資庫存等。

（2）數(shù)據(jù)種類和來源的多樣化，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)主要以已經(jīng)上線的應(yīng)用程式關(guān)系型數(shù)據(jù)庫為主，還包括一部分工業(yè)實(shí)時(shí)數(shù)據(jù);非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)具體表現(xiàn)為辦公審批文件、運(yùn)維現(xiàn)場工單文檔、生產(chǎn)日志、安監(jiān)視頻、運(yùn)維圖片、GIS管網(wǎng)地理位置信息等大量文檔、圖片、視頻。多樣化的數(shù)據(jù)類型對數(shù)據(jù)的處理能力提出了挑戰(zhàn)。

（3）數(shù)據(jù)量的高增長性，數(shù)據(jù)處理的高時(shí)效性。比如管網(wǎng)爆管、防汛排澇、應(yīng)急指揮，都需要最快的信息處理能力。個(gè)性化算法的推薦盡可能要求快速實(shí)時(shí)完成。這是大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)挖掘之間最為顯著的特征區(qū)別。

（4）數(shù)據(jù)的質(zhì)量保障，即數(shù)據(jù)的準(zhǔn)確性和可信賴度。制訂數(shù)據(jù)標(biāo)準(zhǔn)化管理體系，通過數(shù)據(jù)治理，確保數(shù)據(jù)質(zhì)量可靠、可用、易用。

基于以上考量和未來平臺(tái)擴(kuò)展的需要，水務(wù)集團(tuán)基于Hadoop企業(yè)版軟件搭建了集團(tuán)生產(chǎn)大數(shù)據(jù)存儲(chǔ)與分析平臺(tái)。通過大數(shù)據(jù)平臺(tái)分析、優(yōu)化集團(tuán)生產(chǎn)管理的各類仿真模型，從而能進(jìn)一步挖掘出數(shù)據(jù)的潛在價(jià)值。

三、結(jié)語

基于生產(chǎn)全鏈條管理的大數(shù)據(jù)治理體系建設(shè)，首先，要搭建數(shù)據(jù)治理框架，通過組織結(jié)構(gòu)調(diào)整，將原本分專業(yè)、劃區(qū)域的舊企業(yè)改變?yōu)榧瘓F(tuán)化、市場化、專業(yè)化運(yùn)作的大型城市供排水整體解決方案提供商。同時(shí)調(diào)整了信息化管理組織結(jié)構(gòu)，從制訂數(shù)據(jù)治理的相關(guān)制度及數(shù)據(jù)質(zhì)量保障入手，強(qiáng)化數(shù)據(jù)標(biāo)準(zhǔn)和服務(wù)的管控，規(guī)范數(shù)據(jù)使用和管理流程，形成全面和可操作的數(shù)據(jù)治理框架。

其次，是共享數(shù)據(jù)的三中心架構(gòu)，在建設(shè)過程中，水務(wù)集團(tuán)創(chuàng)新地提出建設(shè)在共享數(shù)據(jù)平臺(tái)上的管控中心、運(yùn)營中心和服務(wù)中心，以三個(gè)中心為業(yè)務(wù)實(shí)體共享集團(tuán)大數(shù)據(jù)平臺(tái)提供的所有數(shù)據(jù)。三個(gè)中心可根據(jù)自己的分工，分別關(guān)注生產(chǎn)、運(yùn)營和服務(wù)，使得各業(yè)務(wù)部門使用的不再是經(jīng)過“人工加工”的數(shù)據(jù)，而是可以使用經(jīng)過數(shù)據(jù)治理的集團(tuán)數(shù)據(jù)資源，充分發(fā)揮數(shù)據(jù)的價(jià)值。

參考文獻(xiàn)

[1]楊琳，高洪美，宋俊典，張紹華.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理框架研究及應(yīng)用[J].計(jì)算機(jī)應(yīng)用于軟件，2017（04）.

[2]鄭建明.大數(shù)據(jù)環(huán)境下的數(shù)字文化治理路徑創(chuàng)新與思考[J].晉圖學(xué)刊，2016（06）.

[3]鐘繼剛.大數(shù)據(jù)環(huán)境下計(jì)算機(jī)軟件技術(shù)分析[J].信息記錄材料，2020（01）.

[4]索瑞斯.大數(shù)據(jù)治理[M].清華大學(xué)出版社，2014.

[5]何賽群，趙林海，于慧，方堅(jiān).主數(shù)據(jù)管理體系構(gòu)建[J].中國科技信息，2018（17）.

[6]張玉爽.企業(yè)主數(shù)據(jù)管理方法研究及實(shí)踐[J].現(xiàn)代信息科技，2019（05）.