大數(shù)據(jù)融合分析應(yīng)用的多角色探索

陳靜

大數(shù)據(jù)時代的到來，數(shù)據(jù)共享與開放機制成熟，大數(shù)據(jù)融合分析應(yīng)用中新角色和職責(zé)隨之產(chǎn)生。本文介紹了在大數(shù)據(jù)融合分析應(yīng)用中主要扮演的多角色，各角色的分工任務(wù)及配合。

一、引言

隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。大數(shù)據(jù)相關(guān)技術(shù)緊緊圍繞數(shù)據(jù)價值化展開，數(shù)據(jù)價值化將開辟出廣大的市場空間，重點在于數(shù)據(jù)本身將為整個信息化社會賦能。隨著大數(shù)據(jù)的落地應(yīng)用，大數(shù)據(jù)的價值將逐漸得到體現(xiàn)。

黨中央、國務(wù)院高度重視大數(shù)據(jù)在經(jīng)濟社會發(fā)展中的作用，黨的十八屆五中全會提出“實施國家大數(shù)據(jù)戰(zhàn)略”，黨的十九大明確提出要加快推進信息化，建設(shè)“數(shù)字中國”、“智慧社會”，黨的十九屆四中全會提出“推進數(shù)字政府建設(shè)，加強數(shù)據(jù)有序共享”。推進政務(wù)數(shù)據(jù)匯聚共享和綜合應(yīng)用，是新時代推進國家治理體系和治理能力現(xiàn)代化的必然要求。

為搶抓大數(shù)據(jù)發(fā)展重要戰(zhàn)略機遇，圍繞加強政務(wù)、行業(yè)、互聯(lián)網(wǎng)數(shù)據(jù)共享利用，促進“數(shù)字政府”建設(shè)和經(jīng)濟社會發(fā)展，大數(shù)據(jù)融合分析應(yīng)用至關(guān)重要。

二、大數(shù)據(jù)的特征

大量：隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)開始爆發(fā)性增長。社交網(wǎng)絡(luò)（微博、推特、臉書）、移動網(wǎng)絡(luò)、各種智能工具，服務(wù)工具等，都成為數(shù)據(jù)的來源。淘寶網(wǎng)近4億的會員每天產(chǎn)生的商品交易數(shù)據(jù)約20TB;臉書約10億的用戶每天產(chǎn)生的日志數(shù)據(jù)超過300TB。迫切需要智能的算法、強大的數(shù)據(jù)處理平臺和新的數(shù)據(jù)處理技術(shù)，來統(tǒng)計、分析、預(yù)測和實時處理如此大規(guī)模的數(shù)據(jù)。

高速：大數(shù)據(jù)對處理速度有非常嚴(yán)格的要求，服務(wù)器中大量的資源都用于處理和計算數(shù)據(jù)，很多平臺都需要做到實時分析。數(shù)據(jù)無時無刻不在產(chǎn)生，誰的速度更快，誰就有優(yōu)勢。數(shù)據(jù)類型繁多也對數(shù)據(jù)的處理能力提出了更高的要求。

多樣：大數(shù)據(jù)時代，數(shù)據(jù)格式越來越多樣化，包含了文本、音頻、圖片、視頻、網(wǎng)絡(luò)日志、地理位置信息、模擬信號等不同類型;數(shù)據(jù)來源也越來越多樣化，不僅產(chǎn)生于內(nèi)部平臺，也來自外部數(shù)據(jù)，從而決定了大數(shù)據(jù)形式的多樣性。

價值：現(xiàn)實世界所產(chǎn)生的數(shù)據(jù)中，有價值的數(shù)據(jù)所占比例很小。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預(yù)測分析有價值的數(shù)據(jù)，并通過機器學(xué)習(xí)方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析，發(fā)現(xiàn)新規(guī)律和新知識。

三、大數(shù)據(jù)融合分析的基礎(chǔ)支撐環(huán)境

從大數(shù)據(jù)融合分析應(yīng)用的角度來看，基礎(chǔ)支撐環(huán)境離不開軟硬件和大數(shù)據(jù)技術(shù)的支撐，包括資源池層、服務(wù)層、管理層、輔助技術(shù)平臺層。從大規(guī)模數(shù)據(jù)融合分析的需求考慮，大數(shù)據(jù)架構(gòu)平臺技術(shù)選型上要求采用開源的分布式技術(shù)架構(gòu)為基礎(chǔ)進行搭建，以具備開放融合的數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析的服務(wù)能力。采用云計算技術(shù)構(gòu)建統(tǒng)一的基礎(chǔ)設(shè)施、支撐軟件、應(yīng)用功能、信息資源、運行保障和信息安全等服務(wù)，為數(shù)據(jù)融合分析應(yīng)用提供敏捷、可靠、安全、彈性的IT基礎(chǔ)支撐環(huán)境。

（一）資源池層

資源池層包含了基礎(chǔ)設(shè)施、及通過云平臺軟件和大數(shù)據(jù)平臺軟件在基礎(chǔ)設(shè)施之上抽象出云資源池和大數(shù)據(jù)資源池，云資源池包括云計算、云存儲、云網(wǎng)絡(luò)等資源池，大數(shù)據(jù)資源池包括Hadoop資源池和MPPDB資源池，各種資源池可以根據(jù)大數(shù)據(jù)融合分析應(yīng)用進行構(gòu)建。

（二）服務(wù)層

服務(wù)層通過對資源池層各類資源的封裝，通過分布式的算法進行資源的分配，從而消除物理邊界，提升資源利用率，統(tǒng)一資源池分配。實現(xiàn)資源服務(wù)的發(fā)現(xiàn)、路由、編排、計量、接入等功能，顯現(xiàn)從資源到服務(wù)的轉(zhuǎn)換。云資源池服務(wù)主要包括計算資源服務(wù)（虛擬機服務(wù)、物理機服務(wù)、鏡像服務(wù)等）、存儲資源服務(wù)（塊存儲服務(wù)、對象存儲服務(wù)、文件存儲服務(wù)等）、網(wǎng)絡(luò)資源服務(wù)（虛擬私有云、安全組服務(wù)、虛擬防火墻服務(wù)、彈性負載均衡、彈性IP服務(wù)等）、虛擬數(shù)據(jù)中心、硬件托管服務(wù)等。

大數(shù)據(jù)資源池服務(wù)主要包括H a d o o p資源服務(wù)（HDS、RDS）、MPPDB資源服務(wù)（ADS）等。

（三）管理層

管理層包含整體運營、運維管理及公共組件的管理，包括VDC管理、租戶管理、服務(wù)控制臺、資源管理、拓撲管理、性能管理以及安全管理等。其中安全管理包括主機安全、數(shù)據(jù)安全、應(yīng)用安全、管理安全等方面的相關(guān)管理。

（四）輔助技術(shù)平臺層

采用大數(shù)據(jù)技術(shù)構(gòu)建海量數(shù)據(jù)的存儲、計算平臺，為大數(shù)據(jù)融合分析應(yīng)用務(wù)提供開放、高效的大數(shù)據(jù)存儲、分析、挖掘等服務(wù)。

大數(shù)據(jù)融合分析應(yīng)用需要通過輔助技術(shù)平臺，實現(xiàn)多種數(shù)據(jù)源融合、處理、分析，完成大數(shù)據(jù)融合分析協(xié)調(diào)工作，進行數(shù)據(jù)分析、指標(biāo)預(yù)警、專題報告、輿情分析、報表分析、決策支持等綜合性分析服務(wù)工作。應(yīng)用以自然語言處理、數(shù)據(jù)挖掘、機器學(xué)習(xí)等算法模型為手段，能夠支撐輔助決策分析的數(shù)據(jù)分析人員及其他使用者對數(shù)據(jù)進行一系列的操作，最終實現(xiàn)數(shù)據(jù)分析工作人員在線交互式的大數(shù)據(jù)協(xié)同分析工作。

四、應(yīng)用角色的分工配合

大數(shù)據(jù)融合分析應(yīng)用由于大數(shù)據(jù)的特點和技術(shù)創(chuàng)新，對應(yīng)用開發(fā)提出了新的要求和規(guī)范，增加了應(yīng)用難點，對專業(yè)人員提出了更新、更高的標(biāo)準(zhǔn)，從而需要多角色分析人員進行應(yīng)用設(shè)計和維護，確定各角色分工任務(wù)及邊界就至關(guān)重要。

（一） 主題管理角色

主題管理角色需要根據(jù)大數(shù)據(jù)融合分析應(yīng)用的要求，開展需求調(diào)研，掌握需求調(diào)研方法，能協(xié)助業(yè)務(wù)部門進行需求的分析和梳理，并輸出系統(tǒng)建設(shè)或優(yōu)化需求;善于分析和歸納總結(jié)，將需求逐級分解，創(chuàng)建主題管理，理解需求的基礎(chǔ)上進行主題任務(wù)需求拆解，針對大數(shù)據(jù)融合分析應(yīng)用需求特色需要包括數(shù)據(jù)分析需求、平臺需求、模型需求、數(shù)據(jù)治理需求、數(shù)據(jù)采集需求等多方面;需要具備極強的溝通表達能力與其它角色進行有效溝通和配合。

大數(shù)據(jù)融合分析應(yīng)用的建立依賴于自頂向下的數(shù)據(jù)規(guī)劃和自底向上的數(shù)據(jù)發(fā)掘。其中數(shù)據(jù)規(guī)劃是面向業(yè)務(wù)主題的，針對需求管理師確定的需求進行采集、主題拆解規(guī)劃、產(chǎn)生主題數(shù)據(jù)規(guī)劃，和已有業(yè)務(wù)主題的應(yīng)用管理，對各個服務(wù)內(nèi)容進行匯總編排。整體過程對后期的數(shù)據(jù)治理有重要的指導(dǎo)意義。自底向上的數(shù)據(jù)挖掘是進行多維度數(shù)據(jù)智能挖掘，從而推動動態(tài)主題的形成，這部分新發(fā)掘主題也要按需進行管理。

（二）規(guī)范管理角色

在大數(shù)據(jù)融合分析應(yīng)用中，規(guī)范尤其重要，需遵循國家相關(guān)標(biāo)準(zhǔn)規(guī)范，參考借鑒國內(nèi)外類似標(biāo)準(zhǔn)規(guī)范，以及大數(shù)據(jù)融合分析應(yīng)用主要主題、流程和特點，研究制定項目工程技術(shù)標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、業(yè)務(wù)規(guī)范、管理規(guī)范等。同時，規(guī)范管理角色還需要解決應(yīng)用中數(shù)據(jù)采集、數(shù)據(jù)開放、指標(biāo)口徑、交換接口、訪問接口、數(shù)據(jù)元標(biāo)準(zhǔn)、基礎(chǔ)代碼標(biāo)準(zhǔn)、接口開發(fā)規(guī)范、數(shù)據(jù)質(zhì)量管理規(guī)范、技術(shù)產(chǎn)品、安全保密等關(guān)鍵共性規(guī)范，從而推動建設(shè)有規(guī)范、維護清晰化、數(shù)據(jù)安全化、數(shù)據(jù)資產(chǎn)保護化，保障和規(guī)范大數(shù)據(jù)應(yīng)用發(fā)展。

（三）數(shù)據(jù)治理角色

數(shù)據(jù)治理角色主要承擔(dān)日常的數(shù)據(jù)治理及新增治理工作，接收主題管理角色派發(fā)的主題數(shù)據(jù)治理任務(wù)，快速響應(yīng)新的數(shù)據(jù)治理工作需求，將零散數(shù)據(jù)治理開發(fā)成“可見、可得、可用”的數(shù)據(jù)資源。同時，數(shù)據(jù)治理角色還需要配合規(guī)范管理角色，快速構(gòu)建一套確保數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)，對數(shù)據(jù)標(biāo)準(zhǔn)進行實時跟蹤，確保數(shù)據(jù)質(zhì)量，更好地為應(yīng)用提供數(shù)據(jù)支撐。

數(shù)據(jù)治理角色可以利用數(shù)據(jù)治理工具實現(xiàn)數(shù)據(jù)采集之后的數(shù)據(jù)集成、數(shù)據(jù)建模、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管控和數(shù)據(jù)服務(wù)，將零散的數(shù)據(jù)通過治理開發(fā)形成統(tǒng)一的數(shù)據(jù)資源，保障數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全，確保數(shù)據(jù)資源在授權(quán)范圍內(nèi)可用。

數(shù)據(jù)治理離不開輔助技術(shù)平臺的支持，數(shù)據(jù)治理角色通過數(shù)據(jù)交換平臺和數(shù)據(jù)資源目錄平臺，能夠?qū)崿F(xiàn)大數(shù)據(jù)分析應(yīng)用所需數(shù)據(jù)源的統(tǒng)一接入;通過數(shù)據(jù)治理平臺和數(shù)據(jù)集成平臺，實現(xiàn)數(shù)據(jù)資源的統(tǒng)一匯聚、融合和分發(fā)，將零散的數(shù)據(jù)通過治理開發(fā)形成統(tǒng)一的數(shù)據(jù)資產(chǎn)，并保障數(shù)據(jù)資源安全;通過以自然語言處理、數(shù)據(jù)挖掘、機器學(xué)習(xí)等算法模型為手段，能夠支撐治理人員對數(shù)據(jù)特殊要求進行基本操作。

（四）融合分析角色

數(shù)據(jù)融合分析是以產(chǎn)生決策智能分析為目標(biāo)，融合分析角色通過主題需求制定主題指標(biāo)，實現(xiàn)數(shù)據(jù)和指標(biāo)的業(yè)務(wù)保障;并通過數(shù)據(jù)分析挖掘，完成指標(biāo)模型的機器學(xué)習(xí)、深度學(xué)習(xí)、模型評估等工作，保證業(yè)務(wù)應(yīng)用可用性和可靠性。

數(shù)據(jù)融合分析角色還需基于數(shù)據(jù)分析挖掘系統(tǒng)承擔(dān)主題模型的開發(fā)實現(xiàn)工作，基于業(yè)務(wù)需求的模型詳細設(shè)計，進行接入數(shù)據(jù)預(yù)處理、模型設(shè)計、模型訓(xùn)練、模型推理結(jié)果輸出、模型評估和部署落地，并可以服務(wù)的形式發(fā)布以備隨時調(diào)用。數(shù)據(jù)分析挖掘系統(tǒng)需具備以下三種能力：

1.通用算法能力

數(shù)據(jù)分析挖掘系統(tǒng)需要為用戶提供封裝好的、可簡單可視化調(diào)用的通用封裝算法（如特征工程、圖計算、時間序列、回歸、分類、聚類、推薦、異常值檢測等），并支持用戶進行便捷的參數(shù)調(diào)節(jié)能力，完成數(shù)據(jù)處理、模型訓(xùn)練等工作。

2.業(yè)務(wù)模型訓(xùn)練能力

數(shù)據(jù)分析挖掘系統(tǒng)需支持用戶上傳、獲取業(yè)務(wù)數(shù)據(jù)，并基于用戶業(yè)務(wù)數(shù)據(jù)，調(diào)用平臺封裝的通用算法完成數(shù)據(jù)處理及模型訓(xùn)練工作，使得模型具備解決實際業(yè)務(wù)場景問題的能力，將通用的算法轉(zhuǎn)化為實際業(yè)務(wù)模型。

3.模型服務(wù)能力

數(shù)據(jù)分析挖掘系統(tǒng)需支持用戶將訓(xùn)練的業(yè)務(wù)模型發(fā)布為服務(wù)并注冊至應(yīng)用支撐中心。模型服務(wù)為模型輕量化的應(yīng)用方式，基于數(shù)據(jù)分析挖掘系統(tǒng)的計算資源，用戶可通過在線接入業(yè)務(wù)數(shù)據(jù)的形式，調(diào)用業(yè)務(wù)模型并得到推理結(jié)果，從而支撐其他系統(tǒng)的應(yīng)用需求。

（五）可視化角色

可視化角色需要滿足多終端訪問的需求，包括大屏展示、PC機、智能手機、PAD等，同時采用BI可視化工具，建立大數(shù)據(jù)分析業(yè)務(wù)應(yīng)用豐富的可視化展現(xiàn)。服務(wù)包括基于GIS的全景精細呈現(xiàn);GIS信息、GPS數(shù)據(jù)、建筑物三維數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、攝像頭畫面等多類型數(shù)據(jù)融合呈現(xiàn);支持時間、空間、屬性等多維度呈現(xiàn)和查詢能力，如二三維聯(lián)動查詢、歷史回放、圈選查詢、篩選查詢等;設(shè)置儀表盤，讓圖表展示效果更加靈活有特色。

（六）安全管理角色

大數(shù)據(jù)在為數(shù)據(jù)治理提供方便的同時，也會給個人隱私、企業(yè)機密、政府公信乃至國家安全帶來挑戰(zhàn)。數(shù)據(jù)如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱患，隨著各地用戶信息安全事件頻出，讓人們開始感受到“數(shù)據(jù)”與生活接觸如此緊密，數(shù)據(jù)泄露可以對個人的生活質(zhì)量造成極大的威脅。數(shù)據(jù)安全和隱私保護不僅是公民個人的責(zé)任，對采集數(shù)據(jù)和共享數(shù)據(jù)的政府單位，也有義務(wù)保障數(shù)據(jù)的安全和隱私，此過程中，政策、技術(shù)、意識缺一不可。

安全管理角色需要根據(jù)應(yīng)用主題確定數(shù)據(jù)采集、質(zhì)量保障和安全管理標(biāo)準(zhǔn)，明確數(shù)據(jù)安全責(zé)任、主體風(fēng)險和權(quán)利義務(wù)，處理好創(chuàng)新發(fā)展與保障安全的關(guān)系，建立完善安全保密管理規(guī)范措施。同時加強關(guān)鍵信息基礎(chǔ)設(shè)施安全防護，做好平臺及服務(wù)商的可靠性安全性評測、應(yīng)用安全評測。

五、結(jié)語

在大數(shù)據(jù)融合分析應(yīng)用中，各角色的分工越來越細致，角色任務(wù)邊界愈來愈明顯，分清各角色任務(wù)是實施大數(shù)據(jù)融合分析應(yīng)用的前提保障，為后期應(yīng)用實施規(guī)范化管理及解決快速應(yīng)用快速服務(wù)帶來優(yōu)勢。未來隨著大數(shù)據(jù)技術(shù)發(fā)展日益成熟，后期會對大數(shù)據(jù)融合分析應(yīng)用各類角色提出更高更專業(yè)的要求。