基于國產(chǎn)軟硬件的行業(yè)大數(shù)據(jù)體系架構(gòu)研究

孫業(yè)志++何有鈞

【摘 要】面對當(dāng)前云計(jì)算和大數(shù)據(jù)的浪潮，面向行業(yè)應(yīng)用的大數(shù)據(jù)系統(tǒng)技術(shù)發(fā)展日趨明顯，浪潮作為國產(chǎn)軟硬件核心信息裝備和整體解決方案提供商，在為行業(yè)客戶的云計(jì)算和大數(shù)據(jù)系統(tǒng)應(yīng)用方面形成了豐富的技術(shù)積累。本文從行業(yè)大數(shù)據(jù)的應(yīng)用需求出發(fā)，基于行業(yè)大數(shù)據(jù)對安全和技術(shù)自主可控的要求，設(shè)計(jì)了行業(yè)大數(shù)據(jù)的硬件基礎(chǔ)架構(gòu)、軟件基礎(chǔ)架構(gòu)和安全體系。相關(guān)的技術(shù)成果已經(jīng)在多個行業(yè)得到應(yīng)用，并能滿足行業(yè)對大數(shù)據(jù)管理和分析的需求，項(xiàng)目成果具有應(yīng)用推廣價值。

【關(guān)鍵詞】大數(shù)據(jù) 體系架構(gòu) 國產(chǎn)化 自主可控

1 前言

在全球已經(jīng)全面進(jìn)入信息時代的今天，數(shù)據(jù)已經(jīng)成為與水、石油、天然氣同等重要的國家戰(zhàn)略資源。IDC報告指出，截止2011年底，全球的數(shù)據(jù)量已達(dá)到了1.8萬億GB，未來十年還將增長50倍，迅速積累的海量數(shù)據(jù)蘊(yùn)含著重大的商業(yè)價值和社會價值。作為云計(jì)算領(lǐng)域的重要延伸，大數(shù)據(jù)在行業(yè)內(nèi)的熱度在不斷升溫。2012年我國大數(shù)據(jù)市場規(guī)模為4.5億元，同比增長40.6%。IDC預(yù)計(jì)，全球大數(shù)據(jù)2016年將達(dá)238億美元，中國市場規(guī)模未來5年將增長近7倍。

大數(shù)據(jù)技術(shù)最近幾年在迅速發(fā)展，國內(nèi)外的廠商和組織已經(jīng)推出了多種大數(shù)據(jù)解決方案。在金融領(lǐng)域，已經(jīng)利用大數(shù)據(jù)技術(shù)解決詐騙檢驗(yàn)、IT風(fēng)險管理和自助服務(wù)等問題，未來大數(shù)據(jù)技術(shù)將會起到越來越重要的作用。目前國內(nèi)外很多金融機(jī)構(gòu)如摩根大通、花旗銀行，以及風(fēng)電、太陽能發(fā)電、石化企業(yè)等制造業(yè)企業(yè)也開始采用大數(shù)據(jù)的解決方案進(jìn)行設(shè)備監(jiān)控、優(yōu)化和故障預(yù)防[1]。

由于國內(nèi)外針對商業(yè)機(jī)構(gòu)系統(tǒng)頻頻發(fā)生的安全事件，國內(nèi)各行業(yè)的信息化目前正在向基于國產(chǎn)軟硬件和自主可控方向發(fā)展，大數(shù)據(jù)也是目前國內(nèi)各行業(yè)重點(diǎn)關(guān)注的技術(shù)。很多廠商和企業(yè)紛紛進(jìn)行技術(shù)研究、方案準(zhǔn)備和內(nèi)部測試，并逐步開始在歷史數(shù)據(jù)查詢、分析，非結(jié)構(gòu)化數(shù)據(jù)檢索等方向上開始使用[2]。從最近幾年的趨勢來看，安全、自主可控的大數(shù)據(jù)解決方案在大數(shù)據(jù)的行業(yè)領(lǐng)域有非常大的市場需求。

國內(nèi)的很多關(guān)鍵行業(yè)應(yīng)用，如金融信息系統(tǒng)的許多關(guān)鍵設(shè)備都沒有采用國產(chǎn)產(chǎn)品，導(dǎo)致無法準(zhǔn)確判斷其安全隱患，這使得我國信息化建設(shè)的安全底數(shù)不清。迫切需要國內(nèi)IT企業(yè)和行業(yè)共同研發(fā)自主可控、自主知識產(chǎn)權(quán)的信息系統(tǒng)、信息環(huán)境和信息安全產(chǎn)品。針對這種狀況國家銀監(jiān)會提出了“自主可控，持續(xù)發(fā)展，科技創(chuàng)新”的三大戰(zhàn)略[3]，國產(chǎn)的信息化產(chǎn)品，在金融領(lǐng)域的應(yīng)用已經(jīng)開始了破冰之旅，事實(shí)也已經(jīng)開始證明，自主可控的軟硬件產(chǎn)品，在關(guān)鍵行業(yè)領(lǐng)域的應(yīng)用是可行的，但是缺乏完整的經(jīng)過驗(yàn)證的整體解決方案和實(shí)際案例，無法復(fù)制和推廣。

本文基于國產(chǎn)軟硬件產(chǎn)品進(jìn)行自主可控的大數(shù)據(jù)體系架構(gòu)研究要打破國外技術(shù)依賴，掌握技術(shù)命脈。針對現(xiàn)有行業(yè)關(guān)鍵系統(tǒng)多數(shù)是直接引用國外成熟技術(shù)，關(guān)鍵、復(fù)雜、核心的應(yīng)用系統(tǒng)大多是建立在非自主產(chǎn)品上，形成了對國外的技術(shù)嚴(yán)重依賴的現(xiàn)狀，本文的研究將可以在大數(shù)據(jù)領(lǐng)域打破國外技術(shù)的壟斷，形成有競爭力的國產(chǎn)解決方案。

2 主要研究內(nèi)容

本文主要研究面向行業(yè)應(yīng)用、基于自主可控基礎(chǔ)軟硬件產(chǎn)品的大數(shù)據(jù)體系架構(gòu)，研究內(nèi)容主要包括：

2.1 行業(yè)大數(shù)據(jù)應(yīng)用的需求分析

2.1.1 面向多源異構(gòu)業(yè)務(wù)數(shù)據(jù)的采集和管理需求

在客戶信息為例，行業(yè)內(nèi)的集團(tuán)企業(yè)經(jīng)常會面臨急需解決的數(shù)據(jù)集成問題，企業(yè)存在大分散的客戶信息資源，并由各系統(tǒng)自主采集和維護(hù)，沒有良好的共享體系，客戶信息、訂單信息等異構(gòu)的存在不同數(shù)據(jù)源中，沒有橫跨多個業(yè)務(wù)領(lǐng)域的客戶信息的統(tǒng)一管理和分發(fā)體系。因此，要求統(tǒng)一建設(shè)行業(yè)信息大數(shù)據(jù)管理系統(tǒng)，是一套為所有在線業(yè)務(wù)服務(wù)的、整合的行業(yè)信息大數(shù)據(jù)管理與分析系統(tǒng)，并具有行業(yè)先進(jìn)水平的大數(shù)據(jù)管理和分析能力，以滿足企業(yè)形成市場競爭優(yōu)勢的要求。

2.1.2 針對海量異構(gòu)大數(shù)據(jù)的高性能存儲需求

通過調(diào)研發(fā)現(xiàn)很多大型企業(yè)的信息系統(tǒng)已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù)，而且隨著業(yè)務(wù)拓展的需求，大數(shù)據(jù)分析的數(shù)據(jù)源已經(jīng)不僅局限于企業(yè)內(nèi)部，如對客戶流失分析或者產(chǎn)品銷售趨勢預(yù)測，就還需要互聯(lián)網(wǎng)社交網(wǎng)絡(luò)或者電商消費(fèi)信息等。這些多源、異構(gòu)、海量的數(shù)據(jù)對于大數(shù)據(jù)平臺的存儲提出了極高的要求。以某大型企業(yè)集團(tuán)的客戶和生產(chǎn)經(jīng)營信息為例，數(shù)據(jù)規(guī)模已經(jīng)達(dá)到上百TB容量，且相關(guān)數(shù)據(jù)量，特別是生產(chǎn)線的傳感器數(shù)據(jù)和用戶行為等數(shù)據(jù)還在持續(xù)大幅增長。

2.1.3 多樣性大數(shù)據(jù)分析和處理需求

大數(shù)據(jù)分析系統(tǒng)不但集成了多個系統(tǒng)的數(shù)據(jù)源，未來大數(shù)據(jù)分析應(yīng)用系統(tǒng)也會被多個部門，多個業(yè)務(wù)中使用，而且不同的部門和不同業(yè)務(wù)對大數(shù)據(jù)分析處理 的響應(yīng)時間、數(shù)據(jù)量、結(jié)果準(zhǔn)確程度以及具體的分析算法都會有很大差異。因此需要完整的對這些分析和處理需求進(jìn)行分析，以便于設(shè)計(jì)滿足當(dāng)前和潛在需求的大數(shù)據(jù)分析處理架構(gòu)。

2.1.4 行業(yè)大數(shù)據(jù)的安全監(jiān)控和隱私保護(hù)需求

面向行業(yè)和企業(yè)的大數(shù)據(jù)平臺都將集成來自于不同數(shù)據(jù)源的數(shù)據(jù)，其中有很多數(shù)據(jù)會涉及商業(yè)秘密和個人隱私等安全問題，所以這些數(shù)據(jù)在大數(shù)據(jù)平臺中應(yīng)該被合理的授權(quán)使用，并有完善的安全監(jiān)控和隱私保護(hù)措施，以避免引起數(shù)據(jù)泄密或者隱私糾紛。

2.1.5 行業(yè)大數(shù)據(jù)平臺的業(yè)務(wù)應(yīng)用和可視化展現(xiàn)的需求

大數(shù)據(jù)分析的結(jié)果是更好的支持業(yè)務(wù)推廣和運(yùn)營決策，所以企業(yè)大數(shù)據(jù)分析還是要和現(xiàn)有的業(yè)務(wù)應(yīng)用緊密結(jié)合，并且以簡單友好的操作，以及可視化的方式直觀的展現(xiàn)分析結(jié)果，這樣才能被各部門和各級別的人員使用好大數(shù)據(jù)系統(tǒng)。

2.2 基于自主可控服務(wù)器的大數(shù)據(jù)基礎(chǔ)架構(gòu)研究

通過行業(yè)大數(shù)據(jù)需求和數(shù)據(jù)現(xiàn)狀的調(diào)研和測算，大數(shù)據(jù)基礎(chǔ)平臺如采用傳統(tǒng)的集中數(shù)據(jù)庫ORACLE+小型機(jī)+集中式存儲環(huán)境，將無法滿足大數(shù)據(jù)在存儲和分析處理方面的需求，而且采用國外進(jìn)口設(shè)備為主的方式也無法保證系統(tǒng)數(shù)據(jù)的安全和自主可控，國外小型機(jī)和存儲的硬件成本過高，投入產(chǎn)出比低。因此本文研究對比了主流的大數(shù)據(jù)硬件方案，提出基于國產(chǎn)主機(jī)的行業(yè)大數(shù)據(jù)基礎(chǔ)平臺，包括分布式Hadoop大數(shù)據(jù)存儲和處理集群、分布式海量數(shù)據(jù)采集集群和應(yīng)用與可視化展現(xiàn)服務(wù)器集群架構(gòu)研究，形成滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)硬件平臺技術(shù)方案。

系統(tǒng)的網(wǎng)絡(luò)部署架構(gòu)如圖1所示。

2.3 自主可控的大數(shù)據(jù)分析基礎(chǔ)軟件平臺研究

通過項(xiàng)目前期技術(shù)研究和分析，傳統(tǒng)數(shù)據(jù)倉庫模式進(jìn)行行大數(shù)據(jù)分析在軟件平臺方面是不能滿足性能、容量和成本方面的需求的。為此，本文在對大數(shù)據(jù)軟件平臺進(jìn)行充分對比研究，重點(diǎn)研究了國內(nèi)面向行業(yè)的大數(shù)據(jù)平臺的軟件基礎(chǔ)架構(gòu)，包括操作系統(tǒng)、分布式文件系統(tǒng)、列式數(shù)據(jù)庫、批處理框架、內(nèi)存計(jì)算引擎、資源調(diào)度、安全管控等方面的研究。形成了滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)軟件平臺技術(shù)方案。

本文研究和評估了基于國產(chǎn)操作系統(tǒng)和基于開源自主可控的大數(shù)據(jù)平臺基礎(chǔ)軟件架構(gòu)，操作系統(tǒng)層面可以支持國產(chǎn)Linux和Unix操作系統(tǒng)。大數(shù)據(jù)基礎(chǔ)軟件架構(gòu)采用了大量的組件實(shí)現(xiàn)大數(shù)據(jù)的存儲、計(jì)算、分析和管理功能，如圖2所示。

在大數(shù)據(jù)軟件架構(gòu)中設(shè)計(jì)通過分布式ETL工具各業(yè)務(wù)系統(tǒng)完成數(shù)據(jù)采集，支持結(jié)構(gòu)化數(shù)據(jù)以及非/半結(jié)構(gòu)化數(shù)據(jù)，即數(shù)據(jù)庫數(shù)據(jù)、文件、日志等類型，采集數(shù)據(jù)包括全量歷史數(shù)據(jù)遷移以及增量數(shù)據(jù)同步。未來保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)溯源，采集過程中需要對數(shù)據(jù)質(zhì)量分析、治理。

架構(gòu)中設(shè)計(jì)了數(shù)據(jù)分層存儲的解決方案，對于需要進(jìn)行持久化存儲的數(shù)據(jù)（離線保存3年以上）和非結(jié)構(gòu)化數(shù)據(jù)，可直接在HDFS中存放，以數(shù)據(jù)倉庫ORC表形式存儲；需要挖掘或檢索管理的數(shù)據(jù)放入HBase列式數(shù)據(jù)庫中，中并支持與傳統(tǒng)數(shù)據(jù)庫互導(dǎo)，系統(tǒng)會自動完成多個數(shù)據(jù)副本的拷貝，從而實(shí)現(xiàn)冗余備份；對于需要快速實(shí)時交互式分析的的數(shù)據(jù)以Cube的形式存儲在SSD或內(nèi)存中，可以提供快速交互式分析能力。

架構(gòu)中還包括了數(shù)據(jù)分析功能和組件，對需要進(jìn)行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘等涉及大數(shù)據(jù)量的統(tǒng)計(jì)和查詢需求的應(yīng)用，可選用Mahout，R等數(shù)據(jù)分析和數(shù)據(jù)挖掘工具。

架構(gòu)中的數(shù)據(jù)服務(wù)設(shè)計(jì)包括數(shù)據(jù)集市所提供的業(yè)務(wù)/部門級服務(wù)，數(shù)據(jù)Cube及交互式報表、數(shù)據(jù)質(zhì)量分析報告、數(shù)據(jù)流程監(jiān)控及告警、API數(shù)據(jù)調(diào)用和數(shù)據(jù)能力開放等服務(wù)。對于實(shí)時性要求較高的數(shù)據(jù)（如Kafka采集的數(shù)據(jù)）放在Spark Stream中提供實(shí)時服務(wù)。

架構(gòu)中還設(shè)計(jì)了數(shù)據(jù)管理模塊負(fù)責(zé)進(jìn)行數(shù)據(jù)查看，流程管理，用戶權(quán)限角色分配等功能。

2.4 大數(shù)據(jù)安全體系研究

研究太平洋保險大數(shù)據(jù)管理和安全體系，對大數(shù)據(jù)類型進(jìn)行安全等級分類，形成大數(shù)據(jù)管理策略和技術(shù)規(guī)范。

由于大數(shù)據(jù)時代的數(shù)據(jù)財(cái)富化導(dǎo)致了大量的信息泄露事件，而這些泄露事件中，來自內(nèi)部和外部的威脅都存在，而且內(nèi)部的威脅更大。所以在本地?cái)?shù)據(jù)安全策略的構(gòu)建上需要加入對于內(nèi)部管理的監(jiān)控、監(jiān)管手段，用數(shù)據(jù)技術(shù)+資產(chǎn)管理的模式來避免由于人為原因造成的數(shù)據(jù)流失，信息泄露。對于外部的的威脅通過防火墻、入侵檢測、數(shù)據(jù)加密等手段，確保大數(shù)據(jù)平臺具有“進(jìn)不來、拿不走、看不懂”的安全能力。

本文設(shè)計(jì)的大數(shù)據(jù)體系架構(gòu)基于最新的大數(shù)據(jù)、以及數(shù)據(jù)安全技術(shù)，初步研究了適合企業(yè)的大數(shù)據(jù)資產(chǎn)管理體系，并設(shè)計(jì)高性能、高效率、安全可靠的大數(shù)據(jù)安全技術(shù)體系，實(shí)現(xiàn)大數(shù)據(jù)資產(chǎn)的有效管控、增值和安全控制。

3 成果特點(diǎn)

本項(xiàng)目研究形成的行業(yè)大數(shù)據(jù)體系架構(gòu)采用自主研發(fā)和生產(chǎn)的服務(wù)器，并部署國產(chǎn)操作系統(tǒng)和自主知識產(chǎn)權(quán)的大數(shù)據(jù)平臺軟件。經(jīng)過全局性的優(yōu)化，性能、可用性、效率等關(guān)鍵技術(shù)指標(biāo)方面有了大幅提升。在系統(tǒng)設(shè)計(jì)上采用硬件加速技術(shù)，會設(shè)計(jì)專門的FPGA模塊固化特定算法，并集成多級緩存，數(shù)據(jù)排序性能預(yù)計(jì)可以提高50%以上；系統(tǒng)任務(wù)調(diào)度策略是影響系統(tǒng)響應(yīng)及時性的重要技術(shù)，本項(xiàng)目將開發(fā)動態(tài)調(diào)整任務(wù)執(zhí)行模塊，有效減少慢任務(wù)數(shù)量，任務(wù)執(zhí)行時間平均縮短16%。副本數(shù)量和存儲效率是難以調(diào)和的矛盾，在大數(shù)據(jù)平臺軟件中將引入Reed-Solomon算法，優(yōu)化分布式散列數(shù)據(jù)布局，滿足文件高并發(fā)和高帶寬雙重需求同時平衡數(shù)據(jù)冗余度，并設(shè)計(jì)兩副本加編碼的方式對大數(shù)據(jù)存儲進(jìn)行管理，相對三副本最大可節(jié)省30%空間。

4 應(yīng)用效果和研究價值

相對于市場上的國內(nèi)外競爭對手的產(chǎn)品，基于國產(chǎn)軟硬件的大數(shù)據(jù)體系架構(gòu)應(yīng)用了諸多浪潮自主研發(fā)的安全技術(shù)，包括自主研發(fā)發(fā)明專利達(dá)50多項(xiàng)、軟件著作權(quán)2項(xiàng)，RAS特性超過20項(xiàng)，而模塊化的安全體系設(shè)計(jì)和操作系統(tǒng)安全增強(qiáng)系統(tǒng)，確保了產(chǎn)品符合國家信息安全等級保護(hù)第三級認(rèn)證標(biāo)準(zhǔn)。同時，快速故障定位、高可用元數(shù)據(jù)備份和管理、高可用系統(tǒng)恢復(fù)等多項(xiàng)系統(tǒng)管理技術(shù)，以及內(nèi)存糾錯、內(nèi)存鏡像和高冗余設(shè)計(jì)，也確保了產(chǎn)品無單點(diǎn)故障，運(yùn)行穩(wěn)定可靠；其次，體系架構(gòu)的需求分析由浪潮和多個代表性行業(yè)客戶共同完成，充分考慮了我國行業(yè)大數(shù)據(jù)應(yīng)用的現(xiàn)狀和常見問題，覆蓋了大數(shù)據(jù)分析的分布式數(shù)據(jù)存儲、分布式計(jì)算、批處理、內(nèi)存 計(jì)算等技術(shù)，能完全滿足各行業(yè)的企業(yè)大數(shù)據(jù)分析對數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)處理和分析等多方面的需求。

相對于項(xiàng)目體系架構(gòu)設(shè)計(jì)和產(chǎn)品研發(fā)的關(guān)鍵技術(shù)：支持國產(chǎn)操作系統(tǒng)軟件和國產(chǎn)化硬件、分布式數(shù)據(jù)存儲、大數(shù)據(jù)批處理分析、大數(shù)據(jù)內(nèi)存計(jì)算、大數(shù)據(jù)分析流處理等幾項(xiàng)技術(shù)進(jìn)行對比，國內(nèi)現(xiàn)有的產(chǎn)品中沒有一個可以全部覆蓋，特別是國產(chǎn)軟硬件支持、信息系統(tǒng)和信息環(huán)境安全可靠是本產(chǎn)品的突出優(yōu)勢。

本項(xiàng)目研發(fā)的產(chǎn)品將為行業(yè)客戶提供覆蓋大數(shù)據(jù)平臺建設(shè)、管理、維護(hù)全過程的一攬子解決方案。可在自主可控、安全可靠的基礎(chǔ)上為用戶降低建設(shè)和管理成本，提升金融企業(yè)對大數(shù)據(jù)的利用，降低系統(tǒng)信息安全風(fēng)險。采用國產(chǎn)及自主可控的軟硬件產(chǎn)品，相比于國外產(chǎn)品，用戶成本可顯著降低。

項(xiàng)目成果已經(jīng)在電力、金融和工業(yè)等領(lǐng)域進(jìn)行了應(yīng)用，相關(guān)性能和功能指標(biāo)完全可以滿足行業(yè)大數(shù)據(jù)管理和分析的需求，未來在相關(guān)技術(shù)方面還會進(jìn)行深入的研究，并推向更多的行業(yè)用戶。

參考文獻(xiàn)：

[1]陳錦銘，朱衛(wèi)平，郭雅娟等.配網(wǎng)故障輔助分析系統(tǒng)的設(shè)計(jì)與應(yīng)用[J].電力信息與通信技術(shù)，2015，13（6）：81-86.

[2]郭乃網(wǎng)，蘇運(yùn)，瞿海妮等.電力大數(shù)據(jù)安全體系架構(gòu)研究與應(yīng)用[J].中國電業(yè)（技術(shù)版）， 2016年04期：32-35.

[3]郭利根.科技創(chuàng)新推動銀行轉(zhuǎn)型[J].中國金融，2014（03）：13-14.