智慧企業(yè)大數(shù)據(jù)綜合分析平臺(tái)設(shè)計(jì)

李少飛 韓棟梁 賀霄琛

(中國(guó)電子科技集團(tuán)公司第二研究所,山西太原 030024)

0 引言

智慧企業(yè)是在傳統(tǒng)企業(yè)的數(shù)字化、信息化和智能化的基礎(chǔ)上,將先進(jìn)的信息技術(shù)、工業(yè)技術(shù)和管理技術(shù)深度融合,從而產(chǎn)生的新型企業(yè)組織形態(tài)和管理模式。通過(guò)智慧企業(yè)建設(shè)不僅可以促進(jìn)企業(yè)內(nèi)部生產(chǎn)關(guān)系的轉(zhuǎn)型升級(jí),還能進(jìn)一步釋放企業(yè)員工的創(chuàng)新創(chuàng)效活力,為企業(yè)提供可持續(xù)發(fā)展的源動(dòng)力。

隨著5G技術(shù)的快速發(fā)展,物聯(lián)網(wǎng)技術(shù)在智慧企業(yè)建設(shè)中得到廣泛應(yīng)用。同時(shí),不斷提升的工業(yè)設(shè)備智能化水平,也為智慧企業(yè)建設(shè)提供了良好的技術(shù)支撐。但眾多企業(yè)在信息化建設(shè)方面,均存在多系統(tǒng)、不統(tǒng)一、不全面的情況,沒(méi)有將信息孤島、數(shù)據(jù)碎片等問(wèn)題從根本上解決。因此,智慧企業(yè)的深入推進(jìn),必須要處理好企業(yè)各種海量數(shù)據(jù),確保各業(yè)務(wù)數(shù)據(jù)的量化和集成,實(shí)現(xiàn)平臺(tái)統(tǒng)一、管理智能協(xié)同[1]。

建設(shè)大數(shù)據(jù)綜合分析平臺(tái)可以對(duì)企業(yè)海量數(shù)據(jù)進(jìn)行清洗、分析及展示,將數(shù)據(jù)轉(zhuǎn)化為模型,植入大數(shù)據(jù)綜合分析平臺(tái)中,形成知識(shí)庫(kù)和監(jiān)測(cè)面板,提升運(yùn)維監(jiān)測(cè)能力。通過(guò)對(duì)數(shù)據(jù)進(jìn)行分析,還可以發(fā)現(xiàn)隱藏在海量數(shù)據(jù)中的潛在價(jià)值,對(duì)業(yè)務(wù)優(yōu)化、提升及指導(dǎo)業(yè)務(wù)方向有巨大的幫助。

1 系統(tǒng)總體設(shè)計(jì)

大數(shù)據(jù)綜合分析平臺(tái)系統(tǒng)總體架構(gòu)分為系統(tǒng)層和資源層,系統(tǒng)層從下至上分別為數(shù)據(jù)庫(kù)層、業(yè)務(wù)支撐層、業(yè)務(wù)系統(tǒng)層[2]。資源層包括云服務(wù)器、云存儲(chǔ)和各種網(wǎng)絡(luò)設(shè)備等。系統(tǒng)的總體架構(gòu)如圖1 所示。

圖1 系統(tǒng)總體架構(gòu)圖Fig.1 System overall architecture diagram

數(shù)據(jù)庫(kù)層對(duì)各個(gè)系統(tǒng)數(shù)據(jù)和采集數(shù)據(jù)進(jìn)行存儲(chǔ)和管理,然后業(yè)務(wù)支撐層對(duì)通用數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范,定義統(tǒng)一的編碼規(guī)則,保證企業(yè)數(shù)據(jù)的一致性,最后系統(tǒng)通過(guò)報(bào)表和看板方式展示采集并處理后的數(shù)據(jù),集成到領(lǐng)導(dǎo)決策系統(tǒng)中。同時(shí)系統(tǒng)將協(xié)同辦公、ERP系統(tǒng)、PLM 系統(tǒng)和MES系統(tǒng)鏈接集成到企業(yè)門戶里,實(shí)現(xiàn)系統(tǒng)單點(diǎn)登錄功能。

2 系統(tǒng)詳細(xì)設(shè)計(jì)

系統(tǒng)采用大規(guī)模分布式架構(gòu),融合大數(shù)據(jù)分析技術(shù),實(shí)現(xiàn)企業(yè)海量數(shù)據(jù)集中管理、結(jié)構(gòu)化處理、存儲(chǔ)、搜索、分析及可視化展現(xiàn)等功能[3]。

2.1 數(shù)據(jù)采集

通過(guò)系統(tǒng)集成采集各個(gè)系統(tǒng)數(shù)據(jù)和設(shè)備數(shù)據(jù),對(duì)于無(wú)法通過(guò)標(biāo)準(zhǔn)協(xié)議采集的數(shù)據(jù),自行研發(fā)Agent采集客戶端,確保數(shù)據(jù)采集范圍達(dá)到全量采集,滿足對(duì)于數(shù)據(jù)全面采集的需求。

同時(shí)數(shù)據(jù)采集要做到準(zhǔn)實(shí)時(shí),確保數(shù)據(jù)丟失率不超過(guò)0.01%。對(duì)于Agent客戶端需要支持遠(yuǎn)端統(tǒng)一集中管理,統(tǒng)一下發(fā)采集策略,啟動(dòng)和關(guān)停Agent。在非采集時(shí)間段,自動(dòng)關(guān)閉Agent進(jìn)程,確保對(duì)被采集端的影響降至最低。

2.2 數(shù)據(jù)處理

在系統(tǒng)管理頁(yè)面中能夠以可視、簡(jiǎn)便的方式對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理,支持常見(jiàn)的數(shù)據(jù)提取規(guī)范,如:正則表達(dá)式、JSON、Grok等。除常規(guī)數(shù)據(jù)處理方式外,自研函數(shù)處理規(guī)則,以補(bǔ)充標(biāo)準(zhǔn)數(shù)據(jù)處理規(guī)范的不足。自研函數(shù)至少能夠完成數(shù)據(jù)提取、組合、加密、轉(zhuǎn)換、丟棄、克隆、創(chuàng)建、判斷等動(dòng)作。

2.3 數(shù)據(jù)存儲(chǔ)

傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已不能滿足海量數(shù)據(jù)存儲(chǔ)的需求,因此系統(tǒng)使用分布式數(shù)據(jù)庫(kù),數(shù)據(jù)寫入規(guī)范符合國(guó)際標(biāo)準(zhǔn)。同時(shí),數(shù)據(jù)庫(kù)提供豐富的API接口,便于數(shù)據(jù)的查詢、調(diào)用及銷毀。

很多數(shù)據(jù)在經(jīng)歷一段時(shí)間的利用和挖掘后,逐漸失去分析的價(jià)值。對(duì)于這些數(shù)據(jù)系統(tǒng)將其壓縮并調(diào)度,存儲(chǔ)在價(jià)格低廉的低轉(zhuǎn)速硬盤,可以極大的提升數(shù)據(jù)的存儲(chǔ)能力和數(shù)據(jù)有效利用率。

2.4 數(shù)據(jù)搜索

對(duì)于存儲(chǔ)入庫(kù)的數(shù)據(jù),系統(tǒng)支持?jǐn)?shù)據(jù)搜索,具有獨(dú)特且易懂的數(shù)據(jù)搜索語(yǔ)言。系統(tǒng)支持模糊搜索、關(guān)鍵字搜素、判斷搜索和多條件組合搜索,搜索時(shí)效性高,數(shù)據(jù)返回時(shí)間能夠達(dá)到毫秒級(jí)。

數(shù)據(jù)搜索時(shí)間范圍可自定義,搜索時(shí)間精準(zhǔn)到秒。內(nèi)置常見(jiàn)的時(shí)間范圍,包括過(guò)去10分鐘、過(guò)去30分鐘、過(guò)去1 小時(shí)、過(guò)去1 天、過(guò)去7 天、所有日志,搜索結(jié)果可以導(dǎo)出,或者可直接將搜索結(jié)果以可視化圖表形式展示。

2.5 數(shù)據(jù)分析

系統(tǒng)具有數(shù)據(jù)建模功能,數(shù)據(jù)存儲(chǔ)結(jié)果能夠根據(jù)現(xiàn)實(shí)應(yīng)用場(chǎng)景自定義數(shù)據(jù)分析模型。依據(jù)數(shù)據(jù)分析模型,系統(tǒng)自動(dòng)生成數(shù)據(jù)分析結(jié)果。以結(jié)果導(dǎo)向來(lái)挖掘數(shù)據(jù)潛在價(jià)值,實(shí)現(xiàn)數(shù)據(jù)的深度應(yīng)用。

具體來(lái)說(shuō),系統(tǒng)能夠依托復(fù)雜組合條件進(jìn)行查詢,并將查詢結(jié)果依據(jù)特定算法進(jìn)行計(jì)算,算法方式至少包括:唯一計(jì)數(shù)、移動(dòng)平均線、擴(kuò)展統(tǒng)計(jì)、衍生、求和、平均值等。

2.6 數(shù)據(jù)可視化

數(shù)據(jù)分析結(jié)果支持可視化呈展現(xiàn),將數(shù)據(jù)以更加直觀的方式呈現(xiàn)出來(lái),清晰有效的傳達(dá)與溝通信息。可視化展現(xiàn)方式包括:統(tǒng)計(jì)圖、折線圖、柱狀圖、散點(diǎn)圖、餅圖、熱力圖、地圖、儀表盤等圖形結(jié)構(gòu)。圖形結(jié)構(gòu)支持自定義,包括顏色、粗細(xì)、填充色、告警顏色閾值、時(shí)間偏移等。

3 系統(tǒng)集成

在大數(shù)據(jù)綜合分析平臺(tái)中,需要頻繁的采集各個(gè)系統(tǒng)和設(shè)備的數(shù)據(jù),通過(guò)系統(tǒng)集成可以實(shí)現(xiàn)實(shí)時(shí)采集數(shù)據(jù)。針對(duì)不同的系統(tǒng)和設(shè)備,系統(tǒng)采用的集成方式也不同。系統(tǒng)集成如圖2 所示。

圖2 系統(tǒng)集成圖Fig.2 System integration diagram

3.1 集成方式

(1)OPC通訊。OPC(OLE for Process Control)通訊指用于過(guò)程控制的OLE,通過(guò)在工業(yè)設(shè)備開(kāi)發(fā)基于OPC協(xié)議的Agent采集客戶端與大數(shù)據(jù)綜合分析系統(tǒng)進(jìn)行通訊[4]。工業(yè)設(shè)備數(shù)據(jù)采集主要采取此種方式。

(2)數(shù)據(jù)庫(kù)通訊。數(shù)據(jù)庫(kù)通訊指大數(shù)據(jù)綜合分析系統(tǒng)采用創(chuàng)建遠(yuǎn)程數(shù)據(jù)庫(kù)的dblink(Database Link)方式,通過(guò)dblink就可以像訪問(wèn)本地?cái)?shù)據(jù)一樣訪問(wèn)遠(yuǎn)程數(shù)據(jù)庫(kù)表中的數(shù)據(jù)。ERP系統(tǒng)基礎(chǔ)數(shù)據(jù)采集與PLM系統(tǒng)數(shù)據(jù)采集主要采取此種方式。

(3)Http接口。Http接口走h(yuǎn)ttp協(xié)議,通過(guò)路徑來(lái)區(qū)分調(diào)用方法,常用的是get和post方法來(lái)請(qǐng)求,此集成方式簡(jiǎn)單快速且靈活。ERP系統(tǒng)業(yè)務(wù)數(shù)據(jù)采集主要采取此種方式。

(4)Web Service接口。Web Service走的soap協(xié)議,通過(guò)http傳輸,它使用xml消息格式來(lái)請(qǐng)求和傳遞數(shù)據(jù)。MES系統(tǒng)數(shù)據(jù)采集主要采取此種方式。

(5)Syslog協(xié)議。Syslog是一種工業(yè)標(biāo)準(zhǔn)的協(xié)議,可用來(lái)記錄設(shè)備的日志。所有網(wǎng)絡(luò)設(shè)備和安全設(shè)備通過(guò)Syslog協(xié)議,將日志信息以UDP方式傳送到大數(shù)據(jù)綜合分析系統(tǒng),系統(tǒng)將數(shù)據(jù)處理后存儲(chǔ)數(shù)據(jù)庫(kù)中。

3.2 集成內(nèi)容

(1)與ERP系統(tǒng)集成:與ERP系統(tǒng)集成采用數(shù)據(jù)庫(kù)集成和Http集成方式,采集信息主要包括物料基礎(chǔ)數(shù)據(jù)、訂單信息、客戶信息、供應(yīng)商信息、原材料及成品的出入庫(kù)單據(jù)、庫(kù)存盤點(diǎn)信息等數(shù)據(jù)信息。

(2)與PLM系統(tǒng)集成:與PLM系統(tǒng)集成采用數(shù)據(jù)庫(kù)集成方式,系統(tǒng)可采集PLM系統(tǒng)中的項(xiàng)目和合同信息,還可以采集設(shè)計(jì)圖紙、工藝文件、BOM清單等數(shù)據(jù)信息[5]。

(3)與MES系統(tǒng)集成:與MES系統(tǒng)集成采用Web Service集成方式,系統(tǒng)采集生產(chǎn)訂單、工藝數(shù)據(jù)、設(shè)備狀態(tài)信息、產(chǎn)品生產(chǎn)過(guò)程信息、關(guān)鍵物料信息、質(zhì)量信息、報(bào)警信息、環(huán)境數(shù)據(jù)等數(shù)據(jù)信息。

(4)與網(wǎng)絡(luò)與安全設(shè)備集成:通過(guò)Syslog協(xié)議采集網(wǎng)絡(luò)與安全設(shè)備系統(tǒng)日志,采集設(shè)備運(yùn)行數(shù)據(jù)、事件信息與故障信息等數(shù)據(jù)信息。

(5)與工業(yè)設(shè)備集成:通過(guò)自行研發(fā)的Agent采集客戶端,直接將采集數(shù)據(jù)存入系統(tǒng)數(shù)據(jù)庫(kù)中,主要采集設(shè)備的生產(chǎn)信息與故障信息等數(shù)據(jù)信息。

4 結(jié)語(yǔ)

在企業(yè)現(xiàn)有系統(tǒng)和設(shè)備基礎(chǔ)上,引入大數(shù)據(jù)綜合分析平臺(tái),通過(guò)各種集成方式采集企業(yè)海量數(shù)據(jù)并處理后,形成數(shù)據(jù)展示及領(lǐng)導(dǎo)決策面板,為指導(dǎo)管理和生產(chǎn)提供準(zhǔn)確及時(shí)的決策依據(jù),在加快智慧企業(yè)運(yùn)行的可靠性、安全性和先進(jìn)性方面具有重要的意義,并可取得可良好的經(jīng)濟(jì)效益和社會(huì)效益。