智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)技術(shù)研究

張瑞鵬

（大唐佛山熱電有限責(zé)任公司，廣東 佛山 528500）

0 引言

近年來，以計(jì)算機(jī)技術(shù)為工具的信息革命已經(jīng)滲透到每個(gè)行業(yè)與領(lǐng)域，同時(shí)為智慧燃?xì)怆姀S管理轉(zhuǎn)型提供了支撐與契機(jī)，能源發(fā)展早已趨向清潔化、智能化與信息化。在提高燃?xì)怆姀S經(jīng)濟(jì)效益和提供智能服務(wù)的社會(huì)需求下，智慧燃?xì)怆姀S應(yīng)運(yùn)而生。在保證智慧燃?xì)怆姀S正常運(yùn)行的條件下，如何降低建設(shè)成本、提高智能化管理水平是智慧燃?xì)怆姀S建設(shè)的重要內(nèi)容，因此對(duì)智慧燃?xì)怆姀S大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)展開研究意義重大。

1 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)概述

1.1 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的數(shù)據(jù)來源

隨著智慧燃?xì)怆姀S管理技術(shù)的不斷更新與完善，智慧燃?xì)怆姀S在實(shí)際運(yùn)行和管理過程中會(huì)產(chǎn)生一系列與之相關(guān)的數(shù)據(jù)，這些數(shù)據(jù)是構(gòu)建智慧燃?xì)怆姀S的數(shù)據(jù)來源。概括來說，智慧燃?xì)怆姀S在實(shí)際運(yùn)行和管理過程中所產(chǎn)生的數(shù)據(jù)主要分為生產(chǎn)數(shù)據(jù)與管理數(shù)據(jù)兩類。生產(chǎn)數(shù)據(jù)主要指各種設(shè)備在生產(chǎn)時(shí)被賦有的原始數(shù)據(jù)和實(shí)際生產(chǎn)過程中產(chǎn)生的數(shù)據(jù)，如儀器設(shè)備的基本參數(shù)、設(shè)備在運(yùn)行過程中產(chǎn)生的異常數(shù)據(jù)等，該部分?jǐn)?shù)據(jù)是構(gòu)建智慧燃?xì)怆姀S的重要數(shù)據(jù)來源之一。管理數(shù)據(jù)是連接多個(gè)行業(yè)的重要組成部分，不僅能夠第一時(shí)間掌握本系統(tǒng)各設(shè)備的基本運(yùn)行狀況，提高生產(chǎn)效率，同時(shí)也是實(shí)現(xiàn)與其他領(lǐng)域交叉融合的重要數(shù)據(jù)支撐，能夠?yàn)橹腔廴細(xì)怆姀S確定科學(xué)的基本運(yùn)行模式和上層決策提供相關(guān)依據(jù)。

1.2 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的架構(gòu)

智慧燃?xì)怆姀S的數(shù)據(jù)來源渠道眾多、信息復(fù)雜，為了更好地進(jìn)行數(shù)據(jù)信息挖掘和處理，筆者結(jié)合前人的研究設(shè)計(jì)了智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)架構(gòu)，具體如圖1 所示。

圖1 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)架構(gòu)

在該平臺(tái)中，智慧燃?xì)怆姀S所產(chǎn)生的數(shù)據(jù)經(jīng)過數(shù)據(jù)預(yù)處理及清洗等步驟，為后續(xù)作準(zhǔn)備。在數(shù)據(jù)處理的過程中，分層分環(huán)節(jié)進(jìn)行，不僅能提高效率，同時(shí)能減少成本，主要傳輸層包括以下方面。

1.2.1 數(shù)據(jù)采集層

該層主要完成數(shù)據(jù)的采集，包括在全部過程中所需要的實(shí)時(shí)數(shù)據(jù)、在實(shí)際運(yùn)行過程中所需要的數(shù)據(jù)及產(chǎn)生的數(shù)據(jù)，這是所有數(shù)據(jù)分析的來源。該層在采集數(shù)據(jù)的過程中，會(huì)依據(jù)不同的數(shù)據(jù)來源將其所采集的數(shù)據(jù)存儲(chǔ)在與之對(duì)應(yīng)的存儲(chǔ)單元中，這種方式不僅能實(shí)現(xiàn)最小的存儲(chǔ)空間，減少資源浪費(fèi)，同時(shí)還能夠?qū)崿F(xiàn)數(shù)據(jù)查詢，提高查詢效率。

1.2.2 數(shù)據(jù)傳輸處理層

該層主要完成從數(shù)據(jù)的采集到數(shù)據(jù)的傳輸，在傳輸過程中需要甄別數(shù)據(jù)的有效性、完整性等，同時(shí)對(duì)數(shù)據(jù)進(jìn)行多重驗(yàn)證和核對(duì)。在這一過程中通常使用的數(shù)據(jù)處理方法有數(shù)據(jù)分類、數(shù)據(jù)歸并及數(shù)據(jù)計(jì)算等。數(shù)據(jù)分類是把具有某種共同屬性或特征的數(shù)據(jù)整合在一起，通過其類別的屬性或特征對(duì)數(shù)據(jù)進(jìn)行區(qū)別。數(shù)據(jù)歸并是一種將所得數(shù)據(jù)按照不同屬性進(jìn)行劃分并進(jìn)行歸類的方法。數(shù)據(jù)歸并的方式不同，主要有遍歷歸并、排序歸并、分組歸并、聚合歸并及分頁歸并等。數(shù)據(jù)計(jì)算是數(shù)學(xué)、統(tǒng)計(jì)學(xué)和信息科學(xué)多學(xué)科交叉融合的應(yīng)用方法，需要掌握信息科學(xué)和統(tǒng)計(jì)學(xué)的基本理論、方法與技能。此外，常見的方法還有對(duì)數(shù)轉(zhuǎn)換、平方根轉(zhuǎn)換、平方根反正弦轉(zhuǎn)換、平方轉(zhuǎn)換及倒數(shù)轉(zhuǎn)換等。

1.2.3 數(shù)據(jù)存儲(chǔ)層

該層主要完成所有采集和處理后的數(shù)據(jù)的保存與管理，不僅方便各種數(shù)據(jù)訪問與共享，同時(shí)提高了數(shù)據(jù)保存的持久性與有效性，即使經(jīng)過較長時(shí)間，數(shù)據(jù)依舊可直接管理。數(shù)據(jù)存儲(chǔ)的本質(zhì)是將數(shù)據(jù)以某種格式記錄在計(jì)算機(jī)內(nèi)部或外部存儲(chǔ)介質(zhì)上。數(shù)據(jù)流反映了系統(tǒng)中流動(dòng)的數(shù)據(jù)，表現(xiàn)出動(dòng)態(tài)數(shù)據(jù)的特征。數(shù)據(jù)存儲(chǔ)反映系統(tǒng)中靜止的數(shù)據(jù)，表現(xiàn)出靜態(tài)數(shù)據(jù)的特征。常見的存儲(chǔ)方式有如下幾種：第一種為直接附加存儲(chǔ)（Direct-Attached Storage，DAS）方式，是指將外部設(shè)備直接放在服務(wù)器總線上的一種方式，同時(shí)數(shù)據(jù)存儲(chǔ)設(shè)備是整個(gè)服務(wù)器結(jié)構(gòu)的一部分。第二種為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)（Network Attached Storage，NAS）方式，這是一種采用獨(dú)立于服務(wù)器的單獨(dú)為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)所開發(fā)的服務(wù)器設(shè)備，單獨(dú)形成一個(gè)網(wǎng)絡(luò)，因此這些數(shù)據(jù)不再是服務(wù)器的附屬。第三種是網(wǎng)絡(luò)空間存儲(chǔ)方式，這是一種以光纖通道為基礎(chǔ)的存儲(chǔ)方式，通過將ANSI 和 I/O 設(shè)備接口建立在一個(gè)標(biāo)準(zhǔn)的接口上，實(shí)現(xiàn)多種高級(jí)協(xié)議的傳送。

1.2.4 業(yè)務(wù)處理層

該層主要完成各個(gè)模塊之間數(shù)據(jù)的處理，并按照要求將處理的數(shù)據(jù)上傳至數(shù)據(jù)中心。將前面所得的數(shù)據(jù)在該層處理，能滿足不同業(yè)務(wù)的實(shí)際需要，同時(shí)以此為基礎(chǔ)部署下一步計(jì)劃。

1.3 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的功能

智慧燃?xì)怆姀S通過建立一體化數(shù)據(jù)平臺(tái)，可形成一套完整的發(fā)現(xiàn)問題、分析問題和解決問題的管理機(jī)制。智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的功能主要體現(xiàn)在兩個(gè)方面：其一為擁有系統(tǒng)設(shè)備運(yùn)行過程中的所有基礎(chǔ)數(shù)據(jù)；其二為對(duì)所有的基礎(chǔ)數(shù)據(jù)進(jìn)行甄別和分析處理，作出科學(xué)合理的判斷，在對(duì)所有基礎(chǔ)數(shù)據(jù)分析的基礎(chǔ)上，為智慧燃?xì)怆姀S各項(xiàng)決策提供相關(guān)理論數(shù)據(jù)和分析支撐，實(shí)現(xiàn)高質(zhì)量管理。

2 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)中的關(guān)鍵技術(shù)

2.1 多源異構(gòu)數(shù)據(jù)整合與存儲(chǔ)技術(shù)

智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)對(duì)多源異構(gòu)數(shù)據(jù)應(yīng)具有良好的處理能力。智能燃?xì)怆姀S管理系統(tǒng)所產(chǎn)生的數(shù)據(jù)異常龐大，且數(shù)據(jù)本身具有復(fù)雜和多樣等特點(diǎn)，在存儲(chǔ)過程中需要滿足如下基本要求。首先，可同時(shí)高效率運(yùn)用實(shí)時(shí)和過往的數(shù)據(jù)，作為決定與決策的參考，甚至可以幫助企業(yè)得到不同系統(tǒng)中的數(shù)據(jù)，并發(fā)現(xiàn)其中存在的信息。其次，利用時(shí)間序列的友好數(shù)據(jù)結(jié)構(gòu)，使其結(jié)構(gòu)性能遠(yuǎn)優(yōu)于傳統(tǒng)系統(tǒng)，查詢時(shí)可利用大數(shù)據(jù)技術(shù)提高效率，加快系統(tǒng)的讀寫。最后，采取直接獲取數(shù)據(jù)的方式，可直接融合一個(gè)企業(yè)的全部數(shù)據(jù)進(jìn)行打包處理，減少因明確再生時(shí)間信號(hào)所需要的數(shù)據(jù)量。

2.2 數(shù)據(jù)修正與補(bǔ)充技術(shù)

該平臺(tái)采用時(shí)間序列模型獲取各種狀態(tài)的時(shí)間信息，將獲得的信息進(jìn)行數(shù)據(jù)判斷，若屬于異常信息，則會(huì)直接被丟掉；若屬于設(shè)備的基本組成信息，則會(huì)被存儲(chǔ)起來。智慧燃?xì)怆姀S在實(shí)際運(yùn)行的過程中會(huì)產(chǎn)生各種結(jié)構(gòu)類型的數(shù)據(jù)，這些數(shù)據(jù)之間存在不同程度的冗余和重復(fù)現(xiàn)象，利用數(shù)據(jù)修正與補(bǔ)充技術(shù)不僅能夠判斷數(shù)據(jù)的有效性，同時(shí)還能實(shí)現(xiàn)數(shù)據(jù)的簡化。經(jīng)過檢查判斷，數(shù)據(jù)的有效性大大提高。相較于傳統(tǒng)的噪聲點(diǎn)刪除的數(shù)據(jù)丟棄方式，該技術(shù)是在經(jīng)過多重條件復(fù)合判斷后做出的“客觀”處理方式，亦可通過網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算方式增強(qiáng)數(shù)據(jù)的有效性。

2.3 噪聲點(diǎn)缺失修正技術(shù)

一體化大數(shù)據(jù)平臺(tái)采用時(shí)間序列模型識(shí)別各狀態(tài)量的時(shí)間序列，在此過程中檢測出數(shù)據(jù)的異常模式，同時(shí)判斷異常數(shù)據(jù)是能提取設(shè)備故障信息的“有用數(shù)據(jù)”，還是可被清洗的“無用數(shù)據(jù)”。如果獲得的是由設(shè)備異常產(chǎn)生的數(shù)據(jù)，用時(shí)間序列噪聲點(diǎn)缺失修正技術(shù)即可將其擬合。在對(duì)數(shù)據(jù)進(jìn)行清洗時(shí)，可根據(jù)時(shí)間序列中的異常值種類選擇適合的修正公式，從而達(dá)到修正噪聲點(diǎn)數(shù)據(jù)和填補(bǔ)缺失值的目的。相較于傳統(tǒng)的修復(fù)機(jī)制，這種方法不帶有噪聲點(diǎn)和缺失值的數(shù)據(jù)，因此從根本上避免了時(shí)間序列中有用信息的丟失，更能有效反映原始時(shí)間序列的動(dòng)態(tài)變化。

2.4 數(shù)據(jù)智能預(yù)警與監(jiān)管技術(shù)

安全管理是智慧燃?xì)怆姀S管理的基礎(chǔ)保障，其具有明確的規(guī)定與規(guī)范。智慧燃?xì)怆姀S是在大數(shù)據(jù)基礎(chǔ)上設(shè)置全自動(dòng)管理系統(tǒng)，對(duì)實(shí)際運(yùn)行過程中的每個(gè)環(huán)節(jié)進(jìn)行監(jiān)督。此外，智慧燃?xì)怆姀S根據(jù)數(shù)據(jù)信息狀態(tài)可智能判斷設(shè)備是否處于正常狀態(tài)，當(dāng)處于非正常狀態(tài)時(shí)，智能系統(tǒng)會(huì)依據(jù)參數(shù)信息發(fā)出預(yù)警，提醒工作人員檢查設(shè)備狀態(tài)，及時(shí)發(fā)現(xiàn)問題并作出正確操作。與傳統(tǒng)數(shù)據(jù)分析技術(shù)相比，智能預(yù)警技術(shù)能夠在漸變性故障發(fā)生之前、劣化趨勢達(dá)到一定標(biāo)準(zhǔn)時(shí)及時(shí)報(bào)警，并提供該異常的具體變化趨勢和相關(guān)異常參數(shù)情況，供故障預(yù)警與分析。

3 智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的應(yīng)用

3.1 大數(shù)據(jù)信息的主要數(shù)據(jù)來源

智慧燃?xì)怆姀S在生產(chǎn)經(jīng)營過程中會(huì)產(chǎn)生海量的數(shù)據(jù)，一體化大數(shù)據(jù)平臺(tái)作為處理數(shù)據(jù)的關(guān)鍵平臺(tái)，其數(shù)據(jù)來源主要是生產(chǎn)數(shù)據(jù)和智慧燃?xì)怆姀S管理數(shù)據(jù)。其中，生產(chǎn)數(shù)據(jù)是指機(jī)組設(shè)備在生產(chǎn)過程中所產(chǎn)生的各種數(shù)據(jù)，具有較高的參考價(jià)值，其可以細(xì)分為有用數(shù)據(jù)、無用數(shù)據(jù)、消耗數(shù)據(jù)及其他數(shù)據(jù)。

3.2 依據(jù)平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)分層

智慧燃?xì)怆姀S的數(shù)據(jù)來源廣、數(shù)據(jù)結(jié)構(gòu)復(fù)雜及數(shù)據(jù)量大，直接存儲(chǔ)不僅不能發(fā)揮預(yù)期作用，同時(shí)還占用存儲(chǔ)空間，因此要將大量數(shù)據(jù)清洗后，挖掘內(nèi)部信息。在對(duì)每個(gè)數(shù)據(jù)環(huán)節(jié)的數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控后，對(duì)其進(jìn)行預(yù)處理，最終獲得篩選后的數(shù)據(jù)并導(dǎo)入。經(jīng)過數(shù)據(jù)庫整理后，獲得最終數(shù)據(jù)。

3.3 達(dá)到智能預(yù)警效果

當(dāng)系統(tǒng)出現(xiàn)異常情況時(shí)，一體化大數(shù)據(jù)平臺(tái)可通過大數(shù)據(jù)分析所獲得的數(shù)據(jù)情況，同時(shí)結(jié)合實(shí)際運(yùn)行狀態(tài)發(fā)出智能預(yù)警信號(hào)，由于已經(jīng)保存了數(shù)據(jù)記錄，所以平臺(tái)能夠?qū)崿F(xiàn)全過程的預(yù)測。此外，可根據(jù)設(shè)備發(fā)生異常情況的頻率對(duì)經(jīng)常發(fā)生異常情況的儀器設(shè)備進(jìn)行重點(diǎn)排查和檢測，同時(shí)及時(shí)更換，做到實(shí)時(shí)監(jiān)測與系統(tǒng)正常運(yùn)行相互促進(jìn)。

4 結(jié)語

智能燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)對(duì)于實(shí)現(xiàn)智慧燃?xì)怆姀S智能管理具有非常重要的意義，不僅能夠顯著提高智慧燃?xì)怆姀S的實(shí)際運(yùn)行效率，同時(shí)還能夠降低企業(yè)成本、提高企業(yè)效益，更重要的是能促進(jìn)行業(yè)發(fā)展。文章在前人研究的基礎(chǔ)上，首先闡述了一體化大數(shù)據(jù)平臺(tái)的基本理論，其次系統(tǒng)分析了在構(gòu)建一體化大數(shù)據(jù)平臺(tái)過程中可能需要的關(guān)鍵技術(shù)，最后研究了智慧燃?xì)怆姀S一體化大數(shù)據(jù)平臺(tái)的應(yīng)用，希望能夠加快我國智慧燃?xì)怆姀S的建設(shè)進(jìn)程，從而提高工作質(zhì)量，并將一體化大數(shù)據(jù)平臺(tái)廣泛運(yùn)用到實(shí)際中，以充分發(fā)揮其價(jià)值。