基于云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)設(shè)計(jì)和關(guān)鍵技術(shù)的研究

李夏光 張美然 朱旻

摘要：隨著云計(jì)算和大數(shù)據(jù)技術(shù)的快速發(fā)展，實(shí)時(shí)數(shù)據(jù)采集、存儲(chǔ)、處理及應(yīng)用已經(jīng)成為能源企業(yè)信息化建設(shè)的重要組成部分。本文針對(duì)云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)的采集和應(yīng)用提出了一種架構(gòu)設(shè)計(jì)及關(guān)鍵技術(shù)研究方案。首先，設(shè)計(jì)了一套基于云邊結(jié)合的數(shù)據(jù)采集系統(tǒng)，邊緣側(cè)進(jìn)行實(shí)時(shí)采集和處理，傳輸?shù)皆贫诉M(jìn)行集中存儲(chǔ)和管理。其次，對(duì)實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)處理和分析等關(guān)鍵技術(shù)進(jìn)行深入研究。最后，通過(guò)實(shí)際案例，說(shuō)明所提出的架構(gòu)設(shè)計(jì)和關(guān)鍵技術(shù)能夠有效解決實(shí)時(shí)數(shù)據(jù)采集問(wèn)題，具有較高的實(shí)用性和可行性。本研究提供了一種有效的云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)設(shè)計(jì)方法。

關(guān)鍵詞：實(shí)時(shí)數(shù)據(jù)；云邊協(xié)同；數(shù)據(jù)采集；數(shù)據(jù)傳輸；數(shù)據(jù)存儲(chǔ)

引言

隨著“云大物移智鏈”等新興技術(shù)的蓬勃發(fā)展，大型能源企業(yè)在物聯(lián)網(wǎng)技術(shù)的基礎(chǔ)上，融合人工智能、云邊協(xié)同技術(shù)等，構(gòu)建云、邊、端協(xié)同的一體化平臺(tái)，實(shí)現(xiàn)邊緣側(cè)實(shí)時(shí)數(shù)據(jù)的統(tǒng)一采集、云端匯聚、加工、計(jì)算和分析，支撐各類智能化應(yīng)用的建設(shè)，如組態(tài)監(jiān)測(cè)畫(huà)面、熱點(diǎn)數(shù)據(jù)即時(shí)發(fā)布、基于模型和算法等的預(yù)測(cè)分析、故障預(yù)警、數(shù)字孿生應(yīng)用等[1]。當(dāng)前常見(jiàn)的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)主要關(guān)注采集、傳輸和匯聚，缺少可以提供實(shí)時(shí)數(shù)據(jù)“采存算管用”全過(guò)程的完整架構(gòu)設(shè)計(jì)，存在的問(wèn)題如下。

（1）前期投入較高。前期包含采集設(shè)備、采集終端、數(shù)據(jù)匯聚機(jī)、數(shù)據(jù)傳輸鏈路、數(shù)據(jù)采集傳輸軟件等的建設(shè)成本較高。這些成本既包含軟硬件成本，也包含邊緣側(cè)實(shí)施的成本，如采集設(shè)備的調(diào)試、測(cè)點(diǎn)的校對(duì)和核驗(yàn)對(duì)點(diǎn)、采集鏈路和軟件的調(diào)試和本地化集成等。

（2）數(shù)據(jù)治理難度大。要確保實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確有效，需要專業(yè)人員定期或及時(shí)地對(duì)測(cè)點(diǎn)或設(shè)備信息進(jìn)行更新維護(hù)，并且確保測(cè)點(diǎn)及設(shè)備信息與采集匯聚端的信息一致。此外，對(duì)于設(shè)備故障、網(wǎng)絡(luò)中斷、軟件程序出問(wèn)題等情況，需要采用數(shù)據(jù)校驗(yàn)、數(shù)據(jù)斷點(diǎn)續(xù)傳以及鏈路監(jiān)控等技術(shù)手段，確保數(shù)據(jù)完整、準(zhǔn)確地采集、傳輸和存儲(chǔ)。

（3）數(shù)據(jù)存儲(chǔ)和處理要求高。對(duì)于數(shù)據(jù)匯聚端，由于可能需要同時(shí)對(duì)接并匯聚幾十、上百個(gè)邊緣側(cè)數(shù)據(jù)采集節(jié)點(diǎn)的數(shù)據(jù)，每個(gè)邊緣側(cè)數(shù)據(jù)采集節(jié)點(diǎn)，如火電廠可能具有十幾萬(wàn)測(cè)點(diǎn)，這些節(jié)點(diǎn)均集中傳輸并匯聚在中心節(jié)點(diǎn)，這就需要數(shù)據(jù)匯聚端具有海量數(shù)據(jù)的傳輸、處理、存儲(chǔ)和加工計(jì)算能力，對(duì)計(jì)算機(jī)性能、存儲(chǔ)容量、架構(gòu)的合理性提出了更高的要求。

開(kāi)展實(shí)時(shí)數(shù)據(jù)采集架構(gòu)的研究，對(duì)于實(shí)時(shí)數(shù)據(jù)的及時(shí)性、準(zhǔn)確性、完整性、預(yù)見(jiàn)性和可追溯性等方面都具有重要的意義。

1. 總體架構(gòu)

1.1 架構(gòu)設(shè)計(jì)的要點(diǎn)

實(shí)時(shí)數(shù)據(jù)采集架構(gòu)的設(shè)計(jì)要點(diǎn)為：總體技術(shù)架構(gòu)向邊緣智能、云邊協(xié)同發(fā)展。通過(guò)技術(shù)標(biāo)準(zhǔn)化，管理規(guī)范化，硬件通用化實(shí)現(xiàn)統(tǒng)一、規(guī)范、降低成本。通過(guò)軟件定義邊緣設(shè)備實(shí)現(xiàn)軟硬件解耦，提供更靈活、更強(qiáng)的服務(wù)能力。通過(guò)對(duì)實(shí)時(shí)數(shù)據(jù)測(cè)點(diǎn)元數(shù)據(jù)的管理和治理，確保數(shù)據(jù)的準(zhǔn)確性、有效性[2]。包括以下幾個(gè)方面。

（1）邊緣智能和云邊協(xié)同。邊緣計(jì)算既靠近執(zhí)行單元，也是云端所需高價(jià)值數(shù)據(jù)的采集和初步處理單元，可以更好地支撐云端應(yīng)用；反之，云端可以通過(guò)大數(shù)據(jù)分析優(yōu)化輸出的業(yè)務(wù)規(guī)則或模型可以下發(fā)到邊緣側(cè)，邊緣計(jì)算基于新的業(yè)務(wù)規(guī)則或模型運(yùn)行。基于云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)采集，可以將實(shí)時(shí)數(shù)據(jù)的測(cè)點(diǎn)元數(shù)據(jù)統(tǒng)一到云端進(jìn)行標(biāo)準(zhǔn)化規(guī)范化管理和維護(hù)，通過(guò)云邊協(xié)同，將測(cè)點(diǎn)元數(shù)據(jù)信息按照邊緣節(jié)點(diǎn)下發(fā)到對(duì)應(yīng)的邊緣節(jié)點(diǎn)的采集程序中，由其完成采集和與元數(shù)據(jù)的綁定。

（2）軟件定義邊緣設(shè)備。邊緣節(jié)點(diǎn)的實(shí)時(shí)數(shù)據(jù)采集，一般均需要在邊緣節(jié)點(diǎn)部署硬件服務(wù)器，在服務(wù)器上安裝部署采集程序、數(shù)據(jù)處理程序和數(shù)據(jù)匯聚上傳程序。一個(gè)大型能源企業(yè)可能有幾十至幾百家這樣的邊緣節(jié)點(diǎn)，綜合起來(lái)，硬件等設(shè)備的投入是一筆很大的支出。因此，可以采用軟件定義邊緣設(shè)備的方法，一方面可以充分利用舊邊緣側(cè)已有的服務(wù)器資源；另一方面，可以更靈活地提供邊緣節(jié)點(diǎn)的采集服務(wù)器，通過(guò)軟件定義的方式，采集服務(wù)器不僅承擔(dān)數(shù)據(jù)采集匯聚等功能，還可以為邊緣計(jì)算等各類應(yīng)用提供服務(wù)。相比傳統(tǒng)的虛擬化和單獨(dú)的程序設(shè)計(jì)，軟件定義的方式更加注重模塊化的應(yīng)用程序開(kāi)發(fā)方法。同時(shí)，軟件定義的邊緣設(shè)備可以根據(jù)應(yīng)用程序的需求自動(dòng)調(diào)整資源，提供更好的性能和可靠性。

（3）基于云邊協(xié)同的測(cè)點(diǎn)元數(shù)據(jù)管理和治理?？梢圆捎弥贫ńy(tǒng)一邏輯測(cè)點(diǎn)元數(shù)據(jù)標(biāo)準(zhǔn)，邊緣側(cè)對(duì)點(diǎn)的方法。邏輯測(cè)點(diǎn)可以消除實(shí)際機(jī)組、設(shè)備等的個(gè)性化差異。通過(guò)數(shù)據(jù)治理工具平臺(tái)進(jìn)行邏輯測(cè)點(diǎn)的對(duì)點(diǎn)實(shí)施工作，各個(gè)邊緣節(jié)點(diǎn)由設(shè)備測(cè)點(diǎn)管理人員將實(shí)際測(cè)點(diǎn)信息關(guān)聯(lián)到邏輯測(cè)點(diǎn)。

1.2 實(shí)時(shí)數(shù)據(jù)采集架構(gòu)

實(shí)時(shí)數(shù)據(jù)采集架構(gòu)如圖1所示，整體的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)由云端和邊緣側(cè)組成。云和邊之間通過(guò)應(yīng)用協(xié)同、數(shù)據(jù)協(xié)同和資源協(xié)同進(jìn)行連接。邊緣側(cè)分散建設(shè)，節(jié)點(diǎn)位置靠近用戶，就近計(jì)算，可用于處理局部性、高實(shí)時(shí)、短周期、安全敏感性高的數(shù)據(jù)[3]。云端集約建設(shè)，計(jì)算節(jié)點(diǎn)能力較強(qiáng)，集中計(jì)算，承載通用業(yè)務(wù)，實(shí)現(xiàn)全局性、非實(shí)時(shí)、長(zhǎng)周期的大數(shù)據(jù)處理與分析。

對(duì)于大型能源企業(yè)的生產(chǎn)單位，如火電業(yè)務(wù)的電廠、化工業(yè)務(wù)的化工廠、煤炭業(yè)務(wù)的煤礦、新能源的區(qū)域集控中心等單位均定位為邊緣側(cè)；云端主要是企業(yè)的云數(shù)據(jù)中心。

（1）數(shù)據(jù)采集：在邊緣側(cè)實(shí)現(xiàn)設(shè)備運(yùn)行數(shù)據(jù)的采集、集成和設(shè)備的自動(dòng)化控制，控制的指令來(lái)源于邊緣計(jì)算，在靠近設(shè)備和數(shù)據(jù)源端，以毫秒甚至納秒級(jí)的數(shù)據(jù)采集、計(jì)算，智能地發(fā)出控制指令。邊緣層整體上需要滿足實(shí)時(shí)數(shù)據(jù)源數(shù)據(jù)接入、協(xié)議轉(zhuǎn)換、數(shù)據(jù)按照時(shí)延的上傳、邊緣數(shù)據(jù)處理等要求。邊緣側(cè)采集數(shù)據(jù)，根據(jù)云端上行接口規(guī)范將邊緣側(cè)數(shù)據(jù)經(jīng)過(guò)壓縮、加密、序列化后，上傳至云端匯集。

（2）云邊協(xié)同：在邊緣側(cè)與云端之間通過(guò)云邊協(xié)同合理分配中心云計(jì)算與邊緣云計(jì)算任務(wù)，處理協(xié)同工作和數(shù)據(jù)交互。邊緣設(shè)備可以處理實(shí)時(shí)數(shù)據(jù)，減少數(shù)據(jù)傳輸延遲和帶寬占用。邊緣設(shè)備也可以支持更復(fù)雜的計(jì)算任務(wù)和大規(guī)模的數(shù)據(jù)處理，即將處理后的數(shù)據(jù)發(fā)送到云端進(jìn)行進(jìn)一步的分析和存儲(chǔ)。云邊協(xié)同過(guò)程中，從不同邊緣感知終端向前接入邊緣云節(jié)點(diǎn)，在本地算力基礎(chǔ)上實(shí)現(xiàn)業(yè)務(wù)處理和輸出，對(duì)于本地?zé)o法處理的數(shù)據(jù)和業(yè)務(wù)，則通過(guò)邊云協(xié)同匯入中心云節(jié)點(diǎn)，實(shí)現(xiàn)業(yè)務(wù)協(xié)同。

（3）數(shù)據(jù)接入：邊緣側(cè)將采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行匯聚、序列化、壓縮、加密，然后發(fā)送給云端。云端匯集機(jī)接收到邊緣側(cè)傳輸?shù)膶?shí)時(shí)數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行解密、解壓縮、反序列化，然后寫(xiě)入分布式消息隊(duì)列。

（4）數(shù)據(jù)處理及存儲(chǔ)：云端的消息隊(duì)列獲取邊緣側(cè)上報(bào)的實(shí)時(shí)數(shù)據(jù)后，可將數(shù)據(jù)保存在云端實(shí)時(shí)數(shù)據(jù)的歷史數(shù)據(jù)存儲(chǔ)模塊和熱點(diǎn)數(shù)據(jù)存儲(chǔ)模塊。

（5）數(shù)據(jù)加工計(jì)算：可根據(jù)數(shù)據(jù)治理對(duì)于實(shí)時(shí)數(shù)據(jù)處理規(guī)則對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行加工計(jì)算。

（6）數(shù)據(jù)管理：提供實(shí)時(shí)數(shù)據(jù)測(cè)點(diǎn)管理、測(cè)點(diǎn)數(shù)據(jù)查詢等查詢服務(wù)；實(shí)時(shí)數(shù)據(jù)的測(cè)點(diǎn)元數(shù)據(jù)統(tǒng)一在云端的數(shù)據(jù)治理平臺(tái)中管理維護(hù)；通過(guò)云邊協(xié)同下發(fā)給邊緣側(cè)采集匯聚程序以及云端實(shí)時(shí)數(shù)據(jù)匯聚程序。

（7）數(shù)據(jù)服務(wù)：云端提供統(tǒng)一的數(shù)據(jù)接口服務(wù)，支持跨平臺(tái)、多語(yǔ)言、多協(xié)議、多種序列化等服務(wù)方式；滿足海量實(shí)時(shí)數(shù)據(jù)訪問(wèn)要求，提供海量實(shí)時(shí)數(shù)據(jù)流處理、交互式查詢和批處理數(shù)據(jù)服務(wù)。

2. 關(guān)鍵技術(shù)

2.1 數(shù)據(jù)采集技術(shù)

數(shù)據(jù)采集主要包括數(shù)據(jù)格式制定、采集集群搭建、數(shù)據(jù)緩沖和數(shù)據(jù)處理等。數(shù)據(jù)采集的部署，根據(jù)測(cè)點(diǎn)數(shù)量以及網(wǎng)絡(luò)限制等，可以采用單機(jī)或集群化部署。數(shù)據(jù)采集應(yīng)基于高效、穩(wěn)定、高可用性、可擴(kuò)展性的原則，保證采集服務(wù)7×24小時(shí)可用，實(shí)現(xiàn)數(shù)據(jù)采集過(guò)程中數(shù)據(jù)堆積量可控，單臺(tái)服務(wù)宕機(jī)不影響數(shù)據(jù)正常傳輸，整個(gè)傳輸過(guò)程無(wú)單點(diǎn)故障；同時(shí)將當(dāng)前時(shí)刻最新的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)在內(nèi)存數(shù)據(jù)庫(kù)中，滿足監(jiān)控類應(yīng)用的快速響應(yīng)需求；數(shù)據(jù)通信采用TCP協(xié)議，斷點(diǎn)重連機(jī)制依靠心跳和接收端的負(fù)載均衡策略，保證整個(gè)采集架構(gòu)的高可用；采用流數(shù)據(jù)處理技術(shù)，實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)質(zhì)量，具體架構(gòu)如圖2所示。

數(shù)據(jù)采集應(yīng)滿足多業(yè)務(wù)源異構(gòu)數(shù)據(jù)采集：支持?jǐn)?shù)據(jù)庫(kù)API接口、OPC協(xié)議、IEC/TCP/UDP/RTU/FTP等通信規(guī)約、WEBAPI、定制接口開(kāi)發(fā)等多種數(shù)據(jù)源的采集；實(shí)現(xiàn)普通維護(hù)人員易用配置便利采集；提供對(duì)采集的數(shù)據(jù)進(jìn)行過(guò)濾、加密、壓縮、緩存、斷點(diǎn)續(xù)傳、統(tǒng)計(jì)計(jì)算、異常數(shù)據(jù)分析判斷等優(yōu)化處理。

2.2 數(shù)據(jù)傳輸技術(shù)

實(shí)時(shí)數(shù)據(jù)的傳輸一般要求在網(wǎng)絡(luò)帶寬有限的情況下，更高效、更快速、更靈活地處理數(shù)據(jù)流。因此，可以采用PROTOBUF序列化的方法，將數(shù)據(jù)進(jìn)行序列化處理，在云端接收后，再進(jìn)行反序列化處理，具體流程圖如圖3所示。

傳輸數(shù)據(jù)的壓縮，為了使傳輸?shù)臄?shù)據(jù)量盡可能地小，可以采用數(shù)據(jù)壓縮的方式對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，壓縮算法可以采用DEFLATE算法，減少傳輸?shù)臄?shù)據(jù)量。

傳輸數(shù)據(jù)的加解密，為了保證傳輸數(shù)據(jù)的安全性，可以采用3DES加解密算法對(duì)數(shù)據(jù)進(jìn)行加解密處理。

數(shù)據(jù)在云端接收后，存儲(chǔ)到時(shí)序數(shù)據(jù)庫(kù)或者列式存儲(chǔ)數(shù)據(jù)庫(kù)之前，為了進(jìn)一步降低占用的存儲(chǔ)容量，可以再次進(jìn)行壓縮，可以采用旋轉(zhuǎn)門(mén)壓縮（SDT）的方式壓縮數(shù)據(jù)。因?yàn)閷?shí)時(shí)數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大，數(shù)據(jù)臨近度高，采用旋轉(zhuǎn)門(mén)壓縮，利用其線性擬合算法，具有效率高、壓縮比高、實(shí)現(xiàn)簡(jiǎn)單、誤差可控制的優(yōu)點(diǎn)。

數(shù)據(jù)的斷點(diǎn)續(xù)傳，邊緣側(cè)和云端的數(shù)據(jù)通信采用TCP協(xié)議，斷點(diǎn)重連機(jī)制依靠心跳和接收端的負(fù)載均衡策略，保證整個(gè)采集架構(gòu)的高可用。主要通過(guò)心跳機(jī)制、斷點(diǎn)重連機(jī)制和負(fù)載均衡策略這三方面保證數(shù)據(jù)傳輸沒(méi)有單點(diǎn)故障，單點(diǎn)故障后數(shù)據(jù)不丟失。數(shù)據(jù)中斷后，邊緣側(cè)會(huì)有緩存中未發(fā)送成功的數(shù)據(jù)，待網(wǎng)絡(luò)連接成功后會(huì)繼續(xù)發(fā)送當(dāng)前的數(shù)據(jù)，并在發(fā)現(xiàn)連接成功后啟動(dòng)新的數(shù)據(jù)發(fā)送線程，向特定的歷史數(shù)據(jù)處理服務(wù)器端口發(fā)送數(shù)據(jù)，保證歷史數(shù)據(jù)不丟失，且當(dāng)前數(shù)據(jù)能保證穩(wěn)定發(fā)送。

2.3 數(shù)據(jù)存儲(chǔ)技術(shù)

實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)，主要解決海量實(shí)時(shí)和歷史數(shù)據(jù)高吞吐量及高容錯(cuò)的集中存儲(chǔ)的需求，實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)一般采用的是混合架構(gòu)，以傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、鍵值數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)及分布式文件系統(tǒng)為主。實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)需要具備數(shù)據(jù)分級(jí)存儲(chǔ)的能力，可以將一定期限內(nèi)的數(shù)據(jù)看作熱數(shù)據(jù)，保存在高性能存儲(chǔ)介質(zhì)上，以支持即時(shí)、高效分析查詢的需要；而將訪問(wèn)相對(duì)不太頻繁且時(shí)效性要求不高的數(shù)據(jù)，存放至相對(duì)低成本的如對(duì)象存儲(chǔ)等介質(zhì)上；將幾乎不會(huì)訪問(wèn)的數(shù)據(jù)以歸檔存儲(chǔ)的形式存放到最低成本的歸檔存儲(chǔ)介質(zhì)上，在保證盡可能低成本的前提下，滿足數(shù)據(jù)的存儲(chǔ)時(shí)長(zhǎng)要求，具體架構(gòu)如圖4所示。

2.4 數(shù)據(jù)處理和分析技術(shù)

數(shù)據(jù)處理和分析主要包括實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)分析計(jì)算等，如圖5所示。

（1）實(shí)時(shí)數(shù)據(jù)處理：采用實(shí)時(shí)計(jì)算技術(shù)，依據(jù)數(shù)據(jù)范圍、數(shù)據(jù)閾值、數(shù)據(jù)變化區(qū)間等設(shè)計(jì)的數(shù)據(jù)質(zhì)量校驗(yàn)?zāi)Ｐ?，?shí)時(shí)監(jiān)測(cè)數(shù)據(jù)質(zhì)量。對(duì)于沒(méi)有通過(guò)校驗(yàn)的數(shù)據(jù)，記錄為異常數(shù)據(jù)；已預(yù)設(shè)處理邏輯的，按照處理邏輯流程進(jìn)行處理；沒(méi)有預(yù)設(shè)處理邏輯的，由人工核查處理。為了更高效地對(duì)海量實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，通過(guò)數(shù)據(jù)特征預(yù)處理模型，在接收實(shí)時(shí)數(shù)據(jù)時(shí)，進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)后，為數(shù)據(jù)打上時(shí)間、空間、物理維度等特征標(biāo)記，便于后續(xù)數(shù)據(jù)分析時(shí)，依據(jù)這些特征標(biāo)記進(jìn)行分類。

（2）數(shù)據(jù)分析計(jì)算：根據(jù)業(yè)務(wù)需要，基于典型業(yè)務(wù)應(yīng)用場(chǎng)景進(jìn)行如優(yōu)化運(yùn)行、異常預(yù)警、故障診斷、安全、環(huán)保等基于模型的數(shù)據(jù)分析計(jì)算處理，為主題分析、要素畫(huà)像等提供數(shù)據(jù)支撐。在進(jìn)行數(shù)據(jù)分析計(jì)算之前，還可以通過(guò)大數(shù)據(jù)倉(cāng)庫(kù)或者分析型數(shù)據(jù)庫(kù)，如Hive或者ClickHouse等，對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)匯聚，形成更便于分析計(jì)算使用的主題數(shù)據(jù)。

結(jié)語(yǔ)

云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)和關(guān)鍵技術(shù)研究，建立了一套完整的實(shí)時(shí)數(shù)據(jù)的“采存算管用”技術(shù)架構(gòu)，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的及時(shí)、準(zhǔn)確和有效采集、匯聚及應(yīng)用，在大型能源企業(yè)中進(jìn)行了實(shí)踐應(yīng)用，在3個(gè)月時(shí)間內(nèi)，實(shí)現(xiàn)了20多家省級(jí)公司、近150家電廠的將近400臺(tái)機(jī)組約15萬(wàn)個(gè)測(cè)點(diǎn)的火電實(shí)時(shí)數(shù)據(jù)采集工作。實(shí)現(xiàn)了全集團(tuán)火電實(shí)時(shí)數(shù)據(jù)的統(tǒng)一、標(biāo)準(zhǔn)、規(guī)范地采集和存儲(chǔ)，為各類火電智能化應(yīng)用和設(shè)備診斷分析等提供實(shí)時(shí)數(shù)據(jù)支撐服務(wù)。未來(lái)的云邊協(xié)同的實(shí)時(shí)數(shù)據(jù)采集架構(gòu)，可以在以下幾個(gè)方面進(jìn)一步開(kāi)展研究和深化應(yīng)用。

（1）加強(qiáng)研究軟件定義機(jī)器、虛擬化、容器、分布式計(jì)算等邊緣計(jì)算關(guān)鍵技術(shù)；研發(fā)設(shè)計(jì)適合于邊緣節(jié)點(diǎn)，占用少量計(jì)算資源和存儲(chǔ)資源的輕量級(jí)算法、程序庫(kù)、并行編程模型、開(kāi)發(fā)框架和工具包。

（2）研究制定邊緣側(cè)節(jié)點(diǎn)的架構(gòu)模型、部署方式、南北向數(shù)據(jù)接口（用于云端協(xié)同）東西向數(shù)據(jù)接口（用于節(jié)點(diǎn)間協(xié)同）等相關(guān)技術(shù)標(biāo)準(zhǔn)。

（3）研究實(shí)時(shí)數(shù)據(jù)治理方式，針對(duì)測(cè)點(diǎn)和設(shè)備損壞、更換、維修等情況，通過(guò)實(shí)時(shí)數(shù)據(jù)治理及時(shí)、動(dòng)態(tài)、準(zhǔn)確地更新元數(shù)據(jù)、數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則等，確保傳輸?shù)膶?shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和有效性。

參考文獻(xiàn)：

[1]柳美，李夏光，高偉.基于數(shù)據(jù)底座的生產(chǎn)運(yùn)營(yíng)協(xié)同調(diào)度統(tǒng)計(jì)分析系統(tǒng)架構(gòu)設(shè)計(jì)[J].電子技術(shù)與軟件工程，2022（12）：226-229.

[2]孔令娜，郭會(huì)明，焦函.一種面向數(shù)據(jù)采集任務(wù)的云邊協(xié)同計(jì)算框架[J].數(shù)字技術(shù)與應(yīng)用，2021，39（2）：165-167.

[3]招景明，張捷，宋鵬，等.一種高效的基于云邊端協(xié)同的電力數(shù)據(jù)采集系統(tǒng)[J].電網(wǎng)與清潔能源，2022，38（5）：49-55.

作者簡(jiǎn)介：李夏光，本科，研究方向：系統(tǒng)架構(gòu)。