面向數(shù)字電網(wǎng)的基于容器技術(shù)的邊緣計(jì)算數(shù)據(jù)處理機(jī)制

楊漾，敖知琪，劉佳，陳若，江瑾

(1. 南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司平臺(tái)安全分公司，廣州510663；2. 南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司數(shù)字電網(wǎng)分公司，廣州510663；3. 南方電網(wǎng)深圳數(shù)字電網(wǎng)研究院有限公司，廣東 深圳518052)

0 引言

2018年4月，在全國網(wǎng)絡(luò)安全和信息化工作會(huì)議上，習(xí)近平總書記提出“推動(dòng)產(chǎn)業(yè)數(shù)字化，對(duì)傳統(tǒng)產(chǎn)業(yè)進(jìn)行全方位、全角度和全鏈條的改造，提高全要素生產(chǎn)率，釋放數(shù)字對(duì)經(jīng)濟(jì)發(fā)展的放大、疊加、倍增作用”[1]。2019年1月，國家電網(wǎng)提出“三型兩網(wǎng)”發(fā)展戰(zhàn)略，明確提出運(yùn)營好“堅(jiān)強(qiáng)智能電網(wǎng)，泛在電力物聯(lián)網(wǎng)”的發(fā)展目標(biāo)，將充分利用移動(dòng)互聯(lián)、人工智能等現(xiàn)代化信息技術(shù)，實(shí)現(xiàn)電力系統(tǒng)各環(huán)節(jié)萬物互聯(lián)，建設(shè)具有狀態(tài)全面感知、信息高效處理和應(yīng)用便捷特征的智慧服務(wù)系統(tǒng)[2]。2019年4月，南方電網(wǎng)公司制定了《公司數(shù)字化轉(zhuǎn)型和數(shù)字南網(wǎng)建設(shè)行動(dòng)方案(2019年版)》，提出了數(shù)字南網(wǎng)的建設(shè)目標(biāo)，利用數(shù)據(jù)驅(qū)動(dòng)對(duì)公司業(yè)務(wù)、流程和服務(wù)進(jìn)行優(yōu)化完善，促進(jìn)電網(wǎng)管理、業(yè)務(wù)和商業(yè)模式轉(zhuǎn)型，提升公司生產(chǎn)力[3]。

麻省理工學(xué)院自動(dòng)識(shí)別實(shí)驗(yàn)室的物聯(lián)網(wǎng)合作研究計(jì)劃(ICRI)中提出了物聯(lián)網(wǎng)技術(shù)(Internet of Things，IOT)，通過各種接入網(wǎng)與互聯(lián)網(wǎng)，將各種信息傳感設(shè)備(如傳感器網(wǎng)絡(luò)、射頻標(biāo)簽閱讀裝置、條碼與二維碼設(shè)備、全球定位系統(tǒng)和短距無線自組織網(wǎng)絡(luò)等)結(jié)合起來，形成的一個(gè)巨大智能網(wǎng)絡(luò)[4]。大量“萬物互聯(lián)”的智能設(shè)備運(yùn)行時(shí)會(huì)產(chǎn)生海量的數(shù)據(jù)，這些數(shù)據(jù)在云計(jì)算側(cè)無法被高效的存儲(chǔ)和處理，如何高效存儲(chǔ)和處理數(shù)據(jù)是具備分布式處理能力的邊緣計(jì)算模型[5]研究的關(guān)鍵問題。

在泛在電力物聯(lián)網(wǎng)和數(shù)字電網(wǎng)中[6 - 7]，物聯(lián)網(wǎng)和邊緣計(jì)算技術(shù)都是當(dāng)前電力產(chǎn)業(yè)“源-網(wǎng)-荷-儲(chǔ)”各環(huán)節(jié)信息流的采集、處理工作的最核心環(huán)節(jié)。數(shù)字電網(wǎng)是基于云架構(gòu)與電網(wǎng)末端設(shè)備，通過物聯(lián)網(wǎng)聯(lián)接各類監(jiān)測(cè)以及自動(dòng)化終端，通過大數(shù)據(jù)中心和數(shù)字電網(wǎng)平臺(tái)以構(gòu)建電網(wǎng)管理、調(diào)度運(yùn)行、運(yùn)營管控和客戶服務(wù)等一系列柔性應(yīng)用。

本文針對(duì)數(shù)字電網(wǎng)場(chǎng)景，提出了一種基于容器技術(shù)的邊緣計(jì)算數(shù)據(jù)處理模型，采用云邊協(xié)同的邊緣側(cè)數(shù)據(jù)處理架構(gòu)，對(duì)基于容器技術(shù)的邊緣計(jì)算嵌入式數(shù)據(jù)庫及云邊數(shù)據(jù)同步的關(guān)鍵技術(shù)進(jìn)行研究，提出一種根據(jù)事務(wù)操作優(yōu)先級(jí)對(duì)事務(wù)進(jìn)行數(shù)據(jù)篩選和重構(gòu)機(jī)制，并進(jìn)行基于容器技術(shù)的嵌入式數(shù)據(jù)庫的性能研究測(cè)試及云邊協(xié)同的數(shù)據(jù)同步試驗(yàn)研究。

1 數(shù)據(jù)采集及處理模型

邊緣計(jì)算類型包括5G分片技術(shù)[8]、云計(jì)算任務(wù)遷移、視頻監(jiān)控[9]、環(huán)境及設(shè)備類監(jiān)測(cè)[10]、智能分析和輔助決策類計(jì)算任務(wù)類型[11]。容器技術(shù)在邊緣計(jì)算節(jié)點(diǎn)應(yīng)用端能夠有效隔離不同用戶的使用環(huán)境及服務(wù)環(huán)境[12]，數(shù)據(jù)處理框架具有敏捷、高效、可控制性強(qiáng)、可移植性強(qiáng)、標(biāo)準(zhǔn)化強(qiáng)、安全性強(qiáng)等特點(diǎn)?；谌萜骷夹g(shù)的典型邊緣計(jì)算場(chǎng)景如圖1所示。邊緣計(jì)算設(shè)備可以產(chǎn)生和消費(fèi)數(shù)據(jù)，功能包括數(shù)據(jù)通信、計(jì)算、歸集及處理。為滿足多源數(shù)據(jù)處理要求，邊緣計(jì)算的核心處理設(shè)備通常采用容器[12]技術(shù)。容器內(nèi)應(yīng)用具有相對(duì)單一、不涉及復(fù)雜的跨數(shù)據(jù)庫操作的特點(diǎn)。

圖1 基于容器技術(shù)的電網(wǎng)邊緣計(jì)算場(chǎng)景Fig.1 Edge computing scene of power grid based on container technology

多源數(shù)據(jù)采集及分析的邊緣計(jì)算如圖2所示。數(shù)據(jù)通過通信模塊匯集至邊緣計(jì)算設(shè)備中，邊緣計(jì)算設(shè)備通過同步該操作完成云邊數(shù)據(jù)協(xié)同操作。由于不同類型的應(yīng)用容器存在相互隔離，因此在邊緣計(jì)算的設(shè)備中需要建立板級(jí)嵌入式中心庫，通過不同庫表管理不同容器中的數(shù)據(jù)，跨容器的數(shù)據(jù)通過跨表進(jìn)行操作。

圖2 基于容器技術(shù)的電網(wǎng)邊緣計(jì)算數(shù)據(jù)處理模型Fig.2 Edge computing data processing model of power grid based on container technology

2 總體架構(gòu)

本文設(shè)計(jì)了滿足電網(wǎng)數(shù)據(jù)采集和處理要求的數(shù)據(jù)處理總體架構(gòu)，如圖3所示。通過嵌入式數(shù)據(jù)庫完成邊緣側(cè)嵌入式智能終端設(shè)備的管理；為每一個(gè)容器內(nèi)應(yīng)用建立一張數(shù)據(jù)庫對(duì)應(yīng)表，通過嵌入式數(shù)據(jù)庫服務(wù)的形式完成跨容器的多元數(shù)據(jù)庫的數(shù)據(jù)管理；采用事務(wù)型處理機(jī)制進(jìn)行數(shù)據(jù)消息包的傳輸，使用同步功能模塊完成云邊數(shù)據(jù)高效協(xié)同工作。

圖3 基于容器技術(shù)的電網(wǎng)邊緣計(jì)算數(shù)據(jù)處理總體架構(gòu)Fig.3 Edge computing data processing architecture of power grid based on container technology

邊緣側(cè)數(shù)據(jù)采集終端的數(shù)據(jù)保存在嵌入式數(shù)據(jù)庫中，需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)同步發(fā)送；當(dāng)數(shù)據(jù)庫執(zhí)行事務(wù)提交操作時(shí)，數(shù)據(jù)同步模塊將事務(wù)封裝成特定的數(shù)據(jù)同步消息格式，使用加密算法對(duì)消息包進(jìn)行加密，并將其存放在待處理的事務(wù)隊(duì)列中，等待消息發(fā)送模塊進(jìn)行處理；消息發(fā)送模塊使用TCP/IP協(xié)議將同步消息發(fā)送至目的端接收模塊進(jìn)行處理。

云端接收?qǐng)?zhí)行子系統(tǒng)在接收到源端消息后，對(duì)源端消息進(jìn)行解密，逆向生成為事務(wù)SQL語句，在目標(biāo)端數(shù)據(jù)庫中執(zhí)行完成信息同步，并修改已完成的同步位置。

3 關(guān)鍵技術(shù)研究及實(shí)現(xiàn)

在面向數(shù)字電網(wǎng)、跨容器技術(shù)的邊緣計(jì)算數(shù)據(jù)處理機(jī)制中，基于容器的嵌入式數(shù)據(jù)庫管理和云邊協(xié)同的高效同步系統(tǒng)兩項(xiàng)關(guān)鍵技術(shù)亟待研究，本文對(duì)這兩項(xiàng)關(guān)鍵技術(shù)進(jìn)行研究和實(shí)現(xiàn)。

3.1 邊緣計(jì)算嵌入式數(shù)據(jù)庫關(guān)鍵技術(shù)

使用嵌入式數(shù)據(jù)庫對(duì)邊緣側(cè)數(shù)據(jù)進(jìn)行管理，包括大對(duì)象數(shù)據(jù)的存儲(chǔ)等，采用微內(nèi)核和自優(yōu)化技術(shù)，利用文件鎖進(jìn)行并發(fā)訪問控制，設(shè)計(jì)并實(shí)現(xiàn)了云邊協(xié)同的同步模塊。

圖4 基于容器技術(shù)的電網(wǎng)邊緣計(jì)算嵌入式架構(gòu)Fig.4 Edge computing embedded architecture of power grid based on container technology

3.1.1 數(shù)據(jù)庫的微內(nèi)核技術(shù)

在電網(wǎng)邊緣側(cè)設(shè)備上采用微內(nèi)核技術(shù)實(shí)現(xiàn)數(shù)據(jù)庫的輕量級(jí)應(yīng)用，并緊縮其系統(tǒng)結(jié)構(gòu)以滿足電網(wǎng)設(shè)備應(yīng)用的輕量化要求，同時(shí)可以依據(jù)應(yīng)用的實(shí)際需求進(jìn)行定制和裁剪，具有占用資源少的特點(diǎn)，運(yùn)行時(shí)最低僅占用600 KB內(nèi)存和500 KB的磁盤空間。

3.1.2 數(shù)據(jù)庫的自主優(yōu)化技術(shù)

通過分析電網(wǎng)邊緣側(cè)設(shè)備的硬件配置和業(yè)務(wù)場(chǎng)景，數(shù)據(jù)庫系統(tǒng)采用自適應(yīng)配置運(yùn)行參數(shù)，包括工作線程、IO線程和SQL執(zhí)行相關(guān)緩沖區(qū)等參數(shù)，使數(shù)據(jù)庫系統(tǒng)運(yùn)行達(dá)到最優(yōu)配置。數(shù)據(jù)庫系統(tǒng)自適應(yīng)配置過程無需額外管理，使用API接口對(duì)數(shù)據(jù)庫進(jìn)行調(diào)用，達(dá)到合理調(diào)配設(shè)備資源的效果。通過細(xì)粒度內(nèi)存管理機(jī)制、典型場(chǎng)景自優(yōu)化等技術(shù)，減少了IO交互，降低了CPU占用，內(nèi)存使用更加合理，能更加有效地進(jìn)行數(shù)據(jù)庫操作。由于不需要數(shù)據(jù)庫管理員進(jìn)行人工干預(yù)，因此能保證用戶數(shù)據(jù)的安全性，實(shí)現(xiàn)無人值守運(yùn)行。系統(tǒng)同時(shí)提供數(shù)據(jù)庫備份和還原功能，降低數(shù)據(jù)損壞風(fēng)險(xiǎn)。

3.1.3 大對(duì)象存儲(chǔ)技術(shù)

電網(wǎng)邊緣側(cè)設(shè)備需要存儲(chǔ)視頻等大對(duì)象數(shù)據(jù)，利用嵌入式數(shù)據(jù)庫大對(duì)象存儲(chǔ)功能實(shí)現(xiàn)電網(wǎng)邊緣側(cè)大對(duì)象的數(shù)據(jù)存儲(chǔ)，并且根據(jù)設(shè)備的實(shí)際硬盤空間，實(shí)現(xiàn)管理GB級(jí)別的BLOB數(shù)據(jù)規(guī)模及總體TB級(jí)別的數(shù)據(jù)規(guī)模。

3.1.4 安全技術(shù)

采用基于關(guān)系模型的事務(wù)型嵌入式數(shù)據(jù)庫管理系統(tǒng)，支持事務(wù)ACID特性，支持事務(wù)的提交、回滾功能，提供可串行化的事務(wù)隔離級(jí)，保證了數(shù)據(jù)庫數(shù)據(jù)的完整性和一致性。嵌入式數(shù)據(jù)庫采用WAL的先寫入日志技術(shù)，數(shù)據(jù)庫操作之前，先把內(nèi)存中的數(shù)據(jù)快照保存到特定的磁盤空間，事務(wù)提交成功后才將內(nèi)存中的數(shù)據(jù)緩存回寫進(jìn)磁盤，成功后刪除數(shù)據(jù)快照；事務(wù)提交失敗時(shí)，將數(shù)據(jù)快照重新加載入內(nèi)存并回寫進(jìn)磁盤，同時(shí)刪除快照。在嵌入式數(shù)據(jù)庫中，還可以使用對(duì)稱加密和非對(duì)稱加密相結(jié)合的加密技術(shù)，對(duì)數(shù)據(jù)庫的數(shù)據(jù)文件進(jìn)行加密，對(duì)數(shù)據(jù)傳輸、數(shù)據(jù)庫登錄進(jìn)行SSL加密，確保數(shù)據(jù)庫訪問和數(shù)據(jù)存儲(chǔ)都處于加密狀態(tài)，從而保證數(shù)據(jù)庫的安全特性。

3.1.5 數(shù)據(jù)庫的并發(fā)訪問技術(shù)

為提高嵌入式數(shù)據(jù)庫的訪問效率，使用文件鎖進(jìn)行多線程間、多進(jìn)程間的并發(fā)訪問控制。多個(gè)邊緣側(cè)設(shè)備上的電網(wǎng)應(yīng)用可以通過網(wǎng)絡(luò)訪問同一個(gè)設(shè)備上的嵌入式數(shù)據(jù)庫系統(tǒng)，一臺(tái)設(shè)備上的多個(gè)電網(wǎng)應(yīng)用可以通過接口對(duì)同一個(gè)嵌入式數(shù)據(jù)庫的數(shù)據(jù)文件進(jìn)行讀寫操作，相互之間無需排隊(duì)等待，提高了數(shù)據(jù)庫訪問的效率。

3.2 云邊協(xié)同實(shí)時(shí)同步系統(tǒng)關(guān)鍵技術(shù)

3.2.1 邊緣側(cè)智能終端數(shù)據(jù)實(shí)時(shí)采集及同步

在邊緣側(cè)智能終端上，數(shù)據(jù)采集程序采集到數(shù)據(jù)后將其存儲(chǔ)到嵌入式數(shù)據(jù)庫中，數(shù)據(jù)同步功能模塊實(shí)時(shí)對(duì)事務(wù)信息進(jìn)行消息封裝和加密處理，封裝后的消息包在內(nèi)存事務(wù)隊(duì)列中等待網(wǎng)絡(luò)模塊進(jìn)行發(fā)送處理。消息包內(nèi)容包括事務(wù)操作ID、操作數(shù)據(jù)和操作時(shí)間等。

傳統(tǒng)的基于軟件的數(shù)據(jù)庫數(shù)據(jù)同步技術(shù)，需要解析數(shù)據(jù)庫日志文件才能對(duì)事務(wù)信息進(jìn)行組裝。本文的數(shù)據(jù)同步功能模塊作為嵌入式數(shù)據(jù)庫管理系統(tǒng)的擴(kuò)展功能模塊，可以直接獲取內(nèi)部事務(wù)信息，無需對(duì)日志文件的進(jìn)行捕獲解析，提高了增量數(shù)據(jù)捕獲的發(fā)送效率。

3.2.2 執(zhí)行子系統(tǒng)SQL逆向生成技術(shù)

數(shù)據(jù)同步的目的端不能直接應(yīng)用源端所發(fā)送的消息包數(shù)據(jù)，需要逆向還原為SQL語句使用。目的端通過執(zhí)行逆向生成的SQL語句，來實(shí)現(xiàn)事務(wù)消息同步的最后轉(zhuǎn)化步驟。由于采用了SQL逆向生成技術(shù)，源端可以像對(duì)待常規(guī)應(yīng)用系統(tǒng)一樣，采用通用的方式對(duì)數(shù)據(jù)進(jìn)行同步存儲(chǔ)。

3.2.3 事務(wù)篩選及重構(gòu)

為保證源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)一致性，數(shù)據(jù)同步系統(tǒng)以源數(shù)據(jù)庫的事務(wù)為最小復(fù)制單位，嚴(yán)格按照源數(shù)據(jù)庫事務(wù)順序進(jìn)行實(shí)時(shí)數(shù)據(jù)復(fù)制，保障目標(biāo)數(shù)據(jù)庫與源數(shù)據(jù)庫事務(wù)的完整性和一致性，確保目標(biāo)數(shù)據(jù)庫符合源數(shù)據(jù)庫的事務(wù)邏輯。同時(shí)，由于在邊緣側(cè)采集的數(shù)據(jù)并不具有完全的應(yīng)用價(jià)值，使用傳統(tǒng)方法需要對(duì)數(shù)據(jù)進(jìn)行匯總處理，過濾無用的數(shù)據(jù)。本文的數(shù)據(jù)實(shí)時(shí)同步系統(tǒng)可以通過構(gòu)建同步規(guī)則對(duì)事務(wù)進(jìn)行重構(gòu)、篩選來達(dá)到提前過濾無用數(shù)據(jù)的目的。本文數(shù)據(jù)實(shí)時(shí)同步系統(tǒng)以事務(wù)為最小粒度的同步模型，給事務(wù)重構(gòu)和篩選提供基本保證。

3.2.4 通信消息加解密

為保證邊緣側(cè)數(shù)據(jù)傳輸?shù)陌踩裕谶吘墏?cè)源端，同步功能模塊在獲取到應(yīng)用操作的事務(wù)信息后，需要對(duì)事務(wù)信息進(jìn)行加密處理；網(wǎng)絡(luò)發(fā)送模塊通過網(wǎng)絡(luò)來傳輸加密的事務(wù)數(shù)據(jù)；在云端匯總庫中，日志接收?qǐng)?zhí)行子系統(tǒng)，接收到加密的消息后，使用解密算法進(jìn)行解密，完成數(shù)據(jù)同步。

3.2.5 同步事務(wù)一致性保障技術(shù)

數(shù)據(jù)同步以源數(shù)據(jù)庫的事務(wù)為單位，嚴(yán)格按照終端業(yè)務(wù)系統(tǒng)事務(wù)順序?qū)嵤?shù)據(jù)同步，保證了目標(biāo)端數(shù)據(jù)庫與源終端數(shù)據(jù)庫的事務(wù)級(jí)完整性和一致性，確保目標(biāo)端數(shù)據(jù)庫符合源業(yè)務(wù)系統(tǒng)的事務(wù)邏輯。數(shù)據(jù)在傳輸過程中可能因?yàn)榫W(wǎng)絡(luò)故障而導(dǎo)致傳輸中止，為保證傳輸?shù)臄?shù)據(jù)無丟失，使用檢查點(diǎn)機(jī)制實(shí)現(xiàn)數(shù)據(jù)斷點(diǎn)續(xù)傳。數(shù)據(jù)斷點(diǎn)包括兩部分，即源端事務(wù)抽取位置檢查點(diǎn)和目標(biāo)端執(zhí)行已同步位置檢查點(diǎn)。源端模塊與目標(biāo)端模塊使用完備的消息應(yīng)答機(jī)制來保障數(shù)據(jù)傳輸?shù)目煽啃院屯暾?。源端模塊在得到確認(rèn)消息后才認(rèn)為數(shù)據(jù)傳輸完成，否則將自動(dòng)重新傳輸數(shù)據(jù)。

4 試驗(yàn)

4.1 試驗(yàn)環(huán)境介紹

試驗(yàn)在數(shù)研院GEM1901邊緣計(jì)算開發(fā)板上進(jìn)行，該核心板具有雙核800M主頻的CPU，1G RAM，8 GByte ROM，128 GB SD高速存儲(chǔ)卡，千兆網(wǎng)卡，開發(fā)板裝有SSX1805型國密型號(hào)安全芯片。使用Ubuntu 16.04片上操作系統(tǒng)，嵌入式數(shù)據(jù)庫DMEDB及嵌入式數(shù)據(jù)庫DMEDB同步功能模塊、嵌入式數(shù)據(jù)庫目的端同步工具進(jìn)行軟件支撐。

使用x86架構(gòu)的Intel Core i7的PC機(jī)作為云端數(shù)據(jù)庫載體，主頻3.6 GHz 16核CPU，內(nèi)存128 GB，1T固態(tài)硬盤，以太網(wǎng)千兆網(wǎng)卡，Ubuntu 16.04版本操作系統(tǒng)，DMV7.6企業(yè)版關(guān)系型數(shù)據(jù)庫，并安裝達(dá)夢(mèng)同步軟件。

4.2 容器與板級(jí)中心庫試驗(yàn)

針對(duì)面向容器的嵌入式數(shù)據(jù)庫，開展了讀寫性能測(cè)試。在不同數(shù)據(jù)量下，分別對(duì)查詢、寫入、導(dǎo)入、導(dǎo)出性能進(jìn)行了重復(fù)測(cè)試，測(cè)試結(jié)果為100次操作的均值，結(jié)果如圖5所示。

試驗(yàn)結(jié)果表明，嵌入式容器級(jí)數(shù)據(jù)庫能高效的完成查詢、寫入、導(dǎo)入及導(dǎo)出的常規(guī)數(shù)據(jù)庫操作，性能達(dá)到同等條件下傳統(tǒng)數(shù)據(jù)庫操作性能的88%以上。在性能相差最大的為10 000條數(shù)據(jù)寫入的試驗(yàn)中，容器操作與原操作性能比為88.85%；在性能相差最小的為1 000條數(shù)據(jù)的導(dǎo)出試驗(yàn)中，容器操作與原操作性能比達(dá)到97.08%；在各數(shù)據(jù)規(guī)模下，查詢性能可達(dá)93%。

4.3 數(shù)據(jù)同步試驗(yàn)

數(shù)據(jù)同步試驗(yàn)基于嵌入式數(shù)據(jù)性能測(cè)試的表及數(shù)據(jù)，通過同步軟件，把邊緣側(cè)設(shè)備上的數(shù)據(jù)同步到云端的關(guān)系數(shù)據(jù)庫中，通過與傳統(tǒng)方式進(jìn)行對(duì)比，驗(yàn)證同步軟件性能。數(shù)據(jù)同步中，分為全量同步和增量同步2種方式。在全量同步中，傳統(tǒng)方式需要獲取數(shù)據(jù)階段、網(wǎng)絡(luò)傳輸階段和云端數(shù)據(jù)庫加載階段3個(gè)階段；增量同步由于需要涉及數(shù)據(jù)時(shí)間戳、MD5校驗(yàn)等環(huán)節(jié)，傳統(tǒng)方式無法完成增量同步，因而對(duì)比試驗(yàn)采用直接從嵌入式板端同步相應(yīng)數(shù)據(jù)量到云端的方式進(jìn)行對(duì)比。本研究對(duì)比了全量同步性能測(cè)試，并開展了云端和邊緣側(cè)的增量同步測(cè)試。

4.3.1 全量同步性能測(cè)試

在全量同步性能測(cè)試中，傳統(tǒng)同步方式以時(shí)間戳方式獲取增量數(shù)據(jù)與同步軟件進(jìn)行同步性能對(duì)比。本試驗(yàn)基于嵌入式數(shù)據(jù)，分別構(gòu)建5張表，在100 MB、200 MB、400 MB、600 MB、800 MB 5種不同規(guī)格的表進(jìn)行。試驗(yàn)表明，傳統(tǒng)的導(dǎo)出方式中，嵌入式數(shù)據(jù)庫的表現(xiàn)：獲取數(shù)據(jù)階段讀取性能不低于80 MB/s，寫入性能不低于40 MB/s；在邊緣計(jì)算核心板和云端的網(wǎng)絡(luò)傳輸階段中，網(wǎng)絡(luò)傳輸性能不低于45 MB/s，云端數(shù)據(jù)庫加載的性能不低于200 MB/s，測(cè)試結(jié)果如圖6所示。

圖6 性能測(cè)試結(jié)果示意圖Fig.6 Schematic diagram of performance test results

試驗(yàn)表明，通過同步軟件方式進(jìn)行的“邊緣同步組”的數(shù)據(jù)遠(yuǎn)遠(yuǎn)好于“傳統(tǒng)導(dǎo)出組”的數(shù)據(jù)，通過同步軟件進(jìn)行全量同步的數(shù)據(jù)中，在400 MB有個(gè)拐點(diǎn)，這說明在通過同步軟件進(jìn)行云邊協(xié)同操作時(shí)，當(dāng)數(shù)據(jù)量在200～400 MB的區(qū)間中，傳輸IO的速率在該數(shù)據(jù)量下達(dá)到峰值，后續(xù)操作的時(shí)間基本隨著數(shù)據(jù)量的增加呈線性增加。

4.3.2 增量同步性能測(cè)試

增量同步性能測(cè)試分單表單行插入的數(shù)據(jù)同步、單表批量插入的數(shù)據(jù)同步、4表單行插入的數(shù)據(jù)同步以及4表批量插入的數(shù)據(jù)同步4個(gè)場(chǎng)景，批量插入的數(shù)據(jù)條數(shù)均為500條。記錄數(shù)據(jù)在邊緣側(cè)提交后，數(shù)據(jù)完全同步至中心端的數(shù)據(jù)延遲時(shí)間。同步軟件增量同步至云端的時(shí)間和嵌入式數(shù)據(jù)庫增量同步到云端的時(shí)間公式如式(1)—(2)所示。

Tq=Ts+Tt+Tw

(1)

TE=Ts+Te+Ti

(2)

式中：Tq為同步軟件增量同步至云端的時(shí)間；Ts為查找增量數(shù)據(jù)時(shí)間；Tt為同步傳輸時(shí)間；Tw為云端中心庫寫入時(shí)間；TE為嵌入式數(shù)據(jù)庫增量同步到云端的時(shí)間；Te為增量數(shù)據(jù)導(dǎo)出時(shí)間；Ti為云端中心庫導(dǎo)入時(shí)間。

由于傳統(tǒng)嵌入式數(shù)據(jù)庫無法完成增量數(shù)據(jù)查找及選擇，將其取0，嵌入式數(shù)據(jù)庫增量同步時(shí)間約等于從嵌入式數(shù)據(jù)庫導(dǎo)出等量數(shù)據(jù)的導(dǎo)出時(shí)間加上云端側(cè)的導(dǎo)入時(shí)間。試驗(yàn)結(jié)果如表1所示，其中表格列表示邊緣側(cè)設(shè)備嵌入式數(shù)據(jù)庫和云端關(guān)系數(shù)據(jù)庫數(shù)據(jù)同步延時(shí)。試驗(yàn)結(jié)果表明，同步軟件在進(jìn)行增量同步時(shí)，其效率遠(yuǎn)高于傳統(tǒng)數(shù)據(jù)庫導(dǎo)入導(dǎo)出的方式，500條數(shù)據(jù)規(guī)模情形下，性能提高3倍以上。

表1 增量同步性能測(cè)試結(jié)果Tab.1 Performance test results of incremental synchronization

5 結(jié)語

本文深入研究云邊協(xié)同實(shí)時(shí)同步系統(tǒng)關(guān)鍵技術(shù)，提出了一種云邊協(xié)同的數(shù)據(jù)處理架構(gòu)，對(duì)邊緣側(cè)智能終端數(shù)據(jù)實(shí)時(shí)采集及同步、執(zhí)行子系統(tǒng)SQL逆向生成、事務(wù)篩選及重構(gòu)、通信消息加解密、同步事務(wù)一致性保障等關(guān)鍵技術(shù)進(jìn)行研究，實(shí)現(xiàn)了一套云邊協(xié)同的數(shù)據(jù)同步解決方案。試驗(yàn)表明，本方案能有效地實(shí)現(xiàn)結(jié)構(gòu)化和多媒體數(shù)據(jù)的實(shí)時(shí)同步，滿足終端硬件環(huán)境下的應(yīng)用要求。