基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)研究與應(yīng)用

官國飛，宋慶武，張萬生，徐 妍，李 澄，蔣 超

(1.江蘇方天電力技術(shù)有限公司，江蘇 南京 211100；2.江蘇潤和智融科技有限公司，江蘇 南京 210012)

0 引言

構(gòu)建融合人工智能技術(shù)、現(xiàn)代信息技術(shù)、泛在物聯(lián)網(wǎng)技術(shù)的智慧配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)被視為協(xié)同環(huán)境、資源、社會發(fā)展三者可持續(xù)和諧發(fā)展的直接途徑之一，是實現(xiàn)人類千年發(fā)展大計的重大戰(zhàn)略部署，具有顯著的異構(gòu)數(shù)據(jù)融合、電力與信息雙向互動、高度的自主感知與決策、廣泛的能量交換等特性[1]。智慧配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)一般涵蓋異構(gòu)數(shù)據(jù)獲取、配電運(yùn)行自主感知、輸電運(yùn)行自主決策、電網(wǎng)資產(chǎn)自動化管理等功能，實現(xiàn)電網(wǎng)運(yùn)維全壽命周期下的人機(jī)交互、時標(biāo)信息提取、供配電運(yùn)維數(shù)據(jù)收集與應(yīng)用、電網(wǎng)運(yùn)維健康狀態(tài)評估及故障預(yù)警等功能，為高度市場化下的電網(wǎng)運(yùn)維提供借鑒。以國家電網(wǎng)公司關(guān)于新型智慧配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)總體規(guī)劃綱要為總指導(dǎo)[2]，深度剖析泛在物聯(lián)網(wǎng)與智慧電網(wǎng)融合背景下涌現(xiàn)的萬物云化下的智能決策與協(xié)同自治、能源生產(chǎn)與消費(fèi)雙向互逆流動、云管邊端數(shù)據(jù)控制流深度融合、邊緣計算泛化能力與學(xué)習(xí)能力均衡、多維差異性數(shù)據(jù)融合傳送機(jī)制、數(shù)據(jù)融合及優(yōu)先級自動退避機(jī)制等新型需求，構(gòu)建具有自我感知、自我分析、自我決策屬性的智慧配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)是國家電網(wǎng)公司在新時代的重大戰(zhàn)略部署[3]，對統(tǒng)籌協(xié)調(diào)電網(wǎng)企業(yè)、電網(wǎng)用戶、電網(wǎng)市場可持續(xù)健康發(fā)展具有重要意義。

在此，通過融合泛在物聯(lián)網(wǎng)與分布式智慧電網(wǎng)智能體系，建立多維差異性信息物理高度融合模型，構(gòu)建自主全面感知、全局最優(yōu)協(xié)同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯(lián)網(wǎng)體系架構(gòu)[4]，引入邊緣計算機(jī)制增強(qiáng)配電物聯(lián)網(wǎng)體系架構(gòu)的邊緣計算層級，實現(xiàn)邊緣計算泛化能力與學(xué)習(xí)能力的動態(tài)平衡，引入強(qiáng)化學(xué)習(xí)算法實現(xiàn)配電物聯(lián)網(wǎng)體系架構(gòu)的智能決策與協(xié)同自治。在典型環(huán)境下對智慧配電物聯(lián)網(wǎng)體系架構(gòu)進(jìn)行多維度性能仿真，從而驗證該物聯(lián)網(wǎng)體系是否能夠較好解決配電物聯(lián)網(wǎng)自主感知與智能決策之間的耦合矛盾[5]，實現(xiàn)全局最優(yōu)，具有穩(wěn)定性高、抗干擾性強(qiáng)、自主感知性高等優(yōu)勢。以國網(wǎng)江蘇省電力有限公司轄區(qū)某小型配電網(wǎng)為效能評價載體，開發(fā)對應(yīng)的原型系統(tǒng)并對模型進(jìn)行了實證分析，驗證體系架構(gòu)是否具備配電設(shè)備泛在互聯(lián)、運(yùn)維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運(yùn)維環(huán)境下的協(xié)同自愈等完整體系效能。

1 融合泛在物聯(lián)網(wǎng)與智慧電網(wǎng)的配電體系架構(gòu)設(shè)計

針對能源大規(guī)模開發(fā)利用背景下的若干新型需求，對智慧電網(wǎng)配電體系架構(gòu)進(jìn)行內(nèi)涵優(yōu)化，處于能源革命中心環(huán)節(jié)的智慧電網(wǎng)系統(tǒng)對自主感知與決策屬性具有很強(qiáng)的依賴性，智慧電網(wǎng)逐漸呈現(xiàn)出明顯的集群全局協(xié)同控制屬性。引入多智能體思想，構(gòu)建智慧電網(wǎng)海量異構(gòu)設(shè)備的信息共享與自我學(xué)習(xí)機(jī)制[6]，實現(xiàn)社會屬性下的智慧電網(wǎng)海量異構(gòu)設(shè)備全局協(xié)同控制，基于多智能體共享信息的智慧電網(wǎng)體系架構(gòu)具備智慧電網(wǎng)電力線路參數(shù)實時全景感知與融合、異構(gòu)網(wǎng)絡(luò)拓?fù)淇焖儆嬎闩c暫存、歸一化格式下的多線程傳輸、實時解碼與全景復(fù)現(xiàn)等全方位立體智慧電網(wǎng)全壽命周期拓?fù)渑c數(shù)據(jù)建模體系效能，構(gòu)建具備智慧電網(wǎng)電力線路參數(shù)獲取、傳送、解碼回復(fù)、全景復(fù)現(xiàn)等全鏈復(fù)現(xiàn)機(jī)制，設(shè)計了基于多智能體思想的智慧電網(wǎng)全壽命周期拓?fù)渑c數(shù)據(jù)建模體系專用架構(gòu)，如圖1所示。以智慧電網(wǎng)全壽命周期拓?fù)渑c數(shù)據(jù)建模體系全鏈條運(yùn)維需求為指引[7]，將智慧電網(wǎng)全壽命周期拓?fù)渑c數(shù)據(jù)建模體系架構(gòu)劃分為數(shù)據(jù)感知層、信息共享層、自我決策層、人機(jī)交互層等，其中，數(shù)據(jù)感知層借助嵌入Storm流計算的數(shù)據(jù)融合算法對線上電壓、網(wǎng)絡(luò)功率分布、功率損耗、阻抗參數(shù)、電壓降落、潮流計算、竊電檢測等多維數(shù)據(jù)進(jìn)行快速計算與暫存；信息共享層通過多智能體機(jī)制，把配電網(wǎng)電力線路相關(guān)核心參數(shù)視為具有自主感知與決策能力的智能體，在自身狀態(tài)更新的同時主動向外界共享自身狀態(tài)信息；自我決策層引入第二代機(jī)器學(xué)習(xí)中的深度強(qiáng)化學(xué)習(xí)算法實現(xiàn)異構(gòu)智慧配電網(wǎng)策略自動最優(yōu)生成與數(shù)據(jù)自主精確建模機(jī)制，利用多智能體共享信息生成目標(biāo)智慧電網(wǎng)參數(shù)策略集合，為智慧電網(wǎng)系統(tǒng)全局最優(yōu)決策提供支撐，實現(xiàn)智慧電網(wǎng)系統(tǒng)整體運(yùn)維成本最低；人機(jī)交互層利用跨平臺應(yīng)用系統(tǒng)實現(xiàn)友好人機(jī)交互。

圖1 基于多智能體思想的智慧電網(wǎng)體系架構(gòu)示意

為落實國家相關(guān)部門以及國家電網(wǎng)公司關(guān)于落實國家關(guān)鍵信息基礎(chǔ)設(shè)施保護(hù)、分級等級保護(hù)、電力行業(yè)泛在網(wǎng)絡(luò)安全防護(hù)要求[8]，融入多維度網(wǎng)絡(luò)安全防護(hù)技術(shù)，構(gòu)建萬物云化環(huán)境下面向配電物聯(lián)網(wǎng)安全體系架構(gòu)，如圖2所示。萬物云化環(huán)境下，融合泛在物聯(lián)網(wǎng)的配電網(wǎng)具有較強(qiáng)的開放包容性，很容易遭受不法分子的網(wǎng)絡(luò)攻擊，電力行業(yè)關(guān)乎國計民生，電力數(shù)據(jù)歷來作為國家秘密妥善保管，構(gòu)建可信互聯(lián)、分層防護(hù)、精準(zhǔn)防護(hù)、安全互動、自主感知防護(hù)為一體的全面防護(hù)體系至關(guān)重要。以基于多智能體思想的智慧電網(wǎng)體系架構(gòu)為網(wǎng)絡(luò)安全防護(hù)設(shè)計藍(lán)本，在數(shù)據(jù)感知層分別獨立設(shè)置場級防護(hù)、邊級防護(hù)、端級防護(hù)，其中，場級防護(hù)與邊級防護(hù)互為耦合，場級與邊級通過輕量級防護(hù)實現(xiàn)協(xié)議解析軟防護(hù)，引入?yún)^(qū)塊鏈技術(shù)實現(xiàn)電網(wǎng)漏洞精準(zhǔn)挖掘，通過構(gòu)建邊緣流量分析機(jī)制實現(xiàn)全網(wǎng)總線安全；端級防護(hù)通過在用戶終端設(shè)備中安裝固件監(jiān)測[9]、安全基線設(shè)置、安全SDK開發(fā)、漏洞管理學(xué)系統(tǒng)、設(shè)備管理系統(tǒng)等軟件進(jìn)程實現(xiàn)端級設(shè)備安全；在網(wǎng)絡(luò)層(對應(yīng)圖1中的信息共享層與自我決策層)通過管級防護(hù)實現(xiàn)數(shù)據(jù)與控制流安全，管級防護(hù)主要通過構(gòu)建網(wǎng)絡(luò)安全接入(包含泛在電力物聯(lián)網(wǎng)所有通信載體技術(shù))與網(wǎng)絡(luò)狀態(tài)審計機(jī)制實現(xiàn)開放模式下信息共享的安全性；在應(yīng)用和平臺層(對應(yīng)圖1中的人機(jī)交互層)通過云級防護(hù)實現(xiàn)人機(jī)數(shù)據(jù)交互的安全性，通過引入多種云安全插件，實現(xiàn)無縫隙的應(yīng)用安全。

圖2 萬物云化環(huán)境下面向配電物聯(lián)網(wǎng)安全體系架構(gòu)示意

2 基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)實現(xiàn)

與萬物云化環(huán)境下基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)相對應(yīng)，構(gòu)建泛在物聯(lián)網(wǎng)下的全面云化機(jī)制，實現(xiàn)配電設(shè)備泛在互聯(lián)、運(yùn)維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運(yùn)維環(huán)境下的協(xié)同自愈等全壽命周期內(nèi)的動態(tài)實時全景感知是基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)的內(nèi)在需求，以配電物聯(lián)網(wǎng)全壽命周期實時監(jiān)測體系全鏈條運(yùn)維需求為指引，對基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)關(guān)鍵模塊進(jìn)行工程化研發(fā)。以基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)全鏈功能數(shù)據(jù)流走向邏輯為依據(jù)，辨識其核心功能涵蓋配電網(wǎng)狀態(tài)數(shù)據(jù)全景感知與融合、配電物聯(lián)網(wǎng)智能決策與協(xié)同自治、軟硬件深度解耦與數(shù)據(jù)協(xié)同等，分別引入基于泛在物聯(lián)網(wǎng)的狀態(tài)全景感知與融合計算子架構(gòu)、基于強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治子架構(gòu)、基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)等進(jìn)行效能實現(xiàn)。

2.1 基于泛在物聯(lián)網(wǎng)的狀態(tài)全景感知與融合計算子架構(gòu)

依據(jù)國家電網(wǎng)公司指導(dǎo)性技術(shù)文件《配電網(wǎng)智能化改造技術(shù)規(guī)范》中的相關(guān)指導(dǎo)性意見，以國家電網(wǎng)公司IEC61850行業(yè)標(biāo)準(zhǔn)規(guī)范為設(shè)計指導(dǎo)[10]，結(jié)合國家電網(wǎng)江蘇省電力有限公司轄區(qū)某小型配電網(wǎng)主體設(shè)備現(xiàn)狀，對基于泛在物聯(lián)網(wǎng)的狀態(tài)全景感知與融合計算子架構(gòu)進(jìn)行可行性方案設(shè)計。配電網(wǎng)狀態(tài)全景感知與融合計算子架構(gòu)采用工業(yè)級兼容性數(shù)據(jù)采集模塊，選用北京恒頤創(chuàng)興科技有限公司研發(fā)的泛在物聯(lián)網(wǎng)框架協(xié)議下的智能RTU數(shù)據(jù)采集終端HY-MON-02為電力設(shè)備物資數(shù)據(jù)全景感知硬件載體，內(nèi)置32位意法半導(dǎo)體微處理器，工業(yè)級頻率可達(dá)400 MHz，支持ZigBee無線自組網(wǎng)等多種數(shù)據(jù)通信方式，具有故障自修復(fù)功能，內(nèi)置64 G大容量數(shù)據(jù)存儲器，可以分時進(jìn)行高速原始數(shù)據(jù)暫存，掉電不丟失，為全景還原配電網(wǎng)真實工作狀態(tài)提供基礎(chǔ)原始數(shù)據(jù)[11]。針對基礎(chǔ)原始數(shù)據(jù)存在的有益信息冗余嚴(yán)重、內(nèi)存資源消耗量較大、格式多維且優(yōu)先級不明確等弊端，融合嵌入Storm流計算的數(shù)據(jù)融合算法對基準(zhǔn)位移、環(huán)境溫度、環(huán)境濕度、機(jī)體噪音、機(jī)體振動、泄露電流、動作電壓、諧波電流等多維差異數(shù)據(jù)進(jìn)行快速計算與暫存，獲取連續(xù)時間序列下的全景觀測數(shù)據(jù)，改善基礎(chǔ)原始數(shù)據(jù)維度分散且存儲無序，給出具有一致性解釋的歸一化全景數(shù)據(jù)集，則基于泛在物聯(lián)網(wǎng)的狀態(tài)全景感知與融合計算子架構(gòu)邏輯如圖3所示。

圖3 基于泛在物聯(lián)網(wǎng)的狀態(tài)全景感知與融合計算子架構(gòu)邏輯示意

基于硬件資源消耗與實時性考慮，提高多維差異數(shù)據(jù)分布式實時處理的效率和容錯水平，針對基于模糊神經(jīng)網(wǎng)絡(luò)的多傳感器數(shù)據(jù)融合算法存在的大體量差異多維數(shù)據(jù)數(shù)據(jù)流融合效率較低、分布式數(shù)據(jù)采集框架下的有益信息攝取效能較低，并行實時流處理機(jī)制缺失等弊端，給出了一種融合嵌入Storm流計算的數(shù)據(jù)融合算法。涵蓋基準(zhǔn)位移、環(huán)境溫度、環(huán)境濕度、機(jī)體噪音、機(jī)體振動、泄露電流、動作電壓、諧波電流等配電網(wǎng)多維差異數(shù)據(jù)以大量、快速、時變的流形式持續(xù)到達(dá)，具有時間序列持續(xù)性、潛在大小不可估計性、原始數(shù)據(jù)源復(fù)雜且格式多維、具有周期性的存儲覆蓋性、數(shù)據(jù)整體系統(tǒng)價值性等屬性，在進(jìn)行數(shù)據(jù)歸一化處理的同時進(jìn)行實時計算，構(gòu)建配電網(wǎng)數(shù)據(jù)全景感知與融合計算同步機(jī)制。如圖4所示，給出了配電網(wǎng)數(shù)據(jù)全景感知與融合計算同步機(jī)制工作流程[12]，Storm集群采用主從架構(gòu)方式，主節(jié)點是Nimbus，從節(jié)點是Supervisor，有關(guān)數(shù)據(jù)融合相關(guān)的信息存儲到ZooKeeper集群中，采用Topology進(jìn)行數(shù)據(jù)流與數(shù)據(jù)融合并行計算，存在數(shù)據(jù)融合進(jìn)程的Topology與Spout/Bolt內(nèi)置的 Task任務(wù)具有一對多的物理映射，均勻分布在多個從節(jié)點Supervisor蘊(yùn)含的多個Worker內(nèi)部，而每個Worker又與 Executor存在一對多的物理映射，則根據(jù)實際對Topology的配置在運(yùn)行時進(jìn)行融合計算并分配。

圖4 狀態(tài)全景感知與融合計算子架構(gòu)同步機(jī)制工作流程示意

2.2 基于強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治子架構(gòu)

基于強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治子架構(gòu)開創(chuàng)了解決高維、復(fù)雜、耦合、非線性、連續(xù)狀態(tài)空間下的自我感知、自主決策屬性下的配電物聯(lián)網(wǎng)智能控制的新途徑，具備未知復(fù)雜環(huán)境下的高維信息感知融合能力與耦合高維因素作用下的決策能力[13]，較好地解決了智能感知與決策模型空間限制性問題?；趶?qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治子架構(gòu)包括狀態(tài)參數(shù)自主全面感知、配網(wǎng)調(diào)度全局最優(yōu)協(xié)同、物理資源虛擬化管控、軟硬件深度解耦等子過程，如圖5所示。其中，狀態(tài)參數(shù)自主全面感知子過程對原始配電網(wǎng)運(yùn)維產(chǎn)生的海量狀態(tài)參數(shù)進(jìn)行清洗處理，為了便于進(jìn)行狀態(tài)參數(shù)自主全面感知，引入數(shù)據(jù)流觸發(fā)機(jī)制，配電網(wǎng)上電運(yùn)維即時進(jìn)行狀態(tài)參數(shù)采集；配網(wǎng)調(diào)度全局最優(yōu)協(xié)同子過程利用預(yù)處理過的數(shù)據(jù)進(jìn)行強(qiáng)化學(xué)習(xí)，在深度卷積神經(jīng)網(wǎng)絡(luò)過程中融入Q學(xué)習(xí)機(jī)制[14]，基于單層Q網(wǎng)絡(luò)模型，通過輸入信息異道機(jī)制實現(xiàn)交互環(huán)境獎勵值與動作執(zhí)行獎勵值隔離，融入雙重Q網(wǎng)絡(luò)(策略網(wǎng)絡(luò)和估值網(wǎng)絡(luò))實現(xiàn)配網(wǎng)調(diào)度全局最優(yōu)感知與決策；物理資源虛擬化管控及軟硬件深度解耦子過程進(jìn)行強(qiáng)化學(xué)習(xí)效果的分析測試與軟硬件縱向擴(kuò)展，利用單層Q網(wǎng)絡(luò)模型中內(nèi)置的卷積核學(xué)習(xí)運(yùn)行環(huán)境數(shù)據(jù)，雙重Q網(wǎng)絡(luò)內(nèi)置卷積核學(xué)習(xí)動作信息數(shù)據(jù)，實現(xiàn)物理資源的虛擬化管控，進(jìn)而實現(xiàn)配電網(wǎng)軟硬件資源的深度解耦。

圖5 基于強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治子架構(gòu)邏輯示意

為了準(zhǔn)確高效地傳輸智能決策與協(xié)同控制流，基于配電物聯(lián)網(wǎng)設(shè)備存在多維耦合的實際情況，選用Mesh自組網(wǎng)實現(xiàn)控制流可靠傳輸。采用直接序列擴(kuò)頻技術(shù)構(gòu)建數(shù)據(jù)包多線程傳輸機(jī)制，融入基于Mesh協(xié)議的節(jié)點網(wǎng)絡(luò)自組織和自愈功能，通過協(xié)調(diào)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的自組網(wǎng)協(xié)調(diào)器實現(xiàn)多線程傳輸，如圖6所示。

圖6 傳輸智能決策與協(xié)同控制流數(shù)據(jù)包多線程傳輸工作流程

協(xié)調(diào)器軟件主要分為設(shè)備通信初始化子進(jìn)程、面向傳感器集群的協(xié)調(diào)器自組網(wǎng)子進(jìn)程、路由節(jié)點和傳感器節(jié)點入退網(wǎng)子進(jìn)程。數(shù)據(jù)信息處理(包括數(shù)據(jù)收發(fā)功能)子進(jìn)程等具體工作流程如下：

a.ZigBee多節(jié)點無線物聯(lián)自組網(wǎng)上電啟動后進(jìn)行協(xié)調(diào)器軟件初始化并實時監(jiān)測傳感器集群硬件自組網(wǎng)是否成功。

b.開啟節(jié)點網(wǎng)絡(luò)監(jiān)測機(jī)制，若監(jiān)測到網(wǎng)絡(luò)[15]，則選擇協(xié)調(diào)器或者路由節(jié)點作為初始父節(jié)點申請加入網(wǎng)絡(luò)，否則把節(jié)點屬性設(shè)置為協(xié)調(diào)器組建網(wǎng)絡(luò)機(jī)制。

c.開啟子節(jié)點入退網(wǎng)監(jiān)測機(jī)制，如果申請入網(wǎng)，則根據(jù)組網(wǎng)需求增加子節(jié)點并為子節(jié)點分配NWK參數(shù)，如果申請退網(wǎng)，釋放原有的NWK參數(shù)關(guān)聯(lián)。

d.開啟多維數(shù)據(jù)傳輸機(jī)制，選擇被測數(shù)據(jù)傳輸子節(jié)點，接收終端節(jié)點的多維數(shù)據(jù)進(jìn)行數(shù)據(jù)上傳。

ZigBee多節(jié)點無線物聯(lián)自組網(wǎng)工作在2.4 GHz頻段，劃分為16個信道，步長值為5 MHz，編號為1l～26，協(xié)調(diào)器通過調(diào)用信道輪詢函數(shù)對信道能量波動進(jìn)行實時掃描，能量水平高標(biāo)志該信道無線信號活躍，協(xié)調(diào)器根據(jù)能量掃描信息選擇一個可以利用的信道建立自己的無線網(wǎng)絡(luò)實現(xiàn)多維數(shù)據(jù)有效傳送。

2.3 基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)

邊緣計算的本質(zhì)在于擴(kuò)展數(shù)據(jù)來源結(jié)構(gòu)，實現(xiàn)萬物云化環(huán)境下的異構(gòu)數(shù)據(jù)多維耦合，構(gòu)建軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)。經(jīng)過融合嵌入Storm流計算的數(shù)據(jù)融合算法處理形成的具有一致性解釋的歸一化全景數(shù)據(jù)集，引入邊緣計算進(jìn)行數(shù)據(jù)源遷移，采用ZigBee多節(jié)點無線物聯(lián)自組網(wǎng)進(jìn)行數(shù)據(jù)編碼打包操作，通過基于Mesh協(xié)議的自組網(wǎng)協(xié)調(diào)器實現(xiàn)編碼數(shù)據(jù)包多線程傳送。設(shè)定傳送頻率為250 Hz，則每秒有250個數(shù)據(jù)包進(jìn)入上位機(jī)存儲單元，每個數(shù)據(jù)包由33個字節(jié)組成，包括固定起始字節(jié)區(qū)、數(shù)據(jù)索引標(biāo)識區(qū)、通道1～8電力設(shè)備物資多維狀態(tài)數(shù)據(jù)區(qū)、校驗數(shù)據(jù)區(qū)、固定結(jié)束字節(jié)區(qū)等，按照時間序列正序?qū)Ω鲄^(qū)進(jìn)行數(shù)據(jù)包實時解碼，為應(yīng)用軟件端進(jìn)行數(shù)據(jù)合并、重塑和復(fù)現(xiàn)提供有序數(shù)據(jù)素材。如圖7所示，融入邊緣計算模型，PyCharm內(nèi)核集成開發(fā)環(huán)境下，基于Python 3.7.4內(nèi)核，引入Numpy擴(kuò)展程序庫，對經(jīng)過邊緣計算模型處理過的數(shù)據(jù)包進(jìn)行格式歸類，生成CSV格式文件，借助Pandas結(jié)構(gòu)化數(shù)據(jù)集處理工具集創(chuàng)建合并數(shù)據(jù)表，利用Merge函數(shù)對合并數(shù)據(jù)表進(jìn)行交集處理、實現(xiàn)匹配合并；利用Append函數(shù)對匹配合并數(shù)據(jù)集進(jìn)行重塑處理，建立時間序列與面板對象的物理映射[16]，通過Levels進(jìn)程建立有益信息推斷鑰匙機(jī)制，實現(xiàn)基于數(shù)據(jù)特征的分組標(biāo)記；利用Group_by和Pivote_table函數(shù)對分組標(biāo)記數(shù)據(jù)集進(jìn)行相關(guān)性合并與冗余度校驗，給出融合時間和空間序列的全景數(shù)據(jù)復(fù)現(xiàn)集，通過Pyecharts類庫，實現(xiàn)邊緣計算模型下的軟硬件深度解耦與數(shù)據(jù)協(xié)同。

圖7 基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)邏輯示意

對基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)進(jìn)行公式化處理并編程實現(xiàn)，基于Python 3.7.4內(nèi)核，在PyCharm集成開發(fā)環(huán)境下，選取某小型配電網(wǎng)增量變電站感知傳感器集群中的變壓器感知數(shù)據(jù)為驗證載體，利用國網(wǎng)江蘇省電力有限公司轄區(qū)內(nèi)某220 kV變電站為基礎(chǔ)原始數(shù)據(jù)采集環(huán)境，選取2019年6月—12月配電網(wǎng)所屬的某型號主變壓器中性點電流感知數(shù)據(jù)為仿真數(shù)據(jù)載體，對基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)進(jìn)行了仿真驗證，仿真參數(shù)設(shè)定如下：初始化訓(xùn)練網(wǎng)絡(luò)，128×128×24；折扣因子γ初始值，0.98；學(xué)習(xí)率α初始值，0.001；動作獎勵值的絕對值，[0,1.1]。仿真環(huán)境設(shè)定如下：Python3.6.5編譯內(nèi)核；TensorFlow-GPU 1.8.0；Keras 2.2.2和Gym0.10.8。仿真結(jié)果如圖8所示。

由圖8可知，基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)具有較好的數(shù)據(jù)融合與邊緣數(shù)據(jù)遷移效能，具備基于功能區(qū)劃分的數(shù)據(jù)定位、基于冗余度分析的數(shù)據(jù)合并、基于Append函數(shù)的數(shù)據(jù)集匹配合并及重塑處理、建立時間序列與面板對象的物理映射，基于Levels進(jìn)程建立有益信息推斷鑰匙機(jī)制，構(gòu)建基于數(shù)據(jù)特征的分組標(biāo)記下的融合時間和空間序列的全景數(shù)據(jù)遷移集等基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)完整壽命周期實現(xiàn)效能，為實現(xiàn)配電物聯(lián)網(wǎng)架構(gòu)下的軟硬件深度解耦與數(shù)據(jù)協(xié)同提供有力支撐。

圖8 基于邊緣計算的軟硬件深度解耦與數(shù)據(jù)協(xié)同子架構(gòu)仿真效能

3 配電物聯(lián)網(wǎng)體系架構(gòu)工程化應(yīng)用效能驗證

為了實際驗證文中所提基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)在一線運(yùn)維環(huán)境下的實際效能，選取國家電網(wǎng)智慧供應(yīng)鏈中的實物ID系統(tǒng)驗證配電物聯(lián)網(wǎng)體系架構(gòu)的工程應(yīng)用效能。引入電網(wǎng)實物資產(chǎn)統(tǒng)一身份編碼機(jī)制，具體如圖9所示，實現(xiàn)電網(wǎng)主配網(wǎng)存量全息運(yùn)維數(shù)據(jù)的一鍵式獲取，借助配電物聯(lián)網(wǎng)體系架構(gòu)提供的基于強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)智能決策與協(xié)同自治機(jī)制，構(gòu)建具備編碼自動分配與一致性校驗、隱患排查信息完整可追溯、跨系統(tǒng)貫通與平臺可移植、全息數(shù)據(jù)深度聚類分析與主動預(yù)警等功能的電力資產(chǎn)全局協(xié)同精準(zhǔn)化管理架構(gòu)。借助基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)可以便捷地構(gòu)建實物 ID 在智慧供應(yīng)鏈中的應(yīng)用原型系統(tǒng)，系統(tǒng)具備電力設(shè)備全息數(shù)據(jù)便捷獲取與融合、電力資產(chǎn)普查臺賬實時更新、隱患排查數(shù)據(jù)的實時反饋與預(yù)警等全方位立體電力資產(chǎn)普查與隱患排查體系效能，主配網(wǎng)設(shè)備物料分類、增存量設(shè)備分類、資產(chǎn)普查分類、隱患排查分級預(yù)警等多碼對應(yīng)的一致率達(dá)100%，實現(xiàn)了電力資產(chǎn)全息數(shù)據(jù)全維度收集、全過程追蹤、全方位共享，驗證了基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)工程應(yīng)用層面的時效性，提供了定量化的案例參考。

基于經(jīng)濟(jì)性考慮，采用微應(yīng)用擴(kuò)展的模式對國網(wǎng)江蘇省電力有限公司轄區(qū)某小型配電網(wǎng)現(xiàn)役的ERP系統(tǒng)進(jìn)行適應(yīng)性改造，增加多維差異性信息物理高度融合模型構(gòu)建、配電物聯(lián)網(wǎng)體系架構(gòu)的邊緣計算層級擴(kuò)展、配電物聯(lián)網(wǎng)體系架構(gòu)的智能決策與協(xié)同自治等全方位立體配電物聯(lián)網(wǎng)全壽命周期軟件處理進(jìn)程，分配單獨的內(nèi)存資源，定期進(jìn)行業(yè)務(wù)數(shù)據(jù)內(nèi)網(wǎng)交互，實現(xiàn)架構(gòu)內(nèi)數(shù)據(jù)全景共享，如圖10所示。從構(gòu)建泛在物聯(lián)網(wǎng)下的全面云化機(jī)制，實現(xiàn)配電設(shè)備泛在互聯(lián)、運(yùn)維狀態(tài)全面自主感知、配電策略全局最優(yōu)自主決策、極端運(yùn)維環(huán)境下的協(xié)同自愈等全壽命周期內(nèi)的動態(tài)實時全景感知等層面對微應(yīng)用擴(kuò)展模式下的配電物聯(lián)網(wǎng)體系架構(gòu)進(jìn)行工程化應(yīng)用布置，為基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)在國網(wǎng)江蘇省電力有限公司轄區(qū)內(nèi)推廣應(yīng)用提供案例支撐。

結(jié)合圖9給出的實物ID在供應(yīng)鏈中配電物聯(lián)網(wǎng)應(yīng)用場景拓?fù)浜蛨D10給出的面向工程化應(yīng)用的配電物聯(lián)網(wǎng)體系架構(gòu)軟硬件部署方案，從定性和定量2個層面分析基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)的工程化應(yīng)用效能，選取國網(wǎng)江蘇省電力有限公司轄區(qū)某小型配電網(wǎng)現(xiàn)役的TDS-FDS-200型低壓配電網(wǎng)作為對照組，從運(yùn)維數(shù)據(jù)感知有效率等多維度驗證了配電物聯(lián)網(wǎng)體系架構(gòu)的工程應(yīng)用效能，如表1所示。

圖9 實物 ID 在供應(yīng)鏈中配電物聯(lián)網(wǎng)應(yīng)用場景拓?fù)涫疽?/p>

圖10 面向工程化應(yīng)用的配電物聯(lián)網(wǎng)體系架構(gòu)軟硬件部署

表1 配電物聯(lián)網(wǎng)體系架構(gòu)工程化應(yīng)用效能對比

4 結(jié)束語

以國家電網(wǎng)公司關(guān)于新型智慧配電物聯(lián)網(wǎng)體系架構(gòu)系統(tǒng)總體規(guī)劃綱要為總指導(dǎo)，著重針對國家電網(wǎng)公司現(xiàn)役的配電網(wǎng)絡(luò)架構(gòu)存在的可擴(kuò)展性較差、全網(wǎng)運(yùn)維狀態(tài)感知失衡、邊緣網(wǎng)端劃分密集且計算困難、協(xié)同自治與智能決策機(jī)制缺失、對抗環(huán)境下的模型性能下降嚴(yán)重等固有弊端，提出了一種基于邊緣計算與強(qiáng)化學(xué)習(xí)的配電物聯(lián)網(wǎng)體系架構(gòu)模型。通過引入邊緣計算機(jī)制，從根本上優(yōu)化了配電物聯(lián)網(wǎng)的遠(yuǎn)端計算性能，擴(kuò)展了數(shù)據(jù)來源渠道，實現(xiàn)了萬物云化環(huán)境下的異構(gòu)數(shù)據(jù)多維耦合，構(gòu)建了融合時間和空間序列的全景數(shù)據(jù)復(fù)現(xiàn)集，通過Pyecharts類庫，實現(xiàn)邊緣計算模型下的軟硬件深度解耦與數(shù)據(jù)協(xié)同；通過在強(qiáng)化學(xué)習(xí)中融入深度學(xué)習(xí)，構(gòu)建具有自主感知與自主決策屬性的面向配電物聯(lián)網(wǎng)的多維差異性信息物理高度融合模型，構(gòu)建自主全面感知、全局最優(yōu)協(xié)同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯(lián)網(wǎng)體系架構(gòu)。選取恰當(dāng)?shù)牡湫头抡鎴鼍?，在Gym-TORCS環(huán)境下對架構(gòu)感知決策進(jìn)行效能仿真驗證，在此基礎(chǔ)上，國網(wǎng)江蘇省電力有限公司轄區(qū)某小型配電網(wǎng)為效能評價載體，對架構(gòu)模型進(jìn)行了工程應(yīng)用分析，結(jié)果表明架構(gòu)模型具備自主全面感知、全局最優(yōu)協(xié)同、物理資源虛擬化管控、軟硬件深度解耦的一體化配電物聯(lián)網(wǎng)體系架構(gòu)效能，較好地解決了配電物聯(lián)網(wǎng)自主感知與智能決策之間的耦合矛盾，實現(xiàn)全局最優(yōu)，具有穩(wěn)定性高、抗干擾性強(qiáng)、自主感知性高等優(yōu)勢，符合智慧配電網(wǎng)體系在萬物云化環(huán)境下的發(fā)展趨勢。