基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控

蔣飛勇

（廣州健新科技有限責(zé)任公司，廣東 廣州 510000）

0 引言

有效的管控措施不僅直接關(guān)系到水電機(jī)組運(yùn)行的穩(wěn)定性，更與機(jī)組所在生產(chǎn)環(huán)境的安全密切相關(guān)[1]。對(duì)此文獻(xiàn)[2]建立了考慮梯級(jí)水電站耦合的水火電系統(tǒng)年度機(jī)組檢修優(yōu)化模型，考慮系統(tǒng)、機(jī)組、水庫的運(yùn)行約束，并采用代理絕對(duì)值拉格朗日松弛法求解，在一定程度上起到了提高輸電機(jī)組安全性的作用。但是其在具體實(shí)施過程中需要大量的人力投入。文獻(xiàn)[3]探索了一種融合虛擬現(xiàn)實(shí)、智能決策、電站多元信息的數(shù)字化檢修技術(shù)，并基于此開發(fā)抽水蓄能電站機(jī)組檢修數(shù)字化管理系統(tǒng)。但是隨著水電機(jī)組運(yùn)行周期的延長，其性能參數(shù)也會(huì)發(fā)生相應(yīng)變化，這就意味著以固定的標(biāo)準(zhǔn)對(duì)其實(shí)施管控是難以實(shí)現(xiàn)的。

結(jié)合上述研究內(nèi)容以及實(shí)際水電機(jī)組檢修工作執(zhí)行的情況，該文提出基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法研究，構(gòu)建了智能化管控裝置，并通過對(duì)輸電機(jī)組設(shè)備的歷史運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行強(qiáng)化學(xué)習(xí)，對(duì)相關(guān)檢修工作的執(zhí)行標(biāo)準(zhǔn)進(jìn)行更新優(yōu)化，確保對(duì)應(yīng)管控的合理性，并通過實(shí)際應(yīng)用測(cè)試的方式分析驗(yàn)證了設(shè)計(jì)管控方法的可靠性。

1 水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法設(shè)計(jì)

檢修進(jìn)度與資源的科學(xué)規(guī)劃關(guān)乎檢修計(jì)劃能否按期完成。針對(duì)傳統(tǒng)水電機(jī)組檢修管控方法對(duì)檢修進(jìn)度與資源管理的不足，該文在多智能體的基礎(chǔ)上引入了強(qiáng)化學(xué)習(xí)機(jī)制，構(gòu)建了多智能體強(qiáng)化學(xué)習(xí)機(jī)制，以實(shí)現(xiàn)對(duì)檢修過程實(shí)時(shí)跟蹤和智能化管控，優(yōu)化資源配置，為檢修工作順利完成提供標(biāo)準(zhǔn)化數(shù)據(jù)支撐。

1.1 水電機(jī)組檢修管控前期準(zhǔn)備

檢修管控前期準(zhǔn)備工作是檢修標(biāo)準(zhǔn)化工作的重要環(huán)節(jié)，關(guān)系到檢修目標(biāo)能否最終實(shí)現(xiàn)。首先，確認(rèn)檢修項(xiàng)目名稱、上次檢修時(shí)間、檢修級(jí)別、檢修所需備件、標(biāo)準(zhǔn)項(xiàng)目。其次，由相關(guān)專業(yè)人員根據(jù)檢修設(shè)備運(yùn)行情況、上次檢修存在的缺陷和遺留問題、技術(shù)監(jiān)督數(shù)據(jù)、設(shè)備檢修規(guī)程等進(jìn)行綜合分析，提出水電機(jī)組檢修重大技改項(xiàng)目和設(shè)備重大缺陷，并將其作為檢修依據(jù)，制定相應(yīng)的專項(xiàng)施工方案。檢修作業(yè)包括各系統(tǒng)的檢修、水輪機(jī)系統(tǒng)檢修、發(fā)電機(jī)系統(tǒng)檢修、輔機(jī)系統(tǒng)檢修、大型設(shè)備專項(xiàng)吊裝等[4]。最后，確認(rèn)檢修工具是否準(zhǔn)備充分，這將直接影響檢修目標(biāo)的完成。在檢修之前應(yīng)對(duì)檢查器具進(jìn)行整理，并及時(shí)補(bǔ)充檢修所需要的檢修器具，如檢修工器具、安全防護(hù)用品等。

1.2 多智能體強(qiáng)化學(xué)習(xí)機(jī)制構(gòu)建

考慮現(xiàn)階段的水電機(jī)組已經(jīng)實(shí)現(xiàn)了較大規(guī)模的智能化建設(shè)[5]，該文借助多智能體實(shí)現(xiàn)對(duì)對(duì)應(yīng)設(shè)備運(yùn)行狀態(tài)的分析。在設(shè)計(jì)階段，為了最大限度保證對(duì)設(shè)備異常識(shí)別的準(zhǔn)確性，該文為多智能體引入了強(qiáng)化學(xué)習(xí)機(jī)制。將Q-Learning與W-Learning相結(jié)合，在動(dòng)作選擇和執(zhí)行階段，根據(jù)學(xué)習(xí)到的策略獨(dú)立選擇動(dòng)作，以有效減少學(xué)習(xí)階段的計(jì)算量。先構(gòu)建強(qiáng)化學(xué)習(xí)智能體，將水電機(jī)組作為強(qiáng)化學(xué)習(xí)智能體的學(xué)習(xí)環(huán)境，智能體m在機(jī)組運(yùn)行過程中進(jìn)行異常狀態(tài)屬性s的感知，狀態(tài)屬性集包括設(shè)備延遲時(shí)間st、異常運(yùn)行溫度c、冷卻水壓p等水電機(jī)組運(yùn)行過程中相關(guān)的設(shè)備狀態(tài)信息。在此基礎(chǔ)上，智能體根據(jù)所對(duì)應(yīng)的異常狀態(tài)屬性s選擇檢修動(dòng)作Ae，智能體根據(jù)所感知的異常狀態(tài)進(jìn)行自學(xué)習(xí)，其中在每次學(xué)習(xí)迭代過程[σ，σ+1]下智能體的預(yù)測(cè)函數(shù)w可定義為公式（1）。

式中：xm（t）為水電機(jī)組異常狀態(tài)屬性s的迭代函數(shù)。

在水電機(jī)組正常運(yùn)行時(shí)xm（t）=1，水電機(jī)組發(fā)生故障或空閑時(shí)xm（t）=0。假設(shè)在初始狀態(tài)下水電機(jī)組正常運(yùn)行的參數(shù)為x0，那么多智能體實(shí)施對(duì)機(jī)組異常狀態(tài)判定時(shí)也是以其為基準(zhǔn)進(jìn)行的。但是在運(yùn)行過程中，受自身磨損以及周圍環(huán)境等因素的共同作用，正常運(yùn)行參數(shù)會(huì)出現(xiàn)一定程度的波動(dòng)[6]，對(duì)該波動(dòng)程度的計(jì)算方式如公式（2）所示。

式中：k為水電機(jī)組正常運(yùn)行參數(shù)的波動(dòng)程度；x為在運(yùn)行t時(shí)間后，水電機(jī)組的實(shí)際參數(shù)信息。

當(dāng)t無限趨近于0時(shí)，k與t呈線性關(guān)系存在，利用這一特性，篩選智能體在水電機(jī)組各種異常狀態(tài)下能夠達(dá)到最大回報(bào)的決策行為。為了均衡智能體在學(xué)習(xí)過程中的發(fā)現(xiàn)和利用，采用平衡智能體決策策略局部搜索和全局搜索，以改善其在虛擬環(huán)境中智能體的學(xué)習(xí)效果。另外，將經(jīng)過訓(xùn)練完備的智能體運(yùn)用于實(shí)際生產(chǎn)流程中，能夠根據(jù)當(dāng)前的水電設(shè)備運(yùn)行狀況自主制定決策行為，并對(duì)水電機(jī)組中存在的不確定性異常因素進(jìn)行智能決策優(yōu)化。該文基于以上強(qiáng)化學(xué)習(xí)機(jī)制內(nèi)容，借助Speedy Q－learning的更新方法，解決強(qiáng)度學(xué)習(xí)算法存在的計(jì)算量大、收斂速度慢等問題。Speedy Qlearning的主要思想是將上一迭代步更新后的Q值作為下一狀態(tài)的最大Q值，可有效提高算法的收斂速度。對(duì)多智能體中的標(biāo)準(zhǔn)值進(jìn)行更新，對(duì)應(yīng)的更新機(jī)制可以為公式（3）。

式中：x（t）為任意時(shí)刻多智能體中判斷水電機(jī)組異常狀態(tài)的標(biāo)準(zhǔn)參數(shù)信息；Δ為歷史觀測(cè)數(shù)據(jù)的誤差范圍； 為學(xué)習(xí)函數(shù)，可利用其計(jì)算出連續(xù)的k變化率。

需要注意的是，當(dāng)公式（2）計(jì)算得出的水電機(jī)組正常狀態(tài)判斷標(biāo)準(zhǔn)參數(shù)超出設(shè)備自身的設(shè)計(jì)值時(shí)，表明此時(shí)的設(shè)備已經(jīng)達(dá)到了最大使用壽命，需要進(jìn)行更新替換處理。

通過Speedy Q－learning算法在下一狀態(tài)聯(lián)合動(dòng)作空間的子空間上進(jìn)行部分采樣并求取最大Q值。為減少學(xué)習(xí)階段的計(jì)算量，提高算法的運(yùn)行效率，該文在多智能體中引入強(qiáng)化學(xué)習(xí)機(jī)制，以便在執(zhí)行水電機(jī)組標(biāo)準(zhǔn)化檢修管控過程中根據(jù)當(dāng)前水電機(jī)組的實(shí)際運(yùn)行狀態(tài)準(zhǔn)確判斷負(fù)荷，如果水電機(jī)組的實(shí)際運(yùn)行狀態(tài)出現(xiàn)異常，可及時(shí)發(fā)現(xiàn)并進(jìn)行相應(yīng)的故障處理。

1.3 水電機(jī)組檢修管控

該文在構(gòu)建多智能體強(qiáng)化學(xué)習(xí)機(jī)制的基礎(chǔ)上對(duì)水電機(jī)組進(jìn)行檢修管控。在實(shí)現(xiàn)水電機(jī)組檢修管控的過程中，該文建立了多智能體與水電機(jī)組管控系統(tǒng)之間的連接關(guān)系。考慮水電機(jī)組的原始數(shù)據(jù)大多是以Wigner-Ville分布（Wigner-Ville Distribution，WVD）的形式存在的，因此該文利用RDF策略為多智能體設(shè)置了數(shù)據(jù)轉(zhuǎn)化指令。接收到WVD形式的狀態(tài)數(shù)據(jù)文件后，將其制成RDF文件，再利用WVD-RDF數(shù)據(jù)，將對(duì)應(yīng)的參數(shù)信息集成為SVG圖形的形式。這樣做的目的是在確定水電機(jī)組異常的同時(shí)，能夠同步確定對(duì)應(yīng)的故障位置。為了滿足多智能體的強(qiáng)化學(xué)習(xí)需求，該文為其建立了數(shù)據(jù)存儲(chǔ)模式，考慮水電機(jī)組的數(shù)據(jù)規(guī)模較大，直接存儲(chǔ)需要較大的空間，因此采用EEMD分解后將數(shù)據(jù)轉(zhuǎn)化為以元素為基礎(chǔ)單元的矩陣形式。多智能體接收到實(shí)時(shí)水電機(jī)組運(yùn)行數(shù)據(jù)后，經(jīng)上述處理，并利用智能體的中間件基礎(chǔ)架構(gòu)匹配數(shù)據(jù)中故障要素與計(jì)算得到的實(shí)時(shí)標(biāo)準(zhǔn)參量之間的關(guān)系，實(shí)現(xiàn)對(duì)其異常情況的準(zhǔn)確識(shí)別。具體的實(shí)現(xiàn)流程如圖1所示。

如圖1所示，多智能體通過消息傳遞接口（MPI）建立與水電機(jī)組運(yùn)行數(shù)據(jù)后，根據(jù)歷史數(shù)據(jù)的發(fā)展情況計(jì)算實(shí)時(shí)異常狀態(tài)判斷標(biāo)準(zhǔn)，在此基礎(chǔ)上將輸入多智能體中的數(shù)據(jù)轉(zhuǎn)化為RDF文件，并對(duì)比其與狀態(tài)判斷標(biāo)準(zhǔn)之間的關(guān)系。當(dāng)其在標(biāo)準(zhǔn)參數(shù)范圍內(nèi)時(shí)，表明此時(shí)的機(jī)組處于正常狀態(tài)；當(dāng)其超出標(biāo)準(zhǔn)參數(shù)范圍時(shí)，則表明此時(shí)的機(jī)組存在異常。結(jié)合SVG圖形實(shí)現(xiàn)對(duì)具體故障位置的定位，并將其作為檢修工作的執(zhí)行指令傳輸?shù)剿姍C(jī)組管控系統(tǒng)中。

圖1 基于多智能體的水電機(jī)組檢修管控流程

通過這樣的方式并結(jié)合實(shí)際情況實(shí)現(xiàn)對(duì)水電機(jī)組運(yùn)行狀態(tài)的判斷，以更合理的標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)檢修工作的管控，確保檢修管控的執(zhí)行效果。此外，還需要為每個(gè)智能體設(shè)計(jì)一個(gè)單一目標(biāo)問題，為了保證獲得預(yù)期的收益，必須在最優(yōu)時(shí)給予智能體相應(yīng)報(bào)酬，但這也會(huì)造成在一個(gè)模型中出現(xiàn)貪婪行為，解決方案如下：在每段時(shí)間內(nèi)對(duì)智能體的行為進(jìn)行調(diào)節(jié)，直至被認(rèn)可。且為了避免在高需求階段對(duì)非關(guān)鍵的智能體進(jìn)行檢修，將問題轉(zhuǎn)化為一個(gè)多目標(biāo)問題，因此水電機(jī)組優(yōu)化的第二個(gè)目標(biāo)是對(duì)智能體的不當(dāng)行為進(jìn)行處罰。如果智能體決定在需求量高時(shí)被維修，則對(duì)智能體模型輸入懲罰，這可以由預(yù)測(cè)元件所提供的未來環(huán)境狀況信息來完成。

2 應(yīng)用測(cè)試與分析

在對(duì)該文設(shè)計(jì)的基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法的應(yīng)用效果進(jìn)行測(cè)試的階段，該文以實(shí)際環(huán)境為基礎(chǔ)，將所設(shè)計(jì)的方法與文獻(xiàn)[7]提出的基于TOPSIS的抽水蓄能機(jī)組設(shè)備重要度評(píng)估方法、文獻(xiàn)[8]提出的電機(jī)組狀態(tài)監(jiān)測(cè)數(shù)據(jù)清洗方法進(jìn)行對(duì)比，通過對(duì)三種管控方法下的檢修執(zhí)行效果進(jìn)行分析來對(duì)該文設(shè)計(jì)的管控方法的應(yīng)用價(jià)值做出客觀評(píng)價(jià)。

2.1 測(cè)試環(huán)境

該文以某企業(yè)的水電機(jī)組為測(cè)試對(duì)象，測(cè)試電站配備的機(jī)組類型為混流式水輪發(fā)電機(jī)組，共6臺(tái)，具體的運(yùn)行功率參數(shù)均為550MW。在對(duì)測(cè)試裝置的數(shù)據(jù)進(jìn)行獲取階段，該文主要采用S8000在線監(jiān)測(cè)系統(tǒng)。在具體的實(shí)施過程中，分別通過位移傳感器實(shí)現(xiàn)對(duì)機(jī)組擺度信號(hào)的實(shí)時(shí)獲取。為了確保采集數(shù)據(jù)信息的完整性和可靠性，對(duì)位移傳感器位置的布置需要兼顧水輪發(fā)電機(jī)組在不同方向上的具體運(yùn)行情況，按照垂直的方式在水導(dǎo)軸承X方向、Y方向設(shè)置2個(gè)傳感裝置。在此基礎(chǔ)上，設(shè)置采樣數(shù)據(jù)平均時(shí)間間隔為30分鐘，共獲取166組數(shù)據(jù)。以此數(shù)據(jù)為基礎(chǔ)，分別設(shè)置不同的故障狀態(tài)，并采用三種方法實(shí)施檢修管控。在對(duì)三種方法的管控效果進(jìn)行分析階段，該文以其對(duì)水電機(jī)組故障狀態(tài)的檢修效果為評(píng)價(jià)指標(biāo)。

2.2 測(cè)試結(jié)果

按照上述測(cè)試環(huán)境設(shè)置情況，該文差異化設(shè)置水電機(jī)組檢修故障的類型和程度，具體見表1。

表1 水電機(jī)組檢修故障設(shè)置/μm

按照表1所示的方式，分別對(duì)每組檢修故障進(jìn)行30次測(cè)試，如果在測(cè)試階段對(duì)故障的有效檢修次數(shù)達(dá)到30次，則表明對(duì)應(yīng)的管控方法能夠?qū)崿F(xiàn)對(duì)水電機(jī)組異常情況的有效管控。隨著有效檢修次數(shù)的降低，表明對(duì)應(yīng)的管控方法在水電機(jī)組檢修中的應(yīng)用效果也相應(yīng)降低。統(tǒng)計(jì)不同管控方法下的測(cè)試結(jié)果，得到的數(shù)據(jù)信息見表2。

表2 不同管控方法下水電機(jī)組故障檢修效果統(tǒng)計(jì)

從表2可以看出，在不同水電機(jī)組故障狀態(tài)下進(jìn)行的測(cè)試結(jié)果中，文獻(xiàn)[5]和文獻(xiàn)[6]方法的測(cè)試結(jié)果均隨著異常程度的減弱而表現(xiàn)出管控效果逐漸下降的趨勢(shì)。其中，文獻(xiàn)[5]方法的管控效果受故障程度的影響更明顯。當(dāng)水導(dǎo)軸承X方向擺度異常程度達(dá)到5.0μm時(shí)，檢修階段對(duì)其的準(zhǔn)確檢修次數(shù)達(dá)到28次，但是當(dāng)短路阻抗異常程度僅為2.0μm時(shí)，檢修階段對(duì)其的準(zhǔn)確檢修次數(shù)也僅為22次，表明此時(shí)有8次測(cè)試并未實(shí)現(xiàn)對(duì)故障的有效檢出，這對(duì)水電機(jī)組的安全運(yùn)行是十分不利的。雖然從整體角度分析，文獻(xiàn)[8]方法的管控效果波動(dòng)性低于文獻(xiàn)[7]方法，但是對(duì)實(shí)際的水電機(jī)組檢修工作而言也存在一定的不足。相比之下，該文設(shè)計(jì)方法對(duì)不同類型和程度故障的準(zhǔn)確檢修次數(shù)均在26次以上，并且測(cè)試結(jié)果并未受到故障程度的明顯影響。測(cè)試結(jié)果表明，該文設(shè)計(jì)的基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法可以實(shí)現(xiàn)對(duì)水電機(jī)組檢修工作執(zhí)行質(zhì)量的有效管控，對(duì)提高故障檢出效果具有積極作用。

基于上述試驗(yàn)內(nèi)容，使用訓(xùn)練集大小為200的水電機(jī)組數(shù)據(jù)庫，對(duì)該文檢修管控方法進(jìn)行驗(yàn)證。假定所有數(shù)據(jù)集具有相同的擴(kuò)展功能，通過故障檢測(cè)成功率試驗(yàn)可以發(fā)現(xiàn)，使用基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法進(jìn)行故障檢測(cè)，成功率達(dá)到99%以上。數(shù)值結(jié)果表明，該文檢修管控方法在區(qū)分水電機(jī)組參數(shù)集中所有的故障參數(shù)方面較為有效。這是因?yàn)樵撐姆椒ɡ脧?qiáng)化學(xué)習(xí)機(jī)制實(shí)現(xiàn)了對(duì)水電機(jī)組異常判斷標(biāo)準(zhǔn)的實(shí)時(shí)更新，利用智能體的中間件基礎(chǔ)架構(gòu)，匹配數(shù)據(jù)中故障要素與計(jì)算得到的實(shí)時(shí)標(biāo)準(zhǔn)參量之間的關(guān)系，可實(shí)現(xiàn)對(duì)其異常情況的準(zhǔn)確識(shí)別。

3 結(jié)語

為了確保水電機(jī)組檢修工作的執(zhí)行效果，實(shí)施有效的管控方法是極為重要的。該文提出基于多智能體強(qiáng)化學(xué)習(xí)的水電機(jī)組標(biāo)準(zhǔn)化檢修管控方法，以智能裝置為執(zhí)行載體，在引入強(qiáng)化學(xué)習(xí)機(jī)制的基礎(chǔ)上，實(shí)現(xiàn)了對(duì)水電機(jī)組檢修工作的標(biāo)準(zhǔn)化管控。希望該文的研究內(nèi)容能夠?yàn)閷?shí)際的檢修工作提供有價(jià)值的參考，助力水電機(jī)組的安全運(yùn)行。