基于Spark的三比值和隨機(jī)森林結(jié)合的并行變壓器故障診斷

朱永利+劉少波+王方

摘要：隨著智能化電網(wǎng)的建設(shè)過程，越來越多的電網(wǎng)系統(tǒng)監(jiān)測數(shù)據(jù)被傳回來在云平臺上進(jìn)行檢測和診斷。針對在集群環(huán)境下，缺乏專有的變壓器故障診斷模型；而隨機(jī)森林在多分類問題中，準(zhǔn)確率高，不容易出現(xiàn)過擬合但是特征最好離散等特點；結(jié)合變壓器三比值法可以讓連續(xù)的變壓器油中溶解氣體離散化，進(jìn)而可以通過隨機(jī)森林進(jìn)行分類；而Spark環(huán)境可以提供一個并行的分布式的環(huán)境，和在內(nèi)存上的計算可以加快運(yùn)算的速度。基于Spark框架提出了三比值和隨機(jī)森林結(jié)合的并行變壓器故障診斷模型，并行的對變壓器油中溶解氣體數(shù)據(jù)集進(jìn)行故障診斷，提高了變壓器故障診斷的效率，有利于應(yīng)對在極端情況下，可能面臨的井噴式報警數(shù)據(jù)處理問題。

關(guān)鍵詞：變壓器；故障診斷；隨機(jī)森林；Spark；三比值法

中圖分類號：TP306+.3 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）27-0221-04

Abstract： With the construction of intelligent power grid， more and more monitoring data of power grid system is transmitted back to the cloud platform for detection and diagnosis. The fault diagnosis model of transformer in cluster environment is lacking. And the random forest in the multi-classification problem， the accuracy is high， it is not easy to have to fit but the characteristics are best to take discrete characteristics； Combined with the transformer three-ratio method， the data can be discretized and its characteristics are meaningful， which can satisfy the characteristics of random forest data. The spark environment can provide a distributed environment and computational speed in memory. The training model can be put on it to improve the speed of diagnosis， and to deal with the problem of blowout alarm data which may be faced in extreme cases.

Key word： Transformer； Fault diagnosis； Random Forest； Spark； Three-ratio method

1 概述

在電力系統(tǒng)大數(shù)據(jù)環(huán)境的背景下，隨著電力系統(tǒng)智能化的建設(shè)，越來越多的電力設(shè)備監(jiān)測裝置安裝到電力系統(tǒng)的各個環(huán)節(jié)中，為了實時確保電力系統(tǒng)的運(yùn)行狀態(tài)，這些監(jiān)測設(shè)備定時向數(shù)據(jù)管理中心發(fā)送設(shè)備檢測數(shù)據(jù)，及時處理這些數(shù)據(jù)，從而判斷電力系統(tǒng)設(shè)備的運(yùn)行狀況與健康狀況，對電力系統(tǒng)具有重要的意義。其中包括變壓器運(yùn)行中油中溶解的各種氣體的含量。這些狀態(tài)監(jiān)測數(shù)據(jù)能反映變壓器的運(yùn)行狀況是否出現(xiàn)故障，以及出現(xiàn)故障的種類。由此也對變壓器故障診斷的準(zhǔn)確率和精確度提出了更高的要求。在電力系統(tǒng)大數(shù)據(jù)環(huán)境下，這些電力系統(tǒng)的狀態(tài)監(jiān)測數(shù)據(jù)有如下的特點。

數(shù)據(jù)規(guī)模大，數(shù)據(jù)具有時效性、數(shù)據(jù)的價值密度低。故障數(shù)據(jù)較之于正常數(shù)據(jù)所占比例特別低。已有的單機(jī)故障診斷系統(tǒng)難以滿足要求。在并行框架上進(jìn)行大規(guī)模監(jiān)測數(shù)據(jù)的存儲，以及實時的故障診斷成為了研究熱點。

目前，大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中主要運(yùn)用到大量數(shù)據(jù)的可視化，采集存儲、數(shù)據(jù)挖掘等領(lǐng)域。對于海量數(shù)據(jù)處理分為流式處理和批處理兩種方法。以批處理的方式處理數(shù)據(jù)對實時性沒有要求，而對數(shù)據(jù)的準(zhǔn)確性和全面性要求高。流處理的方式現(xiàn)只注重實時計算、及時反饋結(jié)果。

Hadoop和Spark是當(dāng)前最流行的大數(shù)據(jù)框架。Hadoop較Spark提出較早，它包括Hadoop的分布式文件系統(tǒng)（HDFS），數(shù)據(jù)分析框架（MapReduce）。智能電網(wǎng)在Hadoop框架上已經(jīng)做了許多研究運(yùn)用。文獻(xiàn)[1]電力系統(tǒng)用戶用電大數(shù)據(jù)特點，基于Hadoop設(shè)計開發(fā)了一套簡單負(fù)荷預(yù)測系統(tǒng)，并用不同規(guī)模數(shù)據(jù)在該系統(tǒng)上進(jìn)行了數(shù)據(jù)集預(yù)測分析，相比于單機(jī)系統(tǒng)，預(yù)測精度和效率都得到了提高。文獻(xiàn)[2]利用數(shù)據(jù)挖掘算法在Hadoop上對測量系統(tǒng)數(shù)據(jù)進(jìn)行了高效的處理。文獻(xiàn)[3]基于Spark提出了隨機(jī)森林并行的文本分類方法，分類效率上相比于Hadoop隨機(jī)森林并行的對文本分類，在分類的效率上有了很大的提高。

2 算法原理

2.1 絕緣油產(chǎn)氣原理

變壓器油中絕緣油是由學(xué)多不同的分子量的碳?xì)浠衔锝M成的混合物，其中某些C-C鍵和C-H鍵可能會因為放電故障或者過熱故障而斷裂分解形成一些游離的自由基，這些自由基馬上聚合形成新的C-H化合物，溶解在變壓器絕緣油中。下面是不同類型故障產(chǎn)生的氣體具有以下規(guī)律。

所以在DGA（Dissolved Gas Analysis，變壓器油中溶解氣體）數(shù)據(jù)包括H2、CH4和C2H6、C2H4、C2H2、CO和CO2。通過對這些氣體在油中溶解的濃度進(jìn)行判斷，進(jìn)而診斷變壓器運(yùn)行狀態(tài)。

2.2 隨機(jī)森林endprint

2.2.1 決策樹的原理

決策樹是一種樹結(jié)構(gòu)，每個葉子結(jié)點代表一種類別，而每個非葉結(jié)點表示數(shù)據(jù)在該特征屬性上的測試分類，每個分支代表這個特征屬性在某個值域上的輸出。使用決策樹進(jìn)行決策的過程就是從根節(jié)點開始，測試待分類項中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達(dá)葉子結(jié)點，將葉子結(jié)點存放的類別作為決策結(jié)果。

構(gòu)建決策樹的關(guān)鍵在于切分點的選擇，切分點的選擇直接影響這個決策樹的分類性能。最佳切分點的選擇方法就是量化純度，具體的方法有信息增益，基尼指數(shù)，以及基于距離的劃分。假設(shè)記錄被分為m類，每類的比例是P（i）=第i類的數(shù)目/總數(shù)目。下面是常見的三種量化純度的方法。

三種公式都對應(yīng)分類的純度，越大表示越“不純”，越小表示“越純”。決策樹構(gòu)建算法

1） 把所有記錄看作一個節(jié)點。

2） 遍歷每個變量的每個分割點，找到最好的分割屬性點。

3） 分割成兩個結(jié)點M1和M2。

4） 對M1和M2繼續(xù)分，直到達(dá)到限制的深度，或者純度足夠小。

利用上面的決策樹方法，由于數(shù)據(jù)的噪聲，缺少代表性數(shù)據(jù)，以及多重比較等原因，經(jīng)常會造成過擬合。雖然可以利用修剪枝葉的方法消除過擬合，但是也達(dá)不到足夠的準(zhǔn)確率。因此決策樹不單獨(dú)用來做最終的分類判定。

2.2.2 隨機(jī)森林原理

隨機(jī)森林是用許多決策樹構(gòu)建的組合分類器。利用訓(xùn)練數(shù)據(jù)隨機(jī)的計算出許多決策樹，形成一個森林。然后用這個森林對未知數(shù)據(jù)進(jìn)行預(yù)測，選取投票最多的分類。隨機(jī)森林較決策樹大大提高了分類的準(zhǔn)確率。隨機(jī)森林實現(xiàn)過程：

1） 原始訓(xùn)練集為N，應(yīng)用Bootstrap法有放回地隨機(jī)抽取k個新的自助樣本集，并由此構(gòu)建k棵決策樹；

2） 每一棵樹的每個節(jié)點的m個變量中，通過計算不純度選擇一個最具有分類能力的變量作為分類屬性點，變量分類的閾值通過檢查每一個分類點確定；

3） 每棵樹最大限度地生長， 不做任何修剪；

4） 將生成的多棵分類樹組成隨機(jī)森林，用隨機(jī)森林分類器對新的數(shù)據(jù)進(jìn)行判別與分類，分類結(jié)果按樹分類器的投票多少而定。

2.3 基于spark框架的隨機(jī)森林

隨機(jī)森林算法在單機(jī)環(huán)境下很容易實現(xiàn)，但在并行的分布式環(huán)境下例如是在 Spark 平臺上，傳統(tǒng)單機(jī)形式的迭代方式必須要進(jìn)行相應(yīng)改進(jìn)才能適用于并行的分布式環(huán)境，這是因為在并行的分布式環(huán)境下，數(shù)據(jù)也是分布式的，例如在HDFS文件系統(tǒng)上，數(shù)據(jù)就是并行存放在不同的設(shè)備中的。如果算法設(shè)計不得當(dāng)，會生成大量的數(shù)據(jù)傳輸操作，例如頻繁的網(wǎng)絡(luò)數(shù)據(jù)傳輸，從而影響算法效率。因此，油中溶解氣體在 Spark 上利用隨機(jī)森林算法分類的實現(xiàn)，需要進(jìn)行一定的優(yōu)化和改進(jìn)，主要對隨機(jī)森林算法主要實現(xiàn)了三個優(yōu)化策略。

2.3.1 油中溶解氣體用三比值法進(jìn)行屬性離散化

油中溶解氣體濃度值是連續(xù)的值，直接用三比值法進(jìn)行分類準(zhǔn)確率只能達(dá)到60%。而經(jīng)過改進(jìn)的三比值法準(zhǔn)確率也只能達(dá)到80%。

決策樹組成的隨機(jī)森林有望提高診斷的性能。但是決策樹對連續(xù)的油中溶解氣體濃度值進(jìn)行切分只是經(jīng)過簡單的數(shù)學(xué)平均切割，切分點并不反應(yīng)任何意義。

所以首先將數(shù)據(jù)用三比值法離散化，在通過在離散的比值編碼選擇切分點更能真實的反應(yīng)和代表數(shù)據(jù)的實情。三比值法編碼見表2：

實驗選擇行標(biāo)DL/T722-2000三比值法作為離散化油中溶解氣體濃度值的方法。

2.3.2 隨機(jī)森林并行化的實現(xiàn)

1） 隨機(jī)森林并行性分析

隨機(jī)森林并行設(shè)計主要包括文本抽樣的并行設(shè)計和決策樹的并行構(gòu)建。而文本抽樣時，抽樣之間的相互獨(dú)立的，因此抽樣過程具有很好的可并行性；文本抽樣完成后，在抽樣樣本的基礎(chǔ)上選擇特征子空間構(gòu)建決策樹，決策樹的構(gòu)造與樣本是一一對應(yīng)關(guān)系，且前后依賴，因此決策樹的建立同樣具有很好的并行性。

2） 隨機(jī)森林并行設(shè)計

隨機(jī)森林算法是一種集成分類器，是由很多決策樹組成的一個綜合的分類器，在原始DGA數(shù)據(jù)抽樣作為決策樹的輸入，然后利用隨機(jī)子空間思想構(gòu)建決策樹，決策樹的構(gòu)建是相互獨(dú)立的，所以有很好的可并行性。隨機(jī)森林算法并行設(shè)計如圖2：

一個完整的隨機(jī)森林構(gòu)建過程，首先讀取變壓器DGA數(shù)據(jù)。然后對其并行的進(jìn)行三比值法標(biāo)準(zhǔn)化。然后對其抽樣，需要構(gòu)建K棵決策樹，則抽樣K次，并行抽樣得到樣本；每一次抽樣完成后，隨之根據(jù)RDD，樣本-n構(gòu)建抽樣樣本對用的決策樹RDD—treen，因此決策樹的構(gòu)建也是并行完成的；最后利用Spark中的union算子匯總分散的決策樹，構(gòu)建隨機(jī)森林，算法如下。

2.3.3 基于spark的三比值和隨機(jī)森林結(jié)合的并行變壓器故障診斷

分類模型訓(xùn)練完成后，在對DGA數(shù)據(jù)分類之前，首先需并行的對數(shù)據(jù)應(yīng)用三比值法進(jìn)行特征屬性離散化。

（1） DGA數(shù)據(jù)分類并行性分析

隨機(jī)森林分類模型訓(xùn)練完成后，對每一個測試集樣本，去用隨機(jī)森林中的所有弱分類器去判斷其類別，每個弱分類器輸出一個類別作為該測試樣本的類別，然后匯總統(tǒng)計判斷測試樣本的最終類別，由此可見，DGA分類時各測試樣本之間相互獨(dú)立，因此分類階段具有很好的并行性。

當(dāng)隨機(jī)森林的模型訓(xùn)練完成后，對所有的測試數(shù)據(jù)集，并行的用所有的決策樹對其進(jìn)行類別判斷，每顆決策樹輸出一個類別作為該數(shù)據(jù)的類別，然后統(tǒng)計所有類別判斷最終所屬類別，所以，DGA分類時，各樣本直接相互獨(dú)立，可以并行，各決策樹之間相互獨(dú)立，也可以并行。

（2） DGA數(shù)據(jù)并行性設(shè)計

隨機(jī)森林并行分類是一個所有決策樹依次對每一條測試集樣本投票的過程，對不同的測試樣本的投票可以并行化，投票完成后統(tǒng)計每條測試樣本的類別集合，然后取類別最多的類最為最終類，DGA數(shù)據(jù)集分類在Spark下的并行設(shè)計如圖3endprint

一個完整的DGA數(shù)據(jù)分類過程，首先從HDFS讀取變壓器油中溶解氣體DGA數(shù)據(jù)，并轉(zhuǎn)換為RDD，然后按照三比值法將其進(jìn)行屬性的離散化，得到直接可以用隨機(jī)森林分類的測試數(shù)據(jù)集，然后利用隨機(jī)森林模型RDD forest并行的對各分區(qū)中的測試集樣本進(jìn)行并行投票。當(dāng)所有決策樹對一條測試樣本投票完成后，該樣本被判定的各類別出現(xiàn)次數(shù)，選擇出現(xiàn)次數(shù)最多的分類作為該測試樣本的最終類別，最后通過Spark的saveAsTextFile算子觸發(fā)所有任務(wù)的執(zhí)行，并將結(jié)果存儲。

2.4 本章小結(jié)

本章分為三小節(jié)，從各個方面闡述算法的原理。

第一小節(jié)講述了實驗分析的數(shù)據(jù)的來源，即變壓器油中溶解氣體的產(chǎn)氣原理。

第二節(jié)系統(tǒng)地介紹了隨機(jī)森林的原理，從決策樹的原理、構(gòu)建、以及最佳屬性點的選擇，到隨機(jī)森林的原理及其算法的具體流程。

第三小節(jié)提出了針對變壓器DGA數(shù)據(jù)的隨機(jī)森林分類方法在Spark上的并行設(shè)計。創(chuàng)新地提出了用三比值法作為DGA數(shù)據(jù)在隨機(jī)森林中的屬性離散化方法，又將其在Spark平臺上實現(xiàn)。

3 驗證實驗

3.1 標(biāo)準(zhǔn)數(shù)據(jù)集準(zhǔn)確率測試

IRIS是鳶尾花數(shù)據(jù)集，是一種多重變量分類數(shù)據(jù)集。該數(shù)據(jù)集包含150個數(shù)據(jù)集，分為3類，每類50個數(shù)據(jù)，每個數(shù)據(jù)包含4個屬性?？赏ㄟ^花萼長度，花萼寬度，花瓣長度，花瓣寬度4個屬性預(yù)測鳶尾花卉屬于（Setosa，Versicolour，Virginica）三個種類中的哪一類。

本實驗將150個數(shù)據(jù)讀入，并隨機(jī)抽取90個作為訓(xùn)練集，另外60個數(shù)據(jù)集作為測試集，來測試基于spark平臺的隨機(jī)森林分類準(zhǔn)確率。

測試結(jié)果可以看出，隨機(jī)森林樹的個數(shù)為1時，分類的準(zhǔn)確率就已經(jīng)達(dá)到60%多， 這種情況是隨機(jī)森林的特殊情況，相當(dāng)于用決策樹進(jìn)行分類的準(zhǔn)確率。而隨著隨機(jī)森林樹的增加，其分類的準(zhǔn)確率也在逐漸增加。當(dāng)棵數(shù)達(dá)到20棵時，其準(zhǔn)確率也基本達(dá)到了97%。再增加樹的棵數(shù)，隨機(jī)森林的準(zhǔn)確率基本保持穩(wěn)定。

3.2 對變壓器DGA數(shù)據(jù)的分類效果

變壓器DGA數(shù)據(jù)，即油色譜數(shù)據(jù)，指的是變壓器油中溶解的CH4，C2H2，C2H4，C2H6，H2五種氣體，本實驗選取的數(shù)據(jù)為 500條變壓器油中溶解氣體的數(shù)據(jù)，包含五種故障類型，和正常的數(shù)據(jù)，共六種數(shù)據(jù)。

本實驗將該數(shù)據(jù)集隨機(jī)分為兩份，一份用作訓(xùn)練隨機(jī)森林的訓(xùn)練數(shù)據(jù)集，一類用作測試隨機(jī)森林分類效果的測試數(shù)據(jù)集。并設(shè)置不同子樹情況下，測試其分類精度三次取平均值作為該精度下的分類準(zhǔn)確率。

從圖中可以看出在隨機(jī)森林的決策樹的個數(shù)達(dá)到一定數(shù)目，隨機(jī)森林分類的精確率較決策樹有很大的提高。

3.3 相比于Hadoop 運(yùn)算速度的測試

應(yīng)用油色譜數(shù)據(jù)中的五種氣體，五種故障，包括正常共六種分類，共501條變壓器故障數(shù)據(jù)，將其按倍數(shù)擴(kuò)大到1萬倍。分別在Hadoop 和Spark平臺上以不同的節(jié)點數(shù)運(yùn)行，對比其運(yùn)行時間。

實驗表明節(jié)點較少時Spark較MapReduce性能提升較大，1個節(jié)點時MapReduce的運(yùn)行時間大約是Spark的40倍，但隨著節(jié)點的增加，集群得到充分利用這種差距會減小，16個節(jié)點的時候，MapReduce的運(yùn)行時間大約是Spark的16倍，因此同MapReduce相比，Spark下的隨機(jī)森林算法具有更高的效率。

3.4 加速比測試

仍然使用翻倍后的數(shù)據(jù)集測試。

圖7中橫軸的單位是結(jié)點的數(shù)量，縱軸的單位是加速的倍數(shù)。紅色曲線是理想情況下加速比，而藍(lán)色是測試情況下加速比，由于節(jié)點間通信損耗，以及數(shù)據(jù)量小，通信時間占用運(yùn)算時間比例變大，造成隨著結(jié)點數(shù)增加，加速比呈下降趨勢。

4 結(jié)束語

為了提高變壓器故障診斷的準(zhǔn)確率和精確度，提出了基于Spark的隨機(jī)森林和三比值結(jié)合的變壓器故障診斷方法，并對該算法進(jìn)行了標(biāo)準(zhǔn)數(shù)據(jù)集的分類準(zhǔn)確率測試和變壓器故障DGA數(shù)據(jù)的分類準(zhǔn)確率測試，以及和Hadoop進(jìn)行了運(yùn)行速度的比較，最后在不同節(jié)點數(shù)目下，測試了在Spark平臺上的加速比。

實驗表明，該算法對變壓器的故障診斷具有良好的準(zhǔn)確率和很快的診斷速度。在對大規(guī)模的變壓器故障數(shù)據(jù)的診斷方面將會有很大的優(yōu)勢。

實驗缺點是沒有同其他分類算法在Spark平臺上進(jìn)行比較，后期將會做這方面的工作。

參考文獻(xiàn)：

[1] 王德文，孫志偉.電力用戶測大數(shù)據(jù)分析與并行負(fù)荷預(yù)測[J].中國電機(jī)工程學(xué)報，2015，35 （3）：527-537.

[2] 曲朝陽，朱莉張士林.基于hadoop的廣域測量系統(tǒng)數(shù)據(jù)處理[J].電力系統(tǒng)自動化，2013，37（4）：92-97.

[3] 羅元帥.基于隨機(jī)森林和Spark的并行文本分類算法研究[D].西南交通大學(xué).2013.

[4] 湖南大學(xué).Spark云服務(wù)環(huán)境下面向大數(shù)據(jù)的隨機(jī)森林并行機(jī)器學(xué)習(xí)方法[p].中國：105550374.2016.

[5] 王琪，張洪偉.基于Spark計算模型的隨機(jī)森林的電話量預(yù)測研究[J].成都信息工程學(xué)院學(xué)報，2015，30（5）：445-450.

[6] GB/T 7252-2001，變壓器油中溶解氣體分析和判斷導(dǎo)則[S].

[7] 吳生特，歐陽敏，等.改進(jìn)型三比值法在變壓器故障診斷中的應(yīng)用[J].水電站機(jī)電技術(shù)，2015，38（8）：13-16.

[8] 陶棟琦，薄翠梅.基于隨機(jī)森林的變壓器故障檢測方法的研究[J].電子器件.2015，38（4）：840-844.endprint