基于深度主動學(xué)習(xí)的MVB網(wǎng)絡(luò)故障診斷方法

楊岳毅，王立德，王 沖，王慧珍，李 燁

（北京交通大學(xué)電氣工程學(xué)院，北京 100044）

MVB （multiple vehicle bus）網(wǎng)絡(luò)用于傳輸列車車輛各設(shè)備間的控制信息、狀態(tài)信息等，在高速動車組和地鐵列車上得到廣泛應(yīng)用[1].由于惡劣的工作環(huán)境和網(wǎng)絡(luò)設(shè)備的不斷增加，多種因素都會造成MVB網(wǎng)絡(luò)故障，網(wǎng)絡(luò)故障表現(xiàn)多樣.目前，MVB網(wǎng)絡(luò)故障仍然依賴于人工排查，查找MVB網(wǎng)絡(luò)故障根源十分困難.因此，研究MVB網(wǎng)絡(luò)智能故障診斷方法對于實(shí)現(xiàn)智能化檢修，降低列車運(yùn)維成本具有重要意義.

MVB網(wǎng)絡(luò)的物理層和鏈路層包含最多的網(wǎng)絡(luò)狀態(tài)和故障信息，常用于網(wǎng)絡(luò)狀態(tài)監(jiān)視和故障診斷.文獻(xiàn)[2]提取峰峰值、正穩(wěn)態(tài)幅值等8種MVB信號特征，采用多核支持向量機(jī)來識別多種MVB端接故障，取得了不錯的診斷效果.文獻(xiàn)[3]提出一種基于權(quán)重化支持向量機(jī)的故障診斷方法，提取MVB信號特征用于診斷端接、并聯(lián)電阻、串聯(lián)電阻等故障.然而，這些方法依賴于專家經(jīng)驗(yàn)進(jìn)行特征提取和選擇，只適用于特定應(yīng)用領(lǐng)域.

近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，國內(nèi)外專家學(xué)者提出了許多基于深度學(xué)習(xí)的故障診斷方法[4-7].其中，由于結(jié)構(gòu)簡單、效率高等優(yōu)點(diǎn)，堆疊去噪自編碼器（stacked denoising autoencoder，SDAE）被廣泛應(yīng)用于多種領(lǐng)域的故障診斷中.為得到高性能的深度學(xué)習(xí)模型，需要大量的已標(biāo)記數(shù)據(jù)進(jìn)行模型訓(xùn)練.然而，工業(yè)應(yīng)用中缺乏大量帶標(biāo)簽的數(shù)據(jù)，標(biāo)記數(shù)據(jù)十分耗時且成本高昂，因此，很難有充足的帶標(biāo)簽數(shù)據(jù)進(jìn)行模型訓(xùn)練.為解決這些問題，一些學(xué)者提出了將深度學(xué)習(xí)算法和主動學(xué)習(xí)相結(jié)合的方法，從而在少量標(biāo)記數(shù)據(jù)下得到高質(zhì)量的深度學(xué)習(xí)模型，已經(jīng)應(yīng)用在圖片分類[8-9]、文本分類[10]、系統(tǒng)監(jiān)測[11]、故障診斷[12]等多個領(lǐng)域.主動學(xué)習(xí)通過采用不同采樣策略來選擇位于分類邊界、類中心等高信息量的樣本進(jìn)行專家人工標(biāo)記后用于模型訓(xùn)練，從而大大降低實(shí)際應(yīng)用中的標(biāo)記成本.其中，不確定性采樣策略具有計(jì)算量小、效率高等優(yōu)點(diǎn)，在實(shí)際中應(yīng)用最為廣泛[13].文獻(xiàn)[14-15]均采用主動學(xué)習(xí)和堆疊自編碼器結(jié)合的方法進(jìn)行心電圖信號分類，利用信息熵和最小邊緣的方法度量樣本的不確定性.文獻(xiàn)[16]采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network, CNN）模型進(jìn)行半導(dǎo)體生成過程的故障診斷，利用多種不確定性采樣方法來選擇信息量最大的樣本進(jìn)行標(biāo)記.然而，不確定性采樣方法只選擇位于分類邊緣或者低密度區(qū)域的樣本，因此，可能會造成樣本采樣偏差，同時更容易選擇到異常樣本，從而無法得到高質(zhì)量的深度學(xué)習(xí)模型.

本文提出一種基于不確定性和可信度相結(jié)合的高效率主動學(xué)習(xí)方法，并將其與基于SDAE的MVB故障診斷模型相結(jié)合.在模型訓(xùn)練過程中，基于最小邊緣選擇高不確定性樣本進(jìn)行人工標(biāo)記，同時，基于信息熵選擇高可信度樣本并自動標(biāo)記偽標(biāo)簽，將被標(biāo)記樣本用于模型訓(xùn)練，從而實(shí)現(xiàn)在減少標(biāo)記樣本的同時得到高質(zhì)量的深度神經(jīng)網(wǎng)絡(luò)模型.在MVB網(wǎng)絡(luò)實(shí)驗(yàn)平臺上進(jìn)行了故障模擬實(shí)驗(yàn)，并通過多組對比實(shí)驗(yàn)驗(yàn)證了提出方法的有效性.

1 MVB網(wǎng)絡(luò)故障

在實(shí)際應(yīng)用中，MVB網(wǎng)絡(luò)通常采用電氣中距離（electrical middle distance, EMD）傳輸介質(zhì)，MVB信號采用曼徹斯特編碼，傳輸速率為1.5 Mbit/s.IEC 61375協(xié)議規(guī)定了EMD發(fā)送器輸出信號的一致性測試標(biāo)準(zhǔn)[17].

圖1為MVB網(wǎng)絡(luò)EMD單線常見故障示意圖，MVB設(shè)備采用帶隔離變壓器的RS485芯片作為收發(fā)器，設(shè)備間通過無源連接器和屏蔽雙絞線連接，終端設(shè)備配置120 Ω ± 10%的端接器.

圖1 EMD單線連接常見故障類型Fig.1 Typical fault modes of EMD single-line connection

根據(jù)傳輸線理論，傳輸線反射系數(shù)ΓL為反射波電壓與入射波電壓之比，其在電纜終端處為

式中：ZL為終端電阻；Z0為電纜特性阻抗.

當(dāng)阻抗匹配時，終端反射系數(shù)ΓL= 0，無反射波；當(dāng)負(fù)載斷路或短路時，發(fā)生全反射.當(dāng)0 <ΓL<1時，發(fā)生部分反射.阻抗不匹配會引起信號反射，從而造成MVB信號畸變.

電纜安裝不當(dāng)和彎折、連接器老化和虛接等多種原因都會造成電纜特性阻抗Z0發(fā)生變化，導(dǎo)致反射系數(shù)ΓL發(fā)生變化.電纜回波損耗為

在阻抗匹配時回波損耗最大，而阻抗不匹配越嚴(yán)重會導(dǎo)致回波損耗數(shù)值越小，電纜信號反射越嚴(yán)重，MVB信號的信噪比越低，誤碼率增大.

電纜衰減可以表示為

阻抗匹配時電纜衰減最小，超過極限值將導(dǎo)致嚴(yán)重的信號損耗，造成丟包率和誤碼率上升.

如表1所示為MVB網(wǎng)絡(luò)常見故障，多種網(wǎng)絡(luò)故障都會影響MVB信號物理波形質(zhì)量.因此，采集MVB信號物理波形可以用于對電纜性能退化、連接器老化等網(wǎng)絡(luò)早期故障的診斷.

表1 MVB網(wǎng)絡(luò)常見故障Tab.1 Typical faults of MVB network

根據(jù)IEC 61375協(xié)議規(guī)定，MVB主幀的幀頭為9位固定格式和長度的起始分界符，在整個MVB網(wǎng)絡(luò)通信過程中不發(fā)生變化.因此，本文將采集到的MVB網(wǎng)絡(luò)主幀的起始分界符對應(yīng)的物理波形數(shù)據(jù)作為故障診斷模型的輸入.

2 故障診斷方法

2.1 堆疊去噪自編碼器

經(jīng)典自編碼器是一種3層對稱神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器組成，通過最小化重構(gòu)誤差來實(shí)現(xiàn)特征學(xué)習(xí).相比于經(jīng)典自編碼器，去噪自編碼DAE（denoising autoencoder）通過在訓(xùn)練階段中對輸入樣本加入隨機(jī)噪聲來獲得更好的魯棒性.訓(xùn)練完成后的DAE能夠有效進(jìn)行特征提取，并且能夠消除輸入噪聲的影響.SDAE由多個上下連接的DAE組成的深度網(wǎng)絡(luò)結(jié)構(gòu)，通過將上一層DAE的隱含層輸出作為下一層DAE的輸入來得到更好的特征表示.采用SDAE進(jìn)行故障診斷時，訓(xùn)練過程包括無監(jiān)督特征學(xué)習(xí)和有監(jiān)督全局微調(diào).

假設(shè)輸入數(shù)據(jù)X= {x(1),x(2),…,x(i),…,x(N)},x(i)∈RS,i= 1, 2,…,N，N為樣本數(shù)量，S為樣本的特征維度.如圖2（a）所示，在無監(jiān)督特征學(xué)習(xí)階段，第m個DAE隱含層輸出為

式中：fm(?)為第m個DAE隱含層激活函數(shù)；Wm和bm分別為第m個DAE編碼器的權(quán)重和偏置；hm?1(i)為第m－1個DAE的隱含層輸出.

第m個DAE重構(gòu)輸出為

則第m個DAE重構(gòu)誤差為

式中：θm= {Wm,bm,,}.

采用批量梯度下降對SDAE進(jìn)行分層預(yù)訓(xùn)練，直到所有的DAE都訓(xùn)練完成.

如圖2（b）所示，在有監(jiān)督全局微調(diào)階段，構(gòu)建一個深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN），在其最后一層增加一個softmax層，Wc和bc分別表示softmax層的權(quán)重和偏置.DNN模型的softmax層參數(shù)隨機(jī)初始化，其他層初始化參數(shù)采用訓(xùn)練好的SDAE模型參數(shù).利用訓(xùn)練集(X1,Y1)，通過最小化損失函數(shù)來優(yōu)化模型參數(shù)，損失函數(shù)定義為

圖2 SDAE模型訓(xùn)練過程Fig.2 Training process of SDAE model

式中：n為每輪訓(xùn)練樣本數(shù)；I(?)為指示函數(shù)；y(i)為樣本x(i)的預(yù)測標(biāo)簽；K為故障類型數(shù)；p(x(i))為樣本x(i)的模型概率輸出；γ為損失函數(shù)權(quán)重.

2.2 主動學(xué)習(xí)

主動學(xué)習(xí)的目的是通過采用不同采樣策略，從未標(biāo)記數(shù)據(jù)中選擇信息量最大的數(shù)據(jù)進(jìn)行專家標(biāo)記后用于模型訓(xùn)練，從而以最小標(biāo)記成本得到高質(zhì)量分類模型.基于不確定性的采樣策略具有使用簡便、計(jì)算量小等優(yōu)點(diǎn)，因此應(yīng)用最為廣泛.假設(shè)存在帶標(biāo)簽數(shù)據(jù)集DL和未標(biāo)記數(shù)據(jù)集DU，不確定性采樣利用softmax分類器輸出不同類概率用于樣本不確定性度量，度量準(zhǔn)則包括：

1）信息熵（entropy, EN）.利用全部類概率進(jìn)行不確定性度量，值越大表明模型分類此樣本的不確定性越大，第i個樣本分類信息熵計(jì)算公式為

式中：yk為第k個故障類型的標(biāo)簽；p(yk|x(i))為樣本x(i)在第k個標(biāo)簽的條件概率.

2）最小邊緣（smallest margin, SM）.將樣本的最大后驗(yàn)概率和第二大后驗(yàn)概率的差定義為邊緣，樣本的分類邊緣越小表明模型分類此樣本時具有越高不確定性，第i個樣本分類邊緣計(jì)算公式為

式中：y?1和y?2分別為由模型輸出得到的最大和第二大類標(biāo)簽.

3）最小可信度（least confident, LC）.模型輸出的樣本最大類概率定義為樣本分類可信度，樣本的低分類可信度表明模型分類此樣本具有高不確定性.

LC度量準(zhǔn)則只關(guān)注分類器輸出的最大分類概率，不宜用于解決多分類問題，而EN度量準(zhǔn)則易于受到小分類概率的影響，因此，本文選擇SM作為樣本不確定性度量的準(zhǔn)則.然而，不確定性采樣方法只關(guān)注在低密度區(qū)域或分類邊界的樣本，從而造成采樣偏差問題，同時噪聲樣本更容易被選擇.因此，本文提出的高效主動學(xué)習(xí)方法在每次查詢時不僅通過SM方法選擇高不確定性樣本并進(jìn)行人工標(biāo)記，同時采用信息熵度量樣本分類可信度，選擇分類輸出概率的信息熵小于閾值λ的樣本，并將輸出的預(yù)測類標(biāo)簽j自動作為樣本的偽標(biāo)簽，偽標(biāo)簽yp(i)可以定義為

在模型訓(xùn)練開始階段，由于模型分類能力不強(qiáng)，閾值λ需要設(shè)置為一個較大的值，保證能選擇到高可信度樣本.隨著訓(xùn)練的進(jìn)行，模型分類能力提高，閾值λ應(yīng)相應(yīng)減小，避免錯誤地自動標(biāo)記.本文中，閾值λ可以定義為

式中：λ0為初始值；r為查詢次數(shù)；a為衰減率.

2.3 MVB網(wǎng)絡(luò)故障診斷步驟

本文提出的深度主動學(xué)習(xí)方法是為在少量標(biāo)記樣本下得到高診斷精度的故障診斷模型，其整體架構(gòu)如圖3所.假設(shè)在開始階段所有數(shù)據(jù)均未標(biāo)記，帶標(biāo)簽的初始訓(xùn)練數(shù)據(jù)集DL(0)為空，故障診斷方法總共分以下幾個步驟：

圖3 深度主動學(xué)習(xí)方法架構(gòu)Fig.3 Framework of deep active learning method

步驟1SDAE預(yù)訓(xùn)練.SDAE模型利用所有的初始未標(biāo)記數(shù)據(jù)集DU(0)進(jìn)行無監(jiān)督特征學(xué)習(xí)；

步驟2主動學(xué)習(xí)初始化.構(gòu)建DNN分類器模型，利用訓(xùn)練好的SDAE模型參數(shù)進(jìn)行初始化.隨機(jī)從未標(biāo)記數(shù)據(jù)集DU(0)中選取N0個初始樣本組成初始選擇樣本集DS(0)并進(jìn)行人工標(biāo)記，得到初始標(biāo)記訓(xùn)練數(shù)據(jù)DL(1)，輸入DNN模型進(jìn)行初始模型訓(xùn)練，并更新未標(biāo)記數(shù)據(jù)集DU(1) =DU(0) ?DS(0)和訓(xùn)練數(shù)據(jù)集DL(1) =DL(0)；

步驟3基于主動學(xué)習(xí)的全局微調(diào).對未標(biāo)記數(shù)據(jù)集輸入DNN模型，根據(jù)式（8）、（9）、（11）和式（12）分別進(jìn)行不確定性度量和可信度度量，選擇Nr個樣本組成第r輪選擇數(shù)據(jù)集DS(r)，其中，選擇的高不確定性樣本進(jìn)行人工標(biāo)記，而選擇的高可信度樣本自動添加偽標(biāo)簽，從而得到第r輪的標(biāo)記訓(xùn)練集DL(r)，然后對模型進(jìn)行再訓(xùn)練.同時，更新未標(biāo)記數(shù)據(jù)集DU(r+ 1) =DU(r) ?DS(r)和訓(xùn)練數(shù)據(jù)集DL(r +1) =DL(r) +DL(r)，并根據(jù)式（12）動態(tài)調(diào)整閾值λ的大??；

步驟4重復(fù)步驟3，直到達(dá)到最大查詢次數(shù)rmax或未標(biāo)記數(shù)據(jù)集為空，從而得到訓(xùn)練好的模型.

步驟5將測試樣本輸入到訓(xùn)練好的故障診斷模型，得到MVB網(wǎng)絡(luò)故障診斷結(jié)果.

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)設(shè)置

如圖4所示，在實(shí)驗(yàn)室環(huán)境下搭建MVB網(wǎng)絡(luò)實(shí)驗(yàn)平臺.通過在原有MVB網(wǎng)絡(luò)中增加一個網(wǎng)絡(luò)健康診斷裝置來采集MVB信號物理波形.離線狀態(tài)下，將采集到的MVB信號物理波形傳輸?shù)缴衔粰C(jī)，用于訓(xùn)練故障診斷模型.最后，將訓(xùn)練好的故障診斷模型進(jìn)行在線部署.采用自研的MVB故障注入板卡進(jìn)行故障模擬實(shí)驗(yàn)，通過可編程陣列邏輯（field programmable gate array, FPGA）控制繼電器和模擬開關(guān)注入不同故障.

圖4 MVB網(wǎng)絡(luò)實(shí)驗(yàn)平臺Fig.4 MVB experimental platform

實(shí)驗(yàn)室環(huán)境下模擬的MVB網(wǎng)絡(luò)狀態(tài)包括：正常狀態(tài)（Normal）、斷路故障（Fault 1）、短路故障（Fault 2）、終端電阻缺失（Fault 3）、MVB收發(fā)器電路電氣特性變化（Fault 4）、連接器老化（Fault 5）、電纜性能退化（Fault 6）等7種.為了模擬實(shí)際中存在的類不平衡問題，采集5000個正常樣本和每個故障類型下1000個樣本，選取主設(shè)備起止分節(jié)符的600個采樣點(diǎn)作為模型輸入，從而得到的MVB網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)集大小為11 000 × 600.對MVB網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)集進(jìn)行隨機(jī)劃分，70%的數(shù)據(jù)用于模型訓(xùn)練，其余數(shù)據(jù)用于模型測試.

采用Keras深度學(xué)習(xí)架構(gòu)搭建模型，SDAE模型有3個隱含層，隱含層神經(jīng)元個數(shù)分別為50、200和400，輸入層和輸出層神經(jīng)元個數(shù)均與MVB信號采樣點(diǎn)個數(shù)相同.因此，DNN模型輸出層神經(jīng)元數(shù)與故障類別數(shù)相同，其他層神經(jīng)元數(shù)與SDAE模型相同.模型訓(xùn)練采用Adam優(yōu)化器，學(xué)習(xí)率為0.01.初始閾值λ0為0.01，衰減率a= 0.0002，初始樣本數(shù)N0為1個，每次查詢的樣本數(shù)N= 100個.為評估故障診斷方法的性能，選擇分類準(zhǔn)確率、診斷錯誤率和檢測錯誤率3種評價指標(biāo)[18].分類準(zhǔn)確率為分類正確的樣本數(shù)與總樣本數(shù)的比率；診斷錯誤率為錯誤地分類為其他故障類型的故障樣本數(shù)與總故障樣本數(shù)的比率；檢測錯誤率是故障樣本被錯誤分類為正確樣本的數(shù)量與總故障樣本數(shù)的比率.

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證提出方法的有效性，本文選擇EN、LC兩種方法分別與高可信度評估方法相結(jié)合，分別表示為HEAL_EN、HEAL_LC.AL_ALL表示未采用主動學(xué)習(xí)策略，將所有數(shù)據(jù)進(jìn)行人工標(biāo)記后用于模型訓(xùn)練.AL_RAND表示不采用主動學(xué)習(xí)策略，隨機(jī)選取樣本進(jìn)行人工標(biāo)記.如圖5所示，所有基于主動學(xué)習(xí)方法的表現(xiàn)均明顯優(yōu)于AL_RAND，這說明采用主動學(xué)習(xí)方法能夠在少標(biāo)記樣本的情況快速提升模型性能.為了達(dá)到90%分類準(zhǔn)確率以上，本文方法只需經(jīng)過5次查詢，共需標(biāo)記600個訓(xùn)練數(shù)據(jù)，約占總未標(biāo)記樣本集的7.79%，而AL_RAND方法需要27次查詢，共需標(biāo)記2800個訓(xùn)練數(shù)據(jù)，約占總未標(biāo)記樣本集的36.36%.同時，本文方法的表現(xiàn)要略優(yōu)于HEAL_EN和HEAL_LC兩種方法，這是因?yàn)镾M采樣策略更適用于解決多分類問題.

圖5 不確定性和可信度相結(jié)合的主動學(xué)習(xí)方法的對比實(shí)驗(yàn)結(jié)果Fig.5 Comparison results of active learning methods based on uncertainty and credibility

為進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，將本文方法與文獻(xiàn)[14]提出的基于SM和基于EN的主動學(xué)習(xí)方法進(jìn)行對比實(shí)驗(yàn).圖6中AL_SM和AL_EN分別表示采用最小邊緣采樣策略和信息熵采樣策略.由圖6和可知，本文方法表現(xiàn)優(yōu)于AL_SM和AL_EN方法，在少標(biāo)記樣本的情況能夠更明顯提升模型性能.表2為不同已標(biāo)記樣本數(shù)下的對比實(shí)驗(yàn)結(jié)果，在相同數(shù)量的已標(biāo)記訓(xùn)練樣本下，本文方法的準(zhǔn)確率均高于AL_RAND方法的準(zhǔn)確率，同樣也高于文獻(xiàn)[14]提出的兩種方法.這是因?yàn)镾M方法能夠有效選擇分類邊界處的樣本點(diǎn)來加速模型訓(xùn)練，而且通過選擇高可信度的樣本避免出現(xiàn)采樣偏差.同時，HEAL_EN方法的表現(xiàn)也優(yōu)于AL_EN方法，進(jìn)一步說明本文提出方法結(jié)合能夠提升主動學(xué)習(xí)方法的性能，提高模型的訓(xùn)練效率.

表2 不同已標(biāo)記訓(xùn)練樣本數(shù)下的分類準(zhǔn)確率Tab.2 Classification accuracy under different numbers of labeled samples%

圖6 與基于不確定性的主動學(xué)習(xí)方法的對比實(shí)驗(yàn)結(jié)果Fig.6 Comparison results with different active learning methods based on uncertainty estimation

為展示本文提出方法的工作過程，每次查詢時帶標(biāo)簽訓(xùn)練集中不同類別樣本占比如圖7所示.如圖7（a）可知：每次查詢時隨機(jī)采樣方法并不會改變樣本類分布，正常狀態(tài)樣本占比并沒有變化，訓(xùn)練樣本處于類不平衡狀態(tài)，從而影響模型訓(xùn)練質(zhì)量.如圖7（b）可知：采用本文方法后，每次查詢時樣本類分布是在動態(tài)變化的，正常狀態(tài)樣本比例下降，樣本類分布相對更加均衡，能夠得到更好的模型訓(xùn)練效果.

圖7 查詢過程中帶標(biāo)簽訓(xùn)練樣本的類別分布Fig.7 Class distributions of labeled training samples in query process

4 結(jié) 論

本文提出了一種基于主動深度學(xué)習(xí)的MVB網(wǎng)絡(luò)故障診斷方法，采用SDAE模型從MVB信號物理波形中自動提取高可分性的故障特征.同時，提出一種高效主動學(xué)習(xí)方法，選取人工標(biāo)記的高不確定性樣本和自動偽標(biāo)記的高可信度樣本用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，從而在少標(biāo)記訓(xùn)練樣本下得到高質(zhì)量的診斷模型.與其他方法相比，本文提出的方法具有更高的模型訓(xùn)練效率，在相同帶標(biāo)簽的訓(xùn)練樣本下能夠得到更好表現(xiàn)的故障診斷模型.在MVB網(wǎng)絡(luò)實(shí)驗(yàn)平臺上模擬多種網(wǎng)絡(luò)故障，并進(jìn)行了多組對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了方法的有效性.未來重點(diǎn)探討本文方法在更多應(yīng)用場景下的適用性，同時研究多種采樣策略組合方法.