lp范數(shù)約束的模擬電路3層多核故障診斷模型

張偉， 劉星， 許愛強， 平殿發(fā)

(海軍航空大學, 山東 煙臺 264001)

0 引言

現(xiàn)代電子技術(shù)的快速發(fā)展對模擬電路的測試與診斷提出了新的要求。由于元件參數(shù)的容差性[1]、故障模式的多樣性、廣泛存在的非線性與反饋回路[2]，使得傳統(tǒng)的故障診斷方法在模擬電路實際診斷中難以達到預期的效果。

針對模擬電路的故障特點，國內(nèi)外學者已經(jīng)開展了大量研究，其中基于機器學習的智能診斷方法得到了廣泛的肯定并取得了積極的研究成果[3-7]。該方法將故障診斷問題建模為模式識別問題，通過對電路的正常模式和故障模式進行學習，構(gòu)建診斷模型并最終形成診斷策略。在基于機器學習的智能診斷方法中，支持向量機(SVM)、核超限學習機(KELM)等基于核函數(shù)的學習算法已經(jīng)被廣泛應用。盡管這些方法展示出了優(yōu)越的性能，但是核函數(shù)、核參數(shù)的選擇嚴重制約著其有效性。

近年來的研究表明，多核學習(MKL)是一種靈活性更強、解釋能力更好的學習方法[8-9]。文獻[6,10-11]已經(jīng)將其應用到包括模擬電路在內(nèi)的板級故障診斷中，并通過實例證明基于MKL的診斷方法在面對單故障、多故障及并發(fā)故障時均能取得更高的診斷精度。盡管當前大多數(shù)文獻都集中在多核SVM的研究上，但對于多核超限學習機(MK-ELM)的研究也越來越受到關注。原因在于：第1，MK-ELM將二分類與多分類問題統(tǒng)一在一個框架下，避免了額外的一對一或一對多策略；第2，解KELM的優(yōu)化問題比解SVM的優(yōu)化問題本身更加簡單。文獻[12]通過對基核權(quán)重施加l1范數(shù)約束，設計了一種稀疏MK-ELM算法，記作l1-MKELM；然后用lp(p>1)范數(shù)約束取代l1范數(shù)約束，提出一種非稀疏MK-ELM算法，記作lp-MKELM. 文獻[13]則將MK-ELM的優(yōu)化問題轉(zhuǎn)化為解二次約束、二次規(guī)劃和半無限線性規(guī)劃問題。文獻[14]為了避免文獻[12-13]中復雜的解優(yōu)化過程，在基于SVM的MKBoost算法[15]啟發(fā)下，采用AdaBoost框架對多個KELM模型進行集成，有效提升了算法性能。

本文為提升模擬電路故障隔離精度，通過引入lp-MKELM和AdaBoost集成學習策略，提出一種新的故障診斷模型。首先，通過分析被測電路(CUT)的頻率響應曲線，基于故障特征間的一維模糊度進行特征選擇。然后，針對lp-MKELM基于AdaBoost策略構(gòu)造了一種3層MKL框架。本文方法不同于文獻[14]：文獻[14]在每次迭代中依據(jù)帶權(quán)分類誤差最小原則從不同基核中選擇一個最優(yōu)的基核；而本文方法將帶權(quán)分類誤差融入KELM的優(yōu)化目標函數(shù)中，在每層框架中選擇一組基核的最優(yōu)線性組合。所提診斷模型可以自適應地調(diào)節(jié)訓練數(shù)據(jù)的權(quán)重分布，使每層框架可以聚焦于不同的故障樣本，進而提升對故障模式的辨識能力。

1 3層lp-MKELM性能提升框架

1.1 問題描述

(1)

依據(jù)文獻[12]，當使用lp-MKELM作為診斷模型尋找映射函數(shù)f(x)時，其初始優(yōu)化問題表示為

(2)

式中：‖·‖F(xiàn)表示矩陣的Frobenius范數(shù)；‖·‖2表示向量的2范數(shù)；β表示總的輸出權(quán)重，βq表示對應于第q個基核的輸出權(quán)重；ξi=[ξi1,…,ξim]T和yi=[yi1,…,yim]T分別表示對應于第i個樣本的訓練誤差向量和理想輸出向量，m表示ELM的輸出節(jié)點個數(shù)；C為正則化因子；p為范數(shù)約束形式。

盡管lp-MKELM具有良好的分類性能，但是直接將其用于模擬電路故障診斷還存在一些問題。例如p對算法性能具有直接影響，但p該如何選擇至今仍是一個開放性的問題。因此，結(jié)合實際診斷任務，還需要對lp-MKELM做出一些改進。

1.2 改進的lp-MKELM優(yōu)化模型

(3)

(4)

將(3)式和(4)式的結(jié)果一起代入優(yōu)化問題(2)式中，新的優(yōu)化問題表示為

(5)

新的優(yōu)化問題相比于優(yōu)化問題(2)式具有2個顯著特點，主要體現(xiàn)在：

為求解優(yōu)化問題(5)式，在其拉格朗日函數(shù)中對優(yōu)化變量分別求偏導并令結(jié)果等于0，可以得到下面的優(yōu)化條件：

(6)

ξi=αi/(wiC),i=1,2,…,n，

(7)

(8)

(9)

式中：α和λ均為拉格朗日乘子，且有α=[α1,α2,…,αn]T，αi=[αi1,αi2,…,αim]T. 下面采用一種交替優(yōu)化的策略來求優(yōu)化問題(5)式中的模型參數(shù)：

1)給定γ，求解α. 將(6)式、(7)式代入(8)式中，得

(10)

(11)

2)給定α，更新γ. 根據(jù)(9)式，可得

(12)

(13)

(14)

式中：γq表示第q個基核在上一次迭代中的權(quán)值；γ′q表示第q個基核在本次迭代后新的權(quán)值。

(15)

將(15)式代入(14)式中即可得到新的基核權(quán)重γ′q，由(14)式可知，當基核權(quán)重的初始值非負時，其在每次迭代中均非負。通過上述交替優(yōu)化過程，當?shù)玫阶顑?yōu)的模型參數(shù)α*和γ*時，決策函數(shù)表示為

(16)

1.3 基于AdaBoost策略的3層提升框架

不失一般性，將選擇的基核函數(shù)構(gòu)成的集合定義為Δ={kL;kP,1,…,kP,r1;kG,1,…,kG,r2}，令Δ1={kL}表示線性核，Δ2={kP,1,…,kP,r1}表示r1個不同等級的多項式核，Δ3={kG,1,…,kG,r2}表示r2個不同尺度的高斯核，并且有1+r1+r2=r.

為提升lp-MKELM模型性能，基于AdaBoost策略，構(gòu)造一個3層集成學習框架。在第1層中采用Δ1訓練一個線性單核模型，記作線性層；在第2層中采用Δ2訓練一個多項式MKL模型，記作多項式層；在第3層中采用Δ3訓練一個高斯MKL模型，記作高斯層。層與層之間通過訓練數(shù)據(jù)的權(quán)值分布進行信息的傳遞與繼承，這樣便得到一個逐級深化的3層決策模型。

在第1層中通過解一個單核ELM模型可以得到?jīng)Q策函數(shù)f1(·)，而在第2層與第3層中，通過解優(yōu)化問題(5)式可以依次得到一個如(16)式所示的多核決策函數(shù)f2(·)、f3(·). 在獲得fu(·)(u=1,2,3)之后，有3個問題需要解決：

(17)

式中：wu,i表示在第u層中第i個訓練樣本的權(quán)重。

2)計算fu(·)的重要性系數(shù)κu.fu(·)的重要性系數(shù)κu定義為

(18)

3)更新訓練數(shù)據(jù)集的權(quán)值分布。對于線性層w1=w0，而w0表示初始權(quán)值分布，當由下一層向上一層轉(zhuǎn)換時，有

(19)

這樣，使得被當前層誤分的樣本權(quán)值增大，而被正確分類的樣本權(quán)值減小，進而上層模型能夠“重點關注”或“聚焦”到下層難以區(qū)分的故障樣本上。

1.4 診斷結(jié)果決策

在AdaBoost框架下，最終的決策函數(shù)表示為

(20)

label(x′j)=G(x′j).

(21)

2 模擬電路故障診斷實施框架

采用文獻[3]提出的基于仿真診斷模型(SDM)的測試性應用框架，如圖1所示。

2.1 故障電路生成

在故障電路生成階段，通過變異生成操作將多種故障注入CUT中，得到一系列不同故障下的CUT變異體，故障生成采用的變異操作如表1所示。表1中：PCH為軟故障變異操作，令ε為元件容差值，Θ為元件標稱值，采用均勻分布U(0.1Θ,(1-ε)Θ)和U((1+ε)Θ,2Θ)分別表示元件參數(shù)的負向偏差和正向偏差；ROP、LRB、GRB和NSP為硬故障變異操作，采用均勻分布U(100 kΩ,1 MΩ)和U(10 Ω,1 kΩ)分別表示開路狀態(tài)和橋接狀態(tài)對應的阻值。

表1 變異操作

2.2 故障數(shù)據(jù)仿真

將上一階段生成的故障CUT變異體和初始無故障CUT輸入基于Pspice內(nèi)核的仿真器中，以掃頻信號作為激勵，得到各CUT的頻率響應曲線。鑒于元件參數(shù)存在一定的容差，假設其服從均值為標稱值Θ、標準差為σ=εΘ/3的高斯分布，進行Monte Carlo仿真，得到同一故障模式下的不同樣本數(shù)據(jù)。

2.3 故障特征選擇

(22)

(23)

顯然，dis(gs)越大，特征gs的辨識力越強。

定義4假設特征gs與gt對應于所有故障模式的數(shù)據(jù)集分別為X(gs)和X(gt)，則特征gs與gt的相似性定義為X(gs)與X(gt)間的皮爾遜相關系數(shù)[16]，即

(24)

(25)

式中：?>0是一個懲罰因子，用于平衡兩個條件之間的重要性。通過上述增量搜索過程，在最大化特征辨識力的同時，最小化特征間的冗余信息，最終能獲得一組具有預定規(guī)模的特征集合。

2.4 故障模式分類

所提lp-MKBoost- ELM診斷模型的基本框架如圖3所示。

lp-MKBoost-ELM診斷模型診斷流程的具體步驟如下：

4) 根據(jù)特征集FTd生成訓練樣本集DTr，令u=1，wu=[1/n,1/n,…,1/n]，根據(jù)Δu解單核ELM得到?jīng)Q策函數(shù)fu(·)，由(18)式計算κu，記錄fu(·)和κu，由(19)式更新數(shù)據(jù)權(quán)值分布wu+1，并令u=u+1.

7) 根據(jù)特征集FTd生成測試樣本集DTe，對于測試數(shù)據(jù)實例x′j，計算kq(xi,x′j)(i=1,2,…,n；q=1,2,…,r)，利用(20)式計算f(x′j)，利用(21)式得到x′j所對應的故障標簽label(x′j).

3 仿真實驗

為證明lp-MKBoost-ELM的有效性，單核學習算法(SVM算法和KELM算法)、多核SVM算法(SimpleMKL算法[18]，L2BRMKL算法[19]，TrStMKL算法[20])以及多核ELM算法(l1-MKELM算法[12])分別被用作對比算法。實驗中，基于SVM的方法在處理多分類問題時采用一對一的策略；單核學習方法采用高斯核，正則化參數(shù)與核參數(shù)通過網(wǎng)格搜索法分別從集合{10-6,10-5,…,106}和{0.02,0.20,…,2.00×106}中選擇；MKL算法的正則化參數(shù)通過5折交叉驗證從集合{10-6,10-5,…,106}中選擇。各方法的診斷性能通過下列指標共同評價：

1)錯正率(FPR)，即發(fā)生的漏警數(shù)/測試的故障樣本總數(shù)；

2)錯負率(FNR)，即發(fā)生的虛警數(shù)/測試的正常樣本總數(shù)；

3)故障命中率 ，即正確檢測到的故障樣本總數(shù)/檢測到的故障樣本總數(shù)；

4)故障檢測率(FDR) ，即正確檢測到的故障樣本總數(shù)/測試的故障樣本總數(shù)；

5)分類正確率，即識別正確的樣本數(shù)與測試的樣本總數(shù)的比率。

3.1 Sallen-Key帶通濾波電路

Sallen-Key帶通濾波電路被用來詳細分析lp-MKBoost-ELM診斷模型的診斷性能，其電路結(jié)構(gòu)如圖4所示。

仿真實驗共注入14種軟故障，故障描述如表2所示。其中，電容和電阻元件參數(shù)的相對容差設置為10%；掃頻信號的頻率范圍設置為0～100 kHz. 最終得到每類故障樣本數(shù)為200，每個故障樣本特征數(shù)為1 001的原始數(shù)據(jù)集。將其平分為2組，分別作為訓練和測試數(shù)據(jù)集。

表2 Sallen-Key帶通濾波電路故障描述

采用2.3節(jié)的特征選擇方法，令?=0.8，提取出該CUT的故障特征為FT21=[0.001 kHz, 9.31 kHz, 16.12 kHz, 16.82 kHz, 17.02 kHz, 17.42 kHz, 17.62 kHz, 18.22 kHz, 18.32 kHz, 19.32 kHz, 20.42 kHz, 20.82 kHz, 21.92 kHz, 23.02 kHz, 27.73 kHz, 30.13 kHz, 30.23 kHz, 33.33 kHz, 33.43 kHz, 70.87 kHz, 71.37 kHz]. 采用lp-MKBoost-ELM模型以及2種單核學習算法、4種MKL算法分別對目標電路進行診斷。多核設置為線性核、多項式核(參數(shù)分別為1, 2, 3)和高斯核(參數(shù)分別為1, 2, 4, 6, 8, 10, 12, 14)。實驗中，lp-MKBoost-ELM模型的范數(shù)設置為p=2，其對目標電路的診斷結(jié)果如圖5所示。

由診斷結(jié)果得到每種故障模式的隔離正確率分別為92%、93%、96%、100%、100%、96%、100%、100%、85%、97%、100%、98%、95%、99%和100%. 其中，隔離正確率最低的是F8，而對F3、F4、F6、F7、F10和F14均實現(xiàn)了100%的隔離正確率。顯然，本文所提出的lp-MKBoost-ELM對本案例中的各類故障模式均有較好的辨識能力。

表3給出了lp-MKBoost-ELM模型與2種單核學習算法的性能比較。

表3 與單核學習算法的診斷性能比較

由表3可看到：

1)對于診斷精度，lp-MKBoost-ELM在局部基于MKL理論對同一類型的核函數(shù)進行加權(quán)，在全局基于AdaBoost策略對不同類型的核函數(shù)進行集成，使得故障樣本在最終的組合核特征空間中具有更好的可辨識性，相比于SVM算法和KELM算法，診斷精度分別提升了5.47%和8.20%.

2)對于時間花費，lp-MKBoost-ELM模型由于要解多核優(yōu)化與集成學習問題，訓練時間最長；在測試階段，模型輸出是基于不同基核的子分類器輸出結(jié)果的線性加權(quán)，因此測試時間也相對較長。

3)lp-MKBoost-ELM模型的FPR優(yōu)于KELM算法，F(xiàn)NR優(yōu)于SVM算法，實現(xiàn)了漏警與虛警之間的折中。

表4給出了lp-MKBoost-ELM模型與4種MKL算法的性能比較。

由表4可以看到：

1)在診斷精度上，相比于其余4種MKL算法，lp-MKBoost-ELM模型將診斷精度分別提升了0.93%，0.87%、1.93%和1.67%. 本文所提模型分類性能的提升得益于2個方面的改進：第1，在lp-MKELM算法的優(yōu)化目標函數(shù)中，用訓練樣本的加權(quán)分類誤差取代一般的平均分類誤差，通過更新訓練樣本的分布權(quán)重可以使分類器聚焦于某些重點樣本；第2，通過引入AdaBoost集成學習策略構(gòu)造了一個3層遞進學習框架，在汲取不同核函數(shù)特性的同時，將不同層的學習結(jié)果進行集成，使得最終的診斷結(jié)果更趨準確。

2)在時間花費上，lp-MKBoost-ELM模型不及TrStMKL算法和SimpleMKL算法，但得益于訓練樣本的加權(quán)策略和AdaBoost集成學習框架，使其優(yōu)于L2BRMKL算法和l1-MKELM算法。

3)對于其他評價指標，包括FPR、FNR、FDR以及故障命中率，lp-MKBoost-ELM模型均優(yōu)于其余4種MKL算法。

為進一步驗證lp-MKBoost-ELM模型的有效性，不同范數(shù)約束形式下對目標電路的診斷結(jié)果如表5所示。

表5 不同范數(shù)約束形式p下診斷性能比較

由表5可以看出：

1)在11種不同范數(shù)約束下，最高診斷精度為96.93%，最低診斷精度為96.53%. 即使最低診斷精度也要高于其余4種MKL算法，而在最高診斷精度下相比于其余4種MKL算法，診斷正確率分別提升了1.13%、1.07%、2.13%和1.87%.

2)最高診斷精度與最低診斷精度之間的差值僅為0.40%，即本文所提診斷模型在不同范數(shù)約束形式下的診斷性能基本趨于一致。

3)時間花費隨著范數(shù)約束形式的增大而明顯減少，當采用l4范數(shù)約束時，本文所提診斷模型的訓練時間花費已經(jīng)小于其余4種MKL算法。

3.2 Biquad低通濾波電路

Biquad低通濾波電路被用來驗證lp-MKBoost-ELM模型對不同屬性電路故障的診斷能力，其電路結(jié)構(gòu)如圖6所示。

該電路包含較多的元件，通過選擇具有代表性的故障模式，仿真實驗共注入各類故障29個，如表6所示。同理，掃頻信號的頻率范圍設置為0～200 kHz，最終得到每類故障樣本數(shù)為100，每個故障樣本特征數(shù)為1 001的原始數(shù)據(jù)集，將其平分為2組，分別作為訓練和測試數(shù)據(jù)集。

通過模糊度分析發(fā)現(xiàn)，ROP與LRB變異操作下各故障模式的頻率響應曲線與正常模式極其相似，導致它們與正常模式以及彼此之間都難以區(qū)分。以ROP變異操作下的故障F10為例，其在4個不同頻點上與正常模式的一維特征模糊度如圖7所示。

為了更好地處理上述提到的問題，下面引入響應曲線簇模糊組定義。

通過設置不同的閾值ν可以得到不同模糊組。以F0為例，依次令ν為1.0、0.7、0.5、0.3和0.1，其所屬的模糊組如圖8所示。

采用2.3節(jié)的特征選擇方法，令?=1，提取出該CUT的故障特征為FT25=[7.61 kHz，10.61 kHz，13.01 kHz，14.02 kHz，14.62 kHz，14.82 kHz，15.02 kHz，15.22 kHz，15.42 kHz，15.62 kHz，15.82 kHz，16.02 kHz，16.22 kHz，16.42 kHz，16.62 kHz，16.82 kHz，17.02 kHz，17.22 kHz，17.42 kHz，17.62 kHz，17.82 kHz，46.25 kHz，46.65 kHz，199.80 kHz，200.00 kHz]，以SVM算法、KELM算法、SimpleMKL算法作為比較算法。實驗中，多核設置為線性核、多項式核(參數(shù)分別為1，2，3)和高斯核(參數(shù)分別為1，2，4，8，12，60，100，140).lp-MKBoost- ELM模型中令p=2. 假設診斷結(jié)果為實際故障所在模糊組中的任意一種故障就認定診斷正確。下面給出不同閾值ν下各種診斷方法的診斷性能比較：

1)當ν=1.0，即不考慮模糊組時，診斷性能比較如表7所示。

2)當ν=0.5時，共形成2個模糊組，分別為{F0,F9,F10,F12,F18,F20,F22}和{F1,F5}，診斷性能比較如表8所示。

3)當ν=0.1時，共形成8個模糊組，分別為{F0,F9,F10,F12,F18,F20,F21,F22}、{F17,F24,F25}、{F14,F15,F21}、{F4,F5,F18}、{F1,F4,F5}、{F1,F18}、{F2,F4}和{F2,F18}，診斷性能比較如表9所示。

表7 當ν=1.0時Biquad低通濾波電路診斷性能比較

表8 當ν=0.5時Biquad低通濾波電路診斷性能比較

表9 當ν=0.1時Biquad低通濾波電路診斷性能比較

由表7～表9可以看出：

1)當ν=1.0，即不考慮模糊組時，4種方法的診斷正確率都比較低，并且FNR分別高達0.840 0、0.840 0、0.880 0和0.820 0. 這是因為許多故障模式的頻率響應曲線與F0非常接近，任一種分類器都難以將相關故障精確區(qū)分開。隨著ν的降低，具有相似特征的故障模式落入同一個模糊組中。在考慮模糊組的情況下，4種方法的診斷準確率隨著ν的減小而上升。

2)在不同的閾值下，lp-MKBoost-ELM模型具有最高的診斷正確率，在ν=0.5時，其診斷正確率已經(jīng)達到89.53%，甚至高于ν=0.1時的KELM算法與SVM算法的診斷正確率。

3)在時間花費上，KELM算法與SVM算法具有更快的訓練速度，lp-MKBoost-ELM模型與SimpleMKL算法不得不花費更多的時間，但相對于SimpleMKL算法，所提模型的訓練時間花費要少很多。

4)在實際應用中ν建議在0.5左右取值，這是因為由表8可看出，在這樣的區(qū)間取值，既可以保證相對較高的診斷正確率，又不至于存在太多的模糊組。

4 結(jié)論

通過故障注入生成參數(shù)連續(xù)的各類軟故障和硬故障，同時考慮非故障元件的參數(shù)容差，本文提出一種新的模擬電路離線故障診斷方法。針對2個CUTs的診斷結(jié)果表明：

1)在不同范數(shù)約束形式下，lp-MKBoost-ELM模型具有近似一致的診斷性能，避免了因范數(shù)約束形式選擇不當而造成診斷性能下降的問題。

2)相比于單核診斷算法，lp-MKBoost-ELM模型在平衡虛警、漏警的同時，能夠顯著提升診斷的正確率。而相比于多核診斷算法，lp-MKBoost-ELM模型在取得更高診斷精度的同時，通過控制范數(shù)約束形式能夠?qū)崿F(xiàn)對訓練時間花費的有效約減。

3)當某些故障之間難以辨識時，通過引入響應曲線簇模糊組概念，lp-MKBoost-ELM模型能夠?qū)㈦y以辨識的故障模式更加準確地隔離到相應模糊組中，為進一步故障隔離提供了有益指導。