一種用于工業(yè)過程監(jiān)測的魯棒遷移字典學(xué)習(xí)算法

陽春華, 梁慧平, 黃科科*, 李勇剛, 桂衛(wèi)華

S chool of Automation, Central S outh University, Changsha 410083, China

1.引言

過程監(jiān)測對工業(yè)系統(tǒng)來說是必要的和有意義的，并吸引了工業(yè)界和學(xué)術(shù)界相當多的關(guān)注[1-4]。一般來說，過程監(jiān)測方法分為三類：基于模型的方法、基于知識的方法和數(shù)據(jù)驅(qū)動的方法[5-8]?；谀Ｐ偷姆椒ㄊ褂孟到y(tǒng)的數(shù)學(xué)表示，將對系統(tǒng)的物理理解納入監(jiān)測方案?；谥R的方法使用圖形模型，如Petri 網(wǎng)、多信號流圖和貝葉斯網(wǎng)絡(luò)（BN），用于系統(tǒng)監(jiān)測和故障排除。這種方法特別適合于耦合系統(tǒng)的預(yù)測[9]。數(shù)據(jù)驅(qū)動的監(jiān)測方法不需要反應(yīng)機理或過程的機理知識。近年來，通過利用智能傳感器、數(shù)據(jù)分析和深度學(xué)習(xí)技術(shù)的快速進步，數(shù)據(jù)驅(qū)動方法已經(jīng)被開發(fā)出來，以提高診斷的有效性和性能[10]。該領(lǐng)域的進展包括玻爾茲曼機、支持向量機（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等[11-13]。近年來，數(shù)據(jù)驅(qū)動的方法已經(jīng)成為復(fù)雜工業(yè)過程監(jiān)測的主流。

然而，目前大多數(shù)數(shù)據(jù)驅(qū)動的方法均假定歷史訓(xùn)練數(shù)據(jù)和在線監(jiān)測數(shù)據(jù)遵循相同的分布[14-16]。事實上，從實際工業(yè)過程中收集的數(shù)據(jù)總是受到許多因素的影響，如多變的操作環(huán)境、原材料的變化和生產(chǎn)指標的修改[17]。當基于訓(xùn)練數(shù)據(jù)學(xué)習(xí)的模型被應(yīng)用于實際在線監(jiān)測時，這些因素常常導(dǎo)致模型失配等問題。這樣的問題使其難以實現(xiàn)精確的過程監(jiān)測。為了解決歷史訓(xùn)練數(shù)據(jù)和在線測試數(shù)據(jù)遵循不同分布的問題，研究者已經(jīng)做了很多的工作。Hou等[18]提出了一個用于時變過程監(jiān)測的增量主成分分析（PCA）在線模型。在這個模型中，當獲得一個新的樣本時，PCA 模型利用原來的PCA 模型和新的樣本進行更新，預(yù)測誤差平方（SPE）和T2的控制限也被更新。Jiang等[19]提出了一種基于當前數(shù)據(jù)和歷史數(shù)據(jù)的多模型判別部分最小二乘法（DPLS）來診斷數(shù)據(jù)。Zhang等[20]建立了一個深度信念網(wǎng)絡(luò)（DBN），該網(wǎng)絡(luò)具有很強的泛化能力，可以在線監(jiān)測焊接狀態(tài)。為了適應(yīng)新數(shù)據(jù)樣本的增加，Zeng 等[21]提出了增量局部保存投影（LPP）算法，該算法通過使用拉普拉斯矩陣和原始樣本的投影值來更新。然而，這些算法不能應(yīng)對兩個域之間的巨大差異，例如，被監(jiān)測的工業(yè)過程處于一個完全不同的操作環(huán)境。Ge和Song[22]提出了在線批處理獨立成分分析-主成分分析（ICA-PCA）方法，在該方法中，使用從模型庫中選擇合適的ICA-PCA 模型來監(jiān)測新數(shù)據(jù)。然而，這種方法需要構(gòu)建多個模型，而且數(shù)據(jù)的不平衡性會降低監(jiān)測性能。

字典學(xué)習(xí)通常學(xué)習(xí)一個過完備的字典，然后，原始數(shù)據(jù)可以通過字典和稀疏矩陣進行重構(gòu)。真實的原始數(shù)據(jù)通常具有結(jié)構(gòu)冗余的特點。通過字典學(xué)習(xí)，原始數(shù)據(jù)被映射到一個較低的維度空間，從而消除了原始數(shù)據(jù)的結(jié)構(gòu)冗余，同時保留了最簡潔的信息。Peng等[23]提出了一種通過LPP計算出一個映射字典的方法，以保留原始數(shù)據(jù)的幾何結(jié)構(gòu)。Chen等[24]提出了一種利用字典正則化從少量目標域數(shù)據(jù)中學(xué)習(xí)字典的方法，同時保障這個字典與從源域數(shù)據(jù)中學(xué)習(xí)的字典相似。Zhang 等[25]提出了一種方法，在該方法中，為了實現(xiàn)跨域分類，學(xué)習(xí)了一個公共字典、一個源域字典和一個目標域字典。在Jie等[26]提出的方法中，學(xué)習(xí)了源域字典和目標域字典之間的若干個子空間字典。Long 等[27]提出了遷移稀疏代碼（TSC），該方法引入了圖的正則化并減少了分布距離，以實現(xiàn)知識遷移。這些字典學(xué)習(xí)方法在信號重建、信號降噪、圖像識別、圖像校正等方面取得了很大的成就，引起了學(xué)術(shù)界和工業(yè)界的高度重視。此外，最近的研究表明，字典學(xué)習(xí)在過程監(jiān)測中具有非凡的優(yōu)勢。Huang 等[28]提出了一種核字典學(xué)習(xí)方法用于實現(xiàn)非線性過程監(jiān)測，以及一種分布式字典學(xué)習(xí)方法用于實現(xiàn)高維過程監(jiān)測。

盡管上述方法在工業(yè)系統(tǒng)中表現(xiàn)出卓越的過程監(jiān)測性能，但它們沒有考慮歷史數(shù)據(jù)和在線監(jiān)測數(shù)據(jù)的分布差異。遷移學(xué)習(xí)是不同域間知識遷移的一般框架，近年來得到了廣泛的研究，特別是在人工智能、圖像識別和計算機視覺界。受字典學(xué)習(xí)強大的表示能力和遷移學(xué)習(xí)的跨域知識遷移能力的啟發(fā)，本文提出了一種魯棒遷移字典學(xué)習(xí)（RTDL）方法，用于處理現(xiàn)實工業(yè)過程監(jiān)測的數(shù)據(jù)分布畸變問題。本方法是聯(lián)合表示學(xué)習(xí)和域自適應(yīng)性遷移學(xué)習(xí)的一種協(xié)同方法。簡而言之，歷史訓(xùn)練數(shù)據(jù)和在線測試數(shù)據(jù)被分別作為遷移學(xué)習(xí)問題的源域和目標域。對于一個工業(yè)系統(tǒng)來說，雖然系統(tǒng)總是在不同的運行環(huán)境中運行，會不可避免地導(dǎo)致不同的數(shù)據(jù)分布，但其內(nèi)部的基本信息，如機理，往往是相同或相似的。換句話說，工業(yè)系統(tǒng)的高維觀測數(shù)據(jù)往往在不同域間有不變的子空間。因此，將源域和目標域映射到一個公共的子空間是可行的，在該子空間中源域和目標域之間的分布差異被消除。之后，在該子空間中進行過程監(jiān)測。在實際應(yīng)用中，提出了一種判別性的字典學(xué)習(xí)方法，從多模態(tài)工業(yè)數(shù)據(jù)中提取特征。接下來，提出了最大平均差異（MMD）正則化[29]作為非參數(shù)距離度量來表達分布距離，減少了源域數(shù)據(jù)和目標域數(shù)據(jù)之間的分布畸變。此外，為了減少模內(nèi)數(shù)據(jù)的距離，引入了線性判別分析（LDA）正則化。因此，即使源域和目標域受到不同操作環(huán)境的嚴重影響，本方法也能學(xué)習(xí)到一個魯棒的公共字典。因此，該方法能有效地提高過程監(jiān)測和模態(tài)識別的性能。

本文的主要貢獻如下。第一，提出了一種RTDL 方法，以減少工業(yè)系統(tǒng)多變的運行環(huán)境所帶來的負面影響。通過減少域間差異，本方法可減少由多變的運行環(huán)境引起的過程監(jiān)測和模態(tài)識別的性能下降。第二，給出了關(guān)于帶約束不可微分字典學(xué)習(xí)問題的詳細優(yōu)化步驟，可以有效實現(xiàn)RTDL 的求解。第三，通過大量的實驗驗證了本方法，包括數(shù)值仿真實驗和實際工業(yè)實驗。實驗結(jié)果表明，該方法在精度上優(yōu)于一些先進的方法。因此，該方法適用于工業(yè)系統(tǒng)的過程監(jiān)測任務(wù)。

本文的其余部分組織如下。第2節(jié)簡要介紹了域自適應(yīng)遷移學(xué)習(xí)、字典學(xué)習(xí)和本文的動機。第3 節(jié)提出了RT‐DL 模型并給出了其有效的優(yōu)化步驟。第4 節(jié)進行了廣泛的實驗，包括數(shù)值仿真、連續(xù)攪拌釜加熱器（CSTH）基準和風機系統(tǒng)實驗，以驗證RTDL方法的有效性。第5節(jié)為結(jié)論和總結(jié)意見。

2.相關(guān)知識

2.1.域自適應(yīng)遷移

假設(shè)有一個擁有大量數(shù)據(jù)的源域（Xs=[xs1,xs2,...,xns]，其中ns是源域數(shù)據(jù)Xs的數(shù)量）和一個擁有少量數(shù)據(jù)的目標域（Xt=[xt1,xt2,...,xnt]，其中nt是目標域數(shù)據(jù)Xt的數(shù)量）。這里，源域和目標域是相關(guān)的，但不相同。以風機系統(tǒng)為例，將風機系統(tǒng)在冬季的過程數(shù)據(jù)設(shè)為源域，在夏季的過程數(shù)據(jù)設(shè)為目標域。這兩個域是相關(guān)的，因為每個域的數(shù)據(jù)均是在相同的機理下從同一個風機系統(tǒng)中采集的。然而，由于外部運行環(huán)境的不同，兩個季節(jié)的觀測數(shù)據(jù)往往具有不同的分布。在數(shù)學(xué)上，各域的輸入特征空間是相同的，但各域的邊緣分布和條件分布是不同的，即Xs?χ、Xt?χ、Ps(x)≠Pt(x)、Ps(y|x)≠Pt(y|x)。其中Ps和Pt分別代表源域和目標域的概率分布；χ代表數(shù)據(jù)空間；x代表數(shù)據(jù)樣本；y代表數(shù)據(jù)x的標簽。

為了實現(xiàn)目標域的過程監(jiān)測，需要消除源域和目標域之間的分布差異，即條件分布差異和邊緣分布差異。當源域和目標域的分布畸變消除后，源域數(shù)據(jù)可以表現(xiàn)出與目標域數(shù)據(jù)相同的過程信息，因此該方法可以利用豐富的源域數(shù)據(jù)輔助訓(xùn)練模型，從而達到積極的知識遷移效果。

2.2.字典學(xué)習(xí)

字典學(xué)習(xí)的思想是通過學(xué)習(xí)由一系列原子組成的字典和一個稀疏矩陣來最小化數(shù)據(jù)重構(gòu)誤差。假設(shè)XN=[x1,x2,...,xN]?Rm×N是一組原始樣本，其中xN表示維數(shù)為m的第N個樣本，R是向量空間，N表示數(shù)據(jù)量。DK=[d1,d2,...,dK]?Rm×K是由K個原子組成的字典，其中dK是第K個原子，K是原子數(shù)。SN?RK×N代表稀疏矩陣。字典學(xué)習(xí)的問題可以表示如下：

式中，α（α>0）是控制SN稀疏性的參數(shù)；‖ ‖?F表示矩陣XN的F范數(shù)；‖ ‖?0表示矩陣SN的L0范數(shù)。

2.3.本文動機

如前所述，盡管一個工業(yè)系統(tǒng)在不同的運行環(huán)境下（如不同的地點、時間、天氣和人工操作等外部干擾）運行時，會不可避免地導(dǎo)致數(shù)據(jù)分布的畸變，但基本的內(nèi)部機理往往是相同或相似的。也就是說，不同域下的工業(yè)系統(tǒng)的高維觀測數(shù)據(jù)往往具有不變的子空間。因此，有必要提取不變的知識或子空間，以消除外在干擾，從而進一步提高工業(yè)過程監(jiān)測的性能。為了生動地展示源域數(shù)據(jù)和目標域數(shù)據(jù)之間可遷移特征的效果，圖1顯示了僅受不同環(huán)境因素影響而導(dǎo)致不同分布的數(shù)據(jù)散點圖。源域和目標域的邊緣分布和條件分布明顯不同。傳統(tǒng)的數(shù)據(jù)驅(qū)動方法有兩種常見的策略。如圖1（a）所示，第一種策略是忽略源域數(shù)據(jù)，只用目標域數(shù)據(jù)作為輸入數(shù)據(jù)，這樣可以滿足訓(xùn)練數(shù)據(jù)的分布與測試數(shù)據(jù)的分布相同的假設(shè)。然而，由于目標域的訓(xùn)練數(shù)據(jù)非常少，最終的模型很容易出現(xiàn)過擬合。如圖1（b）所示，第二種策略是忽略源域和目標域的不同特征。這種策略直接使用大量的歷史數(shù)據(jù)和少量的新數(shù)據(jù)來進行模型訓(xùn)練任務(wù)，因此，最終的模型會混淆域間差異信息和異常信息。此外，該模型很容易被擁有大量樣本的源域所支配。相比之下，圖1（c）是本文提出的RTDL模型。該方法試圖找到一個映射關(guān)系函數(shù)Φ(·)。通過這個映射關(guān)系，原始數(shù)據(jù)被映射到一個子空間。在這個子空間中，源域的邊緣分布和條件分布與目標域的分布相同；也就是說Ps(Φ(x))=Pt(Φ(x))，Ps(y|Φ(x))=Pt(y|Φ(x))，其中Φ(x)是關(guān)于x的映射。我們認為如果Φ(·)能克服外在環(huán)境的干擾，只保留最簡明的內(nèi)部機理信息，就能將知識從源域遷移到目標域。也就是說，通過在字典學(xué)習(xí)目標函數(shù)中加入MMD 和LDA-like 的正則化，RTDL 方法可以利用豐富的源域數(shù)據(jù)來輔助訓(xùn)練模型，達到遷移的效果，以提高工業(yè)過程監(jiān)測的效果。

3.方法

在詳細討論該方法之前，這里先引入一個假設(shè)。這個假設(shè)是合理的，且通常情況下工業(yè)系統(tǒng)滿足這個假設(shè)。

假設(shè)：一個復(fù)雜的工業(yè)過程常常以不同的模態(tài)運行，以滿足不同的現(xiàn)實需求。在不同的模態(tài)下，觀察到的變量的特征是不同的。為了清楚地描述不同的觀察結(jié)果，歷史訓(xùn)練數(shù)據(jù)和在線測試數(shù)據(jù)分別被看作是源域和目標域。

一般來說，進行多模態(tài)數(shù)據(jù)過程監(jiān)測有兩種方式。第一種方式是單獨處理多模態(tài)數(shù)據(jù)，然后單獨完成過程監(jiān)測任務(wù)。第二種方式是全局處理多模態(tài)數(shù)據(jù)，然后使用單一模型完成過程監(jiān)測任務(wù)。當在每個單獨模態(tài)下收集的數(shù)據(jù)足夠時，第一種方式是更好的選擇。然而，對于實際的工業(yè)過程監(jiān)測任務(wù)來說，目標域的數(shù)據(jù)總是嚴重不足，單獨的方法容易造成過擬合，因此，最好是全局處理多模態(tài)數(shù)據(jù)。此外，觀察到的變量不僅由工業(yè)過程的內(nèi)部機理決定，還受到外在環(huán)境（如人工操作、不確定性、參數(shù)測量的不連續(xù)性、噪聲等）的影響。在線測試數(shù)據(jù)的外在環(huán)境與歷史訓(xùn)練數(shù)據(jù)的外在環(huán)境不同，所以會出現(xiàn)域畸變。為了獲得準確的過程監(jiān)測結(jié)果，一個明智的選擇是通過使用域自適應(yīng)遷移學(xué)習(xí)的方法來消除無關(guān)的外在干擾。

圖1.源域數(shù)據(jù)量大而目標域數(shù)據(jù)量小的情況。（a）傳統(tǒng)策略1：忽略源域，僅利用目標域數(shù)據(jù)進行模型訓(xùn)練。（b）傳統(tǒng)策略2：忽略源域和目標域的特征差異，直接利用所有數(shù)據(jù)進行模型訓(xùn)練。（c）RTDL模型將源域和目標域的數(shù)據(jù)進行正則化約束，消除域間差異。該模型是三種模型中最合理的。PC1和PC2表示數(shù)據(jù)的兩個主要成分。

3.1.判別性字典

傳統(tǒng)的字典學(xué)習(xí)已經(jīng)被廣泛地引入過程監(jiān)測。此外，最近的研究表明，學(xué)習(xí)判別性字典可以使字典具備模態(tài)識別能力[30-33]。因此，對于過程監(jiān)測任務(wù)來說，迫切需要一種判別性的字典學(xué)習(xí)方法。這里，判別式字典被表示為D=[D1,D2,...,DC]?Rm×Ck，其中C代表模態(tài)的數(shù)量；k代表每個模態(tài)的原子數(shù)量；DC是一個由k個原子組成的子字典，用來代表第C個模態(tài)的特征。原始樣本矩陣（X）關(guān)于字典D的稀疏矩陣為S=[S1,S2,...,SC]?RCk×(ns+nt)，其中SC=[SsC,StC]；SsC代表第C個模態(tài)源域數(shù)據(jù)的稀疏編碼；StC代表第C個模態(tài)目標域數(shù)據(jù)的稀疏編碼。為了簡單起見，我們將Xi關(guān)于字典D的稀疏編碼記為Si=是Xi關(guān)于子字典DC的編碼系數(shù)；Xi是由第i個模態(tài)樣本組成的矩陣（i?{1,2,...,C}），是X的子矩陣。

為了提高多模態(tài)數(shù)據(jù)的表示能力，應(yīng)該在字典學(xué)習(xí)中加入先驗約束。第一，數(shù)據(jù)應(yīng)該被字典和相應(yīng)的稀疏矩陣很好地重構(gòu)，即X≈DS。第二，數(shù)據(jù)應(yīng)該被它自己的子字典和子稀疏矩陣很好地表示出來； 即Xi≈第三，由于數(shù)據(jù)可以由它自己的子字典和子稀疏矩陣很好地表示，因此項應(yīng)該盡可能地接近于零，公式（1）可以轉(zhuǎn)化為以下形式[31]。

式中，db代表字典D中的第b個原子；Sin和Sout是關(guān)于S的表達式，如下所示。

式中，xa是X的第a個樣本。

3.2.正則化

由于工業(yè)系統(tǒng)的源域和目標域受到不同環(huán)境因素的影響，所以數(shù)據(jù)分布是不同的。為了確保學(xué)習(xí)到的字典能夠捕捉到源域和目標域中潛在的公共機理信息，而不是無關(guān)的外在干擾，一個直接的方法是通過最小化一些預(yù)定義的度量來減少分布差異。MMD正則化被認為是一種表達域間分布差異的非參數(shù)指標[27]，它可以使稀疏矩陣Ssi和Sti的中心接近。在數(shù)學(xué)上，MMD正則化表示如下。

式中，c1代表源域和目標域之間的MMD正則化；nsi和nti分別代表源域和目標域中第i個模態(tài)的樣本數(shù)；sj是稀疏矩陣S中的一個稀疏代碼；Mi代表MMD矩陣M的第i個模態(tài)部分，可以計算如下。

眾所周知，同一模態(tài)下的觀測數(shù)據(jù)的分布應(yīng)該是相同的。然而，由于工作環(huán)境的不確定性，同一模態(tài)下的數(shù)據(jù)也表現(xiàn)出一定的差異。為了消除不確定環(huán)境的干擾，無論數(shù)據(jù)來自哪個域，最好使同模態(tài)數(shù)據(jù)的稀疏碼彼此更加接近。也就是說，Si=[Ssi,Sti]?i?{1,2,...,C}的每一個列向量均應(yīng)該相互接近。因此，的值應(yīng)該盡可能小，其中是Si的中心。因此，應(yīng)該引入以下約束條件。

式中，c2是所有模態(tài)的模內(nèi)距離；I是單位矩陣。LDAlike矩陣H可以通過以下方式得到。

式中，1ni是一個長度為ni及所有元素均等于1的向量；ni是第i個模態(tài)在源域和目標域的總數(shù)據(jù)數(shù)。公式（7）的正則化形式上與LDA 正則化相似[34]，所以它被稱為LDAlike正則化。

總之，MMD和LDA-like正則化可以被認為是一種漸進的關(guān)系。MMD正則化使每個模態(tài)的源域中心接近每個模態(tài)的目標域中心。作為補充，LDA-like正則化使同一模態(tài)的數(shù)據(jù)相互靠近，以減少模態(tài)內(nèi)的距離。基于這兩種正則化的協(xié)同作用，我們將公式（2）、（3）和（7）連接起來，形成了本文中所提出的方法，該方法的目標函數(shù)可以表示如下。

式中，β1和β2（β1,β2>0）分別是MMD 正則化和LDAlike正則化的超參數(shù)，這些超參數(shù)可以平衡重建誤差和正則化約束之間的權(quán)重。由于本方法減少了源域和目標域之間的分布畸變，因此可以達到消除外在環(huán)境干擾的效果。

3.3.優(yōu)化

上述目標函數(shù)的優(yōu)化變量是D和S。由于優(yōu)化問題不是兩個變量的聯(lián)合凸問題，而是分別凸于D（保持S固定的情況下）和凸于S（保持D固定的情況下），因此引入迭代優(yōu)化方法來計算D和S的最優(yōu)值[35]。

3.3.1.更新D

當通過固定S更新字典D時，目標函數(shù)可以簡化為如下形式：

構(gòu)建了一個新的數(shù)據(jù)矩陣Xnew=[X,X,O]和一個新的稀疏矩陣Snew=[S,Sin,Sout]，其中O是與矩陣X維度相同的零矩陣，目標函數(shù)[公式（10）]變?yōu)槿缦滦问剑?/p>

該目標函數(shù)可以通過使用拉格朗日對偶法[35]來有效解決。首先，考慮拉格朗日函數(shù)：

式中，L是拉格朗日函數(shù)；是引入的非負參數(shù)。

通過最小化拉格朗日函數(shù)[公式（12）]得到拉格朗日對偶問題，如下所示。

式中，B是拉格朗日對偶公式；Λ是由組成的對角矩陣，拉格朗日對偶問題[公式（13）]可以用牛頓法或共軛梯度法來優(yōu)化。在最大化B(λ→)后，我們得到最優(yōu)字典D如下。

3.3.2.更新S

矩陣S將被逐列進行更新。當更新其中一列sj時，目標函數(shù)可以表示如下。

式中，Q、P和hj是目標函數(shù)簡化過程中的中間變量。Q=(β1Mjj'+β2(I-H)jj')sj'。Q是一個對角線矩陣，元素1只存在于sj所屬模態(tài)的相應(yīng)的k個位置上；xj是X中的第j個樣本；是sj中的第p個元素。我們通過特征符號搜索算法[27,35]來優(yōu)化公式（15）。定義g(sj)如下：

式中，g(sj)是公式（15）的可微分部分。為了實現(xiàn)公式（15）中的特征符號搜索算法，引入以下定理。

定理1：定義一個關(guān)于x的連續(xù)函數(shù)為F(x)=G(x)+的最優(yōu)必要條件為

式中，G(x)是關(guān)于向量x的連續(xù)可微函數(shù)[35-36]；xp是向量x的第p個元素；?pG(x)是G(x)關(guān)于xp的偏導(dǎo)。

證明：我們通過反證法來提供一個簡短的證明。假設(shè)最優(yōu)解x中有一個元素xp不符合上述最優(yōu)必要條件。首先，對于|xp|≠0，?pG(x)+λsign(xp)≠0，則很明顯可知?pF(x)=?pG(x)+λsign(xp)≠0。因此，我們可以找到另一個值x*p來代替xp，使F(x*)值更小。這與x為最優(yōu)解的假設(shè)是矛盾的。其次，對于|xp|=0，?pG(x)>λ，由于G(x)是一個連續(xù)可微的函數(shù)，我們可以找到一個x*p<0來代替xp， 并 且 滿 足G(x*)-G(x)<λx*p。 因 此F(x*)=G(x*)+這也是與假設(shè)相矛盾的。對于|xp|=0，?pG(x)<-λ，可以用同樣的方法來證明該假設(shè)不成立。綜上所述，命題得證。

根據(jù)定理1，公式（15）中的必要條件可以描述如下。

當?shù)谝粋€條件被違反時，因為其符號是已知的，公式（15）中的目標函數(shù)是可微的，它成為一個無約束的優(yōu)化問題（QP）。當?shù)诙€條件被違反時，假設(shè)?(p)g(sj)>α，由于?(p)f(sj)一定大于零，為了最小化f(sj)的值，必須減少。由于從零開始，對其進行的任何無限小的調(diào)整均會使其符號為負，因此，我們直接讓為?1。那么，f(sj)關(guān)于同樣是可微的，問題可以簡單解決。如果?(p)g(sj)<-α，可以用同樣的方法更新。

據(jù)此，稀疏矩陣優(yōu)化算法的完整過程被總結(jié)為算法1。

3.4.在線過程監(jiān)測

在獲得通用字典D后，利用該字典可以進行過程監(jiān)測和模態(tài)識別任務(wù)。

3.4.1.過程監(jiān)測

字典D和正交匹配追求（OMP）算法[37]被用來計算訓(xùn)練集中目標域數(shù)據(jù)的稀疏表示，訓(xùn)練集中目標域數(shù)據(jù)的重構(gòu)殘差（RES）可以根據(jù)公式（19）得到。

式中，‖ ‖?2代表向量的L2范數(shù)；r是樣本x的重建誤差。

接下來，用核密度估計法（KDE）[38]計算目標域數(shù)據(jù)的殘差分布區(qū)間，以檢測新的測試數(shù)據(jù)是否正常。當新的測試數(shù)據(jù)x來自目標域時，使用同樣的OMP 算法得到稀疏代碼s；然后使用公式（19）可以得到測試數(shù)據(jù)的RES。當RES 屬于上述分布區(qū)間時，它是正常數(shù)據(jù)，否則，就是故障數(shù)據(jù)。

3.4.2.模態(tài)識別

測試數(shù)據(jù)被檢測為正常數(shù)據(jù)后，進行模態(tài)識別，通過公式（20）來識別數(shù)據(jù)x。

式中，si是s的子稀疏表示。

綜上所述，RTDL的完整流程總結(jié)于算法2。

4.驗證實驗

在本節(jié)中，我們在數(shù)值仿真、CSTH基準和風機系統(tǒng)上進行了廣泛的實驗，以證明RTDL方法的有效性和優(yōu)越性。為了性能的可視化和參數(shù)的敏感性分析，在數(shù)值仿真中分別引入MMD正則化和LDA-like正則化，以便能夠直觀地觀察樣本的分布。對于CSTH基準和風機系統(tǒng)，將提出的方法與一些最先進的方法進行了性能比較。

4.1.性能可視化和參數(shù)敏感性分析

4.1.1.數(shù)據(jù)集

本小節(jié)在數(shù)值仿真上進行了實驗，以驗證本文動機并直觀地評價性能。數(shù)值仿真的數(shù)據(jù)生成模型如下。

表1 關(guān)于仿真數(shù)據(jù)的細節(jié)描述

?

對于訓(xùn)練數(shù)據(jù)，我們在源域的每個模態(tài)收集了100條正常數(shù)據(jù)，在目標域的每個模態(tài)收集了10 條正常數(shù)據(jù)。對于測試數(shù)據(jù)，我們在每個模態(tài)收集50 條正常數(shù)據(jù)，在目標域收集300條異常數(shù)據(jù)。

4.1.2.性能可視化實驗

如前文所述，MMD正則化和LDA-like正則化可以從不同角度消除分布畸變。為了驗證兩者均有消除分布畸變的能力，我們分別引入其中一個，設(shè)置另一個正則化參數(shù)為零，直觀地觀察樣本的分布。訓(xùn)練數(shù)據(jù)被利用來學(xué)習(xí)一個公共的字典。然后通過公共字典和OMP 算法得到源域數(shù)據(jù)、目標域數(shù)據(jù)和異常數(shù)據(jù)的稀疏代碼。我們通過PCA將稀疏代碼可視化。圖2顯示了可視化的情況。

圖2（a）顯示了原始數(shù)據(jù)的分布。由于環(huán)境干擾，域間數(shù)據(jù)出現(xiàn)了分布畸變，且異常的信息是不明顯的。圖2（b）、（c）顯示，在單獨使用其中一個正則化后，分布畸變被部分消除，異常信息通過字典學(xué)習(xí)后開始顯示出來。圖2（d）顯示，源數(shù)據(jù)和目標數(shù)據(jù)完全混合，通過使用兩種正則化的方法，異常信息很容易被識別。據(jù)此，實驗結(jié)果驗證了本文的動機（第2.3節(jié)）。

Algorithm 2.RTDL.Input:Source domain data matrix Xs=[xs1,xs2,...,xns],target domain data matrix Xt=[xt1,xt2,...,xnt],parameters α,β1,and β2 Begin RTDL algorithm Step 1.Initialization Structure data matrix X=[Xs1,Xt1,...,Xsc,Xtc,...,XsC,XtC],MMD matrix M by Eq.(4)and LDA-like matrix H by Eq.(8).D and S are initialized as random values,where Xsc and Xtcrepresent the data sets of Cth mode of the source domain and target domain,respectively Step 2.Off-line training Obtain D and S iteratively To fix S,update D using Eq.(14)To fix D,update S using Algorithm 1 Step 3.Online testing(i)Process monitoring Get the RES limit by D and the OMP and KDE algorithms Conduct process monitoring by comparing the RES statistic and RES limit(ii)Mode classification After the testing data is detected as normal data,conduct mode classification using Eq.(20)End RTDL algorithm

4.1.3.參數(shù)敏感性分析實驗

參數(shù)α是字典學(xué)習(xí)中一個重要的調(diào)整參數(shù)，它控制著S的稀疏程度。一般來說，α可以通過觀察S的稀疏程度來選擇，S的稀疏程度表示矩陣中非零元素所占的比例。如圖3所示，當稀疏率（SPR）為20%~50%時，可以得到滿意的過程監(jiān)測結(jié)果；據(jù)此，對SPR 的參數(shù)敏感性分析驗證了所提方法的魯棒性。

接下來，對修改后的β1和β2參數(shù)的過程監(jiān)測性能進行分析。令β1從101變化到105，而β2從10 變化到70。錯誤報警率（FAR）和故障檢測率（FDR）被認為是過程監(jiān)測的兩個評價指標。結(jié)果顯示在圖4 和圖5 中?？梢钥闯?，當β1和β2改變時，F(xiàn)AR總是低于3%，F(xiàn)DR總是大于80%。盡管β1和β2的變化范圍很大，但過程監(jiān)測的這種性能仍是滿意的。當β1和β2的值過小時，學(xué)習(xí)的字典可以很好地重建訓(xùn)練數(shù)據(jù)。然而，訓(xùn)練數(shù)據(jù)中不相關(guān)的環(huán)境干擾也會被字典學(xué)習(xí)。當β1和β2的值過大時，目標函數(shù)只是減少域之間的分布差異，學(xué)習(xí)到的字典不能很好地重建過程數(shù)據(jù)，而且潛在的語義信息，如數(shù)據(jù)中的機理信息將被丟失。這兩種情況均會降低字典捕捉過程數(shù)據(jù)中常見的潛在信息的能力，導(dǎo)致過程監(jiān)測的性能不佳。為了給這些超參數(shù)選擇一個合適的值，可以選擇網(wǎng)格搜索這樣的優(yōu)化方法。

4.2.性能比較實驗

4.2.1.數(shù)據(jù)集

由于RTDL在數(shù)值仿真中的性能是比較滿意的，我們現(xiàn)在考慮其在現(xiàn)實工業(yè)場景中的性能。本實驗準備了兩個數(shù)據(jù)集。

（1）CSTH。CSTH 過程是一個非線性的真實平臺，已被廣泛用作評估不同過程監(jiān)測方法的基準[39]。CSTH的原理如圖6 所示。在CSTH 過程中，有兩個物理平衡：質(zhì)量平衡和熱平衡。冷水和熱水同時流入水槽進行攪拌，同時被蒸汽加熱[40]。假設(shè)這個過程有兩種模態(tài)，其中模態(tài)狀態(tài)由液面設(shè)置、溫度設(shè)置和熱水閥位置設(shè)置決定。詳細情況見表2。為了模擬環(huán)境干擾，我們在所有觀測變量中加入一個指數(shù)分布變量，以形成源域，在所有觀測變量中加入一個F分布變量，以形成目標域。在觀察到的流量變量上施加一個加性故障，以產(chǎn)生異常數(shù)據(jù)。我們在源域的每個模態(tài)收集了100個數(shù)據(jù)，在目標域的每個模態(tài)收集了30 個正常數(shù)據(jù)，以形成訓(xùn)練數(shù)據(jù)。測試數(shù)據(jù)包括每個模態(tài)的50個數(shù)據(jù)和目標域的200個異常數(shù)據(jù)。

表2 CSTH的傳感器電流信號設(shè)置參數(shù)

圖2.樣本分布散點圖。（a）原始數(shù)據(jù)；（b）通過帶LDA-like正則化的字典學(xué)習(xí)得到的稀疏表示；（c）通過帶MMD正則化的字典學(xué)習(xí)得到的稀疏表示；（d）通過同時帶LDA-like正則化和MMD正則化的字典學(xué)習(xí)得到的稀疏表示。

圖3.參數(shù)α對指標FAR和SPR的靈敏度分析。FAR：錯誤報警率。

圖4.參數(shù)β1和β2對指標FAR的靈敏度分析。

圖5.參數(shù)β1和β2對指標FDR的靈敏度分析。

（2）風機系統(tǒng)。風機系統(tǒng)的數(shù)據(jù)來自于北京的一家風力發(fā)電公司。從2011年1月1日至2011年11月11日，8臺風機每分鐘采樣一次，表3所示的15維數(shù)據(jù)被用于過程監(jiān)測和模態(tài)識別。每臺風機的數(shù)據(jù)中存在著不同的流形結(jié)構(gòu)，可以認為是風機系統(tǒng)的運行模態(tài)。夏季的溫度和風力與冬季不同，導(dǎo)致風力發(fā)電機組的工作溫度和工作功率不同，從而導(dǎo)致數(shù)據(jù)分布畸變。風力渦輪機系統(tǒng)在不同季節(jié)會受到不同的環(huán)境干擾。我們假設(shè)冬季為源域，而夏季為目標域。詳細說明見表4。訓(xùn)練數(shù)據(jù)由源域中每種模態(tài)的350 個正常數(shù)據(jù)和目標域中每種模態(tài)的50 個正常數(shù)據(jù)組成。每個模態(tài)的50個正常數(shù)據(jù)和目標域的300個異常數(shù)據(jù)構(gòu)成測試數(shù)據(jù)。由于風機系統(tǒng)數(shù)據(jù)的尺寸差異很大，所有的數(shù)據(jù)在實驗前均進行了標準化處理。

表3 風機系統(tǒng)實驗中使用的特征

表4 關(guān)于風機系統(tǒng)數(shù)據(jù)的詳細描述

圖6.CSTH原理圖。TC：溫度控制器；FC：流量控制器；LC：液位控制器；TT：溫度傳感器；FT：流量傳感器；LT：液位傳感器；sp：設(shè)定值。摘自參考文獻[40]，經(jīng)Elsevier許可，?2008。

4.2.2.過程檢測的比較實驗

為了定量評估RTDL方法，我們使用了另外兩種新穎的字典學(xué)習(xí)方法和一種自適應(yīng)監(jiān)測方法進行比較實驗。此外，第2.3 節(jié)中提到的兩種數(shù)據(jù)處理策略也被用于對比。比較方法包括：label consistent K-singular value decompo‐sition（LC-KSVD）（S+T）、LC-KSVD（T）、Fisher dis‐crimination dictionary learning （FDDL）（S+T）、FDDL（T）、moving window PCA（MWPCA）和RTDL。LC-KS‐VD[41]、FDDL[31]和MWPCA[42]方法是用于過程監(jiān)測的三種先進的方法。LC-KSVD 和FDDL 同時具有模態(tài)識別的能力，而MWPCA是另一種用于過程監(jiān)測的自適應(yīng)方法。這里，LC-KSVD（S+T）和FDDL（S+T）分別指LC-KSVD 方法和FDDL 方法，其直接使用所有源域訓(xùn)練數(shù)據(jù)和目標域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)，不考慮域之間的不同特征。LC-KSVD（T）和FDDL（T）分別指LC-KSVD方法和FDDL方法，其只使用目標域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)。MWPCA方法直接使用所有源域訓(xùn)練數(shù)據(jù)和目標域訓(xùn)練數(shù)據(jù)作為輸入數(shù)據(jù)，不考慮域之間的不同特征。RTDL將源域的訓(xùn)練數(shù)據(jù)和目標域的訓(xùn)練數(shù)據(jù)有區(qū)別地作為輸入數(shù)據(jù)。為了公平，字典的大小和其他參數(shù)被設(shè)定為相同。為了比較各模型的性能，我們參考了兩個指標：FAR 和FDR。

結(jié)果顯示在圖7和圖8中。如圖所示，在這兩個實際數(shù)據(jù)集中，本方法在準確性方面均優(yōu)于對比方法。有一些有趣的結(jié)果值得注意，在CSTH中，LC-KSVD（S+T）的FDR接近于LC-KSVD（T）的FDR，但是LC-KSVD（S+T）的FAR明顯大于LC-KSVD（T）的FAR。這一結(jié)果與我們的觀察相吻合，即如果忽略了域的分布畸變，模型可能更容易將域間差異信息與異常信息混淆，導(dǎo)致過程監(jiān)測結(jié)果更差。

4.2.3.模態(tài)識別比較實驗

本方法可以處理多模態(tài)數(shù)據(jù)，當檢測到數(shù)據(jù)為正常數(shù)據(jù)時，可以進行模態(tài)識別。因此，在本節(jié)中，通過與對比方法的比較來評估模態(tài)識別的有效性。對比方法的參數(shù)設(shè)置與過程檢測比較實驗一樣。值得注意的是，MWPCA方法不能完成模態(tài)識別任務(wù)，所以該方法不用于本實驗。為了比較模型的性能，我們參考了兩個指標：模態(tài)1準確率和模態(tài)2準確率。結(jié)果顯示在表5中?？梢钥闯?，本方法在模態(tài)識別中的表現(xiàn)優(yōu)于對比方法的表現(xiàn)，這進一步驗證了本方法的有效性。

表5 模態(tài)識別結(jié)果

圖7.本方法與對比方法在CSTH 上的監(jiān)測結(jié)果。（a）LC-KSVD(S+T)的統(tǒng)計量DRE；（b）LC-KSVD(T)的統(tǒng)計量DRE；（c）FDDL(S+T)的統(tǒng)計量DRE；（d）FDDL(T)的統(tǒng)計量DRE；（e）MWPCA的統(tǒng)計量T2；（f）RTDL的統(tǒng)計量DRE。DRE：字典重構(gòu)誤差。

圖8.本方法與對比方法在風機系統(tǒng)上的監(jiān)測結(jié)果。（a）LC-KSVD(S+T)的統(tǒng)計量DRE；（b）LC-KSVD(T)的統(tǒng)計量DRE；（c）FDDL(S+T)的統(tǒng)計量DRE；（d）FDDL(T)的統(tǒng)計量DRE；（e）MWPCA的統(tǒng)計量T2；（f）RTDL的統(tǒng)計量DRE。

5.結(jié)論

由于工業(yè)過程經(jīng)常受到多變的操作環(huán)境的影響，在線監(jiān)測數(shù)據(jù)和歷史訓(xùn)練數(shù)據(jù)并不總是遵循相同的分布。因此，基于歷史訓(xùn)練數(shù)據(jù)的過程監(jiān)測模型不能準確地執(zhí)行監(jiān)測在線流數(shù)據(jù)的任務(wù)。為此本文提出了一種RTDL 方法。該方法是一個表示學(xué)習(xí)和域自適應(yīng)遷移學(xué)習(xí)的協(xié)同框架。也就是說，首先使用字典學(xué)習(xí)方法，將原始數(shù)據(jù)投射到一個子空間，學(xué)習(xí)一個公共的字典來表示源域數(shù)據(jù)和目標域數(shù)據(jù)。在減少子空間中的域間分布距離和模內(nèi)距離后，消除了環(huán)境干擾引起的分布畸變，從而提高了字典表示內(nèi)部語義信息的能力，如機理信息。通過大量的實驗，包括數(shù)值仿真、CSTH基準和真實的風機系統(tǒng)，證明了所提方法在域遷移問題上的優(yōu)越性。因此，可以得出結(jié)論，本方法可以將知識從單一源域遷移到單一目標域。由于工業(yè)過程通常會遇到多種操作環(huán)境，未來的工作將集中在實現(xiàn)從多個源域到多個目標域的知識遷移。

致謝

本研究由國家自然科學(xué)基金（61988101）和國家重點研發(fā)計劃（2018YFB1701100）項目資助。

Compliance with ethics guidelines

Chunhua Yang, Huiping Liang, Keke Huang, Yong‐gang Li,and Weihua Gui declare that they have no conflict of interest or financial conflicts to disclose.