一種基于深度學(xué)習(xí)的異常數(shù)據(jù)清洗算法

匡俊搴 趙 暢 楊 柳 王海峰 錢 驊*

①(中國(guó)科學(xué)院上海高等研究院 上海 201210)

②(上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院 上海 201210)

③(中國(guó)科學(xué)院大學(xué) 北京 100049)

④(中國(guó)科學(xué)院大學(xué)微電子學(xué)院 北京 100049)

⑤(中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 上海 200050)

1 引言

隨著物聯(lián)網(wǎng)應(yīng)用在實(shí)際生活與生產(chǎn)中的普及，其以數(shù)據(jù)為中心的特點(diǎn)日益凸顯。密集部署的傳感器節(jié)點(diǎn)會(huì)產(chǎn)生大量的傳感器數(shù)據(jù)，由于節(jié)點(diǎn)能量受限、監(jiān)測(cè)環(huán)境較為復(fù)雜、節(jié)點(diǎn)容易遭受外界攻擊等，經(jīng)常出現(xiàn)異常值[1]。由于物聯(lián)網(wǎng)系統(tǒng)的運(yùn)行主要依賴傳感器數(shù)據(jù)，數(shù)據(jù)冗余和數(shù)據(jù)異常值會(huì)大大降低物聯(lián)網(wǎng)應(yīng)用的有效性。因此，必須采用數(shù)據(jù)清洗技術(shù)來(lái)去除異常值對(duì)物聯(lián)網(wǎng)系統(tǒng)的影響。數(shù)據(jù)清洗的研究?jī)?nèi)容包括：重復(fù)數(shù)據(jù)檢測(cè)、異常數(shù)據(jù)檢測(cè)、缺失數(shù)據(jù)處理、不一致數(shù)據(jù)處理、邏輯錯(cuò)誤檢測(cè)等，是從事后診斷角度提升和保證數(shù)據(jù)質(zhì)量的主要手段[2,3]。設(shè)計(jì)物聯(lián)網(wǎng)異常數(shù)據(jù)清洗算法，是物聯(lián)網(wǎng)數(shù)據(jù)分析中的關(guān)鍵問(wèn)題。

目前，在基于無(wú)線傳感器網(wǎng)絡(luò)的物聯(lián)網(wǎng)領(lǐng)域中，基于異常值的數(shù)據(jù)清洗技術(shù)與異常點(diǎn)檢測(cè)技術(shù)類似，可分為以下幾類：第1類是基于統(tǒng)計(jì)學(xué)的方法[4]，假定數(shù)據(jù)集服從某種概率分布模型，把具有低概率的對(duì)象視為異常點(diǎn)，但實(shí)際情況不一定符合統(tǒng)計(jì)規(guī)律。第2類是基于聚類的方法[5]，如果某些聚類簇的數(shù)據(jù)樣本量比其他簇少得多，而且這個(gè)簇里的數(shù)據(jù)的特征也與其他簇差異很大，則該簇里的大部分樣本點(diǎn)可視為異常點(diǎn)，但該方法需要事先確定閾值，這對(duì)于不同的數(shù)據(jù)集往往是比較困難的。第3類是基于專門的異常點(diǎn)檢測(cè)算法，包括一類支持向量機(jī)(One-Class SVM)[6]、孤立森林(Isolation forest)[7]等。One-Class SVM通過(guò)建立分類模型得到一組精確的異常值，技術(shù)難點(diǎn)在于計(jì)算復(fù)雜度高和選擇合適的核函數(shù)，更適用于中小型數(shù)據(jù)集的原型分析；Isolation Forest具有線性時(shí)間復(fù)雜度，可以部署在大規(guī)模分布式系統(tǒng)上來(lái)加速運(yùn)算，但不適用于特別高維的數(shù)據(jù)，在某些局部的異常點(diǎn)較多的時(shí)候可能不準(zhǔn)確。

此外，基于遞歸主成分分析(Recursive Principal Component Analysis, R-PCA)的異常數(shù)據(jù)清洗算法也得到了很多應(yīng)用。Zhou等人[8]提出穩(wěn)定的主成分追蹤的方法來(lái)解決有噪情況下R-PCA算法數(shù)據(jù)恢復(fù)準(zhǔn)確性的問(wèn)題，采用低秩-稀疏矩陣分解(Low-Rank and Sparse Matrix Decomposition,LRaSMD)的技術(shù)，將2維的測(cè)量矩陣分解為低秩矩陣、稀疏矩陣和噪聲矩陣，然后設(shè)計(jì)算法進(jìn)一步處理。該方法旨在從有稀疏干擾的數(shù)據(jù)中恢復(fù)出低秩矩陣，但需要準(zhǔn)確估計(jì)正常模式的相關(guān)矩陣，計(jì)算量特別大。Xu等人[9]提出一種基于LRaSMD的字典重建和異常提取方法，利用完備字典和稀疏編碼構(gòu)造低秩矩陣達(dá)到清洗異常值的目的，不過(guò)字典學(xué)習(xí)的計(jì)算量巨大，恢復(fù)精度較低。

本文針對(duì)傳統(tǒng)異常數(shù)據(jù)清洗算法需要先驗(yàn)統(tǒng)計(jì)知識(shí)、計(jì)算量大、精度低的弊病，在LRaSMD模型的基礎(chǔ)上，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的迭代閾值收縮算法框架，對(duì)物聯(lián)網(wǎng)中時(shí)-空相關(guān)數(shù)據(jù)進(jìn)行快速清洗。迭代閾值收縮算法(Iterative Shrinkage-Thresholding Algorithm, ISTA)是梯度下降法的延伸，求解的是1范數(shù)稀疏性正則化約束下的反問(wèn)題[10]。其在圖像處理[11]、壓縮感知[12]以及信號(hào)處理[13]等領(lǐng)域有著廣泛的應(yīng)用。由于LRaSMD可以轉(zhuǎn)換為上述反問(wèn)題，所以可以引入ISTA來(lái)進(jìn)行異常數(shù)據(jù)清洗問(wèn)題的求解。雖然1范數(shù)約束問(wèn)題是凸的，使得ISTA具有全局收斂性，但是其也存在不足，比如收斂速度慢、對(duì)初始參數(shù)敏感等。為了解決這些問(wèn)題，本文進(jìn)一步將ISTA展開為定長(zhǎng)的深度神經(jīng)網(wǎng)絡(luò)，以神經(jīng)網(wǎng)絡(luò)層數(shù)來(lái)代替迭代次數(shù)，從而構(gòu)造出ISTANet框架。在實(shí)際數(shù)據(jù)集上對(duì)該框架進(jìn)行了評(píng)估，結(jié)果表明，該數(shù)據(jù)清洗方法能夠得到高質(zhì)量的有效數(shù)據(jù)，算法收斂速度快，精度更高。

本文的其余部分組織如下。第2節(jié)介紹了系統(tǒng)模型和優(yōu)化問(wèn)題。第3節(jié)描述了所提出的基于深度神經(jīng)網(wǎng)絡(luò)的快速異常數(shù)據(jù)清洗算法框架。第4節(jié)使用真實(shí)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)仿真，驗(yàn)證了算法的性能。第5節(jié)對(duì)全文進(jìn)行了總結(jié)。

2 系統(tǒng)建模

2.1 問(wèn)題描述

在本文中，將針對(duì)特定的無(wú)線傳感器網(wǎng)絡(luò)(Wireless Sensor Networks，WSNs)應(yīng)用場(chǎng)景，利用數(shù)據(jù)的時(shí)-空相關(guān)性，設(shè)計(jì)適合多傳感器數(shù)據(jù)的離線異常數(shù)據(jù)清洗算法。本場(chǎng)景中數(shù)據(jù)清洗的對(duì)象為多傳感器數(shù)據(jù)，算法需滿足3個(gè)條件：只利用測(cè)量數(shù)據(jù)的時(shí)-空相關(guān)性；只考慮存在異常點(diǎn)的情況；算法的輸出為逼近真實(shí)的數(shù)據(jù)，達(dá)到較高的精度。

如圖1所示，橢圓形代表監(jiān)測(cè)區(qū)域，橢圓形內(nèi)的若干個(gè)小圓圈代表傳感節(jié)點(diǎn)，無(wú)線傳感器網(wǎng)絡(luò)主要由部署在監(jiān)測(cè)區(qū)域內(nèi)的大量傳感器節(jié)點(diǎn)組成。這些傳感節(jié)點(diǎn)負(fù)責(zé)采集環(huán)境數(shù)據(jù)，匯聚節(jié)點(diǎn)將周圍若干個(gè)傳感節(jié)點(diǎn)的數(shù)據(jù)集中起來(lái)，再經(jīng)由基站以無(wú)線通信的方式傳輸給后臺(tái)數(shù)據(jù)中心。

圖1 傳感節(jié)點(diǎn)數(shù)據(jù)采集和傳輸示意圖

由于傳感器在某一時(shí)刻觀測(cè)到的讀數(shù)與在前一個(gè)時(shí)刻觀測(cè)到的讀數(shù)相似，并且相鄰的多個(gè)傳感節(jié)點(diǎn)的測(cè)量值相似，所以無(wú)線傳感器的數(shù)據(jù)具有時(shí)-空相關(guān)性。當(dāng)在某個(gè)域中表示時(shí)，信號(hào)有很多系數(shù)接近或等于零，因此假設(shè)時(shí)-空相關(guān)數(shù)據(jù)是低秩的[14]。

2.2 迭代收縮閾值算法(ISTA)

圖2 無(wú)噪情況下的低秩-稀疏模型

對(duì)于大規(guī)模問(wèn)題，很難快速計(jì)算出每次的迭代解。而式(8)中ISTA算法的迭代解依賴閾值參數(shù)λ1和λ2的選擇。因此快速計(jì)算出合適的閾值參數(shù)是提高該算法收斂速度的關(guān)鍵。

3 算法描述

迭代展開(Unfolding)的概念于2012年被首次提出[18]，顯著地改進(jìn)了收斂性。一個(gè)迭代算法可以看作一個(gè)神經(jīng)網(wǎng)絡(luò)，其中的第k次迭代被視作第k層。迭代展開的方法利用了深度學(xué)習(xí)和基于模型框架的強(qiáng)大功能，在一些應(yīng)用領(lǐng)域[19]中提高了算法性能，已經(jīng)有研究人員對(duì)交替方向乘子法[20]、近似梯度法[21]等方法進(jìn)行了展開。

ISTA與深度神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上具有相似之處。深度學(xué)習(xí)其實(shí)是有著超過(guò)3層隱藏層的神經(jīng)網(wǎng)絡(luò)。將ISTA中的每一次迭代看作一個(gè)時(shí)間層，軟閾值函數(shù)等價(jià)于激活函數(shù)，那么ISTA可以用神經(jīng)網(wǎng)絡(luò)展開。圖3展示了ISTA的迭代解的數(shù)據(jù)流圖，其中K代表深度神經(jīng)網(wǎng)絡(luò)的層數(shù)。

選擇歸一化均方誤差(Normalized Mean Square Error, NMSE)作為訓(xùn)練過(guò)程的損失函數(shù)。對(duì)于給定數(shù)據(jù)集中的第i個(gè)數(shù)據(jù)幀，使用迭代閾值收縮算法(ISTA)分解Ri，每次迭代過(guò)程中，需要學(xué)習(xí)的參數(shù)是λ1和λ2，最終得到該數(shù)據(jù)幀所對(duì)應(yīng)的矩陣LK和SK，分別用L?i和S?i表示。網(wǎng)絡(luò)輸出值和真實(shí)值間的損失函數(shù)定義為

為了獲得最優(yōu)參數(shù)，使用后向傳播策略計(jì)算梯度或者參數(shù)。首先初始化網(wǎng)絡(luò)權(quán)值和神經(jīng)元的閾值。在前向傳播中，使用已經(jīng)更新的參數(shù)，按照式(8)計(jì)算隱藏層神經(jīng)元和輸出神經(jīng)元的輸入和輸出，并計(jì)算NMSE。在反向傳播中，根據(jù)式(9)中NMSE的定義，再利用二次方自適應(yīng)學(xué)習(xí)率優(yōu)化算法，來(lái)更新每個(gè)階段中的每個(gè)閾值參數(shù)。

具體的ISTA-Net異常數(shù)據(jù)恢復(fù)算法如表1所示，其中步驟(5)-步驟(8)的目的是參照式(8)計(jì)算出第k層神經(jīng)網(wǎng)絡(luò)的輸出Lk和Sk，之后這兩個(gè)值將作為第k+1層神經(jīng)網(wǎng)絡(luò)的輸入來(lái)參與運(yùn)算。需要說(shuō)明的是，每層神經(jīng)網(wǎng)絡(luò)的閾值參數(shù)λ1和λ2的更新是獨(dú)立的。同時(shí)為了取得更好的訓(xùn)練效果[22]，實(shí)際中用于SVT和軟閾值操作的閾值分別為σ(λk1)·bL·max(Lk)和σ(λk2)·bS ·mean(Sk)，其中σ(x)是sigmoid函數(shù)，bL和bS是固定值，這里分別設(shè)置為0.1和1.5。

4 仿真結(jié)果

為了驗(yàn)證本文所采用的ISTA-Net算法在解決物聯(lián)網(wǎng)異常數(shù)據(jù)清洗問(wèn)題中的有效性，采用Intel Berkeley Research Lab[23]所測(cè)的溫度數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)。該數(shù)據(jù)集包含54個(gè)傳感器采集的14400條溫度數(shù)據(jù)，每個(gè)傳感器每隔30 s采集1次數(shù)據(jù)，每小時(shí)采集120次數(shù)據(jù)，溫度范圍在13.69～37.68°C。假定該數(shù)據(jù)集代表真實(shí)數(shù)據(jù)，采集過(guò)程中的噪聲為高斯白噪聲。選取其中49個(gè)傳感器連續(xù)采集5天的溫度數(shù)據(jù)，再加上隨機(jī)異常值作為標(biāo)注。將傳感器1小時(shí)采集的數(shù)據(jù)看作1批數(shù)據(jù)，則5天總共有120批數(shù)據(jù)，選取的用于訓(xùn)練和測(cè)試的測(cè)量矩陣R的維度為49×120。仿真實(shí)驗(yàn)中，前80批數(shù)據(jù)為訓(xùn)練數(shù)據(jù)集，后40批數(shù)據(jù)為測(cè)試數(shù)據(jù)集。

表1 ISTA-Net異常數(shù)據(jù)恢復(fù)算法

圖3 數(shù)據(jù)流圖

其中，TP指的是確實(shí)包含異常值且被算法檢測(cè)出的數(shù)據(jù)個(gè)數(shù)，F(xiàn)P指的是本身不包含異常值卻被算法判定為異常的數(shù)據(jù)個(gè)數(shù)，F(xiàn)N指的是本身包含異常值但是算法卻沒(méi)有檢測(cè)出的數(shù)據(jù)個(gè)數(shù)。從以上定義可以看出，F(xiàn)1分?jǐn)?shù)越接近1，檢測(cè)的正確率越高。

圖4(b)描述了ISTA和ISTA-Net算法的F1分?jǐn)?shù)隨迭代次數(shù)(或神經(jīng)網(wǎng)絡(luò)層數(shù))的變化關(guān)系。從圖中可以看出兩種算法的F1均是隨著迭代次數(shù)的增加而逐漸增大，檢測(cè)的準(zhǔn)確率越來(lái)越高，收斂之后達(dá)到了0.9以上。不過(guò)，ISTA-Net的增加速度明顯快于ISTA，并且收斂之后前者的F1還要大于后者。

在上述的對(duì)比中，ISTA-Net算法要優(yōu)于ISTA的原因是ISTA算法本身是一個(gè)固定閾值的計(jì)算過(guò)程，算法的最終性能嚴(yán)重依賴分解軟閾值時(shí)收縮閾值的初始值；而ISTA-Net算法受益于神經(jīng)網(wǎng)絡(luò)內(nèi)部權(quán)重更新，對(duì)參數(shù)選擇相對(duì)能夠快速自動(dòng)更新收縮閾值。因此ISTA-Net算法收斂更快，數(shù)據(jù)清洗的精度更高，性能得到了顯著的提升。

需要指出的是，ISTA-Net前向傳播的每一層的運(yùn)算量和ISTA算法的1次迭代的運(yùn)算量相同，通過(guò)網(wǎng)絡(luò)訓(xùn)練得到最佳迭代參數(shù)后，ISTA-Net的計(jì)算過(guò)程與ISTA算法完全一致。此外，將ISTA算法展開為神經(jīng)網(wǎng)絡(luò)后，可以加快收斂速度，大大減少所需的迭代次數(shù)，這降低了整個(gè)算法的計(jì)算量。

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，不同學(xué)習(xí)率下的ISTA-Net算法的損失隨著訓(xùn)練數(shù)據(jù)批次數(shù)的變化如圖5所示。其中，異常值、噪聲以及初始閾值的設(shè)置均與上述相同，神經(jīng)網(wǎng)絡(luò)層數(shù)為25。由圖5看出，不同學(xué)習(xí)率下的算法損失隨著訓(xùn)練批次的增加而逐漸下降，同時(shí)學(xué)習(xí)率越大，損失函數(shù)收斂得越快，但是波動(dòng)也越大。因此，在ISTA-Net算法的訓(xùn)練過(guò)程中，選擇合適的學(xué)習(xí)率能夠?qū)崿F(xiàn)算法的收斂速度和恢復(fù)精度之間的平衡。

值得強(qiáng)調(diào)的是雖然對(duì)于Intel Berkeley Research Lab所測(cè)的溫度數(shù)據(jù)集，ISTA-Net只需25層固定長(zhǎng)度的深度神經(jīng)網(wǎng)絡(luò)就達(dá)到了優(yōu)于傳統(tǒng)ISTA算法的性能，但是對(duì)于不同的數(shù)據(jù)集，ISTA-Net需要的神經(jīng)網(wǎng)絡(luò)層數(shù)并不一定相同。不過(guò)盡管如此，ISTA-Net算法的收斂性仍遠(yuǎn)快于傳統(tǒng)ISTA算法。這里選取由國(guó)家青藏高原科學(xué)數(shù)據(jù)中心提供的大納倫河流域修正后的溫度數(shù)據(jù)集[24]，相關(guān)參數(shù)設(shè)置與前述相同。圖6將ISTA和ISTA-Net算法在該數(shù)據(jù)集中測(cè)試階段的損失函數(shù)隨迭代次數(shù)(或神經(jīng)網(wǎng)絡(luò)層數(shù))的變化情況進(jìn)行了對(duì)比?？梢钥闯鲈诖蠹{倫河流域數(shù)據(jù)集中ISTA-Net達(dá)到收斂所需的神經(jīng)網(wǎng)絡(luò)層數(shù)為60，不同于前一數(shù)據(jù)集的25層，但是相對(duì)于傳統(tǒng)ISTA算法的近600次迭代才能收斂而言，性能的提升是比較顯著的。

圖4 ISTA和ISTA-Net算法的性能對(duì)比

為了證實(shí)所提算法方案的優(yōu)越性，本文將ISTA, ISTA-Net算法和孤立森林算法進(jìn)行了對(duì)比。這里用到的性能指標(biāo)仍是上面提到的F1分?jǐn)?shù)，數(shù)據(jù)集使用Intel Berkeley Research Lab所測(cè)的溫度數(shù)據(jù)集，數(shù)據(jù)中異常值比例將逐漸增加，其他的設(shè)置(比如噪聲以及初始閾值的設(shè)置)均與上述相同，ISTA-Net用到的神經(jīng)網(wǎng)絡(luò)層數(shù)為25。圖7描述了隨著數(shù)據(jù)中異常值比例的增加，3種算法的F1分?jǐn)?shù)的變化情況。可以看出，在異常值比例比較小時(shí)，ISTA和孤立森林算法的F1分?jǐn)?shù)比較低。這是因?yàn)榇藭r(shí)實(shí)際上被疊加了異常值的數(shù)據(jù)占的比重小，因此TP比較小，而此時(shí)兩種算法的FP和FN相較于TP而言較高，進(jìn)而導(dǎo)致F1分?jǐn)?shù)比較低。但隨著異常值比例的逐漸增加，TP的比重提升，ISTA和孤立森林算法的F1分?jǐn)?shù)逐漸升高。值得強(qiáng)調(diào)的是，雖然在異常值比例較低時(shí)，孤立森林算法的F1分?jǐn)?shù)略高于ISTA，但是隨著異常值比例的提升，前者性能逐漸弱于后者，并且差距逐漸拉大。對(duì)于ISTA-Net算法而言，其F1分?jǐn)?shù)也是隨著異常值比例的增加而逐漸升高，并且其起始點(diǎn)要遠(yuǎn)高于另外兩種算法，性能差距比較明顯。

圖5 ISTA-Net損失隨訓(xùn)練數(shù)據(jù)批次數(shù)的變化情況

圖6 ISTA和ISTA-Net算法的NMSE比較

圖7 3種算法的F1分?jǐn)?shù)隨異常值比例的變化情況

由上述對(duì)比可以看出，ISTA-Net算法確實(shí)能夠取得比ISTA以及孤立森林算法更好的性能，而且其對(duì)不同異常值比例的情況都表現(xiàn)得比較好，具有較好的魯棒性。

5 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)異常數(shù)據(jù)清洗方法需要先驗(yàn)統(tǒng)計(jì)知識(shí)以及計(jì)算量大的問(wèn)題，提出了一種基于神經(jīng)網(wǎng)絡(luò)的迭代閾值收縮算法，從而對(duì)物聯(lián)網(wǎng)中時(shí)-空相關(guān)數(shù)據(jù)進(jìn)行快速異常數(shù)據(jù)清洗。利用了感知數(shù)據(jù)的時(shí)-空相關(guān)性和異常值的稀疏性，根據(jù)低秩-稀疏矩陣分解模型，采用迭代收縮閾值算法(ISTA)求解優(yōu)化問(wèn)題，進(jìn)一步將ISTA展開為定長(zhǎng)的深度神經(jīng)網(wǎng)絡(luò)。在實(shí)際數(shù)據(jù)集上對(duì)算法進(jìn)行了評(píng)估，仿真結(jié)果表明，該方法能夠自動(dòng)更新奇異值分解過(guò)程中的軟閾值參數(shù)，克服了傳統(tǒng)ISTA算法對(duì)初始參數(shù)敏感以及收斂速度慢的問(wèn)題。在選擇適當(dāng)?shù)拈撝祬?shù)后，算法收斂速度更快，數(shù)據(jù)清洗的精度更高。