路燈監(jiān)控系統(tǒng)中時(shí)序數(shù)據(jù)流的異常值檢測(cè)研究*

黃雄波，鐘 全

（1.佛山職業(yè)技術(shù)學(xué)院電子信息學(xué)院，佛山528000；2.廣州市明銳電氣技術(shù)有限公司研發(fā)部，廣州510800）

1 引言

隨著社會(huì)的不斷進(jìn)步和科學(xué)技術(shù)的高速發(fā)展，城市景觀照明系統(tǒng)已成為城市建設(shè)的一項(xiàng)重要內(nèi)容。此系統(tǒng)融合了通信技術(shù)、電氣技術(shù)，檢測(cè)技術(shù)、控制技術(shù)，采用移動(dòng)無(wú)線網(wǎng)絡(luò)，由上位機(jī)管理軟件、信號(hào)中繼器、Internet互聯(lián)網(wǎng)絡(luò)、移動(dòng)通信網(wǎng)絡(luò)、執(zhí)行終端構(gòu)成，對(duì)城市景觀照明系統(tǒng)的設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控，是保證系統(tǒng)安全可靠運(yùn)行的重要手段。在實(shí)際應(yīng)用中，通常需要對(duì)大量的燈具、繼電器和接觸器的實(shí)時(shí)狀況進(jìn)行信息采集和監(jiān)控。

對(duì)設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控導(dǎo)致了海量時(shí)序數(shù)據(jù)流的產(chǎn)生。以10s的時(shí)間間隔采集燈具的電流、電壓、溫度及光照度等物理參數(shù)，則10萬(wàn)盞燈具每天約產(chǎn)生100MB的時(shí)序數(shù)據(jù)流。為了能對(duì)這些歷史時(shí)序數(shù)據(jù)流進(jìn)行永久性的儲(chǔ)存，一些高效的有損壓縮算法被提出來(lái)。盧秉亮等基于旋轉(zhuǎn)門(mén)壓縮算法，將數(shù)據(jù)流注冊(cè)到區(qū)域字典中并進(jìn)行比例壓縮，從而設(shè)計(jì)實(shí)現(xiàn)了一種高速的數(shù)據(jù)流壓縮/解壓縮算法[1]；張冬冬等通過(guò)對(duì)歷史時(shí)序數(shù)據(jù)流實(shí)施多層遞階抽樣存儲(chǔ)，并在內(nèi)存中建立有關(guān)聚集值的 HDS-Tree索引，實(shí)現(xiàn)了對(duì)無(wú)限數(shù)據(jù)流歷史數(shù)據(jù)的存儲(chǔ)管理[2]；馮秀蘭等采用加權(quán)最小二乘法對(duì)時(shí)序數(shù)據(jù)流進(jìn)行分段曲線擬合，并對(duì)擬合結(jié)果進(jìn)行聚類分析，進(jìn)而得到了一種高保真的數(shù)據(jù)流在線壓縮存儲(chǔ)方法[3]。

注意到路燈時(shí)序數(shù)據(jù)流往往呈現(xiàn)出在某一均值上作微弱隨機(jī)波動(dòng)的特點(diǎn)，據(jù)此，我們可以放棄對(duì)海量歷史數(shù)據(jù)流的存儲(chǔ)，轉(zhuǎn)為對(duì)時(shí)序數(shù)據(jù)流的異常值進(jìn)行檢測(cè)和記錄，以便實(shí)現(xiàn)對(duì)系統(tǒng)中各元件進(jìn)行故障檢測(cè)和預(yù)警分析。

2 問(wèn)題描述

路燈時(shí)序數(shù)據(jù)流的觀測(cè)值有時(shí)因受異常事件、設(shè)備故障、干擾或誤差的影響，會(huì)出現(xiàn)與大多數(shù)觀測(cè)值不一致的情況。通常把這些偏離正常數(shù)值的觀測(cè)值稱為異常值。異常值在時(shí)序數(shù)據(jù)流中屬于少數(shù)，但卻有著重要的應(yīng)用價(jià)值。

時(shí)序數(shù)據(jù)流的異常值通常分為兩種[4-5]——附加異常值（Additive Outlier Value,AOV）和新息異常值（Innovation Outlier Value,IOV）。其中，AOV僅作用于當(dāng)前時(shí)刻的序列，而IOV則以沖擊函數(shù)的激勵(lì)形式影響著隨后的序列觀測(cè)值。令Yt 為沒(méi)有異常值發(fā)生的時(shí)序數(shù)據(jù)流，wt 為Yt 疊加異常值后的時(shí)序數(shù)據(jù)流，對(duì)Yt進(jìn)行去趨勢(shì)和去周期的處理后，所得到的近似平穩(wěn)序列Yt便可由自回歸模型 (Autoregressive Model,AR)來(lái)描述。于是，當(dāng)時(shí)序數(shù)據(jù)流在時(shí)刻T出現(xiàn)AOV時(shí)，便可用下式所示的模型進(jìn)行表示：

對(duì)應(yīng)地，IOV的模型則如下式所示：

更一般地，當(dāng)一個(gè)實(shí)際觀測(cè)的時(shí)序數(shù)據(jù)流wt在不同時(shí)刻T1,T2,…,Tf上受到AOV或IOV的影響時(shí)，則其模型如下式所示：

時(shí)序數(shù)據(jù)流的異常值蘊(yùn)含了豐富的信息，具有重要的應(yīng)用價(jià)值。系統(tǒng)的元部件在其生命周期的不同階段里，其表征著物理特征的時(shí)序數(shù)據(jù)流均有不同形式的差異變化。據(jù)此，我們有必要對(duì)式(3)中的異常值發(fā)生的時(shí)刻、種類及幅值進(jìn)行估計(jì)。

上世紀(jì)70年代，英國(guó)學(xué)者A.J.Fox率先對(duì)時(shí)序數(shù)據(jù)流的異常值問(wèn)題展開(kāi)了研究，但由于事物的動(dòng)態(tài)過(guò)程有著復(fù)雜的多樣性和相關(guān)性，故該領(lǐng)域一直以來(lái)并沒(méi)有取得重要的突破[6]。近年來(lái)，隨著現(xiàn)代信號(hào)處理技術(shù)的發(fā)展，時(shí)序數(shù)據(jù)流的異常值檢測(cè)領(lǐng)域逐步出現(xiàn)了一些可用的成果。例如，吳今培及其博士生們對(duì)時(shí)間序列的穩(wěn)健估計(jì)做了系統(tǒng)而深入的研究，并在自回歸滑動(dòng)平均模型 (Autoregressive and moving average model,ARMA)實(shí)現(xiàn)了一種有效的時(shí)序數(shù)據(jù)流異常值檢測(cè)算法[7-9]；George E.P.Box和GwilymM.Jenkins基于自回歸積分滑動(dòng)平均模型(Autoregressive integrated moving average model,ARIMA)的殘差統(tǒng)計(jì)量，提出了一種簡(jiǎn)便的異常值迭代檢測(cè)方法[10]。針對(duì)路燈時(shí)序數(shù)據(jù)流本身固有的特點(diǎn)，本研究擬在上述算法的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)一種更為高效的異常值檢測(cè)算法。

3 時(shí)序數(shù)據(jù)流異常值的改進(jìn)檢測(cè)算法

由于路燈時(shí)序數(shù)據(jù)流可看作某一均值與微弱隨機(jī)序列的疊加，于是，在去掉均值成分后，便可以在文獻(xiàn)[10]的基礎(chǔ)上，改用AR模型的殘差來(lái)定義統(tǒng)計(jì)量，進(jìn)而得到一種計(jì)算效能更為高效的魯棒迭代檢測(cè)算法。

3.1 時(shí)序數(shù)據(jù)流的均值處理

在數(shù)據(jù)的統(tǒng)計(jì)分析過(guò)程中，經(jīng)常需要使用一些統(tǒng)計(jì)量來(lái)表征某一要素樣本的數(shù)據(jù)分布特點(diǎn)，而均值是一個(gè)常用的重要統(tǒng)計(jì)量，可作為要素總體數(shù)學(xué)期望的有效估計(jì)。以路燈時(shí)序數(shù)據(jù)流為例，要素的數(shù)據(jù)隨時(shí)間的推移而不斷增加，據(jù)此，有必要以遞推方式來(lái)計(jì)算時(shí)序數(shù)據(jù)流的均值。

假定ω0,ω1,…,ωn所對(duì)應(yīng)的隨機(jī)變量為獨(dú)立的正態(tài)分布變量，且具有同一數(shù)學(xué)期望，則統(tǒng)計(jì)量為：

它服從自由度為n-1的t分布，其中指定相應(yīng)的顯著水平和自由度，查t分布表得到對(duì)應(yīng)的臨界值 ta，當(dāng) t＜ta，就接受原假設(shè)，認(rèn)為 ω0與其它資料無(wú)顯著差異；否則，就拒絕原假設(shè)，認(rèn)為ω0與其它資料有顯著差異。

于是，可以得到一種基于均值顯著性差異的時(shí)序數(shù)據(jù)流子序列劃分方法。首先，利用式(4)進(jìn)行時(shí)序數(shù)據(jù)流均值的遞推計(jì)算；然后，應(yīng)用式(5)對(duì)加入時(shí)序數(shù)據(jù)流前后的序列樣本的均值進(jìn)行顯著性判別，據(jù)此完成數(shù)段子時(shí)序數(shù)據(jù)流的劃分。

對(duì)劃分后的第j段時(shí)序子數(shù)據(jù)流ωj1,ωj2,…,ωjs進(jìn)行如下式所示的去均值處理：

3.2 AR模型的定階及參數(shù)估計(jì)

對(duì)于平穩(wěn)隨機(jī)序列而言，為了數(shù)學(xué)上處理的簡(jiǎn)便，通常都把某一時(shí)刻的數(shù)值寫(xiě)成以前各時(shí)期的線性組合，這種回歸模型能對(duì)實(shí)際情況進(jìn)行高精度的描述。用AR模型表示式(6)中的隨機(jī)序列，其數(shù)學(xué)形式是：

式中，p為任意正整數(shù)，稱為自回歸模型的階數(shù)；φ1,φ2,…,φp為自回歸參數(shù)。

求解式(7)中的自回歸模型，首要的問(wèn)題就是確定模型的階數(shù)p，然后再計(jì)算對(duì)應(yīng)的自回歸參數(shù)。目前，自回歸模型的定階問(wèn)題仍然沒(méi)有得到徹底的解決，不同的判別準(zhǔn)則將會(huì)產(chǎn)生不同的模型階數(shù)[11-13]；而參數(shù)估計(jì)方面，則出現(xiàn)了眾多成熟而高效的迭代求解算法[14]；為了提升現(xiàn)有的自回歸模型算法的計(jì)算效能及辨識(shí)精度，黃雄波通過(guò)對(duì)辨識(shí)序列自相關(guān)函數(shù)矩陣的秩的下界值進(jìn)行估計(jì)，并以該估計(jì)值為初值對(duì)系統(tǒng)進(jìn)行依次的遞階辨識(shí)，進(jìn)而得到了一種高效的自回歸模型魯棒求解算法[15]?？紤]到隨機(jī)序列中可能存在異常值(即是近似平穩(wěn)的)，這里，引入如下AR模型的工程求解方法。

式(8)中，φkk和rk分別為隨機(jī)序列的k階偏自相關(guān)系數(shù)和k階樣本自相關(guān)系數(shù)，而自相關(guān)系數(shù)rk則用下式所示的方法進(jìn)行估計(jì)：

3.3 異常值的迭代檢測(cè)算法

當(dāng)時(shí)序數(shù)據(jù)流在某些時(shí)刻上出現(xiàn)異常值時(shí)，其AR模型對(duì)應(yīng)的擬合位置也將出現(xiàn)較大的偏差，于是，對(duì)于每個(gè)時(shí)刻t=1,2,…,n而言，可以定義下式所示的兩個(gè)統(tǒng)計(jì)量：

綜上所述，可以設(shè)計(jì)如下的時(shí)序數(shù)據(jù)流異常值檢測(cè)的改進(jìn)算法：

算法名稱：時(shí)序數(shù)據(jù)流異常值檢測(cè)的改進(jìn)算法

輸入：含AOV和IOV的時(shí)序數(shù)據(jù)流wt

步驟1：利用式(4)遞推計(jì)算時(shí)序數(shù)據(jù)流wt的均值，同時(shí)根據(jù)式(5)定義的統(tǒng)計(jì)量將wt劃分為數(shù)段均值顯著性有差異的時(shí)序子數(shù)據(jù)流；

步驟2：利用式(6)對(duì)步驟1析出的各時(shí)序子數(shù)據(jù)流進(jìn)行去均值處理，并得到近似平穩(wěn)的隨機(jī)子序列

步驟3：利用式(8)、(9)對(duì)步驟2所得的隨機(jī)子序列進(jìn)行AR遞推建模，遞推結(jié)束條件為

步驟7：打印輸出計(jì)算結(jié)果并結(jié)束算法。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證上述改進(jìn)算法的有效性及先進(jìn)性，這里選取了兩組LED燈具的溫度時(shí)序數(shù)據(jù)流來(lái)進(jìn)行相關(guān)的異常值檢測(cè)。實(shí)驗(yàn)在PC機(jī)上進(jìn)行，其硬件配置為：

CPU：Intel酷睿i5 4570四核

RAM：Kingmax DDR3 16GB

硬盤(pán)：Samsung 850PRO SSD；操作系統(tǒng)與開(kāi)發(fā)環(huán)境為：

Microsoft Windows 10

Microsoft Visual Studio 2010集成開(kāi)發(fā)環(huán)境中的C++。

在實(shí)驗(yàn)過(guò)程中，著重從檢測(cè)精度和計(jì)算成本等技術(shù)指標(biāo)的方面與現(xiàn)有算法進(jìn)行對(duì)比，并就相關(guān)結(jié)果加以詳細(xì)的分析和討論。

實(shí)驗(yàn)樣本的選取如圖1、圖2所示。選取LED燈具外殼溫度時(shí)序數(shù)據(jù)流的正常工作、失效前兆共兩種狀態(tài)的樣本序列進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中需要對(duì)比的算法采用了文獻(xiàn)[7]算法、文獻(xiàn)[10]算法及本算法。

4.2 實(shí)驗(yàn)結(jié)果分析

各種算法對(duì)兩種實(shí)驗(yàn)樣本的異常值檢測(cè)結(jié)果如表1所示。

圖1 正常工作時(shí)序數(shù)據(jù)流實(shí)驗(yàn)樣本

圖2 失效前兆時(shí)序數(shù)據(jù)流實(shí)驗(yàn)樣本

從表1的檢測(cè)結(jié)果可知，對(duì)正常工作時(shí)的實(shí)驗(yàn)樣本而言，三種算法均得出一致的檢測(cè)結(jié)論：在時(shí)刻T1=11、T2=42處發(fā)現(xiàn)了AOV；所估算的異常值沖激幅值δ也處于同一水平級(jí)別，且文獻(xiàn)[10]算法與本算法的估算結(jié)果更為接近。而對(duì)失效前兆時(shí)的實(shí)驗(yàn)樣本而言，文獻(xiàn)[7]算法給出了5處AOV的檢測(cè)結(jié)論，所對(duì)應(yīng)的時(shí)刻分別為 T1=11、T2=14、T3=46、T4=65、T5=92；而文獻(xiàn)[10]算法與本算法則給出了這樣的檢測(cè)結(jié)論：在T1=14處發(fā)現(xiàn)的為IOV，而T2=46、T3=65、T4=92處發(fā)現(xiàn)的為AOV。

為了更為客觀地評(píng)價(jià)各種算法的檢測(cè)結(jié)果，這里以下式定義的模型殘差曲線作為依據(jù)，對(duì)上述檢測(cè)結(jié)論進(jìn)行討論和分析：

各種算法在兩種實(shí)驗(yàn)樣本中的模型殘差曲線如圖3、圖4所示。從圖中可以發(fā)現(xiàn)，對(duì)于圖1實(shí)驗(yàn)樣本而言，三種算法的模型殘差曲線處于同一水平的誤差范圍，這也是它們一致地在相同時(shí)刻發(fā)現(xiàn)異常值的原因；又由于文獻(xiàn)[10]算法與本算法均對(duì)實(shí)驗(yàn)樣本作了平穩(wěn)化處理，所以兩者估算的異常值沖激幅值δ較為接近。對(duì)于圖2的實(shí)驗(yàn)樣本而言，從模型殘差的角度觀察，文獻(xiàn)[7]算法結(jié)果遠(yuǎn)高于其它兩種算法，且文獻(xiàn)[10]算法結(jié)果又略高于本算法，據(jù)此，可以采納文獻(xiàn)[10]算法和本算法的檢測(cè)結(jié)論，即在T1=14處出現(xiàn)IOV，在T2=46、T3=65和T4=92處出現(xiàn)AOV；這些異常值的沖激幅值δ應(yīng)以本算法的估算結(jié)果更為可靠，即有 δ1=4.89、δ2=-5.31、δ3=3.85、δ4=-5.96。

表1 各算法異常值檢測(cè)結(jié)果對(duì)比

圖3 各算法對(duì)應(yīng)實(shí)驗(yàn)樣本模型殘差曲線（對(duì)應(yīng)圖1）

在實(shí)驗(yàn)過(guò)程中還發(fā)現(xiàn)，當(dāng)處理的時(shí)序數(shù)據(jù)流具有良好的平穩(wěn)性時(shí)，三種算法的檢測(cè)性能相近；然而，隨著時(shí)序數(shù)據(jù)流的平穩(wěn)性變差，這些算法卻有著不同的魯棒檢測(cè)性能。以圖2的實(shí)驗(yàn)樣本為例，由于LED燈具失效前兆的溫度時(shí)序數(shù)據(jù)流具有強(qiáng)烈的不平穩(wěn)性，從表1和圖4易知：文獻(xiàn)[7]算法的檢測(cè)性能表現(xiàn)最差，分別在T1=11,T1=14處出現(xiàn)虛報(bào)（把狀態(tài)切換點(diǎn)錯(cuò)判為AOV）和誤報(bào)（把IOV檢測(cè)為AOV）；而文獻(xiàn)[10]算法與本算法的檢測(cè)性能則具有一定的魯棒性，且本算法表現(xiàn)得更為強(qiáng)壯。事實(shí)上，文獻(xiàn)[7]算法由于直接在非平穩(wěn)數(shù)據(jù)流應(yīng)用ARMA模型進(jìn)行建模，從而導(dǎo)致了建模殘差增大，相應(yīng)地，其檢測(cè)性能也迅速變壞；文獻(xiàn)[10]算法的差分機(jī)制及本算法的去均值處理，使得時(shí)序建模能在近似的平穩(wěn)隨機(jī)序列中進(jìn)行，進(jìn)而保障了它們的檢測(cè)性能具有魯棒性。

圖4 各算法對(duì)應(yīng)實(shí)驗(yàn)樣本模型殘差曲線（對(duì)應(yīng)圖2）

應(yīng)該指出，本算法是根據(jù)均值顯著性的差異，把圖2的實(shí)驗(yàn)樣本劃分為ω1t=[1,11]、ω2t=[12,40]、ω3t=[41,82]、ω4t=[83,100]共四段子數(shù)據(jù)流，這些子數(shù)據(jù)流的均值分別為，異常值檢測(cè)分別在四個(gè)子數(shù)據(jù)流獨(dú)立進(jìn)行。由于分段后的子數(shù)據(jù)流具有更好的平穩(wěn)性，據(jù)此，本算法的建模精度能進(jìn)一步得以提升。

各種算法的計(jì)算耗時(shí)如表2所示，其中，本算法所花費(fèi)的計(jì)算耗時(shí)略小于文獻(xiàn)[7]算法和文獻(xiàn)[10]算法。由于文獻(xiàn)[7]與文獻(xiàn)[10]的異常值檢測(cè)算法均基于ARMA模型，且ARMA模型的參數(shù)估計(jì)又需要求解高階非線性方程組，需要花費(fèi)相當(dāng)?shù)挠?jì)算耗時(shí);又由于文獻(xiàn)[10]算法還需要進(jìn)行差分預(yù)平穩(wěn)處理，故它比文獻(xiàn)[7]算法花費(fèi)了更多的計(jì)算成本。與上述算法不同的是，本算法的檢測(cè)模型替換為AR模型，由于AR模型的求解有成熟的遞推算法，故此節(jié)省了一定的計(jì)算成本，事實(shí)上，本算法時(shí)間主要是在消耗在均值顯著性判別、分段劃分及去均值等處理上。

表2 各算法計(jì)算耗時(shí)對(duì)比 單位：ms

從如上分析可知，本算法較現(xiàn)有的異常值檢測(cè)算法而言，在不增加計(jì)算成本的同時(shí)其檢測(cè)精度及算法魯棒性均有了一定的提升。據(jù)此，本算法是正確和有效的。

5 結(jié)束語(yǔ)

針對(duì)路燈時(shí)序數(shù)據(jù)流具有均值緩變的特點(diǎn)，提出了一種基于均值顯著性的異常值分段檢測(cè)算法，從實(shí)驗(yàn)得知，該改進(jìn)算法在沒(méi)有增加計(jì)算成本的情況下，其檢測(cè)精度及算法的魯棒性得以提升。在本研究的基礎(chǔ)上，還有待做出進(jìn)一步的工作，針對(duì)形式多樣的高度非線性和非平穩(wěn)的時(shí)序數(shù)據(jù)流，研究更為有效的線性化及預(yù)平穩(wěn)處理機(jī)制，同時(shí)，將已有的異常值檢測(cè)算法應(yīng)用至?xí)r序數(shù)據(jù)流的壓縮，以便進(jìn)一步提升算法的應(yīng)用效能。