數(shù)據(jù)驅(qū)動的異常檢測與預(yù)警問題

闞志豪 牟子豪 吳杰權(quán)

(南京工程學(xué)院電力工程學(xué)院，江蘇 南京 211167)

1 概述

生產(chǎn)風(fēng)險是指企業(yè)在原材料、設(shè)備、技術(shù)人員、生產(chǎn)工藝及生產(chǎn)組織等方面存在難以預(yù)料的障礙。生產(chǎn)風(fēng)險會引起企業(yè)生產(chǎn)無法按預(yù)定成本完成生產(chǎn)計劃。推動生產(chǎn)企業(yè)高質(zhì)量發(fā)展，最根本的底線是保證安全、防范風(fēng)險，而生產(chǎn)過程中產(chǎn)生的數(shù)據(jù)能夠?qū)崟r反映潛在的風(fēng)險。

2 模型建立

2.1 數(shù)據(jù)預(yù)處理

隨著外界因素的變動會對數(shù)據(jù)產(chǎn)生影響進而形成波動指標(biāo)。因此采用SPSS 統(tǒng)計軟件來繪制箱線圖，從中找到并剔除基本保持不變的指標(biāo)數(shù)據(jù)。中位數(shù)mi(0＜i＜5520，i∈Z)：將每一列指標(biāo)按從小到大的順序排列，取中間值。上四分位數(shù)Qu：將指標(biāo)序列平均分成四份，則：

箱線圖最大的優(yōu)點就是不受異常值的影響，可以用一種相對穩(wěn)定的方式來描述數(shù)據(jù)的離散分布情況。通過觀察箱線圖，可以初步剔除2 號、7 號、35 號傳感器等共計28 個離群值近乎為0 的無波動指標(biāo)。

2.2 風(fēng)險性異常數(shù)據(jù)異常程度的量化與評價

將這些含有波動數(shù)據(jù)的指標(biāo)歸一化處理，繼續(xù)分析其數(shù)據(jù)的異常程度。最終希望得到的風(fēng)險性異常數(shù)據(jù)必須同時具有持續(xù)性與關(guān)聯(lián)性的特點。基于風(fēng)險性異常數(shù)據(jù)的特性，先研究指標(biāo)的連續(xù)性。通過在EXCEL 表格中繪制每組數(shù)據(jù)相應(yīng)的散點圖進行回歸分析，可以得到四種散點分布。

通過波動數(shù)據(jù)連續(xù)性的檢驗，得到了異常數(shù)據(jù)滿足持續(xù)性條件的12 組指標(biāo)。將這12 組指標(biāo)提取出來，繼續(xù)使用SPSS 得出皮爾遜相關(guān)系數(shù)，進行相關(guān)性分析，以此檢驗聯(lián)動性。得到了六組風(fēng)險性異常數(shù)據(jù)。通過使用Python 進行編程計算分析，可以得到每組數(shù)據(jù)具體的風(fēng)險異常點，進而可以求得其異常程度評分。

2.3 基于層次分析法的各時刻數(shù)據(jù)異常程度評價方法

通過層次分析法來求取這六組指標(biāo)對每個時刻數(shù)據(jù)異常程度的權(quán)重，然后再對這六組數(shù)據(jù)進行加權(quán)求和處理，經(jīng)過百分制換算之后就可以得到想要的每個時刻數(shù)據(jù)異常程度得分情況。

為了建立合理有效的判斷矩陣，必須最大程度減小主觀因素帶來的偏差，先行使用SPSS 提供的因子分析法對數(shù)據(jù)進行處理。將六組數(shù)據(jù)全部導(dǎo)入到SPSS 中，可以得到其各自的公因子方差。公因子方差的值越大，表示變量能被因子說明的程度越高。

表1 風(fēng)險性異常數(shù)據(jù)異常程度的量化

表2 公因子方差

通過提取、比較六組數(shù)據(jù)的公因子方差值可以更加客觀、合理地建立判斷矩陣M：

將判斷矩陣應(yīng)用于層次分析法中，通過Matlab 得出指標(biāo)各自對數(shù)據(jù)異常程度的權(quán)重。對這六組數(shù)據(jù)進行加權(quán)求和，可以得到每個時刻數(shù)據(jù)異常程度的得分，這些數(shù)據(jù)的范圍大致在0.090601-0.838859 之間，將所得數(shù)值全部乘以110，即可實現(xiàn)百分制。找出數(shù)據(jù)異常程度得分最高的五個時刻，求出這個五個時刻所對應(yīng)的六個指標(biāo)各自的加權(quán)值，前五名就是該時刻所對應(yīng)的異常程度最高的五個指標(biāo)編號。

2.4 基于熵權(quán)法的模型檢驗

通過熵權(quán)法求出六個指標(biāo)對每個時刻數(shù)據(jù)異常程度的權(quán)重，再次進行上述加權(quán)求和的操作，得出此時分值最高的五個時刻和他們對應(yīng)的數(shù)據(jù)異常程度得分，再與層次分析法所得結(jié)果進行對比檢驗?；陟貦?quán)法的各時刻數(shù)據(jù)異常程度評價模型的建立

(1)計算標(biāo)準(zhǔn)值aij的比重Eij，其中：

至此，基于熵權(quán)法的各時刻數(shù)據(jù)異常程度評價模型建立完畢。

2.5 基于熵權(quán)法的各時刻數(shù)據(jù)異常程度評價模型的求解

利用Matlab 對熵權(quán)編程計算，得到六個指標(biāo)對數(shù)據(jù)異常程度的權(quán)重。再次進行加權(quán)求和的操作，得出此時分值最高的五個時刻和他們對應(yīng)的數(shù)據(jù)異常程度得分。然后將熵權(quán)法和層次分析法求出的前五次異常值得分進行對比，繪制出二者各自的散點圖。從圖的散點分布來看，熵權(quán)法與層次分析法所得結(jié)果非常接近，可以互相印證。

圖1 熵權(quán)法和層次分析法求前五次異常值分數(shù)對比

圖中紅色菱形的散點為層次分析法所得，藍色三角形的散點為熵權(quán)法所得。

3 結(jié)論

通過繪制箱型圖、散點圖來分析大量數(shù)據(jù)的離散與連續(xù)情況，數(shù)形結(jié)合，十分清晰地反映出了數(shù)據(jù)的整體特性。此外，利用SPSS 相關(guān)性分析判斷數(shù)據(jù)間的聯(lián)動性，使得判斷結(jié)果更加精確合理。而后首先利用算法將風(fēng)險性異常數(shù)據(jù)異常程度量化處理，再通過層次分析法，利用判斷矩陣求取各項指標(biāo)對數(shù)據(jù)異常程度的權(quán)重，然后將六組數(shù)據(jù)加權(quán)求和，就可以得到每個時刻數(shù)據(jù)異常程度的得分。

本文的所建立的模型不能很好的體現(xiàn)各個指標(biāo)的交互作用，如果能夠?qū)χ笜?biāo)進行進一步的進行因子分析，結(jié)果將更具可靠性。本文所建立的評價模型精準(zhǔn)實用，可以做到分析大量未知數(shù)據(jù)的離散程度和重要程度，并以此來給出生產(chǎn)過程中潛在的風(fēng)險。結(jié)果準(zhǔn)確可靠，為企業(yè)生產(chǎn)提供了一定的參考作用。