云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究

黃富平，梁卓浪，邢英俊，楊春麗

(廣州珠江職業(yè)技術(shù)學(xué)院 信息技術(shù)學(xué)院，廣州 511300)

云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究

黃富平，梁卓浪，邢英俊，楊春麗

(廣州珠江職業(yè)技術(shù)學(xué)院 信息技術(shù)學(xué)院，廣州 511300)

近年來，隨著我國互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展與大規(guī)模網(wǎng)絡(luò)運算平臺研究的深入，云平臺下的數(shù)據(jù)處理已成為大規(guī)模數(shù)據(jù)的主要處理方式；但是，現(xiàn)有的云計算Hadoop平臺在海量數(shù)據(jù)異常涌入狀態(tài)下，常常出現(xiàn)數(shù)據(jù)邏輯錯誤、數(shù)據(jù)鏈完整性缺失、數(shù)據(jù)失效的問題，造成無法對上述異常數(shù)據(jù)進行有效檢測處理，嚴(yán)重影響云計算Hadoop平臺的數(shù)據(jù)運算準(zhǔn)確性；針對上述問題，提出云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法；采用JNS數(shù)據(jù)采集篩查模組、算法邏輯補償模組與動態(tài)反饋模組對現(xiàn)有的云端計算平臺存在的問題進行針對性解決；通過仿真模擬實驗證明，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法，具有異常數(shù)據(jù)識別率高，準(zhǔn)確性高，速度快、可實施性強、穩(wěn)定性好的特點。

云計算；大數(shù)據(jù)；異常數(shù)據(jù)；Hadoop平臺

0 引言

近年來 ，隨著我國互聯(lián)網(wǎng)技術(shù)與建設(shè)的飛速發(fā)展，網(wǎng)絡(luò)已成為經(jīng)濟建設(shè)過程中必不可少的組成部分。實物數(shù)據(jù)化運算技術(shù)的誕生，標(biāo)志著大數(shù)據(jù)時代的到來。在大數(shù)據(jù)時代下，多種數(shù)據(jù)的海量處理分析運算，將依托強大的網(wǎng)絡(luò)傳輸能力與多架構(gòu)的云計算Hadoop平臺來完成。眾多數(shù)據(jù)在云計算過程中，經(jīng)常出現(xiàn)數(shù)據(jù)異常的狀況[1-2]。因此，快速有效的檢測出這些異常數(shù)據(jù)，成為提升云計算Hadoop平臺運算力的重中之重。

現(xiàn)有的云平臺異常數(shù)據(jù)檢測機制所采用的邏輯算法，在海量數(shù)據(jù)流共涌狀態(tài)[3]下，數(shù)據(jù)鏈會發(fā)生邏輯性斷裂[4]，導(dǎo)致數(shù)據(jù)攜帶信息源改變[5]，整體數(shù)據(jù)組完整性遭到破壞，致使云計算邏輯出現(xiàn)異常、運算力降低、空間數(shù)據(jù)滯留[6]，前端服務(wù)器數(shù)據(jù)溢出的嚴(yán)重后果。針對上述問題，對現(xiàn)有的異常數(shù)據(jù)檢測邏輯進行改進，提出云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法。利用Hadoop平臺作為異常數(shù)據(jù)檢測組的運行平臺，采用JNS數(shù)據(jù)采集篩查模組對前端服務(wù)器交互過程中的數(shù)據(jù)進行數(shù)據(jù)異常預(yù)檢處理，自動屏蔽外圍異常數(shù)據(jù)，提升數(shù)據(jù)有效性；通過算法邏補償模組對云端計算引擎進行動態(tài)監(jiān)測算法植入處理，達到實時屏蔽異常數(shù)據(jù)與數(shù)據(jù)補償?shù)男Ч蛔詈?，利用動態(tài)反饋模組對運算后輸出結(jié)果數(shù)據(jù)進行數(shù)據(jù)異常檢測，對隱性異常數(shù)據(jù)進行深度檢測，快速反饋結(jié)果并對其進行輸出攔截，保證運算輸出結(jié)果的準(zhǔn)確性。

通過仿真實驗證明，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法，具有異常數(shù)據(jù)識別率高，準(zhǔn)確性高，速度快、可實施性強、穩(wěn)定性好的特點。滿足設(shè)計研究改進要求。

1 云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究

1.1 JNS數(shù)據(jù)采集篩查模組構(gòu)建

大數(shù)據(jù)運算空間內(nèi)，云端計算平臺負責(zé)海量數(shù)據(jù)的綜合性運算分析處理，云端計算平臺的架構(gòu)性質(zhì)決定其運算能力的大小與適應(yīng)性的強弱。近年來，Hadoop平臺成為云計算Hadoop平臺中的主流運算架構(gòu)，其具有分布式運算方式，大大降低的平臺對硬件的要求，同時可以快速對運算數(shù)據(jù)進行外圍數(shù)據(jù)的特征分析處理，大大提升力云端計算平臺的處理能力[7]。

但是，分布式運算方式存在的數(shù)據(jù)檢測性低的問題，導(dǎo)致海量數(shù)據(jù)沖擊前端服務(wù)器狀態(tài)下，架構(gòu)穩(wěn)定性降低，云端運算力受到影響。針對Hadoop平臺的分布式運算特點，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法中對前端數(shù)據(jù)采集服務(wù)器進行針對性改進設(shè)計，采用構(gòu)建JNS數(shù)據(jù)采集篩查模組，針對性解決前端數(shù)據(jù)采集服務(wù)器在數(shù)據(jù)共涌沖擊下出現(xiàn)的架構(gòu)穩(wěn)定降低所帶來的一系列問題。

JNS數(shù)據(jù)采集篩查模組在設(shè)計上，針對云計算Hadoop平臺的分布式特點，采用分段邏輯式形式編寫，利用分段式運算邏輯式對前端服務(wù)器的數(shù)據(jù)交互采集訪問端口、訪問協(xié)議、數(shù)據(jù)流進行針對性改進，通過JVSP端口控制算法對訪問端口進行全天候?qū)崟r掃描，到達異常數(shù)據(jù)快速反饋的目的，通過分段式中的邏輯組式，動態(tài)激活NDWF訪問協(xié)議控制式，對訪問協(xié)議進行動態(tài)檢測捕捉，捕捉到異常數(shù)據(jù)反饋鏈后，自行對協(xié)議進行相應(yīng)異常數(shù)值參數(shù)調(diào)整，同時激活SBDN數(shù)據(jù)流平檢算法，對服務(wù)器內(nèi)的數(shù)據(jù)流進行外核數(shù)據(jù)特征化異常檢測，利用Hadoop平臺的分布式特點，達到瞬態(tài)完成檢測的目的?？焖?、準(zhǔn)確的屏蔽前端服務(wù)器內(nèi)的特征異常數(shù)據(jù)。

JNS數(shù)據(jù)采集篩查模組中的JVSP端口控制算法、NDWF訪問協(xié)議控制式、SBDN數(shù)據(jù)流平檢算法與邏輯組式的具體分段式如下所示。

JVSP端口控制算法關(guān)系式：

(1)

JVSP端口控制算法關(guān)系式中，a為訪問節(jié)點集合公用端口系數(shù)；b為訪問節(jié)點專用端口系數(shù)；n為公用端口地址集；i為專用端口地址集；s為共用端口映射數(shù)量；?為有效端口數(shù)；x抑制端口數(shù)；x′為可控的抑制端口數(shù)，其滿足x′∈x,x≠0。

NDWF訪問協(xié)議控制式關(guān)系式：

(2)

NDWF訪問協(xié)議控制式關(guān)系式中，v為訪問協(xié)議邏輯暢通等級系數(shù)；y為訪問協(xié)議中起始地址數(shù)；z為訪問協(xié)議中終止地址數(shù)，其滿足z-y≠0,z>y,z≠y。關(guān)系式中，協(xié)議段范圍由前端采集服務(wù)器子掩碼范圍決定，子掩碼范圍由z-y≠0,z>y,z≠y限制得出。

SBDN數(shù)據(jù)流平檢算法關(guān)系式：

(3)

SBDN數(shù)據(jù)流平檢算法關(guān)系式中，a、b、c、n為數(shù)據(jù)流內(nèi)部數(shù)據(jù)的不同數(shù)據(jù)核；i為數(shù)據(jù)流特征化數(shù)據(jù)源集合，其滿足i∈a∈b∈c∈n,a≠b≠c≠n≠0。

邏輯組式關(guān)系式：

(4)

邏輯組式關(guān)系式中，各算法之間在滿足自身限制條件的前提下，還應(yīng)滿足s|m|?s|L|?m|t|，在不影像子掩碼范圍區(qū)域的前提下，滿足s|m|≠s|L|≠m|t|。

通過上述算法的建立，完成云計算Hadoop平臺下的JNS數(shù)據(jù)采集篩查模組構(gòu)建，初步解決由異常數(shù)據(jù)沖擊前端服務(wù)器導(dǎo)致的架構(gòu)穩(wěn)定性降低，云端運算力滯后的問題。

為了驗證JNS數(shù)據(jù)采集篩查模組在現(xiàn)實環(huán)境下的運行效果，采用仿真模擬實驗對JNS數(shù)據(jù)采集篩查模組進行測試，才是采用數(shù)據(jù)對比方式，對傳統(tǒng)算法與JNS數(shù)據(jù)采集篩查模組進行不間斷24小時測試，隨機抽取1小時、4小時、6小時、10小時、16小時、18小時、23小時的各項測試數(shù)據(jù)進行對比，并做出結(jié)論，具體測試數(shù)據(jù)如下表所示。

表1 JNS數(shù)據(jù)采集篩查模組前端服務(wù)器異常數(shù)據(jù)檢測性能測試表

表2 傳統(tǒng)算法前端服務(wù)器異常數(shù)據(jù)檢測性能測試

通過上述表1與表2的測試數(shù)據(jù)對比，可以清晰地看出，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法中的JNS數(shù)據(jù)采集篩查模組具各項性能指標(biāo)遠遠優(yōu)于傳統(tǒng)算法，充分證明JNS數(shù)據(jù)采集篩查模組具有良好的前端服務(wù)器異常數(shù)據(jù)預(yù)檢能力，為后續(xù)的算法邏補償模組的進一步處理奠定了基礎(chǔ)。

1.2 算法邏輯補償模組構(gòu)建

云計算Hadoop平臺中核心云算部分在于網(wǎng)絡(luò)云端架構(gòu)內(nèi)部的運算邏輯，內(nèi)部邏輯組的架構(gòu)組數(shù)輻射范圍的大小，決定了云計算能力與適應(yīng)力的大小?，F(xiàn)有的云端計算邏輯架構(gòu)由于與內(nèi)部邏輯鏈架構(gòu)嚴(yán)謹(jǐn)性欠佳，多次序數(shù)據(jù)核沖突狀態(tài)下極易造成邏輯次序混亂，運算力降低甚至出現(xiàn)計算錯誤的嚴(yán)重問題。通過對現(xiàn)有架構(gòu)內(nèi)部的分布式計算邏輯的分析發(fā)現(xiàn)，雙次序化整編邏輯序列能夠有效解決現(xiàn)有的云端計算架構(gòu)邏輯存在的問題。為此，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法中采用算法邏輯補償模組對云端計算架構(gòu)內(nèi)部的邏輯錯誤進行修正。

算法邏輯補償模組通過分布式計算方式，利用邏輯序列替換方式，通過內(nèi)部的NDS數(shù)據(jù)序列異常檢測算法、NWI邏輯特征定位算法與BUD邏輯補償算法對云端計算架構(gòu)內(nèi)部邏輯架構(gòu)進行異常數(shù)據(jù)檢測。同時，通過邏輯補償達到保證云端計算力與計算準(zhǔn)確性的的目的。

1.2.1 NDS數(shù)據(jù)序列異常檢測算法

NDS數(shù)據(jù)序列異常檢測算法是算法邏輯補償模組中的初級檢測性算法，基于JNS數(shù)據(jù)采集篩查模組運算處理架構(gòu)設(shè)計。用于云端計算架構(gòu)內(nèi)部邏輯架構(gòu)中的錯誤查源處理，由JNS數(shù)據(jù)采集篩查模組反饋數(shù)據(jù)表觸發(fā)激活，對云端架構(gòu)中的邏輯架構(gòu)序列正確性進行次序集運算，當(dāng)邏輯架構(gòu)中某一次序陣攜帶的數(shù)據(jù)源為異常數(shù)據(jù)時，邏輯架構(gòu)的排列次序會受到影響而改變原始邏輯排列次序，致使邏輯序陣錯位，NDS數(shù)據(jù)序列異常檢測算法能夠快速識別錯誤序陣，精準(zhǔn)回查定位異常數(shù)據(jù)進行鎖定，完成異常查源處理。

NDS數(shù)據(jù)序列異常檢測算法關(guān)系表達式采用Hadoop平臺內(nèi)核架構(gòu)進行編寫，保證算法對平臺的兼容性，同時，便于算法運行過程中獲得所需運行權(quán)限，算法關(guān)系式如下所示。

(5)

NDS數(shù)據(jù)序列異常檢測算法關(guān)系表達中，a,b,c,d為云端架構(gòu)中的邏輯架構(gòu)內(nèi)部次序陣，其排列順序由邏輯架構(gòu)決定，受對應(yīng)數(shù)據(jù)性質(zhì)影響，且滿足a≠b≠c≠d；當(dāng)a,b,c,d中任意一值為0時，則代表邏輯架構(gòu)出現(xiàn)斷裂，云計算準(zhǔn)確性失常；n為回查定位的異常數(shù)據(jù)代碼值，n為任意數(shù)值，當(dāng)n=0時，代表邏輯架構(gòu)次序無異常。

對NDS數(shù)據(jù)序列異常檢測算法可行性進行仿真測試，采用連續(xù)性異常檢測驗證方式，對傳統(tǒng)算法與NDS數(shù)據(jù)序列異常檢測算法的異常數(shù)據(jù)定位性能進行對比，為了直觀展現(xiàn)測試結(jié)構(gòu)，測試將結(jié)果轉(zhuǎn)換為曲線圖進行對比，具體數(shù)據(jù)如圖1所示。

圖1 傳統(tǒng)算法與NDS數(shù)據(jù)序列異常檢測算法的異常數(shù)據(jù)定位性能進行對比

通過上述測試結(jié)果曲線對比可以充分證明，NDS數(shù)據(jù)序列異常檢測算法具有良好異常序列識別能力，同時，能夠快速準(zhǔn)確的追蹤定位異常數(shù)據(jù)源，并對其定位，滿足設(shè)計改進要求，具有可行性、可操作性。

1.2.2 NWI邏輯特征定位算法

NWI邏輯特征定位算法為NDS數(shù)據(jù)序列異常檢測算法的定位輔助算法，用于對異常序列進行特征化分析運算，輔助定位異常數(shù)據(jù)源路徑。通過算法對等性原則，利用分布式運算框架設(shè)計編寫，列于NDS數(shù)據(jù)序列異常檢測算法內(nèi)核的二級菜單，通過算法邏輯自行觸發(fā)調(diào)用。NWI邏輯特征定位算法不具備獨立運行能力，通過對其進行二級權(quán)限設(shè)定，使其安全性大大提升，避免運行過程中受到?jīng)_擊數(shù)據(jù)與錯誤邏輯影響，導(dǎo)致的異常數(shù)據(jù)定位執(zhí)行異常的問題。NWI邏輯特征定位算法的執(zhí)行權(quán)限可直接通過NDS數(shù)據(jù)序列異常檢測算法獲取權(quán)限下放方式獲得，提升權(quán)限獲取的穩(wěn)定性。

NWI邏輯特征定位算法根據(jù)算法對等性原則，采用觸發(fā)式形式，達到與NDS數(shù)據(jù)序列異常檢測算法內(nèi)核執(zhí)行性的統(tǒng)一，具體關(guān)系式如下所示。

(6)

NWI邏輯特征定位算法關(guān)系式中，x為異常邏輯架構(gòu)內(nèi)部的錯誤序列集合；a,b,c,d為云端架構(gòu)中的邏輯架構(gòu)內(nèi)部次序陣，其排列順序由邏輯架構(gòu)決定，受對應(yīng)數(shù)據(jù)性質(zhì)影響，且滿足a≠b≠c≠d，a?b?c?d∈x；當(dāng)a,b,c,d中任意一值為0時，則代表邏輯架構(gòu)出現(xiàn)斷裂，云計算準(zhǔn)確性失常；n為回查定位的異常數(shù)據(jù)代碼值，n為任意數(shù)值，且滿足x?n，當(dāng)n=0時，代表邏輯架構(gòu)次序無異常。

對NWI邏輯特征定位算法進行異常數(shù)據(jù)回查定位準(zhǔn)確性仿真測試，測試采用15組異常邏輯架構(gòu)進行測試，每組異常邏輯對應(yīng)異常數(shù)據(jù)數(shù)量為1 000 000 kb，對比傳統(tǒng)算法與NWI邏輯特征定位算法15組測試數(shù)據(jù)的準(zhǔn)確率，具體測試參數(shù)如下表所示。

表3 傳統(tǒng)算法與NWI邏輯特征定位算法異常數(shù)據(jù)回查定位準(zhǔn)確性測試

通過上述表3數(shù)據(jù)可以證明NWI邏輯特征定位算法具有良好的異常數(shù)據(jù)定位能力，異常數(shù)據(jù)運算分析處理準(zhǔn)確性高、穩(wěn)定性好，整體性能明顯優(yōu)于傳統(tǒng)算法，滿足設(shè)計要求。

1.2.3 BUD邏輯補償算法

算法邏輯補償模組中針對云計算架構(gòu)內(nèi)部邏輯架構(gòu)在異常數(shù)據(jù)沖擊下產(chǎn)生的邏輯架構(gòu)斷裂，致使云計算架構(gòu)運算力降低以及癱瘓的問題，采用BUD邏輯補償算法進行針對性解決。BUD邏輯補償算法可對遭到破壞的邏輯架構(gòu)進行斷裂邏輯鏈補償處理，通過對邏輯架構(gòu)內(nèi)的次序陣的特征進行運算處理，還原斷裂邏輯鏈位置的次序陣，達到抑制異常數(shù)據(jù)沖擊造成的運算邏輯混亂問題。

為了達到實時瞬態(tài)補償效果，BUD邏輯補償算法采用觸發(fā)式關(guān)聯(lián)補償式的雙重關(guān)系式的方式進行編寫。觸發(fā)式作為引導(dǎo)主體與NWI邏輯特征定位算法進行內(nèi)部進程注入綁定，到達異常數(shù)據(jù)定位的同時，完成邏輯斷裂位置的補償引導(dǎo)運算處理，第一時間抵消數(shù)據(jù)滯留帶來的問題。BUD邏輯補償算法觸發(fā)式關(guān)系式如下所示。

(7)

BUD邏輯補償算法觸發(fā)式關(guān)系式中，a′,b′,c′,d′為云計算架構(gòu)內(nèi)部邏輯架構(gòu)斷裂位置的次序陣，其滿足以下條件，a′≠b′≠c′≠d′，a′?b′?c′?d′，當(dāng)a′,b′,c′,d′中任意一值為0時，則代表邏輯架構(gòu)完整，無異常數(shù)據(jù)出現(xiàn)；關(guān)系式中n為引導(dǎo)次序陣特征補償集合；T為觸發(fā)激活系數(shù)值。

BUD邏輯補償算法補償式關(guān)系式如下所示。

(8)

BUD邏輯補償算法補償式關(guān)系式中，a,b,c,d為云端架構(gòu)中的邏輯架構(gòu)內(nèi)部所需補償次序陣，其補償順序由異常數(shù)據(jù)對應(yīng)邏輯順序決定，受對應(yīng)數(shù)據(jù)性質(zhì)影響，且滿足a≠b≠c≠d。

對BUD邏輯補償算法進行仿真實驗測試，測試采用對比方式，通過對傳統(tǒng)算法與BUD邏輯補償算法在異常數(shù)據(jù)檢測過程中的邏輯補償效果進行對比，具體仿真實驗測試參數(shù)如表4所示。

表4 傳統(tǒng)算法與BUD邏輯補償算法異常數(shù)據(jù)檢測過程中邏輯補償效果測試參數(shù)

通過上述表4結(jié)果對比可以證明，BUD邏輯補償算法在異常數(shù)據(jù)檢測過程中，針對云計算架構(gòu)內(nèi)部邏輯架構(gòu)斷裂的補償處理，具有響應(yīng)時間快、處理迅速、補償準(zhǔn)確性高、穩(wěn)定性好的特點，滿足設(shè)計要求。至此，算法邏輯補償模組構(gòu)建完畢。

1.3 動態(tài)反饋模組構(gòu)建

針對傳統(tǒng)云計算Hadoop平臺存在的異常數(shù)據(jù)檢測完成度與準(zhǔn)確度不高的問題，通過對傳統(tǒng)云計算Hadoop平臺內(nèi)部架構(gòu)邏輯機制分析發(fā)現(xiàn)，傳統(tǒng)云計算Hadoop平臺對異常數(shù)據(jù)檢測機制缺少計算異常核準(zhǔn)模組，致使處于隱性異常數(shù)據(jù)逃避檢測，導(dǎo)致最終計算數(shù)據(jù)處理誤差，云計算Hadoop平臺的整體計算準(zhǔn)確率驟降。

針對上述問題，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法中采用動態(tài)反饋模組進行針對性解決。動態(tài)反饋模組由DGX動態(tài)檢測算法與GRS數(shù)據(jù)反饋算法構(gòu)成，分別負責(zé)云計算Hadoop平臺計算數(shù)據(jù)結(jié)果數(shù)據(jù)狀態(tài)與異常結(jié)果數(shù)據(jù)的反饋處理。

DGX動態(tài)檢測算法與云計算Hadoop平臺計算輸出進程進行綁定，與云計算Hadoop平臺共享運行權(quán)限的同時有效節(jié)省平臺運行的資源開銷。DGX動態(tài)檢測算法關(guān)系式如下所示。

(9)

式中，x,y,z為云計算結(jié)果數(shù)據(jù)序列結(jié)合組數(shù)；n,i分別為異常數(shù)據(jù)數(shù)量與異常數(shù)據(jù)特征數(shù)；其中，x,y,z與n,i滿足x≠y≠z，i∈n,n≠i。

GRS數(shù)據(jù)反饋算法關(guān)系式如下所示。

(10)

至此動態(tài)反饋模組構(gòu)建完畢，為了保證動態(tài)反饋模組具有可行性，對其進行仿真模擬測試。測試采用全天候24小時連續(xù)性測試方案，提取每小時的測試數(shù)據(jù)，觀察數(shù)據(jù)變化趨勢，以此得出動態(tài)反饋模組運行穩(wěn)定性與可行性，具體測試參數(shù)如下所示。

表5 動態(tài)反饋模組性能測試

通過上述表5可以看出，動態(tài)反饋模組在連續(xù)性測試中數(shù)據(jù)變化浮動小，充分證明提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法中，采用的動態(tài)反饋模組具有良好的異常數(shù)據(jù)檢測能力，同時運行資源開銷小，穩(wěn)定性好，滿足設(shè)計要求。

2 實驗結(jié)果與分析

對提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法進行仿真實驗測試，通過與傳統(tǒng)云計算平臺異常數(shù)據(jù)檢測算法進行整體性能對比，得出測試結(jié)論，測試平臺配置為Windows 10 硬件配置為CPU i7 內(nèi)存8 G 硬盤6 TB，具體測試參數(shù)如下所示。

表6 云計算Hadoop平臺的異常數(shù)據(jù)檢測算法與傳統(tǒng)異常數(shù)據(jù)檢測算法對比測試

分析該實驗結(jié)果，即通過上述表6可以充分證明，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法，具有異常數(shù)據(jù)檢測識別度高、檢測響應(yīng)時間短、檢測準(zhǔn)確率高、穩(wěn)定性好、資源開銷小的特點。從問題產(chǎn)生根源徹底解決傳統(tǒng)云計算平臺存在的數(shù)據(jù)邏輯錯誤、數(shù)據(jù)鏈完整性缺失、數(shù)據(jù)失效導(dǎo)致的云計算Hadoop平臺數(shù)據(jù)運算準(zhǔn)確性與運算力降低的問題。

3 結(jié)束語

針對傳統(tǒng)云計算平臺異常數(shù)據(jù)檢測算法在海量數(shù)據(jù)異常涌入狀態(tài)下，出現(xiàn)數(shù)據(jù)邏輯錯誤、數(shù)據(jù)鏈完整性缺失、數(shù)據(jù)失效的問題，提出云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法。通過采用JNS數(shù)據(jù)采集篩查模組、算法邏輯補償模組與動態(tài)反饋模組對現(xiàn)有的云端計算平臺存在的問題進行針對性解決。通過仿真模擬實驗證明，提出的云計算Hadoop平臺的異常數(shù)據(jù)檢測算法研究方法，具有異常數(shù)據(jù)識別率高，準(zhǔn)確性高，速度快、可實施性強、穩(wěn)定性好的特點，滿足日常工作處理要求。

[1]李進文.基于云計算的網(wǎng)絡(luò)異常檢測算法研究[D].鄭州：鄭州大學(xué),2015.

[2]司福明,卜天然,SIFuming,等.一種基于Hadoop云計算平臺大數(shù)據(jù)聚類算法設(shè)計[J].楚雄師范學(xué)院學(xué)報,2016,31(3):9-12.

[3]肖體偉.基于Hadoop的云端異常流量檢測與分析平臺[J].電子技術(shù)應(yīng)用,2015,41(5):116-118.

[4]楊 靜.大型云計算信息系統(tǒng)的異常數(shù)據(jù)檢測模型仿真[J].計算機仿真,2015,32(11):378-381.

[5]于紅巖,岑凱倫,楊騰霄.云計算平臺異常行為檢測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機應(yīng)用,2015,35(5):1284-1289.

[6]馬 超,程 力,孔玲玲.云環(huán)境下SDN的流量異常檢測性能分析[J].計算機與現(xiàn)代化,2015,10(10):92-97.

[7]何高攀,楊 桄,孟強強,等.基于圖像融合的高光譜異常檢測[J].電子設(shè)計工程,2016,24(2):165-168.

Cloud Computing Hadoop Platform of Abnormal Data Detection Algorithm Research

Huang Fuping,Liang Zhuolang,Xing Yingjun,Yang Chunli

(Guangzhou Pearl River Vocational College of Technology, Information Technology Academy, Guangzhou 511300,China)

In recent years, with the rapid development of Internet technology in our country development of further research and large-scale network computing platform, YunPing audience data processing, has become the main way of massive data. However, the existing cloud computing platform in abnormal huge amounts of data into state, often appear logical error, loss of data link integrity, data, solve the problem of a can to effectively detect the abnormal data processing, seriously affect the accuracy of cloud computing platform data operation. According to the above problem, a Hadoop cloud computing platform of abnormal data detection algorithm research methods. By screening JNS data collection module, the algorithm logic compensation module and dynamic feedback module to the existing problems of cloud computing platform, targeted to solve. Through the simulation experiment proves that the Hadoop cloud computing platform of abnormal data detection algorithm research method, has high recognition rate anomaly data, high accuracy, fast speed, strong practical, good stability characteristics.

cloud computing; big data; abnormal data; hadoop platform

2017-03-28；

2017-05-05。

2014年度廣東省廣東教育教學(xué)成果獎(高等教育)培育項目。

黃富平(1982-)，男，廣西貴港人，講師，主要從事云計算與大數(shù)據(jù)算法方向的研究。

1671-4598(2017)07-0260-04

10.16526/j.cnki.11-4762/tp.2017.07.065

TP301

A