虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)設(shè)計(jì)

謝芳

摘 要： 現(xiàn)有系統(tǒng)進(jìn)行虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)去噪時(shí)，存在數(shù)據(jù)單個(gè)體運(yùn)行且一次性完成去噪處理的問題。為提高云計(jì)算結(jié)果的準(zhǔn)確性，設(shè)計(jì)新的虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)。該設(shè)計(jì)方法主要分為兩個(gè)層次：基于Hadoop云計(jì)算平臺(tái)描述系統(tǒng)硬件設(shè)計(jì)的三項(xiàng)功能，結(jié)合三項(xiàng)功能從前端控制層、運(yùn)行層、用戶層對(duì)系統(tǒng)C/S模式進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)海量動(dòng)態(tài)移動(dòng)數(shù)據(jù)的并行化處理；系統(tǒng)軟件通過AFLS、并行處理中間件、查詢服務(wù)器、DBMS、OTS五大結(jié)構(gòu)，實(shí)現(xiàn)云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)的查詢和簡(jiǎn)單去噪處理，采用網(wǎng)閘實(shí)時(shí)去噪處理方法對(duì)云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)進(jìn)行二次實(shí)時(shí)去噪處理。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)與Matlab小波去噪系統(tǒng)和FPGA去噪系統(tǒng)相比，最高魯棒性分別提高0.02%和0.08%，最低魯棒性分別提高0.03%和0.05%；相同噪聲數(shù)量下，去噪誤差率最大值優(yōu)于其他兩種方法，分別為0.24%，0.29%；所設(shè)計(jì)的系統(tǒng)弱化了現(xiàn)有方法的不足，具有去噪精度高、穩(wěn)定性好的優(yōu)勢(shì)。

關(guān)鍵詞： 云計(jì)算； 動(dòng)態(tài)移動(dòng)數(shù)據(jù)； 去噪處理； C/S模式； 系統(tǒng)設(shè)計(jì)； 魯棒性

中圖分類號(hào)： TN929.5?34； TP314 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）22?0017?04

Abstract： The existing system has the problems of single data running and one?time denoising processing during the denoising of virtualized cloud computing dynamic mobile data. Therefore， a new real?time denoising processing system for virtualized cloud computing dynamic mobile data is designed to improve the accuracy of cloud computing results. The design method is mainly divided into two levels. Three functions of system hardware design based on the Hadoop cloud computing platform are described. Combining with the three functions， the C/S mode of the system consisting of the front?end control layer， running layer and user layer is designed to realize parallelization of massive dynamic mobile data. In the system software， five structures of the AFLS， parallel processing middleware， query server， DBMS and OTS are used to realize query and simple denoising processing of cloud computing dynamic mobile data. The GAP real?time denoising processing method is adopted to conduct secondary real?time denoising processing of cloud computing dynamic mobile data. The experimental results show that， the maximum robustness of the designed system is 0.02% and 0.08% higher respectively than that of the Matlab wavelet denoising system and FPGA denoising system， and the minimum robustness of the designed system is 0.03% and 0.05% higher respectively than that of the Matlab wavelet denoising system and FPGA denoising system； under the same quantity of noises， the maximum value of the denoising error rate is 0.24% and 0.29% lower than that of the other two methods； the designed system attenuates the shortcomings of the existing methods and has the advantages of high denoising precision and good stability.

Keywords： cloud computing； dynamic mobile data； denoising processing； C/S mode； system design； robustness

0 引 言

云計(jì)算作為一種按量付費(fèi)使用、計(jì)算功能極其強(qiáng)大的新模式，在天氣預(yù)測(cè)、核爆炸仿真模擬、經(jīng)濟(jì)狀況走勢(shì)研究方面發(fā)揮了不可替代的作用[1]。對(duì)于云計(jì)算應(yīng)用，人們往往關(guān)注其總體計(jì)算能力，忽略云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)存在噪聲問題，嚴(yán)重影響數(shù)據(jù)計(jì)算效率與精確度。

文獻(xiàn)[2]分別對(duì)離群點(diǎn)噪聲和內(nèi)部高頻噪聲進(jìn)行處理，能夠方便、快捷地去除不同尺度的噪聲，但沒有考慮數(shù)據(jù)單個(gè)體運(yùn)行問題。文獻(xiàn)[3]給出結(jié)構(gòu)魯棒性檢測(cè)樣本，并使用量化方法和結(jié)構(gòu)魯棒性檢測(cè)語言對(duì)樣本進(jìn)行分析，沒有考慮噪聲干擾。文獻(xiàn)[4]針對(duì)不同特征區(qū)域分別采用鄰域距離平均濾波算法和自適應(yīng)雙邊濾波算法進(jìn)行去噪濾波。該方法在區(qū)域數(shù)據(jù)處理時(shí)，角度單一。

為避免以上缺陷，提出虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)。通過設(shè)計(jì)硬件系統(tǒng)的C/S模式，實(shí)現(xiàn)海量動(dòng)態(tài)移動(dòng)數(shù)據(jù)的并行化處理，節(jié)約系統(tǒng)運(yùn)行時(shí)間。對(duì)軟件系統(tǒng)動(dòng)態(tài)移動(dòng)數(shù)據(jù)進(jìn)行二次實(shí)時(shí)去噪處理，增加了該系統(tǒng)去噪精度。仿真實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)系統(tǒng)具有穩(wěn)定性好、效率高、誤差小的優(yōu)勢(shì)。

1 虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)硬件設(shè)計(jì)

1.1.1 Hadoop云計(jì)算平臺(tái)

HDFS分布式文件系統(tǒng)與MapReduce編程模型構(gòu)成了Hadoop云計(jì)算平臺(tái)，該平臺(tái)屬于分布式系統(tǒng)基礎(chǔ)架構(gòu)的一種[5]。為解決超大文件的處理問題、實(shí)現(xiàn)流數(shù)據(jù)訪問模式，HDFS應(yīng)運(yùn)而生[6]。HDFS在不同機(jī)器與節(jié)點(diǎn)上存儲(chǔ)超大文件的動(dòng)態(tài)移動(dòng)數(shù)據(jù)，個(gè)別動(dòng)態(tài)移動(dòng)數(shù)據(jù)一旦遭到破壞HDFS自動(dòng)識(shí)別其備份數(shù)據(jù)，實(shí)現(xiàn)動(dòng)態(tài)移動(dòng)數(shù)據(jù)的穩(wěn)定與安全存儲(chǔ)。MapReduce編程模型以Job的形式開展工作，Job一般采用Map函數(shù)與Reduce函數(shù)來描述。

1.1.2 系統(tǒng)硬件功能設(shè)計(jì)

Hadoop云計(jì)算平臺(tái)中的動(dòng)態(tài)移動(dòng)數(shù)據(jù)主要來自HBase數(shù)據(jù)庫，該數(shù)據(jù)庫具有實(shí)時(shí)性、高性能優(yōu)勢(shì)[7]。本文系統(tǒng)設(shè)計(jì)的硬件主要實(shí)現(xiàn)以下3項(xiàng)功能：

1） 上傳動(dòng)態(tài)移動(dòng)數(shù)據(jù)。傳感器負(fù)責(zé)數(shù)據(jù)的獲取，傳感器采集節(jié)點(diǎn)以網(wǎng)絡(luò)為傳輸介質(zhì)，將動(dòng)態(tài)移動(dòng)數(shù)據(jù)傳輸?shù)皆朴?jì)算平臺(tái)。

2） 存儲(chǔ)動(dòng)態(tài)移動(dòng)數(shù)據(jù)。HBase數(shù)據(jù)庫發(fā)揮其保管數(shù)據(jù)的作用，向平臺(tái)管理者提供相關(guān)研究數(shù)據(jù)。

3） 動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理。對(duì)存在噪聲的動(dòng)態(tài)移動(dòng)數(shù)據(jù)進(jìn)行實(shí)時(shí)去噪處理，實(shí)現(xiàn)云計(jì)算平臺(tái)中的動(dòng)態(tài)移動(dòng)數(shù)據(jù)與噪聲的分離，保證用戶從云計(jì)算平臺(tái)中獲取可靠的、真實(shí)的數(shù)據(jù)信息[8]。該項(xiàng)功能的實(shí)現(xiàn)依賴于系統(tǒng)的C/S模式。

1.1.3 系統(tǒng)的C/S模式設(shè)計(jì)

基于傳統(tǒng)N/S系統(tǒng)模式的局限性，本文設(shè)計(jì)的動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)選取存在優(yōu)勢(shì)的C/S系統(tǒng)模式，具有足夠能力處理本文系統(tǒng)面對(duì)的大型動(dòng)態(tài)移動(dòng)數(shù)據(jù)，另一方面升級(jí)和維護(hù)系統(tǒng)更加靈活、快捷[9]。3個(gè)不同層面共同構(gòu)成C/S模式部分：

1） 前端控制層。即虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪處理系統(tǒng)命令控制層。

2） 運(yùn)行層。計(jì)算器功能、數(shù)據(jù)調(diào)控器功能、數(shù)據(jù)庫功能等都位于系統(tǒng)的運(yùn)行層內(nèi)。

3） 用戶層。識(shí)別用戶的身份、向其傳遞信息下達(dá)命令等操作都在用戶層完成，主要通過文件驅(qū)動(dòng)器、感知運(yùn)行器以及CVDO來實(shí)現(xiàn)。

1.2 系統(tǒng)軟件設(shè)計(jì)

1.2.1 系統(tǒng)軟件結(jié)構(gòu)

本文系統(tǒng)的軟件結(jié)構(gòu)如圖1所示，從圖中可以看出，其主要包括AFLS、并行處理中間件、查詢服務(wù)器、DBMS、OTS 五大部分。AFLS即應(yīng)用服務(wù)器容錯(cuò)和負(fù)載平衡服務(wù)，不同事物處理中間件的聯(lián)系、用戶與并行事物處理中間件的聯(lián)系都是通過AFLS進(jìn)行構(gòu)建；OTS即對(duì)象事物服務(wù)，云計(jì)算平臺(tái)數(shù)據(jù)庫由不同的DBMS共同組成，而該數(shù)據(jù)庫的事物特性依賴于OTS進(jìn)行處理；并行處理中間件由數(shù)據(jù)劃分中間件、表加載中間件、查詢分析中間件等構(gòu)成，云計(jì)算平臺(tái)中動(dòng)態(tài)移動(dòng)數(shù)據(jù)的緩存與批量加載通過表加載中間件實(shí)現(xiàn)，對(duì)于云計(jì)算平臺(tái)中動(dòng)態(tài)移動(dòng)數(shù)據(jù)的查詢與詢問工作由查詢分析中間件完成[10]；查詢服務(wù)器采用相同的接口處理不同云計(jì)算平臺(tái)數(shù)據(jù)庫的數(shù)據(jù)查詢，作為云計(jì)算平臺(tái)中的詢問服務(wù)器對(duì)帶有噪聲的數(shù)據(jù)進(jìn)行簡(jiǎn)單過濾，為系統(tǒng)進(jìn)行動(dòng)態(tài)移動(dòng)數(shù)據(jù)去噪減輕工作量。

基于系統(tǒng)的軟件構(gòu)成及功能，對(duì)云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)進(jìn)行實(shí)時(shí)去噪處理。

1.2.2 網(wǎng)閘實(shí)時(shí)去噪處理方法

本文系統(tǒng)采用網(wǎng)閘實(shí)時(shí)去噪方法處理虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)，對(duì)動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)施去噪處理在優(yōu)化系統(tǒng)計(jì)算能力的同時(shí)彌補(bǔ)系統(tǒng)中配差計(jì)算失衡的缺陷。本文系統(tǒng)實(shí)施去噪采用的符號(hào)型屬性依據(jù)不同的動(dòng)態(tài)移動(dòng)數(shù)據(jù)而定，詳細(xì)的符號(hào)型屬性選取標(biāo)準(zhǔn)如表1所示。

根據(jù)表1描述的符號(hào)型屬性選取標(biāo)準(zhǔn)對(duì)云計(jì)算中各種類型動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)施有針對(duì)性的實(shí)時(shí)去噪處理，獲取的去噪結(jié)果更加理想。定義本文系統(tǒng)的去噪閾值用[Fu，v]表示；Web網(wǎng)絡(luò)中的動(dòng)態(tài)移動(dòng)數(shù)據(jù)包含的識(shí)別屬性用[fx，y]描述；動(dòng)態(tài)移動(dòng)數(shù)據(jù)提取系數(shù)的參照比用[uπ]描述，根據(jù)上述參數(shù)獲取符號(hào)型屬性公式。

根據(jù)上述方法對(duì)虛擬化云計(jì)算中的動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)施初步歸納，分離不存在噪聲和存在噪聲的動(dòng)態(tài)移動(dòng)數(shù)據(jù)，獲取初步去噪結(jié)果，一方面降低了本文系統(tǒng)去噪的工作難度，另一方面增加了動(dòng)態(tài)移動(dòng)數(shù)據(jù)去噪結(jié)果的精確度。接著采用條件矩陣對(duì)初步去噪結(jié)果實(shí)施矩陣去噪。采用圖的形式表達(dá)動(dòng)態(tài)移動(dòng)數(shù)據(jù)的矩陣[Ti，j]、條件矩陣[T′i，j]，如圖2、圖3所示。

將實(shí)際動(dòng)態(tài)移動(dòng)數(shù)據(jù)的矩陣[Ti，j]中不同于條件矩陣[T′i，j]的部分去除，即完成實(shí)時(shí)去噪處理。

2 實(shí)驗(yàn)分析

為驗(yàn)證本文系統(tǒng)對(duì)于虛擬化云計(jì)算中動(dòng)態(tài)移動(dòng)數(shù)據(jù)實(shí)時(shí)去噪的有效性，采用本文系統(tǒng)在云計(jì)算仿真開發(fā)包ClougSim中展開仿真實(shí)驗(yàn)。采用FPGA去噪系統(tǒng)、Matlab小波去噪系統(tǒng)進(jìn)行對(duì)比實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)設(shè)置，將三種系統(tǒng)獲取的實(shí)驗(yàn)結(jié)果制成折線圖。圖4描述了魯棒性測(cè)試結(jié)果。圖5描述了去噪誤差測(cè)試結(jié)果。

2.1 系統(tǒng)魯棒性分析

分析圖4能夠看出，隨著實(shí)驗(yàn)次數(shù)的增長(zhǎng)，本文系統(tǒng)折線始終位于FPGA去噪系統(tǒng)、Matlab小波去噪系統(tǒng)的上方。本文系統(tǒng)的最高魯棒性為0.45%，最低魯棒性為0.1%；Matlab小波去噪系統(tǒng)最高魯棒性為0.43%，最低魯棒性為0.07%；FPGA去噪系統(tǒng)的最高魯棒性為0.37%，最低魯棒性為0.05%。說明本文系統(tǒng)的魯棒性高于其他兩種系統(tǒng)，而魯棒性是描述系統(tǒng)穩(wěn)定性的重要參數(shù)。實(shí)驗(yàn)結(jié)果表明，本文系統(tǒng)具有實(shí)時(shí)去噪、穩(wěn)定性優(yōu)勢(shì)。

2.2 系統(tǒng)去噪誤差率分析

分析圖5能夠看出，隨著噪聲數(shù)量的增長(zhǎng)，本文系統(tǒng)的去噪誤差率增長(zhǎng)緩慢?？偟脑鲩L(zhǎng)趨勢(shì)可以分為兩個(gè)階段：在噪聲數(shù)量為100～270條時(shí)的前階段，誤差率上升的較快達(dá)到0.29%；在噪聲數(shù)量為270～400條時(shí)的后階段，誤差率上升趨勢(shì)大幅減緩，最終的去噪誤差率最大值僅為0.31%，后階段的去噪誤差率僅增長(zhǎng)了0.02%。Matlab小波去噪系統(tǒng)的去噪誤差率走勢(shì)直線上升，在噪聲數(shù)量為400條時(shí)，其最高誤差率為0.55%。FPGA去噪系統(tǒng)的去噪誤差率增長(zhǎng)趨勢(shì)可分為三個(gè)階段，其中在165～200條階段去噪誤差率上漲趨勢(shì)較陡，說明其增長(zhǎng)速度快；在噪聲數(shù)量為200～300條的第三階段，去噪誤差率漲勢(shì)稍遜第二階段，但仍快速增長(zhǎng)達(dá)到最高值0.6%。對(duì)比三種系統(tǒng)測(cè)試結(jié)果可知，本文系統(tǒng)的去噪誤差率極小，具有去噪精確度高的優(yōu)勢(shì)。

3 結(jié) 論

本文設(shè)計(jì)的虛擬化云計(jì)算動(dòng)態(tài)移動(dòng)數(shù)據(jù)去噪系統(tǒng)，從硬件設(shè)計(jì)、軟件設(shè)計(jì)兩部分描述其去噪過程。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)系統(tǒng)具有穩(wěn)定性好、效率高、誤差率小的優(yōu)勢(shì)。同時(shí)本文系統(tǒng)為云計(jì)算數(shù)據(jù)的噪聲去除提供了有效手段，具有實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 王斌鋒，蘇金樹，陳琳.云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)綜述[J].計(jì)算機(jī)研究與發(fā)展，2016，53（9）：2085?2106.

WANG Binfeng， SU Jinshu， CHEN Lin. Review of the design of data center network for cloud computing [J]. Journal of computer research and development， 2016， 53（9）： 2085?2106.

[2] 林靜懷.基于云計(jì)算的電網(wǎng)調(diào)度控制培訓(xùn)仿真系統(tǒng)設(shè)計(jì)[J].電力系統(tǒng)自動(dòng)化，2017，41（14）：164?170.

LIN Jinghuai. Cloud computing based system design for power grid dispatching and control training simulation [J]. Automation of electric power systems， 2017， 41（14）： 164?170.

[3] 張千，陳朝根，梁鴻.基于虛擬化技術(shù)的私有云計(jì)算平臺(tái)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用，2015，35（11）：3063?3069.

ZHANG Qian， CHEN Chaogen， LIANG Hong. Private cloud platform design based on virtualization technology [J]. Journal of computer applications， 2015， 35（11）： 3063?3069.

[4] 閆淑梅.基于云計(jì)算的煤炭企業(yè)數(shù)據(jù)中心桌面?zhèn)浞菹到y(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].煤炭技術(shù)，2014，33（2）：126?128.

YAN Shumei. Design and implementation of coal enterprise data centers desktop backup system based on cloud computing [J]. Coal technology， 2014， 33（2）： 126?128.

[5] 王笑帝，張?jiān)朴拢瑒㈢C，等.云計(jì)算虛擬化安全技術(shù)研究[J].電信科學(xué)，2015，31（6）：8?12.

WANG Xiaodi， ZHANG Yunyong， LIU Di， et al. Research on security of virtualization on cloud computing [J]. Telecommunications science， 2015， 31（6）： 8?12.

[6] 俞華鋒.基于云計(jì)算的三維虛擬學(xué)習(xí)環(huán)境的設(shè)計(jì)與應(yīng)用[J].計(jì)算機(jī)仿真，2010，27（9）：315?318.

YU Huafeng. Design and application of virtual 3D study environment based on cloud computing [J]. Computer simulation， 2010， 27（9）： 315?318.

[7] 張京妹，李英俊，蘇廣文，等.嵌入式云計(jì)算系統(tǒng)的資源實(shí)時(shí)共享方法研究[J].西北工業(yè)大學(xué)學(xué)報(bào)，2016，34（3）：393?398.

ZHANG Jingmei， LI Yingjun， SU Guangwen， et al. The research on resource real?time sharing in the embedded cloud computing system [J]. Journal of Northwestern Polytechnical University， 2016， 34（3）： 393?398.

[8] 何恒靖，趙偉，黃松嶺.云計(jì)算環(huán)境下儀器虛擬化研究[J].電測(cè)與儀表，2014，51（16）：11?16.

HE Hengjing， ZHAO Wei， HUANG Songling. Research on the instrumentation virtualization in cloud computing environment [J]. Electrical measurement & instrumentation， 2014， 51（16）： 11?16.

[9] 武志學(xué).云計(jì)算虛擬化技術(shù)的發(fā)展與趨勢(shì)[J].計(jì)算機(jī)應(yīng)用，2017，37（4）：915?923.

WU Zhixue. Advances on virtualization technology of cloud computing [J]. Journal of computer applications， 2017， 37（4）： 915?923.

[10] 郭欣.基于云計(jì)算的Moodle虛擬化集群研究[J].控制工程，2015，22（6）：1175?1180.

GUO Xin. A study on Moodle virtual cluster based on cloud computing [J]. Control engineering of China， 2015， 22（6）： 1175?1180.