基于流處理技術(shù)的云計(jì)算平臺(tái)監(jiān)控方案的設(shè)計(jì)與實(shí)現(xiàn)

單 莘 祝智崗 張 龍 付長(zhǎng)冬 魏書曉

基于流處理技術(shù)的云計(jì)算平臺(tái)監(jiān)控方案的設(shè)計(jì)與實(shí)現(xiàn)

單 莘1祝智崗1張 龍1付長(zhǎng)冬2魏書曉2

1(中國(guó)移動(dòng)通信集團(tuán)河北有限公司 河北 石家莊 050021)

2(北京郵電大學(xué) 北京 100876)

針對(duì)目前云計(jì)算平臺(tái)監(jiān)控手段實(shí)時(shí)性差的問題，提出一種基于大數(shù)據(jù)流處理技術(shù)的云計(jì)算平臺(tái)實(shí)時(shí)監(jiān)控方案。該方案采用實(shí)時(shí)計(jì)算系統(tǒng)Storm作為核心，使用iostat、mpstat等工具獲取服務(wù)器性能信息，使用Flume和Libvirt獲取全方位的日志信息以及云主機(jī)狀態(tài)信息。獲取到的信息以數(shù)據(jù)流的形式傳至Storm，然后進(jìn)行數(shù)據(jù)清洗、關(guān)鍵詞匹配等實(shí)時(shí)分析。在模擬生產(chǎn)環(huán)境下對(duì)該方案進(jìn)行測(cè)試，結(jié)果表明：該方案能夠?qū)崿F(xiàn)對(duì)大規(guī)模云計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)控，而且具有高可靠性、高擴(kuò)展性的的優(yōu)點(diǎn)，達(dá)到研究效果。

云計(jì)算 流處理 大數(shù)據(jù)

0 引 言

隨著云計(jì)算時(shí)代的到來，越來越多的網(wǎng)絡(luò)服務(wù)正發(fā)生著革命性的變化[1]。尤其當(dāng)亞馬遜、微軟、谷歌等IT巨頭推出公有云托管服務(wù)之后，越來越多的網(wǎng)絡(luò)服務(wù)都運(yùn)行于云計(jì)算平臺(tái)之上，這使得IT正向著集約化、規(guī)?；c專業(yè)化的道路發(fā)展[2]。在云計(jì)算消費(fèi)模式下，用戶在無需了解服務(wù)器底層硬件架構(gòu)、網(wǎng)絡(luò)鏈接、存儲(chǔ)方式等的情況下，只需通過簡(jiǎn)單的網(wǎng)絡(luò)申請(qǐng)即可獲得高效、安全的云計(jì)算服務(wù)，這在很大程度上降低了用戶的硬件投入并節(jié)省了空間[3-5]。同時(shí)，采用托管形式的云主機(jī)都是通過專業(yè)的運(yùn)維人員進(jìn)行維護(hù)，這無疑提高了系統(tǒng)的安全性并減低了運(yùn)維成本。

雖然使用Libvirt所提供的API可以實(shí)現(xiàn)對(duì)云主機(jī)進(jìn)行監(jiān)控，但是這種方式局限于對(duì)云主機(jī)操作系統(tǒng)運(yùn)行/關(guān)閉、網(wǎng)絡(luò)資源、硬件資源等底層監(jiān)控。對(duì)云主機(jī)操作系統(tǒng)以及運(yùn)行于之上的業(yè)務(wù)系統(tǒng)軟件機(jī)的監(jiān)控，大多是通過消息隊(duì)列的監(jiān)控實(shí)現(xiàn)的[6-9]。隨著大數(shù)據(jù)分析技術(shù)的到來，目前出現(xiàn)了基于大數(shù)據(jù)批處理技術(shù)云計(jì)算平臺(tái)監(jiān)控系統(tǒng)[10]。這種系統(tǒng)具有監(jiān)控全面的優(yōu)點(diǎn)，但是由于采用批處理，無法滿足實(shí)時(shí)監(jiān)控的要求[11,12]。

針對(duì)上述不足，本文結(jié)合目前主流的監(jiān)控手段以及當(dāng)前流行的大數(shù)據(jù)流處理技術(shù)[13-15]，提出了一套云計(jì)算平臺(tái)實(shí)時(shí)監(jiān)控方案。該方案具有以下特點(diǎn)：能夠?qū)υ朴?jì)算平臺(tái)底層物理機(jī)、云主機(jī)的運(yùn)行信息進(jìn)行實(shí)時(shí)監(jiān)控；能夠?qū)Ω黝愋偷南到y(tǒng)日志信息以及應(yīng)用軟件日志信息進(jìn)行實(shí)時(shí)獲取分析；采用分布式架構(gòu)實(shí)現(xiàn)，具有良好的擴(kuò)展性。

1 實(shí)現(xiàn)方案

1.1 設(shè)計(jì)思想

本方案是根據(jù)目前云計(jì)算平臺(tái)監(jiān)控的實(shí)際需求以及當(dāng)前監(jiān)控系統(tǒng)的不足而設(shè)計(jì)的，主要目的是為云計(jì)算平臺(tái)提供一種高效實(shí)時(shí)的監(jiān)控方法，其核心定位如下：

1) 基于開源的大數(shù)據(jù)流處理工具Storm實(shí)現(xiàn)監(jiān)控信息實(shí)時(shí)分析，每個(gè)節(jié)點(diǎn)每秒可以分析數(shù)十萬條監(jiān)控信息，實(shí)現(xiàn)真正的實(shí)時(shí)監(jiān)控；

2) 利用現(xiàn)有監(jiān)控工具mrtg、iostat、mpstat等對(duì)目標(biāo)進(jìn)行監(jiān)控，并通過使用thrift、RPC等將監(jiān)控信息傳遞至監(jiān)控平臺(tái)；

3) 采用分布式日志采集工具Flume實(shí)現(xiàn)服務(wù)器日志以及業(yè)務(wù)日志的全面采集，確保監(jiān)控的準(zhǔn)確性；

4) 結(jié)合Libvirt、RabbitMq實(shí)現(xiàn)云主機(jī)狀態(tài)信息獲??；

5) Flume、Storm都是使用分布式架構(gòu)，便于系統(tǒng)集群擴(kuò)展。

1.2 實(shí)現(xiàn)原理

該方案的核心部分主要包括信息獲取模塊、大數(shù)據(jù)實(shí)時(shí)分析模塊兩部分。

1.2.1 監(jiān)控信息獲取模塊

為了實(shí)現(xiàn)對(duì)整個(gè)云計(jì)算平臺(tái)的全面監(jiān)控，需要對(duì)構(gòu)成云計(jì)算平臺(tái)底層的物理機(jī)(云主機(jī)物理機(jī))、云主機(jī)以及云主機(jī)內(nèi)運(yùn)行的網(wǎng)絡(luò)業(yè)務(wù)運(yùn)行信息進(jìn)行監(jiān)控，其中底層物理機(jī)以及云主機(jī)在本方案中統(tǒng)稱為統(tǒng)稱為服務(wù)器。

(1) 服務(wù)器操作系統(tǒng)狀態(tài)信息獲取

圖1 系統(tǒng)狀態(tài)信息獲取

Linux操作系統(tǒng)中，可直接使用腳本的形式獲取當(dāng)前服務(wù)器的基本狀態(tài)信息。例如使用top命令可以直接獲取當(dāng)前服務(wù)器中CPU使用率、各進(jìn)程所占用的內(nèi)存、CPU等。這些操作系統(tǒng)基本狀態(tài)信息的獲取過程如圖1所示。

為了實(shí)現(xiàn)所獲取的信息能夠以數(shù)據(jù)流的形式傳遞，首先將所獲取的信息壓入RabbitMq等消息隊(duì)列當(dāng)中，然后再以數(shù)據(jù)流的形式輸出。

(2) 云主機(jī)運(yùn)行狀態(tài)信息

圖2 云主機(jī)狀態(tài)信息獲取

云主機(jī)運(yùn)行狀態(tài)是指KVM、VMware等虛擬工具層上可以獲取到的當(dāng)前的虛擬云主機(jī)的運(yùn)行狀態(tài)，主要包括創(chuàng)建、資源分配情況、開關(guān)機(jī)情況、網(wǎng)絡(luò)鏈接狀況等。云主機(jī)運(yùn)行狀態(tài)信息獲取過程如圖2所示。

從圖2當(dāng)中可以看出，云主機(jī)運(yùn)行狀態(tài)信息是通過調(diào)用底層物理機(jī)的Libvirt的接口實(shí)現(xiàn)的。Libvirt為各種虛擬化工具提供一套方便、可靠的編程接口，支持與C、C++、 Ruby、Python等多種主流開發(fā)語言的綁定，主流Linux平臺(tái)上默認(rèn)的虛擬化管理工具virt-manager、virt-install等均基于Libvirt開發(fā)而成。

(3) 日志采集

Linux操作系統(tǒng)在運(yùn)行過程當(dāng)中都會(huì)產(chǎn)生大量的日志信息，其中包括操作系統(tǒng)資源日志、網(wǎng)絡(luò)日志、用戶操作日志。同時(shí)，大部分運(yùn)行于Linux操作系統(tǒng)的軟件運(yùn)行過程也會(huì)產(chǎn)生各種日志，例如Apache服務(wù)器的運(yùn)行日志和訪問日志、Mysql等數(shù)據(jù)庫(kù)的各種操作日志、Oracle的監(jiān)聽日志等。這些日志可以全面地反應(yīng)當(dāng)前系統(tǒng)或者軟件的運(yùn)行狀況。

圖3 Flume獲取日志信息過程

由于各種日志的信息量極大，尤其是在公有云平臺(tái)上。為了實(shí)現(xiàn)對(duì)大規(guī)模日志采集，使用開源分布式日志采集工具Flume對(duì)這些日志信息進(jìn)行采集。Flume不僅能夠?qū)崿F(xiàn)對(duì)日志的同步采集，還能夠?qū)崿F(xiàn)日志的聚合和傳輸。Flume支持定制各類數(shù)據(jù)發(fā)送方式，F(xiàn)lume日志采集系統(tǒng)組成如圖3所示。

在圖3當(dāng)中，Agent運(yùn)行于采集服務(wù)器上，用于日志更新同步。Agent獲取的信息傳遞至收集服務(wù)器Collector，然后聚合之后根據(jù)指定的參數(shù)發(fā)送。整個(gè)采集過程中，使用Controller服務(wù)器對(duì)著整個(gè)日志采集過程進(jìn)行控制，其中包括日志采集間隔、輸出方式等。本文中所有采集的日志信息采用數(shù)據(jù)流輸出，便于實(shí)時(shí)流處理模塊進(jìn)行處理。

為了實(shí)現(xiàn)更加全面的對(duì)操作系統(tǒng)運(yùn)行狀況進(jìn)行監(jiān)控，首先使用腳本的形式調(diào)用Linux內(nèi)核自帶以及云主機(jī)預(yù)裝的系統(tǒng)監(jiān)控工具獲取系統(tǒng)當(dāng)前運(yùn)行狀態(tài)并將這些狀態(tài)信息寫入文本當(dāng)中，然后將這些文本作為日志文件使用Flume獲取。目前使用Flume也可以對(duì)一些簡(jiǎn)單的監(jiān)控工具信息進(jìn)行傳遞，為了實(shí)現(xiàn)整個(gè)平臺(tái)日志采集部分的統(tǒng)一方法以及對(duì)所有監(jiān)控工具的支持，本系統(tǒng)采用文本日志的形式對(duì)這類信息進(jìn)行采集。整個(gè)Flume日志采集流程如圖4所示。

在圖4當(dāng)中，為了方便Hadoop等其它分析工具進(jìn)行批處理，將日志信息同時(shí)寫入到分布式文件系統(tǒng)當(dāng)中。

1.2.2 信息流處理

操作系統(tǒng)運(yùn)行過程時(shí)始終都會(huì)產(chǎn)生狀態(tài)信息、日志信息，這些信息只有及時(shí)的處理才能夠?qū)崿F(xiàn)對(duì)操作系統(tǒng)有效監(jiān)控。同時(shí)，運(yùn)行于云主機(jī)上的各種業(yè)務(wù)軟件會(huì)產(chǎn)生更多的運(yùn)行日志，例如用戶量大的Apache、Ngnix服務(wù)器每天會(huì)產(chǎn)生幾百兆甚至更多的日志信息。為了實(shí)現(xiàn)對(duì)整個(gè)云計(jì)算平臺(tái)的實(shí)時(shí)監(jiān)控，必須能夠?qū)@些信息進(jìn)行實(shí)時(shí)分析。

圖5 Storm流處理的拓?fù)浣Y(jié)構(gòu)

為了確保實(shí)現(xiàn)對(duì)消息隊(duì)列當(dāng)中所有消息進(jìn)行百分百處理，現(xiàn)將消息隊(duì)列緩存至Memcashed，此時(shí)Memcashed作為消息容器，以Storm分析最高速度向其傳遞數(shù)據(jù)流。首先使用Storm的Spout從信息采集模塊當(dāng)中RabbitMQ獲取各種隊(duì)列信息，并作為流數(shù)據(jù)的形式傳遞至bolt進(jìn)行分析處理。整個(gè)Storm流處理部分的實(shí)現(xiàn)拓?fù)淙鐖D5所示。

根據(jù)實(shí)際的需要，在bolt當(dāng)中可以編寫任意指定的數(shù)據(jù)分析算法，例如可以實(shí)現(xiàn)關(guān)鍵字檢索、數(shù)據(jù)庫(kù)、數(shù)據(jù)ETL。Storm基礎(chǔ)框架支持java、python等各種語言，這極大地的方便了分析算法的開發(fā)速度并提高代碼的可移植性。同時(shí)由于采用分布式架構(gòu)，方便后期擴(kuò)展。

2 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證方案的可靠性，在公有云環(huán)境下的規(guī)模云計(jì)算平臺(tái)進(jìn)行實(shí)際測(cè)試。測(cè)試云平臺(tái)當(dāng)中包括340多臺(tái)X86服務(wù)器以及運(yùn)行在這些服務(wù)器上3560臺(tái)作為Web服務(wù)器的云主機(jī)及其運(yùn)行的Apache等應(yīng)用軟件。

(1) 監(jiān)控內(nèi)容

測(cè)試過程，選擇云計(jì)算平臺(tái)的所有服務(wù)器操作系統(tǒng)(包括物理機(jī)和云主機(jī))wtmp信息、utmp信息、iostat信息等八種系統(tǒng)信息作為操作系統(tǒng)監(jiān)控信息；選擇云主機(jī)上運(yùn)行的Mysql、Apache、PHP解析器等9種應(yīng)用軟件日志作為業(yè)務(wù)監(jiān)控信息；同時(shí)，為了對(duì)云主機(jī)實(shí)時(shí)監(jiān)控，選擇Libvirt的云主機(jī)狀態(tài)信息作為監(jiān)控信息。

(2) 硬件配置

系統(tǒng)的硬件設(shè)備主要包括信息采集服務(wù)器、流處理服務(wù)器集群以及Web服務(wù)器。各種服務(wù)器的硬件配置如表1所示。

表1 服務(wù)器硬件配置

Flume和Storm采用分布式架構(gòu)設(shè)計(jì)，能夠隨著業(yè)務(wù)的增長(zhǎng)而隨時(shí)進(jìn)行擴(kuò)展。整個(gè)系統(tǒng)服務(wù)器拓?fù)浣Y(jié)構(gòu)如圖6所示。

圖6 服務(wù)器拓?fù)浣Y(jié)構(gòu)

(3) 測(cè)試過程

為確保實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，采用控制變量法的實(shí)驗(yàn)方式進(jìn)行測(cè)試。在其它條件不變的情況下以5節(jié)點(diǎn)/次的速度逐漸增加物理機(jī)數(shù)目，同時(shí)運(yùn)行物理機(jī)操作系統(tǒng)當(dāng)中的所有云主機(jī)及其運(yùn)行的應(yīng)用軟件。

需要說明的是，在所有云計(jì)算平臺(tái)物理機(jī)當(dāng)中包含控制節(jié)點(diǎn)、網(wǎng)絡(luò)節(jié)點(diǎn)等支撐節(jié)點(diǎn)存在11臺(tái)，這些支撐節(jié)點(diǎn)不會(huì)作為物理機(jī)直接支撐云主機(jī)運(yùn)行。平均每個(gè)計(jì)算節(jié)點(diǎn)上會(huì)運(yùn)行10.7云主機(jī)(客戶機(jī))，這也就是說云主機(jī)以53.5節(jié)點(diǎn)/次的速度逐漸增加。

(4) 測(cè)試結(jié)果

分別對(duì)系統(tǒng)狀態(tài)信息、云主機(jī)狀態(tài)信息、云主機(jī)應(yīng)用軟件信息的數(shù)據(jù)流大小進(jìn)行了統(tǒng)計(jì)分析，統(tǒng)計(jì)結(jié)果如圖7所示。

從圖7當(dāng)中可以看出對(duì)于系統(tǒng)狀態(tài)信息以及云主機(jī)狀態(tài)信息數(shù)據(jù)量大小都隨著物理機(jī)的增多而呈標(biāo)準(zhǔn)線性增長(zhǎng)；日志信息的數(shù)據(jù)量隨著物理機(jī)的增多而波動(dòng)性增長(zhǎng)，但是大體趨勢(shì)仍與線性增長(zhǎng)相一致。出現(xiàn)這種波動(dòng)的原因是由于云主機(jī)當(dāng)中運(yùn)行的各種應(yīng)用軟件的運(yùn)行狀況不同造成的，例如當(dāng)某個(gè)Apache服務(wù)器訪問量變化很大時(shí)，對(duì)應(yīng)的訪問日志信息的產(chǎn)生量也會(huì)發(fā)生很大的變化?？傮w上，各種日志信息數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于狀態(tài)信息量。

對(duì)云計(jì)算平臺(tái)系統(tǒng)監(jiān)控信息、云主機(jī)狀態(tài)信息以及應(yīng)用軟件日志信息進(jìn)行監(jiān)測(cè)分析的性能表現(xiàn)如圖8所示。

從圖8當(dāng)中可以看出隨著物理機(jī)的數(shù)目逐漸增多，云主機(jī)狀態(tài)監(jiān)視延時(shí)以及系統(tǒng)狀態(tài)監(jiān)視延時(shí)沒有太大的變化，這是由于這類的狀態(tài)信息格式明確，分析簡(jiǎn)單。從Storm集群負(fù)載情況來看，當(dāng)所有物理節(jié)點(diǎn)都添加完成之后，對(duì)于全部狀態(tài)信息的分析只占用12%左右的系統(tǒng)資源。日志信息分析的延時(shí)隨著物理機(jī)數(shù)量的增多而呈線性增長(zhǎng)，這是由于日志信息大多為非結(jié)構(gòu)化數(shù)據(jù)，需要經(jīng)過篩選等一系列的分析，所有耗費(fèi)時(shí)間較長(zhǎng)，延時(shí)大。從圖X可以看出，對(duì)全部?jī)?nèi)容進(jìn)行分析的時(shí)延與只對(duì)日志信息進(jìn)行分析的時(shí)延相近。

圖7 監(jiān)控信息數(shù)據(jù)流統(tǒng)計(jì) 圖8 監(jiān)控延時(shí)統(tǒng)計(jì)

3 結(jié) 語

本文提出了一種基于大數(shù)據(jù)流處理技術(shù)的云計(jì)算平臺(tái)實(shí)時(shí)監(jiān)控方案。該方案不僅可以實(shí)現(xiàn)對(duì)云計(jì)算平臺(tái)底層物理機(jī)、云主機(jī)狀態(tài)的監(jiān)控，而且還能夠?qū)崿F(xiàn)對(duì)云主機(jī)運(yùn)行的應(yīng)用軟件的監(jiān)控。實(shí)驗(yàn)結(jié)果表明使用該方案對(duì)大規(guī)模云計(jì)算平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)控是可行的，這為提高云計(jì)算服務(wù)平臺(tái)的可靠性提供了基礎(chǔ)。

由于實(shí)驗(yàn)條件的限制，涉及方案只是在小規(guī)模的云計(jì)算平臺(tái)上進(jìn)行了測(cè)試，這與真實(shí)的生產(chǎn)環(huán)境還有一定的差距，這些差距可能會(huì)使得測(cè)試結(jié)果有一定的偏差。因此，在更大規(guī)模的云計(jì)算平臺(tái)上進(jìn)行實(shí)際測(cè)試將是下一步的研究的主要工作。

[1] 李春霖.云計(jì)算綜述與移動(dòng)云計(jì)算的應(yīng)用研究[J].科技創(chuàng)新與應(yīng)用，2014，24(6)：86-87.

[2] 張潔.云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)保護(hù)機(jī)制研究與仿真[J].計(jì)算機(jī)仿真，2013，30(8)：254-258.

[3] 劉嵩，李文蕙.云計(jì)算系統(tǒng)中基于邊緣節(jié)點(diǎn)和容量的延遲分析[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31(4)：35-39,50.

[4] 包鋒.基于云計(jì)算的軟件工程專業(yè)實(shí)訓(xùn)平臺(tái)構(gòu)建與研究[J].價(jià)值工程，2014，13(2)：89-92.

[5] 陳牮華.基于云計(jì)算的網(wǎng)絡(luò)安全數(shù)據(jù)傳遞方法研究[J].計(jì)算機(jī)仿真，2012，29(8)：139-143.

[6] 黃哲學(xué)，曹付元，李俊杰，等.面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究[J].網(wǎng)絡(luò)新媒體技術(shù)，2012，1(6)：20-26.

[7] 吳正學(xué)，戴牡紅.云計(jì)算中基于否定規(guī)則的訪問控制技術(shù)的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31(1)：30 - 33,72．

[8] 王金棟，周良，張磊.分布式數(shù)據(jù)流處理中的負(fù)載分配策略[J].南京航空航天大學(xué)學(xué)報(bào)，2006，38(2)：212-216.

[9] 田杭沛，高德遠(yuǎn)，樊曉椏，等.面向?qū)崟r(shí)流處理的多核多線程處理器訪存隊(duì)列[J].計(jì)算機(jī)研究與發(fā)展，2009，46(10)：1635-1642.

[10] Friske C A,Ruddy J A,Shibamiya A.Method for estimating the elapsed-time required for a log apply process:U.S.,6535893[P].2003-03-18.

[11] 沈金明.基于系統(tǒng)日志的計(jì)算機(jī)網(wǎng)絡(luò)用戶行為取證分析系統(tǒng)的研究與實(shí)現(xiàn)[D].南京：東南大學(xué)，2006.

[12] 季根生.計(jì)算機(jī)系統(tǒng)日志自動(dòng)分析的實(shí)現(xiàn)[J].鐵路計(jì)算機(jī)應(yīng)用，2007，16(3)：48-50.

[13] 吳甘沙，連城，鐘翔.低延遲流處理系統(tǒng)的逆襲[J].程序員，2013(10)：97-101.

[14] 劉光敏，陳慶奎.面向大規(guī)模數(shù)據(jù)流處理的偏最小二乘法[J].計(jì)算機(jī)應(yīng)用研究，2014，31(4) ：1055-1058.

[15] 孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014，25(4)：839-862.

DESIGN AND REALISATION OF STREAM PROCESSING TECHNOLOGY-BASED CLOUD COMPUTING PLATFORM MONITORING SCHEME

Shan Xin1Zhu Zhigang1Zhang Long1Fu Changdong2Wei Shuxiao2

1(ChinaMobileGroupHebeiCo.Ltd.,Shijiazhuang050021,Hebei,China)2(BeijingUniversityofPostsandTelecommunications,Beijing100876 ,China)

As to the poor real-time performance of monitoring tools on cloud computing platform currently,this paper presents a real-time monitoring scheme for cloud computing platform,which is based on big data stream processing technology.The scheme takes the real-time computing system Storm as the kernel,uses the tools such as iostat,mpstat to obtain server performance information,and employs Flume and Libvirt to get the full range of log files information as well as the cloud host status information.All of the collected information will be sent to Storm in the form of data stream,and real-time analyses including data cleaning,keywords matching,etc.,will be carried out.The test on scheme is conducted in the environment of simulated production.Experimental result shows that the scheme can achieve real-time monitoring on large-scale cloud computing platform,and has the advantages of high reliability and scalability,it reaches the research effect.

Cloud computing Stream processing Big data

2014-10-29。單莘，高工，主研領(lǐng)域：電信核心網(wǎng)云計(jì)算技術(shù)，大數(shù)據(jù)技術(shù)。祝智崗，工程師。張龍，工程師。付長(zhǎng)冬，博士。魏書曉，工程師。

TP39

A

10.3969/j.issn.1000-386x.2016.04.021