基于復(fù)雜事件處理的云決策平臺(tái)

文/NovaTeam團(tuán)隊(duì)

基于復(fù)雜事件處理的云決策平臺(tái)

文/NovaTeam團(tuán)隊(duì)

作品介紹

在云計(jì)算的開(kāi)發(fā)與使用中基于事件序列的狀態(tài)檢測(cè)具有較高應(yīng)用價(jià)值，能滿足用戶對(duì)數(shù)據(jù)的各種各樣的檢測(cè)要求，靈活且易擴(kuò)展，動(dòng)態(tài)處理數(shù)據(jù)檢測(cè)匹配結(jié)果，為他們的決策提供有力的支持。針對(duì)此，我們提出開(kāi)發(fā)Cloud Action：基于復(fù)雜事件的云決策平臺(tái)。

價(jià)值主張

隨著虛擬技術(shù)的發(fā)展，從網(wǎng)絡(luò)計(jì)算到網(wǎng)格計(jì)算，再至今日的云計(jì)算，計(jì)算領(lǐng)域呈現(xiàn)出日漸復(fù)雜化的趨勢(shì)。而在云計(jì)算的過(guò)程中會(huì)產(chǎn)生眾多實(shí)時(shí)數(shù)據(jù)，如何從這些紛雜的實(shí)時(shí)數(shù)據(jù)中提取出用戶所需的信息，為用戶做出決策提供有力的支持，這是本設(shè)計(jì)的目標(biāo)所在。

一個(gè)完善的云計(jì)算系統(tǒng)應(yīng)當(dāng)提供給用戶一個(gè)平臺(tái)，用于定制用戶關(guān)心的事件，并及時(shí)通知事件的關(guān)心者或及時(shí)觸發(fā)執(zhí)行下一步動(dòng)作。

面對(duì)云計(jì)算中的眾多實(shí)時(shí)數(shù)據(jù)，作為不同的角色，各類用戶有各自不同的需求，他們所關(guān)心的事件類型各不相同，我們不可能將所有的事件全部呈現(xiàn)在管理員以及應(yīng)用開(kāi)發(fā)人員的面前，成百上千的監(jiān)控項(xiàng)足可以讓任何人頭疼不已。云計(jì)算的系統(tǒng)管理員可能更加關(guān)心底層硬件的使用狀況，作業(yè)的運(yùn)行狀況，目前可用主機(jī)的狀態(tài)，Jobslot滿足的約束條件。應(yīng)用開(kāi)發(fā)人員可能更關(guān)注于終端用戶的請(qǐng)求是否被妥善地處理，分發(fā)的作業(yè)是否得到有效的執(zhí)行；終端用戶則更加關(guān)注自己計(jì)算任務(wù)成功與否，何時(shí)才能完成。

簡(jiǎn)單的事件己經(jīng)不能滿足用戶的需要，用戶更關(guān)注于它們組合產(chǎn)生的復(fù)雜事件，通過(guò)組合使用戶可以探測(cè)出所需的信息，從而更好地做出相應(yīng)的決策，及時(shí)地采取行動(dòng)。

面對(duì)上述問(wèn)題，采用復(fù)雜事件處理是很好的解決方法。復(fù)雜事件處理（Complex Event Processing，CEP）是近年來(lái)逐漸得到重視與應(yīng)用的一種技術(shù)，它將傳統(tǒng)的先存儲(chǔ)靜態(tài)數(shù)據(jù)再進(jìn)行挖掘與處理的思路，轉(zhuǎn)變?yōu)樘幚頍o(wú)限的動(dòng)態(tài)事件流，更加符合現(xiàn)實(shí)世界的真實(shí)數(shù)據(jù)模式，能夠高效、即時(shí)地在數(shù)據(jù)洪流中過(guò)濾出相對(duì)少量的具有應(yīng)用意義的信息。復(fù)雜事件處理的核心思想是將查詢條件進(jìn)行存儲(chǔ)和索引，讓實(shí)時(shí)事件流經(jīng)過(guò)這些查詢條件，檢測(cè)這些事件是否觸發(fā)相應(yīng)的查詢條件。這樣就不需要每當(dāng)新的事件發(fā)生時(shí)去計(jì)算建立索引，從而大大縮短了事件處理時(shí)間。

Spring Source的Hyperic HQ目前已經(jīng)可以完善支持在單個(gè)時(shí)間點(diǎn)上基于單個(gè)資源以及多個(gè)資源的事件定制。但是在針對(duì)某一時(shí)間段內(nèi)事件序列的檢測(cè)上仍有待完善，而這一部分往往正是云計(jì)算應(yīng)用開(kāi)發(fā)用戶密切關(guān)注的：應(yīng)用開(kāi)發(fā)用戶或許不關(guān)心哪臺(tái)機(jī)器CPU利用率超標(biāo)了，但是他一定關(guān)心他創(chuàng)建的虛擬機(jī)是否在正常運(yùn)轉(zhuǎn)，他一定關(guān)心他目前的虛擬機(jī)多少是進(jìn)行I/O密集型操作以及計(jì)算密集型操作的。而上文所提到的“正常運(yùn)轉(zhuǎn)”，“I/O密集型操作”，“計(jì)算密集型操作”這些狀態(tài)明顯都不是幾個(gè)瞬時(shí)值就可以定義清楚的，而是需要滿足在一個(gè)時(shí)間范圍內(nèi)的某些條件或者事件序列，并且，針對(duì)同一個(gè)事件或者狀態(tài)，不用的用戶還可能有不同的理解。

同時(shí)，采用復(fù)雜事件處理技術(shù)進(jìn)行其他決策也是很具優(yōu)勢(shì)的。例如用其控制作業(yè)調(diào)度，Cloud Action能夠很好地支持這種應(yīng)用場(chǎng)景。在作業(yè)處理系統(tǒng)中，往往作業(yè)相互之間具有時(shí)序約束關(guān)系，有一些的約束條件甚為復(fù)雜，而可以通過(guò)定制的調(diào)度規(guī)則，當(dāng)檢測(cè)到事件流中相應(yīng)的約束條件都滿足時(shí)則觸發(fā)下一個(gè)調(diào)度任務(wù)。

同理，其他一些業(yè)務(wù)流程的控制也可以采用Cloud Action來(lái)完成。

構(gòu)架設(shè)計(jì)

如圖1所示，Cloud Action云決策平臺(tái)利用Hyperic HQ采集的數(shù)據(jù)，進(jìn)行數(shù)據(jù)分析和挖掘后供故障檢測(cè)、監(jiān)控和系統(tǒng)管理等上層應(yīng)用程序使用。

Hyperic HQ屏蔽了底層軟、硬件的異構(gòu)性，并可以將采集的各種系統(tǒng)數(shù)據(jù)傳送給Cloud Action，從而Cloud Action能夠很方便地進(jìn)行集成和部署。Cloud Action通過(guò)對(duì)由系統(tǒng)數(shù)據(jù)封裝成的事件進(jìn)行檢測(cè)或處理，發(fā)現(xiàn)其中用戶關(guān)心的有意義的事件，傳遞給上層應(yīng)用程序。Cloud Action采用了諸如結(jié)合許多事件的復(fù)雜模式檢測(cè)等技術(shù)，并通過(guò)事件層次結(jié)構(gòu)、事件之間的關(guān)系使用規(guī)則處理算法進(jìn)行事件關(guān)聯(lián)和抽象。事件之間的關(guān)系包括因果關(guān)系、成員關(guān)系和時(shí)間序列關(guān)系等。這些事件關(guān)系以及時(shí)間窗口限制被用于確定哪些事件具有意義。

Cloud Action的系統(tǒng)結(jié)構(gòu)如圖2所示。

Hyperic HQ Adapter模塊主要負(fù)責(zé)調(diào)用Hyperic HQ的API，獲取HQ的監(jiān)控?cái)?shù)據(jù)，將數(shù)據(jù)按照不同的時(shí)間與數(shù)據(jù)項(xiàng)，封裝成不同類型的事件，發(fā)送給事件流引擎。UserPortal模塊負(fù)責(zé)提供給應(yīng)用程序定制事件查詢規(guī)則。CEP Grammar Adapter模塊將用戶制定的規(guī)則轉(zhuǎn)換為事件描述語(yǔ)言（EQL）描述的查詢規(guī)則給CEP Engine。CEP Engine是Cloud Action的核心，它接收用戶定制的規(guī)則和Hyperic HQ采集的事件，獲取滿足規(guī)則的事件返回給UserPortal模塊。

而針對(duì)于底層的硬件資源監(jiān)控模塊，為了適應(yīng)于大規(guī)模場(chǎng)景，同時(shí)提供三個(gè)級(jí)別的數(shù)據(jù)信息：虛擬主機(jī)(VirtualHost)、虛擬主機(jī)集群(VirtualCluster)、虛擬主機(jī)結(jié)點(diǎn)（Node）。結(jié)點(diǎn)下可以區(qū)分多個(gè)集群，而虛擬主機(jī)集群可以將多個(gè)虛擬主機(jī)結(jié)合在一起進(jìn)行管理，使得層次結(jié)構(gòu)更為清晰。同時(shí)最后可以通過(guò)分析不同層次的數(shù)據(jù)，更好地進(jìn)行管理。而且可以在上面配置更高層的整體的分析。

圖 1 Cloud Action云決策平臺(tái)

圖 2 Cloud Action系統(tǒng)結(jié)構(gòu)