跨集群與全景監(jiān)控：簡(jiǎn)化而行

張貝貝

結(jié)合大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)以及企業(yè)訴求，思特奇自主研發(fā)了跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)，并對(duì)思特奇大數(shù)據(jù)集成平臺(tái)進(jìn)行升級(jí)改造，有力應(yīng)對(duì)和解決客戶痛點(diǎn)。

你是否正陷于多個(gè)集群作業(yè)調(diào)度的困境之中？你是否正苦苦尋找，百思不得其解故障發(fā)生的原因？

你的企業(yè)是否也遇到了類似的痛點(diǎn)？場(chǎng)景需求越來越復(fù)雜、越多樣化，集群數(shù)量越來越多，集群規(guī)模越來越大。對(duì)此，如何開展跨集群作業(yè)調(diào)度，如何進(jìn)行全方位的作業(yè)監(jiān)控以及迅速進(jìn)行故障定位，成為企業(yè)發(fā)展大數(shù)據(jù)必須解決的課題。

隨著越來越多的企業(yè)開始提出這樣的訴求，北京思特奇信息技術(shù)股份有限公司（以下簡(jiǎn)稱思特奇）結(jié)合大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)以及企業(yè)訴求，自主研發(fā)了跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)，并對(duì)思特奇大數(shù)據(jù)集成平臺(tái)進(jìn)行升級(jí)改造，有力應(yīng)對(duì)和解決客戶痛點(diǎn)。

厚積薄發(fā) 精益求精

談到跨集群統(tǒng)一調(diào)度和全景監(jiān)控技術(shù)的研發(fā)，北京思特奇信息技術(shù)股份有限公司大數(shù)據(jù)事業(yè)部總經(jīng)理王成剛談道：“思特奇已經(jīng)積累了七八年大數(shù)據(jù)平臺(tái)方面的相關(guān)技術(shù)，在這個(gè)堅(jiān)實(shí)的基礎(chǔ)之上，針對(duì)客戶的需求和痛點(diǎn)，2017年初我們重新整合再出發(fā)，研發(fā)了跨集群統(tǒng)一調(diào)度和全景監(jiān)控這兩項(xiàng)核心的技術(shù)?！?/p>

對(duì)此，北京思特奇信息技術(shù)股份有限公司大數(shù)據(jù)事業(yè)部CTO程艷偉強(qiáng)調(diào)：“這兩項(xiàng)技術(shù)的研發(fā)與出現(xiàn)主要是由場(chǎng)景應(yīng)用驅(qū)動(dòng)的。

隨著大數(shù)據(jù)應(yīng)用場(chǎng)景不斷豐富發(fā)展，特別是端到端一體化應(yīng)用，這些場(chǎng)景應(yīng)用由不同的任務(wù)構(gòu)成，而每種任務(wù)又區(qū)分為不同類型，不同類型的任務(wù)所需要的運(yùn)行環(huán)境不盡相同，每種不同的物理集群核心能力不同，不可能一個(gè)物理集群適用所有場(chǎng)景任務(wù)，因此將一個(gè)場(chǎng)景應(yīng)用中不同的任務(wù)分配到不同集群運(yùn)行，是集群資源利用最大化、效率最高的一種形式，在這種情況下，就需要跨集群統(tǒng)一調(diào)度。解決完統(tǒng)一調(diào)度后，還必須確保在各集群上運(yùn)行的任務(wù)順利成功完成以及跨集群依賴關(guān)系能夠有效執(zhí)行，需要全景監(jiān)控技術(shù)提供保障，做到對(duì)整個(gè)調(diào)度運(yùn)行的可視、可管、可控?！?/p>

據(jù)了解，思特奇從2017年初重點(diǎn)研發(fā)這兩項(xiàng)技術(shù)到現(xiàn)在，已經(jīng)經(jīng)歷了一年多的時(shí)間，在技術(shù)演進(jìn)過程中又有哪些難點(diǎn)呢？對(duì)此，程艷偉介紹。

第一個(gè)步驟是要解決跨集群的問題，如何實(shí)現(xiàn)跨集群的協(xié)調(diào)。

第二個(gè)步驟是對(duì)故障進(jìn)行定位，這一部分用傳統(tǒng)的做法需要投入很多的精力，但是效率卻不高?！岸y點(diǎn)是我們要把上下層打通，實(shí)現(xiàn)從應(yīng)用層到下面資源層面的一個(gè)關(guān)聯(lián)，實(shí)現(xiàn)了這個(gè)關(guān)聯(lián)之后，我們又做了可視化的工作，精準(zhǔn)定位到問題出在哪個(gè)地方?！?/p>

目前，雖然這兩項(xiàng)技術(shù)已經(jīng)相對(duì)比較成熟，但思特奇精益求精，還在不斷打磨，以求在實(shí)際應(yīng)用中能夠發(fā)揮更好的作用。

總體來看，大數(shù)據(jù)跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)，橫向可以跨集群協(xié)同管控，縱向可以從業(yè)務(wù)應(yīng)用穿透到CPU、內(nèi)存等資源使用情況。主要技術(shù)特點(diǎn)如下：

1.支持同構(gòu)運(yùn)行環(huán)境集群。

2.支持異構(gòu)運(yùn)行環(huán)境集群，包括關(guān)系型數(shù)據(jù)庫，支持：Hbase集群、Hadoop集群、Spark集群、MPP集群（如Gbase集群、GreenPlum集群、Vertica集群、分布式MySQL集群）、傳統(tǒng)關(guān)系型數(shù)據(jù)庫（如Oracle、Db2、TD、MySQL）。

3.支持多個(gè)集群數(shù)據(jù)處理任務(wù)在一個(gè)界面統(tǒng)一調(diào)度編排。

4.支持跨集群任務(wù)依賴。

5.支持從應(yīng)用、任務(wù)到平臺(tái)、設(shè)備垂直貫穿、端到端的一體化運(yùn)行監(jiān)控，即從應(yīng)用角度看一個(gè)應(yīng)用被劃分成多少任務(wù)，這些任務(wù)在哪些平臺(tái)運(yùn)行，在哪些節(jié)點(diǎn)上運(yùn)行，CPU、內(nèi)存等資源使用情況，便于及時(shí)發(fā)現(xiàn)有問題的任務(wù)、平臺(tái)、節(jié)點(diǎn)設(shè)備、資源等，進(jìn)行及時(shí)管控干預(yù)，如Hive腳本，其他節(jié)點(diǎn)都已完成、個(gè)別節(jié)點(diǎn)運(yùn)行時(shí)間過長(zhǎng)等問題。

6.支持從平臺(tái)設(shè)備資源層面往上看其所承載的應(yīng)用運(yùn)行情況。

全景監(jiān)控通過可視化及日志歸集分析技術(shù)實(shí)現(xiàn)端到端分析及故障定位，實(shí)現(xiàn)任務(wù)運(yùn)行全生命周期管控，可以從應(yīng)用到資源的運(yùn)行網(wǎng)絡(luò)拓?fù)渲腥魏我粋€(gè)點(diǎn)進(jìn)入，進(jìn)行360度洞察、遍歷，可以及時(shí)、準(zhǔn)確發(fā)現(xiàn)影響任務(wù)運(yùn)行時(shí)長(zhǎng)、運(yùn)行結(jié)果的原因。

從實(shí)踐中來 回到實(shí)踐中服務(wù)

文學(xué)作品的創(chuàng)作講究的是源于生活、高于生活，而程艷偉更愿意這樣形容思特奇研發(fā)的技術(shù)：“從實(shí)踐中來，回到實(shí)踐中服務(wù)?！痹撊绾卫斫膺@句話呢？

“跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)的需求來自于實(shí)踐，核心就是解決實(shí)踐中遇到的多集群作業(yè)協(xié)同以及故障迅速定位問題，而最終的目的是服務(wù)于實(shí)踐，也就是說這一技術(shù)很好的解決了實(shí)踐應(yīng)用中的問題。”程艷偉如是說。

對(duì)此，他還舉了一個(gè)具體的實(shí)例。在營(yíng)銷推薦方面，客戶信息、接觸信息等在Hadoop集群處理，矩陣分解以及關(guān)聯(lián)規(guī)則等在Spark集群處理，營(yíng)銷信息匹配結(jié)果同步到HBase集群，進(jìn)行被動(dòng)接觸營(yíng)銷，同時(shí)同步一份到短信網(wǎng)關(guān)，進(jìn)行主動(dòng)推送。

此外，集群作業(yè)運(yùn)行中，由于有大量不同作業(yè)在運(yùn)行，以及資源、數(shù)據(jù)等方面的問題，作業(yè)異常情況經(jīng)常出現(xiàn)，需要快速定位，解決問題。

過去，應(yīng)用調(diào)度部分發(fā)現(xiàn)作業(yè)宕掉或空跑，但是無法確定是哪個(gè)節(jié)點(diǎn)出了問題。在資源監(jiān)控層面，某節(jié)點(diǎn)運(yùn)行有問題，但是不知道是哪個(gè)應(yīng)用引起的，又會(huì)影響哪些。

基于這些真實(shí)的業(yè)務(wù)場(chǎng)景，通過思特奇大數(shù)據(jù)集成平臺(tái)，現(xiàn)在這些問題都可以解決，從應(yīng)用層面能夠一眼看到設(shè)備資源，從設(shè)備資源上能夠看到應(yīng)用作業(yè)情況，從而能夠快速進(jìn)行故障定位。

據(jù)了解，該技術(shù)目前已經(jīng)在山西移動(dòng)大數(shù)據(jù)運(yùn)營(yíng)管控中心項(xiàng)目中落地。通過該技術(shù)，山西移動(dòng)大數(shù)據(jù)運(yùn)營(yíng)管控中心實(shí)現(xiàn)了跨集群運(yùn)行任務(wù)的編排、審核、發(fā)布和指令調(diào)度，以及設(shè)備、平臺(tái)和應(yīng)用的全景運(yùn)維監(jiān)控視圖構(gòu)建，對(duì)大數(shù)據(jù)中心各系統(tǒng)日志進(jìn)行收集和監(jiān)控。

“我們最大的優(yōu)勢(shì)是我們通過這些實(shí)際的場(chǎng)景，把這些技術(shù)點(diǎn)打通，串聯(lián)在一起形成一種全局的、全景化的調(diào)度體系和監(jiān)控體系，我覺得這是我們的優(yōu)勢(shì)?！蓖醭蓜傉劦馈Ｆ鋵?shí)對(duì)于用戶來講，他們的訴求很清晰，一是運(yùn)維人員對(duì)技術(shù)不太精通，不會(huì)太關(guān)注底層龐大的、技術(shù)性架構(gòu)的東西。二是用戶更希望專注于業(yè)務(wù)的開發(fā)，實(shí)現(xiàn)業(yè)務(wù)的創(chuàng)新和價(jià)值。所以思特奇的平臺(tái)落地之后，只需要應(yīng)用人員接受簡(jiǎn)單的業(yè)務(wù)培訓(xùn)，就可以很好地駕馭。

內(nèi)外兼修 共贏產(chǎn)業(yè)生態(tài)

大數(shù)據(jù)發(fā)展到今天，早已脫離了概念認(rèn)知的階段，越來越多的實(shí)踐應(yīng)用越來越成熟，可以說，大數(shù)據(jù)正在進(jìn)一步拓展，并向更多的細(xì)分領(lǐng)域延伸。

王成剛認(rèn)為，不同的公司所切分的領(lǐng)域有所異同，對(duì)于思特奇來說，將會(huì)結(jié)合人工智能這個(gè)點(diǎn)進(jìn)行發(fā)力。在此背景下，大數(shù)據(jù)可能會(huì)發(fā)展到數(shù)據(jù)的鏈接、數(shù)據(jù)的采集以及邊緣計(jì)算的應(yīng)用。未來還會(huì)結(jié)合人工智能的發(fā)展進(jìn)入更多的業(yè)務(wù)領(lǐng)域，并創(chuàng)新商業(yè)模式，比如神經(jīng)網(wǎng)絡(luò)、類人腦的機(jī)器學(xué)習(xí)等。

然而，無論哪個(gè)時(shí)代，對(duì)于企業(yè)來說，把握時(shí)代發(fā)展趨勢(shì)，打造核心競(jìng)爭(zhēng)力，馭世而行才更重要。

對(duì)思特奇來說，該如何在如此激烈的市場(chǎng)中找到自己的位置，脫穎而出呢？

王成剛認(rèn)為，從自身來看，肯定還是要修煉企業(yè)的技術(shù)內(nèi)功，特別是對(duì)于思特奇這樣一個(gè)立足于技術(shù)的企業(yè)。而技術(shù)本身涉及兩個(gè)層面，第一點(diǎn)是集成能力，在堅(jiān)實(shí)的積累之上把各種技術(shù)結(jié)合起來，為應(yīng)用提供服務(wù);第二點(diǎn)是夯實(shí)技術(shù)底層的基礎(chǔ)技術(shù)，包括一些算法的優(yōu)化、技術(shù)原理的研究。

與此同時(shí)，要在一些深入的垂直領(lǐng)域做探索性研究，力求通過建立技術(shù)門檻打造核心競(jìng)爭(zhēng)力。

最后一點(diǎn)是與產(chǎn)業(yè)同仁共筑開放共贏的生態(tài)建設(shè)，就當(dāng)前看，一個(gè)企業(yè)想要取得成功離不開整個(gè)生態(tài)的發(fā)展。特別是健康的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)建立起來之后，思特奇會(huì)借助自身的優(yōu)勢(shì)，為整個(gè)生態(tài)貢獻(xiàn)價(jià)值，與產(chǎn)業(yè)鏈各方共筑共贏的環(huán)境。

一個(gè)產(chǎn)業(yè)能夠健康可持續(xù)的發(fā)展要靠產(chǎn)業(yè)生態(tài)的建設(shè)，產(chǎn)業(yè)生態(tài)的建設(shè)要靠各方企業(yè)的努力。做一個(gè)有追求、有社會(huì)責(zé)任感的企業(yè)，思特奇時(shí)刻準(zhǔn)備著并不斷踐行，通過持續(xù)打磨技術(shù)、創(chuàng)新商業(yè)模式，不斷為大數(shù)據(jù)產(chǎn)業(yè)生態(tài)貢獻(xiàn)力量。

訪談實(shí)錄

Q： 中國(guó)大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟、《軟件和集成電路》雜志

A： 北京思特奇信息技術(shù)股份有限公司大數(shù)據(jù)事業(yè)部總經(jīng)理王成剛

北京思特奇信息技術(shù)股份有限公司大數(shù)據(jù)事業(yè)部CTO程艷偉

Q：如何看待當(dāng)前國(guó)內(nèi)的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展？

王成剛：其實(shí)從大數(shù)據(jù)技術(shù)本身的發(fā)展來看，大數(shù)據(jù)的發(fā)展從底層基礎(chǔ)的技術(shù)到平臺(tái)建設(shè)再到數(shù)據(jù)的應(yīng)用，每個(gè)環(huán)節(jié)在國(guó)內(nèi)的發(fā)展都表現(xiàn)的不太相同。我們?cè)诘讓踊A(chǔ)軟件方面的研究還是比較弱的，起碼實(shí)力不強(qiáng)，包括我們用的Hadoop或者之前的關(guān)系數(shù)據(jù)庫等，原創(chuàng)不是在國(guó)內(nèi)，這算是一個(gè)短板。

然而，我們?cè)谡麄€(gè)應(yīng)用過程中又有非常廣闊的市場(chǎng)，所以我們?cè)趹?yīng)用層方面的貢獻(xiàn)還是比較大的?？梢哉f，我們是站在巨人的肩膀上來做應(yīng)用這件事，然后不斷對(duì)產(chǎn)品進(jìn)行優(yōu)化，逐漸地形成了我們自主研發(fā)的在特定領(lǐng)域的一些支撐技術(shù)和軟件。也就是說，我們的長(zhǎng)處是在實(shí)踐過程中進(jìn)行優(yōu)化、提升，來提高平臺(tái)的健壯性和穩(wěn)定性。

Q：跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)前景發(fā)展如何？

程艷偉：大數(shù)據(jù)未來發(fā)展必然是消除數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)互聯(lián)與融合。而數(shù)據(jù)孤島的消除并不是構(gòu)建一套物理集群，而是根據(jù)不同的業(yè)務(wù)類型以及集群不同的技術(shù)特點(diǎn)，構(gòu)建業(yè)務(wù)與技術(shù)相匹配的多個(gè)集群，充分發(fā)揮各自優(yōu)勢(shì)。

因此跨集群統(tǒng)一調(diào)度是必然趨勢(shì)，同時(shí)具備應(yīng)用作業(yè)的全景監(jiān)控能力，提升跨集群作業(yè)效率。

隨著大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，無論是垂直行業(yè)、還是智慧城市，無論是構(gòu)建企業(yè)級(jí)數(shù)據(jù)中心，還是構(gòu)建專業(yè)中心，多集群協(xié)同工作是剛性需求，因此跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)無論是現(xiàn)在，還是將來，必然市場(chǎng)廣闊，需要不斷發(fā)展、完善，做更多前瞻性設(shè)計(jì)，引領(lǐng)大數(shù)據(jù)跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)發(fā)展。

Q：在推廣上，思特奇的跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)未來如何推廣應(yīng)用？

程艷偉：跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)是思特奇大數(shù)據(jù)集成平臺(tái)的核心技術(shù)，按產(chǎn)品化部署模式或合作運(yùn)營(yíng)的方式推廣。

跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)可以對(duì)一個(gè)或多個(gè)集群作業(yè)進(jìn)行協(xié)同調(diào)度與監(jiān)控，契合大數(shù)據(jù)發(fā)展需求，能夠解決現(xiàn)在以及將來大數(shù)據(jù)應(yīng)用發(fā)展場(chǎng)景中跨集群作業(yè)調(diào)度及監(jiān)控的難題，極具推廣價(jià)值?？梢园刺资圪u，每套產(chǎn)品按照支撐的集群類型（每種類型分別標(biāo)價(jià)）、代理節(jié)點(diǎn)數(shù)，以及作業(yè)規(guī)模等進(jìn)行定價(jià)，一次性售賣，含部署安裝和售后服務(wù);另一種模式是合作運(yùn)營(yíng)模式，這種模式適用于大數(shù)據(jù)生態(tài)中，為不同的租戶提供跨集群調(diào)度與監(jiān)控服務(wù)，按作業(yè)類型、作業(yè)規(guī)模以及全景監(jiān)控使用量計(jì)費(fèi)。

行業(yè)應(yīng)用案例

案例名稱：大數(shù)據(jù)跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)在數(shù)據(jù)工坊產(chǎn)品中的應(yīng)用實(shí)踐

核心特點(diǎn)：數(shù)據(jù)工坊利用跨集群統(tǒng)一調(diào)度與全景監(jiān)控技術(shù)為平臺(tái)體系設(shè)計(jì)提供支持：實(shí)現(xiàn)面向不同受眾橫向設(shè)計(jì)三大門戶體系，提高大數(shù)據(jù)平臺(tái)能力開放駕馭能力;大數(shù)據(jù)平臺(tái)服務(wù)管控PaaS化，提供按需、受控的開發(fā)、運(yùn)維環(huán)境;數(shù)據(jù)服務(wù)能力創(chuàng)新：建立基于大數(shù)據(jù)平臺(tái)的流式數(shù)據(jù)服務(wù)能力和海量數(shù)據(jù)低延遲查詢服務(wù)能力;全景監(jiān)控體系建設(shè)：從工作流、任務(wù)全景圖、平臺(tái)全景圖、數(shù)據(jù)全景圖、設(shè)備全景圖等5個(gè)方面構(gòu)建監(jiān)控管理體系。

應(yīng)用解讀：思特奇數(shù)據(jù)工坊產(chǎn)品順應(yīng)時(shí)代要求正式開啟了利用大數(shù)據(jù)重構(gòu)支撐能力體系的序幕，幫助企業(yè)構(gòu)建大數(shù)據(jù)開發(fā)、管控能力中心，通過計(jì)算和數(shù)據(jù)的分離實(shí)現(xiàn)技術(shù)和業(yè)務(wù)解耦，助力企業(yè)實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用開發(fā)的簡(jiǎn)單化，可快速部署大量大數(shù)據(jù)分析應(yīng)用、營(yíng)銷創(chuàng)新應(yīng)用等，產(chǎn)生良好的經(jīng)濟(jì)效益。

應(yīng)用價(jià)值：思特奇數(shù)據(jù)工坊基于大數(shù)據(jù)平臺(tái)，為各行業(yè)客戶及各大運(yùn)營(yíng)商提供大數(shù)據(jù)系統(tǒng)整合、數(shù)據(jù)資產(chǎn)融合，數(shù)據(jù)和應(yīng)用的深度解耦的開發(fā)體系，完成數(shù)據(jù)的統(tǒng)一建模和管理，成為平臺(tái)再造的目標(biāo)，實(shí)現(xiàn)內(nèi)部跨條線和外部跨行業(yè)的數(shù)據(jù)整合，對(duì)內(nèi)支撐市場(chǎng)經(jīng)營(yíng)、網(wǎng)絡(luò)優(yōu)化、戰(zhàn)略決策，對(duì)外提供數(shù)據(jù)分析產(chǎn)品和服務(wù)，實(shí)現(xiàn)數(shù)據(jù)可管理、可共享、可增值;對(duì)外探索新的商業(yè)模式，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的直接價(jià)值體現(xiàn)，成為各合作伙伴結(jié)合自身實(shí)際，依托大數(shù)據(jù)解決當(dāng)前實(shí)際問題的重要平臺(tái)。

同時(shí)，產(chǎn)品為大數(shù)據(jù)應(yīng)用提供基礎(chǔ)開發(fā)、監(jiān)控平臺(tái)，使整個(gè)大數(shù)據(jù)平臺(tái)價(jià)值顯性化體現(xiàn)。在跨行業(yè)合作、數(shù)據(jù)變現(xiàn)方面獲得了相關(guān)行業(yè)的認(rèn)可和肯定。

目前正在溝通交流的包括公安局、銀行、旅游管理部門、旅游景區(qū)等，在合作交流過程中，相關(guān)單位對(duì)于數(shù)據(jù)工坊的大數(shù)據(jù)運(yùn)營(yíng)管理、開發(fā)水平、大數(shù)據(jù)產(chǎn)品的數(shù)據(jù)質(zhì)量表示了肯定，對(duì)于提高品牌形象、提供全民大數(shù)據(jù)認(rèn)知起到了推動(dòng)作用。