大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)探析

摘要：在社會(huì)經(jīng)濟(jì)科學(xué)等的全面發(fā)展促進(jìn)下，大數(shù)據(jù)時(shí)代的發(fā)展勢(shì)不可擋，大數(shù)據(jù)平臺(tái)也由此在不斷升級(jí)優(yōu)化，大數(shù)據(jù)在社會(huì)中的廣泛應(yīng)用使得人們?cè)桨l(fā)重視對(duì)大數(shù)據(jù)平臺(tái)的優(yōu)化改進(jìn)。從大數(shù)據(jù)平臺(tái)的本身特性方面來(lái)看，其工作全面性高、一體化強(qiáng)，并且在數(shù)據(jù)庫(kù)服務(wù)可用性監(jiān)控、資產(chǎn)管理、數(shù)據(jù)管理等各方面都能發(fā)揮作用，大數(shù)據(jù)平臺(tái)能夠?yàn)槠髽I(yè)提供一定的指導(dǎo)，幫助企業(yè)獲得更大的服務(wù)平臺(tái)，在運(yùn)營(yíng)過(guò)程中降低企業(yè)服務(wù)成本，從而有效提升企業(yè)經(jīng)濟(jì)效益。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái);自動(dòng)化運(yùn)維及監(jiān)控;技術(shù)應(yīng)用

引言：

在大數(shù)據(jù)發(fā)展的推動(dòng)下，現(xiàn)代智能化社會(huì)的建設(shè)正快速進(jìn)步，大數(shù)據(jù)技術(shù)在社會(huì)生活質(zhì)量提升中發(fā)揮著關(guān)鍵作用，繁雜的社會(huì)數(shù)據(jù)信息需要在智能計(jì)算機(jī)的基礎(chǔ)上結(jié)合云計(jì)算技術(shù)和大數(shù)據(jù)技術(shù)來(lái)進(jìn)行高效的分析處理。而大數(shù)據(jù)平臺(tái)的工作就是基于大數(shù)據(jù)信息的整合，進(jìn)一步將數(shù)據(jù)信息進(jìn)行分析處理、整合存儲(chǔ)的過(guò)程，對(duì)大數(shù)據(jù)的有序處理能夠提煉出其中包含的隱藏信息，將大數(shù)據(jù)的信息傳遞作用充分發(fā)揮出來(lái)，由于大數(shù)據(jù)平臺(tái)工作量極大，因此，大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維優(yōu)化與監(jiān)控技術(shù)的有效應(yīng)用十分關(guān)鍵。

一、大數(shù)據(jù)平臺(tái)監(jiān)控技術(shù)

（一）平臺(tái)體系架構(gòu)技術(shù)

平臺(tái)構(gòu)建技術(shù)在大數(shù)據(jù)平臺(tái)的構(gòu)建工作中發(fā)揮著基礎(chǔ)性的作用，建立穩(wěn)定的操作系統(tǒng)并在大數(shù)據(jù)平臺(tái)工作中進(jìn)行完善的維護(hù)工作能夠保證大數(shù)據(jù)平臺(tái)持續(xù)工作。建立一個(gè)完善的操作系統(tǒng)需要使用工具、分布式協(xié)調(diào)任務(wù)、分布式文件系統(tǒng)以及數(shù)據(jù)存儲(chǔ)等關(guān)鍵組成因素的有效結(jié)合，而健全的平臺(tái)管理維護(hù)系統(tǒng)的建立則能夠通過(guò)一個(gè)低成本PC服務(wù)器建立足夠大的數(shù)據(jù)集來(lái)完成。

（二）大數(shù)據(jù)建模技術(shù)

大數(shù)據(jù)建模技術(shù)能夠?yàn)榇髷?shù)據(jù)平臺(tái)的建立提供保障，為了有效完成大數(shù)據(jù)的有序管理、存儲(chǔ)，需要解決數(shù)據(jù)整合的分布和多源以及異構(gòu)問(wèn)題，在當(dāng)下數(shù)據(jù)建模的工作中，人們比較重視層次、關(guān)系網(wǎng)狀聯(lián)通和對(duì)象的面向性的討論，其在大數(shù)據(jù)建模方法形式的具體應(yīng)用可以直觀(guān)地呈現(xiàn)出大數(shù)據(jù)管理面臨的瓶頸。在實(shí)際大數(shù)據(jù)建模環(huán)節(jié)中，應(yīng)該保證在對(duì)大數(shù)據(jù)特征的歸納整合與關(guān)系梳理以及抽象化轉(zhuǎn)變的基礎(chǔ)上，進(jìn)行數(shù)據(jù)信息的進(jìn)一步處理，從而使大數(shù)據(jù)建模能夠完整全面并且具有一定科學(xué)性。

（三）自動(dòng)化運(yùn)維功能設(shè)計(jì)技術(shù)

自動(dòng)化運(yùn)維功能設(shè)計(jì)技術(shù)的運(yùn)用能夠保證對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的監(jiān)督管理工作，工作人員在遵照相應(yīng)設(shè)計(jì)理念的基礎(chǔ)上，需要將運(yùn)維資源合理分配到對(duì)象和功能上，在進(jìn)行這項(xiàng)工作時(shí)應(yīng)該注意明確目標(biāo)，并對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行不斷細(xì)化改進(jìn)，自動(dòng)化管理和維護(hù)方法的有效利用，能夠全面實(shí)現(xiàn)對(duì)數(shù)據(jù)的高效監(jiān)控和顯示。通過(guò)上述工作能夠獲得巡檢管理功能區(qū)、運(yùn)維監(jiān)控功能區(qū)、設(shè)備管理功能區(qū)、第三方平臺(tái)接入功能區(qū)、知識(shí)庫(kù)管理功能區(qū)以及信管中心功能區(qū)這六個(gè)功能區(qū)，這些特異性功能區(qū)的形成分別負(fù)責(zé)不同的工作，對(duì)數(shù)據(jù)獲取、檢查、監(jiān)控、維護(hù)、信息儲(chǔ)存與發(fā)布以及各個(gè)系統(tǒng)平臺(tái)建立聯(lián)系等工作采取行之有效的措施，確保數(shù)據(jù)的監(jiān)督管理工作順利進(jìn)行并綜合展示數(shù)據(jù)信息。

二、大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維體系

（一）平臺(tái)架構(gòu)

大型數(shù)據(jù)平臺(tái)管理系統(tǒng)的構(gòu)建是由任務(wù)分配和協(xié)調(diào)、分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)、資源管理和計(jì)算機(jī)以及數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)流等元素共同結(jié)合組成的，為了有效完成上述步驟，需要利用對(duì)應(yīng)的PC 服務(wù)器來(lái)建立大數(shù)據(jù)集群，在實(shí)現(xiàn)大數(shù)據(jù)集群的建立、維護(hù)和拓展工作的同時(shí)，還需要充分考慮制定完善的平臺(tái)設(shè)計(jì)和安裝必要的服務(wù)組織。

（二）平臺(tái)運(yùn)維任務(wù)

大數(shù)據(jù)平臺(tái)主要是由各種服務(wù)器集群共同組成的，以往的信息系統(tǒng)則是由一臺(tái)或者多臺(tái)服務(wù)器共同組成的，由此可見(jiàn)，大數(shù)據(jù)平臺(tái)運(yùn)維任務(wù)的完成情況是比從前的信息系統(tǒng)運(yùn)營(yíng)完成情況好很多的，傳統(tǒng)信息平臺(tái)的有效性意味著大數(shù)據(jù)平臺(tái)的運(yùn)行效率和任務(wù)執(zhí)行效率之間存在較大的差距，傳統(tǒng)信息平臺(tái)的硬件設(shè)備若是出現(xiàn)故障，那么信息系統(tǒng)就會(huì)直接受到該項(xiàng)工作停擺的影響，進(jìn)而無(wú)法繼續(xù)進(jìn)行正常工作，而大數(shù)據(jù)平臺(tái)則有所不同，若是大數(shù)據(jù)平臺(tái)發(fā)生了同樣的設(shè)備故障，相關(guān)系統(tǒng)對(duì)大數(shù)據(jù)平臺(tái)實(shí)時(shí)密切的監(jiān)控能夠使得監(jiān)督管理人員能夠在故障發(fā)生后以最快速度做出應(yīng)急反應(yīng)，及時(shí)對(duì)當(dāng)下問(wèn)題進(jìn)行上報(bào)，再進(jìn)一步維修更換受損設(shè)備，因此，確保系統(tǒng)的穩(wěn)定和服務(wù)可靠就能夠促使大數(shù)據(jù)平臺(tái)穩(wěn)定有效地運(yùn)行，相比之下，傳統(tǒng)信息系統(tǒng)就很難做到大數(shù)據(jù)平臺(tái)這樣高效、快速、及時(shí)的設(shè)備監(jiān)控維修反應(yīng)。大數(shù)據(jù)平臺(tái)的集群部署使得其能夠在運(yùn)行過(guò)程中的某個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題時(shí)不會(huì)影響其他環(huán)節(jié)的正常工作，在很大程度上保證了平臺(tái)工作的穩(wěn)定性。

（三）平臺(tái)運(yùn)維團(tuán)隊(duì)構(gòu)建

大數(shù)據(jù)平臺(tái)運(yùn)維團(tuán)隊(duì)的構(gòu)建會(huì)在一定程度上影響運(yùn)維工作，并且能夠?yàn)槠脚_(tái)構(gòu)建工作的后期進(jìn)行的關(guān)鍵基礎(chǔ)，因此，企業(yè)必須建設(shè)一支高素質(zhì)的大數(shù)據(jù)運(yùn)維隊(duì)伍，從而保證大數(shù)據(jù)平臺(tái)能夠穩(wěn)定運(yùn)行，在平臺(tái)運(yùn)維團(tuán)隊(duì)中，每一位成員都應(yīng)該具有足夠優(yōu)越的專(zhuān)業(yè)能力和技術(shù)水平，同時(shí)，這些人才的動(dòng)手能力、操作熟練程度、實(shí)踐能力都應(yīng)該是在標(biāo)準(zhǔn)水平以上的。此外，應(yīng)該健全完善運(yùn)維隊(duì)伍的結(jié)構(gòu)，組內(nèi)應(yīng)該完整地包含管理人員、平臺(tái)應(yīng)用軟件環(huán)境建設(shè)人員、技術(shù)人員以及安裝維護(hù)人員，從而保證各項(xiàng)工作都有對(duì)應(yīng)的專(zhuān)業(yè)人員負(fù)責(zé)，不同崗位的人員負(fù)責(zé)不同的大數(shù)據(jù)平臺(tái)運(yùn)維工作，組員們通過(guò)團(tuán)隊(duì)間的協(xié)同合作將平臺(tái)運(yùn)維工作的質(zhì)量效率進(jìn)行提升，充分保證大數(shù)據(jù)平臺(tái)自動(dòng)化運(yùn)維工作能夠得到大幅優(yōu)化促進(jìn)。

結(jié)語(yǔ)

結(jié)合上述分析可知，大數(shù)據(jù)平臺(tái)自動(dòng)化運(yùn)維的優(yōu)化及監(jiān)控技術(shù)的高效應(yīng)用對(duì)于促進(jìn)企業(yè)在大數(shù)據(jù)時(shí)代得到發(fā)展進(jìn)步有著重要作用，企業(yè)通過(guò)健全的大數(shù)據(jù)平臺(tái)能夠有效降低服務(wù)成本，改善運(yùn)營(yíng)情況，從而提高企業(yè)經(jīng)濟(jì)效益。大數(shù)據(jù)平臺(tái)能夠幫助企業(yè)有效的分析處理可用數(shù)據(jù)，從海量數(shù)據(jù)中提煉出有助于企業(yè)發(fā)展進(jìn)步的信息，并將數(shù)據(jù)進(jìn)行良好的存儲(chǔ)，以供未來(lái)工作參考使用，總體而言，大數(shù)據(jù)平臺(tái)為企業(yè)的服務(wù)質(zhì)量提升與發(fā)展進(jìn)步帶來(lái)了極大的便利。

參考文獻(xiàn)：

[1]王二輝，周高強(qiáng)，李英杰，孫亞平.基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究[J].通訊世界，2020，27（01）：158-159.

[2]葉枝平，蘇立偉，楊秋勇，胡如樂(lè).基于大數(shù)據(jù)平臺(tái)的營(yíng)銷(xiāo)監(jiān)控自動(dòng)化運(yùn)維探索研究[J].電子世界，2019（22）：30-32.

[3]曾怡.基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究[J].科技創(chuàng)新導(dǎo)報(bào)，2018，15（25）：1-

作者簡(jiǎn)介：袁梓涵（1992-），男，漢族，四川資陽(yáng)，助理工程師，工學(xué)學(xué)士。主要研究方向：云計(jì)算及大數(shù)據(jù)分析。