• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于氣象大數(shù)據(jù)云平臺的自動化告警應(yīng)用研究

      2022-01-23 07:10:52王添男李新慶徐曉慶黃艷紅王艷萍任柏帆
      寧夏工程技術(shù) 2021年4期
      關(guān)鍵詞:觸發(fā)器氣象調(diào)度

      王添男,李新慶,徐曉慶,黃艷紅,王艷萍,任柏帆

      (1.中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室,寧夏銀川 750021;2.寧夏氣象防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川 750021;3.中國電信股份有限公司 寧夏分公司,寧夏 銀川 750002)

      近年來,國家以及各省級氣象專家紛紛開展了氣象數(shù)據(jù)傳輸監(jiān)控的研究、建設(shè)工作。國家氣象信息中心建立了全國氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)(天鏡),初步實(shí)現(xiàn)了“全流程、一體化、可視化”的監(jiān)控流程[1]。向筱銘等[2]、李志鵬等[3]、趙冰等[4]等開發(fā)了數(shù)據(jù)傳輸監(jiān)控系統(tǒng),在解決本省氣象數(shù)據(jù)監(jiān)控問題的基礎(chǔ)上為專業(yè)人員有效監(jiān)控?cái)?shù)據(jù)帶來諸多方便[4]。隨著氣象業(yè)務(wù)在社會各行各業(yè)地位和作用的提升,社會各界對氣象預(yù)報(bào)的服務(wù)需求也越來越高,一些學(xué)者[5-7]認(rèn)為精細(xì)化是氣象工作發(fā)展的重要趨勢。張曉冬等[8]、邵明軒等[9]、王海賓等[10]設(shè)計(jì)開發(fā)了精細(xì)化城市天氣預(yù)報(bào)系統(tǒng)。上述學(xué)者中,有些是在氣象領(lǐng)域研究開發(fā)出一些產(chǎn)品,但是這些產(chǎn)品大多來自于不同的課題、項(xiàng)目,并且分散在不同的單位系統(tǒng)中[11];有些是基于為全國氣象部門提供統(tǒng)一數(shù)據(jù)環(huán)境的綜合氣象信息共享平臺(CIMISS)開展的研究[12]。這些研究沒有充分利用氣象大數(shù)據(jù)云平臺實(shí)現(xiàn)資源的有效整合,讓資源利用率達(dá)到最大化。

      目前,基于氣象大數(shù)據(jù)云平臺的研究工作還處于探索階段。本文結(jié)合氣象業(yè)務(wù)技術(shù)體制重點(diǎn)改革方案和信息化工程發(fā)展方向,對氣象大數(shù)據(jù)云平臺省級自動化運(yùn)維開發(fā)進(jìn)行了研究,主要工作包括:梳理省級氣象大數(shù)據(jù)云平臺數(shù)據(jù)傳輸流程,為自動化告警技術(shù)奠定數(shù)據(jù)基礎(chǔ);設(shè)計(jì)數(shù)據(jù)監(jiān)控和告警模塊,對體系架構(gòu)和核心功能模塊進(jìn)行詳細(xì)闡述;設(shè)計(jì)全流程監(jiān)控告警數(shù)據(jù)庫,給出系統(tǒng)的實(shí)驗(yàn)結(jié)果。

      1 氣象大數(shù)據(jù)云平臺數(shù)據(jù)傳輸流程

      氣象大數(shù)據(jù)云平臺作為全國氣象部門的核心信息化平臺,主要圍繞大數(shù)據(jù)資源進(jìn)行技術(shù)構(gòu)建,具備海量數(shù)據(jù)存儲、全業(yè)務(wù)貫通、數(shù)據(jù)高效應(yīng)用的能力,可提供“數(shù)算一體”的平臺化服務(wù),對天氣預(yù)報(bào)的精細(xì)化起到基礎(chǔ)數(shù)據(jù)支撐作用[13]。

      在大數(shù)據(jù)云平臺中,數(shù)據(jù)的全生命周期包括數(shù)據(jù)匯聚與分發(fā)、數(shù)據(jù)存儲與加工、大數(shù)據(jù)應(yīng)用與服務(wù)3 個(gè)階段,主要覆蓋數(shù)據(jù)收集、數(shù)據(jù)解碼、質(zhì)控清洗、產(chǎn)品加工、存儲管理、挖掘分析、訪問服務(wù)、預(yù)報(bào)和服務(wù)支撐等環(huán)節(jié)。數(shù)據(jù)全流程由省級氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)(天鏡)進(jìn)行統(tǒng)一監(jiān)控運(yùn)行,氣象大數(shù)據(jù)云平臺數(shù)據(jù)流程如圖1 所示。

      圖1 氣象大數(shù)據(jù)云平臺數(shù)據(jù)流程圖

      1.1 數(shù)據(jù)匯聚與分發(fā)

      數(shù)據(jù)收集的方式有多種,主要包括:利用本省以及外省觀測系統(tǒng)進(jìn)行氣象數(shù)據(jù)的收集;從政務(wù)信息共享平臺中獲取部委共享數(shù)據(jù);采用交換、眾創(chuàng)等多種渠道收集行業(yè)和社會用戶中與氣象相關(guān)的數(shù)據(jù)。數(shù)據(jù)分發(fā)過程以省級觀測系統(tǒng)為其中一個(gè)節(jié)點(diǎn)按需進(jìn)行共享分發(fā),對獲取的數(shù)據(jù)進(jìn)行快速解碼和質(zhì)控清洗,存入大數(shù)據(jù)資源庫,并同步到大數(shù)據(jù)云平臺備份中心和公共云節(jié)點(diǎn)。

      1.2 數(shù)據(jù)存儲與加工

      本階段基于加工流水線和算法庫,對收集到的大量基礎(chǔ)數(shù)據(jù)進(jìn)行深加工,形成高質(zhì)量的數(shù)據(jù)產(chǎn)品,回存到大數(shù)據(jù)資源庫。存儲管理模塊對數(shù)據(jù)產(chǎn)品按策略進(jìn)行管理,包括多庫副本同步、分級存儲遷移、備份歸檔等。挖掘分析模塊由大數(shù)據(jù)資源庫提供數(shù)據(jù)支撐,可進(jìn)行挖掘訓(xùn)練和建模。訪問服務(wù)模塊對所有數(shù)據(jù)資源提供統(tǒng)一的訪問服務(wù),包括數(shù)據(jù)檢索、計(jì)算、可視化和回寫,當(dāng)本地資源無法滿足時(shí),自動導(dǎo)航到大數(shù)據(jù)云平臺的其他節(jié)點(diǎn)提供服務(wù)。

      1.3 大數(shù)據(jù)應(yīng)用與服務(wù)

      本階段的數(shù)據(jù)流程包括兩個(gè)部分:后端產(chǎn)品加工和前端應(yīng)用服務(wù)。后端產(chǎn)品加工是指用戶按需將模型注冊到云平臺的算法庫中調(diào)度運(yùn)行,產(chǎn)品直接回寫到大數(shù)據(jù)云平臺中。前端應(yīng)用服務(wù)基于大數(shù)據(jù)云平臺服務(wù)接口,提供交互分析、數(shù)據(jù)檢索、數(shù)據(jù)匯交、可視化等應(yīng)用和服務(wù)功能。

      1.4 監(jiān)控流程

      數(shù)據(jù)全流程由省級氣象綜合業(yè)務(wù)實(shí)時(shí)監(jiān)控系統(tǒng)(天鏡)進(jìn)行統(tǒng)一監(jiān)控,采用兩橫兩縱一體化監(jiān)控布局,實(shí)現(xiàn)“全流程、一體化、可視化”的監(jiān)控流程[1]。監(jiān)控系統(tǒng)對每時(shí)次上傳的數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)收集(省級、國家局)、分發(fā)、入庫處理、專有云同步、數(shù)據(jù)訪問時(shí)效以及歷史數(shù)據(jù)查詢等模塊監(jiān)控,在氣象大數(shù)據(jù)云平臺中為數(shù)據(jù)生命周期提供全流程監(jiān)控。

      2 數(shù)據(jù)監(jiān)控及告警模塊的整體設(shè)計(jì)

      在定時(shí)任務(wù)調(diào)度領(lǐng)域中,Quartz 是一個(gè)功能豐富的輕量級開源作業(yè)調(diào)度庫[14],可單獨(dú)成為任務(wù)調(diào)度的應(yīng)用,也可以集成到任何Java 應(yīng)用中,支持JTA事務(wù)和集群,可以幫助用戶執(zhí)行任何想要執(zhí)行的規(guī)律性任務(wù)。Quartz 框架中核心概念包括:任務(wù)(Job)、觸發(fā)器(Trigger)、調(diào)度器(Scheduler)。Job 是任務(wù)實(shí)體,是用戶需要具體實(shí)現(xiàn)的任務(wù)類。JobDetail 用來描述Job 的實(shí)現(xiàn)類及其他相關(guān)的靜態(tài)信息。Trigger 是執(zhí)行任務(wù)的觸發(fā)器,會根據(jù)觸發(fā)規(guī)則去啟停任務(wù)或執(zhí)行任務(wù)實(shí)體設(shè)定的操作。Scheduler 是執(zhí)行任務(wù)調(diào)度的調(diào)度器,負(fù)責(zé)整合綁定Job 和Trigger[15]。

      2.1 數(shù)據(jù)監(jiān)控及告警模塊體系結(jié)構(gòu)

      Quartz 工作流程針對定期執(zhí)行的規(guī)律性任務(wù)設(shè)定觸發(fā)器,由調(diào)度器將任務(wù)和觸發(fā)器關(guān)聯(lián)之后決定任務(wù)的開啟、終止、等待或重啟。三要素各部分之間的體系結(jié)構(gòu)關(guān)系如圖2 所示。

      圖2 三要素體系圖

      天氣預(yù)報(bào)的精細(xì)化是現(xiàn)代天氣業(yè)務(wù)發(fā)展的標(biāo)志,是天氣預(yù)報(bào)技術(shù)發(fā)展到相對成熟階段的必然趨勢[16]。以精細(xì)化產(chǎn)品資料為例,在本系統(tǒng)中Job 的職責(zé)是查詢數(shù)據(jù)庫中的產(chǎn)品資料是否寫入,預(yù)判不同的情況并向用戶做出相應(yīng)的反饋。精細(xì)化預(yù)報(bào)產(chǎn)品在每日的多個(gè)時(shí)次都需要上傳數(shù)據(jù),其中對于到報(bào)時(shí)間成規(guī)律性的節(jié)點(diǎn)可設(shè)定相同的觸發(fā)條件執(zhí)行任務(wù),其他時(shí)次也可設(shè)定單獨(dú)的觸發(fā)器。Quartz 框架中存在4 種觸發(fā)器(圖2),系統(tǒng)采用相對比較靈活的CornTrigger 觸發(fā)器。Quartz 框架在調(diào)度器中封裝了多種方法,可決定任務(wù)執(zhí)行狀態(tài)。

      2.2 任務(wù)實(shí)體

      在任務(wù)實(shí)體Job 中預(yù)先定義希望在未來能被調(diào)度程序執(zhí)行的任務(wù),過程中需要編寫和任務(wù)實(shí)體Job 對應(yīng)的接口實(shí)現(xiàn)類,實(shí)現(xiàn)接口中execute 方法[17]。自定義任務(wù)的業(yè)務(wù)邏輯是在execute 方法中具體實(shí)現(xiàn)的。以具體項(xiàng)目為例,可預(yù)先定義的Job 任務(wù)類指需要實(shí)現(xiàn)查詢城鎮(zhèn)天氣預(yù)報(bào)數(shù)據(jù)RFFC 是否在有效時(shí)間內(nèi)上傳,并給出對應(yīng)的反饋?zhàn)層脩糁苤ob 只定義任務(wù)內(nèi)容(本項(xiàng)目中定義為RffcJob),而無關(guān)任務(wù)的觸發(fā)和調(diào)度。

      JobDetail 中可以為Job 實(shí)現(xiàn)類提供許多屬性設(shè)置,其中一些主要的靜態(tài)信息可在其中完成定義,主要包括JobDetail 的名稱、隸屬的組、JobClass 等,前提是首先需要創(chuàng)建JobDetail 實(shí)例,并與RffcJob 進(jìn)行綁定。

      其中RffcJob 需要實(shí)現(xiàn)Job 接口。withIdentity 中參數(shù)1 是設(shè)置任務(wù)的名稱,也是唯一的實(shí)例;參數(shù)2是設(shè)置任務(wù)組的名稱。

      2.3 觸發(fā)器

      Job 中包含了要執(zhí)行的任務(wù)邏輯,但是并不涉及如何執(zhí)行。系統(tǒng)中任務(wù)實(shí)體RffcJob 需要設(shè)計(jì)具體的觸發(fā)器Trigger 去觸發(fā)執(zhí)行指定的任務(wù)實(shí)體。在TriggerBuilder 中可以設(shè)置該觸發(fā)器一些最基本的功能,包括指定任務(wù)RffcJob 執(zhí)行時(shí)間、運(yùn)行的總次數(shù)、任務(wù)之間的執(zhí)行間隔、開始觸發(fā)時(shí)間、結(jié)束觸發(fā)時(shí)間等。4 類觸發(fā)器中最常用的有SimpleTrigger、CornTrigger。對需要在規(guī)定的時(shí)間內(nèi)僅執(zhí)行一次或需要以一定的規(guī)律重復(fù)執(zhí)行的簡單任務(wù),SimpleTrigger 就可以實(shí)現(xiàn)。CornTrigger 的觸發(fā)條件基于Corn 表達(dá)式之上,可以支持更具體、更復(fù)雜的調(diào)度。本平臺會根據(jù)Corn 表達(dá)式執(zhí)行任務(wù)并生成日志,值班員可查看日志判斷任務(wù)執(zhí)行情況和故障。

      在Quartz 框架的核心三要素中,Trigger 相對于Job 起到觸發(fā)驅(qū)動的作用,否則作業(yè)將無法運(yùn)行。Job和Trigger 之間存在一對多的關(guān)系,即項(xiàng)目中一個(gè)任務(wù)實(shí)體可以對應(yīng)多個(gè)Trigger,但是一個(gè)Trigger 只能服務(wù)于一個(gè)Job。本系統(tǒng)中一個(gè)CornTrigger 觸發(fā)器不能滿足任務(wù)的觸發(fā)條件,這種情況下可采用創(chuàng)建多個(gè)Trigger 并指派給同一個(gè)Job 的方式。

      2.4 調(diào)度節(jié)點(diǎn)

      調(diào)度器創(chuàng)建的方式有多種,系統(tǒng)中采用默認(rèn)實(shí)例化調(diào)度器的方式創(chuàng)建了工廠獲取調(diào)度的實(shí)例scheduler 作為與調(diào)度程序交互的主程序接口。在調(diào)度節(jié)點(diǎn)創(chuàng)建完成后,系統(tǒng)一直處于“待命”模式,它包含啟動、暫停、關(guān)聯(lián)Job 與Trigger、恢復(fù)、刪除等方法,會隨著start 和shutdown 方法的調(diào)用而啟停。Scheduler 通過調(diào)用scheduleJob 方法關(guān)聯(lián)任務(wù)實(shí)例和觸發(fā)器,保證按照觸發(fā)器定義的條件去執(zhí)行任務(wù)。具體指令為:scheduler.scheduleJob(jobDetail,trigger),其中第1 個(gè)參數(shù)是創(chuàng)建的任務(wù)實(shí)例,第2個(gè)參數(shù)是觸發(fā)器的名稱。

      3 數(shù)據(jù)庫設(shè)計(jì)及實(shí)驗(yàn)測試

      3.1 數(shù)據(jù)庫設(shè)計(jì)及實(shí)現(xiàn)

      在系統(tǒng)中省級氣象數(shù)據(jù)傳輸過程處于樞紐位置,承擔(dān)連接國家局和臺站以及各省級之間數(shù)據(jù)交流的任務(wù)。除此之外,氣象數(shù)據(jù)在氣象預(yù)報(bào)、公眾服務(wù)、氣候預(yù)測等方面的研究中起到基礎(chǔ)支撐作用。為了能夠提供更準(zhǔn)確和更全面的服務(wù),系統(tǒng)對數(shù)據(jù)傳輸?shù)臅r(shí)效性要求比較高。在數(shù)據(jù)表的設(shè)計(jì)中需要考慮收集和分發(fā)兩個(gè)方面的問題,具體設(shè)計(jì)見圖3。

      圖3 數(shù)據(jù)表設(shè)計(jì)

      氣象數(shù)據(jù)存在很多不同的種類,文中在上行傳輸?shù)?3 類數(shù)據(jù)中選擇城鎮(zhèn)天氣預(yù)報(bào)數(shù)據(jù)資料說明數(shù)據(jù)收集情況。圖3 顯示的數(shù)據(jù)表中字段較多,不同字段名的釋義可詳見表1。

      表1 數(shù)據(jù)表字段說明

      設(shè)計(jì)過程中選取表1 中WATCH_TIME 字段獲取當(dāng)前時(shí)次,賦值給查詢語句查詢當(dāng)日數(shù)據(jù)的到報(bào)情況。整體的查詢結(jié)果存在兩種情況:如果數(shù)據(jù)并未到報(bào),COUNT_REALCOLL(實(shí)收數(shù))字段為0,則調(diào)用執(zhí)行pm.music_fail 方法,提醒值班員報(bào)文未到;如果RFFC 數(shù)據(jù)已經(jīng)在合理時(shí)間內(nèi)到報(bào),數(shù)據(jù)表中COUNT_REALCOLL 字段會顯示具體的到報(bào)數(shù)目。以寧夏回族自治區(qū)為例,每日精細(xì)化預(yù)報(bào)數(shù)據(jù)資料上傳過程中,不同時(shí)次上傳的臺站數(shù)目不同。經(jīng)過判斷,符合上傳臺站的數(shù)據(jù)則調(diào)用執(zhí)行對應(yīng)的方法,告知值班員數(shù)據(jù)收集正常。

      3.2 實(shí)驗(yàn)測試

      實(shí)驗(yàn)測試所采用的數(shù)據(jù)均來自于氣象大數(shù)據(jù)云平臺(寧夏分系統(tǒng))實(shí)時(shí)監(jiān)控系統(tǒng)。每日數(shù)據(jù)量級可達(dá)到38 GB,數(shù)據(jù)均存儲在分布式數(shù)據(jù)庫Elasticsearch 中,監(jiān)控元數(shù)據(jù)存儲在MySQL 數(shù)據(jù)庫中,為平臺運(yùn)行提供基礎(chǔ)數(shù)據(jù)支撐。平臺的功能性、可用性、穩(wěn)定性、可維護(hù)性對系統(tǒng)的運(yùn)行至關(guān)重要,因此為確保系統(tǒng)能夠正常穩(wěn)定運(yùn)行,通過壓力測試和執(zhí)行測試兩個(gè)方面進(jìn)行性能評估。平臺部署在DELL 服務(wù)器上,并配置英特爾8 核64 位處理器,4.01 GHz、2 條8 GB 的內(nèi)存,該配置可滿足系統(tǒng)日常業(yè)務(wù)的讀寫操作需求。通過使用Jmeter 模擬多線程進(jìn)行壓力測試,初始化線程組相關(guān)信息如圖4 所示。

      圖4 Jmeter 初始化線程組

      圖5 為模擬測試聚合報(bào)告。測試表明:在高并發(fā)狀態(tài)下,壓測結(jié)果可滿足實(shí)際需求。

      圖5 模擬聚合報(bào)告

      目前系統(tǒng)試運(yùn)行6 個(gè)月且運(yùn)行穩(wěn)定。業(yè)務(wù)試運(yùn)行過程中,平臺能夠按照Corn 表達(dá)式設(shè)定的觸發(fā)條件調(diào)度執(zhí)行任務(wù),未出現(xiàn)差錯(cuò)。在報(bào)文收集異常的情況下,系統(tǒng)能夠自動執(zhí)行對應(yīng)程序,播放音頻提示值班員數(shù)據(jù)收集異常情況;到報(bào)正常的情況下,系統(tǒng)執(zhí)行數(shù)據(jù)收集正常的方法。

      4 結(jié)論

      監(jiān)控氣象數(shù)據(jù)傳輸過程是保證氣象數(shù)據(jù)質(zhì)量的基礎(chǔ),其在氣象預(yù)報(bào)、公眾服務(wù)、氣候預(yù)測等多方面的研究中起到支撐作用。氣象大數(shù)據(jù)云平臺能夠圍繞大數(shù)據(jù)資源進(jìn)行技術(shù)構(gòu)建,實(shí)現(xiàn)數(shù)據(jù)資源的有效整合。本文提出在氣象大數(shù)據(jù)云平臺中云化融入Quartz 定時(shí)任務(wù)框架實(shí)現(xiàn)數(shù)據(jù)資料傳輸監(jiān)控和自動化告警功能的設(shè)計(jì),能夠提升綜合氣象信息系統(tǒng)運(yùn)維監(jiān)控保障能力,增強(qiáng)本地自動化告警水平,為業(yè)務(wù)全流程的自動化監(jiān)控工作奠定了基礎(chǔ),同時(shí)為后續(xù)自動化運(yùn)維工作提供了一種解決思路和攻關(guān)方向。

      猜你喜歡
      觸發(fā)器氣象調(diào)度
      氣象
      氣象樹
      《內(nèi)蒙古氣象》征稿簡則
      《調(diào)度集中系統(tǒng)(CTC)/列車調(diào)度指揮系統(tǒng)(TDCS)維護(hù)手冊》正式出版
      一種基于負(fù)載均衡的Kubernetes調(diào)度改進(jìn)算法
      虛擬機(jī)實(shí)時(shí)遷移調(diào)度算法
      大國氣象
      主從JK觸發(fā)器邏輯功能分析
      電子世界(2017年22期)2017-12-02 03:03:45
      使用觸發(fā)器,強(qiáng)化安全性
      SVC的RTP封裝及其在NS2包調(diào)度中的應(yīng)用研究
      三穗县| 建瓯市| 日照市| 龙海市| 吉首市| 达拉特旗| 海宁市| 和静县| 勐海县| 炉霍县| 濮阳市| 伊吾县| 航空| 涿鹿县| 包头市| 长宁县| 中牟县| 会宁县| 岢岚县| 香河县| 定日县| 甘孜| 达孜县| 达州市| 翁牛特旗| 健康| 郑州市| 成武县| 赤峰市| 清苑县| 长白| 宝应县| 永定县| 新干县| 桃园市| 库伦旗| 永昌县| 庆云县| 平乡县| 齐齐哈尔市| 弥渡县|