• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      大數(shù)據(jù)時代氣象數(shù)據(jù)資源庫建設(shè)新趨勢探討

      2019-03-25 07:34:40汪華李波李玨王彪
      中國科技縱橫 2019年4期
      關(guān)鍵詞:大數(shù)據(jù)

      汪華 李波 李玨 王彪

      摘 要:近年來,互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和普及應(yīng)用使各行各業(yè)發(fā)生了翻天覆地的變化,各種信息的產(chǎn)生和傳播速度正在越來越快。而這些海量的信息數(shù)據(jù)也越來越成為一種重要的資源推動著社會經(jīng)濟快速發(fā)展,一個大數(shù)據(jù)時代正在悄然到來。在新時代環(huán)境下,氣象行業(yè)也應(yīng)積極轉(zhuǎn)變理念,以數(shù)據(jù)思維和技術(shù)來加快推動氣象服務(wù)的轉(zhuǎn)型升級。本文圍繞大數(shù)據(jù)時代下氣象數(shù)據(jù)資源庫建設(shè)的相關(guān)議題進行了探討,概述了大數(shù)據(jù)時代的數(shù)據(jù)思維特征,分析了氣象數(shù)據(jù)的特點和構(gòu)成,論述了大數(shù)據(jù)時代氣象大數(shù)據(jù)資源庫建設(shè)的新趨勢,旨在不斷提升我省氣象服務(wù)的數(shù)據(jù)分析技術(shù)水平,以更自信的姿態(tài)來迎接數(shù)據(jù)時代各項氣象工作挑戰(zhàn),更好地為社會民眾提供科學(xué)精準(zhǔn)的氣象服務(wù)。

      關(guān)鍵詞:大數(shù)據(jù);氣象數(shù)據(jù);數(shù)據(jù)應(yīng)用

      中圖分類號:P413 文獻標(biāo)識碼:A 文章編號:1671-2064(2019)04-0047-02

      0 引言

      隨著數(shù)據(jù)時代的來臨,數(shù)據(jù)的價值也越發(fā)體現(xiàn)。在氣象行業(yè)中,無論是氣象業(yè)務(wù)還是氣象科研都離不開氣象數(shù)據(jù),這些氣象數(shù)據(jù)為氣象決策、管理以及服務(wù)等方面提供了重要的基礎(chǔ)支持。目前,我省所保持管理的各類氣象數(shù)據(jù)已經(jīng)超過了1.2PB,增長速度呈現(xiàn)上升趨勢,這些數(shù)據(jù)不僅數(shù)量多,而且涵蓋了地面、高空、輻射、農(nóng)氣、雷達、衛(wèi)星以及預(yù)報等多個類別。在新的時代內(nèi),如何更好地把握氣象數(shù)據(jù)技術(shù)應(yīng)用的趨勢,使氣象數(shù)據(jù)發(fā)揮出更多的價值是當(dāng)下氣象部門及工作人員的全新挑戰(zhàn)。

      1 大數(shù)據(jù)時代的數(shù)據(jù)思維特征

      1.1 大數(shù)據(jù)概述

      大數(shù)據(jù)這一概念最初源自IT行業(yè),指的是巨量數(shù)據(jù)的集合。隨著大數(shù)據(jù)概念的提出以及數(shù)據(jù)技術(shù)的不斷落地,大數(shù)據(jù)的含義也從狹義向著廣義的方向發(fā)展,同時大數(shù)據(jù)的特征也越發(fā)凸顯[1]。比如被大眾所一致接受和認(rèn)可的5V特征:

      (1)數(shù)據(jù)呈現(xiàn)海量的特征;(2)數(shù)據(jù)處理速度更快的特征;(3)數(shù)據(jù)類別多樣化的特征;(4)數(shù)據(jù)價值與數(shù)據(jù)密度正相關(guān)的特征;(5)數(shù)據(jù)客觀性和真實性更高的特征。面對這些全新的數(shù)據(jù)特征,人們借助傳統(tǒng)的數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計以及數(shù)據(jù)管理模式和方法已經(jīng)不能滿足數(shù)據(jù)技術(shù)研究和應(yīng)用的要求,必須借助新的設(shè)備、方法和手段來對這些數(shù)據(jù)進行分析和處理,以發(fā)揮出它們潛在的信息資源價值。

      1.2 大數(shù)據(jù)時代的思維變革

      大數(shù)據(jù)時代的思維變革主要是沿著大數(shù)據(jù)時代的發(fā)展階段來轉(zhuǎn)變的。從本質(zhì)上來說,大數(shù)據(jù)時代是互聯(lián)網(wǎng)時代的升級版?;ヂ?lián)網(wǎng)時代為大數(shù)據(jù)時代創(chuàng)造了基礎(chǔ)設(shè)施環(huán)境和條件。在大數(shù)據(jù)時代的初始階段,人們只是積累和存儲了一定的數(shù)據(jù),對于數(shù)據(jù)的加工和利用并沒有深入的理解,在這一階段人們的思維更多是雜亂的,并沒有對大數(shù)據(jù)的應(yīng)用有清晰的目標(biāo)和路徑。而隨著大數(shù)據(jù)時代的發(fā)展和推移,行業(yè)或市場的變化速度越來越快,這時候的人們開始越來越意識到數(shù)據(jù)的重要性,并開始將它作為一種更高效地面對行業(yè)變化或市場變化的重要資源。這一階段,始作俑者是互聯(lián)網(wǎng)企業(yè),如阿里、騰訊等平臺型企業(yè),在這些企業(yè)中涌現(xiàn)出了越來越多的數(shù)據(jù)“加工”技術(shù),并嘗試將這些技術(shù)應(yīng)用到自身企業(yè)的實際發(fā)展和應(yīng)用中,來更好地面對市場變化,更高效地滿足客戶的需求,自此,大數(shù)據(jù)技術(shù)開始與實際生活有了真正意義上的聯(lián)系。隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用,社會上也出現(xiàn)了越來越多的專業(yè)數(shù)據(jù)技術(shù)和服務(wù)公司,這些創(chuàng)新型公司一方面具有專業(yè)的數(shù)據(jù)處理技術(shù),一方面試圖尋找更好的落地行業(yè)和領(lǐng)域,推動著大數(shù)據(jù)技術(shù)進入了快速發(fā)展和應(yīng)用的階段。至此,大數(shù)據(jù)技術(shù)才漸漸走入大眾的視線,成為真正影響人們?nèi)粘Ia(chǎn)和生活的一種新資源和新技術(shù)[2]。

      目前大數(shù)據(jù)技術(shù)已經(jīng)進入了快速發(fā)展和應(yīng)用的階段,它的理念也影響著人們的思維發(fā)生變化,主要的變化有三個方面[3]:(1)人們過去對少量數(shù)據(jù)的精確度給與很高的關(guān)注,而現(xiàn)在人們更多地關(guān)注大量數(shù)據(jù)所表現(xiàn)出的概率或趨勢,在這一概率或趨勢基礎(chǔ)上實現(xiàn)盡可能的精準(zhǔn)。(2)過去人們對數(shù)據(jù)往往是基于主觀來進行定性,判斷哪些是“正確”的,哪些是“有誤”的,而現(xiàn)在人們摒棄過去的主觀性,更多地依托數(shù)據(jù)技術(shù)和數(shù)據(jù)方法來進行判斷和決策,完全尊重數(shù)據(jù)分析結(jié)論的客觀性。(3)過去人們會對數(shù)據(jù)進行主觀性的篩選,將數(shù)據(jù)歸為“可用”的,或者是“無用”的,而現(xiàn)在人們對于采集到的所有數(shù)據(jù)都一視同仁,并沒有好壞之分,有用無用之分,反而采集的數(shù)據(jù)量越大對數(shù)據(jù)分析結(jié)果的準(zhǔn)確性越有利,即使有部分?jǐn)?shù)據(jù)對當(dāng)下的工作或研究是“無用”的,也同樣將之存儲保留,這一思維的轉(zhuǎn)變也預(yù)示著人們對數(shù)據(jù)資源巨大的潛在價值有更多的期待。

      2 氣象數(shù)據(jù)的特點與構(gòu)成

      2.1 氣象數(shù)據(jù)的特點

      對于氣象數(shù)據(jù)來說,除了具備大數(shù)據(jù)的所有特征之外,還具有行業(yè)內(nèi)的四大顯著特點。

      (1)氣象數(shù)據(jù)不僅量大,而且增長速度快。由于氣象數(shù)據(jù)涉及到時間和空間維度內(nèi)的物理量觀測或模擬,而每個維度內(nèi)又包含多項指標(biāo)或參數(shù),因此每時每刻都會產(chǎn)生大量的數(shù)據(jù),同時隨著觀測設(shè)備和技術(shù)的更新升級,數(shù)據(jù)增長速度也呈現(xiàn)指數(shù)爆發(fā)態(tài)勢。(2)氣象數(shù)據(jù)來源多,種類多,范圍廣。氣象數(shù)據(jù)的獲取有著多種渠道,如各地區(qū)的地面站、測風(fēng)站、探空站、輻射站、火箭站、氣象站、農(nóng)氣站等,這些不同類別的站點都為氣象機構(gòu)部門提供了新鮮的氣象數(shù)據(jù)。而氣象數(shù)據(jù)的范圍也非常廣泛,包括地面數(shù)據(jù)、邊界層數(shù)以及高空數(shù)據(jù)三大類別。其中在每一大類數(shù)據(jù)范圍內(nèi)又包含更細(xì)的種類,如地面數(shù)據(jù)類別內(nèi)又包含氣壓、氣溫、濕度、風(fēng)速、風(fēng)向、能見度、日照、降水等等內(nèi)容指標(biāo)。(3)氣象數(shù)據(jù)的時效性高。由于氣象信息時刻發(fā)生變化,因此氣象數(shù)據(jù)的采集、分析、處理也需要在盡可能短的時間內(nèi)完成,以滿足氣象工作的預(yù)見性,為廣大民眾的生產(chǎn)生活預(yù)留更多的準(zhǔn)備時間做好氣候或天氣變化的措施應(yīng)對。(4)氣象數(shù)據(jù)的潛在價值高。對于氣象數(shù)據(jù)來說,目前最主要的應(yīng)用是為大眾提供有效的氣象預(yù)報及相關(guān)服務(wù)工作。而隨著時代的發(fā)展,越來越多的行業(yè)和領(lǐng)域的技術(shù)融合性更強。如氣象數(shù)據(jù)與水文數(shù)據(jù)、地質(zhì)數(shù)據(jù)等融合為相關(guān)部門的研究和決策提供更全面的信息支持。此外,隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展,基于氣象信息服務(wù)的商業(yè)應(yīng)用場景也越來越多,如在旅游、交通、航天、生產(chǎn)、養(yǎng)殖等領(lǐng)域內(nèi),更加個性化的氣象信息服務(wù)也將迎來一定的市場空間,與多個相關(guān)領(lǐng)域加深融合,發(fā)揮出氣象數(shù)據(jù)越來越多的商業(yè)價值。

      2.2 氣象數(shù)據(jù)的構(gòu)成

      傳統(tǒng)時代的氣象數(shù)據(jù)主要包括氣候數(shù)據(jù)和天氣數(shù)據(jù),而大數(shù)據(jù)時代的氣象數(shù)據(jù)在構(gòu)成內(nèi)容上也有所增加,氣象大數(shù)據(jù)不僅包括傳統(tǒng)的氣象數(shù)據(jù),還包括氣象部門及研究人員針對這些數(shù)據(jù)進行分析和處理后所得到的過程數(shù)據(jù)和結(jié)果數(shù)據(jù)。隨著氣象行業(yè)與其他相關(guān)行業(yè)的深入融合,氣象大數(shù)據(jù)的構(gòu)成體系中也將有越來越多的相關(guān)分支內(nèi)容,由單一的氣象數(shù)據(jù)系統(tǒng)逐漸向著以氣象數(shù)據(jù)為中心向著相關(guān)相關(guān)領(lǐng)域分支不斷延伸的氣象大數(shù)據(jù)體系。而這也是未來物聯(lián)網(wǎng)時代各學(xué)科數(shù)據(jù)融合應(yīng)用的重要趨勢和體現(xiàn)。

      3 大數(shù)據(jù)時代氣象大數(shù)據(jù)資源庫建設(shè)的新趨勢

      3.1 氣象大數(shù)據(jù)資源庫的構(gòu)建

      氣象大數(shù)據(jù)資源庫的構(gòu)建主要圍繞5大系統(tǒng)+1套資源池的架構(gòu)進行建設(shè)。5大系統(tǒng)包含:產(chǎn)品交換系統(tǒng)、挖掘分析系統(tǒng)、存儲與服務(wù)系統(tǒng)、業(yè)務(wù)監(jiān)控系統(tǒng)、交換及質(zhì)控系統(tǒng),1套資源池由專有云+公有云的混合云架構(gòu)組成[4]。

      3.2 氣象大數(shù)據(jù)的多元數(shù)據(jù)存儲適配技術(shù)

      大數(shù)據(jù)時代的氣象數(shù)據(jù)增長量巨大,如何高質(zhì)量高效率地對存儲海量的數(shù)據(jù)是當(dāng)下氣象信息部門需要解決的重要問題。我們針對不同數(shù)據(jù)庫產(chǎn)品的多源數(shù)據(jù)存儲采用了不同的適配技術(shù):(1)分布式關(guān)系型數(shù)據(jù)庫存儲適配模型,基于關(guān)系型數(shù)據(jù)庫連接池相關(guān)組件,建立統(tǒng)一的氣象結(jié)構(gòu)化數(shù)據(jù)存儲適配模型,不同的存儲技術(shù)通過加載不同的驅(qū)動實現(xiàn)數(shù)據(jù)連接,通過標(biāo)準(zhǔn)SQL語句獲取不同數(shù)據(jù)庫中存儲的氣象數(shù)據(jù),支持常用的MySQL、Oracle語法;(2)分布式表格系統(tǒng)存儲適配模型?;趯Ψ植际奖砀裣到y(tǒng)數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計成果,建立統(tǒng)一的氣象實時交互應(yīng)用庫數(shù)據(jù)存儲適配模型,提供統(tǒng)一的插件接口,不同的存儲技術(shù)加載不同的組件,支持Cassandra、OTS等表格系統(tǒng)存儲插件;(3)分布式文件存儲/對象存儲適配模型,建立統(tǒng)一的氣象非結(jié)構(gòu)化數(shù)據(jù)文件訪問適配模型,提供文件數(shù)據(jù)訪問統(tǒng)一的數(shù)據(jù)獲取方式;(4)服務(wù)接口數(shù)據(jù)檢索、計算自動優(yōu)化適配,根據(jù)數(shù)據(jù)存儲管理系統(tǒng)的元數(shù)據(jù)信息,獲取數(shù)據(jù)存儲的位置和結(jié)構(gòu),分析性能最優(yōu)的數(shù)據(jù)檢索和計算所需的數(shù)據(jù)庫,從不同的數(shù)據(jù)庫中快速獲取數(shù)據(jù)和計算結(jié)果并進行聚合,提供高效服務(wù)。目前,針對不斷出現(xiàn)的各類氣象大數(shù)據(jù)難題,我們主要從系統(tǒng)架構(gòu)的科學(xué)設(shè)計以及數(shù)據(jù)算法的優(yōu)化來進行攻克,這也是未來氣象數(shù)據(jù)存取的重要研究方向[5]。

      3.3 氣象大數(shù)據(jù)的挖掘

      氣象數(shù)據(jù)的潛在價值并不外顯,可以說如果沒有有效的工具和方法,這些數(shù)據(jù)很多都是無意義和無價值的,因此想要充分利用好這一寶藏,我們必須借助各種技術(shù)工具和處理方法來對數(shù)據(jù)進行深度挖掘,使?jié)撛趦r值得到顯性的發(fā)揮。針對我省氣象大數(shù)據(jù)的開發(fā)和利用現(xiàn)狀,通過挖掘分析框架和相關(guān)智能算法等挖掘分析工具對我省氣象大數(shù)據(jù)進行挖掘分析,整個挖掘分析流程包含了評估發(fā)布、挖掘訓(xùn)練、模型編排、智能算法集成、數(shù)據(jù)準(zhǔn)備等。為我省氣象各級部門及研究人員所用[6]。

      3.4 氣象信息的發(fā)布

      隨著互聯(lián)網(wǎng)技術(shù)設(shè)施的普遍應(yīng)用,人們之間的聯(lián)系越來越便捷,越來越高效。目前在氣象領(lǐng)域內(nèi),多種移動軟件涌現(xiàn)出來,如天氣通、墨跡天氣等APP,為用戶提供了便捷的氣象資訊,讓用戶能夠隨時隨地了解到各地區(qū)的氣象信息。隨著用戶使用需求的不斷變化,未來這些氣象軟件的應(yīng)用功能也將越來越廣,不僅為用戶提供氣象情報,同時還與用戶的衣食住行等領(lǐng)域建立密切的聯(lián)系。如可以根據(jù)用戶的大量的使用和操作記錄建立用戶畫像,為用戶提供更有針對性的資訊和服務(wù),滿足用戶更多的日常需求。此外,隨著共享理念的發(fā)展,用戶不再僅僅是氣象服務(wù)的使用者和消費者,同時也會成為氣象資訊的提供者和分享者,這種氣象信息的發(fā)布在氣象災(zāi)害的防御工作上起到十分積極的作用。

      4 結(jié)語

      總之,在大數(shù)據(jù)時代,氣象數(shù)據(jù)的應(yīng)用將于人民的生產(chǎn)和生活有著越來越密切的聯(lián)系。我們氣象部門必須加快探索各種氣象數(shù)據(jù)分析技術(shù)和應(yīng)用技術(shù)的步伐,解決目前氣象數(shù)據(jù)分析應(yīng)用的各個難題,更自信地迎接數(shù)據(jù)時代的全面到來,為社會民眾提供更優(yōu)質(zhì)高效地氣象服務(wù)。

      參考文獻

      [1] 沈文海.氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析——《大數(shù)據(jù)時代》思維變革的適用性探討[J].中國信息化,2014(11):20-31.

      [2] 李社宏.大數(shù)據(jù)時代氣象數(shù)據(jù)分析應(yīng)用的新趨勢[J].陜西氣象,2014(2):41-44.

      [3] 沈文海.再析氣象大數(shù)據(jù)及其應(yīng)用[J].中國信息化,2016(1):85-96.

      [4] 汪惜今.淺析氣象大數(shù)據(jù)的未來應(yīng)用服務(wù)趨勢[J].信息通信,2017(4):290-291.

      [5] 徐繼華,馮啟娜,陳貞汝.智慧政府:大數(shù)據(jù)治國時代的來臨[M].北京:中信出版社,2014.

      [6] 王星.大數(shù)據(jù)分析:方法與應(yīng)用[M].北京:清華出版社,2013.

      猜你喜歡
      大數(shù)據(jù)
      基于在線教育的大數(shù)據(jù)研究
      中國市場(2016年36期)2016-10-19 04:41:16
      “互聯(lián)網(wǎng)+”農(nóng)產(chǎn)品物流業(yè)的大數(shù)據(jù)策略研究
      中國市場(2016年36期)2016-10-19 03:31:48
      基于大數(shù)據(jù)的小微電商授信評估研究
      中國市場(2016年35期)2016-10-19 01:30:59
      大數(shù)據(jù)時代新聞的新變化探究
      商(2016年27期)2016-10-17 06:26:00
      淺談大數(shù)據(jù)在出版業(yè)的應(yīng)用
      今傳媒(2016年9期)2016-10-15 23:35:12
      “互聯(lián)網(wǎng)+”對傳統(tǒng)圖書出版的影響和推動作用
      今傳媒(2016年9期)2016-10-15 22:09:11
      大數(shù)據(jù)環(huán)境下基于移動客戶端的傳統(tǒng)媒體轉(zhuǎn)型思路
      新聞世界(2016年10期)2016-10-11 20:13:53
      基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
      科技視界(2016年20期)2016-09-29 10:53:22
      數(shù)據(jù)+輿情:南方報業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
      中國記者(2016年6期)2016-08-26 12:36:20
      清水河县| 安化县| 马鞍山市| 闻喜县| 屏东县| 东乌珠穆沁旗| 遂溪县| 安吉县| 东辽县| 恩平市| 敖汉旗| 乌兰察布市| 琼中| 乌兰浩特市| 仁寿县| 道真| 夏邑县| 新建县| 突泉县| 石屏县| 定日县| 涟水县| 南郑县| 利辛县| 遵义县| 奇台县| 新巴尔虎右旗| 桂东县| 弥渡县| 顺义区| 体育| 新闻| 锡林浩特市| 承德县| 榆社县| 巍山| 宣威市| 天全县| 宁海县| 黄山市| 桃园市|