張 海
(中山大學新華學院,廣州 510520)
隨著現(xiàn)代信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,信息網(wǎng)絡已經(jīng)全面滲透到人們生活的各個方面,人們的工作和生活已經(jīng)完全離不開現(xiàn)代信息科技和計算機技術(shù)。在地質(zhì)調(diào)查工作中,大數(shù)據(jù)集成服務的框架和體系已經(jīng)基本建立,當前的大數(shù)據(jù)處理框架中,大量使用了現(xiàn)代的大數(shù)據(jù)文本搜索技術(shù),機器人學習與數(shù)據(jù)挖掘等技術(shù)。這些技術(shù)對于地質(zhì)調(diào)查工作的發(fā)展,產(chǎn)生了重大的推動作用,但還遠遠不能滿足現(xiàn)狀。地質(zhì)調(diào)查工作是一項十分復雜且重要的工作,工作中需要處理的數(shù)據(jù)十分龐大,也十分復雜,所以,如何有效利用數(shù)據(jù),實現(xiàn)數(shù)據(jù)的價值,提升服務技術(shù)的覆蓋率,真正發(fā)揮其作用,是人們關(guān)注的焦點問題。
數(shù)字填圖包括野外地質(zhì)調(diào)查數(shù)據(jù)獲取技術(shù)及其成果一體化描述、組織、存儲、集成和發(fā)布,能完成野外手圖、總圖、材料圖、地質(zhì)圖等數(shù)據(jù)的儲存、交換和傳遞。并且對日常工作進行梳理,建立完成的數(shù)據(jù)庫,強調(diào)地質(zhì)圖和三維地質(zhì)模型等產(chǎn)品的價值,注重這些產(chǎn)品的不斷更新和發(fā)展。在地質(zhì)調(diào)查中,數(shù)據(jù)初始來源于地質(zhì)人員的直接觀察和思考,野外地質(zhì)調(diào)查數(shù)據(jù)的獲取技術(shù)是數(shù)字填圖技術(shù)的核心,而地質(zhì)調(diào)查與野外填圖數(shù)據(jù)的匯總,在數(shù)據(jù)模型中對相應的數(shù)據(jù)進行分析,提高野外地質(zhì)勘查路線規(guī)劃的定量化描述,工作的精準度得到顯著提升,改變了傳統(tǒng)的數(shù)據(jù)采集的空間定位和采集方式。在空間數(shù)據(jù)采集和處理方面,以數(shù)據(jù)編稿原圖為基礎,保證模型中的非結(jié)構(gòu)化的綜合數(shù)據(jù)能不斷被革新,完善和充實數(shù)據(jù)。地址三維模型主要是對地址填圖的PRB過程進行羅占,構(gòu)建雙重的三維模型技術(shù)。數(shù)字填圖數(shù)據(jù)集成服務技術(shù),在地質(zhì)調(diào)查工作中的應用發(fā)揮著重要的作用,數(shù)據(jù)模型的構(gòu)建,改變了傳統(tǒng)的工作模式,完善大數(shù)據(jù)環(huán)境下,局域網(wǎng)數(shù)據(jù)集成處理,并很好的實現(xiàn)了數(shù)據(jù)的交互和傳遞。
地質(zhì)調(diào)查中,網(wǎng)絡大數(shù)據(jù)處理的基本框架已經(jīng)建立并逐漸完善,在大數(shù)據(jù)處理流程中,涉及的大數(shù)據(jù)框架的數(shù)字填圖數(shù)據(jù)技術(shù)的應用,是十分重要且關(guān)鍵的一項技術(shù),也是流程中非常重要的一個環(huán)節(jié),其應用優(yōu)勢十分明顯。大數(shù)據(jù)處理使用Avro作為數(shù)據(jù)序列化的重要工具,對已有的地質(zhì)勘查數(shù)據(jù)結(jié)果進行轉(zhuǎn)化,方便數(shù)據(jù)的相互傳遞,將其轉(zhuǎn)化為常用的格式,然后存儲到地調(diào)網(wǎng)中。為了不斷滿足高并發(fā)、低延時、交互式處理的需求,需要一個分布式的并行存取的數(shù)據(jù)庫,最終實現(xiàn)對數(shù)據(jù)資源的有效組織和管理。數(shù)字填圖數(shù)據(jù)集成服務系統(tǒng)中,就是利用大數(shù)據(jù)處理的規(guī)范化流程,選用分布式存儲工具,構(gòu)建一個面向列的分布式數(shù)據(jù)庫,能對大數(shù)據(jù)進行更精準的處理,能實現(xiàn)大規(guī)模的隨機、實施查詢和訪問,數(shù)據(jù)的共享變得更加方便,自如的進行大數(shù)據(jù)的存儲,對數(shù)據(jù)結(jié)構(gòu)化和非結(jié)構(gòu)化的存取,也是非常規(guī)范的,整個信息網(wǎng)格平臺,大數(shù)據(jù)處理的種類繁多,而集成服務技術(shù),能將同類型的數(shù)據(jù)組織在一起,以便與數(shù)據(jù)的訪問,便于數(shù)據(jù)分析和挖掘,其技術(shù)應用效果明顯。
數(shù)字填圖數(shù)據(jù)集成服務技術(shù)在大數(shù)據(jù)環(huán)境中,應用于地質(zhì)調(diào)查工作中,是一項重大的工作突破,也是拓展工作服務領(lǐng)域的重要舉措。但是,面對大數(shù)據(jù)的復雜環(huán)境,工作本身的復雜性,數(shù)字填圖數(shù)據(jù)技術(shù)集成服務管理成為一項重要的工作任務,如何提升集成服務數(shù)控的有效管理,在保證數(shù)據(jù)被合理利用的同時,還能保證數(shù)據(jù)的安全
大數(shù)據(jù)環(huán)境推動了現(xiàn)代技術(shù)不斷走向集成化和數(shù)字化,數(shù)字填圖數(shù)據(jù)集成服務技術(shù)就是時代發(fā)展的重要產(chǎn)物,改變了數(shù)據(jù)處理方法,不斷完善數(shù)據(jù)挖掘和開發(fā)的技能。為了進一步實現(xiàn)數(shù)字填圖數(shù)據(jù)集成服務技術(shù)的應用和推廣,必須加強集成服務技術(shù)的應用管理,注重大數(shù)據(jù)的處理框架的構(gòu)建和管理,全面對大數(shù)據(jù)處理進行規(guī)范化管理。
[1] 康瑛石,鄭子軍.大數(shù)據(jù)整合機制與信息共享服務實現(xiàn)[J].電信科學,2014,30(12):97-102.
[2] 張秀東.電力調(diào)控大數(shù)據(jù)集成及管理技術(shù)研究與應用[D].哈爾濱工業(yè)大學,2016.
[3] 王藝霏,許大衛(wèi),李賢等.基于服務匹配的電網(wǎng)大數(shù)據(jù)服務資源整合技術(shù)[J].電子技術(shù)應用,2016(z1).
[4] 余小高,余小鵬.基于Web服務、移動代理和本體的教育大數(shù)據(jù)集成研究[J].信息通信,2017(9):35-38.
[5] 謝榕,劉亞文,李翔翔.大數(shù)據(jù)環(huán)境下衛(wèi)星對地觀測數(shù)據(jù)集成系統(tǒng)的關(guān)鍵技術(shù)[J].地球科學進展,2015,30(8):855-862.