郭猛猛
(安徽省勘查技術(shù)院,安徽 合肥 230031)
2014年11月,我國首個(gè)地質(zhì)大數(shù)據(jù)平臺在西藏地調(diào)院試運(yùn)行。該平臺以大數(shù)據(jù)技術(shù)為依托,通過開發(fā)適應(yīng)多種類、表現(xiàn)形式多樣的地質(zhì)大數(shù)據(jù)的關(guān)鍵技術(shù),實(shí)現(xiàn)了地質(zhì)大數(shù)據(jù)的一鍵式存儲、組織、管理、快速檢索與智能挖掘等。
2015年貴州地質(zhì)科技園正式開園,成為國內(nèi)第一家以地質(zhì)元素為主題,以地質(zhì)大數(shù)據(jù)、地質(zhì)大生態(tài)引領(lǐng)發(fā)展的科技創(chuàng)新園區(qū);2016年貴州省建設(shè)國家大數(shù)據(jù)(貴州)綜合試驗(yàn)區(qū),成為首個(gè)國家級大數(shù)據(jù)綜合試驗(yàn)區(qū)。
2015年山東省投資2個(gè)多億,第一期投資6 000萬建設(shè)智慧地礦工程。該工程是將GIS、大數(shù)據(jù)、云計(jì)算等現(xiàn)代信息技術(shù)與地質(zhì)工作相結(jié)合,采集近60年來覆蓋山東省15萬km2范圍內(nèi)的地質(zhì)原始資料和成果數(shù)據(jù),實(shí)現(xiàn)地礦數(shù)據(jù)從數(shù)字到信息、從信息到知識、從知識到應(yīng)用的轉(zhuǎn)化,從而達(dá)到地質(zhì)科普、服務(wù)決策、模式復(fù)制、地質(zhì)工作方式創(chuàng)新的目的。
2017年2月,湖北省地質(zhì)局以構(gòu)建“湖北省地質(zhì)局地質(zhì)大數(shù)據(jù)平臺建設(shè)”進(jìn)行項(xiàng)目專題調(diào)研,并于2018年6月份開始基礎(chǔ)建設(shè)采購。
2017年廣東省投資約4 900萬以集聚廣東全省地質(zhì)數(shù)據(jù)構(gòu)建綜合的大型數(shù)據(jù)中心為核心建設(shè)智慧地質(zhì)?,F(xiàn)廣東省智慧地質(zhì)工程尚處在數(shù)據(jù)中心建設(shè)初步階段。
2017年11月,中國地質(zhì)調(diào)查局“地質(zhì)云V1.0”正式上線運(yùn)行。中國地質(zhì)調(diào)查局積極貫徹落實(shí)黨中央及國土資源部大數(shù)據(jù)與信息化建設(shè)總體部署,圍繞建設(shè)世界一流的新型地質(zhì)調(diào)查局,啟動“地質(zhì)云”建設(shè)工作,旨在依托云計(jì)算、互聯(lián)網(wǎng)+、大數(shù)據(jù)等信息技術(shù),消除數(shù)字鴻溝,整合共享數(shù)據(jù)資源,力爭建成國內(nèi)權(quán)威,國際一流地質(zhì)大數(shù)據(jù)中心和“地質(zhì)云”服務(wù)平臺體系,實(shí)現(xiàn)地質(zhì)信息的開放與共享。
此外,云南、河南、山西等省也相繼啟動了地質(zhì)大數(shù)據(jù)信息化建設(shè)工作。
到目前為止,地質(zhì)方面已經(jīng)完成了全省1∶20萬區(qū)調(diào)圖幅、1∶50萬系列地質(zhì)圖、安徽省礦產(chǎn)圖、安徽省鐵銅礦產(chǎn)分布圖、安徽省大別山地區(qū)1∶5萬片區(qū)總結(jié),省內(nèi)在基巖區(qū)開展的1∶5萬區(qū)調(diào)共151幅,新發(fā)現(xiàn)礦床(點(diǎn))約200處,涉及30余個(gè)礦種;物探方面完成了全省大部分地區(qū)1∶20萬比例尺區(qū)域重力調(diào)查和1∶5萬及更大比例尺航磁數(shù)據(jù)采集;化探方面完成了安徽省蚌埠幅1∶20萬新一輪區(qū)域化探掃面等成果、18份1∶20萬區(qū)域化探掃面成果以及1∶50萬安徽省區(qū)域重砂成果圖,撰寫了《安徽省區(qū)域重砂成果》報(bào)告。
安徽省地學(xué)數(shù)據(jù)庫建設(shè)起步較早,1991年開展了“礦點(diǎn)(床)數(shù)據(jù)庫管理系統(tǒng)”、“物化探異常數(shù)據(jù)庫管理系統(tǒng)”的開發(fā)和數(shù)據(jù)庫建設(shè);1994年建立“安徽省巖石地層數(shù)據(jù)庫”;1997年完成了“安徽省1∶50萬數(shù)字地質(zhì)圖”的編制,建立了相應(yīng)的地質(zhì)圖空間數(shù)據(jù)庫。1999年,全國地質(zhì)大調(diào)查工作啟動,先后完成了“安徽省1∶20萬地質(zhì)圖空間數(shù)據(jù)庫”、“安徽省1∶20萬自然重砂數(shù)據(jù)庫”、“安徽省礦產(chǎn)地?cái)?shù)據(jù)庫”、“安徽省地質(zhì)工作程度數(shù)據(jù)庫”等數(shù)據(jù)庫建設(shè)。
根據(jù)建設(shè)目標(biāo)和內(nèi)容分析,安徽地質(zhì)信息化平臺主要面向安徽省地礦局內(nèi)部用戶、地質(zhì)行業(yè)用戶、政府部門用戶和社會公眾用戶。
(1)地礦局內(nèi)部用戶。省地礦局內(nèi)部用戶除包括管理決策人員外,還包括地質(zhì)、礦產(chǎn)、水工環(huán)等相關(guān)基層單位生產(chǎn)人員和科研人員,以及平臺的運(yùn)維人員。
(2)地質(zhì)行業(yè)用戶。地質(zhì)行業(yè)用戶主要指除地礦局內(nèi)部用戶以外的用戶,平臺為這類用戶提供一定范圍內(nèi)數(shù)據(jù)的共享服務(wù),以及可能提供的地質(zhì)數(shù)據(jù)分析服務(wù)等,同時(shí)他們也是安徽省地質(zhì)大數(shù)據(jù)云平臺主要的使用推廣對象。
(3)政府部門用戶。地質(zhì)信息是國民經(jīng)濟(jì)建設(shè)中的基礎(chǔ)性資料,廣泛應(yīng)用在城市規(guī)劃、國土、水利、交通、環(huán)境、農(nóng)業(yè)、地震、安全、能源、旅游等眾多行業(yè)領(lǐng)域,對這些行業(yè)的業(yè)務(wù)工作具有重要的支撐作用。可以預(yù)見,未來安徽省地質(zhì)大數(shù)據(jù)云平臺對接安徽省政務(wù)云后,地質(zhì)信息必然會優(yōu)先共享給各個(gè)行業(yè)廳局委辦。
(4)社會公眾用戶。公眾用戶對本項(xiàng)目的平臺和系統(tǒng)沒有主觀的使用需求,但省地礦局作為地質(zhì)行業(yè)的專業(yè)單位,肩負(fù)著面向公眾提供地質(zhì)科普,引導(dǎo)公眾對地質(zhì)業(yè)務(wù)認(rèn)知的社會責(zé)任。
圍繞建立全面統(tǒng)一的安徽省地質(zhì)大數(shù)據(jù)庫和地質(zhì)大數(shù)據(jù)服務(wù)平臺,對安徽省地礦局內(nèi)的數(shù)據(jù)資源情況進(jìn)行了調(diào)研分析。通過調(diào)研,主要有地質(zhì)專業(yè)數(shù)據(jù)、項(xiàng)目檔案資料、遙感衛(wèi)星數(shù)據(jù)三大類數(shù)據(jù)應(yīng)進(jìn)行內(nèi)部建庫歸檔,并服務(wù)于各地礦單位。同時(shí),考慮到重力數(shù)據(jù)、土地類專題調(diào)查類數(shù)據(jù)等多為涉密數(shù)據(jù),故平臺中對此類數(shù)據(jù)應(yīng)進(jìn)行整理并存檔到基礎(chǔ)數(shù)據(jù)庫,在涉密工作環(huán)境下使用[1]。
3.3.1 技術(shù)需求
(1)異構(gòu)存儲架構(gòu)的統(tǒng)一管理。平臺需要存儲的數(shù)據(jù)具有種類繁多、體量大等特點(diǎn),不僅有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),同時(shí)具有大量的半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),需要在傳統(tǒng)關(guān)系型數(shù)據(jù)庫存儲的基礎(chǔ)上,提供大數(shù)據(jù)的分布式存儲,才能滿足各種海量大數(shù)據(jù)存儲的需求。為了方便管理,需要實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫與分布式存儲框架的統(tǒng)一管理、維護(hù),才能夠達(dá)到地質(zhì)大數(shù)據(jù)服務(wù)的預(yù)期目標(biāo),體現(xiàn)出安徽省地質(zhì)大數(shù)據(jù)云平臺建設(shè)的服務(wù)效能。
(2)分布式處理框架的統(tǒng)一管理。平臺未來整體數(shù)據(jù)量將達(dá)到PB級,含空間數(shù)據(jù)、非空間數(shù)據(jù)。平臺需要針對不同的應(yīng)用需求提供不同的大數(shù)據(jù)處理框架:第一個(gè)框架是處理大規(guī)模業(yè)務(wù)數(shù)據(jù),包括MapReduce、Hive和Spark等;第二個(gè)框架是查詢大數(shù)據(jù)框架,包括GIS Tools for Hadoop等。為了方便管理,需要針對不同處理框架實(shí)現(xiàn)統(tǒng)一的生命周期管理、算法作業(yè)管理等功能[2]。
(3)地質(zhì)大數(shù)據(jù)管理。平臺需要基于基礎(chǔ)地理信息、地質(zhì)信息整合各行業(yè)的專題數(shù)據(jù),形成安徽省統(tǒng)一的地質(zhì)大數(shù)據(jù)服務(wù)平臺行業(yè)數(shù)據(jù)模型,而地質(zhì)大數(shù)據(jù)管理功能充分體現(xiàn)了平臺的大數(shù)據(jù)管理能力。平臺需要提供針對地理模型的管理功能,包括:元數(shù)據(jù)管理、歷史管理、質(zhì)量管理、數(shù)據(jù)備份、數(shù)據(jù)更新。與此同時(shí),還需要建立長效的數(shù)據(jù)更新機(jī)制,保證數(shù)據(jù)的現(xiàn)勢性、持續(xù)性和可用性。此外,地質(zhì)大數(shù)據(jù)管理能夠提供對底層存儲資源的多租戶管理、權(quán)限分配等功能,為地質(zhì)大數(shù)據(jù)行業(yè)模型的數(shù)據(jù)管理工作提供基礎(chǔ)支撐。
(4)地理、地質(zhì)二三維可視化展示。平臺從內(nèi)核實(shí)現(xiàn)二三維一體化GIS技術(shù),幫助用戶構(gòu)建實(shí)用的、滿足深度業(yè)務(wù)需求的三維GIS應(yīng)用。要求提供豐富的三維符號,綠植、路燈、道路、水面等要素均可用三維符號展現(xiàn);提供三維線型符號、自適應(yīng)管點(diǎn)符號、模型符號實(shí)現(xiàn)快速構(gòu)建三維管線場景。提供水面、粒子、局部動畫、太陽陰影、帶狀跟蹤等三維視覺效果,支持骨骼動畫模型、節(jié)點(diǎn)動畫、視頻投放到三維場景、碰撞檢測等功能,顯著提升三維場景瀏覽的視覺真實(shí)感和操作體驗(yàn)。流暢顯示1 000 km2以上的精細(xì)模型,支持1 000萬記錄以上的地物矢量化,加載TB級的地形和影像數(shù)據(jù),支持直接加載TB級傾斜攝影數(shù)據(jù),提供直接加載、動態(tài)投影、單體化選擇、屬性查詢、空間查詢、三維空間分析等功能。
3.3.2 業(yè)務(wù)功能需求
(1)地質(zhì)大數(shù)據(jù)基礎(chǔ)支撐平臺。為了更好地利用項(xiàng)目建設(shè)的地質(zhì)大數(shù)據(jù)庫成果,更靈活地服務(wù)于業(yè)務(wù)部門對地質(zhì)相關(guān)信息的可視化要求,需要建立云平臺、大數(shù)據(jù)平臺、綜合集成管理平臺作為基礎(chǔ)支撐,實(shí)現(xiàn)對地質(zhì)大數(shù)據(jù)的存儲、訪問、管理和服務(wù)。
(2)地質(zhì)大數(shù)據(jù)資源共享服務(wù)。平臺建設(shè)的核心思想就是基于基礎(chǔ)地理信息、地質(zhì)數(shù)據(jù),搭建安徽省地質(zhì)大數(shù)據(jù)服務(wù)平臺實(shí)現(xiàn)數(shù)據(jù)資源的共享。各單位在應(yīng)用大數(shù)據(jù)平臺提供的服務(wù)能力的同時(shí),也可以享受平臺提供的數(shù)據(jù)共享和應(yīng)用共享服務(wù)。因此,需要平臺能有效保障共享資源的安全。
(3)基于地質(zhì)的大數(shù)據(jù)挖掘框架。為使平臺能夠滿足地礦單位的業(yè)務(wù)需求與政府部門的宏觀決策需求,需要對大量地質(zhì)、基礎(chǔ)地理數(shù)據(jù)進(jìn)行空間統(tǒng)計(jì)、排序,揭示不同地質(zhì)對象之間的內(nèi)在關(guān)系、規(guī)律和潛在特征信息。為此,平臺為用戶提供了基于地質(zhì)的大數(shù)據(jù)挖掘框架,可以基于大數(shù)據(jù)的分布式處理框架,高效地進(jìn)行空間分析和挖掘。同時(shí),為了方便用戶使用和定制,平臺需要為用戶提供可視化的建模環(huán)境和基礎(chǔ)空間算法庫。用戶可根據(jù)自身業(yè)務(wù)需求,在可視化建模環(huán)境中,建立基于地質(zhì)空間算法庫的大數(shù)據(jù)分析挖掘模型,實(shí)現(xiàn)地質(zhì)空間大數(shù)據(jù)分析模型的自由組裝和定制。
(4)基于地質(zhì)大數(shù)據(jù)平臺的應(yīng)用服務(wù)。以地質(zhì)大數(shù)據(jù)平臺提供的公共服務(wù)基礎(chǔ)為支撐,圍繞地質(zhì)工作的生產(chǎn)管理、成果應(yīng)用共享等方面需求,開展多個(gè)應(yīng)用系統(tǒng)的建設(shè)工作。目前,根據(jù)前期的調(diào)研規(guī)劃,主要建立以下應(yīng)用系統(tǒng):地質(zhì)數(shù)據(jù)共享服務(wù)系統(tǒng);遙感衛(wèi)星數(shù)據(jù)共享服務(wù)系統(tǒng);地質(zhì)災(zāi)害應(yīng)急協(xié)同會商系統(tǒng);地質(zhì)大數(shù)據(jù)運(yùn)營中心軟件系統(tǒng)[3]。
(1)兼容性要求。平臺支持多云區(qū)域或多數(shù)據(jù)中心部署,并考慮安徽省政務(wù)云兼容性,保障未來遷移工作順利完成。
(2)可維護(hù)性要求。平臺中涉及軟件提供符合軟件開發(fā)規(guī)范的完整源代碼、用戶使用手冊以及平臺維護(hù)手冊;平臺涉及硬件提供完整技術(shù)參數(shù)、有效的廠家售后、聯(lián)系方式、硬件維護(hù)手冊等。
(3)可擴(kuò)展性要求。平臺中各層次之間相對獨(dú)立,使得各層次都具有一定的擴(kuò)展性,具體表現(xiàn)為存儲與計(jì)算可拓展,服務(wù)可綜合集成且提供二次開發(fā)接口。
國家地質(zhì)信息化建設(shè)應(yīng)擺脫單純以“數(shù)據(jù)量”論成效的價(jià)值觀,重視數(shù)據(jù)的信息服務(wù)價(jià)值,有效地開展地質(zhì)數(shù)據(jù)綜合集成與產(chǎn)品開發(fā),大力發(fā)展現(xiàn)代地質(zhì)資料信息服務(wù),不斷提升地質(zhì)信息資源的開發(fā)利用程度,加大信息綜合整合力度,使地質(zhì)工作的各項(xiàng)成果能夠及時(shí)完整地提供給政府、專業(yè)人員和社會公眾,增強(qiáng)公益性地質(zhì)工作的服務(wù)功能。同時(shí),應(yīng)借鑒大數(shù)據(jù)思維,探索國家基礎(chǔ)地質(zhì)大數(shù)據(jù)可視化技術(shù),提升信息價(jià)值,增強(qiáng)國家基礎(chǔ)地質(zhì)信息化軟實(shí)力,實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。