大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考

代闖闖

摘 要 隨著信息技術(shù)與數(shù)據(jù)處理技術(shù)的不斷發(fā)展，人們逐漸認(rèn)識到空間數(shù)據(jù)的存在及其巨大的價(jià)值，各國紛紛耗費(fèi)巨資挖掘研究空間數(shù)據(jù)。文章主要討論了空間大數(shù)據(jù)的價(jià)值以及如何發(fā)掘空間大數(shù)據(jù)兩方面的問題。

關(guān)鍵詞 大數(shù)據(jù)；空間數(shù)據(jù)；挖掘利用

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-7597（2014）16-0001-01

大數(shù)據(jù)又稱巨量資料，是指那些由于資料規(guī)模過于龐大，導(dǎo)致目前的數(shù)據(jù)處理技術(shù)難以在合理的時(shí)間內(nèi)完成收集處理，并為企業(yè)經(jīng)營決策所用的資訊。主要有4V特點(diǎn)，即數(shù)量大（Volume）、速度高（Velocity）、多樣化（Variety）、價(jià)值大（Value）。其中有八成以上的大數(shù)據(jù)屬于空間數(shù)據(jù)，它的開發(fā)利用對人類有重要意義。

1 空間大數(shù)據(jù)的價(jià)值

1.1 總體認(rèn)知原貌

大數(shù)據(jù)的開發(fā)利用讓人類可以從虛擬信息世界中觀察到世界的全貌，在大數(shù)據(jù)產(chǎn)生以前，受空間數(shù)據(jù)采集、數(shù)據(jù)儲存、運(yùn)算處理等能力的限制，概率統(tǒng)計(jì)工作只能從采用隨機(jī)抽樣的方法，根據(jù)樣本數(shù)據(jù)來推測全體數(shù)據(jù)。這就猶如盲人摸象，只是對局部數(shù)據(jù)有很深的了解，很難真正認(rèn)識總體的規(guī)律和變化。

但是在大數(shù)據(jù)時(shí)代，人們可以收集存儲大量的數(shù)據(jù)，從而克服了抽樣調(diào)查的局限性。人們可以從大數(shù)據(jù)中了解世界的原貌，進(jìn)而尋找其中隱含的規(guī)律。比如對氣象衛(wèi)星傳回的數(shù)據(jù)進(jìn)行分析，從而準(zhǔn)確進(jìn)行天氣預(yù)報(bào)[1]。

1.2 基礎(chǔ)性資源

美國著名經(jīng)濟(jì)學(xué)家詹姆斯·麥肯錫認(rèn)為數(shù)據(jù)也是一種基礎(chǔ)性資源，甚至與物質(zhì)資金、人力資源一樣重要，它可以為世界經(jīng)濟(jì)創(chuàng)造巨大的價(jià)值。美國政府認(rèn)為大數(shù)據(jù)是“未來的新石油”，關(guān)系到國家經(jīng)濟(jì)的未來。

2 大數(shù)據(jù)下的空間數(shù)據(jù)挖掘

2.1 基本的大數(shù)據(jù)技術(shù)

基本的大數(shù)據(jù)技術(shù)有搜集、儲存、處理、表達(dá)以及評估。

1）搜集技術(shù)。大數(shù)據(jù)的產(chǎn)生與發(fā)展離不開移動設(shè)備、RFID技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)、電子商務(wù)、追蹤系統(tǒng)等數(shù)據(jù)產(chǎn)品的發(fā)展。目前按照數(shù)據(jù)獲取方式可將空間數(shù)據(jù)分為點(diǎn)方式、面方式以及移動方式三種獲取方式。點(diǎn)方式獲取就是通過GPS接受終端、全站儀等逐點(diǎn)搜集地表的空間坐標(biāo)；面方式獲取就是通過衛(wèi)星遙感、航空遙感等大面積獲取影像資料，并從中提取相關(guān)的幾何特征；移動方式獲取是將GPS、RS、GIS的技術(shù)手段植入對地觀測系統(tǒng)中，從而獲取、儲存、分析空間數(shù)據(jù)。

2）儲存技術(shù)。它是數(shù)據(jù)挖掘的基礎(chǔ)，其價(jià)值就是為不斷增加的大數(shù)據(jù)提供性能穩(wěn)定可靠、擴(kuò)展性強(qiáng)的儲存管理方案。比如負(fù)載均衡、分布式數(shù)據(jù)儲存等。

3）處理技術(shù)。其任務(wù)是完成數(shù)據(jù)→信息→知識→智慧的轉(zhuǎn)變。比如地物疊加，空間數(shù)據(jù)的分析、挖掘、清理等，目標(biāo)緩存以及影響分割等。

4）表達(dá)技術(shù)。顧名思義就是向用戶清楚、有效的表達(dá)數(shù)據(jù)中包含的信息，以提供新視角尋找難以掌握的數(shù)據(jù)。比如數(shù)字中國、3D地圖、數(shù)字模型、平面地圖等。

5）評估技術(shù)。由于大數(shù)據(jù)的數(shù)據(jù)量龐大、測量密度高所以很容易出錯(cuò)，評估技術(shù)的作用就是盡量減少錯(cuò)誤帶來的風(fēng)險(xiǎn)。比如邏輯性評估方法、基于異常值或者核算的評估方法[2]。

2.2 發(fā)現(xiàn)空間知識

發(fā)現(xiàn)空間知識就是指通過一系列的空間數(shù)據(jù)挖掘方法從空間大數(shù)據(jù)中提取出未知的、有價(jià)值、可解規(guī)則的技術(shù)，它是一個(gè)由空間數(shù)據(jù)發(fā)展到空間信息，再由空間信息發(fā)展到空間知識的過程?？臻g數(shù)據(jù)發(fā)掘系統(tǒng)的作用在于將空間數(shù)據(jù)進(jìn)行歸納整理，并升華成空間知識，再將這些新得到的知識與數(shù)據(jù)結(jié)合，做到對數(shù)據(jù)的處理、判斷和決策。空間知識具有自學(xué)習(xí)性、自提升性、普遍性等特點(diǎn)，所以容易被人們認(rèn)可和利用，是決策的重要依據(jù)。

如果空間技術(shù)能夠廣泛應(yīng)用于各行各業(yè)的話，那么人類的學(xué)習(xí)方式、工作方式、生活方式都會變得更加精細(xì)。從而有效提高資源利用率，減少資源浪費(fèi)；促進(jìn)人類生產(chǎn)力水平的發(fā)展。對于人類應(yīng)對金融危機(jī)、能源危機(jī)、生態(tài)環(huán)境惡化等問題有巨大的幫助作用[3]。

2.3 萃取數(shù)據(jù)智能

所謂的數(shù)據(jù)智能就是對收集到的數(shù)據(jù)進(jìn)行全面深入的分析，從中獲得更為系統(tǒng)、更為全面、更為新穎的知識用來解決相關(guān)問題。是一種能夠靈活、迅速、有效、正確、全面的理解問題和解決問題的能力?？臻g數(shù)據(jù)智能主要由透徹的感知能力、廣泛的互動和智能化更加深入三大元素組成。三者協(xié)同合作，共同獲取數(shù)量更多、內(nèi)容更加全面的數(shù)據(jù)信息，通過互聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)這些數(shù)據(jù)的傳遞、分享。并利用與之相關(guān)的技術(shù)和方法深入分析數(shù)據(jù)、挖掘數(shù)據(jù)，形成一個(gè)層次結(jié)構(gòu)。

如果認(rèn)為大數(shù)據(jù)的智能僅僅是將不同的數(shù)據(jù)挖掘技術(shù)簡單的疊加到一起，那就大錯(cuò)特錯(cuò)。它是一個(gè)擁有合理的組織機(jī)構(gòu)、優(yōu)良的運(yùn)行程序、強(qiáng)大的綜合功能的面向某一個(gè)應(yīng)用行業(yè)的系統(tǒng)智慧。一個(gè)行業(yè)的系統(tǒng)結(jié)構(gòu)越合理，那么內(nèi)部的消耗就會越小，功效就會越大，系統(tǒng)智慧就會越高，反之就會越低。人和大數(shù)據(jù)的每一次交流互動就意味著可以以更為完美、更為高效的方法進(jìn)行分析和計(jì)算，通過對不同地域、不同行業(yè)、不同部門的海量數(shù)據(jù)的分析，提取出與當(dāng)前情況相符的信息，從而為解決問題提供有效的方案。比如美國遭受卡特里娜颶風(fēng)襲擊后，受災(zāi)地區(qū)的電力、通訊、交通等設(shè)施損毀情況嚴(yán)重，在這種情況下海岸巡邏隊(duì)的隊(duì)員就通過GPS的坐標(biāo)來尋找災(zāi)民[4]。

上述只是一些淺層次的數(shù)據(jù)智能，更深層次的是創(chuàng)造數(shù)據(jù)的新價(jià)值。一方面把空間大數(shù)據(jù)知識應(yīng)用于各行各業(yè)可以產(chǎn)生許多新的知識，可以再次形成新的智慧表達(dá)形式，從而形成更深層次的知識挖掘機(jī)制，即在知識中挖掘知識。另一方面可以重新定義政府、企業(yè)與個(gè)人之間的交往互動方式，從而提高互動交流的明確性、準(zhǔn)確性和靈活性。從傳統(tǒng)的單維度生產(chǎn)、消費(fèi)，管理、被管理，向多維度的合作關(guān)系轉(zhuǎn)變。在這種關(guān)系下每個(gè)人以及每個(gè)組織都能夠自由、精確的傳遞信息和獲取信息，從而對對方的行為產(chǎn)生正面影響，從宏觀上實(shí)現(xiàn)智能運(yùn)行效果。

3 結(jié)論

隨著科技的進(jìn)步，人類的數(shù)據(jù)處理能力越來越強(qiáng)，人類逐漸認(rèn)識到傳統(tǒng)的抽樣調(diào)查猶如盲人摸象，很難準(zhǔn)確的了解總體數(shù)據(jù)的特征，所以人們開始研究大數(shù)據(jù)的運(yùn)用方法。筆者從基本的大數(shù)據(jù)技術(shù)、發(fā)現(xiàn)空間知識和萃取數(shù)據(jù)智能三個(gè)方面向大家介紹了大數(shù)據(jù)下的人類對空間數(shù)據(jù)挖掘，希望對各位有所

幫助。

參考文獻(xiàn)

[1]王樹良，丁剛毅，鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].中國電子科學(xué)研究院學(xué)報(bào)，2013，05（04）：18-22.

[2]王茜，何巨璞，黃瑞鋒.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].信息通信，2014，02（04）：04-08.

[3]王鑫.基于形式概念的空間數(shù)據(jù)挖掘方法研究[J].遼寧科技大學(xué)，2012，04（10）：19-33.

[4]于永玲，李向，宗思生，施進(jìn)發(fā).基于校園GIS的空間數(shù)據(jù)挖掘系統(tǒng)原型[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，08（06）：20-24.endprint