土地適宜性分析的數(shù)據(jù)處理技術(shù)框架及其構(gòu)件研究

文琴++羅飛++曹亮

摘 要 現(xiàn)在對(duì)土地適宜性分析的需求日益復(fù)雜化、多樣化，傳統(tǒng)的將數(shù)據(jù)與GIS技術(shù)相結(jié)合的土地適應(yīng)分析方式已經(jīng)滿足不了系統(tǒng)的性能需求。本文針對(duì)現(xiàn)有的土地適應(yīng)性分析的需求，研究分析了一種將NetCDF存儲(chǔ)與Spark分布式計(jì)算相結(jié)合的高性能數(shù)據(jù)處理方式。我們將數(shù)據(jù)處理的各個(gè)關(guān)鍵步驟分解成標(biāo)準(zhǔn)的構(gòu)件，針對(duì)土地性適應(yīng)分析我們將分析過程分解為了三個(gè)主要的標(biāo)準(zhǔn)構(gòu)件分別為：數(shù)據(jù)存儲(chǔ)構(gòu)件是將數(shù)據(jù)用NetCDF模型進(jìn)行存儲(chǔ)，以便將多數(shù)據(jù)源數(shù)據(jù)統(tǒng)一存儲(chǔ)，減少數(shù)據(jù)檢索時(shí)間，提高數(shù)據(jù)的存儲(chǔ)效率；數(shù)據(jù)插值構(gòu)件是利用分布式計(jì)算框架Spark對(duì)土地適宜性分析中的數(shù)據(jù)進(jìn)行并行插值（離散點(diǎn)數(shù)據(jù)插值為格點(diǎn)數(shù)據(jù)）；每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件是利用分布式計(jì)算框架Spark并行計(jì)算每個(gè)格點(diǎn)的適宜性等級(jí)，以提高數(shù)據(jù)處理效率。最后以人工草地建植適宜性綜合管理系統(tǒng)為例，給出了一個(gè)基于Spark及NetCDF構(gòu)件的實(shí)例，研究結(jié)果表明將NetCDF與Spark技術(shù)應(yīng)用于土地適宜性分析以及將其以構(gòu)件的形式進(jìn)行開發(fā)可大大提高分析的效率。

【關(guān)鍵詞】Spark NetCDF 土地適宜性分析 構(gòu)件

1 引言

由于土地適宜性分析中很多模塊的分析數(shù)據(jù)是標(biāo)準(zhǔn)的數(shù)據(jù)格式，針對(duì)這些數(shù)據(jù)，我們根據(jù)以前的積累和經(jīng)驗(yàn)建立一些標(biāo)準(zhǔn)的構(gòu)件，構(gòu)件可以在以后的分析中進(jìn)行復(fù)用，這樣很大程度上節(jié)約了重新開發(fā)所需要的時(shí)間，避免了重新開發(fā)可能會(huì)導(dǎo)致的錯(cuò)誤，從而提高了軟件開發(fā)的效率和軟件的質(zhì)量。而以構(gòu)件的形式實(shí)現(xiàn)軟件復(fù)用，又被視為是現(xiàn)實(shí)可行的主要方法之一。為了提高土地適宜性分析的開發(fā)效率和開發(fā)質(zhì)量，本文重點(diǎn)研究土地適宜性分析中重要的三個(gè)過程即：數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的插值和每個(gè)格點(diǎn)適應(yīng)度的計(jì)算的高性能構(gòu)件。

在已有的土地適宜性分析研究中，隨著土地適宜性分析數(shù)據(jù)的增多，數(shù)據(jù)資料存儲(chǔ)技術(shù)和數(shù)據(jù)處理技術(shù)存有一定的缺陷，在這些研究中基本上利用的都是GIS空間數(shù)據(jù)存儲(chǔ)模型對(duì)多樣性數(shù)據(jù)資料進(jìn)行存儲(chǔ)，當(dāng)數(shù)據(jù)量增多時(shí)，對(duì)多樣性數(shù)據(jù)資料進(jìn)行存取時(shí)，存取速度會(huì)成為系統(tǒng)性能的瓶頸。對(duì)數(shù)據(jù)進(jìn)行處理時(shí)，數(shù)據(jù)的執(zhí)行時(shí)間增加且數(shù)據(jù)執(zhí)行的效率降低。所以土地適宜性分析的數(shù)據(jù)存儲(chǔ)效率及數(shù)據(jù)的處理效率較低。因此本文提出將數(shù)據(jù)處理的各個(gè)關(guān)鍵步驟分解成標(biāo)準(zhǔn)的構(gòu)件，其中在數(shù)據(jù)存儲(chǔ)構(gòu)件中，利用NetCDF數(shù)據(jù)模型來存儲(chǔ)土地適宜性分析中的數(shù)據(jù)，以提高數(shù)據(jù)存儲(chǔ)效率；在數(shù)據(jù)插值構(gòu)件和每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件中，利用分布式計(jì)算框架Spark將土地適宜性分析中的離散點(diǎn)數(shù)據(jù)并行插值及并行計(jì)算每個(gè)格點(diǎn)的適宜性等級(jí)，以提高數(shù)據(jù)的處理效率。

2 土地適宜性分析

2.1 技術(shù)架構(gòu)

采用J2EE體系框架，面向SOA（Service Oriented Architecture，面向服務(wù)的體系架構(gòu)），利用裝配的形式搭建系統(tǒng)功能模塊，實(shí)現(xiàn)常用構(gòu)件。將土地適宜性分析系統(tǒng)中關(guān)鍵的三個(gè)過程：數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的插值和每個(gè)格點(diǎn)適應(yīng)度的計(jì)算分別做成構(gòu)件。由于土地適宜性分析系統(tǒng)中，需要分析的數(shù)據(jù)是多樣的、復(fù)雜的。同時(shí)通過對(duì)GIS空間數(shù)據(jù)存儲(chǔ)模型、關(guān)系數(shù)據(jù)庫模型以及NetCDF模型的數(shù)據(jù)存儲(chǔ)效率進(jìn)行分析，得知NetCDF的數(shù)據(jù)存儲(chǔ)效率相比于其他兩個(gè)存儲(chǔ)模型具有明顯的優(yōu)勢(shì)，因此在數(shù)據(jù)存儲(chǔ)構(gòu)件中選用NetCDF數(shù)據(jù)模型來表示土地適宜性分析中的數(shù)據(jù)，使用統(tǒng)一的格式對(duì)其進(jìn)行表示。

由于分布式計(jì)算框架Spark是一個(gè)基于內(nèi)存計(jì)算的集群計(jì)算系統(tǒng)，可將中間結(jié)果直接保存在內(nèi)存中，無需進(jìn)行IO操作，這加快了數(shù)據(jù)的分析。因此，在數(shù)據(jù)插值構(gòu)件和每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件中利用分布式計(jì)算框架Spark對(duì)土地適宜性分析系統(tǒng)中的離散點(diǎn)數(shù)據(jù)插值為格點(diǎn)數(shù)據(jù)過程和每個(gè)格點(diǎn)適宜性等級(jí)的計(jì)算過程進(jìn)行并行優(yōu)化，加快土地適宜性系統(tǒng)的數(shù)據(jù)處理速度?；贜etCDF數(shù)據(jù)格式與分布式計(jì)算框架Spark的土地適宜性分析的技術(shù)架構(gòu)如圖1土地適宜性分析的技術(shù)框架圖所示。

圖1的數(shù)據(jù)存儲(chǔ)過程中的離散點(diǎn)數(shù)據(jù)和格點(diǎn)數(shù)據(jù)分別由NetCDF數(shù)據(jù)模型的表示如圖2數(shù)據(jù)存儲(chǔ)構(gòu)件。數(shù)據(jù)插值過程的詳細(xì)描述如圖3數(shù)據(jù)插值構(gòu)件以及圖5中的并行插值部分所示。圖1中每個(gè)格點(diǎn)適宜度的計(jì)算過程的詳細(xì)分析如圖4每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件及圖5的中并行計(jì)算每個(gè)格點(diǎn)的適宜度所示。

2.2 數(shù)據(jù)存儲(chǔ)構(gòu)件

土地適宜性分析系統(tǒng)中，主要涉及到離散點(diǎn)數(shù)據(jù)和格點(diǎn)數(shù)據(jù)這兩類數(shù)據(jù)，且這兩類數(shù)據(jù)在在進(jìn)行數(shù)據(jù)分析時(shí)均利用NetCDF數(shù)據(jù)模型進(jìn)行表示。離散點(diǎn)數(shù)據(jù)指的是在研究區(qū)域內(nèi)分布不均勻的觀測(cè)數(shù)據(jù)。格點(diǎn)數(shù)據(jù)指的是在研究區(qū)域內(nèi)經(jīng)過離散點(diǎn)數(shù)據(jù)插值后的，分布均勻的數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)構(gòu)件的功能主要是將離散點(diǎn)數(shù)據(jù)和格點(diǎn)數(shù)據(jù)分別用NetCDF數(shù)據(jù)模型進(jìn)行表示。構(gòu)件的基本思路如下：

首先傳入需要用NetCDF數(shù)據(jù)模型表示的離散點(diǎn)數(shù)據(jù)或者是格點(diǎn)數(shù)據(jù)，再利用NetCDF接口進(jìn)行解碼，最后得到以NetCDF數(shù)據(jù)模型表示的離散點(diǎn)數(shù)據(jù)或者格點(diǎn)數(shù)據(jù)，圖2為原始數(shù)據(jù)以NetCDF數(shù)據(jù)格式表示的數(shù)據(jù)格式轉(zhuǎn)化過程。

2.3 數(shù)據(jù)插值構(gòu)件

在進(jìn)行土地適宜性分析時(shí)，為了能更加準(zhǔn)確的計(jì)算出研究區(qū)域內(nèi)每個(gè)網(wǎng)格點(diǎn)的適宜度，需要將研究區(qū)域內(nèi)的所有離散點(diǎn)數(shù)據(jù)插值為研究區(qū)域內(nèi)的格點(diǎn)數(shù)據(jù)，該過程的數(shù)據(jù)模型轉(zhuǎn)化如圖3所示，此過程稱為數(shù)據(jù)插值過程。為了提高土地適宜性分析的效率，利用分布式計(jì)算框架Spark對(duì)土地適宜性分析中的數(shù)據(jù)進(jìn)行并行插值同時(shí)將該過程做成一個(gè)常規(guī)的構(gòu)件如圖3所示，在使用該構(gòu)件之前需要搭建好該構(gòu)件所需的分布式計(jì)算框架Spark集群環(huán)境，構(gòu)件的基本思路如下：

首先傳入需要插值的離散點(diǎn)數(shù)據(jù)，該離散點(diǎn)數(shù)據(jù)由NetCDF表示，再根據(jù)插值算法，在分布式計(jì)算框架Spark集群環(huán)境下將離散點(diǎn)數(shù)據(jù)并行插值為格點(diǎn)數(shù)據(jù)，其中插值算法是通過外界傳入的參數(shù)或預(yù)置規(guī)則進(jìn)行選擇的，該土地適宜性分析系統(tǒng)中利用到的插值算法主要有反距離權(quán)重插值和Cressman方法，由于需要處理的數(shù)據(jù)空間分布的不同，反距離權(quán)重插值（IDW）算法提供了兩個(gè)分支，IDW_Neighbour用于空間分布連續(xù)的數(shù)據(jù)，IDW_Radius運(yùn)用于空間分布不連續(xù)的數(shù)據(jù)。插值后的中間結(jié)果可保存在內(nèi)存中。

2.4 每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件

將離散點(diǎn)數(shù)據(jù)并行插值為研究區(qū)域內(nèi)的格點(diǎn)數(shù)據(jù)后，需要計(jì)算每個(gè)格點(diǎn)的適宜度。本文將該過程做成了一個(gè)常規(guī)構(gòu)件，在使用該構(gòu)件之前需要搭建該構(gòu)件所需的分布式計(jì)算框架Spark集群環(huán)境，利用分布式計(jì)算框架Spark并行計(jì)算每個(gè)格點(diǎn)的適宜性等級(jí)，每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件（如圖4所示）的基本思路如下：

首先傳入需要計(jì)算的格點(diǎn)數(shù)據(jù)，格點(diǎn)數(shù)據(jù)由NetCDF表示，再將每個(gè)格點(diǎn)根據(jù)事先預(yù)定好的適宜性公式，在分布式計(jì)算框架Spark集群環(huán)境下并行計(jì)算每個(gè)格點(diǎn)適宜性等級(jí)，最終得到每個(gè)格點(diǎn)的適宜性等級(jí)，畫出等值線。整個(gè)數(shù)據(jù)處理流程如圖5所示。

如圖5所示，首先將計(jì)算任務(wù)進(jìn)行分解，然后再將分解的任務(wù)分配到不同的處理器上，再在分布式計(jì)算框架Spark集群環(huán)境下對(duì)數(shù)據(jù)進(jìn)行并行插值過程和并行計(jì)算每個(gè)格點(diǎn)適宜度過程。

3 實(shí)例研究

本節(jié)結(jié)合人工草地建植適宜性綜合管理系統(tǒng)，給出基于Spark及NetCDF構(gòu)件的土地適宜性分析研究的實(shí)例。人工草地建植適宜性綜合管理系統(tǒng)旨在為牧民用戶提供特定地段上特定牧草的適宜性分析。

人工草地建植適宜性綜合管理系統(tǒng)的開發(fā)模型如圖6所示。該開發(fā)模型是基于Spark及NetCDF構(gòu)件方式實(shí)現(xiàn)的，系統(tǒng)分為草場基礎(chǔ)數(shù)據(jù)管理、草場建植適宜性分析計(jì)算、草場建植適宜性詢?nèi)竽K，其中草場基礎(chǔ)數(shù)據(jù)管理中的概念數(shù)據(jù)存儲(chǔ)利用基于NetCDF的數(shù)據(jù)存儲(chǔ)構(gòu)件實(shí)現(xiàn)，草場建植適宜性分析計(jì)算利用基于Spark的數(shù)據(jù)插值構(gòu)件和每個(gè)格點(diǎn)適宜度的計(jì)算構(gòu)件實(shí)現(xiàn)?；诖藰?gòu)件模型的人工草地建植適宜性綜合管理系統(tǒng)在實(shí)際的開發(fā)和使用中發(fā)現(xiàn)此構(gòu)件技術(shù)大大提高了軟件開發(fā)的效率、縮短軟件開發(fā)的周期和提高軟件開發(fā)的質(zhì)量。

4 結(jié)束句

為了降低軟件開發(fā)成本，縮短軟件開發(fā)周期，提高軟件開發(fā)效率和軟件質(zhì)量，本文提出將土地適宜性分析中的三個(gè)關(guān)鍵的過程即數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的插值和每個(gè)格點(diǎn)適應(yīng)度的計(jì)算分別做成三個(gè)常規(guī)的構(gòu)件，同時(shí)為了優(yōu)化土地適宜性分析中的數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)處理技術(shù)，本文利用NetCDF數(shù)據(jù)模型及分布式計(jì)算框架Spark分別對(duì)土地適宜性分析進(jìn)行優(yōu)化處理，以提高土地適宜性分析的效率。研究NetCDF數(shù)據(jù)模型和分布式計(jì)算框架Spark為土地適宜性分析系統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)處理技術(shù)提供較好的理論及實(shí)踐基礎(chǔ)。

參考文獻(xiàn)

[1]王想紅，劉紀(jì)平等.基于NetCDF數(shù)據(jù)模型的海洋環(huán)境數(shù)據(jù)三維可視化研究[J].測(cè)繪科學(xué)，2013：59-61.

[2]孫建偉，孫昭晨，陳軒等.NetCDF格式數(shù)據(jù)的創(chuàng)建及應(yīng)用[J].交通標(biāo)準(zhǔn)化，2010（226）：31-34.

[3]Matei Zaharia 著.Spark大型集群上的快速和通用數(shù)據(jù)處理架構(gòu)[D].加州大學(xué)伯克利分校，2014：20-24.

[4]陳虹君.基于Hadoop平臺(tái)的Spark框架研究.[C]四川：電腦知識(shí)與技術(shù)，2014：8407-8408.

[5]黎文陽.大數(shù)據(jù)處理模型Apache Spark研究[D].現(xiàn)代計(jì)算機(jī)（普及版），2015：55-60.

[6]Spark[J/OL].http：//spark.apache.org.

[7]許鵬 著.Apache Spark源碼剖析[M].電子工業(yè)出版社，2015：23-30.

[8]夏俊鸞，黃潔等.Spark大數(shù)據(jù)處理技術(shù)[M].電子工業(yè)出版社，2015.

[9]劉文軍，李靖等.基于NetCDF數(shù)據(jù)模型的氣象資料存儲(chǔ)設(shè)計(jì)[D].安徽農(nóng)業(yè)科學(xué)，2009：1370-1371.

[10]李亞萍著.土地適宜性評(píng)價(jià)方法的研究[J].現(xiàn)代化農(nóng)業(yè)，2009：30-32.

[11]Lastovetsky A.Parallel Testing of Distributed Software[J].Information and Software Technology，2009，47（10）：657-662.

[12]Parveen P，Tilley T.Towards a Distributed Execution Framework for JUnit Test Cases[C]//Proc.of IEEE International Conference on Software Maintenance.[S.l.]：IEEE Press，2009： 425-428.

作者簡介

文琴（1991-），女，四川省成都市人。研究生學(xué)歷?，F(xiàn)為宿遷市科技局局長、高級(jí)工程師。主要研究方向?yàn)闅庀笮畔⒒夹g(shù)。

羅飛（1977-），女，四川省成都市人。現(xiàn)為成都信息工程大學(xué)軟件工程學(xué)院副教授。主要研究方向?yàn)闅庀笮畔⒒夹g(shù)、數(shù)據(jù)集成與可視化研究方向的研究。

曹亮（1985-），男，四川省成都市人?，F(xiàn)為成都信息工程大學(xué)軟件工程學(xué)院講師。研究方向?yàn)閿?shù)據(jù)庫技術(shù)、數(shù)據(jù)挖掘技術(shù)。

作者單位

成都信息工程大學(xué)軟件工程學(xué)院 四川省成都市 610225