基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫的設(shè)計與實現(xiàn)

朱靜波 張立平 董偉 李閏枚 方鈺 孔娟娟

摘要針對病蟲草害大數(shù)據(jù)的存儲分散和展示無系統(tǒng)化的問題，提出采用Spark核心技術(shù)搭建大規(guī)模集群，將HDFS（Hadoop distributed file system）分布式文件存儲系統(tǒng)、MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫相結(jié)合，集病蟲草害信息管理、信息查詢、用戶管理和數(shù)據(jù)庫維護等功能于一體，實時更新、展示、存儲和管理海量多源異構(gòu)病蟲草害數(shù)據(jù)，構(gòu)建基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫信息服務(wù)平臺，在提高農(nóng)業(yè)病蟲草害的數(shù)字化管理、信息共享等方面具有極其重要的意義。

關(guān)鍵詞病蟲草害；Spark框架；大數(shù)據(jù)；圖文數(shù)據(jù)庫

中圖分類號S126文獻(xiàn)標(biāo)識碼A文章編號0517-6611（2017）16-0206-04

Design and Implementation of Big Data Graphic Database for Agricultural Diseases， Pests and Weeds Based on Cloud Calculation

ZHU Jingbo，ZHANG Liping，DONG Wei* et al

（Institute of Agricuhural Economy and Information，Anhui Academy of Agricultural Sciences，Hefei， Anhui 230031）

AbstractAiming at the problem of big data storage dispersion and display without systematization of diseases，pests and weeds， Spark core technology was used to build largescale clusters， HDFS distributed file system， MongoDB database were combined with MySQL database to construct big data graphic database system of agricultural diseases，pests and weeds based on cloud technology. The system implemented the functions of information management， information query， user management and database maintenance. The database system had strong compatibility， clear classifications， friendly interface and provide realtime updates， massive data storage and management for heterogeneous multisource data display and pest and. Also， integrated information service platform was established for the diseases， pests and weeds information， and it was of very important significance for strengthening the digital management， information sharing etc..

Key wordsDiseases， pests and weeds；Spark framework；Big data；Graphic database

農(nóng)業(yè)病蟲草害是我國主要農(nóng)業(yè)災(zāi)害之一，具有范圍廣、種類多、發(fā)生情況復(fù)雜等特點，每年都會產(chǎn)生大量的病蟲草害數(shù)據(jù)信息[1-2]。隨著我國農(nóng)業(yè)信息化、產(chǎn)業(yè)化發(fā)展進(jìn)程的推進(jìn)，對這些數(shù)據(jù)信息進(jìn)行實時采集、傳輸、管理和分析挖掘處理已經(jīng)成為促進(jìn)農(nóng)業(yè)病蟲草害防治的一個重要抓手。雖然病蟲草害大數(shù)據(jù)研究的重要性日益凸顯，但目前大部分研究都針對專業(yè)的數(shù)據(jù)挖掘和分析，而基層農(nóng)技員、種植大戶、農(nóng)民等主要使用者反而較難接受其數(shù)據(jù)展示含義[3]。

目前，我國關(guān)于農(nóng)業(yè)病蟲草害大數(shù)據(jù)展示的研究較少，主要集中在對農(nóng)業(yè)大數(shù)據(jù)的采集、分析與處理[4]。陶佰睿等[5]于2016年提出農(nóng)業(yè)大數(shù)據(jù)云端系統(tǒng)，該系統(tǒng)以Hadoop集群分布式存儲為基礎(chǔ)，融合MySQL數(shù)據(jù)庫，旨在能夠?qū)崟r監(jiān)測農(nóng)作物的生長過程，從而提高生產(chǎn)率；柴進(jìn)[6]選取中國農(nóng)業(yè)科學(xué)院提供的農(nóng)業(yè)數(shù)據(jù)為研究對象，設(shè)計出基于Hadoop平臺的農(nóng)業(yè)數(shù)據(jù)挖掘系統(tǒng)。此外，針對病蟲草害數(shù)據(jù)量少的分析展示系統(tǒng)也無法滿足現(xiàn)有信息需求，多數(shù)為部分單一品種數(shù)據(jù)庫的構(gòu)建，無法滿足用戶對病蟲草害的認(rèn)知需求。王長委等[7]針對GIS（Geographic information system）在病蟲害數(shù)據(jù)管理方面的優(yōu)缺點，通過Geodatabase構(gòu)建了廣東省農(nóng)作物病蟲害空間數(shù)據(jù)庫；余一鳴[8]通過多角度整理和分析上海地區(qū)的蔬菜病蟲害基礎(chǔ)圖文資料，搭建了上海蔬菜病蟲害知識普及和防治技術(shù)咨詢的服務(wù)平臺。

針對現(xiàn)有病蟲草害數(shù)據(jù)的大規(guī)模、繁結(jié)構(gòu)、多形式和防治技術(shù)繁多等突出的大數(shù)據(jù)特點，筆者在深入分析作物種類的基礎(chǔ)上，提出采用Spark核心技術(shù)搭建大規(guī)模集群，使用HDFS分布式文件系統(tǒng)、MongoDB數(shù)據(jù)庫和MySQL數(shù)據(jù)庫相結(jié)合，搭建基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫系統(tǒng)，旨在實時更新、展示多源異構(gòu)病蟲草害數(shù)據(jù)和對相關(guān)的海量數(shù)據(jù)進(jìn)行儲存和處理。

1相關(guān)概念及關(guān)鍵技術(shù)

1.1農(nóng)業(yè)病蟲草害大數(shù)據(jù)的特點

隨著互聯(lián)網(wǎng)及物聯(lián)網(wǎng)的發(fā)展，我國病蟲草害各類數(shù)據(jù)資源越來越多，逐步呈現(xiàn)出數(shù)量巨大、結(jié)構(gòu)復(fù)雜、形式多樣和防治技術(shù)繁多等明顯的大數(shù)據(jù)特征，使得人們無法快速獲取、查閱和儲存相關(guān)病蟲草害信息。

①病蟲草害發(fā)生期間產(chǎn)生龐大數(shù)據(jù)量。現(xiàn)代化農(nóng)業(yè)對病蟲草害的監(jiān)測現(xiàn)已趨于成熟，各類傳感器分布在農(nóng)業(yè)種植區(qū)域?qū)崟r監(jiān)測農(nóng)業(yè)病蟲草害發(fā)生前中后期所體現(xiàn)的病征，以至產(chǎn)生的數(shù)據(jù)量達(dá)到PB（petabyte）單位級[9]。

②病蟲草害數(shù)據(jù)種類繁多。我國種植作物的種類已超過千種，不同作物不同生長時期發(fā)生的病蟲草害都有可能存在不同，這使得病蟲草害的種類繁多。

③病蟲草害數(shù)據(jù)類型多樣。數(shù)據(jù)來源于遙感傳感，視頻、圖片多媒體，表格、文本，特征表現(xiàn)為多源異構(gòu)。

④病蟲草害數(shù)據(jù)存儲。需要結(jié)合分布式存儲、云計算，實現(xiàn)低成本、低功耗、高可靠的目標(biāo)。

1.2基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)關(guān)鍵技術(shù)

病蟲草害大數(shù)據(jù)的發(fā)展對傳統(tǒng)的數(shù)據(jù)存儲、分類處理、分析展示技術(shù)體系提出巨大挑戰(zhàn)，必須要在采集數(shù)據(jù)、標(biāo)準(zhǔn)設(shè)置、分析處理、系統(tǒng)展現(xiàn)等方面進(jìn)行全新的技術(shù)升級。針對數(shù)據(jù)存儲，在多個商用機器上運用Spark搭建大規(guī)模集群，并使用HDFS分布式文件系統(tǒng)、MongoDB數(shù)據(jù)庫；針對數(shù)據(jù)展示，依據(jù)作物基本情況將病蟲草害進(jìn)行分類，分類別展示作物病蟲草害數(shù)據(jù)[10]。

目前，傳統(tǒng)關(guān)系型數(shù)據(jù)庫應(yīng)用較為成熟的有Oracle、MySQL數(shù)據(jù)庫，然而已有的病蟲草害數(shù)據(jù)庫對分布式處理不能提供較為良好的支持，對多用戶的高并發(fā)訪問和計算有所欠缺，共享性和擴展性不強。因此，將多源異構(gòu)數(shù)據(jù)存儲在高性能數(shù)據(jù)庫MongoDB上，放置于Spark云端，發(fā)揮其擴展性快速、靈活處理相關(guān)數(shù)據(jù)，從而構(gòu)建基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫系統(tǒng)以供用戶使用。系統(tǒng)結(jié)構(gòu)如圖1所示。

2病蟲草害大數(shù)據(jù)獲取與分類

2.1病蟲草害大數(shù)據(jù)的獲取

多源性、異構(gòu)性是病蟲草害大數(shù)據(jù)的主要特征，是數(shù)據(jù)獲取的難題之一。針對該特性，選取病蟲草害大數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)和部分非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲和展示。結(jié)構(gòu)化數(shù)據(jù)是經(jīng)過專業(yè)化、系統(tǒng)化處理后的數(shù)據(jù)，可通過建立索引存儲在數(shù)據(jù)庫中，例如現(xiàn)有專業(yè)病蟲草害數(shù)據(jù)庫、農(nóng)業(yè)信息網(wǎng)站等。

病蟲草害大數(shù)據(jù)的收集主要通過以下2個方式：

①高校和相關(guān)農(nóng)業(yè)科研單位。

安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟與信息研究所已在病蟲草害信息資源采集與整理領(lǐng)域開展了近20年的工作，采集各類具有自主知識產(chǎn)權(quán)的病蟲草害圖像50余萬幅，整理文字逾1 000萬字，出版病蟲害科普讀物近百冊，且與多家科研院所保持長期合作關(guān)系，聯(lián)合開展相關(guān)的數(shù)據(jù)收集與整理。數(shù)據(jù)獲取方式主要包括科研調(diào)查、實地采集、試驗監(jiān)測、專家咨詢等。這些數(shù)據(jù)是該數(shù)據(jù)庫的主要數(shù)據(jù)源，通過對獲取的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化整理、分析、審核，最后按照分類模式存儲數(shù)據(jù)，從而實現(xiàn)了數(shù)據(jù)的共享、可視化和應(yīng)用分析。

②農(nóng)業(yè)信息網(wǎng)站和相關(guān)數(shù)據(jù)庫。

在信息化快速發(fā)展的社會，農(nóng)業(yè)信息網(wǎng)站和相關(guān)數(shù)據(jù)庫為數(shù)據(jù)獲取奠定了基礎(chǔ)。例如，中國農(nóng)業(yè)信息網(wǎng)以及各地的農(nóng)業(yè)信息網(wǎng)，提供豐富而又全面的農(nóng)業(yè)信息資訊和具有當(dāng)?shù)靥厣牟∠x草害圖文數(shù)據(jù)；其他涉農(nóng)數(shù)據(jù)庫，如農(nóng)業(yè)科技信息數(shù)據(jù)庫、農(nóng)業(yè)科技期刊全文數(shù)據(jù)等，也均可提供豐富的數(shù)據(jù)。此外，一些綜合性數(shù)據(jù)庫也提供了大量的病蟲草害數(shù)據(jù)，如中國知網(wǎng)、萬方數(shù)據(jù)、維普等，只要鍵入病蟲草害關(guān)鍵詞，就可以獲取相關(guān)論文、成果、專利等數(shù)據(jù)信息。

2.2病蟲草害大數(shù)據(jù)的分類

我國是農(nóng)業(yè)大國，農(nóng)作物種類繁多，根據(jù)用戶使用習(xí)慣，病蟲害數(shù)據(jù)的分類沿襲了農(nóng)作物的分類，分為農(nóng)作物病蟲害、蔬菜病蟲害和果樹病蟲害。其中，農(nóng)作物主要包括禾谷類作物、薯類作物、綠肥作物、豆類作物、經(jīng)濟作物、熱帶亞熱帶作物等；蔬菜包括白菜類、甘藍(lán)類、綠葉菜類、茄果類、豆莢類、瓜類和多年生菜類等；果樹則主要包括仁果類、核果類、漿果類、堅果類、雜果類、柑桔類和熱帶及亞熱帶果類。每個二級分類下又對應(yīng)著不同的產(chǎn)品，如禾谷類主要包括水稻、小麥、大麥、玉米、高粱、粟等。鑒于雜草的防治方法與其生物學(xué)分類地位相關(guān)性較高，筆者設(shè)計的圖文數(shù)據(jù)庫對雜草的分類也按生物學(xué)分類進(jìn)行劃分，主要包括孢子植物、單子葉植物和雙子葉植物。

3數(shù)據(jù)存儲層及數(shù)據(jù)庫設(shè)計

3.1數(shù)據(jù)存儲層架構(gòu)和部署

主要使用MySQL數(shù)據(jù)庫存儲無需改變的數(shù)據(jù)，采用Spark框架構(gòu)建分布式存儲管理平臺，對實時傳感數(shù)據(jù)進(jìn)行存儲管理，實現(xiàn)數(shù)據(jù)存儲的高可靠性、高擴展性。隨著農(nóng)業(yè)作物種類的增長，農(nóng)業(yè)病蟲草害數(shù)據(jù)量呈爆炸式上升，現(xiàn)有的數(shù)據(jù)庫系統(tǒng)已無法滿足海量數(shù)據(jù)的存儲與計算要求，因此筆者設(shè)計了實現(xiàn)基于Spark云計算平臺的病蟲草害圖文數(shù)據(jù)庫，實現(xiàn)海量數(shù)據(jù)的高效安全的存儲和精確的分類信息展示。

Apache Spark 是近年來發(fā)展較快的分布式并行數(shù)據(jù)處理框架，是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。Spark是一種與 Hadoop 相似的開源集群計算環(huán)境，但Spark使用內(nèi)存緩存機制，它不僅能夠提供交互式查詢外，而且優(yōu)化了迭代算法的性能，提高計算效率。此外，Spark還增加了流數(shù)據(jù)處理、圖數(shù)據(jù)處理等更為高級的數(shù)據(jù)處理能力，可用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序，其生態(tài)系統(tǒng)如圖2所示。

在搭建服務(wù)器的集群環(huán)境時，設(shè)置2臺服務(wù)器分別作為主節(jié)點和備用主節(jié)點，每臺服務(wù)器上安裝Spark；另設(shè)3臺服務(wù)器作為子節(jié)點，配置為4 GB內(nèi)存、1 T硬盤。系統(tǒng)部署模型如圖3所示。

3.2數(shù)據(jù)庫內(nèi)容設(shè)計

針對現(xiàn)有農(nóng)業(yè)病蟲草害特性與防治的研究，農(nóng)業(yè)病蟲草害圖文數(shù)據(jù)庫對其進(jìn)一步分析處理，主要包含基本描述數(shù)據(jù)、為害癥狀數(shù)據(jù)、發(fā)生因素數(shù)據(jù)、病原物數(shù)據(jù)、侵染循環(huán)數(shù)據(jù)、防治方法數(shù)據(jù)和圖冊數(shù)據(jù)等信息。其中，基本描述數(shù)據(jù)是指描述不同作物病蟲草害的基本屬性信息，包括病蟲草害的中文名稱、學(xué)名、異名和簡要介紹等；為害癥狀數(shù)據(jù)是描述病蟲草害的種類和其對應(yīng)癥狀信息，包括病蟲草害的種類、葉片病斑描述、植物損害等；發(fā)生因素數(shù)據(jù)是指描述病蟲草害發(fā)生密切相關(guān)的生物學(xué)特征，包括發(fā)生期、溫度、濕度以及其他相關(guān)天氣因素；病原物數(shù)據(jù)是指致使發(fā)病的病原物的基本生理信息，包括病原物名稱、屬類、性狀、生長環(huán)境和周期等；侵染循環(huán)數(shù)據(jù)則是描述病蟲草害侵入植物的過程，主要包括初侵染、侵入和傳播；防治方法數(shù)據(jù)主要描述針對病征所采取的防治方法，包括基本防治、種子預(yù)處理、藥劑治理和生物治理；圖冊數(shù)據(jù)則是展示病害、害蟲和雜草的外觀形態(tài)等。

安徽農(nóng)業(yè)科學(xué)2017年

3.3數(shù)據(jù)庫結(jié)構(gòu)設(shè)計

為了持久化存儲病蟲草害數(shù)據(jù)，選用基于分布式文件存儲的、可為WEB應(yīng)用提供可擴展的高性能數(shù)據(jù)存儲，可存儲復(fù)雜數(shù)據(jù)類型的MongoDB數(shù)據(jù)庫，并將其與MySQL數(shù)據(jù)庫相結(jié)合，為數(shù)據(jù)存儲提供技術(shù)支撐。

數(shù)據(jù)庫包含類別信息、類型信息、標(biāo)簽信息、病蟲草害信息和圖片信息5張數(shù)據(jù)表以及1個病蟲草害圖庫。除病害外，同一種作物上可以發(fā)生多種害蟲和雜草，同一種害蟲和雜草也可以發(fā)生在多種作物上，所以害蟲和雜草與作物的聯(lián)系皆是一對多的關(guān)系。通過以上對病蟲害草相關(guān)內(nèi)容的深入研究與分析，在MongoDB中存儲時，病蟲草害信息以描述其基本信息，其存儲邏輯如表1所示。圖片信息表則存儲病蟲草害病征圖片的名稱，通過與圖庫中的圖片構(gòu)建索引進(jìn)行查找，其存儲邏輯如表2所示。病蟲草害圖庫中對應(yīng)圖片信息表存儲各個病蟲草害的病征圖片，使用時將圖片轉(zhuǎn)換成圖片流從本地上傳至HDFS，從而被Web系統(tǒng)所利用。

4系統(tǒng)設(shè)計與實現(xiàn)

4.1系統(tǒng)設(shè)計

基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫系統(tǒng)分為前臺系統(tǒng)和后臺系統(tǒng)：前臺系統(tǒng)主要提供基本描述、為害癥狀、發(fā)生因素、病原物、侵染循環(huán)、防治方法、圖冊等七大模塊，充分展示服務(wù)器端存儲的病蟲草害數(shù)據(jù)庫；后臺系統(tǒng)則主要提供系統(tǒng)管理、病蟲害管理和類別管理3個模塊，從而實現(xiàn)客戶端對服務(wù)器端數(shù)據(jù)的添加與更新。系統(tǒng)總體設(shè)計如圖4所示。

4.2系統(tǒng)應(yīng)用

農(nóng)業(yè)病蟲草害圖文數(shù)據(jù)庫系統(tǒng)目前已經(jīng)正式投入使用。圖5為數(shù)據(jù)庫中水稻病害稻瘟病的圖文界面，用戶可查看稻瘟病英文名、異名、簡介、為害癥狀、發(fā)生因素、病原物、侵染循環(huán)、防治方法和相關(guān)病征圖片等。

農(nóng)業(yè)病蟲草害圖文數(shù)據(jù)庫后臺系統(tǒng)則分為系統(tǒng)管理和業(yè)務(wù)操作，其中系統(tǒng)管理主要提供管理員信息的設(shè)置；業(yè)務(wù)操作則主要包括病蟲害管理和類別管理，病蟲害管理頁面可實現(xiàn)病蟲草害信息的添加和已有信息的更改，類別管理頁面可實現(xiàn)農(nóng)業(yè)種類的添加與編輯。后臺管理系統(tǒng)提供了豐富的數(shù)據(jù)管理功能，能夠?qū)崿F(xiàn)對病蟲草害大數(shù)據(jù)的快速更新與展示。后臺管理界面如圖6所示。

5結(jié)語

筆者在深入研究農(nóng)業(yè)病蟲草害大數(shù)據(jù)的基礎(chǔ)上，對各種類病蟲害相關(guān)信息進(jìn)行了總結(jié)，結(jié)合數(shù)據(jù)庫系統(tǒng)功能與結(jié)構(gòu)的研究，采用Spark核心技術(shù)搭建分布式集群，利用HDFS分布式文件系統(tǒng)、MongoDB和MySQL，設(shè)計實現(xiàn)基于云端的農(nóng)業(yè)病蟲草害大數(shù)據(jù)圖文數(shù)據(jù)庫系統(tǒng)，實現(xiàn)海量病蟲草害數(shù)據(jù)的實時獲取、更新以及高效的存儲管理。筆者采用多級分類的形式，解決單一品種數(shù)據(jù)庫無法滿足現(xiàn)有對病蟲草害認(rèn)知需求的問題。該系統(tǒng)在應(yīng)用與推廣后，驗證了其可行性，并具有以下優(yōu)點：界面清晰、操作便捷；采用HTML5自適應(yīng)技

術(shù)，兼容互聯(lián)網(wǎng)各類平臺，擴展性好；農(nóng)業(yè)種類分類詳細(xì)，即

使是

普通農(nóng)戶依然可以快捷獲取病蟲草害相關(guān)信息。此外，該數(shù)據(jù)庫系統(tǒng)的設(shè)計與實現(xiàn)，為病蟲草害信息建立了集成的信息服務(wù)平臺，在規(guī)范農(nóng)業(yè)病蟲草害的數(shù)字化管理、促進(jìn)信息共享、為農(nóng)業(yè)病蟲草害研究和防治提供理論支撐等方面發(fā)揮了積極的作用。

參考文獻(xiàn)

[1] 籍延寶.農(nóng)業(yè)主要病蟲害監(jiān)測預(yù)警系統(tǒng)通用平臺的開發(fā)及初步應(yīng)用[D].北京：中國農(nóng)業(yè)大學(xué)，2014.

[2] 楊懷文.我國農(nóng)業(yè)病蟲害生物防治應(yīng)用研究進(jìn)展[J].科技導(dǎo)報，2007（7）：56-60.

[3] 謝潤梅.農(nóng)業(yè)大數(shù)據(jù)的獲取與利用[J].安徽農(nóng)業(yè)科學(xué)，2015，43（30）：383-385.

[4] 華雪琦，孫明喆，趙慧彤，等.農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)共享系統(tǒng)設(shè)計與研發(fā)[J].農(nóng)業(yè)技術(shù)與裝備，2016（1）：41-43，46.

[5] 陶佰睿，李春輝，苗鳳娟，等.基于云端的農(nóng)業(yè)大數(shù)據(jù)采集與管理系統(tǒng)淺析[J].工業(yè)和信息化教育，2016（9）：81-89.

[6] 柴進(jìn).基于Hadoop的農(nóng)業(yè)數(shù)據(jù)挖掘系統(tǒng)的研究與實現(xiàn)[D].北京：北京工業(yè)大學(xué)，2015.

[7] 王長委，胡月明，張俊平.面向?qū)ο蟮牟∠x害數(shù)據(jù)庫研究與建立[C]//中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集.北京：中國地理信息系統(tǒng)協(xié)會，2007：703-710.

[8] 余一鳴.上海蔬菜病蟲害及其防治技術(shù)咨詢服務(wù)平臺的構(gòu)建與應(yīng)用[D].上海：上海師范大學(xué)，2015.

[9] 倪冬平.面向農(nóng)作物病蟲草害數(shù)據(jù)的XML轉(zhuǎn)換和檢索方法研究與應(yīng)用[D].合肥：安徽農(nóng)業(yè)大學(xué)，2012.

[10] 郝進(jìn)義.數(shù)據(jù)庫設(shè)計規(guī)范及設(shè)計技巧研究[J].計算機光盤軟件與應(yīng)用，2012（12）：176-177.