基于精細(xì)農(nóng)業(yè)的大數(shù)據(jù)應(yīng)用平臺(tái)構(gòu)建研究

陶忠良　管孝鋒　劉彥妮

摘 要 本文闡述了農(nóng)業(yè)大數(shù)據(jù)的概念與特點(diǎn)及存在問題，然后針對(duì)用戶對(duì)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)應(yīng)用服務(wù)的需求，設(shè)計(jì)了面向精細(xì)農(nóng)業(yè)的數(shù)據(jù)分析平臺(tái)，并詳細(xì)介紹了數(shù)據(jù)平臺(tái)的架構(gòu)和功能服務(wù)。

關(guān)鍵詞 農(nóng)業(yè) 大數(shù)據(jù) 智能分析 平臺(tái)構(gòu)建

云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)的日益發(fā)展，對(duì)社會(huì)各個(gè)領(lǐng)域的技術(shù)變革都產(chǎn)生了重大影響，其在數(shù)據(jù)挖掘和智慧應(yīng)用等方面表現(xiàn)出很大優(yōu)勢(shì)。本文基于大數(shù)據(jù)技術(shù)，分析了其在農(nóng)業(yè)管理領(lǐng)域數(shù)據(jù)采集、處理、報(bào)告分析方面的應(yīng)用服務(wù)，進(jìn)一步推動(dòng)農(nóng)業(yè)信息化建設(shè)。

1 農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀

1.1 農(nóng)業(yè)大數(shù)據(jù)的概念與特點(diǎn)

農(nóng)業(yè)大數(shù)據(jù)是大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的具體實(shí)踐，是將大數(shù)據(jù)技術(shù)運(yùn)用到農(nóng)業(yè)生產(chǎn)過程的多個(gè)環(huán)節(jié)中，[1]解決農(nóng)業(yè)相關(guān)領(lǐng)域內(nèi)多源數(shù)據(jù)的采集、處理和分析應(yīng)用，最終為農(nóng)業(yè)領(lǐng)域中不同用戶群體提供個(gè)性化的數(shù)據(jù)分析報(bào)告和可視化報(bào)表展示。

農(nóng)業(yè)大數(shù)據(jù)具有自身的特殊性和復(fù)雜性，不僅具有海量數(shù)據(jù)，而且數(shù)據(jù)來源廣泛、數(shù)據(jù)即時(shí)性強(qiáng)、采集難度大等特點(diǎn)。首先，農(nóng)業(yè)數(shù)據(jù)種類多樣，還包含了圖表、圖片、視頻等要素，其數(shù)據(jù)類型具有半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)類型特點(diǎn)。另外，農(nóng)業(yè)生產(chǎn)過程中農(nóng)作物易受溫度、濕度、施肥、蟲害管理等外界因素的影響，其存在著諸多差異。因此如何采集動(dòng)態(tài)數(shù)據(jù)，并融合多源數(shù)據(jù)類型進(jìn)行挖掘分析，進(jìn)而提高農(nóng)業(yè)數(shù)據(jù)個(gè)性化服務(wù)應(yīng)用是農(nóng)業(yè)數(shù)據(jù)服務(wù)的重要發(fā)展方向。

1.2 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用中存在的問題

農(nóng)業(yè)大數(shù)據(jù)在應(yīng)用方面還處于初級(jí)階段，不同企業(yè)機(jī)構(gòu)、用戶之間數(shù)據(jù)缺少共享，[2]其多將數(shù)據(jù)作為自有資源，未認(rèn)識(shí)到數(shù)據(jù)共享的重要性。其次，信息平臺(tái)擴(kuò)展性較差，對(duì)多源渠道采集的數(shù)據(jù)未能很好地進(jìn)行標(biāo)準(zhǔn)化處理。在農(nóng)業(yè)數(shù)據(jù)應(yīng)用服務(wù)方面，當(dāng)前服務(wù)對(duì)象多為企業(yè)、政府機(jī)構(gòu)等專業(yè)人士，而普通農(nóng)戶在數(shù)據(jù)信息服務(wù)方面的利用較低。[3]在農(nóng)業(yè)數(shù)據(jù)個(gè)性化服務(wù)應(yīng)用中，數(shù)據(jù)個(gè)性化定制化服務(wù)能力較弱。

2 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用模式平臺(tái)設(shè)計(jì)

2.1 平臺(tái)設(shè)計(jì)原則與思路

農(nóng)業(yè)大數(shù)據(jù)應(yīng)用模式平臺(tái)利用物聯(lián)網(wǎng)、傳感器等數(shù)據(jù)信息采集技術(shù)構(gòu)建覆蓋土壤數(shù)、肥料、氣象、農(nóng)產(chǎn)品價(jià)格等多類數(shù)據(jù)的信息平臺(tái)，建立多源海量數(shù)據(jù)農(nóng)業(yè)信息數(shù)據(jù)庫，通過數(shù)據(jù)標(biāo)準(zhǔn)化處理的一系列操作，為數(shù)據(jù)平臺(tái)用戶提供農(nóng)業(yè)數(shù)據(jù)個(gè)性化定制及可視化查詢服務(wù)。

農(nóng)業(yè)數(shù)據(jù)信息平臺(tái)首先采用多源數(shù)據(jù)匯集的原則，利用大數(shù)據(jù)技術(shù)將與農(nóng)業(yè)相關(guān)的各類結(jié)構(gòu)化和非結(jié)構(gòu)化的文本數(shù)據(jù)進(jìn)行匯集。其次，農(nóng)業(yè)數(shù)據(jù)平臺(tái)對(duì)各類數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，建立統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)庫。最后，在數(shù)據(jù)平臺(tái)應(yīng)用中，需為用戶提供個(gè)性化定制服務(wù)及可視化分析功能，實(shí)現(xiàn)用戶的快速查詢服務(wù)，同時(shí)，對(duì)數(shù)據(jù)平臺(tái)中數(shù)據(jù)隱私權(quán)限進(jìn)行多級(jí)設(shè)置，實(shí)現(xiàn)用戶對(duì)數(shù)據(jù)的分級(jí)使用。

2.2 數(shù)據(jù)平臺(tái)架構(gòu)組成

農(nóng)業(yè)大數(shù)據(jù)平臺(tái)由基礎(chǔ)設(shè)備層、采集層、處理層及應(yīng)用層組成?；A(chǔ)設(shè)備層是大數(shù)據(jù)平臺(tái)的基礎(chǔ)，是平臺(tái)進(jìn)行數(shù)據(jù)采集、處理、挖掘分析工作的必備前提。此外，數(shù)據(jù)采集層可直接連接傳感器系統(tǒng)，進(jìn)行實(shí)時(shí)數(shù)據(jù)的采集。其后，數(shù)據(jù)處理層可將采集來的多源異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。最后，由數(shù)據(jù)應(yīng)用層提供不同種類的數(shù)據(jù)服務(wù)，進(jìn)而滿足不同用戶群體的個(gè)性化數(shù)據(jù)需求服務(wù)。

3 農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)技術(shù)設(shè)計(jì)

3.1 平臺(tái)總體架構(gòu)

基于大數(shù)據(jù)存儲(chǔ)及分析處理技術(shù)，構(gòu)建面向精細(xì)農(nóng)業(yè)的大數(shù)據(jù)智能分析平臺(tái)，將農(nóng)業(yè)領(lǐng)域中各類相關(guān)數(shù)據(jù)融入，綜合形成農(nóng)業(yè)數(shù)據(jù)信息一體化分析平臺(tái)，為農(nóng)業(yè)生產(chǎn)用戶、涉農(nóng)企業(yè)及相關(guān)決策管理部門提供服務(wù)應(yīng)用。本研究基于基礎(chǔ)設(shè)施即服務(wù)（IAAS）、平臺(tái)即服務(wù)（PAAS）、軟件即服務(wù)（SAAS）三種應(yīng)用形式，設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)的總體架構(gòu)，如圖1所示。

3.2 平臺(tái)技術(shù)實(shí)現(xiàn)

3.2.1 關(guān)鍵技術(shù)框架

本文基于大數(shù)據(jù)技術(shù)，對(duì)農(nóng)業(yè)智能分析平臺(tái)展開研究，構(gòu)建了包含元數(shù)據(jù)管理、ETL工具、設(shè)計(jì)工具、數(shù)據(jù)服務(wù)、預(yù)置應(yīng)用和BI平臺(tái)模塊，平臺(tái)模塊框架如圖2所示。

農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)包含了智能系統(tǒng)基礎(chǔ)服務(wù)和運(yùn)行框架，并能夠綜合管理各類BI工具、分析模型及相關(guān)資源。針對(duì)采集數(shù)據(jù)的多源異構(gòu)的特點(diǎn)，設(shè)計(jì)多級(jí)分布式高速緩存文件對(duì)象存儲(chǔ)系統(tǒng)，用以減輕數(shù)據(jù)源負(fù)載。面向農(nóng)業(yè)大數(shù)據(jù)的多源數(shù)據(jù)接口與集成架構(gòu)描述了數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)倉庫過程中所遵循的規(guī)范和架構(gòu)。針對(duì)農(nóng)業(yè)多源數(shù)據(jù)量大，異構(gòu)，缺失，沖突以及存在臟數(shù)據(jù)等特點(diǎn)，設(shè)計(jì)ETL數(shù)據(jù)加載、清洗和轉(zhuǎn)換細(xì)則與流程。針對(duì)農(nóng)業(yè)大數(shù)據(jù)環(huán)境下，農(nóng)業(yè)數(shù)據(jù)采集、處理、挖掘過程等復(fù)雜問題，數(shù)據(jù)分析挖掘過程設(shè)計(jì)了精準(zhǔn)生產(chǎn)、自動(dòng)化生產(chǎn)、供應(yīng)鏈追蹤、智慧化生產(chǎn)等相關(guān)農(nóng)業(yè)領(lǐng)域應(yīng)用。

農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)中，本研究利用ETL技術(shù)實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的標(biāo)準(zhǔn)化處理、集成及數(shù)據(jù)倉庫的構(gòu)建，形成農(nóng)業(yè)領(lǐng)域主要實(shí)踐應(yīng)用中的主題數(shù)據(jù)庫。平臺(tái)中設(shè)計(jì)工具部分可為系統(tǒng)用戶提供農(nóng)業(yè)相關(guān)信息快速查詢分析，并構(gòu)建農(nóng)作物生長指標(biāo)工具、動(dòng)態(tài)數(shù)據(jù)監(jiān)測(cè)、圖文報(bào)告等功能。平臺(tái)中預(yù)置應(yīng)用可為農(nóng)業(yè)管理者提供作物生長的綜合評(píng)價(jià)參數(shù)、監(jiān)控預(yù)警、預(yù)測(cè)優(yōu)化等分析模型和數(shù)據(jù)分析參考?；赑ortal技術(shù)BI門戶實(shí)現(xiàn)了綜合展板，可實(shí)現(xiàn)在同一界面中展示關(guān)鍵信息。

3.2.2 數(shù)據(jù)采集處理分析

精細(xì)農(nóng)業(yè)智能分析平臺(tái)的基礎(chǔ)是對(duì)海量多源數(shù)據(jù)進(jìn)行采集及標(biāo)準(zhǔn)化的整合處理。在數(shù)據(jù)采集過程中，研究所采用的ETL工具有抽取高效、性能穩(wěn)定、插件框架的特點(diǎn)，其插件的可復(fù)用性較高，能夠針對(duì)于不同主題數(shù)據(jù)源的采集需求，設(shè)計(jì)相應(yīng)的數(shù)據(jù)采集插件。對(duì)于農(nóng)業(yè)生產(chǎn)過程中的終端用戶而言，無需復(fù)雜編程操作，便可簡單快速的從智能平臺(tái)獲取可視化展示的數(shù)據(jù)報(bào)告。在主題數(shù)據(jù)庫設(shè)計(jì)方面，可實(shí)現(xiàn)細(xì)節(jié)數(shù)據(jù)層、匯總數(shù)據(jù)層和應(yīng)用集市層的三級(jí)服務(wù)。首先，根據(jù)默認(rèn)的ETL抽取規(guī)則將臨時(shí)存儲(chǔ)區(qū)數(shù)據(jù)抽取整理到細(xì)節(jié)數(shù)據(jù)層。然后，將細(xì)節(jié)數(shù)據(jù)層抽取、整理、分析成面向業(yè)務(wù)應(yīng)用主題的統(tǒng)計(jì)數(shù)據(jù)集，即匯總數(shù)據(jù)層。最后，將細(xì)節(jié)數(shù)據(jù)層和匯總數(shù)據(jù)層數(shù)據(jù)抽取整理成應(yīng)用集市層，形成農(nóng)業(yè)生產(chǎn)消費(fèi)過程中相關(guān)主題對(duì)應(yīng)的多維數(shù)據(jù)立方體。

3.2.3 BI分析平臺(tái)

在農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)中，BI分析平臺(tái)是運(yùn)用多維數(shù)據(jù)服務(wù)，將復(fù)雜的專業(yè)數(shù)據(jù)，以圖形等簡單易懂的形式展現(xiàn)出來。用戶可利用BI分析平臺(tái)提供的多維分析工具，簡單快捷地從數(shù)據(jù)立方體中對(duì)數(shù)據(jù)指標(biāo)進(jìn)行多維度的綜合分析，精準(zhǔn)掌握各指標(biāo)的動(dòng)態(tài)和變化趨勢(shì)。此外，BI分析平臺(tái)也提供數(shù)據(jù)報(bào)告展示功能，平臺(tái)系統(tǒng)端可自動(dòng)生成包含文字、數(shù)字、圖表、圖形等形式的數(shù)據(jù)分析報(bào)告。

4 結(jié)論

本研究分析構(gòu)建了面向精細(xì)農(nóng)業(yè)應(yīng)用的大數(shù)據(jù)分析體系結(jié)構(gòu)、設(shè)計(jì)思路及功能應(yīng)用，對(duì)農(nóng)業(yè)生產(chǎn)過程中產(chǎn)生的多源數(shù)據(jù)進(jìn)行集成、挖掘分析，以實(shí)現(xiàn)大數(shù)據(jù)服務(wù)在農(nóng)業(yè)領(lǐng)域的精準(zhǔn)需求分析、自動(dòng)化生產(chǎn)、產(chǎn)品追溯的應(yīng)用。最終研究通過大數(shù)據(jù)技術(shù)的應(yīng)用，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)及銷售過程的一體化，將農(nóng)業(yè)生產(chǎn)過程中種植、肥料供應(yīng)與后期加工、運(yùn)輸、銷售等各環(huán)節(jié)數(shù)據(jù)鏈接成一個(gè)綜合數(shù)據(jù)信息平臺(tái)，并對(duì)其環(huán)節(jié)中相關(guān)要素進(jìn)行統(tǒng)一協(xié)調(diào)和控制，以增加農(nóng)業(yè)生產(chǎn)過程中價(jià)值增值。

參考文獻(xiàn)

[1] 蔡書凱.大數(shù)據(jù)與農(nóng)業(yè)：現(xiàn)實(shí)挑戰(zhàn)與對(duì)策[J].電子商務(wù)，2014.22（9）：1149-1151.

[2] 張浩然，李中良，鄒騰飛，等.農(nóng)業(yè)大數(shù)據(jù)綜述[J].計(jì)算機(jī)科學(xué)，2014.41（S2）：387-392.

[3] 周子琦.制約我國農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的因素及對(duì)策分析[J].商情，2015（4）：168.