精準施肥大數(shù)據(jù)系統(tǒng)的研究與應(yīng)用

荊旭全， 蔡德楠， 丁文翰， 徐劍波

(華南農(nóng)業(yè)大學(xué)資源環(huán)境學(xué)院，廣東廣州 510642)

從傳統(tǒng)農(nóng)業(yè)轉(zhuǎn)變到智慧農(nóng)業(yè)，我國農(nóng)業(yè)信息化的步伐未曾止步[1-3]。農(nóng)業(yè)數(shù)據(jù)由于具有來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜等特點，更需要大數(shù)據(jù)技術(shù)支持[3-5]。農(nóng)業(yè)大數(shù)據(jù)是智慧農(nóng)業(yè)發(fā)展的關(guān)鍵所在。測土配方數(shù)據(jù)成果形式多樣、數(shù)據(jù)量龐大，其數(shù)據(jù)規(guī)模給數(shù)據(jù)存儲、管理及分析帶來巨大的挑戰(zhàn)。通過運用大數(shù)據(jù)技術(shù)對上述測土配方大數(shù)據(jù)進行處理與分析，實現(xiàn)基于數(shù)據(jù)驅(qū)動的科學(xué)決策[6-10]，對獲得可靠專業(yè)的決策結(jié)果具有重要的促進作用。在精準施肥應(yīng)用中結(jié)合大數(shù)據(jù)技術(shù)和網(wǎng)絡(luò)地理信息系統(tǒng)(web geographic information system，簡稱WebGIS)技術(shù)，開發(fā)一套基于精準施肥的大數(shù)據(jù)系統(tǒng)及相應(yīng)的信息服務(wù)平臺，能夠有效解決精準施肥大數(shù)據(jù)成果充分應(yīng)用及信息不對稱等問題，深入挖掘施肥價值，為精準施肥科學(xué)決策提供新的決策工具和思路[11-17]，大數(shù)據(jù)手段的運用對促進廣東省農(nóng)業(yè)發(fā)展具有重要意義[18-21]。

1 理論與技術(shù)路線

通過對數(shù)據(jù)進行預(yù)處理以及批量標準化調(diào)整，利用ArcMap 10.2軟件對廣東省施肥大數(shù)據(jù)(耕地質(zhì)量評價單元、地類圖斑、行政區(qū)劃等)進行定制化(整飾、配色、出圖)，生成各縣域測土配方圖件及整個廣東省的全圖數(shù)據(jù)，通過ArcSDE建立數(shù)據(jù)集并導(dǎo)入SQL Server空間數(shù)據(jù)庫中，進而發(fā)布Web地圖服務(wù)(web map service，簡稱WMS)，以供終端訪問。同時建立大數(shù)據(jù)分布式集群服務(wù)器平臺，利用數(shù)據(jù)庫導(dǎo)入工具，將SQL Server數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到Hadoop平臺中[22-23]，使用Hadoop平臺對數(shù)據(jù)進行分析運算。通過Intellij IDEA開發(fā)平臺，配置應(yīng)用程序編程接口(application programming interface，簡稱API)，將所有系統(tǒng)集成開發(fā)打包，并上線至生產(chǎn)服務(wù)器，部署至Tomcat服務(wù)器，用戶通過互聯(lián)網(wǎng)地址或二維碼形式等渠道訪問該系統(tǒng)。

在深入研究已有先進成熟技術(shù)的基礎(chǔ)上，參考并借鑒先進的大數(shù)據(jù)架構(gòu)和WebGIS的設(shè)計思想與理念，深入了解廣東省施肥大數(shù)據(jù)系統(tǒng)建設(shè)的需求，根據(jù)已知的系統(tǒng)數(shù)據(jù)源，提出一套可行性建庫方案，建立廣東省施肥大數(shù)據(jù)庫及數(shù)據(jù)倉庫，采用前后端分離的RESTful設(shè)計架構(gòu)與分布式集群架構(gòu)，建立元數(shù)據(jù)管理系統(tǒng)，從而實現(xiàn)施肥大數(shù)據(jù)的空間數(shù)據(jù)和非空間數(shù)據(jù)的一體化管理。在數(shù)據(jù)需求與數(shù)據(jù)流分析的基礎(chǔ)上，采用自頂向下的設(shè)計模式對系統(tǒng)框架進行設(shè)計，整合多元數(shù)據(jù)資源，建立廣東省施肥大數(shù)據(jù)標準體系(包括全省96個農(nóng)業(yè)縣土地利用數(shù)據(jù)、土壤養(yǎng)分數(shù)據(jù)、主要作物農(nóng)田分布體系以及主要作物施肥指標體系和精準化作物施肥模型等)。在設(shè)計上保證數(shù)據(jù)便于維護、可更新、安全加密、海量及跨平臺資源共享。

該系統(tǒng)主要功能建設(shè)包括施肥決策支持子系統(tǒng)、大數(shù)據(jù)管理子系統(tǒng)、專家答疑服務(wù)子系統(tǒng)、知識庫管理子系統(tǒng)、用戶管理子系統(tǒng)、施肥數(shù)據(jù)可視化子系統(tǒng)及輔助子系統(tǒng)，以數(shù)據(jù)驅(qū)動的方式聯(lián)動系統(tǒng)功能建設(shè)，進而保證系統(tǒng)使用的高效與快捷(圖1)。

2 系統(tǒng)分析與設(shè)計

2.1 目標用戶與需求分析

通過對系統(tǒng)的目標用戶與系統(tǒng)功能需求進行分析，并經(jīng)過充分調(diào)研發(fā)現(xiàn)，系統(tǒng)的目標用戶主要分為3類：第1類用戶為整體文化水平較低，施肥觀念滯后，獲取施肥服務(wù)有效手段匱乏的種植大戶或農(nóng)場主；第2類用戶為具備一定農(nóng)業(yè)服務(wù)技能，但基層農(nóng)技推廣效率不高的基層農(nóng)技人員和農(nóng)業(yè)專家等；第3類用戶為與農(nóng)民緊密聯(lián)系的肥料生產(chǎn)企業(yè)和農(nóng)資店等農(nóng)業(yè)服務(wù)商。針對目標用戶的特性，研究設(shè)計一套針對多種類型用戶可高效運行的大數(shù)據(jù)平臺，指導(dǎo)農(nóng)業(yè)種植生產(chǎn)和科學(xué)施肥，以達到增產(chǎn)增優(yōu)、減少農(nóng)業(yè)污染等目的。

綜合對目標用戶行為特征的分析，并結(jié)合當(dāng)前廣東省測土配方施肥技術(shù)推廣和地域特色等實際情況，分析確定本研究系統(tǒng)平臺的功能需求。精準施肥大數(shù)據(jù)系統(tǒng)主要借助現(xiàn)有成熟的大數(shù)據(jù)技術(shù)優(yōu)勢，通過對數(shù)據(jù)進行處理、清洗、轉(zhuǎn)換與存儲，建立統(tǒng)一標準的海量數(shù)據(jù)庫及數(shù)據(jù)倉庫，并基于Hadoop架構(gòu)實現(xiàn)海量數(shù)據(jù)的存儲、分析與應(yīng)用，發(fā)揮地域特色，解決施肥大數(shù)據(jù)管理與應(yīng)用難題，為農(nóng)戶提供快速科學(xué)施肥決策服務(wù)。主要功能需求包括農(nóng)業(yè)大數(shù)據(jù)需求、精準施肥指導(dǎo)服務(wù)需求、農(nóng)業(yè)技術(shù)推廣需求等。

2.2 系統(tǒng)設(shè)計

系統(tǒng)設(shè)計包括系統(tǒng)的總體用例設(shè)計與系統(tǒng)的總體結(jié)構(gòu)設(shè)計。按照數(shù)據(jù)統(tǒng)一性和安全性、高效性和易用性、可維護性和擴展性原則進行設(shè)計。

2.2.1 系統(tǒng)的總體用例設(shè)計 根據(jù)“2.1”節(jié)的需求分析和調(diào)研分析，本系統(tǒng)主要涉及到以下用例：大數(shù)據(jù)分析與管理、精準施肥決策、農(nóng)業(yè)知識庫管理、專家在線咨詢、系統(tǒng)用戶管理等(圖2)。

2.2.2 系統(tǒng)的總體結(jié)構(gòu)設(shè)計 針對精準施肥核心環(huán)節(jié)，建立精準施肥大數(shù)據(jù)系統(tǒng)及相應(yīng)的信息服務(wù)平臺，集成大數(shù)據(jù)管理與應(yīng)用、精準施肥決策、農(nóng)技推廣、施肥數(shù)據(jù)可視化等功能應(yīng)用。利用大數(shù)據(jù)技術(shù)、WebGIS技術(shù)等現(xiàn)代信息技術(shù)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用，收集并整合相關(guān)資源，將農(nóng)戶、農(nóng)業(yè)技術(shù)人員、種植專家、政府各級農(nóng)業(yè)相關(guān)人員統(tǒng)一接入到服務(wù)系統(tǒng)內(nèi)，幫助農(nóng)戶學(xué)習(xí)農(nóng)業(yè)技術(shù)，通過測土配方技術(shù)實現(xiàn)精確定位施肥，從而減少盲目施肥和過度施肥所帶來的農(nóng)業(yè)污染和農(nóng)業(yè)資源浪費。相關(guān)技術(shù)人員通過大數(shù)據(jù)分析，挖掘出其中的數(shù)據(jù)價值，為農(nóng)戶提供相關(guān)農(nóng)業(yè)指導(dǎo)性意見(圖3)。

2.3 數(shù)據(jù)庫設(shè)計

大數(shù)據(jù)精準施肥系統(tǒng)存儲著海量數(shù)據(jù)，數(shù)據(jù)作為系統(tǒng)最核心的部分，是系統(tǒng)正常運行的先要條件。數(shù)據(jù)庫是數(shù)據(jù)管理的中心，其設(shè)計的好壞將直接影響系統(tǒng)的可用性和穩(wěn)定性。按照規(guī)范化、可擴展性、開放性與安全性、穩(wěn)定性等原則對數(shù)據(jù)庫進行設(shè)計。系統(tǒng)數(shù)據(jù)構(gòu)成與分類如下：(1)土壤養(yǎng)分數(shù)據(jù)，包括全省96個農(nóng)業(yè)縣的農(nóng)田分布數(shù)據(jù)、2千多萬個地塊數(shù)據(jù)、50萬條土壤采樣化驗數(shù)據(jù)以及200萬多項土壤指標數(shù)據(jù)(包括氮含量、磷含量、鉀含量、有機質(zhì)含量、pH值以及鐵、硫、硅、錳、銅、硼、鋅、鉬等中微量元素含量)。(2)土地利用數(shù)據(jù)，包括全省96個農(nóng)業(yè)縣的耕地地力評價單元數(shù)據(jù)、耕地土壤類型數(shù)據(jù)、行政區(qū)劃以及線狀地物、地類圖斑數(shù)據(jù)，此外還包括座落名稱、地貌類型、地面坡度、田面坡度、坡向、常年降水量、通常地下水量、地類編碼、圖斑面積、評價分級等指標數(shù)據(jù)。(3)施肥指標體系數(shù)據(jù)，包括豆角、瓜果、柑橘橙、花生、苦瓜、糖蔗、龍眼、荔枝、馬鈴薯、茄果、水稻、果蔗、甜玉米、香蕉、葉菜、柚子等16種廣東省主要地域特色作物施肥指標。(4)作物庫和配方庫數(shù)據(jù)(包括每個農(nóng)業(yè)縣的主要作物分布數(shù)據(jù)，包括糧食作物、蔬菜、水果、瓜類等作物生長期推薦施肥品種、數(shù)量、方法、配方肥配比、施用方法等)。(5)農(nóng)業(yè)知識庫數(shù)據(jù)，包括種植管理、栽培技術(shù)、病蟲害防治、良種繁育、土壤改良等圖文數(shù)據(jù)及多媒體數(shù)據(jù)。(6)專家答疑服務(wù)數(shù)據(jù)，包括專家與用戶之間互動交流記錄等圖文數(shù)據(jù)以及用戶最近詢問專家記錄、匹配推薦專家等數(shù)據(jù)。(7)專家及用戶數(shù)據(jù)，包括專家姓名、頭像、性別、職稱、擅長領(lǐng)域、手機號碼、專家答疑次數(shù)、工作單位等數(shù)據(jù)以及用戶注冊數(shù)據(jù)。(8)系統(tǒng)日志數(shù)據(jù)，包括用戶行為收集數(shù)據(jù)、系統(tǒng)運行訪問數(shù)據(jù)、性能數(shù)據(jù)、錯誤日志等。

2.3.1 空間數(shù)據(jù)庫的設(shè)計 精準施肥空間數(shù)據(jù)庫的原始數(shù)據(jù)為耕地地力評價成果更新數(shù)據(jù)，比例尺為1 ∶50 000，坐標系為北京54坐標系，包括各縣域耕地地力評價單元數(shù)據(jù)、各縣域耕地土壤調(diào)查采樣點分布數(shù)據(jù)(每年更新的歷史數(shù)據(jù))、各縣域耕地土壤類型數(shù)據(jù)、各縣域耕地土壤養(yǎng)分數(shù)據(jù)等專題地理數(shù)據(jù)以及地類圖斑、線狀地物、行政區(qū)界線、行政區(qū)等基礎(chǔ)地理數(shù)據(jù)。

空間數(shù)據(jù)庫作為地理信息系統(tǒng)在計算機物理存儲介質(zhì)上存儲的與應(yīng)用相關(guān)的地理空間數(shù)據(jù)的總和，一般以一系列相互關(guān)聯(lián)的特定結(jié)構(gòu)文件的形式組織在存儲介質(zhì)之上，存儲著空間數(shù)據(jù)(以點、線、面為同一類型同一時段的空間描述對象的分層、分組織儲存的實體)和屬性數(shù)據(jù)(如人口面積)。數(shù)據(jù)庫具有數(shù)據(jù)量龐大、高可訪問性、空間數(shù)據(jù)模型復(fù)雜、屬性數(shù)據(jù)和空間數(shù)據(jù)聯(lián)合管理、時空多尺度性等特點，支持空間查詢和空間分析等方法，在GIS領(lǐng)域中發(fā)揮著最基礎(chǔ)和最核心的作用。

通過數(shù)據(jù)預(yù)處理、數(shù)據(jù)更新和插值、構(gòu)建數(shù)據(jù)庫與發(fā)布專題地圖、構(gòu)建分析數(shù)據(jù)庫對精準施肥空間數(shù)據(jù)進行標準化處理。

2.3.2 配方施肥模型庫構(gòu)建 精準施肥大數(shù)據(jù)系統(tǒng)的核心是施肥模型的構(gòu)建。模型庫由一些評價和預(yù)測模型組成，是按照已確立的各種特性因子，并結(jié)合肥料學(xué)、土壤學(xué)、植物營養(yǎng)學(xué)等知識和專家經(jīng)驗建立的模型。施肥模型主要是在指定區(qū)域和作物種類(包括設(shè)定目標產(chǎn)量)已選定的情況下，通過對施肥量和施肥配比及時期的運籌，得出最優(yōu)的施肥配比和施肥方案。目前，該系統(tǒng)已有的作物配方施肥模型包括豆角、瓜果、柑橘橙、花生、苦瓜、糖蔗、龍眼、荔枝、馬鈴薯、茄果、水稻、果蔗、甜玉米、香蕉、葉菜、柚子等，本研究以此為基礎(chǔ)搭建施肥配方服務(wù)接口。

以水稻為例，水稻的施肥推薦模型須要根據(jù)不同區(qū)域采用不同的回歸模型，同時還應(yīng)考慮各個地區(qū)籽粒養(yǎng)分吸收量的不同，以及不同地區(qū)肥料利用率的不同。首先根據(jù)土壤養(yǎng)分計算出相對產(chǎn)量，其次根據(jù)目標產(chǎn)量和地力提供產(chǎn)量計算得出肥料須提供產(chǎn)量，再次考慮籽粒養(yǎng)分吸收量和肥料利用率，最終求出該地區(qū)該目標產(chǎn)量下的水稻養(yǎng)分推薦施肥量，表1為水稻養(yǎng)分推薦施氮量模型。

表1 水稻養(yǎng)分推薦施氮量模型

2.3.3 系統(tǒng)功能模塊設(shè)計 依據(jù)系統(tǒng)的分析和設(shè)計，本系統(tǒng)的總體功能模塊設(shè)計見圖4。針對不同類型的用戶進行拆分，其中，數(shù)據(jù)統(tǒng)計分析模塊和業(yè)務(wù)更新部分僅面向管理員用戶類型開放。

3 系統(tǒng)實現(xiàn)

3.1 用戶管理模塊的實現(xiàn)

該系統(tǒng)平臺用戶主要分成農(nóng)戶、專業(yè)人員、農(nóng)業(yè)部門管理員等3類。農(nóng)業(yè)部門管理員通過PC端進入用戶管理模塊后，可以查看各類用戶列表及詳情，并可根據(jù)統(tǒng)一模板批量導(dǎo)入專家數(shù)據(jù)，對專家用戶信息進行編輯和刪除，添加用戶，查看用戶列表。農(nóng)戶和專業(yè)人員在移動端網(wǎng)頁入口進入、注冊或登錄訪問。

3.2 測土配方施肥模塊的實現(xiàn)

3.2.1 測土配方施肥系統(tǒng) 通過對(市—區(qū)—村)逐級進行選擇，向服務(wù)器發(fā)送請求獲得所選村的地圖服務(wù)，然后進入所選村的地圖；在地圖上進行操作，將地圖中心點放在綠色的地塊上，與后臺交互獲取土壤養(yǎng)分數(shù)據(jù)，彈出Callout窗體，點擊該窗體，進入測土配方參數(shù)設(shè)置。地圖顯示功能時序見圖5。除顯示該地塊必要土壤養(yǎng)分元素外，用戶可設(shè)置不同的作物及目標產(chǎn)量。設(shè)置完畢，點擊確定，發(fā)送請求至服務(wù)器，服務(wù)器通過計算相應(yīng)的縣域配方模型獲得施肥建議卡，并將施肥建議卡以網(wǎng)頁的形式顯示到用戶界面。該施肥建議卡可通過微信、QQ、微博等形式實現(xiàn)分享。生成配肥方案時序見圖6。

3.2.2 現(xiàn)場決策施肥 現(xiàn)場決策的流程與測土配方施肥基本一致，只是該流程第1階段并不須要通過訪問地圖來獲得土壤養(yǎng)分數(shù)據(jù)。只須開啟手機端全球定位系統(tǒng)(golbal positioning system，簡稱GPS)，獲得當(dāng)前的經(jīng)緯度坐標，調(diào)用服務(wù)接口，經(jīng)坐標系轉(zhuǎn)換以及Query查詢，并設(shè)置范圍與容差，即可獲得該坐標下的土壤養(yǎng)分數(shù)據(jù)。然后再選擇作物，得到施肥建議卡。

3.2.3 配方模型更新 作物模型與目標產(chǎn)量的設(shè)置通過服務(wù)器獲得更新，調(diào)用SharedPreferencesUtil工具類以離線的方式存儲至手機端。以定期更新的形式獲得最新數(shù)據(jù)表。配方施肥模型的計算方案由后臺進行更新。

3.3 農(nóng)業(yè)知識庫模塊的實現(xiàn)

在移動端部分，用戶點擊“知識庫”模塊，進入知識庫，可以查看農(nóng)作物品種、農(nóng)業(yè)技術(shù)、農(nóng)資信息等相關(guān)圖文內(nèi)容，為科學(xué)農(nóng)業(yè)生產(chǎn)提供知識支撐，通過閱讀、瀏覽、學(xué)習(xí)提升用戶知識水平。點擊搜索框，可以選擇知識庫分類以及搜索相關(guān)的關(guān)鍵詞。

3.4 數(shù)據(jù)分析模塊的實現(xiàn)

數(shù)據(jù)分析模塊包括大數(shù)據(jù)可視化分析、用戶行為分析和信息統(tǒng)計分析。該模塊功能面向管理員級別，由后臺管理系統(tǒng)提供服務(wù)，方便管理員進行決策分析，為后續(xù)工作提供指導(dǎo)基礎(chǔ)。

3.4.1 大數(shù)據(jù)可視化分析 空間數(shù)據(jù)可視化是大數(shù)據(jù)可視化的重要構(gòu)成部分。該模塊結(jié)合GIS大數(shù)據(jù)與Hadoop技術(shù)，搭建Hadoop大數(shù)據(jù)分析平臺，利用GIS Tools for Hadoop工具將施肥大數(shù)據(jù)轉(zhuǎn)化為JSON數(shù)據(jù)并導(dǎo)入到Hadoop平臺中，提交到MapReduce程序中，經(jīng)空間分析運算將分析結(jié)果轉(zhuǎn)化為要素類顯示至地圖中，可有效節(jié)省運算時間，解決單機執(zhí)行效率有限問題。另外，開發(fā)了1套基于Python自動化數(shù)據(jù)處理工具的系統(tǒng)，對原始數(shù)據(jù)進行標準化處理(統(tǒng)一字段、檢查坐標系、統(tǒng)一屬性值)后，批量導(dǎo)出廣東省范圍的土壤數(shù)據(jù)和底圖數(shù)據(jù)，導(dǎo)入至空間數(shù)據(jù)庫，并發(fā)布地圖切片服務(wù)。

該模塊以市、縣為單元維度，對大數(shù)據(jù)進行實時更新統(tǒng)計分析，如對縣域維度的土壤數(shù)據(jù)平均值、最大值、最小值進行統(tǒng)計分析等?？蓪?shù)據(jù)處理結(jié)果以報表形式導(dǎo)出用于查閱(圖7)。

3.4.2 用戶行為分析 移動端設(shè)計各類行為埋點，如施肥建議卡生成次數(shù)、閱讀單個文章次數(shù)、點擊單個Activity次數(shù)以及訪問時間、用戶評論互動指標等，根據(jù)這些行為埋點分析用戶行為，獲得相關(guān)的反饋，進而優(yōu)化App核心功能(圖8)。

3.4.3 信息統(tǒng)計分析 該模塊用于記錄核心業(yè)務(wù)的信息統(tǒng)計內(nèi)容，包括用戶數(shù)統(tǒng)計、農(nóng)業(yè)知識庫數(shù)量統(tǒng)計、專家答疑內(nèi)容統(tǒng)計、生成施肥建議卡次數(shù)統(tǒng)計以及用戶主動提供反饋的信息內(nèi)容(如用戶建議和投訴信息等)。另外，統(tǒng)計生成建議卡作物地域分布情況及滿意度評價。

4 結(jié)束語

目前大數(shù)據(jù)應(yīng)用在用戶推薦、流量統(tǒng)計、系統(tǒng)架構(gòu)等領(lǐng)域取得了巨大進步，然而其他具體垂直領(lǐng)域的大數(shù)據(jù)應(yīng)用仍處于摸索階段。本研究對精準施肥大數(shù)據(jù)系統(tǒng)進行分析、設(shè)計與開發(fā)，基本實現(xiàn)系統(tǒng)的核心功能，并對系統(tǒng)進行推廣應(yīng)用，彌補了精準施肥大數(shù)據(jù)領(lǐng)域應(yīng)用上的空缺，其技術(shù)具有一定的先進性和借鑒作用；同時進一步提升了精準施肥管理及決策水平，且具有專業(yè)化、精準化、區(qū)域化、可維護性和應(yīng)用范圍廣等特點。首先，充分利用精準施肥大數(shù)據(jù)及相應(yīng)的大數(shù)據(jù)技術(shù)，建立標準統(tǒng)一的精準施肥海量數(shù)據(jù)庫、數(shù)據(jù)倉庫及元數(shù)據(jù)管理系統(tǒng)，可為精準施肥提供新的決策方案和途徑。其次，結(jié)合大數(shù)據(jù)技術(shù)和WebGIS技術(shù)，采用前后端分離的RESTful設(shè)計架構(gòu)與分布式集群架構(gòu)，開發(fā)1套基于精準施肥大數(shù)據(jù)系統(tǒng)以及相應(yīng)信息服務(wù)的應(yīng)用平臺，為農(nóng)戶提供精準施肥決策指導(dǎo)(圖9)及農(nóng)技推廣服務(wù)，進而逐漸改變農(nóng)戶傳統(tǒng)種植觀念，提高農(nóng)戶知識水平，達到農(nóng)作物增產(chǎn)增收、減少環(huán)境污染等效果。最后，系統(tǒng)先后于廣東省各地(如開平市、羅定市等)進行推廣應(yīng)用，推廣效果顯著，并被評為“粵治-治理能力現(xiàn)代化”2016—2017年優(yōu)秀案例。