基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺(tái)設(shè)計(jì)

向模軍 鄒承俊 張霞

摘? 要：針對(duì)現(xiàn)有農(nóng)產(chǎn)品信息服務(wù)存在的數(shù)據(jù)質(zhì)量低、整合難、流通差等問題和大數(shù)據(jù)時(shí)代的工作要求，依托物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)，設(shè)計(jì)一種基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺(tái)。數(shù)據(jù)獲取層主要利用物聯(lián)網(wǎng)感知采集數(shù)據(jù)，在大數(shù)據(jù)中心完成數(shù)據(jù)轉(zhuǎn)換、處理、分析，通過應(yīng)用層可視化展示實(shí)現(xiàn)“4A”應(yīng)用。平臺(tái)進(jìn)行云化管理，為不同參與主體提供按需服務(wù)，將大數(shù)據(jù)技術(shù)應(yīng)用于農(nóng)產(chǎn)品信息服務(wù)領(lǐng)域，實(shí)現(xiàn)農(nóng)產(chǎn)品大數(shù)據(jù)的實(shí)時(shí)共享，有利于農(nóng)產(chǎn)品數(shù)據(jù)資源的有效充分利用。

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;農(nóng)產(chǎn)品;平臺(tái)設(shè)計(jì)

中圖分類號(hào)：TP319? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2021）-04-60-03

Abstract： Existing agricultural products information services， with problems of poor data quality， difficulty in integration， and slow circulation， cannot meet the demands of the big data era. This paper proposes to design a big data-based cloud platform for agricultural products information service， using technologies such as Internet of Things， big data and cloud computing. On the proposed service cloud platform， Internet of Things is mainly used to sense and collect data on data acquisition layer， and data conversion， processing， and analysis are completed in big data center. "4A" applications are realized through visualization display on application layer. The platform， which is managed by cloud， provides on-demand services for different participants， applies big data technology to the field of agricultural products information services， and realizes the real-time sharing of agricultural products big data. The platform facilitates full and effective use of agricultural products data resources.

Keywords： big data; cloud computing; agricultural products; platform design

1? ?引言（Introduction）

我國(guó)是名副其實(shí)的農(nóng)產(chǎn)品大國(guó)，農(nóng)產(chǎn)品相關(guān)數(shù)據(jù)量井噴式地增長(zhǎng)，使得原有的農(nóng)產(chǎn)品數(shù)據(jù)處理模式已經(jīng)不能適應(yīng)大數(shù)據(jù)時(shí)代農(nóng)產(chǎn)品信息服務(wù)工作的需要。因此，急需加快推進(jìn)農(nóng)產(chǎn)品信息化，利用以物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能、5G網(wǎng)絡(luò)、區(qū)塊鏈為代表的現(xiàn)代信息技術(shù)，構(gòu)建農(nóng)產(chǎn)品信息服務(wù)平臺(tái)，讓農(nóng)產(chǎn)品在邁向現(xiàn)代化的進(jìn)程中插上信息化的翅膀。

2? 目前農(nóng)產(chǎn)品信息服務(wù)中存在的問題（Problems in information service of agricultural products）

在我國(guó)農(nóng)產(chǎn)品信息服務(wù)領(lǐng)域，農(nóng)產(chǎn)品信息不對(duì)稱，“賣難”和“買難”現(xiàn)象尷尬并存，農(nóng)產(chǎn)品生產(chǎn)不均衡，整體規(guī)模龐大與個(gè)體規(guī)模分散現(xiàn)象長(zhǎng)期存在，加上城鄉(xiāng)數(shù)字鴻溝，致使同國(guó)外發(fā)達(dá)國(guó)家相比有很大差距，主要表現(xiàn)在：

（1）農(nóng)產(chǎn)品信息資源質(zhì)量較低。一方面農(nóng)民文化水平相對(duì)不高，沒有能力也不愛學(xué)習(xí)農(nóng)業(yè)信息技術(shù)，拉低了農(nóng)產(chǎn)品信息資源采集質(zhì)量;另一方面，偏遠(yuǎn)山區(qū)農(nóng)村信息化基礎(chǔ)薄弱，沒有信息化系統(tǒng)和信息化設(shè)備，結(jié)合本地情況開發(fā)利用的信息資源極為匱乏。

（2）農(nóng)產(chǎn)品信息未能有效整合。農(nóng)產(chǎn)品涉及的環(huán)節(jié)眾多，農(nóng)產(chǎn)品全產(chǎn)業(yè)鏈較長(zhǎng)，融合了地域性、季節(jié)性、多樣性、周期性等自身特征后產(chǎn)生的來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜的農(nóng)產(chǎn)品信息，還未出現(xiàn)有效的整合方案，現(xiàn)有的農(nóng)產(chǎn)品信息比較分散，大數(shù)據(jù)的優(yōu)勢(shì)有望從技術(shù)上改變這一問題。

（3）農(nóng)產(chǎn)品市場(chǎng)信息流通不暢。農(nóng)產(chǎn)品信息接收方式落后、單向、滯后，尤其在農(nóng)產(chǎn)品市場(chǎng)價(jià)格及供求波動(dòng)方面，在缺乏信息或信息被扭曲的條件下，廣大農(nóng)戶一哄而上、一哄而下，不管不顧盲目生產(chǎn)，難以做到對(duì)突發(fā)事件及時(shí)發(fā)現(xiàn)苗頭并提前應(yīng)對(duì)。

產(chǎn)前缺乏市場(chǎng)信息引導(dǎo)，產(chǎn)中缺乏生產(chǎn)技術(shù)指導(dǎo)，產(chǎn)后缺乏銷售信息和渠道。針對(duì)這些問題，國(guó)務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（國(guó)發(fā)〔2015〕50號(hào)）明確提出：發(fā)展大數(shù)據(jù)在農(nóng)業(yè)等行業(yè)領(lǐng)域應(yīng)用，構(gòu)建農(nóng)業(yè)信息綜合服務(wù)平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化采集、網(wǎng)絡(luò)化傳輸、標(biāo)準(zhǔn)化處理和可視化運(yùn)用[1]。農(nóng)業(yè)農(nóng)村部發(fā)布《農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見》（農(nóng)市發(fā)〔2015〕6號(hào)）指出：鼓勵(lì)開展大數(shù)據(jù)時(shí)代農(nóng)業(yè)信息服務(wù)平臺(tái)建設(shè)，更好地做好農(nóng)業(yè)信息服務(wù)工作，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)智能化、經(jīng)營(yíng)網(wǎng)絡(luò)化、管理高效化、服務(wù)便捷化[2]。

3? 農(nóng)產(chǎn)品信息服務(wù)平臺(tái)功能設(shè)計(jì)（Function design of agricultural product information service platform）

農(nóng)產(chǎn)品信息化包括農(nóng)產(chǎn)品種植（養(yǎng)殖）、生長(zhǎng)、收獲、加工、包裝、存儲(chǔ)、運(yùn)輸、分銷、銷售全流程的信息化[3]，根據(jù)對(duì)涉及農(nóng)產(chǎn)品生產(chǎn)、加工、銷售等參與主體的調(diào)研情況，結(jié)合提供農(nóng)產(chǎn)品信息共享和服務(wù)這一主要目標(biāo)，將平臺(tái)劃分為六大系統(tǒng)模塊。

（1）用戶管理。由于農(nóng)產(chǎn)品參與主體眾多，用戶群體多樣，本平臺(tái)將用戶類型分為政府監(jiān)管人員、農(nóng)產(chǎn)品企業(yè)、農(nóng)業(yè)科研機(jī)構(gòu)、農(nóng)戶以及消費(fèi)者五種類型，通過基于角色的訪問控制RBAC（Role-Based Access Control）權(quán)限管理模型，構(gòu)造“用戶-角色-權(quán)限”授權(quán)模型，確保不同用戶類型擁有適當(dāng)?shù)臋?quán)限，對(duì)應(yīng)訪問平臺(tái)上不同的功能模塊。

（2）農(nóng)產(chǎn)品生產(chǎn)管控?；谵r(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)，利用傳感器等設(shè)備實(shí)時(shí)監(jiān)測(cè)農(nóng)產(chǎn)品生產(chǎn)信息，如土壤濕潤(rùn)度等，同時(shí)利用智慧農(nóng)業(yè)大棚等設(shè)施實(shí)現(xiàn)遠(yuǎn)程自動(dòng)化控制，如智能灌溉等，以此幫助農(nóng)戶和企業(yè)構(gòu)建一套農(nóng)產(chǎn)品生產(chǎn)管控解決方案，期間積累的過程數(shù)據(jù)服務(wù)于科研機(jī)構(gòu)用于農(nóng)業(yè)的相關(guān)研究[4-5]。

（3）農(nóng)產(chǎn)品安全溯源。溯源是農(nóng)產(chǎn)品質(zhì)量安全的重要保證手段，基于區(qū)塊鏈技術(shù)解決農(nóng)產(chǎn)品質(zhì)量控制與可信追溯的問題，融合政府監(jiān)管、消費(fèi)服務(wù)等功能，與農(nóng)業(yè)生產(chǎn)管控等模塊相連構(gòu)建農(nóng)產(chǎn)品質(zhì)量安全溯源系統(tǒng)，實(shí)現(xiàn)農(nóng)產(chǎn)品從“種子”到“餐桌”的全生命周期管理[6-7]，農(nóng)產(chǎn)品各方參與主體共同建立健全農(nóng)產(chǎn)品追溯體系，共同確保人民群眾“舌尖上的安全”。

（4）農(nóng)產(chǎn)品電商。借助農(nóng)產(chǎn)品大數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)在線交易，基于互聯(lián)網(wǎng)開放的網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)C2B模式，即農(nóng)戶根據(jù)用戶的訂單需求定制化生產(chǎn)農(nóng)產(chǎn)品;B2C模式，即商家通過平臺(tái)賣農(nóng)產(chǎn)品給消費(fèi)者;B2B模式，即商家集中采購(gòu)，分發(fā)配送給中小經(jīng)銷商;F2C模式，即農(nóng)戶通過網(wǎng)上平臺(tái)直接賣給消費(fèi)者;O2O模式，即消費(fèi)者線上買單，線下自提農(nóng)產(chǎn)品。

（5）農(nóng)技智能問答?；?G（5th-Generation，第五代移動(dòng)通信技術(shù)）+AI（Artificial Intelligence，人工智能），構(gòu)建懂業(yè)務(wù)、知用戶的農(nóng)業(yè)技術(shù)服務(wù)機(jī)器人系統(tǒng)，為農(nóng)戶、企業(yè)等農(nóng)產(chǎn)品參與主體提供專業(yè)的技術(shù)信息服務(wù)。通過機(jī)器人智能問答，輔以農(nóng)業(yè)專家在線指導(dǎo)，借助手機(jī)、iPad等移動(dòng)終端，使多方不受時(shí)空限制開展互動(dòng)，進(jìn)行農(nóng)技科普。

（6）綜合信息服務(wù)?；贐/S結(jié)構(gòu)（Browser/Server，瀏覽器/服務(wù)器模式）建設(shè)農(nóng)產(chǎn)品信息網(wǎng)站，用于對(duì)農(nóng)產(chǎn)品信息的發(fā)布、瀏覽、查詢和訂閱等，內(nèi)容可以包括相關(guān)政策法規(guī)、農(nóng)業(yè)新聞資訊、農(nóng)產(chǎn)品市場(chǎng)信息等，力爭(zhēng)實(shí)現(xiàn)農(nóng)產(chǎn)品信息的及時(shí)、暢通。

4? 構(gòu)建農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用架構(gòu)（Building big data application architecture for agricultural products）

隨著農(nóng)業(yè)物聯(lián)網(wǎng)的風(fēng)生水起和農(nóng)業(yè)信息化的不斷深入，諸如農(nóng)產(chǎn)品信息服務(wù)平臺(tái)等智慧農(nóng)業(yè)系統(tǒng)不斷投建，農(nóng)業(yè)大數(shù)據(jù)時(shí)代也應(yīng)運(yùn)而來。如何有效利用農(nóng)業(yè)大數(shù)據(jù)服務(wù)農(nóng)業(yè)現(xiàn)代化是當(dāng)下熱點(diǎn)[3，8]。圖1展示了一種農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用架構(gòu)，圖2是其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。在這種設(shè)計(jì)中，將農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用簡(jiǎn)單分為三層，即數(shù)據(jù)獲取層（物聯(lián)網(wǎng)感知層）、大數(shù)據(jù)處理中心（業(yè)務(wù)平臺(tái)層）和數(shù)據(jù)應(yīng)用層（應(yīng)用展示層）。

在數(shù)據(jù)獲取層，利用多種方式采集數(shù)據(jù)?？梢允謩?dòng)錄入數(shù)據(jù)，如各參與主體的原始數(shù)據(jù)批量導(dǎo)入;可以與其他農(nóng)業(yè)系統(tǒng)對(duì)接采集數(shù)據(jù);可以利用手機(jī)、iPad等移動(dòng)終端拍照、掃碼等采集數(shù)據(jù)，利用基于位置的服務(wù)LBS（Location Based Services）來獲取設(shè)備/人員的所在位置;甚至可以使用無人機(jī)或人造衛(wèi)星等采集農(nóng)產(chǎn)品信息。從網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)來看，更多的是通過物聯(lián)網(wǎng)的感知來采集數(shù)據(jù)，通過LoRa（Long Range Radio，遠(yuǎn)距離無線電）、ZigBee、Wi-Fi等技術(shù)采集農(nóng)產(chǎn)品環(huán)境數(shù)據(jù)，如空氣的光照度、土壤的濕潤(rùn)度、水質(zhì)的PH值。

數(shù)據(jù)采集的方式越來越多，數(shù)據(jù)類型也越來越多樣化，各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)不斷產(chǎn)生，這些數(shù)據(jù)通過無線傳感器網(wǎng)絡(luò)（Wireless Sensor Networks，WSN）、局域網(wǎng)（Local Area Network，LAN）或5G網(wǎng)絡(luò)傳輸?shù)酱髷?shù)據(jù)中心。在大數(shù)據(jù)中心數(shù)據(jù)處理中，首先要利用“ETL（Extract-Transform-Load）”技術(shù)，結(jié)合利用網(wǎng)絡(luò)爬蟲爬取來自互聯(lián)網(wǎng)的農(nóng)產(chǎn)品數(shù)據(jù)，將這些數(shù)據(jù)經(jīng)過抽取、清洗、轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)。利用開源工具Sqoop，實(shí)現(xiàn)Hadoop（HDFS）與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)（MySQL等）之間進(jìn)行數(shù)據(jù)的傳遞，將分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起。本設(shè)計(jì)中，非結(jié)構(gòu)化數(shù)據(jù)還是采用NoSQL數(shù)據(jù)庫(kù)的HBase數(shù)據(jù)庫(kù)分布式存儲(chǔ)，全文檢索等搜索引擎采用Solr搜索應(yīng)用服務(wù)器，統(tǒng)一的資源管理和調(diào)度采用YARN資源管理器，大數(shù)據(jù)集群計(jì)算環(huán)境采用專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的Spark計(jì)算引擎，查詢、分析等采用基于SQL（Structured Query Language）的查詢計(jì)算工具Impala[4，9-10]。

這些農(nóng)產(chǎn)品數(shù)據(jù)經(jīng)過大數(shù)據(jù)中心處理后，針對(duì)本信息服務(wù)平臺(tái)六大功能模塊開展大數(shù)據(jù)分析、數(shù)據(jù)挖掘，完成大數(shù)據(jù)可視化，實(shí)現(xiàn)平臺(tái)的“4A”應(yīng)用：任何設(shè)備（Any Device）、任何時(shí)間（Any Time）、任何地點(diǎn)（Any Where）、任何人（Any One），讓包括本平臺(tái)五種用戶類型的所有人，可以打破時(shí)空局限，隨時(shí)隨地訪問農(nóng)產(chǎn)品信息服務(wù)平臺(tái)。

5? 農(nóng)產(chǎn)品信息服務(wù)云平臺(tái)設(shè)計(jì)（Design of cloud platform for agricultural products information service）

為了以低成本的方式提供規(guī)?？缮炜s的高可用的農(nóng)產(chǎn)品信息服務(wù)，省去購(gòu)買軟、硬件以及建立現(xiàn)場(chǎng)大數(shù)據(jù)中心的費(fèi)用，本設(shè)計(jì)引入云計(jì)算技術(shù)來構(gòu)建農(nóng)產(chǎn)品信息服務(wù)平臺(tái)。

“云計(jì)算”在其概念提出的10多年間，取得了飛速的發(fā)展與翻天覆地的變化，包含SaaS（Software-as-a-Service，軟件即服務(wù)）、PaaS（Platform-as-a-Service，平臺(tái)即服務(wù)）和IaaS（Infrastructure-as-a-Service，基礎(chǔ)設(shè)施即服務(wù)）。

如圖3所示設(shè)計(jì)的農(nóng)產(chǎn)品服務(wù)云平臺(tái)架構(gòu)[5，7]，將各類資源利用虛擬化技術(shù)進(jìn)行高效統(tǒng)一的整合，應(yīng)用先進(jìn)的大數(shù)據(jù)處理、分析技術(shù)對(duì)其進(jìn)行云化管理，以滿足不同參與群體的需求。

農(nóng)產(chǎn)品數(shù)據(jù)存儲(chǔ)層（IaaS層）：將計(jì)算資源，包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)和農(nóng)產(chǎn)品數(shù)據(jù)等，利用VMware虛擬化技術(shù)提供可擴(kuò)展的彈性的云服務(wù)給用戶，用戶按需購(gòu)買資源，而不必購(gòu)買全部硬件。

農(nóng)產(chǎn)品數(shù)據(jù)處理層（PaaS層）：將平臺(tái)運(yùn)行環(huán)境等構(gòu)建成統(tǒng)一的自動(dòng)化協(xié)調(diào)的分布式運(yùn)行環(huán)境，以服務(wù)的形式或以API、SDK的形式提供給用戶，簡(jiǎn)化應(yīng)用的部署、運(yùn)行等。

農(nóng)產(chǎn)品數(shù)據(jù)交互層（SaaS層）：面向終端客戶，提供一站式的解決方案，以本設(shè)計(jì)的農(nóng)戶為例，可以利用農(nóng)技智能問答系統(tǒng)獲取專業(yè)知識(shí)，可以利用農(nóng)產(chǎn)品電商平臺(tái)進(jìn)行在線交易等。

集中管理平臺(tái)：有效管理整個(gè)服務(wù)平臺(tái)，確保整個(gè)服務(wù)平臺(tái)安全穩(wěn)定。

6? ?結(jié)論（Conclusion）

針對(duì)當(dāng)下農(nóng)產(chǎn)品信息服務(wù)中存在的問題，以及農(nóng)產(chǎn)品數(shù)據(jù)格式多樣、物理分散等特征，設(shè)計(jì)了一種基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺(tái)，以期打破不同農(nóng)業(yè)數(shù)據(jù)庫(kù)的“數(shù)據(jù)孤島”，突破不同農(nóng)業(yè)應(yīng)用系統(tǒng)的“服務(wù)孤島”，實(shí)現(xiàn)農(nóng)產(chǎn)品大數(shù)據(jù)的有效共享和運(yùn)用。

參考文獻(xiàn)（References）

[1] 國(guó)務(wù)院.促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要（國(guó)發(fā)〔2015〕50號(hào)）[Z].2015-08-31.

[2] 農(nóng)業(yè)農(nóng)村部.農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見（農(nóng)市發(fā)〔2015〕6號(hào)）[Z].2015-12-29.

[3] 呂婧.農(nóng)業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].蘭州：蘭州大學(xué)，2019.

[4] SONG S H， ZHANG Z. Database resources in big data center： Submission， archiving， and integration of big data in plant science[J]. Molecular Plant， 2019， 12（3）：279-281.

[5] 沈超.基于云計(jì)算的農(nóng)產(chǎn)品信息服務(wù)平臺(tái)構(gòu)建策略研究[D].杭州：浙江工業(yè)大學(xué)，2017.

[6] 李秀峰，陳守合，郭雷風(fēng).大數(shù)據(jù)時(shí)代農(nóng)業(yè)信息服務(wù)的技術(shù)創(chuàng)新[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2014，16（4）：10-15.

[7] 李朝鋒.大數(shù)據(jù)時(shí)代基于云計(jì)算技術(shù)構(gòu)建農(nóng)業(yè)信息服務(wù)平臺(tái)研究[J].河南科技，2017（5）：19-21.

[8] SHANG H Y， LIU Y， ZHENG A， et al. Research on technical architecture and application of big data cloud platform for electric power measurement[J]. Journal of Physics： Conference Series， 2019， 1213（4）：1-6.

[9] 李錦華.基于大數(shù)據(jù)分析的海量信息軟件系統(tǒng)設(shè)計(jì)與開發(fā)[J].軟件工程，2017，20（11）：54-56.

[10] 姚艷敏，白玉琪.農(nóng)業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)體系框架研究[J].農(nóng)業(yè)大數(shù)據(jù)學(xué)報(bào)，2019，1（4）：76-85.

作者簡(jiǎn)介：

向模軍（1974-），男，碩士，副教授.研究領(lǐng)域：農(nóng)業(yè)信息化.

鄒承俊（1963-），男，碩士，教授.研究領(lǐng)域：農(nóng)業(yè)物聯(lián)網(wǎng).

張? ? 霞（1981-），女，碩士，副教授.研究領(lǐng)域：軟件工程.