湖南省水稻大數(shù)據(jù)綜合服務(wù)平臺體系架構(gòu)設(shè)計與實現(xiàn)

于 超，劉學文，羅建軍，周 超，張智優(yōu)，李 亮

（湖南省農(nóng)業(yè)信息與工程研究所，長沙 湖南 410128）

近年來，信息技術(shù)飛速發(fā)展。物聯(lián)網(wǎng)、“互聯(lián)網(wǎng)+”、云平臺、大數(shù)據(jù)等技術(shù)的應(yīng)用越來越廣泛[1-3]。2020年中央一號文件在農(nóng)業(yè)信息化建設(shè)方面提出加快物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、第五代移動通信網(wǎng)絡(luò)、區(qū)塊鏈、智慧氣象等現(xiàn)代信息技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用。因此，利用大數(shù)據(jù)技術(shù)解決農(nóng)業(yè)綜合服務(wù)問題已成為農(nóng)業(yè)信息領(lǐng)域的重要課題[4-6]。目前，農(nóng)業(yè)單品種大數(shù)據(jù)平臺構(gòu)建的研究是熱點。例如：張輝等[7]結(jié)合物聯(lián)網(wǎng)、遙感、大數(shù)據(jù)技術(shù)匯聚的花生大數(shù)據(jù)平臺，可實現(xiàn)花生生產(chǎn)質(zhì)量安全追溯，推動當?shù)鼗ㄉa(chǎn)業(yè)高質(zhì)高效發(fā)展；程述漢等[8]基于AMSRT 架構(gòu)的蘋果產(chǎn)業(yè)大數(shù)據(jù)體系，該體系采用Hadoop 分布式處理系統(tǒng)，用Spark搭建混合處理框架，解決蘋果生產(chǎn)、管理、加工流通中產(chǎn)生的大量數(shù)據(jù)的集成、挖掘和使用問題。2016—2020 年，農(nóng)業(yè)農(nóng)村部、工業(yè)和信息化部相繼開展農(nóng)業(yè)農(nóng)村大數(shù)據(jù)試點、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點，在全國范圍內(nèi)建設(shè)生豬、柑橘、花生、馬鈴薯、大蒜、綠葉菜、大閘蟹、普洱茶、橡膠、蘋果等多個品種的全產(chǎn)業(yè)鏈大數(shù)據(jù)，并利用大數(shù)據(jù)及其挖掘分析結(jié)果引導市場預(yù)期、指導農(nóng)業(yè)生產(chǎn)[9]。除此之外，還有大豆、茶葉、熱帶作物等農(nóng)作物單品種大數(shù)據(jù)平臺也相繼建成并運行服務(wù)。

水稻是我國最主要的糧食作物，其種植面積居我國糧食作物的首位。全國有65%以上的人口以大米為主食，稻米產(chǎn)量在很大程度上制約著我國的糧食市場走勢和糧食安全形勢。筆者針對水稻全產(chǎn)業(yè)鏈中各階段的信息資源需求，建立了一套以空間信息為載體，以水稻科研數(shù)據(jù)、水稻種植過程數(shù)據(jù)、水稻全產(chǎn)業(yè)鏈數(shù)據(jù)等為核心的公共數(shù)據(jù)共享開放平臺。該平臺是服務(wù)水稻產(chǎn)業(yè)，促進信息技術(shù)與農(nóng)業(yè)生產(chǎn)深度融合應(yīng)用，提升水稻產(chǎn)業(yè)精準化、智能化水平的有力支撐，是防止脫貧之后返貧、實現(xiàn)鄉(xiāng)村振興的重要舉措之一。

1 水稻大數(shù)據(jù)綜合服務(wù)平臺建設(shè)構(gòu)想

基于大數(shù)據(jù)理念，立足湖南，開展平臺的頂層設(shè)計、底層架構(gòu)設(shè)計、UI 設(shè)計，綜合運用遙感技術(shù)、農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)、現(xiàn)代網(wǎng)絡(luò)技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)等現(xiàn)代化信息采集手段，并結(jié)合傳統(tǒng)信息采集手段，收集水稻種質(zhì)資源信息、水稻市場信息、水稻病蟲害及防治藥劑信息、水稻種植環(huán)境信息和水稻相關(guān)知識，開展水稻遙感圖形數(shù)據(jù)分析及展示、水稻數(shù)據(jù)挖掘分析及展示、水稻專家遠程服務(wù)等功能設(shè)計，以此建立水稻大數(shù)據(jù)綜合服務(wù)平臺來完善水稻種植研究和產(chǎn)業(yè)發(fā)展信息服務(wù)體系，著力提升水稻產(chǎn)業(yè)信息技術(shù)創(chuàng)新應(yīng)用能力，為水稻的生產(chǎn)管理、科學研究、政府科學決策和新型農(nóng)業(yè)經(jīng)營主體可持續(xù)發(fā)展提供新方法、新思路，為保障國家糧食安全提供新的技術(shù)手段，促進水稻產(chǎn)業(yè)健康、高質(zhì)量、可持續(xù)發(fā)展。

1.1 運用大數(shù)據(jù)理念進行服務(wù)平臺的頂層設(shè)計

大數(shù)據(jù)是一種全面的系統(tǒng)性的思維方式，平臺思維是大數(shù)據(jù)時代用戶參與的驅(qū)動力。該研究的水稻大數(shù)據(jù)綜合服務(wù)平臺以建設(shè)一站式綜合服務(wù)平臺，構(gòu)建一張圖、一個庫、一個門戶、一個數(shù)據(jù)中心、一個分析展示平臺、多個可擴張性功能應(yīng)用為頂層理念，通過大數(shù)據(jù)等現(xiàn)代信息技術(shù)搭建一個由政府、企業(yè)、科研院所、用戶等多主體共建、共享、共贏、開放的綜合服務(wù)平臺，為用戶提供全面周到的服務(wù)體驗。

1.2 運用云計算技術(shù)構(gòu)建服務(wù)平臺的基礎(chǔ)支撐

云計算是一種新興的共享基礎(chǔ)架構(gòu)方法，它以公開的標準和服務(wù)為基礎(chǔ)，以互聯(lián)網(wǎng)為中心，提供安全、快速、便捷的數(shù)據(jù)存儲和網(wǎng)絡(luò)計算服務(wù)。水稻大數(shù)據(jù)綜合服務(wù)平臺采用云計算作為底層基礎(chǔ)設(shè)施的交付和使用模式，通過互聯(lián)網(wǎng)提供虛擬化的資源計算方式，將動態(tài)易擴展的資源以按需求的方式提供和獲取，并通過私有云的搭建，輕松地擴展水稻大數(shù)據(jù)的各種應(yīng)用和服務(wù)，提高計算資源的利用率，使平臺具有良好的擴展性和伸縮性。

1.3 運用大數(shù)據(jù)技術(shù)實現(xiàn)平臺的精準服務(wù)

水稻產(chǎn)業(yè)的綜合發(fā)展形成了海量的各種類型數(shù)據(jù)，例如生產(chǎn)要素（種質(zhì)資源、育種、種植、病蟲害、土壤、農(nóng)資等）、流通價格、流通過程和企業(yè)主體等相關(guān)數(shù)據(jù)[10]。通過挖掘、整合可以將散亂的數(shù)據(jù)變?yōu)榭晒┓治龅臄?shù)據(jù)集；通過搭建大數(shù)據(jù)分析平臺，建立開放性的數(shù)據(jù)共享制度，可以豐富數(shù)據(jù)的來源及種類；規(guī)范具備數(shù)據(jù)置換和共享的接口，充分利用外部數(shù)據(jù)，以用戶為中心，提供個性化的大數(shù)據(jù)服務(wù)，從而有效提高水稻產(chǎn)業(yè)服務(wù)的質(zhì)量。

2 水稻大數(shù)據(jù)綜合服務(wù)平臺的建設(shè)與實現(xiàn)

2.1 平臺體系架構(gòu)

如圖1 所示，水稻大數(shù)據(jù)綜合服務(wù)平臺體系架構(gòu)包含數(shù)據(jù)接入層、云平臺基礎(chǔ)建設(shè)層、水稻大數(shù)據(jù)中心、平臺應(yīng)用層4 個部分。

2.1.1 數(shù)據(jù)接入層 數(shù)據(jù)接入層中包含了平臺數(shù)據(jù)的來源。平臺數(shù)據(jù)包括由遙感衛(wèi)星、近紅外、多光譜、高光譜等提供的影像數(shù)據(jù)，政府部門和產(chǎn)業(yè)研究機構(gòu)提供的可開放共享的水稻產(chǎn)業(yè)相關(guān)數(shù)據(jù)，水稻相關(guān)科研部門提供的科研歷史數(shù)據(jù)、各類模型數(shù)據(jù)和專家知識數(shù)據(jù)，水稻產(chǎn)業(yè)相關(guān)經(jīng)營者提供的生產(chǎn)經(jīng)營管理的一線數(shù)據(jù)以及其他各類有用數(shù)據(jù)。

2.1.2 云平臺基礎(chǔ)建設(shè)層 云平臺基礎(chǔ)建設(shè)層是平臺運行的基礎(chǔ)。底層為硬件設(shè)備，由各類服務(wù)器、存儲設(shè)備、硬件防火墻、網(wǎng)絡(luò)交換機和路由器等實體設(shè)備組成；中間是通過虛擬化軟件將硬件資源重新整合后形成的虛擬化資源池，可分為計算機資源池、存儲資源池和網(wǎng)絡(luò)資源池；上層則是在虛擬化基礎(chǔ)上采用云技術(shù)實現(xiàn)云主機、云存儲、負載均衡和云安全等服務(wù)。

圖1 水稻大數(shù)據(jù)綜合服務(wù)平臺體系架構(gòu)

2.1.3 水稻大數(shù)據(jù)中心 水稻大數(shù)據(jù)中心是該服務(wù)平臺的核心建設(shè)內(nèi)容，包含水稻大數(shù)據(jù)從接入、篩選整合、分析挖掘到共享開放的數(shù)據(jù)加工和服務(wù)的全過程。首先對所采集到的數(shù)據(jù)種類進行預(yù)處理和標準化，然后依據(jù)不同業(yè)務(wù)需求進行篩選、整合、再次抽取等流程，完成數(shù)據(jù)業(yè)務(wù)化處理和入庫，并對外提供開放與共享服務(wù)。該平臺的大數(shù)據(jù)中心通過大數(shù)據(jù)處理技術(shù)和數(shù)據(jù)挖掘引擎，結(jié)合專家系統(tǒng)、知識庫、機器學習等先進信息技術(shù)，在現(xiàn)有融合標準的基礎(chǔ)上實行數(shù)據(jù)的深度分析[11]。同時，中心將收集并沉積各類第三方的模型和算法形成算法模型庫，基于空間信息提供水稻大數(shù)據(jù)“一張圖”服務(wù)，供平臺內(nèi)部使用的同時，可向其他外部應(yīng)用系統(tǒng)提供接口。

2.1.4 平臺應(yīng)用層 平臺應(yīng)用層是依托平臺提供應(yīng)用服務(wù)，主要包括水稻種質(zhì)資源信息、水稻市場數(shù)據(jù)信息、水稻知識庫、水稻遙感數(shù)據(jù)分析、水稻數(shù)據(jù)分析展示、水稻知識庫和專家課堂等可擴展功能服務(wù)。

2.2 水稻大數(shù)據(jù)綜合服務(wù)平臺框架與功能模塊

水稻大數(shù)據(jù)綜合服務(wù)平臺總體框架由8 個部分組成，包括水稻遙感數(shù)據(jù)分析、水稻種質(zhì)資源信息共享、水稻市場數(shù)據(jù)信息共享、水稻知識庫、水稻數(shù)據(jù)分析展示平臺、水稻行業(yè)資訊、專家課堂和資源共享。

2.2.1 水稻遙感數(shù)據(jù)分析 （1）水稻分布影像：按時間序列管理和顯示多期衛(wèi)星、航空正射影像，選擇當期矢量數(shù)據(jù)疊加，支持任意期數(shù)據(jù)影像拉簾對比。（2）稻田分類管理：按時間序列管理和顯示多期二維影像數(shù)據(jù)和稻田分類矢量數(shù)據(jù)，并提供地塊標注功能。（3）稻田分布：導入示范縣的水稻空間分布矢量數(shù)據(jù)集，展示示范縣水稻分布面積（圖2）。（4）稻田產(chǎn)量：導入示范縣的水稻遙感監(jiān)測統(tǒng)計表，展示示范縣水稻產(chǎn)量預(yù)估情況。

2.2.2 水稻種質(zhì)資源信息共享 對已采集的水稻種質(zhì)資源信息提供綜合查詢以及分類檢索服務(wù)，其中可以查詢的信息包括：（1）水稻品類，可通過輸入品種、地區(qū)、選育單位進行精確查詢；（2）超級稻，顯示超級稻相關(guān)品種信息，點擊某一品種，可查看該品種產(chǎn)品特性、產(chǎn)量表現(xiàn)等信息；（3）水稻族譜，可查看水稻族譜內(nèi)容。

2.2.3 水稻市場數(shù)據(jù)信息共享 通過收集全國和湖南省的數(shù)據(jù)信息進行整理分析，提供全國和全省的糧食產(chǎn)量對比，全省谷物統(tǒng)計分析、水稻統(tǒng)計分析、水稻市場價格等圖表信息。

2.2.4 水稻知識庫 借助數(shù)據(jù)資源平臺提供海量的水稻科研文獻、專利、成果、技術(shù)體系查詢和共享。

2.2.5 水稻數(shù)據(jù)分析展示平臺 展示全省地圖，并標注全省水稻基地分布；展示環(huán)境感知數(shù)據(jù)圖表、全省水稻統(tǒng)計分析圖表；展示水稻生產(chǎn)基地，點擊地圖上的基地名稱，或者基地列表上的基地名稱，進入該基地生產(chǎn)現(xiàn)場查看生產(chǎn)過程實時情況，實時展示各環(huán)境傳感器采集數(shù)據(jù)、自動化設(shè)備運行狀態(tài)數(shù)據(jù)等；提供水稻種質(zhì)資源、水稻專家遠程服務(wù)、水稻知識服務(wù)功能板塊；提供專家服務(wù)APP 二維碼下載及掃描頁面。

2.2.6 行業(yè)資訊 采用爬蟲技術(shù)，在相關(guān)水稻行業(yè)及相關(guān)網(wǎng)上抓取最新資訊整理后進行展示。

2.2.7 專家課堂 平臺錄入水稻選育技術(shù)、水稻育苗技術(shù)、水稻肥水管理技術(shù)、水稻病蟲害防治技術(shù)等專業(yè)課堂視頻及技術(shù)小視頻，為用戶提供便捷的網(wǎng)絡(luò)在線學習服務(wù)。

圖2 望城區(qū)域農(nóng)業(yè)遙感數(shù)據(jù)水稻分布界面

2.2.8 資源共享 提供農(nóng)業(yè)氣象、農(nóng)資產(chǎn)品推薦、農(nóng)產(chǎn)品市場價格浮動、水稻病蟲害監(jiān)測與防治等與水稻生產(chǎn)相關(guān)的產(chǎn)前、產(chǎn)中、產(chǎn)后信息服務(wù)，為政府監(jiān)管部門決策提供咨詢、指導，為科研院所產(chǎn)品研發(fā)提供指導，為企業(yè)、農(nóng)戶提供生產(chǎn)經(jīng)營指導。

2.3 水稻大數(shù)據(jù)綜合服務(wù)平臺開發(fā)設(shè)計

如圖3 所示，水稻大數(shù)據(jù)服務(wù)平臺以B/S(Browser/ Server)架構(gòu)為基礎(chǔ)，只需通過瀏覽器就能訪問系統(tǒng)，為系統(tǒng)的運行提供穩(wěn)定性；采用mysql 數(shù)據(jù)庫，無需授權(quán)，速度快；采用了當前最流行的面向?qū)ο蟮木幊碳夹g(shù)，并且在訪問接口采用了非常復雜的加密等安全技術(shù)，系統(tǒng)安全性高、運行速度快；平臺采用數(shù)據(jù)庫與Hadoop 分布式架構(gòu)，HDFS 分布式文件系統(tǒng)、任務(wù)調(diào)度系統(tǒng)、MapReduce 計算系統(tǒng)，主從（Master/Slave）結(jié)構(gòu)模型，提供高吞吐量的數(shù)據(jù)訪問，放寬了一部分POSIX 約束，可以實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)和相對復雜數(shù)據(jù)的分析與計算；平臺采用基于開源GIS 系統(tǒng)的可視化遙感分析技術(shù)，對接大數(shù)據(jù)中心，制作分析圖層進行展示，支持2000 坐標系衛(wèi)星影像、航空正射影像、矢量數(shù)據(jù)、三維實景數(shù)據(jù)、BIM 模型數(shù)據(jù)加載，支持監(jiān)控攝像頭畫面顯示。

3 討論與結(jié)論

當前我國單品種大數(shù)據(jù)平臺建設(shè)仍處于規(guī)范模板階段，很多平臺建設(shè)目標是自身使用，面向社會的資源共享平臺不多，關(guān)鍵是在數(shù)據(jù)來源、數(shù)據(jù)標準及數(shù)據(jù)安全共享方面存在分歧。全產(chǎn)業(yè)鏈單品種大數(shù)據(jù)平臺涉及的部門和機構(gòu)眾多，包括政府部門、科研院所、高校、企業(yè)、農(nóng)戶等，涉及的領(lǐng)域也較多，獨立構(gòu)建的話實施單位力量較為單薄，將導致全產(chǎn)業(yè)鏈數(shù)據(jù)不全。目前平臺普遍存在一些不足：例如數(shù)據(jù)整合范圍有限、規(guī)范化持續(xù)積累不足、數(shù)據(jù)涉及全產(chǎn)業(yè)鏈短且總量低、數(shù)據(jù)及服務(wù)更新不及時、數(shù)據(jù)加工和挖掘深度不夠、數(shù)據(jù)的分析不明確等。

圖3 水稻大數(shù)據(jù)（湖南）綜合服務(wù)平臺主界面

而該研究構(gòu)建的平臺是運用大數(shù)據(jù)和全產(chǎn)業(yè)鏈思維，通過政府、科研高校及行業(yè)企業(yè)、農(nóng)業(yè)大戶等多主體協(xié)作和市場化運作相結(jié)合的運維模式，統(tǒng)籌水稻產(chǎn)業(yè)各類資源和要素進行深度利用開發(fā)而構(gòu)建的公共服務(wù)平臺。同時，該平臺重視了科技服務(wù)在水稻產(chǎn)業(yè)發(fā)展中的貢獻，先從需求大且易實現(xiàn)的功能入手，逐步推進完成平臺建設(shè)，實現(xiàn)數(shù)據(jù)資源的開放共享，推動湖南水稻產(chǎn)業(yè)高質(zhì)量高效發(fā)展。

該研究結(jié)合單品種大數(shù)據(jù)特點，以水稻大數(shù)據(jù)全產(chǎn)業(yè)鏈上的經(jīng)營生產(chǎn)管理職能服務(wù)為目標，運用大數(shù)據(jù)、云計算等前沿技術(shù)，并結(jié)合傳統(tǒng)信息采集，建立覆蓋水稻產(chǎn)業(yè)管理、生產(chǎn)、加工、市場各環(huán)節(jié)的智能化水稻大數(shù)據(jù)公共服務(wù)平臺，實現(xiàn)了面向政府管理部門、農(nóng)業(yè)科研機構(gòu)和相關(guān)企業(yè)的一站式智能化公共服務(wù)，較好地滿足了平臺服務(wù)多元化以及用戶對海量資源的需求。該平臺架構(gòu)設(shè)計和技術(shù)設(shè)計可行，在實踐操作中具有較好的性能。