數(shù)據(jù)倉(cāng)庫(kù)和OLAP技術(shù)在農(nóng)業(yè)生產(chǎn)決策系統(tǒng)中的應(yīng)用研究

摘 要：隨著信息技術(shù)的不斷發(fā)展，政府借助互聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能等新興技術(shù)不斷提升治理的現(xiàn)代化水平。農(nóng)業(yè)數(shù)字管理是實(shí)現(xiàn)政府管理現(xiàn)代化的重要一環(huán)，其中，農(nóng)業(yè)生產(chǎn)是農(nóng)業(yè)管理中必不可少的一部分，但目前農(nóng)業(yè)生產(chǎn)數(shù)據(jù)分散、數(shù)據(jù)量大、利用率低。該文利用數(shù)據(jù)同步工具ETL將適合主題的數(shù)據(jù)存入數(shù)據(jù)倉(cāng)庫(kù)，利用OLAP技術(shù)對(duì)數(shù)據(jù)多維分析，分析結(jié)果在農(nóng)業(yè)生產(chǎn)決策系統(tǒng)中進(jìn)行展示，為農(nóng)業(yè)未來(lái)的發(fā)展決策提供科學(xué)依據(jù)。

關(guān)鍵詞：數(shù)據(jù)同步;數(shù)據(jù)倉(cāng)庫(kù);OLAP技術(shù);多維分析;農(nóng)業(yè)生產(chǎn)決策系統(tǒng)

中圖分類號(hào) TP3? 文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 1007-7731（2021）17-0143-03

Application Study of Data Warehouse and Olap Technology in Agricultural Production Decision System

ZHAO Han

（College of Information Engineering， Tarim University， Alar 843300， China）

Abstract： With the continuous development of information technology， the government with the help of the Internet， big data and artificial intelligence emerging technologies continue to improve the level of governance modernization， agricultural digital management is an important part of the realization of government management modernization， agricultural production is an essential part of agricultural management. At present， the agricultural production data is scattered， the data is large， the utilization rate is low. This paper uses the data synchronization tool ETL to store the data suitable for the topic in the data warehouse， uses the OLAP technology to analyze the data multi-dimensional， and displays the analysis results in the agricultural production decision system， it provides a strong basis for the future development and decision of agriculture.

Key words： Data synchronization; Data warehouse; OLAP technology; Multidimensional analysis; Agricultural production decision system

1 引言

十八大以來(lái)，“三農(nóng)”問題一直是全黨工作的重中之重，黨中央對(duì)數(shù)字經(jīng)濟(jì)發(fā)展高度重視，數(shù)字經(jīng)濟(jì)的發(fā)展促進(jìn)了數(shù)字中國(guó)建設(shè)。數(shù)字農(nóng)業(yè)是數(shù)字中國(guó)的重要一環(huán)[2]。當(dāng)前，由于數(shù)據(jù)收集、存儲(chǔ)方式的差異，農(nóng)業(yè)生產(chǎn)數(shù)據(jù)零散、缺乏有效的管理，從而影響了數(shù)據(jù)的利用效率。為了更加快速、便捷、精準(zhǔn)地對(duì)農(nóng)業(yè)生產(chǎn)數(shù)據(jù)進(jìn)行分析，做出正確決策，必須對(duì)全國(guó)農(nóng)業(yè)生產(chǎn)數(shù)據(jù)進(jìn)行詳盡的梳理，將篩選清洗過的數(shù)據(jù)存入到數(shù)據(jù)倉(cāng)庫(kù)中，以期為后續(xù)數(shù)據(jù)多角度決策分析提供支持。

2 數(shù)據(jù)倉(cāng)庫(kù)與OLAP技術(shù)應(yīng)用現(xiàn)狀

2.1 數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用 數(shù)據(jù)倉(cāng)庫(kù)是階段化、不可更新、集成化的數(shù)據(jù)集合[3]。數(shù)據(jù)倉(cāng)庫(kù)擁有明確的主題，是存儲(chǔ)用戶決策過程中最重要的部分。數(shù)據(jù)來(lái)源于分散的數(shù)據(jù)庫(kù)，通過數(shù)據(jù)抽取、清洗和系統(tǒng)加工、匯總、整理得到[4]。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)對(duì)于高效管理有著深遠(yuǎn)的影響。目前，數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)被廣泛應(yīng)用到金融、銀行、企業(yè)、醫(yī)療、市場(chǎng)零售業(yè)中。企業(yè)為了應(yīng)對(duì)市場(chǎng)愈加激烈的競(jìng)爭(zhēng)，通過數(shù)據(jù)倉(cāng)庫(kù)對(duì)經(jīng)營(yíng)數(shù)據(jù)分析，做出正確的決策。隨著移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，數(shù)據(jù)倉(cāng)庫(kù)也逐漸在移動(dòng)APP開發(fā)中起到了重要作用[5]。

2.2 OLAP技術(shù)的應(yīng)用現(xiàn)狀 20世紀(jì)60年代，E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理（OLTP）的發(fā)展[6]，OLTP主要功能是處理傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)中基本的、日程的事務(wù)。20世紀(jì)90年代，隨著社會(huì)的不斷進(jìn)步，數(shù)據(jù)量也不斷增加，人們開始希望從數(shù)據(jù)中得到更多的信息，于是E.F.Codd又提出了聯(lián)機(jī)分析處理（OLAP）的概念[7]。OLAP技術(shù)是數(shù)據(jù)倉(cāng)庫(kù)的核心部分，主要通過復(fù)雜的分析，為管理者提供決策支持。在過去的20多年中，OLAP技術(shù)得到了飛速的發(fā)展和廣泛的應(yīng)用。國(guó)內(nèi)的OLAP技術(shù)更多的是在國(guó)外的基礎(chǔ)上發(fā)展的，其中Palo是2017年百度公開的開源項(xiàng)目，由百度自行開發(fā)的交互式SQL數(shù)據(jù)倉(cāng)庫(kù)，具有高并發(fā)、低延遲的特點(diǎn)[8]，這也是百度目前正在使用的OLAP引擎。

3 農(nóng)業(yè)生產(chǎn)決策系統(tǒng)設(shè)計(jì)

農(nóng)業(yè)生產(chǎn)決策系統(tǒng)主要解決策略和戰(zhàn)略部署問題，通過決策支持來(lái)發(fā)現(xiàn)規(guī)律、預(yù)測(cè)行情，幫助政府做出科學(xué)的決策。該系統(tǒng)基于B/S架構(gòu)，系統(tǒng)的結(jié)構(gòu)主要包括維度建模、ETL過程、OLAP服務(wù)器、信息程序設(shè)計(jì)等。ETL工具按照維度模型對(duì)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行抽取、清洗、裝載和刷新，存入數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)經(jīng)過OLAP服務(wù)器進(jìn)行多維分析[9]，通過前端工具展示給決策者。體系結(jié)構(gòu)見圖1。

3.1 維度模型 維度模型又稱星型模型，是邏輯設(shè)計(jì)技術(shù)，主要是通過設(shè)計(jì)標(biāo)準(zhǔn)的結(jié)構(gòu)框架來(lái)直觀的表現(xiàn)數(shù)據(jù)，建模之前需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理[10]。維度建模主要設(shè)計(jì)流程包括對(duì)業(yè)務(wù)進(jìn)行梳理、選擇業(yè)務(wù)過程。對(duì)數(shù)據(jù)進(jìn)行梳理、聲明粒度，對(duì)事實(shí)表進(jìn)行精確定義。對(duì)維度進(jìn)行標(biāo)識(shí)，確定來(lái)自業(yè)務(wù)過程中的數(shù)據(jù)該怎樣描述。對(duì)事實(shí)進(jìn)行標(biāo)識(shí)，確定業(yè)務(wù)過程中的量度指標(biāo)[11]，以農(nóng)作物為例，設(shè)計(jì)一個(gè)記錄農(nóng)作物的信息的事實(shí)表，包括作物生長(zhǎng)時(shí)間、氣象信息、作物生長(zhǎng)狀態(tài)、土地管理等，與這個(gè)事實(shí)表相關(guān)的維度表就是圍繞著農(nóng)作物數(shù)據(jù)信息的擴(kuò)展[12]。數(shù)據(jù)倉(cāng)庫(kù)的星型模型如圖2所示。

3.2 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)ETL ETL過程是數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)轉(zhuǎn)移到另一個(gè)數(shù)據(jù)庫(kù)的過程，但它并不是普通的數(shù)據(jù)轉(zhuǎn)移，而是對(duì)數(shù)據(jù)進(jìn)行抽取、清理、匯總和加載之后，存入到建模后的數(shù)據(jù)倉(cāng)庫(kù)中。在確定好主題之后，從數(shù)據(jù)源中提取到分析所需要的數(shù)據(jù)[13]。ETL模塊內(nèi)包含提取、轉(zhuǎn)換、加載的工具，通過使用這些工具對(duì)數(shù)據(jù)進(jìn)行合并異構(gòu)、提起、清理、驗(yàn)證、轉(zhuǎn)換和過濾[14]，將處理好的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。從源數(shù)據(jù)庫(kù)中獲取的多維細(xì)節(jié)數(shù)據(jù)，如某一農(nóng)作物每個(gè)村莊、每個(gè)季度的產(chǎn)量，但做趨勢(shì)分析的時(shí)候需要的是該作物在某一大范圍地區(qū)的產(chǎn)量，并對(duì)近幾年的數(shù)據(jù)進(jìn)行對(duì)比，因此對(duì)抽取的數(shù)據(jù)要在不同的維度上進(jìn)行匯總[15]。農(nóng)業(yè)數(shù)據(jù)種類繁多，存儲(chǔ)類型復(fù)雜涉及范圍廣泛，在分析之前，必須經(jīng)過數(shù)據(jù)清洗，將數(shù)據(jù)類型統(tǒng)一，為后續(xù)的分析創(chuàng)造便利。

3.3 聯(lián)機(jī)分析處理OLAP OLAP是一種軟件技術(shù)，在建立好數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上，進(jìn)行包括上卷、下鉆、切片和透視等操作[16]。一次性可以訪問大量數(shù)據(jù)，但一般都是只讀訪問，也無(wú)須修改[17]。OLAP是多維數(shù)據(jù)分析集合工具，使操作人員從多個(gè)角度對(duì)數(shù)據(jù)進(jìn)行分析。通過將農(nóng)業(yè)生產(chǎn)數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)數(shù)據(jù)導(dǎo)入到OLAP服務(wù)器中，本研究采用ROLAP（關(guān)系聯(lián)機(jī)分析處理）數(shù)據(jù)庫(kù)，根據(jù)事實(shí)表和相關(guān)維度表構(gòu)建的星型模型，利用 Microsoft OLAP Analysis Services服務(wù)端組件，通過對(duì)時(shí)間維度、作物生長(zhǎng)狀態(tài)維度、氣候信息維度、土地信息維度間的關(guān)系得出一個(gè)多為立方體，對(duì)立方體進(jìn)行上卷、旋轉(zhuǎn)、切片等操作，得到分析結(jié)果。

3.4 數(shù)據(jù)展示 數(shù)據(jù)主要通過前端工具進(jìn)行展示，包括各類表格、柱狀圖、餅狀圖、折線圖等。前端通過直接調(diào)用ECharts插件實(shí)現(xiàn)數(shù)據(jù)可視化，通過圖表清晰展現(xiàn)出數(shù)據(jù)之間的對(duì)比。通過對(duì)我國(guó)農(nóng)業(yè)的海量生產(chǎn)數(shù)據(jù)進(jìn)行多維度的分析，結(jié)合前端工具，將分析結(jié)果通過各類圖表進(jìn)行清晰的展示，政府也可以通過真實(shí)的數(shù)據(jù)對(duì)比更加直觀地了解我國(guó)當(dāng)前農(nóng)業(yè)的發(fā)展現(xiàn)狀，便于更加精準(zhǔn)的實(shí)施決策。

4 結(jié)語(yǔ)

在數(shù)字中國(guó)的建設(shè)過程中，農(nóng)業(yè)正逐漸向信息化管理方向轉(zhuǎn)變，但由于農(nóng)業(yè)生產(chǎn)擁有龐大且繁雜的數(shù)據(jù)量，在現(xiàn)實(shí)使用過程中利用率極低。本研究有效地利用了OLAP技術(shù)和數(shù)據(jù)倉(cāng)庫(kù)，構(gòu)建了基于數(shù)據(jù)倉(cāng)庫(kù)的農(nóng)業(yè)生產(chǎn)決策系統(tǒng)模型，旨在對(duì)海量農(nóng)業(yè)生產(chǎn)數(shù)據(jù)進(jìn)行多維分析，獲得對(duì)農(nóng)業(yè)生產(chǎn)有決策作用的信息，同時(shí)能更好地為實(shí)現(xiàn)政府對(duì)農(nóng)業(yè)精準(zhǔn)決策和高效管理提供科學(xué)依據(jù)。

作者簡(jiǎn)介：趙菡（1997—），女，河南開封人，碩士研究生，研究方向：農(nóng)業(yè)工程與信息技術(shù)、農(nóng)業(yè)信息化。? 收稿日期：2021-05-18

參考文獻(xiàn)

[1]張申.數(shù)據(jù)倉(cāng)庫(kù)和OLAP技術(shù)在高校教學(xué)決策系統(tǒng)中的應(yīng)用探析[J].信息系統(tǒng)工程，2019（04）：171.

[2]梁斌，呂新，王冬海，等.規(guī)?；瘮?shù)字農(nóng)業(yè)農(nóng)村發(fā)展趨勢(shì)探討——以新疆生產(chǎn)建設(shè)兵團(tuán)為例[J].農(nóng)業(yè)經(jīng)濟(jì)，2020（12）：36-38.

[3]白蓉.基于大學(xué)生精準(zhǔn)資助的多源異構(gòu)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)研究[J].自動(dòng)化技術(shù)與應(yīng)用，2021，40（01）：44-47.

[4]羅巍，劉功總.基于大數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)研究現(xiàn)狀[J].中國(guó)新技術(shù)新產(chǎn)品，2020（17）：38-39.

[5]劉超.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)在決策支持系統(tǒng)中的應(yīng)用[J].天津職業(yè)院校聯(lián)合學(xué)報(bào)，2019，21（02）：102-108.

[6]Claybrook B.OLTP：online transaction processing systems[M].John Wiley & Sons，Inc.，1992.

[7]Codd E F，Codd S B，Salley C T.Providing OLAP （On-line Analytical Processing） to User-Analysts：An IT Mandate. 1993.

[8]郭淑曼.面向海量數(shù)據(jù)的OLAP關(guān)鍵技術(shù)研究與應(yīng)用[D].北京：北京郵電大學(xué)，2019.

[9]唐秀忠，陳洪磊，陸玉發(fā).基于OLAP的高校數(shù)據(jù)分析與決策支持系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2019，42（02）：155-158.

[10]韓家琪，毛克彪，夏浪，等.基于空間數(shù)據(jù)倉(cāng)庫(kù)的農(nóng)業(yè)大數(shù)據(jù)研究[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2016，18（05）：17-24.

[11]吳定峰，王麗云，劉婷婷，等.基于微軟數(shù)據(jù)倉(cāng)庫(kù)的農(nóng)業(yè)科技支撐數(shù)據(jù)應(yīng)用分析與展望[J].農(nóng)業(yè)展望，2019，15（12）：101-105.

[12]蔡麗艷，蔡靜穎，丁蕊，等.數(shù)據(jù)挖掘技術(shù)在農(nóng)業(yè)生產(chǎn)決策支持系統(tǒng)中的應(yīng)用[J].硅谷，2013，5（02）：146-147.

[13]郭群.基于OLAP技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)研究[J].辦公自動(dòng)化，2018，23（20）：41-43.

[14]Vuong M.Ngo，Nhien An Le Khac，et al.Data warehouse and decision support on integrated crop big data[J].International Journal of Business Process Integration and Management，2021，10（1）.

[15]張申.數(shù)據(jù)倉(cāng)庫(kù)和OLAP技術(shù)在高校教學(xué)決策系統(tǒng)中的應(yīng)用探析[J].信息系統(tǒng)工程，2019（04）：171.

[16]薛影.OLAP技術(shù)在圖書館書目數(shù)據(jù)分析中的應(yīng)用[J].微型電腦應(yīng)用，2021，37（02）：41-44.

[17]任海潮.多維透視表OLAP操作與圖表推薦算法的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2020.

（責(zé)編：張宏民）