基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)的農(nóng)村普惠金融系統(tǒng)

楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017

?

基于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)的農(nóng)村普惠金融系統(tǒng)

楊雨鋒 四川信息職業(yè)技術(shù)學(xué)院 四川廣元 628017

【文章摘要】

近年來(lái)農(nóng)業(yè)在我國(guó)經(jīng)濟(jì)體系中重要性逐漸提高。而農(nóng)業(yè)發(fā)展急需大量資金注入，銀行貸款是一種典型應(yīng)用。本系統(tǒng)主要在業(yè)務(wù)分析上考慮如何進(jìn)行大數(shù)據(jù)技術(shù)應(yīng)用，數(shù)據(jù)服務(wù)模型，綜合分析農(nóng)村普惠金融系統(tǒng)的業(yè)務(wù)流程和功能性分析。為新農(nóng)村建設(shè)提供相關(guān)的技術(shù)支持。

【關(guān)鍵詞】

大數(shù)據(jù)；數(shù)據(jù)模型；Hadoop；功能分析

1　大數(shù)據(jù)技術(shù)簡(jiǎn)介

大數(shù)據(jù)（big data），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷去、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。（在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)不用隨機(jī)分析法［抽樣調(diào)查］這樣的捷徑，而采用所有數(shù)據(jù)的方法）大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實(shí)性）。

大數(shù)據(jù)是一個(gè)概念，也是一種技術(shù)，也是一種應(yīng)用。

大數(shù)據(jù)技術(shù)是云計(jì)算技術(shù)、軟件技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)、物聯(lián)網(wǎng)技術(shù)、市場(chǎng)營(yíng)銷技術(shù)、電子商務(wù)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)的綜合應(yīng)用，通過(guò)對(duì)互聯(lián)網(wǎng)上海量數(shù)據(jù)的跟蹤、分析，智能化的給人們提供決策依據(jù)，科學(xué)決策，從而提高成功率，創(chuàng)造價(jià)值。

2　數(shù)據(jù)庫(kù)技術(shù)介紹

數(shù)據(jù)庫(kù)（Database）是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。如何處理的SOA-數(shù)據(jù)關(guān)系的三個(gè)不同模型來(lái)管理大數(shù)據(jù)、云數(shù)據(jù)和數(shù)據(jù)層次結(jié)構(gòu)。

SOA的三個(gè)數(shù)據(jù)中心模型分別是數(shù)據(jù)即服務(wù)（DaaS）模型、物理層次結(jié)構(gòu)模型和架構(gòu)組件模型。DaaS數(shù)據(jù)存取的模型描述了數(shù)據(jù)是如何提供給SOA組件的。物理模型描述了數(shù)據(jù)是如何存儲(chǔ)的以及存儲(chǔ)的層次圖是如何傳送到SOA數(shù)據(jù)存儲(chǔ)器上的。最后，架構(gòu)模型描述了數(shù)據(jù)、數(shù)據(jù)管理服務(wù)和SOA組件之間的關(guān)系。

常用的數(shù)據(jù)庫(kù)為MySql、SQLerver、Oracle等，與開發(fā)工具、Windows、Android、Linux、IOS等操作系統(tǒng)結(jié)合，即可開發(fā)出農(nóng)村普惠金融服務(wù)的管理軟件（平臺(tái)）。

數(shù)據(jù)庫(kù)效率問(wèn)題可采用一個(gè)解決方案是現(xiàn)代分層存儲(chǔ)模式。數(shù)據(jù)庫(kù)不是磁盤，而是一組相互連接的高速緩存點(diǎn)，其存儲(chǔ)于本地內(nèi)存中，也可能轉(zhuǎn)向固態(tài)硬盤，然后到本地磁盤，最后到云存儲(chǔ)。緩存算法處理這些緩存點(diǎn)之間的活動(dòng)，從而來(lái)平衡存儲(chǔ)成本（同時(shí)也是平衡同步地更新成本）和性能。

對(duì)于大數(shù)據(jù)，它也是經(jīng)?？梢詣?chuàng)建適用于大多數(shù)分析的匯總數(shù)據(jù)。

3　Hadoop介紹

Hadoop旨在通過(guò)一個(gè)高度可擴(kuò)展的分布式批量處理系統(tǒng)，對(duì)大型數(shù)據(jù)集進(jìn)行掃描，以產(chǎn)生其結(jié)果。Hadoop項(xiàng)目包括三部分，分別是Hadoop Distributed File System（HDFS）、HadoopMapReduce編程模型，以及Hadoop Common。

Hadoop平臺(tái)對(duì)于操作非常大型的數(shù)據(jù)集而言可以說(shuō)是一個(gè)強(qiáng)大的工具。為了抽象Hadoop編程模型的一些復(fù)雜性，已經(jīng)出現(xiàn)了多個(gè)在Hadoop之上運(yùn)行的應(yīng)用開發(fā)語(yǔ)言。Pig、Hive和Jaql是其中的代表。

4　農(nóng)村普惠金融系統(tǒng)功能分析

a.依權(quán)限等級(jí)提供讀寫修改功能。確保安全性。

b.提供多個(gè)客戶關(guān)系圖。直面形象的了解客戶之間關(guān)系。

c.提供各種類搜索引擎，可以快速搜索使用者需要的信息。

d.采用分布式云存儲(chǔ)，可以儲(chǔ)存更多的數(shù)據(jù)。

e.兼容并整合各種金融工具在數(shù)據(jù)庫(kù)中應(yīng)用中。

f.顯示編輯功能，可調(diào)節(jié)字體，背景等選項(xiàng)。

g.導(dǎo)出數(shù)據(jù)功能，在合法權(quán)限下可從數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)。

h.提供簡(jiǎn)單的分析功能，可初步分析客戶情況，給出參考建議。

i.個(gè)人備注功能，依靠帳號(hào)可寫入僅該用戶可看到的備注。

j.關(guān)注功能，需要關(guān)注客戶可收藏在關(guān)注欄。

5　軟件實(shí)現(xiàn)過(guò)程

第1步：收集數(shù)據(jù)

要查找數(shù)據(jù)、收集數(shù)據(jù)以及根據(jù)數(shù)據(jù)作出決策，您需要實(shí)現(xiàn)一個(gè)分布式系統(tǒng)。因?yàn)樵O(shè)備基本上在不停地發(fā)送數(shù)據(jù)，您需要能夠以較小的延遲加載數(shù)據(jù)（收集或獲取數(shù)據(jù)）。這項(xiàng)工作在收集點(diǎn)完成，這里也是為實(shí)時(shí)決策而評(píng)估數(shù)據(jù)的位置。稍后我們?cè)倩氐绞占c(diǎn)。

來(lái)自收集點(diǎn)的數(shù)據(jù)流入 Hadoop 集群（在本例中，即大數(shù)據(jù)機(jī)）?？赡苓€會(huì)將其他數(shù)據(jù)提供給此設(shè)備。例社交信源將來(lái)自分擇相關(guān)哈希標(biāo)記的數(shù)據(jù)聚合者（通常是一家公司）。然后使用 Flume 或 Scribe 將數(shù)據(jù)加載到 Hadoop。

第2步：整理和移動(dòng)數(shù)據(jù)

下一步是添加數(shù)據(jù)（社交信源、用戶個(gè)人信息和使結(jié)果與分析相關(guān)所需的任何其他數(shù)據(jù)）和開始整理、解釋和理解數(shù)據(jù)。

例如，將用戶個(gè)人信息添加到社交信源和添加位置數(shù)據(jù)以建立對(duì)各用戶以及用戶相關(guān)模式的全面了解。通常，這使用 Apache Hadoop MapReduce來(lái)完成。用戶個(gè)人信息通過(guò) Hadoop InputFormat接口從 Oracle NoSQL 數(shù)據(jù)庫(kù)批量加載，因此被添加到MapReduce數(shù)據(jù)集。

為了將所有這些與 POS 數(shù)據(jù)、客戶關(guān)系管理（CRM）數(shù)據(jù)以及各種其他交易數(shù)據(jù)結(jié)合，您可能會(huì)使用 Oracle Big Data Connectors將精簡(jiǎn)的數(shù)據(jù)高效地移動(dòng)到 Oracle 數(shù)據(jù)庫(kù)。然后您可以使用 Oracle 商務(wù)智能云服務(wù)器（Exalytics）或業(yè)務(wù)智能（BI）工具或者（這是比較有趣的地方）通過(guò)數(shù)據(jù)挖掘之類的工具，對(duì)您所跟蹤的數(shù)據(jù)有一個(gè)全面的了解。

第3步：分析數(shù)據(jù)

最后一個(gè)階段（這里稱為“分析”）是創(chuàng)建數(shù)據(jù)挖掘模型和統(tǒng)計(jì)模型以便用于產(chǎn)生合適的優(yōu)惠券。這些模型真正是皇冠上的明珠，因?yàn)樗鼈冏屇軌蚧诜浅＞_的模型實(shí)時(shí)進(jìn)行決策。模型進(jìn)入收集點(diǎn)和決策點(diǎn)以作用于實(shí)時(shí)數(shù)據(jù)。該模型描述和預(yù)測(cè)客戶個(gè)人的行為并基于這些預(yù)測(cè)確定要采取的行動(dòng)。

第4步：開發(fā)、測(cè)試、運(yùn)行系統(tǒng)

針對(duì)農(nóng)戶、銀行雙方的需求分析，按照軟件開發(fā)的流程，選擇合理的開發(fā)工具、數(shù)據(jù)庫(kù)、操作系統(tǒng)，組建團(tuán)隊(duì)完成軟件開發(fā)，并且實(shí)現(xiàn)與現(xiàn)有郵儲(chǔ)銀行系統(tǒng)軟件的兼容、安全。

6　結(jié)束語(yǔ)

農(nóng)村普惠金融系統(tǒng)是根據(jù)農(nóng)業(yè)發(fā)展資金業(yè)務(wù)需要，結(jié)合銀行金融業(yè)務(wù)流程，開發(fā)采用主流技術(shù)形成的。在應(yīng)用過(guò)程過(guò)大量采用大數(shù)據(jù)技術(shù)，及時(shí)高效準(zhǔn)確解決現(xiàn)實(shí)問(wèn)題，具有一定應(yīng)用于推廣價(jià)值。

【參考文獻(xiàn)】

［1］陳志菲.大數(shù)據(jù)背景下提升高職研究水平的若干思考.邢臺(tái)職業(yè)技術(shù)學(xué)院學(xué)報(bào).2015，32

［2］劉承良.網(wǎng)絡(luò)大數(shù)據(jù)的現(xiàn)狀與展望.中國(guó)管理信息化.2015，18（12）

［3］曾凌靜.大數(shù)據(jù)系統(tǒng)架構(gòu)及技術(shù)發(fā)展研究.石家莊學(xué)院學(xué)報(bào).2015，17（6）

【作者簡(jiǎn)介】

楊雨鋒 男，畢業(yè)于成都信息工程學(xué)院，現(xiàn)在四川信息職業(yè)技術(shù)學(xué)院任教，研究方向：網(wǎng)絡(luò)工程，linux應(yīng)用。