基于大數(shù)據(jù)技術(shù)的區(qū)域房價(jià)與就業(yè)數(shù)據(jù)關(guān)聯(lián)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

韓冬 郭浩峰 李林洋 汪菊琴 江森林

摘要：現(xiàn)今有大量的找房和招聘系統(tǒng)，但缺少為找房和就業(yè)提供綜合性數(shù)據(jù)關(guān)聯(lián)分析參考的相關(guān)系統(tǒng)。該系統(tǒng)通過大數(shù)據(jù)技術(shù)獲取相關(guān)信息，通過MapReduce關(guān)鍵技術(shù)對數(shù)據(jù)進(jìn)行清洗、計(jì)算，結(jié)合ECharts展示數(shù)據(jù)并分析，在移動(dòng)端設(shè)備將各地區(qū)的房價(jià)、房租、工資等信息用不同類型的方式分析并展示它們之間的關(guān)系。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);MapReduce;ECharts;移動(dòng)端

中圖分類號：TP311 ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）25-0089-03

Abstract： Nowadays， there are a large number of housing search and recruitment systems， but there is a lack of relevant systems to provide comprehensive data association analysis reference for housing search and employment. The system obtains relevant information through big data technology， cleans and calculates the data through MapReduce key technology， displays and analyzes the data combined with echards， and analyzes the relationship between house prices， rents， wages and other information of various regions in different types of ways on mobile devices.

Key words： big data technology; MapReduce; ECharts; mobile devices

1 背景

現(xiàn)今，大部分的買房租房平臺或就業(yè)系統(tǒng)基本只提供具體信息，這些房價(jià)房租數(shù)據(jù)都不能為用戶提供真正的實(shí)際意義，用戶也不能通過這些瑣碎的數(shù)據(jù)來為自己的買房租房做出計(jì)劃。人們就會在區(qū)域內(nèi)找房并就業(yè)存在一定的茫然，尤其是對于應(yīng)屆畢業(yè)生而言這種情況更為嚴(yán)重。如今我們社會的信息產(chǎn)業(yè)正逐步趨向于云計(jì)算、大數(shù)據(jù)時(shí)代，為了方便他們參考房價(jià)及就業(yè)信息，因此設(shè)計(jì)了一個(gè)適配于移動(dòng)端的區(qū)域房價(jià)與就業(yè)數(shù)據(jù)關(guān)聯(lián)分析系統(tǒng)。本系統(tǒng)通過數(shù)據(jù)關(guān)聯(lián)分析并結(jié)合圖表展示的方式，將各地區(qū)的房價(jià)、房租、工資信息用不同類型的方式分析并展示它們之間的關(guān)系。

2 系統(tǒng)的設(shè)計(jì)

本系統(tǒng)的開發(fā)主要分為三期，一是對數(shù)據(jù)的獲取，主要是通過各種房價(jià)網(wǎng)站、住房網(wǎng)站、招聘網(wǎng)站進(jìn)行定時(shí)的數(shù)據(jù)爬取。二是數(shù)據(jù)的清洗以及分析，主要利用Hadoop架構(gòu)的MapReduce技術(shù)，對數(shù)據(jù)的關(guān)聯(lián)性分析主要采用ECharts工具。三是移動(dòng)端應(yīng)用程序的實(shí)現(xiàn)，主要通過VUE框架結(jié)合使用Echarts圖表和高德地圖進(jìn)行圖形展示和數(shù)據(jù)顯示。系統(tǒng)總體框架如圖1所示：

2.1 數(shù)據(jù)爬取方案

Python在爬蟲領(lǐng)域的應(yīng)用非常廣泛，由于它自己的特點(diǎn)，在各大平臺可移植性強(qiáng)，使用python開發(fā)的應(yīng)用程序質(zhì)量更加可靠，有大量的內(nèi)置包能夠幫助開發(fā)者實(shí)現(xiàn)復(fù)雜的功能需求。本系統(tǒng)借助python開發(fā)的優(yōu)點(diǎn)，使用爬蟲中常用的urllib庫，webdriver庫，scrapy框架等的基礎(chǔ)上構(gòu)建了部署在docker容器上的數(shù)據(jù)采集子系統(tǒng)方案。

2.2 數(shù)據(jù)清洗與分析子系統(tǒng)方案

首先需要實(shí)現(xiàn)Hadoop HA分布式系統(tǒng)的搭建，在此架構(gòu)上才可通過MapReduce技術(shù)實(shí)現(xiàn)數(shù)據(jù)的清洗以及計(jì)算。在數(shù)據(jù)清洗過程中，需要重新審查相關(guān)數(shù)據(jù)是否有重復(fù)、缺失以及無效值等情況，因?yàn)楸鞠到y(tǒng)的源數(shù)據(jù)是通過數(shù)據(jù)爬取子系統(tǒng)獲取的，在設(shè)計(jì)數(shù)據(jù)爬取子系統(tǒng)時(shí)就考慮到了上述數(shù)據(jù)的異常情況，所以數(shù)據(jù)庫中異常數(shù)據(jù)的數(shù)量較少，因此在數(shù)據(jù)清洗中可選擇剔除異常數(shù)據(jù)。因?yàn)镋Charts工具可視化數(shù)據(jù)的效果較好，因此選擇該工具并對其數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析。

2.3 移動(dòng)端應(yīng)用程序子系統(tǒng)方案

本系統(tǒng)通過開發(fā)適配移動(dòng)端的Html5 App進(jìn)行分析數(shù)據(jù)的應(yīng)用展示。功能模塊如圖2所示。

2.3.1 基于Echarts的移動(dòng)端App

首先要對地區(qū)地圖進(jìn)行繪制和展示。服務(wù)器通過數(shù)據(jù)庫將已經(jīng)分析好的數(shù)據(jù)進(jìn)行區(qū)域性的檢索和劃分，通過JSON數(shù)據(jù)的格式返回給客戶端，客戶端將數(shù)據(jù)接收，通過ECharts配置項(xiàng)的數(shù)據(jù)設(shè)置將區(qū)域和數(shù)據(jù)繪制出來。通過搜索框的自動(dòng)提示定位到不同區(qū)域或者選擇的區(qū)域發(fā)生改變時(shí)，就可以通過區(qū)域編碼發(fā)送給服務(wù)器，服務(wù)器接收并檢索對應(yīng)的數(shù)據(jù)并響應(yīng)給客戶端。

2.3.2 基于JWT驗(yàn)證技術(shù)的移動(dòng)端App

通過用戶端登錄發(fā)送的信息進(jìn)行密鑰加密，產(chǎn)生對應(yīng)Token值后返回給客戶端，客戶端接收存儲Token，在每次與服務(wù)器的交互時(shí)攜帶Token，服務(wù)器印證之后返回?cái)?shù)據(jù)。

3 系統(tǒng)的實(shí)現(xiàn)

3.1 爬取數(shù)據(jù)子系統(tǒng)的實(shí)現(xiàn)

3.1.1 環(huán)境搭建

配置阿里云鏡像拉取源;安裝docker運(yùn)行依賴;安裝docker環(huán)境。

3.1.2 數(shù)據(jù)爬取程序以及部署

指定唯一的項(xiàng)目名稱;設(shè)置爬取的域名范圍;解析并下載數(shù)據(jù);初始化瀏覽器，調(diào)用相關(guān)接口進(jìn)行操控;獲得網(wǎng)頁源代碼后解析并存儲數(shù)據(jù);將程序拷貝到linux平臺生產(chǎn)環(huán)境，構(gòu)建并啟動(dòng)鏡像。

3.2 數(shù)據(jù)清洗與分析子系統(tǒng)的實(shí)現(xiàn)

3.2.1 Hadoop HA分布式系統(tǒng)的搭建

對各節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)配置;在主節(jié)點(diǎn)中安裝并配置SSH、Hadoop、Zookeeper、Java環(huán)境、Eclipse、MySQL等;生成主節(jié)點(diǎn)的SSH公鑰，將其傳輸分節(jié)點(diǎn)并對其授權(quán);將主節(jié)點(diǎn)中安裝的內(nèi)容傳輸至分節(jié)點(diǎn)中;在主節(jié)點(diǎn)處啟動(dòng)Hadoop。

3.2.2 數(shù)據(jù)清洗、計(jì)算以及分析

數(shù)據(jù)庫連接;剔除房價(jià)與就業(yè)數(shù)據(jù)的重復(fù)值、缺失值、無效值;統(tǒng)一數(shù)據(jù)格式;分區(qū)域計(jì)算房價(jià)、薪資的平均值以及價(jià)格區(qū)間的數(shù)量;將清洗以及計(jì)算后的數(shù)據(jù)臨時(shí)存儲至Hive倉庫;通過Sqoop工具將Hive倉庫的數(shù)據(jù)導(dǎo)入至MySQL關(guān)系數(shù)據(jù)庫中;通過ECharts工具可視化清洗及計(jì)算后的房價(jià)與就業(yè)數(shù)據(jù);對清洗及計(jì)算后的房價(jià)與就業(yè)數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析。

3.3 移動(dòng)端應(yīng)用程序子系統(tǒng)的實(shí)現(xiàn)

3.3.1 模塊的設(shè)計(jì)

該子系統(tǒng)共有八個(gè)模塊，分別為：網(wǎng)絡(luò)請求模塊 http.js;路由守衛(wèi)模塊 premit.js;地圖加載模塊 loadMap.js;狀態(tài)管理模塊 store.js;地圖配置模塊 mapConfig.js;JWT配置模塊 jwt.js;數(shù)據(jù)庫配置模塊 dbConfig.js;數(shù)據(jù)庫連接模塊 db.js。

3.3.2 移動(dòng)端應(yīng)用程序子系統(tǒng)功能

1）登錄注冊界面，如圖3所示，實(shí)現(xiàn)用戶的登錄以及注冊;

2）數(shù)據(jù)展示界面，如圖4、5、6所示，實(shí)現(xiàn)地區(qū)繪制，區(qū)域分析圖表的展示，小區(qū)分析圖表的展示，參與人數(shù)的展示，不同區(qū)域的數(shù)據(jù)修正以及不同小區(qū)的數(shù)據(jù)修正;

3）個(gè)人信息界面，如圖7所示，實(shí)現(xiàn)用戶信息的展示和修改，用戶密碼的更改。

4 結(jié)束語

對一個(gè)系統(tǒng)進(jìn)行開發(fā)不只是僅僅體現(xiàn)在做出什么東西，而要在于對整體架構(gòu)的分析、設(shè)計(jì)。在分析時(shí)還得考慮實(shí)際的使用狀況，不能想當(dāng)然地自己認(rèn)為是什么樣就是什么樣，要站在不同人的角度對自己的項(xiàng)目進(jìn)行檢驗(yàn)和找出缺點(diǎn)。在制作的過程中，我們總會發(fā)現(xiàn)出一些問題，必須經(jīng)過團(tuán)隊(duì)成員之間的多次溝通和交流，才能使系統(tǒng)得以完善。該系統(tǒng)將會對用戶有著很大的用處，通過大數(shù)據(jù)給用戶提供更直觀的區(qū)域數(shù)據(jù)關(guān)聯(lián)分析，便于用戶的參考。

參考文獻(xiàn)：

[1] 陳樂.基于Python的網(wǎng)絡(luò)爬蟲技術(shù)[J].電子世界，2018（16）：163，165.

[2] 林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用：概念、存儲、處理、分析與應(yīng)用[M].北京：人民郵電出版社，2017.

[3] Apache Hadoop Project[EB/OL].[2019-12-20].http：//Hadoop.apache.org.

[4] 王菲露，李軍，宋楊，等.基于Ajax技術(shù)的ECharts實(shí)時(shí)圖形報(bào)表實(shí)現(xiàn)[J].黑龍江工業(yè)學(xué)院學(xué)報(bào)（綜合版），2019，19（12）：79-83.

[5] 柴青山.基于MVVM模式的Vue.js框架在物流軟件自動(dòng)化測試系統(tǒng)中的應(yīng)用研究[D].北京：北京郵電大學(xué)，2019.

[6] 陳宇收，饒宏博，王英明，等.基于JWT的前后端分離程序設(shè)計(jì)研究[J].電腦編程技巧與維護(hù)，2019（9）：11-12.

【通聯(lián)編輯：謝媛媛】