基于大數(shù)據(jù)的精準(zhǔn)推送分類信息發(fā)布平臺

韓雪松 林霞

摘要：目前校園內(nèi)信息的交換方式主要依靠QQ群、空間動態(tài)、朋友圈等，這些方式在區(qū)域范圍內(nèi)會產(chǎn)生很多信息孤島，信息分散、利用率低。分類信息發(fā)布平臺通過網(wǎng)站、微信服務(wù)號、微信小程序等相關(guān)服務(wù)的部署，實(shí)現(xiàn)了失物招領(lǐng)、二手閑置信息、生活優(yōu)惠信息和招聘信息的精準(zhǔn)推送，極大地方便了用戶對信息的獲取。

關(guān)鍵詞：分類信息發(fā)布;機(jī)器人;精準(zhǔn)推送

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）14-0086-02

1項(xiàng)目背景

大學(xué)區(qū)域內(nèi)在學(xué)習(xí)資源交流、失物招領(lǐng)、生活信息交流等方面均有信息發(fā)布的需求，這部分信息流通主要是在QQ群、微信群、空間動態(tài)、朋友圈等平臺，這種平臺校內(nèi)存在很多，就像一個(gè)個(gè)“孤島”一樣，導(dǎo)致信息分散，信息利用率低。并且現(xiàn)有平臺瀏覽麻煩，信息重復(fù)率高。所以需要串聯(lián)“孤島”實(shí)現(xiàn)信息整合共享，并通過各項(xiàng)技術(shù)：機(jī)器人服務(wù)、微信小程序及大數(shù)據(jù)技術(shù)的應(yīng)用，將臨沂大學(xué)區(qū)域分類信息實(shí)現(xiàn)價(jià)值最大化。

2關(guān)鍵實(shí)現(xiàn)技術(shù)

2.1大數(shù)據(jù)技術(shù)

平臺將用戶上傳的數(shù)據(jù)或者通過機(jī)器人轉(zhuǎn)發(fā)的數(shù)據(jù)等信息作為數(shù)據(jù)源導(dǎo)人到大數(shù)據(jù)重要的組成部分：計(jì)算層，在這里我們采用了Hadoop平臺。Hadoop平臺所包含的兩大核心框架HDFS（分布式存儲）和MapReduce（分布式計(jì)算）對于信息發(fā)布平臺來講，這兩部分較為適合本項(xiàng)目信息整合的需求場景。具體體現(xiàn)在：Hadoop平臺適應(yīng)于一次寫入，多次讀取的場景，也就是數(shù)據(jù)復(fù)制進(jìn)去之后，長時(shí)間在這些數(shù)據(jù)上進(jìn)行分析。同時(shí)Hadoop平臺還具有一大優(yōu)勢為高效性，這也是Hadoop平臺的核心競爭優(yōu)勢所在。接收用戶的數(shù)據(jù)請求后，Hadoop可以在數(shù)據(jù)所在的集群節(jié)點(diǎn)上并發(fā)處理。這無疑提高了對于信息處理的效率。當(dāng)然它也存在一些不足，如在Mapreduce框架下，很難處理實(shí)時(shí)計(jì)算，作業(yè)都以日志分析這樣的線下作業(yè)為主。但對于這樣的信息發(fā)布平臺所需要的需求來講不會產(chǎn)生任何形象。

通過Hadoop平臺對信息資源進(jìn)行合理的分類整合后，會將信息內(nèi)容整合到對應(yīng)的模塊，為此我們在信息發(fā)布平臺設(shè)立了切合實(shí)際需求的一些信息展示模塊。并通過機(jī)器人實(shí)時(shí)推送到有相關(guān)需求的群體當(dāng)中去。

2.2反爬蟲技術(shù)

分類信息發(fā)布網(wǎng)站有可能會遇到黑客爬蟲進(jìn)行的信息抓取盜用，市面上已有的反爬蟲技術(shù)相對來講比較完善了，傳統(tǒng)反爬蟲手段，像動態(tài)頁面ajax請求，后臺對訪問進(jìn)行統(tǒng)計(jì)，如果單個(gè)IP、session、userAgent訪問超過閾值，予以封鎖。平臺在已有反爬蟲的基礎(chǔ)上在某些代碼層增加SQL注入語句甚至XSS語句，使爬取的黑客爬蟲數(shù)據(jù)庫被強(qiáng)行刪庫或被我方getshell達(dá)到另類反爬效果。

2.3靜態(tài)資源OSS存儲

通過OSS存儲技術(shù)將動態(tài)資源與靜態(tài)資源分離，降低了服務(wù)器壓力，也同時(shí)提高了用戶的訪問效率。通過對靜態(tài)資源的OSS存儲鑒權(quán)驗(yàn)證進(jìn)一步增強(qiáng)了網(wǎng)站的網(wǎng)絡(luò)安全防護(hù)能力，使得木馬文件即使繞過防火墻上傳到OSS服務(wù)器中也無法執(zhí)行。

2.4技術(shù)架構(gòu)前后端分離

為保證用戶數(shù)據(jù)安全，提升大數(shù)據(jù)調(diào)用性能，降低維護(hù)成本方便多平臺接入管理。平臺采用前后端分離，解耦思想。前后端分離中，傳輸?shù)氖菙?shù)據(jù)、Model。數(shù)據(jù)怎么展示，全部交給前端來處理，后端只負(fù)責(zé)提供數(shù)據(jù)。網(wǎng)頁之間有各種跳轉(zhuǎn)交互，在前后端分離中，跳轉(zhuǎn)的頁面控制全部是由前端來決定，跟后端完全沒有關(guān)系，這也從根源上杜絕了一些前端邏輯漏洞造成getshell的情況。管理上只要做到前端后端一起鑒權(quán)，Node層校驗(yàn)登錄態(tài)，后端校驗(yàn)登錄態(tài)，同時(shí)后端校驗(yàn)數(shù)據(jù)歸屬，這幾個(gè)層面就基本上能夠保證系統(tǒng)的軟件層安全，再將后臺管理服務(wù)器與數(shù)據(jù)庫分離，通過IP歸屬校驗(yàn)與強(qiáng)規(guī)則權(quán)限限制，可以保證程序數(shù)據(jù)的安全。

2.5機(jī)器人推送

通過QQ機(jī)器人功能，聯(lián)合平臺大數(shù)據(jù)分析中心將用戶與多個(gè)孤島平臺串聯(lián)，讓用戶通過與QQ機(jī)器人對話的形式參與平臺的使用，增加用戶便利性。QQ機(jī)器人通過酷Q調(diào)用安卓QQ協(xié)議登錄，并通過HTYP和WebSocket對酷Q的事件進(jìn)行上報(bào)以及接收請求來調(diào)用酷Q的DLL接口，實(shí)現(xiàn)平臺一系列架構(gòu)功能。

3平臺的設(shè)計(jì)與實(shí)現(xiàn)

3.1微信服務(wù)號

針對用戶行為分析，發(fā)現(xiàn)在微信公眾號中打開這種方式相對于大眾來講更容易接受，免去程序安裝的麻煩。微信服務(wù)號也作為自媒體平臺運(yùn)營的陣地之一，通過高質(zhì)量文章對平臺進(jìn)行引流。通過微信服務(wù)號用戶可以無感知微信登錄，并且可以收到來自微信公眾號的最新消息推送。

3.2分類信息網(wǎng)站

信息發(fā)布平臺的網(wǎng)站，設(shè)置了不同的信息類別模塊，包括生活優(yōu)惠信息、閑置信息、招聘信息以及租房信息等。不同的模塊的區(qū)分對不同信息進(jìn)行整合。

通過分類信息發(fā)布平臺可以一鍵發(fā)布需求或一鍵發(fā)布供應(yīng)信息，供求信息發(fā)布后在大數(shù)據(jù)模塊的響應(yīng)分析后自動生成最優(yōu)解推送，以供用戶選擇。在分類信息發(fā)布平臺上用戶發(fā)布信息后，對相關(guān)信息感興趣的用戶即可發(fā)起線上咨詢，最新消息提醒將通過微信公眾號發(fā)布提醒消息，如圖1所示。

3.3推送機(jī)器人

以用戶為中心、滿足用戶正向需求為原則，我們開發(fā)了針對信息發(fā)布平臺的推送機(jī)器人。它可以實(shí)現(xiàn)信息的精準(zhǔn)推送與校內(nèi)分類信息孤島平臺的聯(lián)結(jié)。也可以實(shí)現(xiàn)快速的信息上傳，如圖2所示。

通過與QQ機(jī)器人直接溝通交流可以獲得平臺最新信息以及所需的最優(yōu)方案解決方法，使用的方法也很簡單，添加其好友或者加入機(jī)器人所在QQ群即可。

3.4小程序

在學(xué)校同學(xué)們對于失物招領(lǐng)的需求比較大，根據(jù)實(shí)際情況開發(fā)的臨沂大學(xué)事物招領(lǐng)微信小程序，在功能上可實(shí)現(xiàn)對物品信息直接搜索查找，提高信息的利用率。

通過小程序來實(shí)現(xiàn)校內(nèi)失物招領(lǐng)，用戶在完善了資料之后就可以發(fā)布物品丟失或者撿到物品的信息，發(fā)布成功后將展示在首頁，用戶物品丟失后即可通過首頁上方的搜索功能搜索到與自己相關(guān)的物品信息，并通過“聯(lián)系我”功能聯(lián)系物品發(fā)布者，如圖3所示。

4平臺的優(yōu)勢

項(xiàng)目在傳統(tǒng)分類信息的基礎(chǔ)上大膽創(chuàng)新融人大數(shù)據(jù)思想，通過大數(shù)據(jù)+聊天機(jī)器人技術(shù)實(shí)現(xiàn)用戶信息的精準(zhǔn)有效交互，解決了傳統(tǒng)分類信息的內(nèi)容龐大繁雜，內(nèi)容真實(shí)性不可保證的缺陷。將大部分的人為因素通過技術(shù)、創(chuàng)造合約執(zhí)行自動化的條件，保證了分類信息平臺誠信環(huán)境的構(gòu)建。通過聊天機(jī)器人可將當(dāng)前已有的大多數(shù)分類信息平臺聯(lián)結(jié)起來實(shí)現(xiàn)孤島整合，信息共享。

用戶習(xí)慣方面不可一蹴而就，文化認(rèn)知方面更不是一朝一夕可以養(yǎng)成的。但大眾習(xí)慣歸根結(jié)底與大眾性格相關(guān)。在沒有國外交易文化的前提下想要讓用戶能夠?qū)Ξa(chǎn)品產(chǎn)生依賴，就需要產(chǎn)品自身能否給用戶帶來足夠的便利，平臺大基于大數(shù)據(jù)與聊天機(jī)器人的結(jié)合就可以完美解決該問題，通過搜集用戶行為信息形成的人物畫像，可以實(shí)現(xiàn)信息精準(zhǔn)推送，同時(shí)也實(shí)現(xiàn)了串聯(lián)已有信息孤島，整合信息發(fā)布類平臺實(shí)現(xiàn)信息共享，且全程不會給用戶在操作上帶來任何其他的門檻，一切基于合約執(zhí)行自動化的思想，無形中創(chuàng)造信息的價(jià)值。

將分類信息發(fā)布平臺與自媒體形式一體化產(chǎn)業(yè)化，校園為特殊的用戶群體范圍，自媒體平臺吸引學(xué)生流量從而吸引商家人駐與廣告投放，配合做好網(wǎng)站文化，自媒體平臺通過對產(chǎn)品的設(shè)計(jì)包裝，投放進(jìn)信息發(fā)布平臺內(nèi)，實(shí)現(xiàn)包裝宣傳、定位投放一體化、一條龍信息服務(wù)鏈。

依據(jù)功能優(yōu)勢與用戶群體特點(diǎn)專注區(qū)域信息發(fā)布，國內(nèi)已有的信息發(fā)布類網(wǎng)站因?yàn)橘Y本運(yùn)作問題、用戶認(rèn)知問題、用戶交易習(xí)慣等問題，使得早已失去了原本c2c方向的分類信息發(fā)布方式。平臺基于大學(xué)校園這一特殊用戶群體實(shí)現(xiàn)的區(qū)域信息發(fā)布平臺，正是由于區(qū)域性與大學(xué)生的諸多特性不會重蹈國內(nèi)其他分類信息發(fā)布平臺的覆轍，也能使精準(zhǔn)投放功能更加優(yōu)秀地實(shí)現(xiàn)。

5總結(jié)

新形勢、新技術(shù)下分類信息參與到高校供求關(guān)系解決中來，為高校學(xué)生的生活帶來了新的機(jī)遇，也出現(xiàn)了前所未有的挑戰(zhàn)，為此，要結(jié)合大數(shù)據(jù)技術(shù)對信息分類推送進(jìn)行深入研究，探索構(gòu)建分類信息推送系統(tǒng)的具體途徑，最終實(shí)現(xiàn)高校分類信息推送系統(tǒng)完成新的架構(gòu)。