基于大數(shù)據(jù)技術(shù)的用戶行為分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

吳榮燦　羅嘉龍　鄭伙群　陳正銘

摘要：在大數(shù)據(jù)時(shí)代普遍應(yīng)用的背景下，多元化商業(yè)模式和細(xì)分市場(chǎng)得到快速發(fā)展，而眾多行業(yè)面臨著高昂獲客成本和高流失率的雙重挑戰(zhàn)。為了解決傳統(tǒng)存在的問題，通過對(duì)近期狀況研究與分析，本文提出了基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)。該平臺(tái)采用無(wú)埋點(diǎn)自定義的監(jiān)測(cè)方案采集用戶行為數(shù)據(jù)，并通過對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，提供更精細(xì)和精準(zhǔn)的運(yùn)營(yíng)與營(yíng)銷方案。

關(guān)鍵詞：大數(shù)據(jù);行為分析;無(wú)埋點(diǎn)

中圖分類號(hào)：TP393? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）12-0040-03

隨著互聯(lián)網(wǎng)大數(shù)據(jù)潮流的到來(lái)，多元化商業(yè)模式和細(xì)分市場(chǎng)得到快速發(fā)展。然而，機(jī)遇與風(fēng)險(xiǎn)并存，大多數(shù)行業(yè)面臨著昂貴的獲客成本和高流失率的雙重挑戰(zhàn)。如何規(guī)避風(fēng)險(xiǎn)，成為大數(shù)據(jù)時(shí)代商業(yè)發(fā)展的主流趨勢(shì)。常規(guī)的用戶行為分析是通過對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析，從中發(fā)現(xiàn)用戶使用產(chǎn)品的規(guī)律?；诖髷?shù)據(jù)技術(shù)的用戶行為分析則通過對(duì)這些數(shù)據(jù)進(jìn)行更深入地統(tǒng)計(jì)、分析，從中挖掘用戶行為潛在的規(guī)律，并將網(wǎng)站的營(yíng)銷策略、產(chǎn)品功能、運(yùn)營(yíng)策略與這些規(guī)律相適應(yīng)，發(fā)現(xiàn)營(yíng)銷、產(chǎn)品和運(yùn)營(yíng)中可能存在的問題，解決這些問題達(dá)到優(yōu)化用戶體驗(yàn)，實(shí)現(xiàn)更合理且準(zhǔn)確的運(yùn)營(yíng)與營(yíng)銷，讓產(chǎn)品得到更好的發(fā)展，助經(jīng)營(yíng)者獲得更大的利益。

1 傳統(tǒng)企業(yè)開發(fā)網(wǎng)頁(yè)系統(tǒng)問題描述

獲客成本高問題：傳統(tǒng)網(wǎng)頁(yè)開發(fā)為了存儲(chǔ)、分析網(wǎng)頁(yè)用戶行為數(shù)據(jù)往往有兩種方式：一是自行開發(fā)并實(shí)現(xiàn)此功能，這樣所需的成本更高;二是接入第三方服務(wù)進(jìn)行用戶數(shù)據(jù)的存儲(chǔ)與分析，小企業(yè)的不可靠，大企業(yè)租用的費(fèi)用也很高[2]?？偟膩?lái)說，企業(yè)傳統(tǒng)獲客模式的成本高昂，得不償失。

用戶高流失率問題：由于傳統(tǒng)網(wǎng)頁(yè)開發(fā)的存儲(chǔ)、分析網(wǎng)頁(yè)用戶的方式單一、煩瑣，不夠人性化，數(shù)據(jù)不夠精準(zhǔn)，而且在數(shù)據(jù)統(tǒng)計(jì)視圖方面上，開發(fā)者為了快速完成一般沒有專業(yè)做得好，導(dǎo)致眾多數(shù)據(jù)眼花繚亂，讓決策者體驗(yàn)感較差，統(tǒng)計(jì)的數(shù)據(jù)就會(huì)錯(cuò)漏得多，用戶流失高問題就日漸顯露了[1]。

安全性問題：目前，有的行業(yè)可能采用第三方服務(wù)來(lái)進(jìn)行用戶數(shù)據(jù)的收集，而用戶數(shù)據(jù)存放在第三方平臺(tái)的手上從而導(dǎo)致用戶數(shù)據(jù)不安全，泄露，數(shù)據(jù)備份等問題[5]。

2 傳統(tǒng)企業(yè)開發(fā)網(wǎng)頁(yè)系統(tǒng)問題分析

2.1 用戶行為分析平臺(tái)降低行業(yè)高昂獲客成本，精確定位獲客渠道

據(jù)統(tǒng)計(jì)，時(shí)至今日，互聯(lián)網(wǎng)廣告業(yè)已被盤石、阿里、百度幾大巨頭瓜分完畢。漲勢(shì)艱難的流量入口與日漸上升的獲客成本，是每個(gè)企業(yè)都在面臨的嚴(yán)峻挑戰(zhàn)。短短五年里，獲客成本大幅上漲，個(gè)別行業(yè)甚至翻了10倍。在互聯(lián)網(wǎng)金融行業(yè)，2013年到2016年，企業(yè)的平均獲客成本已經(jīng)從300至500元上升到1000至3000元。在互聯(lián)網(wǎng)教育行業(yè)，類似“少兒編程”“英語(yǔ)四六級(jí)培訓(xùn)”等關(guān)鍵詞，在百度上點(diǎn)擊售價(jià)高達(dá)100元/次，線下機(jī)構(gòu)獲取有效用戶單價(jià)成本超過1000元/人?？偟膩?lái)說，互聯(lián)網(wǎng)教育公司的線上獲客成本占比高達(dá)30%，與線下的已經(jīng)相差無(wú)幾。隨著各互聯(lián)網(wǎng)行業(yè)的獲客成本不斷提高，用戶行為分析數(shù)據(jù)平臺(tái)數(shù)據(jù)的重要性逐漸體現(xiàn)。本項(xiàng)目通過對(duì)用戶的行為進(jìn)行深入統(tǒng)計(jì)、分析，精確定位獲客渠道，進(jìn)而降低行業(yè)高昂獲客成本。

2.2 用戶行為分析平臺(tái)洞察客戶流失真實(shí)原因，降低行業(yè)用戶高流失率

用戶流失是指在特定時(shí)間段內(nèi)離開產(chǎn)品的用戶數(shù)量。根據(jù)不同的產(chǎn)品及不同業(yè)務(wù)，時(shí)間段的確定也各不相同。用戶流失指標(biāo)從側(cè)面表明產(chǎn)品留住用戶的能力[4]。企業(yè)會(huì)為用戶的大量流失而付出慘重代價(jià)。談到用戶流失的影響，有研究機(jī)構(gòu)做過統(tǒng)計(jì)，獲取新用戶的成本是留住已有用戶成本的五倍。哈佛商學(xué)院的報(bào)告也指出，用戶留存率上升5%可以帶來(lái)25%～95%的利潤(rùn)提升[6]。同樣有數(shù)據(jù)表明留存用戶是企業(yè)收入的主要貢獻(xiàn)者。根據(jù)美國(guó)咨詢公司高德納的數(shù)據(jù)，20%的留存用戶將貢獻(xiàn)公司未來(lái)收入的80%。同時(shí)，將產(chǎn)品成功銷售給留存用戶的概率是60%～70%，而成功銷售給新用戶的概率只有5%～20%。以上各種數(shù)據(jù)表明，減少用戶流失，提升用戶留存對(duì)企業(yè)（尤其是電商企業(yè)）來(lái)說最重要并且最有益。

2.3 用戶行為分析平臺(tái)減少接入第三方服務(wù)進(jìn)行統(tǒng)計(jì)的風(fēng)險(xiǎn)

由于接入第三方服務(wù)進(jìn)行統(tǒng)計(jì)（如諸葛IO，百度統(tǒng)計(jì)等），雖然成本較低， 但數(shù)據(jù)會(huì)存在不安全的風(fēng)險(xiǎn)，所有分析數(shù)據(jù)都暴露給了第三方平臺(tái)[3]，當(dāng)前第三方平臺(tái)主要存在的問題：

A. 埋點(diǎn)成本高，且容易出錯(cuò);

B. 現(xiàn)有埋點(diǎn)功能對(duì)數(shù)據(jù)統(tǒng)計(jì)交互不友好;

C. 埋點(diǎn)日志量大，通常很難找到自己想測(cè)試的埋點(diǎn);

D. 顯示一整條日志，系統(tǒng)無(wú)法判定埋點(diǎn)是否準(zhǔn)確，全靠肉眼來(lái)看;

F. 接入第三方服務(wù)進(jìn)行統(tǒng)計(jì)存在數(shù)據(jù)不安全。

3 具體實(shí)現(xiàn)思路

用戶行為分析平臺(tái)在 Internet 上架建，基于Java語(yǔ)言，運(yùn)行于IDEA集成開發(fā)環(huán)境，IDE以“用戶行為分析”為主的網(wǎng)站功能平臺(tái)設(shè)計(jì)作為本平臺(tái)核心需求，在當(dāng)前現(xiàn)有原有埋點(diǎn)方案上，提出無(wú)埋點(diǎn)創(chuàng)新監(jiān)測(cè)方案，通過Lucene全文檢索交叉分析算法，實(shí)現(xiàn)快速并且準(zhǔn)確的找出用戶的搜索的內(nèi)容;采用SSM+Maven框架搭建與mysql一級(jí)緩存、二級(jí)緩存和ECaChe緩存機(jī)制，嚴(yán)格按照MVC思想，使代碼簡(jiǎn)潔，方便后期維護(hù)的同時(shí)提高運(yùn)行的速度，減少數(shù)據(jù)庫(kù)的訪問量并且命中率高;實(shí)現(xiàn)多維度時(shí)間平臺(tái)實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)、多報(bào)表的實(shí)時(shí)分析數(shù)據(jù)（通過中國(guó)地圖展示訪問地、柱狀圖展示各個(gè)訪問者的終端數(shù)據(jù)、多折現(xiàn)圖實(shí)時(shí)多維度展示訪問者情況）全方面提升管理精細(xì)可視化體驗(yàn)感[3]。

當(dāng)前，第三方統(tǒng)計(jì)分析平臺(tái)的埋點(diǎn)方案總的來(lái)說有以下幾個(gè)方案：

初級(jí)：在產(chǎn)品、服務(wù)轉(zhuǎn)化關(guān)鍵點(diǎn)植入統(tǒng)計(jì)代碼，據(jù)其獨(dú)立ID確保數(shù)據(jù)采集不重復(fù)（如購(gòu)買點(diǎn)擊率）。

中級(jí)：植入多段代碼，追蹤用戶在每個(gè)平臺(tái)上的系列行為，事件之間相互獨(dú)立（打開商品詳情頁(yè)，放大商品圖片，加入購(gòu)物車，收藏等），這種方式的好處是數(shù)據(jù)采集準(zhǔn)確，但是埋點(diǎn)成本高，工程量大，并且迭代成本高，維護(hù)困難。

高級(jí)：聯(lián)合公司工程，ETL采集海量的大數(shù)據(jù)，分析用戶全量行為，建立用戶畫像，還原用戶行為模型，作為產(chǎn)品分析、優(yōu)化的基礎(chǔ)。這種方式的優(yōu)勢(shì)是通過收集大數(shù)據(jù)，分析用戶全量行為可以規(guī)避用戶在使用產(chǎn)品產(chǎn)生的一些欺詐行為（即誤導(dǎo)分析系統(tǒng)的行為），提高了分析系統(tǒng)的準(zhǔn)確性和通用性，而且還有助于發(fā)掘出一些未知的價(jià)值分析，但是技術(shù)復(fù)雜。

無(wú)埋點(diǎn)：又稱無(wú)埋點(diǎn)監(jiān)測(cè)，即網(wǎng)站無(wú)須加入需要維護(hù)的特定的代碼來(lái)實(shí)現(xiàn)統(tǒng)計(jì)分析， 而是通過簡(jiǎn)單加入少量的程序代碼（又稱監(jiān)測(cè)代碼）等，使用第三方的通用統(tǒng)計(jì)分析平臺(tái)來(lái)實(shí)現(xiàn)對(duì)網(wǎng)站的監(jiān)測(cè)。為了加強(qiáng)對(duì)數(shù)據(jù)的收集，網(wǎng)站還可以部署專用且通用的事件監(jiān)測(cè)代碼，來(lái)加強(qiáng)數(shù)據(jù)的采集，為數(shù)據(jù)分析提供數(shù)據(jù)基礎(chǔ)。

同時(shí)，為了解決傳統(tǒng)統(tǒng)計(jì)平臺(tái)存在的問題，平臺(tái)使用了不同的技術(shù)解決：

（1）接入第三方服務(wù)進(jìn)行統(tǒng)計(jì)存在數(shù)據(jù)不安全問題：平臺(tái)采用了數(shù)據(jù)存入自己的服務(wù)器，第三方平臺(tái)直接調(diào)用的方式，提高網(wǎng)站的整體安全性。

（2）埋點(diǎn)成本高，且容易出錯(cuò)：采用了用戶自定義埋點(diǎn)方法，即用戶所填寫過的內(nèi)容，平臺(tái)會(huì)根據(jù)他填寫內(nèi)容通過a標(biāo)簽埋點(diǎn)，按鈕埋點(diǎn)，input標(biāo)簽埋點(diǎn)，獲取埋點(diǎn)的id屬性，label屬性，class屬性、提高了埋點(diǎn)的準(zhǔn)確性，同時(shí)提供特殊屬性特點(diǎn)埋點(diǎn)方案，盡可能降低埋點(diǎn)錯(cuò)誤。而且前期準(zhǔn)備好了埋點(diǎn)方案，通過前后端一起埋點(diǎn)，減少了收集埋點(diǎn)的時(shí)間和次數(shù)，后期修改也比較方便，降低了成本。

（3）現(xiàn)有埋點(diǎn)功能對(duì)數(shù)據(jù)統(tǒng)計(jì)交互不友好：由于該項(xiàng)目使用了用戶自定義埋點(diǎn)，并且通過實(shí)時(shí)記錄，平臺(tái)還對(duì)數(shù)據(jù)庫(kù)優(yōu)化，創(chuàng)作了一套根據(jù)小時(shí)、今天、昨天、一周、一個(gè)月、一整年多維度的實(shí)時(shí)統(tǒng)計(jì)算法，比以往的數(shù)據(jù)統(tǒng)計(jì)有了進(jìn)一步的提升。

（4）埋點(diǎn)日志量大，通常很難找到自己想測(cè)試的埋點(diǎn)：使用全文檢索算法，可以根據(jù)埋點(diǎn)多維度交叉分析搜索出自己測(cè)試的埋點(diǎn)，速度快而且精度高

（5）展示一整條日志，系統(tǒng)無(wú)法判定埋點(diǎn)是否準(zhǔn)確，全靠肉眼來(lái)看：平臺(tái)已經(jīng)把用戶自定義的埋點(diǎn)標(biāo)簽完整記錄，并且埋點(diǎn)是可以相互綁定，準(zhǔn)確性在記錄時(shí)已經(jīng)得到很大的提高。并且在頁(yè)面展示出來(lái)，對(duì)于是否正確，平臺(tái)還提供了一鍵檢測(cè)，即可知道是否準(zhǔn)確無(wú)誤的記錄。

對(duì)于用戶行為分析平臺(tái)來(lái)說，數(shù)據(jù)采集是最核心的問題。統(tǒng)計(jì)分析的數(shù)據(jù)具有數(shù)據(jù)量大，產(chǎn)生的速度快，類型多，價(jià)值密度低的特點(diǎn)。為了獲得網(wǎng)站數(shù)據(jù)，埋點(diǎn)采集是如今網(wǎng)站分析中常用的數(shù)據(jù)采集方法。本項(xiàng)目致力于打造無(wú)埋點(diǎn)監(jiān)控方案，主要內(nèi)容包含：前端無(wú)埋點(diǎn)實(shí)時(shí)檢測(cè)模塊，通過前端js代碼無(wú)埋點(diǎn)監(jiān)控;自定義監(jiān)測(cè)模塊，實(shí)現(xiàn)專用綁用實(shí)時(shí)監(jiān)控;后端定時(shí)檢測(cè)模塊以及特殊屬性特定監(jiān)測(cè)模塊等，提高用戶體驗(yàn)感。應(yīng)用與用戶分析、訪客流量分析、終端分析、各類型的事件分析、報(bào)表分析等信息，用于決策分析。包含用戶分析、訪客流量分析、報(bào)表分析、終端分析、報(bào)表分析等商業(yè)渠道。

4 總結(jié)

項(xiàng)目應(yīng)用價(jià)值巨大，從網(wǎng)絡(luò)檢測(cè)分布分析角度來(lái)看，具體體現(xiàn)在如下幾個(gè)方面：

網(wǎng)絡(luò)安全方面：實(shí)時(shí)監(jiān)聽用戶在網(wǎng)絡(luò)行為，來(lái)進(jìn)行垃圾信息和病毒檢測(cè)，并及時(shí)有效處理等;

網(wǎng)絡(luò)社交的研究方面：以用戶行為數(shù)據(jù)進(jìn)行留存檢測(cè)，分析‘用戶是去還是留這一預(yù)測(cè);

網(wǎng)絡(luò)市場(chǎng)方面：以用戶的屬性和行為，來(lái)推測(cè)用戶對(duì)哪一類商品、品牌感興趣，從而實(shí)現(xiàn)精準(zhǔn)化營(yíng)銷;

網(wǎng)絡(luò)日志方面：可以用戶自定義的埋點(diǎn)記錄，并能夠一鍵檢測(cè)準(zhǔn)確性，提供更人性化更精確的記錄。

該項(xiàng)目的現(xiàn)實(shí)意義體現(xiàn)在，例如：社交網(wǎng)絡(luò)中分析群體關(guān)系從而挖掘出隱藏在其中的商機(jī)、以行為和屬性去定位用戶在產(chǎn)品中角色從而提高市場(chǎng)營(yíng)銷的精準(zhǔn)度、病毒傳播的監(jiān)測(cè)有效遏制以及自定義更精確的埋點(diǎn)記錄，最大限度減少不必要損失。

弱勢(shì)：雖然本用戶行為分析平臺(tái)采用了無(wú)埋點(diǎn)方案，但是仍需將一些js腳本掛載到用戶想要監(jiān)控的網(wǎng)站，導(dǎo)致訪問該網(wǎng)站的用戶平白無(wú)故加載不相關(guān)的資源，浪費(fèi)不必要的流量，從而可能會(huì)導(dǎo)致用戶體驗(yàn)感不佳，并且傳輸?shù)倪^程中還可能會(huì)泄露用戶的重要信息。

進(jìn)一步改善的思路：

精簡(jiǎn)js腳本代碼，優(yōu)化腳本請(qǐng)求頻率等，達(dá)到既保證了功能的健壯性，又給予用戶良好的體驗(yàn)感。

添加預(yù)測(cè)功能，建立相關(guān)模型，通過用戶數(shù)據(jù)不斷訓(xùn)練模型，在不同數(shù)據(jù)分析方面做出一定程度上的預(yù)測(cè)，給決策者提供有意義的參考， 做出更科學(xué)，更合理的決策。

參考文獻(xiàn)：

[1] 賴院根，劉敏健，王星.網(wǎng)絡(luò)環(huán)境下的信息用戶流失分析[J].情報(bào)科學(xué)，2011，29（11）：1736-1741.

[2] 耿爽爽，宋曉昭.移動(dòng)互聯(lián)網(wǎng)時(shí)代下社交電商發(fā)展模式及典型代表分析研究[J].時(shí)代金融，2020（9）：109-111.

[3] 羅嘉龍，蘇毓洲，方健煒，等.基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].電腦知識(shí)與技術(shù)，2019，15（35）：54-56.

[4] 郝增勇.基于Hadoop用戶行為分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2014.

[5] 王鵬.基于Hadoop全文檢索的研究與應(yīng)用[D].重慶：重慶郵電大學(xué)，2017.

[6] 張顯達(dá).基于樸素貝葉斯分類器的A公司的產(chǎn)品推薦方法的研究[D].蘭州：蘭州交通大學(xué)，2019.

【通聯(lián)編輯：梁書】