基于大數(shù)據(jù)分析的電子商務(wù)推薦系統(tǒng)

張 艷

（蘇州旅游與財(cái)經(jīng)高等職業(yè)技術(shù)學(xué)校 江蘇 蘇州 215104）

0 引言

隨著電子商務(wù)的蓬勃發(fā)展，商品信息的急速增長導(dǎo)致用戶在面對(duì)龐大的選擇時(shí)面臨困難。電子商務(wù)推薦系統(tǒng)應(yīng)運(yùn)而生，成為緩解信息過載問題、提升用戶體驗(yàn)的核心技術(shù)之一［1－2］。本文專注于基于大數(shù)據(jù)分析的電子商務(wù)推薦系統(tǒng)，旨在提出創(chuàng)新的商品推薦系統(tǒng)框架，深入研究其中基于協(xié)同過濾的推薦方法［3－4］。通過深入理解協(xié)同過濾方法在推薦系統(tǒng)中的應(yīng)用，本研究對(duì)該方法做了優(yōu)化以滿足大數(shù)據(jù)環(huán)境的需求，提高推薦的準(zhǔn)確性和個(gè)性化水平。

1 商品推薦系統(tǒng)框架

本研究提出的商品推薦系統(tǒng)構(gòu)建了一個(gè)包含5 個(gè)關(guān)鍵層級(jí)的框架以實(shí)現(xiàn)全面而高效的推薦功能，包括應(yīng)用層、服務(wù)層、算法層、緩存層和存儲(chǔ)層，如圖1 所示。

圖1 商品推薦系統(tǒng)框架設(shè)計(jì)

在應(yīng)用層方面，系統(tǒng)采用了超文本標(biāo)記語言（hypertext markup language， HTML）、JavaScript、Java 服務(wù)器頁面（Java server pages， JSP）和Vue 等技術(shù)，以構(gòu)建用戶友好且具有響應(yīng)性的前端界面。這一層級(jí)負(fù)責(zé)與用戶進(jìn)行交互，提供直觀的推薦系統(tǒng)界面，以確保用戶體驗(yàn)的優(yōu)越性。服務(wù)層是推薦系統(tǒng)的核心，包含了獲取推薦列表、獲取搜索列表以及用戶登錄/注冊(cè)等服務(wù)。這一層級(jí)通過有效的服務(wù)接口與應(yīng)用層進(jìn)行通信，從而實(shí)現(xiàn)用戶請(qǐng)求的響應(yīng)和處理。在算法層，推薦系統(tǒng)經(jīng)過了數(shù)據(jù)預(yù)處理、模型訓(xùn)練和模型預(yù)測(cè)3 個(gè)關(guān)鍵步驟。首先，對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，以清理和轉(zhuǎn)換數(shù)據(jù)，為后續(xù)的模型訓(xùn)練做好準(zhǔn)備；接著，在模型訓(xùn)練階段，系統(tǒng)利用豐富的數(shù)據(jù)集進(jìn)行算法學(xué)習(xí)，以建立高效的推薦模型；最后，在模型預(yù)測(cè)階段，系統(tǒng)根據(jù)用戶的歷史行為和個(gè)性化特征，實(shí)時(shí)地生成推薦結(jié)果。緩存層采用了本地緩存和分布式緩存Redis，以提高系統(tǒng)的響應(yīng)速度和性能。本地緩存用于存儲(chǔ)頻繁訪問的數(shù)據(jù)，減少數(shù)據(jù)讀取時(shí)間；而分布式緩存Redis 則通過將數(shù)據(jù)存儲(chǔ)在內(nèi)存中，加速了數(shù)據(jù)的檢索和傳輸，從而提升了系統(tǒng)的整體效率。最后，存儲(chǔ)層包含特征數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。特征數(shù)據(jù)用于存儲(chǔ)商品和用戶的相關(guān)特征，為算法提供豐富的信息。業(yè)務(wù)數(shù)據(jù)則包含了系統(tǒng)的運(yùn)行日志、用戶行為記錄等關(guān)鍵信息，為系統(tǒng)的優(yōu)化和改進(jìn)提供數(shù)據(jù)支持。

2 基于協(xié)同過濾方法的商品推薦方法

2.1 基于用戶的協(xié)同過濾方法

基于用戶的協(xié)同過濾方法是一種推薦系統(tǒng)中常用的策略，其基本思想是通過分析用戶與產(chǎn)品之間的相似性，從具有相似喜好的用戶中推薦未被目標(biāo)用戶評(píng)價(jià)過的產(chǎn)品［5－6］。具體而言，該方法以用戶的歷史行為為依據(jù)，計(jì)算用戶之間的相似度，并基于相似用戶的評(píng)價(jià)歷史為目標(biāo)用戶推薦未曾接觸過的產(chǎn)品。如圖2 所示，假設(shè)存在用戶1、2 和3，以及產(chǎn)品1、2、3 和4。通過分析用戶1 和用戶3與4 種產(chǎn)品的聯(lián)系，系統(tǒng)可以計(jì)算這兩位用戶之間的相似性。若相似性較高，即兩者在產(chǎn)品偏好上存在一致性，系統(tǒng)將基于用戶1 的歷史行為向用戶3 推薦用戶1 喜歡但用戶3 尚未關(guān)注的產(chǎn)品，如產(chǎn)品1 和4。

圖2 基于用戶的協(xié)同過濾方法

在大數(shù)據(jù)環(huán)境下，基于用戶的協(xié)同過濾方法的推薦存在一些問題：

（1）計(jì)算復(fù)雜度高。大規(guī)模用戶和產(chǎn)品數(shù)據(jù)集導(dǎo)致相似度計(jì)算的復(fù)雜度大幅增加，占用大量計(jì)算資源，影響系統(tǒng)的實(shí)時(shí)性和效率。

（2）稀疏性問題。隨著數(shù)據(jù)規(guī)模的增加，用戶與產(chǎn)品之間的評(píng)價(jià)數(shù)據(jù)呈現(xiàn)稀疏性，導(dǎo)致相似用戶的準(zhǔn)確度下降，降低了推薦的精準(zhǔn)性。

（3）數(shù)據(jù)隱私和安全性。在大數(shù)據(jù)環(huán)境中，用戶的個(gè)人信息可能涉及大量敏感數(shù)據(jù)。基于用戶的協(xié)同過濾方法在計(jì)算相似度時(shí)需要比對(duì)用戶行為，可能存在潛在的隱私泄露和安全性問題。

（4）個(gè)性化不足。隨著數(shù)據(jù)量的增大，基于用戶的協(xié)同過濾方法可能更傾向于推薦熱門產(chǎn)品，而忽略了個(gè)體用戶的特殊偏好，降低了推薦的個(gè)性化水平。

這些缺陷使得在大數(shù)據(jù)環(huán)境下基于用戶的協(xié)同過濾方法在應(yīng)對(duì)復(fù)雜實(shí)際場(chǎng)景時(shí)面臨一系列挑戰(zhàn)，需要進(jìn)一步優(yōu)化和改進(jìn)。

2.2 針對(duì)大數(shù)據(jù)分析的方法優(yōu)化

本研究聚焦于大數(shù)據(jù)環(huán)境下基于用戶的協(xié)同過濾推薦方法，特別關(guān)注計(jì)算復(fù)雜度高的稀疏性問題。為應(yīng)對(duì)這一挑戰(zhàn)，研究提出了3 種關(guān)鍵方法，包括基于奇異值分解的降維處理、引入正則化項(xiàng)以解決稀疏性問題以及采用隨機(jī)梯度下降的優(yōu)化方法進(jìn)行用戶和產(chǎn)品特征矩陣的迭代更新。

在面對(duì)大規(guī)模數(shù)據(jù)集的情境下，為降低計(jì)算復(fù)雜度，研究采用奇異值分解（singular value decomposition， SVD）來進(jìn)行降維處理［7－8］。通過對(duì)用戶－產(chǎn)品評(píng)分矩陣進(jìn)行SVD 分解，得到低秩的近似矩陣，從而減少數(shù)據(jù)的維度，簡(jiǎn)化了相似度計(jì)算的過程。具體而言，對(duì)于一個(gè)用戶－產(chǎn)品評(píng)分矩陣R，其奇異值分解表示為：

式（1）中，U為用戶特征矩陣，∑為包含奇異值的對(duì)角矩陣，VT為產(chǎn)品特征矩陣。通過僅保留前k個(gè)最大的奇異值及其對(duì)應(yīng)的特征向量，實(shí)現(xiàn)了對(duì)原始矩陣的降維處理，進(jìn)而降低了計(jì)算的復(fù)雜度。

為應(yīng)對(duì)稀疏性問題，研究引入正則化項(xiàng)，通過在目標(biāo)函數(shù)中添加正則化項(xiàng)對(duì)用戶和產(chǎn)品的特征進(jìn)行約束［9－10］。設(shè)P為用戶特征矩陣，Q為產(chǎn)品特征矩陣，則目標(biāo)函數(shù)為：

式（2）中，λ為正則化參數(shù)，表示Frobenius 范數(shù)。通過在目標(biāo)函數(shù)中引入正則化項(xiàng)，研究在優(yōu)化的過程中對(duì)用戶和產(chǎn)品的特征進(jìn)行了有效的約束，緩解了稀疏性問題。

為進(jìn)一步提高計(jì)算效率，研究采用了隨機(jī)梯度下降（stochastic gradient descent， SGD）優(yōu)化方法［11－12］。通過使用隨機(jī)梯度下降，研究能夠在每次迭代中隨機(jī)選擇部分樣本進(jìn)行更新，避免了對(duì)整個(gè)數(shù)據(jù)集的完全遍歷。具體而言，對(duì)于用戶i和產(chǎn)品j的評(píng)分Ri，j，采用以下更新規(guī)則：

式（3）、式（4）中，ei，j為實(shí)際評(píng)分與模型預(yù)測(cè)之間的誤差，α為學(xué)習(xí)率。通過隨機(jī)梯度下降的迭代更新，研究有效地提升了模型的收斂速度和計(jì)算效率，適應(yīng)了大數(shù)據(jù)環(huán)境的需求。

3 實(shí)驗(yàn)與系統(tǒng)測(cè)試

3.1 系統(tǒng)構(gòu)建

本實(shí)驗(yàn)的一部分核心硬件和軟件環(huán)境配置分別如表1、表2 所示。

表1 硬件環(huán)境配置

表2 軟件環(huán)境配置

系統(tǒng)構(gòu)建的過程需要經(jīng)過多個(gè)步驟，本研究按照如圖1 所示的商品推薦系統(tǒng)框架構(gòu)建了推薦系統(tǒng)：

（1）應(yīng)用層構(gòu)建。基于Visual Studio 開發(fā)工具使用HTML、JavaScript 等前端技術(shù)進(jìn)行用戶界面設(shè)計(jì)，利用Vue.js 等框架編寫前端交互邏輯，確保用戶友好的界面和流暢的交互。

（2）服務(wù)層構(gòu)建。使用RESTful API 等標(biāo)準(zhǔn)設(shè)計(jì)服務(wù)接口，確保各個(gè)服務(wù)之間能夠進(jìn)行有效的通信；使用Spring 框架等技術(shù)實(shí)現(xiàn)服務(wù)層邏輯，包括獲取推薦列表、獲取搜索列表、用戶登錄/注冊(cè)等服務(wù)。

（3）算法層構(gòu)建。利用Python、Pandas 等工具進(jìn)行原始數(shù)據(jù)的清理、轉(zhuǎn)換和標(biāo)準(zhǔn)化，并用TensorFlow 庫進(jìn)行推薦算法的模型訓(xùn)練。

（4）緩存層構(gòu)建。利用Ehcache 設(shè)置本地緩存，提高對(duì)于頻繁訪問數(shù)據(jù)的讀取速度；使用Redis 分布式緩存工具，配置集群模式以及合適的緩存策略以提升系統(tǒng)整體的性能。

（5）存儲(chǔ)層構(gòu)建。使用非關(guān)系型數(shù)據(jù)庫存儲(chǔ)用戶和產(chǎn)品的特征數(shù)據(jù)。設(shè)計(jì)合適的表結(jié)構(gòu)或文檔模型，確保數(shù)據(jù)的存儲(chǔ)和檢索效率。

3.2 系統(tǒng)測(cè)試

用戶登錄和操作的實(shí)驗(yàn)流程如圖3 所示。首先，判斷用戶是否登錄，如果未登錄則直接抽取熱門商品推薦；然后，判斷該用戶是否有歷史記錄或標(biāo)簽，如果是則進(jìn)行推薦，否則直接抽取熱門商品進(jìn)行展示。

圖3 系統(tǒng)推薦流程

該系統(tǒng)測(cè)試的搜索結(jié)果界面如圖4 所示，包含搜索框、搜索結(jié)果、實(shí)時(shí)推薦、熱門推薦等。通過搜索框，用戶能夠方便快捷地輸入關(guān)鍵詞，提高了系統(tǒng)的用戶友好性，搜索結(jié)果展示在頁面上，確保了信息的直觀呈現(xiàn)。實(shí)時(shí)推薦的即時(shí)性是用戶體驗(yàn)的關(guān)鍵，通過所提優(yōu)化方法系統(tǒng)能夠在用戶輸入關(guān)鍵詞時(shí)，迅速返回相關(guān)的實(shí)時(shí)推薦結(jié)果。熱門推薦可以吸引用戶點(diǎn)擊，增加用戶在網(wǎng)站上的停留時(shí)間，提高用戶的參與度；并且熱門推薦可以有效推廣網(wǎng)站上的熱門商品或服務(wù)，增加其曝光度。

圖4 用戶搜索后的系統(tǒng)推薦界面

用戶通過搜索框找到期望的產(chǎn)品，實(shí)時(shí)推薦符合其興趣，熱門推薦引導(dǎo)用戶發(fā)現(xiàn)熱門商品，這些方面的綜合表現(xiàn)將直接影響用戶滿意度。通過對(duì)搜索、實(shí)時(shí)推薦和熱門推薦等功能的綜合分析，可以初步證明所采用的商品推薦系統(tǒng)方法是可行的，進(jìn)一步的用戶反饋和系統(tǒng)性能測(cè)試將有助于更全面、深入地評(píng)估方法的效果。

4 結(jié)語

綜上所述，本文提出的電子商務(wù)推薦系統(tǒng)框架在大數(shù)據(jù)環(huán)境下展現(xiàn)了可行性。通過細(xì)致設(shè)計(jì)的層級(jí)結(jié)構(gòu)，系統(tǒng)能夠高效地整合多種推薦算法，同時(shí)通過優(yōu)化協(xié)同過濾方法，解決了計(jì)算復(fù)雜度高和稀疏性問題。在系統(tǒng)構(gòu)建過程中，采用了現(xiàn)代化的硬件和軟件配置，通過綜合測(cè)試驗(yàn)證了系統(tǒng)的性能和用戶體驗(yàn)。通過實(shí)際系統(tǒng)構(gòu)建和測(cè)試，展示了所提框架的實(shí)際應(yīng)用潛力，為電子商務(wù)領(lǐng)域的推薦系統(tǒng)設(shè)計(jì)和應(yīng)用提供了有益參考。未來，可在個(gè)性化推薦和系統(tǒng)擴(kuò)展性方面進(jìn)一步拓展研究，以不斷提升系統(tǒng)的性能和用戶滿意度。