數(shù)據(jù)挖掘技術(shù)在Web預(yù)取中的應(yīng)用研究

崔鎮(zhèn)濤 內(nèi)蒙古師范大學(xué)計算機學(xué)院

數(shù)據(jù)挖掘技術(shù)在Web預(yù)取中的應(yīng)用研究

崔鎮(zhèn)濤 內(nèi)蒙古師范大學(xué)計算機學(xué)院

本文通過對數(shù)據(jù)挖掘技術(shù)的深入研究，將數(shù)據(jù)技術(shù)應(yīng)用在Web預(yù)取中，以期減少網(wǎng)絡(luò)的延遲。本文的重點就是介紹數(shù)據(jù)挖掘中的相關(guān)算法在Web預(yù)取中的應(yīng)用。

數(shù)據(jù)挖掘 關(guān)聯(lián)算法 Web預(yù)取 互聯(lián)網(wǎng)

隨著互聯(lián)網(wǎng)用戶的急劇增加，以及原有的Web服務(wù)和天然存在的網(wǎng)絡(luò)延遲，我國互聯(lián)網(wǎng)正在變得越來越擁擠，需要進一步提升技術(shù)水平才能夠更好的滿足日益龐大的需求。將數(shù)據(jù)挖掘技術(shù)應(yīng)用到Web預(yù)取中，就是通過相關(guān)算法首先對用戶需求進行預(yù)判，然后將用戶可能瀏覽的網(wǎng)頁存儲到本地緩存中，當(dāng)用戶真正需要瀏覽這些內(nèi)容時，可以直接調(diào)取緩存中的網(wǎng)頁信息，或者只需要緩存之前沒有預(yù)定的內(nèi)容，如此就可以大幅度減少緩存時間，提升用戶體驗。

1 數(shù)據(jù)建模前期準(zhǔn)備

要想將數(shù)據(jù)挖掘技術(shù)應(yīng)用在Web預(yù)取中，第一步要做的就是對用戶行為以及興趣進行分析。也就是說，將關(guān)聯(lián)規(guī)則算法應(yīng)用到分析用戶以往的Web使用日志上，以用戶的互聯(lián)網(wǎng)使用記錄為基礎(chǔ)進行建模，增加機器學(xué)習(xí)，最終達到預(yù)測用戶行為的目的。

Web使用日志就是指用戶使用互聯(lián)網(wǎng)的數(shù)據(jù)記錄，以此為基礎(chǔ)應(yīng)用數(shù)據(jù)挖掘技術(shù)，建立相關(guān)的關(guān)聯(lián)模型，發(fā)現(xiàn)用戶的互聯(lián)網(wǎng)使用規(guī)律和瀏覽興趣，就可以此為依據(jù)建立起具有相當(dāng)準(zhǔn)確性和價值的用戶分析模型，為后續(xù)的Web預(yù)取打下基礎(chǔ)。Web使用日志數(shù)據(jù)挖掘處理的對象其實是所有用戶與互聯(lián)網(wǎng)的交互記錄，用這種技術(shù)處理Web使用日志，就能夠挖掘出其中的規(guī)律，然后建立起相匹配的模型，然后進行用戶行為預(yù)測，去互聯(lián)網(wǎng)上尋找與用戶興趣相匹配的內(nèi)容，進行預(yù)取，加快用戶瀏覽互聯(lián)網(wǎng)的速度，減少不必要的時間浪費。

在這一階段，一般使用Aprior算法，找出在一個固定的周期內(nèi)，用戶在服務(wù)器上訪問特定網(wǎng)頁的次序，然后將信息進行篩選和處理，儲存起來。這一算法的工作流程如下圖所示：

2 數(shù)據(jù)建模

在進行正式的建模工作之前，需要得到上一步收集的各種數(shù)據(jù)，也就是Web使用日志。日志文件并不能夠直接處理，需要對格式進行轉(zhuǎn)換，因此就首先需要日志文件的預(yù)處理工作，包括對數(shù)據(jù)進行篩選，去掉無意義或者重復(fù)的數(shù)據(jù)，得到簡練、爭取的用戶使用記錄數(shù)據(jù)，接下來就可以進行數(shù)據(jù)建模了。

建模過程就是使用數(shù)據(jù)挖掘技術(shù)中的關(guān)聯(lián)算法，對預(yù)處理后的數(shù)據(jù)進行計算分析，從數(shù)據(jù)中發(fā)現(xiàn)特殊的模式集合。數(shù)據(jù)挖掘技術(shù)是計算理論、計算技術(shù)和計算機硬件不斷發(fā)展之后產(chǎn)生的一種新興技術(shù)，使用數(shù)據(jù)挖掘技術(shù)，可以在規(guī)模龐大的數(shù)據(jù)中分析出隱藏的、不被人所察覺的，同時又對科學(xué)決策和預(yù)測起到重要參考意義的知識和規(guī)則，根據(jù)這些成果，就可以科學(xué)合理預(yù)測用戶行為。本文建模使用的是關(guān)系規(guī)則算法，分析用戶的興趣關(guān)聯(lián)規(guī)則。興趣關(guān)聯(lián)規(guī)則體現(xiàn)出的是用戶使用互聯(lián)網(wǎng)的興趣之間的遞進關(guān)系，通過對數(shù)據(jù)模型中的緩沖數(shù)據(jù)刪繁就簡，表明不同網(wǎng)頁之間的鏈接關(guān)系，使用這種算法能夠直接表現(xiàn)出用戶興趣之間的遞進關(guān)系。為了提高數(shù)據(jù)挖掘的效率，減少不必要的資源浪費，再簡化緩存區(qū)數(shù)據(jù)之時，要對一些低價值或者無價值數(shù)據(jù)進行清除，比如各種留存下來的靜態(tài)和動態(tài)圖片，還有頁面中的腳本程序。為了節(jié)省資源以及降低算法復(fù)雜程度，在建立數(shù)據(jù)模型之時，不需要考慮用戶興趣之間的傳遞關(guān)系，同時對于一些簡單的興趣關(guān)聯(lián)規(guī)則模型，關(guān)聯(lián)分析法一般會比較合適。因為數(shù)據(jù)挖掘技術(shù)是在巨量的數(shù)據(jù)之中挖掘規(guī)則和信息，因此一般需要較長的處理時間，因此并不適合用于在線預(yù)測用戶的行為，其解決辦法就是預(yù)先預(yù)測。

為了保證所預(yù)測的用戶行為模式正確性高，需要在預(yù)測過程中不斷對模型的參數(shù)和算法細(xì)節(jié)進行調(diào)整。當(dāng)?shù)玫揭欢ǖ念A(yù)測結(jié)果之后，就可以將這些結(jié)果儲存起來，放入庫中，并且使用用戶其他的使用數(shù)據(jù)進行進一步驗證，進行模型的驗證和測試，如果驗證結(jié)果超過了預(yù)定要求，就可以判定為可用。上述過程可以用下圖來表示：

上述數(shù)據(jù)建模過程，就是根據(jù)用戶的Web使用日志進行數(shù)據(jù)挖掘分析，找出用戶興趣與行為方式，并且根據(jù)用戶使用習(xí)慣，對用戶的行為進行預(yù)判的過程。

3 模型改進與機器學(xué)習(xí)

當(dāng)一個瀏覽器加入了數(shù)據(jù)挖掘算法后，就可以進行有效的Web預(yù)取，因此就以現(xiàn)有瀏覽器為基礎(chǔ)對其實現(xiàn)機制進行改進，改進的方向有提供用戶的Web使用日志以及訪問記錄到專門的數(shù)據(jù)存儲位置，在用戶使用互聯(lián)網(wǎng)的空閑時間，啟動分析模型，對用戶接下來使用的網(wǎng)頁進行科學(xué)合理的預(yù)測，找到最有可能訪問的一個或者少數(shù)幾個網(wǎng)頁進行預(yù)先緩存，當(dāng)用戶真的是用了預(yù)先緩存的這些網(wǎng)頁之后，就可以從緩存之中直接調(diào)取，供用戶使用以減少時間，如果用戶沒有訪問這幾個網(wǎng)頁，那么就記下用戶的這次行為，以便后期對模型進行修改進行數(shù)據(jù)儲備。經(jīng)過這個過程，就可以大幅減少因為網(wǎng)絡(luò)延遲和服務(wù)器延遲帶來的使用卡頓現(xiàn)象，從而減少用戶等待時間內(nèi)，提升用戶的使用體驗。具體的過程如下圖所示：

將數(shù)據(jù)挖掘技術(shù)應(yīng)用到Web預(yù)取之中，就是機器的自我學(xué)習(xí)與調(diào)整。但是應(yīng)當(dāng)注意到的是，由于算法目前還存在著很大的局限性，同時人與人之間的差異性極大，而用戶使用互聯(lián)網(wǎng)的隨意性非常高，在使用關(guān)聯(lián)算法進行用戶行為預(yù)測之時，初期產(chǎn)生的誤差可能會非常巨大，一開始預(yù)測的準(zhǔn)確性可能會很低，甚至有可能會造成緩存數(shù)據(jù)無用而占用存儲空間影響系統(tǒng)運行效率或者是對網(wǎng)絡(luò)帶寬的浪費。鑒于此，改進機器學(xué)習(xí)算法，改進關(guān)聯(lián)算法，改進所有的數(shù)據(jù)挖掘算法就會是一項長期的、艱巨的工作，目的就是要不斷提升結(jié)果的準(zhǔn)確性?？梢灶A(yù)見的是，當(dāng)預(yù)測結(jié)果的精確度達到一定程度之后，數(shù)據(jù)挖掘技術(shù)在Web預(yù)取中的地位會越來越重，應(yīng)用范圍會越來越廣，同時也會給用戶帶來越來越好的用戶體驗。

4 Web預(yù)取技術(shù)的應(yīng)用

現(xiàn)在的市場上，已經(jīng)有很多Web預(yù)取軟件，比如Netsonic瀏覽器加速軟件，這種軟件就會預(yù)先讀取與用戶正在讀取的網(wǎng)頁相連接的網(wǎng)頁中的文字信息，這樣就可以節(jié)省帶寬緩存下一個網(wǎng)頁中占帶寬較多的軟件，節(jié)省用戶的時間。但是這種軟件的缺點就是會預(yù)先緩存很多對用戶無用的信息，浪費帶寬和存儲空間。

數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中起到的作用越來越高，尤其是像淘寶、京東之類的電商平臺，和在線金融，網(wǎng)上醫(yī)療等服務(wù)行業(yè)，同時很多的政府部門也對這項技術(shù)有很大的興趣。

5 總結(jié)

本文介紹了數(shù)據(jù)挖掘技術(shù)在Web預(yù)取中的應(yīng)用，可以看到的是，這項技術(shù)有著非常廣闊的應(yīng)用前景，能夠為提升用戶體驗，節(jié)省互聯(lián)網(wǎng)資源提供巨大的幫助。

[1]張為.基于Web日志的數(shù)據(jù)挖掘及其在Web預(yù)取中的應(yīng)用研究[D].華中科技大學(xué),2006.

[2]謝怡文.試分析數(shù)據(jù)挖掘技術(shù)在Web預(yù)取中的應(yīng)用[J].電腦編程技巧與維護,2017,(07):66-67+74.[2017-09-12].

10.16184/j.cnki.comprg.2017.07.027

崔鎮(zhèn)濤（1992.04），男，內(nèi)蒙古包頭市人，碩士研究生，研究方向：軟件工程。