基于云計算的電子商務(wù)數(shù)據(jù)緩存處理的研究

張?zhí)m

摘要：電子商務(wù)行業(yè)由于互聯(lián)網(wǎng)技術(shù)的提高也得以迅速發(fā)展，但電子商務(wù)平臺也面臨處理大量數(shù)據(jù)的要求，而云計算的出現(xiàn)使電子商務(wù)得到新的發(fā)展，筆者為提高電子商務(wù)大數(shù)據(jù)處理的效率，探討了基于云計算的電子商務(wù)數(shù)據(jù)緩存處理的方法。

關(guān)鍵詞：電子商務(wù)數(shù)據(jù)；數(shù)據(jù)緩存；云計算

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2016）23-0249-02

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種數(shù)據(jù)迅速膨脹，現(xiàn)已呈現(xiàn)出爆炸性增長趨勢，大數(shù)據(jù)的影響已滲透到社會的各個層面。尤其在電子商務(wù)領(lǐng)域中，隨著大數(shù)據(jù)的到來，而今已步入基于數(shù)據(jù)的時代。

電子商務(wù)大數(shù)據(jù)伴隨著消費者和企業(yè)的行為實時產(chǎn)生，而且電子商務(wù)數(shù)據(jù)類型種類很多，既包含消費者交易信息、消費者基本信息、消費者評價信息、消費者搜索瀏覽行為信息、消費者的所處地理位置信息，同時還有企業(yè)的產(chǎn)品信息與交易信息等。

而如何管理這些大量信息，將對電子商務(wù)的發(fā)展起著至關(guān)重要的影響，當(dāng)前流行的數(shù)據(jù)管理技術(shù)是云計算技術(shù)，它能夠很好地解決電子商務(wù)面臨的數(shù)據(jù)管理問題。

2 電子商務(wù)數(shù)據(jù)的特點

電子商務(wù)數(shù)據(jù)主要有以下特點：

（1）電子商務(wù)數(shù)據(jù)類型多種多樣。數(shù)據(jù)類型可分為：以消費者基本信息、交易信息、訂單信息、物流信息等結(jié)構(gòu)化的數(shù)據(jù)；以網(wǎng)頁數(shù)據(jù)、商品圖片及對應(yīng)的商品文本描述的小文件；以網(wǎng)絡(luò)日志、視頻文件、備份數(shù)據(jù)及索引文件等大文件。而這種非結(jié)構(gòu)化的數(shù)據(jù)使得信息更復(fù)雜的、更多樣性，與之相伴的是對數(shù)據(jù)管理增加了難度。

（2）交易數(shù)據(jù)量大。艾瑞咨詢統(tǒng)計數(shù)據(jù)顯示，2015Q3中國電子商務(wù)市場整體交易規(guī)模為3.93萬億元，同比增長17.3%？，環(huán)比增長4.8%。中國中小企業(yè)B2B運營商平臺營收規(guī)模為51.4億元，同比增長3.0%。以阿里巴巴為例，根據(jù)阿里巴巴旗下淘寶網(wǎng)的數(shù)據(jù)顯示，每天活躍數(shù)據(jù)量已經(jīng)超過50TB。企業(yè)與用戶雙方買賣的交易信息，客戶大量搜索、瀏覽、評價行為信息已構(gòu)成了淘寶網(wǎng)的數(shù)據(jù)產(chǎn)生來源。所以電子商務(wù)數(shù)據(jù)管理面臨的最突出問題就是海量數(shù)據(jù)。

（3）圖片數(shù)據(jù)。企業(yè)采用圖片是為了能更好地展示商品，這些圖片不能重復(fù)使用的，這就產(chǎn)生了大量的圖片數(shù)據(jù)。

（4）重復(fù)數(shù)據(jù)。在同一個商店中，有很多頁面不同，但是css、swf等文件可能相同，甚至可能存在不同商店的這些文件也是相同的，所以網(wǎng)站中包含了重復(fù)的html、css、script、swf文件數(shù)據(jù)。

3 云計算的相關(guān)技術(shù)

3.1 云計算概述

云計算是多種技術(shù)深入發(fā)展和融合的產(chǎn)物，即是分布式計算、并行計算及網(wǎng)絡(luò)計算的融合，是一種新興的商業(yè)計算模式，它將計算從用戶終端集中到“云端”，通過互聯(lián)網(wǎng)連接在一起的計算機終端設(shè)備虛擬為一個整體，實現(xiàn)邏輯上的連接，其采用動態(tài)的、可擴充的、經(jīng)過虛擬化的方式處理資源及進行計算，其強大的存儲及交互能力大大提高。

3.2 分布式存儲

分布式存儲技術(shù)是云計算的一個核心技術(shù)之一。是解決海量數(shù)據(jù)存儲和快速處理問題的一種技術(shù)，在信息量爆炸的今天，這一點至關(guān)重要。其分布式的架構(gòu)可以讓多達百萬臺的廉價計算機協(xié)同工作，將數(shù)據(jù)存儲在不同的物理設(shè)備中。分布式存儲不同于傳統(tǒng)的網(wǎng)絡(luò)存儲，傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)是將所有數(shù)據(jù)存放在集中的存儲服務(wù)器中，這種存儲方式使得服務(wù)器存儲負荷過重，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，難以解決大規(guī)模存儲的需要。而分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，數(shù)據(jù)分散存儲在多臺存儲服務(wù)器中，分擔(dān)存儲負荷，這種存儲方式提高了系統(tǒng)的可靠性和可用性，能夠快速響應(yīng)用戶需求的變化，提高存取速度。

3.3 memcached

許多web應(yīng)用將數(shù)據(jù)保存在關(guān)系型數(shù)據(jù)管理系統(tǒng)中，應(yīng)用服務(wù)器從中讀取數(shù)據(jù)并在瀏覽器中顯示。但隨著電子商務(wù)平臺數(shù)據(jù)量的增大，用戶集中訪問平臺，以致出現(xiàn)數(shù)據(jù)庫負擔(dān)加重、響應(yīng)惡化、網(wǎng)站顯示延遲等現(xiàn)象。memcached用于動態(tài)web應(yīng)用以減輕數(shù)據(jù)庫負載，需要被緩存的對象或數(shù)據(jù)以key/value對的形式保存在服務(wù)器端，每個被緩存的對象或數(shù)據(jù)都有唯一的標識符key，存取操作通過這個key進行。保存到Memcached中的對象或數(shù)據(jù)放置在內(nèi)存中，并不會作為文件存儲在磁盤上，所以存取速度非常快。通過在內(nèi)存中緩存數(shù)據(jù)和對象減少讀取數(shù)據(jù)庫的次數(shù)，從而提高動態(tài)、數(shù)據(jù)庫驅(qū)動網(wǎng)站的速度。

4 電子商務(wù)數(shù)據(jù)緩存處理技術(shù)

4.1 電子商務(wù)數(shù)據(jù)邏輯模型

電子商務(wù)網(wǎng)站信息組織主要涉及兩個層次，第一層次：以html文件、CSS文件、腳本為主的網(wǎng)頁數(shù)據(jù)；以動畫文件、圖片文件、視頻文件為主的超媒體數(shù)據(jù)；以索引文件、日志文件為主的文件數(shù)據(jù)；以用戶的信息、訂單等為主的數(shù)據(jù)庫數(shù)據(jù)。第二層次是對第一層次數(shù)據(jù)的再組織，對應(yīng)于商品目錄和搜索引擎接口，以幫助用戶更快地找到合適的搜索引擎、目錄指南或指示數(shù)據(jù)庫等。圖1為電子商務(wù)數(shù)據(jù)邏輯圖。

4.2 前端頁面緩存

在WEB 服務(wù)器的前端增加反向服務(wù)器代理，作為WEB 服務(wù)器的內(nèi)容緩存區(qū)。因為電子商務(wù)網(wǎng)站中有大量的網(wǎng)頁數(shù)據(jù)，如html、圖片及script語言，當(dāng)用戶提出訪問請求時，首先將用戶請求送到的前端頁面緩存，如果在代理服務(wù)器上有用戶請求的緩沖內(nèi)容，代理服務(wù)器直接將緩沖內(nèi)容發(fā)送給用戶。如果代理服務(wù)器沒有用戶請求的緩沖內(nèi)容，則先向WEB服務(wù)器發(fā)出請求，取回數(shù)據(jù)后先本地緩存再發(fā)送給用戶。這樣 用戶請求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負責(zé)處理用戶的請求與應(yīng)答、與后臺 WEB 服務(wù)器交互，這種方式減少了向WEB服務(wù)器的請求數(shù)，因而降低了WEB服務(wù)器的負載，提高了訪問速度。其結(jié)構(gòu)圖如2。

4.3 頁面片段緩存

在電子商務(wù)網(wǎng)站中，在同一個商店中，有很多頁面不同，但是css、swf、script等文件可能相同，甚至可能存在不同商店的這些文件也是相同的，這是一個重復(fù)利用的問題，在這種情況下，下載頁面只需要刷新部分頁面即可。ESI技術(shù)可以很好地解決了這一問題，它是一種基于XML的標記語言，使其用來做動態(tài)頁面中相對靜態(tài)的片段部分的緩存，可以通過ESI標記，區(qū)分出頁面的靜態(tài)部分和需要動態(tài)更新的頁面片段，最后組裝在一起顯示。

4.4 緩存層與數(shù)據(jù)庫結(jié)合

在電子商務(wù)網(wǎng)站中，對于熱點資源是要頻繁查詢數(shù)據(jù)庫，使用memcached緩存技術(shù)與mysql磁盤數(shù)據(jù)庫相結(jié)合可以解決數(shù)據(jù)庫的壓力。memcached服務(wù)器作為數(shù)據(jù)庫的前端，其中存放用戶經(jīng)常訪問的熱點資源，如用戶查詢熱點問題已存在，則將相應(yīng)的數(shù)據(jù)直接取出找對象給用戶，如果不存在，則查詢mysql數(shù)據(jù)庫，在結(jié)果返回給用戶的同時，并以key相應(yīng)的value值形式將查詢結(jié)果同步到memcached緩存服務(wù)器。如圖3所示。

5 結(jié)束語

本文首先介紹了電子商務(wù)大數(shù)據(jù)的發(fā)展概況，分析了電子商務(wù)數(shù)據(jù)的特點及數(shù)據(jù)邏輯模型，闡述了解決電子商務(wù)大規(guī)模數(shù)據(jù)處理的云計算的相關(guān)技術(shù)，提出了基于云計算技術(shù)電子商務(wù)數(shù)據(jù)組織過程中數(shù)據(jù)緩存的方法。

參考文獻：

[1] 米仁沙·艾尼. 云計算在電子商務(wù)中的應(yīng)用研究[J].電腦知識與技術(shù)，2015（12）.

[2] 白亞魯.云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究[J].軟件，2013（5）：128-129.

[3] 王振.基于Hadoop的大數(shù)據(jù)處理關(guān)鍵技術(shù)研究[M].南京郵電大學(xué)，2014（2）

[4] 董旭. 數(shù)據(jù)庫集群技術(shù)淺析[J].郵電設(shè)計技術(shù)，2012（10）.