混合云為凡客破解冷熱數(shù)據(jù)處理難題

侯沁

在信息爆炸的大數(shù)據(jù)時(shí)代，如何存儲(chǔ)數(shù)據(jù)成了企業(yè)一大難題。以往大多數(shù)人更多的關(guān)注的是那些活動(dòng)頻繁、被訪問次數(shù)多的熱數(shù)據(jù)的存儲(chǔ)和處理。其實(shí)對(duì)于很多企業(yè)來說，那些活動(dòng)不頻繁，很少訪問甚至有可能永遠(yuǎn)不會(huì)被訪問的冷數(shù)據(jù)的存儲(chǔ)很可能是其未來最主要的費(fèi)用支出。凡客誠品（以下簡稱凡客）利用混合云解決方案很好地解決了冷熱數(shù)據(jù)該如何處理的問題，重要的、常用的數(shù)據(jù)存在本地，不常用的數(shù)據(jù)則歸檔、備份在云端，效率和成本同時(shí)得以解決。

原數(shù)據(jù)備份模式急需改變

作為一家以快時(shí)尚服裝和鞋帽為主的生產(chǎn)型企業(yè)，同時(shí)更是一家電子商務(wù)公司或者互聯(lián)網(wǎng)企業(yè)，從業(yè)務(wù)形態(tài)而言，凡客網(wǎng)站無論從用戶瀏覽到購物下單，還是倉儲(chǔ)調(diào)撥到物流配送，整個(gè)過程中都會(huì)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)。這些數(shù)據(jù)是凡客整個(gè)公司業(yè)務(wù)運(yùn)營的基礎(chǔ)，也是整個(gè)B2C平臺(tái)穩(wěn)定運(yùn)行的根本。因此對(duì)這些數(shù)據(jù)提出了極高的安全性要求，包括時(shí)效性、有效性、和完整性。

從網(wǎng)站整體架構(gòu)來看，必然存在將應(yīng)用、服務(wù)、數(shù)據(jù)進(jìn)行分層處理，并且按照不同業(yè)務(wù)進(jìn)行資源分割。在每一個(gè)業(yè)務(wù)模塊的每一個(gè)層面，都會(huì)產(chǎn)生不同類型的數(shù)據(jù)。盡管每個(gè)層面，每個(gè)模塊都會(huì)有自己的數(shù)據(jù)處理機(jī)制，但是仍然需要一套完整的數(shù)據(jù)處理系統(tǒng)。

無論是業(yè)務(wù)形態(tài)還是網(wǎng)站整體架構(gòu)，數(shù)據(jù)產(chǎn)生與數(shù)據(jù)處理都是其網(wǎng)站運(yùn)行的關(guān)鍵。而數(shù)據(jù)備份作為數(shù)據(jù)處理系統(tǒng)中的最后一個(gè)環(huán)節(jié)，顯得格外重要。它保證了所有業(yè)務(wù)數(shù)據(jù)在離線狀態(tài)的完整性，并且保證在發(fā)生數(shù)據(jù)丟失的時(shí)候，能夠從備份中將數(shù)據(jù)恢復(fù)出來。

凡客原先的數(shù)據(jù)備份系統(tǒng)是通過使用存儲(chǔ)和磁帶機(jī)的方式，構(gòu)建的一套獨(dú)立的備份管理系統(tǒng)。隨著業(yè)務(wù)量的上升，網(wǎng)站架構(gòu)越來越復(fù)雜，原有的備份系統(tǒng)受到自身的擴(kuò)展性和結(jié)構(gòu)限制，無法滿足長期的需求。最終將備份系統(tǒng)分割多個(gè)備份服務(wù)組，每組備份服務(wù)器支撐一部分業(yè)務(wù)系統(tǒng)，以此來解決擴(kuò)展性問題。但隨之而來的，是管理復(fù)雜度的升高，以及運(yùn)行成本和管理成本的升高。凡客急需一套完善的數(shù)據(jù)備份解決方案，能對(duì)數(shù)據(jù)進(jìn)行更有限的管控。

凡客初次嘗試

StorSimple

隨著云服務(wù)的快速普及，越來越多的企業(yè)開始嘗試這一全新的存儲(chǔ)方式，但隨之而來的問題便是如何能夠更加智能化、自動(dòng)化的在云端和本地服務(wù)器之間快速存儲(chǔ)，并且更加方便數(shù)據(jù)的調(diào)用，同時(shí)還能夠節(jié)約成本。

微軟力推的StorSimple存儲(chǔ)解決方案就是專門針對(duì)這一使用需求。通過使用StorSimple，凡客形成了一整套的數(shù)據(jù)備份解決方案，同時(shí)提供常規(guī)性和偶發(fā)性的備份需求。以StorSimple為核心，省略了存儲(chǔ)設(shè)備和磁帶機(jī)設(shè)備，極大的簡化了部署和維護(hù)工作的復(fù)雜度。（見圖）

圖中的右邊部分，是凡客應(yīng)對(duì)常規(guī)性備份需求的解決方案。通過啟用一組備份服務(wù)器來集中管理日常的備份數(shù)據(jù)，包括數(shù)據(jù)庫備份、網(wǎng)站訪問日志等。備份服務(wù)器中直接接入StorSimple分配的Volume，并根據(jù)不同業(yè)務(wù)需求，分配不同的存儲(chǔ)目錄，直接映射成可訪問的共享地址，需要備份的應(yīng)用系統(tǒng)，無論是DB的數(shù)據(jù)還是Web產(chǎn)生的數(shù)據(jù)，均通過備份后產(chǎn)生備份數(shù)據(jù)，并傳輸?shù)焦蚕砟夸浖纯伞＿@樣，常規(guī)備份數(shù)據(jù)以共享方式為線上業(yè)務(wù)提供服務(wù)，既可以確保備份數(shù)據(jù)的實(shí)時(shí)在線，又可以隨時(shí)取用，并且還可以將使用率低的數(shù)據(jù)放在成本最低的Windows Azure存儲(chǔ)中。

圖的左邊部分，是凡客針對(duì)一些臨時(shí)性和特殊性的備份需求，通過更為簡化的方式來實(shí)現(xiàn)。凡客的BI服務(wù)器保存著大量的網(wǎng)站歷史數(shù)據(jù)，而圖片服務(wù)器則存儲(chǔ)著大量的歸檔數(shù)據(jù)。針對(duì)這類使用價(jià)值相對(duì)獨(dú)立的數(shù)據(jù)，凡客會(huì)依據(jù)數(shù)據(jù)量的增長速度，不定時(shí)的將數(shù)據(jù)離線備份出來。這個(gè)時(shí)候，通過StorSimple，直接為業(yè)務(wù)服務(wù)器分配Volume，用于這些數(shù)據(jù)的備份存儲(chǔ)，并在StorSimple統(tǒng)一管控，利用StorSimple高效的去重功能，壓縮存儲(chǔ)空間，并根據(jù)數(shù)據(jù)的使用率優(yōu)化存儲(chǔ)介質(zhì)的選擇，這簡化了存儲(chǔ)結(jié)構(gòu)，同時(shí)優(yōu)化了存儲(chǔ)管理。

架構(gòu)簡化 成本降低

凡客IDC數(shù)據(jù)中心運(yùn)維助理總監(jiān)胡畢勝在接受采訪時(shí)說：“StorSimple的使用，為我們形成了一套完整的數(shù)據(jù)備份解決方案，從系統(tǒng)架構(gòu)層面來看，顛覆了我們過去的傳統(tǒng)做法，在簡化架構(gòu)的同時(shí)做到了更好的易用性。其卓越的去重和壓縮能力顯著削減了存儲(chǔ)成本。在數(shù)據(jù)安全性與數(shù)據(jù)恢復(fù)方面，StorSimple更展現(xiàn)出了它極佳的創(chuàng)新思路和優(yōu)秀的技術(shù)水準(zhǔn)，讓人印象深刻?！?/p>

顛覆傳統(tǒng)結(jié)構(gòu) StorSimple使凡客既可以構(gòu)建一種集中式架構(gòu)的備份系統(tǒng)滿足重要和關(guān)鍵的長期備份需求，也可以同時(shí)采用創(chuàng)建Volume的方式直接為一些臨時(shí)性性、突發(fā)性的備份需求提供保障。更重要的是，在做到滿足不同需求和靈活性的同時(shí)，它仍然是一套完整的系統(tǒng)，便于管理和維護(hù)。這種簡化，從另一個(gè)方面，甚至可以說是對(duì)傳統(tǒng)數(shù)據(jù)備份系統(tǒng)在架構(gòu)上的一種顛覆。

自動(dòng)化冷熱分離 在傳統(tǒng)的備份技術(shù)當(dāng)中，無論架構(gòu)如何設(shè)計(jì)，無論硬件如何配置，有一個(gè)無法繞開的問題，就是必須由人工來判斷和設(shè)計(jì)數(shù)據(jù)備份的冷熱分離，并且維護(hù)這套邏輯在整個(gè)生命周期里的有效性，而StorSimple的自動(dòng)化冷熱分離功能使得凡客在規(guī)劃備份邏輯的時(shí)候，只需要關(guān)注容量、性能、穩(wěn)定性等方面。

提升易用性 凡客在考慮使用公有云存儲(chǔ)解決方案以后，遇到的第一個(gè)問題就是系統(tǒng)如何對(duì)接。目前絕大部分公有云存儲(chǔ)廠商在使用時(shí)都需要通過API調(diào)用的方式來實(shí)現(xiàn)系統(tǒng)的對(duì)接。對(duì)于凡客而言，如果需要使用這類云存儲(chǔ)作為數(shù)據(jù)備份系統(tǒng)的后端架構(gòu)，那么就必須自己開發(fā)一套數(shù)據(jù)傳輸系統(tǒng)，來負(fù)責(zé)調(diào)用公有云上的存儲(chǔ)空間，以及承擔(dān)數(shù)據(jù)上傳的調(diào)度任務(wù)。這都需要投入持續(xù)的人力和精力，無形中增加了不少成本。

而StorSimple是把一個(gè)把公有云存儲(chǔ)空間作為設(shè)備內(nèi)部存儲(chǔ)資源的一部分，在設(shè)備的系統(tǒng)內(nèi)部，直接內(nèi)置了公有云數(shù)據(jù)接口。從而完全省略了接口的開發(fā)，可以直接把公有云的存儲(chǔ)空間，打包成若干個(gè)Volume，被DB、Web等服務(wù)器作為一個(gè)磁盤分區(qū)來使用，這極大的提供了便利性，減少了開發(fā)的投入，提供了卓越的易用性。

極具性價(jià)比 凡客誠品考慮使用公有云存儲(chǔ)解決方案以后的第二個(gè)挑戰(zhàn)，就是要想盡辦法減少落在云中的數(shù)據(jù)量，因?yàn)閷⒅苯記Q定了每月的支出費(fèi)用。凡客在使用StorSimple的過程中，通過自動(dòng)化的壓縮、去重之后，再上傳到Azure云端，整個(gè)過程節(jié)約的成本是原來的四分之一左右。

確保數(shù)據(jù)安全性 凡客作為B2C的電商網(wǎng)站，存儲(chǔ)著大量用戶的數(shù)據(jù)，涉及用戶的隱私，因而這部分?jǐn)?shù)據(jù)的安全性是首要考慮的問題。在StorSimple中，任何文件類型的數(shù)據(jù)經(jīng)過處理以后，是以文件塊的形式存入云中的，是一種無法識(shí)別的數(shù)據(jù)。如果要使用數(shù)據(jù)，必須借助從StorSimple端取出才能恢復(fù)成之前可用的文件格式。

同時(shí)，StorSimple在數(shù)據(jù)的傳輸過程中，以及在云端的數(shù)據(jù)存儲(chǔ)中均通過AES-256加密算法，對(duì)數(shù)據(jù)進(jìn)行加密。通過這一系列的技術(shù)手段，從根本上解決了數(shù)據(jù)放在云端的安全問題，用戶不再擔(dān)心數(shù)據(jù)會(huì)在云端或在傳輸過程中被秘密竊取。

云快照成就異地容災(zāi) StorSimple支持本地快照和云快照兩種模式對(duì)已存入的數(shù)據(jù)進(jìn)行鏡像方式的數(shù)據(jù)備份，并支持計(jì)劃任務(wù)。這使得無論是數(shù)據(jù)完整性本身，還是在進(jìn)行備份或者恢復(fù)的操作都能得到很好的保障。