一種基于CloudSim的分級云存儲仿真模型

龍賽琴　曾令斌　劉子浩　周思恒

摘? ?要：隨著云存儲技術(shù)的發(fā)展，云存儲平臺解決了大數(shù)據(jù)存儲與管理的難題。然而當(dāng)數(shù)據(jù)量與用戶量進一步擴大，系統(tǒng)性能要求逐步提升，需要對目前云存儲環(huán)境中的數(shù)據(jù)存儲管理技術(shù)進行深入的研究與改進。由于應(yīng)用實際的云存儲集群進行優(yōu)化研究極易受到平臺環(huán)境的限制，因此基于CloudSim實現(xiàn)了一個分級云存儲的仿真模型TCSS，給出了一種三層次的設(shè)備分級組織結(jié)構(gòu)，構(gòu)建了完善的數(shù)據(jù)I/O業(yè)務(wù)處理與數(shù)據(jù)存儲管理等功能結(jié)構(gòu)。已經(jīng)將所有拓展功能模塊集成到了CloudSim仿真工具的CloudSim層中，用戶可以依據(jù)TCSS模型，突破平臺限制，完成云存儲優(yōu)化策略的建模與測試工作。

關(guān)鍵詞：分級云存儲;CloudSim;仿真建模

中圖分類號：TP301? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼：A

Abstract：With the development of cloud storage technology，the cloud storage platforms meets the storage and management requirements of big data. However，when the amount of data and the number of users are further expanded，the system performance requirements of cloud storage are gradually improved，and the data storage management technology in the current cloud storage environment needs to be deeply researched and improved. Considering that the application of the actual cloud storage cluster for optimization research is very vulnerable to the platform environment，this paper implements a hierarchical cloud storage simulation model named TCSS in CloudSim，while implements a three-level hierarchical organization structure of storage devices，then the functional structure such as data I/O service processing and data storage management has been established. In this paper，all the extended function modules have been integrated into the CloudSim layer of the CloudSim simulation tool. Based on the given TCSSmodel，Users can complete the modeling and testing of the cloud storage optimization strategy proposed by themselves.

Key words：hierarchical cloud storage;CloudSim;simulation and modeling

云計算是當(dāng)前主流的分布式計算方案，已被廣泛應(yīng)用于以互聯(lián)網(wǎng)科技為主的各個技術(shù)領(lǐng)域[1]。而作為云計算生態(tài)圈中的重要組成部分，云存儲技術(shù)的出現(xiàn)，為需求劇增的數(shù)據(jù)存儲問題提供了有效的解決方案，能夠滿足多用戶的大體量數(shù)據(jù)存儲需求，并向上提供高性能計算的應(yīng)用支持[2]。目前，諸如Google的GFS（gGooglefFilesSystem）[3]、Hadoop生態(tài)環(huán)境中的HDFS[4]、微軟的 Azure Storage[5]等分布式存儲平臺的出現(xiàn)，開拓了云存儲在技術(shù)研究與實際應(yīng)用等層面的發(fā)展道路。隨著云存儲技術(shù)的發(fā)展，面向用戶的云數(shù)據(jù)存儲應(yīng)用變得越來越多樣，服務(wù)方式與計費方式也更加靈活，云存儲平臺的集群規(guī)模日益增大，同時也對云存儲系統(tǒng)有了更高的性能要求，這就需要進一步優(yōu)化云存儲的部分功能與服務(wù)模式。然而，在實際的云存儲集群平臺上搭建運行環(huán)境工作量極大，實現(xiàn)并測試自身所提出的云存儲優(yōu)化策略極易受平臺架構(gòu)的限制，復(fù)雜的設(shè)備條件難以進行策略的二次改進與重復(fù)實驗。因此，開發(fā)相應(yīng)的仿真工具是實現(xiàn)云存儲優(yōu)化策略、評估方案性能的可行方法。仿真工具能夠提供可控的異構(gòu)環(huán)境配置與完整的平臺日常事物模擬，從而方便研究人員進行優(yōu)化策略的開發(fā)。

數(shù)據(jù)存儲是云存儲平臺中最基礎(chǔ)服務(wù)，而為了改善服務(wù)質(zhì)量、提升系統(tǒng)性能，優(yōu)化數(shù)據(jù)存儲策略是最直接且行之有效的方法。考慮到目前沒有云存儲環(huán)境的模擬仿真工具，本文基于主流的開源云計算仿真平臺CloudSim[6]，提出了一個分級云存儲的仿真模型TCSS（Tiered cloud storage simulation model），主要的功能特性包括：（1）實現(xiàn)了一個可動態(tài)調(diào)整的三層設(shè)備分級組織結(jié)構(gòu)，能夠按設(shè)備性能進行建立分級結(jié)構(gòu)。（2）實現(xiàn)了元數(shù)據(jù)管理結(jié)構(gòu)，可以對數(shù)據(jù)進行副本、分塊、樹型目錄組織的管理。（3）在基本的數(shù)據(jù)存儲之上，增加了系統(tǒng)業(yè)務(wù)日志、設(shè)備運行情況記錄等功能部件，有利于評估數(shù)據(jù)熱度分布、分析集群資源利用情況。（4）優(yōu)化了數(shù)據(jù)存儲業(yè)務(wù)的費用計算過程，能夠獲取更準(zhǔn)確的測試結(jié)果。本文所提出的新功能增強了CloudSim對云存儲業(yè)務(wù)的模擬仿真能力，開發(fā)人員可以快速實施自己所提出的云存儲優(yōu)化策略，從而進行模擬測試。同時，本文所提出的分級云存儲仿真模塊細(xì)化了部分云存儲功能，開發(fā)人員可以提出更為復(fù)雜的設(shè)備組織與細(xì)粒度的數(shù)據(jù)管理策略，具有較廣闊的仿真應(yīng)用前景。

1? ?相關(guān)工作

云存儲是基于云計算衍生而來的新技術(shù)，倡導(dǎo)的是存儲即服務(wù)，能夠應(yīng)對數(shù)據(jù)爆發(fā)式增長所帶來的存儲困境。相較于傳統(tǒng)的文件存儲系統(tǒng)，云存儲突破了數(shù)據(jù)存儲在單一物理機上的限制，在眾多集群化硬件設(shè)備上，通過網(wǎng)格技術(shù)進行部署，可以將數(shù)據(jù)文件以及副本存儲在不同的集群節(jié)點中，有較高的存儲虛擬化特征，表現(xiàn)出極高的可拓展性和安全性，并對外提供統(tǒng)一的數(shù)據(jù)存儲業(yè)務(wù)[7]。

云存儲系統(tǒng)中的硬件設(shè)備多樣、性能異構(gòu);用戶群體廣泛，數(shù)據(jù)訪問規(guī)律復(fù)雜多變;超大量的數(shù)據(jù)存儲表現(xiàn)出持續(xù)性的價值密度變化特征;高性能與低成本結(jié)合的訴求成為亟待解決的難題。作為一種高效的數(shù)據(jù)存儲放置布局模型，分級存儲立足于信息生命周期管理理論，能夠較好的地適應(yīng)設(shè)備性能異構(gòu)的集群環(huán)境，獲取數(shù)據(jù)熱度分布情況，趨向于將最重要的數(shù)據(jù)存儲于高性能設(shè)備中，并將低價值的數(shù)據(jù)遷移到普通設(shè)備中，以提升系統(tǒng)性能。目前，Ceph的組件UMStor已經(jīng)將分級存儲應(yīng)用于云存儲環(huán)境中[8]，除了具備混合云環(huán)境的對象存儲能力外，UMStor還包含了一個分級存儲組件Cloud Tier，能夠自動監(jiān)測評估客戶端數(shù)據(jù)的熱度，并將冷數(shù)據(jù)遷移歸檔到云端進行備份，有效地提高了客戶本地存儲的可用空間。

云存儲技術(shù)的研究內(nèi)容包括數(shù)據(jù)安全[9]、數(shù)據(jù)訪問控制、數(shù)據(jù)遷移、數(shù)據(jù)去重、能耗管控與建模等方向，致力于提升系統(tǒng)的高可用性與存儲性能、降低能耗。然而，很多關(guān)于云存儲的性能優(yōu)化策略并未經(jīng)過理論驗證，直接在實際的云存儲環(huán)境中落地部署，這無疑需要很高的資源配置來完成實施過程，且成本過高，后續(xù)實驗難以進行。因此，以CloudSim為代表的開源仿真工具，成為了研究人員進行模擬仿真、完成策略實施與相關(guān)測試的首要選擇。Xingdon You[10]等人提出了一種基于熱度預(yù)測的綠色數(shù)據(jù)分類方法，在CloudSim中實現(xiàn)了數(shù)據(jù)的細(xì)粒度分類，從而每類數(shù)據(jù)選擇合適的存儲目標(biāo)。Long S[11]等人在CloudSim中實現(xiàn)了一種數(shù)據(jù)副本布局的仿真模型，實現(xiàn)了數(shù)據(jù)副本優(yōu)化存儲放置與數(shù)據(jù)條帶化分塊管理。Li X[12]等人提出了一種增強型CloudSim云模擬系統(tǒng)，具有可視化的用戶配置界面，能夠快速完成網(wǎng)絡(luò)拓?fù)渑渲谩崿F(xiàn)自定義的云中心管理算法。Shi Y[13]等人提出了在CloudSim中實現(xiàn)了一種名為MQMPM的資源利用分析與分配方法，為云計算中心的能耗建模提供了新思路。

目前，對CloudSim進行模擬仿真與功能拓展的研究有很多，卻沒有用于模擬云存儲系統(tǒng)的解決方案。因此，本文基于CloudSim提出了一種云存儲的仿真模型TCSS，實現(xiàn)了云存儲系統(tǒng)的數(shù)據(jù)分級存儲管理。

2? ?TCSS模型結(jié)構(gòu)

ClousdSim作為一款應(yīng)用較為廣泛的云計算仿真工具，主要的業(yè)務(wù)模擬方向為云計算工作處理中的虛擬機控制與任務(wù)調(diào)度[6]。在CloudSim的代碼結(jié)構(gòu)中，以系統(tǒng)實體代表業(yè)務(wù)產(chǎn)生來源、事務(wù)對象保存業(yè)務(wù)處理所需的信息、消息及事務(wù)隊列模擬業(yè)務(wù)處理機制、模擬時鐘控制業(yè)務(wù)流程。最終，以主類CloudSim作為中間對象，控制實體、事務(wù)、消息隊列間的通信，以完成云計算業(yè)務(wù)處理過程。在目前的仿真版本中，CloudSim層囊括了主要的資源管理與數(shù)據(jù)存儲實施的功能代碼結(jié)構(gòu)。因此，為了將提出的分級云存儲模型TCSS集成到CloudSim中，本文在ClousdSim實現(xiàn)了部分功能拓展模塊，如圖1所示。在TCSS模型中，主要的功能模塊包括：

數(shù)據(jù)管理模塊，用于管理系統(tǒng)中的所有數(shù)據(jù)對象。其中，數(shù)據(jù)集保存了全部數(shù)據(jù);數(shù)據(jù)副本機制與數(shù)據(jù)副本目錄實現(xiàn)了分布式存儲系統(tǒng)中通用的數(shù)據(jù)冗余結(jié)構(gòu)，能夠有效保障數(shù)據(jù)安全性與可用性;數(shù)據(jù)分塊與數(shù)據(jù)塊目錄模塊實現(xiàn)了存儲放置前的數(shù)據(jù)分塊操作，有利于提升系統(tǒng)資源利用率。

設(shè)備管理模塊，用于管理系統(tǒng)中的集群設(shè)備結(jié)構(gòu)。該模塊通過設(shè)備屬性列表來計算設(shè)備性能值，并以此為依據(jù)對系統(tǒng)內(nèi)所有的設(shè)備進行分級組織。此外，在設(shè)備管理結(jié)構(gòu)中融入了數(shù)據(jù)讀寫控制與業(yè)務(wù)計費子模塊，保障了數(shù)據(jù)能夠在目標(biāo)設(shè)備上實施存儲放置過程，并據(jù)此將所占的系統(tǒng)資源與作為業(yè)務(wù)處理成本，用于存儲業(yè)務(wù)的費用評估。

中間件作為本文原創(chuàng)的一個功能補充模塊，依據(jù)CloudSim業(yè)務(wù)處理方式的特點，結(jié)合一般數(shù)據(jù)存儲業(yè)務(wù)的要求，新增了ID標(biāo)識機制與數(shù)據(jù)I/O處理子模塊。其中，ID標(biāo)識機制是一個產(chǎn)生對象ID標(biāo)識屬性的單例對象，可以按起始設(shè)置數(shù)值（起始數(shù)值可動態(tài)配置）按增序生成一系列獨占的標(biāo)識性ID，保證了標(biāo)識對象的唯一性，簡化了邏輯操作對象的判斷過程。此外，由于CloudSim的業(yè)務(wù)處理采用實體間通信傳遞的邏輯處理過程，該過程需要實體執(zhí)行事務(wù)信息與相關(guān)參數(shù)作為邏輯輸入。因此，本文在執(zhí)行用戶產(chǎn)生的數(shù)據(jù)I/O事件之前，對事件進行解析，將事件處理的信息進行封裝，再分發(fā)到事務(wù)處理實體中。

存儲管理模塊主要用于數(shù)據(jù)到設(shè)備間的存儲放置管理，通過數(shù)據(jù)存儲映射表維護了系統(tǒng)內(nèi)所有數(shù)據(jù)與存儲設(shè)備的存儲映射關(guān)系，是執(zhí)行數(shù)據(jù)存儲業(yè)務(wù)的基礎(chǔ)數(shù)據(jù)項。作為分級云存儲模型中較為重要的功能部分，獲取數(shù)據(jù)訪問規(guī)律，評估數(shù)據(jù)熱度分布情況，是最終實現(xiàn)數(shù)據(jù)分級存儲決策的基礎(chǔ)。在本文提出的TCSS模型中，數(shù)據(jù)熱度評估過程由統(tǒng)計時間檢查點進程觸發(fā)，統(tǒng)計了階段時間T內(nèi)的數(shù)據(jù)訪問情況，并以此計算數(shù)據(jù)熱度。作為數(shù)據(jù)熱度評估的依據(jù)，數(shù)據(jù)訪問增量表用于記錄在階段時間T內(nèi)有訪問增量的數(shù)據(jù)對象，用來濾除大部分未被訪問的數(shù)據(jù)對象，有效縮短了數(shù)據(jù)評估所需的時間，減少了額外的系統(tǒng)消耗。此外，數(shù)據(jù)訪問增量表以數(shù)據(jù)對象的ID標(biāo)識為主要記錄項，不受數(shù)據(jù)對象屬性變化與數(shù)據(jù)對象刪除所帶來的影響。

業(yè)務(wù)控制模塊是面向用戶的上層控制部件，為用戶提供動態(tài)可控的關(guān)鍵參數(shù)配置，并提供模擬測試過程的各項業(yè)務(wù)費用，便于用戶進行策略效果評估。此外，該模塊還依據(jù)下層的數(shù)據(jù)存儲與設(shè)備分級管理等部分功能結(jié)構(gòu)，能夠為用戶提供數(shù)據(jù)存儲放置優(yōu)化過程，將數(shù)據(jù)存儲在合適的設(shè)備層級上，同時，用戶也可以依據(jù)自己的策略來定義存儲放置過程。

3? ?TCSS實現(xiàn)方案

為了將圖1中所示的TCSS模型結(jié)構(gòu)集成到CloudSim中，本文改進了CloudSim的部分功能代碼，最終實現(xiàn)的TCSS代碼功能結(jié)構(gòu)如圖2所示，依據(jù)主要的操作對象可將TCSS功能分為兩個主要模塊，包括存儲設(shè)備分級組織部件與數(shù)據(jù)存儲管理部件。

3.1? ?設(shè)備分級組織部件

首先，CloudSim的存儲架構(gòu)功能簡單，所有存儲相關(guān)代碼結(jié)構(gòu)集中在數(shù)據(jù)中心實體DC（DataCenter）與數(shù)據(jù)中心代理實體（DatacenterBroker）中。對存儲設(shè)備的模擬僅有硬盤對象（HarddriveStorage）與SAN存儲網(wǎng)絡(luò)（SanStorage）對象，雖然存儲設(shè)備屬性豐富，然而無法體現(xiàn)云存儲系統(tǒng)中存儲設(shè)備的異構(gòu)性。

為了實現(xiàn)提出的三層存儲結(jié)構(gòu)，本文在模擬器CloudSim中，對數(shù)據(jù)中心實體DC（DataCenter）與存儲設(shè)備實體進行了功能拓展。由于實際的云存儲環(huán)境中設(shè)備異構(gòu)性突出，在CloudSim原有的硬盤對象與網(wǎng)絡(luò)磁盤對象基礎(chǔ)上，增加了硬盤與網(wǎng)絡(luò)磁盤類型，包括混合硬盤（SSD、HDD等），基于混和硬盤的網(wǎng)絡(luò)存儲器（SAN存儲網(wǎng)絡(luò)），豐富了數(shù)據(jù)中心實體的存儲性能表現(xiàn)。在將所有云存儲環(huán)境下的存儲設(shè)備進行性能評估之后，最終虛擬化出三層存儲組織結(jié)構(gòu)。

為了實現(xiàn)設(shè)備分級組織模塊，本文對CloudSim進行了代碼拓展。保留了存儲對象Storage的公共字段集，包括存儲容量、IOPS速率（讀、寫速率）、基本工作能耗、延遲等。特別地，設(shè)置了存儲設(shè)備類別標(biāo)識字段StorageType，用于指定存儲器的類型，1為HDD，2為SSD，3為SAN設(shè)備等。此外，設(shè)立了物理存儲設(shè)備對象列表集合Storage [] StorageList，用于描述SAN存儲網(wǎng)絡(luò)中的實際物理存儲設(shè)備構(gòu)成。通常情況下，SAN存儲網(wǎng)絡(luò)由一個或多個物理存儲設(shè)備組成，且設(shè)備性能不盡相同，原有CloudSim中的SAN網(wǎng)絡(luò)對象直接基于硬件存儲對象，僅能指定一個物理存儲機，不符合實際應(yīng)用情況。為了更好地描述SAN的網(wǎng)絡(luò)特征，新增網(wǎng)絡(luò)帶寬與網(wǎng)絡(luò)延遲字段，作為SAN網(wǎng)絡(luò)存儲對象的獨有字段。存儲對象的處理函數(shù)除了基本的數(shù)據(jù)存儲以外，還包括用于分級依據(jù)的設(shè)備存儲性能計算，用于存儲控制的存儲余量感知，用于指定文件大小讀寫的成本計算（主要為讀寫時間與能耗）等。

拓展CloudSim的設(shè)備存儲管理功能之后，如圖2所示，計算所有數(shù)據(jù)存儲節(jié)點中存儲設(shè)備的性能值，并劃分出熱點存儲、基本存儲、冷區(qū)存儲的三層結(jié)構(gòu)（level1 ～ level3）。其中，對于性能集為={cpu，存儲容量，讀寫速率，IOPS，帶寬，延遲，運行功率……}的存儲設(shè)備，其性能計算公式為：

其中，PVk為設(shè)備的性能屬性，εk為該性能屬性的評估參數(shù)。對所有存儲設(shè)備按性能排序，通過存儲器分級閾值Sleft與Sright進行層級劃分。

3.2? ?數(shù)據(jù)存儲管理部件

此外，CloudSim的文件組織模式單一，僅有文件對象File與FileAttribute，系統(tǒng)所有文件元信息直接存儲在數(shù)據(jù)中心的文件列表中。此外，文件I/O事務(wù)處理流程簡單，不具備云存儲系統(tǒng)的數(shù)據(jù)訪問控制、元數(shù)據(jù)管理等功能模塊。因此，本文以分布式云存儲系統(tǒng)HDFS[4]為原型，拓展了CloudSim中的數(shù)據(jù)存儲組織結(jié)構(gòu)。首先，拓展了數(shù)據(jù)對象的訪問控制功能，增加了數(shù)據(jù)對象的ID屬性，系統(tǒng)依據(jù)用戶提供的文件名獲取ID，形成了ID單一標(biāo)識結(jié)構(gòu)。同時，增加了數(shù)據(jù)的副本與分塊機制，包括主副本標(biāo)識、副本目錄、塊目錄等。基于這些新增的屬性，實現(xiàn)了數(shù)據(jù)的分塊存儲與副本布局管理。此外，為了更好的評估數(shù)據(jù)的訪問情況，新增了數(shù)據(jù)對象的訪問量屬性，并據(jù)此實現(xiàn)了數(shù)據(jù)對象的訪問變化統(tǒng)計功能以及訪問增量表機制。

其次，根據(jù)統(tǒng)計階段時間？T內(nèi)，文件的訪問量，來計算其訪問熱度，以評估存儲價值。在STDC策略中，取文件的屬性元組FV{文件大小f_size，用戶數(shù)Uers，I/O數(shù)量AN，最近訪問時間LastTime，讀寫比率RW，上階段熱度值TF'}，則文件的熱度可計算為：

其中，為文件的讀寫比率，表示文件讀取的操作次數(shù)越多，其熱度值越高。nowTime為系統(tǒng)的當(dāng)前時間，再依據(jù)文件最近訪問時間，用于評估文件近期的訪問操作頻繁程度。CTF為文件熱度值評估常量。

在評估數(shù)據(jù)的熱度之后，本文還提供了數(shù)據(jù)按熱度聚類劃分的接口，用戶根據(jù)此結(jié)構(gòu)來實現(xiàn)自己的數(shù)據(jù)分級存儲放置決策方案，從而對熱度不同的數(shù)據(jù)進行升遷或降級的存儲調(diào)整。

4? ?結(jié)束語

基于CloudSim實現(xiàn)了一個分級云存儲的仿真模型TCSS，給出了一種三層次的設(shè)備分級組織結(jié)構(gòu)，構(gòu)建了完善的數(shù)據(jù)I/O業(yè)務(wù)處理與數(shù)據(jù)存儲管理等功能結(jié)構(gòu)。已經(jīng)將所有拓展功能模塊集成到了CloudSim仿真工具的CloudSim層中，包括業(yè)務(wù)控制、存儲管理、中間件、設(shè)備管理、數(shù)據(jù)管理等模塊，能夠提供云存儲環(huán)境下的數(shù)據(jù)分級存儲、數(shù)據(jù)存儲放置優(yōu)化的仿真環(huán)境與模擬測試結(jié)果，用戶可以通過TCSS模型，進行快速的仿真建模與測試，以驗證自身提出的云存儲性能優(yōu)化策略。

為了分析本文所提出的TCSS模型的仿真性能，下一步工作是對該模型進行仿真能力測試，并給出具體的分級存儲決策方案，以驗證TCSS模型實現(xiàn)分級云存儲模擬的有效性。

參考文獻

[1]? ? ARMBRUST M，F(xiàn)OX A，GRIFFITH R，et al. A view of cloud computing[J]. International Journal of Computers & Technology，2013，4（2b1）：50—58.

[2]? ? NACHIAPPAN R，JAVADI B，CALHERIOS R，et al. Cloud storage reliability for big data applications： a state of the art survey[J]. Journal of Network and Computer Applications，2017：S1084804517302734.

[3]? ? BORTHAKUR D. HDFS architecture guide[J]. Hadoop Apache Project，2008，53：1—13.

[4]? ? CALDER B，WANG J，OGUS A，et al. Windows azure storage： a highly available cloud storage service with strong consistency[C].Proceedings of the Twenty-Third ACM Symposium on Operating Systems Principles. ACM，2011： 143—157.

[5] CALHEIROS R N，RANJAN R， BELOGLAZOV A，et al. CloudSim：a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms[J]. Software：Practice and Experience，2011，41（1）：23—50.

[6]? ? WU J，PING L，GE X，et al. Cloud storage as the infrastructure of cloud computing[C]. International Conference on Intelligent Computing & Cognitive Informatics. IEEE Computer Society，2010.

[7]? ? SHI H，ARUMUGAM R V，F(xiàn)OH C H，et al. Optimal disk storage allocation for multitier storage system[J]. IEEE Transactions on Magnetics，2013，49（6）：2603—2609.

[8]? ? WEIL S A，BRANDT S A，MILLER E L，et al. Ceph： a scalable，high-performance distributed file system.[J]. 特色文獻庫，2010，n/a：307—320.

[9]? ? 蔡剛山，周剛. 一種基于人工免疫的云存儲安全檢測方法[J].計算技術(shù)與自動化，2018，37（01）：107—111.

[10]? YOU Xin-dong，CHI Dong，LI Zhou，et al. Anticipation-based green data classification strategy in cloud storage system[J]. Applied Mathematics & Information Sciences. 2015，9（4）： 2151—2610.

[11]? LONG S，ZHAO Y. A toolkit for modeling and simulating cloud data storage： an extension to CloudSim[C]. International Conference on Control Engineering & Communication Technology. IEEE，2013.

[12]? LI X，JIANG X，HUANG P，et al. DartCSim： an enhanced user-friendly cloud simulation system based on CloudSim with better performance[C]. IEEE International Conference on Cloud Computing & Intelligent Systems. IEEE，2013.

[13]? SHI Y，JIANG X，YE K. An energy-efficient scheme for cloud resource provisioning based on CloudSim[C]. 2011 IEEE International Conference on Cluster Computing （CLUSTER），Austin，TX，USA，2011.