• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云環(huán)境中多目標(biāo)優(yōu)化的虛擬機(jī)放置算法

    2019-01-06 07:27藺凱青李志華郭曙杰李雙俐
    計(jì)算機(jī)應(yīng)用 2019年12期
    關(guān)鍵詞:多目標(biāo)優(yōu)化數(shù)據(jù)中心云計(jì)算

    藺凱青 李志華 郭曙杰 李雙俐

    摘 要:虛擬機(jī)放置(VMP)是虛擬機(jī)整合的核心,是一個(gè)多資源約束的多目標(biāo)優(yōu)化問題。高效的VMP算法不僅能顯著地降低云數(shù)據(jù)中心能耗、提高資源利用率,還能保證服務(wù)質(zhì)量(QoS)。針對(duì)數(shù)據(jù)中心能耗高和資源利用率低的問題,提出了基于離散蝙蝠算法的虛擬機(jī)放置(DBA-VMP)算法。首先,把最小化能耗和最大化資源利用率作為優(yōu)化目標(biāo),建立多目標(biāo)約束的VMP優(yōu)化模型;然后,通過效仿人工蟻群在覓食過程中共享信息素的機(jī)制,將信息素反饋機(jī)制引入蝙蝠算法,并對(duì)經(jīng)典蝙蝠算法進(jìn)行離散化改進(jìn);最后,用改進(jìn)的離散蝙蝠算法求解模型的Pareto最優(yōu)解。實(shí)驗(yàn)結(jié)果表明,與其他多目標(biāo)優(yōu)化的VMP算法相比,所提算法在使用不同數(shù)據(jù)集的情況下都能有效降低能耗,提高資源利用率,實(shí)現(xiàn)了在保證QoS的前提下的降低能耗和提高資源利用率兩者之間的優(yōu)化平衡。

    關(guān)鍵詞:虛擬機(jī)放置;多目標(biāo)優(yōu)化;離散蝙蝠算法;數(shù)據(jù)中心;云計(jì)算

    中圖分類號(hào): TP393.02;TP301.6文獻(xiàn)標(biāo)志碼:A

    Multi-objective optimization algorithm for virtual machine

    placement under cloud environment

    LIN Kaiqing, LI Zhihua*, GUO Shujie, LI Shuangli

    (School of IoT Engineering, Jiangnan University, Wuxi Jiangsu 214122, China)

    Abstract: Virtual Machine Placement (VMP) is the core of virtual machine consolidation and is a multi-objective optimization problem with multiple resource constraints. Efficient VMP algorithm can significantly reduce energy consumption, improve resource utilization, and guarantee Quality of Service (QoS). Concerning the problems of high energy consumption and low resource utilization in data center, a Discrete Bat Algorithm-based Virtual Machine Placement (DBA-VMP) algorithm was proposed. Firstly, an optimization model with multi-object constraints was established for VMP, with minimum energy consumption and maximum resource utilization as optimization objectives. Then, the pheromone feedback mechanism was introduced in the bat algorithm by emulating the pheromone sharing mechanism of artificial ant colonies in the foraging process, and the bat algorithm was improved and discretized. Finally, the improved discrete bat algorithm was used to solve the Pareto optimal solutions of the model. The experimental results show that compared with other multi-objective optimization algorithms for VMP, the proposed algorithm can effectively reduce energy consumption and improve resource utilization, and achieves an optimal balance between reducing energy consumption and improving resource utilization under the premise of guaranteeing QoS.

    Key words: Virtual Machine Placement (VMP); multi-objective optimization; discrete bat algorithm; data center; cloud computing

    0 引言

    云數(shù)據(jù)中心規(guī)模的快速增長(zhǎng)導(dǎo)致其能耗不斷攀升,高能耗成了數(shù)據(jù)中心亟需解決的主要問題之一[1]。數(shù)據(jù)中心物理主機(jī)的平均CPU使用率只有15%~20%,大部分處于空閑狀態(tài)[2]。處于空閑狀態(tài)的主機(jī)一般消耗其峰值能耗的70%[3],因此,關(guān)閉空閑主機(jī)可有效降低能耗,提高資源利用率。另一方面,虛擬機(jī)對(duì)資源的請(qǐng)求是隨機(jī)的,當(dāng)多個(gè)虛擬機(jī)同時(shí)請(qǐng)求資源時(shí),整個(gè)數(shù)據(jù)中心的資源需求急劇上升,關(guān)閉過多的主機(jī)又會(huì)導(dǎo)致預(yù)留資源緊張,虛擬機(jī)資源請(qǐng)求得不到滿足,從而違背云服務(wù)供應(yīng)商與用戶簽訂的服務(wù)等級(jí)協(xié)議(Service Level Agreement, SLA)。因此“降低能耗、提高資源利用率和保證服務(wù)質(zhì)量”三者相互制約、互相矛盾,實(shí)現(xiàn)三者之間的優(yōu)化平衡是云數(shù)據(jù)中心資源管理所追求的目標(biāo)。

    虛擬機(jī)整合是云數(shù)據(jù)中心資源管理的主要手段。虛擬機(jī)整合包括過載物理主機(jī)檢測(cè)、虛擬機(jī)選擇、虛擬機(jī)放置和低負(fù)載物理主機(jī)關(guān)閉四個(gè)子過程[3],其中虛擬機(jī)放置是虛擬機(jī)整合的核心,旨在解決虛擬機(jī)“從哪里來到哪里去”的問題。傳統(tǒng)的虛擬機(jī)放置算法大多將虛擬機(jī)放置建模為裝箱問題[3-4],并使用降序首次適應(yīng)(First Fit Decreasing, FFD)[3]算法或降序最佳適應(yīng)(Best Fit Decreasing, BFD)[4]算法等啟發(fā)式算法對(duì)其進(jìn)行求解,其主要目的是通過最小化活動(dòng)物理主機(jī)的數(shù)量來降低能耗。但大規(guī)模云數(shù)據(jù)中心虛擬機(jī)放置是NP-hard問題[4],傳統(tǒng)算法存在容易陷入局部最優(yōu)的不足[5]。因此文獻(xiàn)[6-8]使用智能算法求解該問題:文獻(xiàn)[6]將最小化活動(dòng)物理主機(jī)的數(shù)量和最小化主機(jī)剩余資源作為優(yōu)化目標(biāo)并建立優(yōu)化模型,通過遺傳算法與首次適應(yīng)算法結(jié)合求解該優(yōu)化模型,但該方法仍把虛擬機(jī)放置看作多維裝箱問題,且執(zhí)行放置后會(huì)導(dǎo)致部分主機(jī)負(fù)載過高反而影響服務(wù)質(zhì)量;文獻(xiàn)[7]使用蟻群算法來求解該問題,將最小化遷移次數(shù)和活動(dòng)主機(jī)的數(shù)量作為優(yōu)化目標(biāo),目的是優(yōu)先將虛擬機(jī)放置在資源利用率高的物理主機(jī)中,達(dá)到降低能耗的目的,但該方法會(huì)導(dǎo)致剩余活動(dòng)主機(jī)的資源利用率過高,增加了主機(jī)發(fā)生過載的風(fēng)險(xiǎn);文獻(xiàn)[8]建立了最小化能耗和最小化主機(jī)剩余資源的優(yōu)化模型,并采用離散螢火蟲算法求解該優(yōu)化模型,有效改善了數(shù)據(jù)中心的資源利用率且降低了能耗??傊墨I(xiàn)[6-8]均采用線性加權(quán)將多目標(biāo)問題轉(zhuǎn)換為單目標(biāo)優(yōu)化進(jìn)行求解,但在多目標(biāo)問題中,一個(gè)目標(biāo)的優(yōu)化往往會(huì)導(dǎo)致另一個(gè)目標(biāo)的劣化,因此,需要求出一組Pareto最優(yōu)解,即對(duì)一個(gè)或多個(gè)目標(biāo)不可能進(jìn)一步優(yōu)化而對(duì)其他目標(biāo)不至于劣化的最優(yōu)解的集合。

    針對(duì)以上研究工作中存在的不足,本文提出了基于離散蝙蝠算法的虛擬機(jī)放置(Discrete-Bat-Algorithm-based Virtual Machine Placement, DBA-VMP)算法。首先,通過分析云數(shù)據(jù)中心負(fù)載數(shù)據(jù)的特征,建立了以最小化能耗和最小化資源剩余率為優(yōu)化目標(biāo)的多目標(biāo)優(yōu)化模型;同時(shí),對(duì)經(jīng)典蝙蝠算法進(jìn)行離散化改進(jìn),用改進(jìn)后的蝙蝠算法求解該模型的Pareto最優(yōu)解,即最佳虛擬機(jī)放置方案;另外,在算法中引入了蟻群算法的全局信息素更新規(guī)則,為整個(gè)種群提供正反饋機(jī)制,加速算法進(jìn)化。實(shí)驗(yàn)結(jié)果表明,DBA-VMP算法在保證服務(wù)質(zhì)量的前提下,在降低能耗和減少資源浪費(fèi)兩者之間取得了理想的平衡。

    1 虛擬機(jī)放置優(yōu)化模型

    1.1 數(shù)據(jù)中心描述

    假設(shè)數(shù)據(jù)中心部署在物理主機(jī)hj(1≤j≤n)中的所有虛擬機(jī)集合為Vj。主機(jī)的資源使用量是該主機(jī)上部署的所有虛擬機(jī)請(qǐng)求量的總和,則hj的某類資源利用率可表示為式(1):

    Urj=1Crj ∑vmi∈Vjdri(1)

    其中:r∈RS且RS={cpu,mem,bw}是主機(jī)資源類型(CPU、內(nèi)存和帶寬資源)的集合;Urj是主機(jī)hj的r類資源利用率;Crj為hj的r類資源配置容量;dri表示虛擬機(jī)vmi(1≤i≤m)請(qǐng)求的r類資源。

    物理主機(jī)的功率與CPU利用率可近似為線性關(guān)系[4],且可表示為式(2):

    P(Ucpuj)=(Pfullj-Pidelj)×Ucpuj+Pidelj(2)

    其中:Pfullj和Pidelj分別代表主機(jī)hj在滿載和空載時(shí)的功率;Pj(Ucpuj)代表hj在CPU利用率是Ucpuj時(shí)的功率。

    整個(gè)數(shù)據(jù)中心的能耗可定義為式(3):

    f1(X)=∑nj=1[∫ t 1t0P(Ucpuj(t)) dt](3)

    其中:矩陣X=(xij)m×n表示虛擬機(jī)與物理主機(jī)之間的映射關(guān)系且xij∈{0,1},如果虛擬機(jī)vmi放置在物理主機(jī)hj上則xij=1,否則xij=0。 ∫ t 1t0P(Ucpuj(t)) dt表示hj在t0至t1時(shí)間段內(nèi)的能源消耗[4],Ucpuj(t)表示t時(shí)刻hj的CPU利用率。

    1.2 問題定義

    當(dāng)具有不同資源需求的虛擬機(jī)集合放置在某臺(tái)物理主機(jī)上時(shí),有可能會(huì)使主機(jī)的某類資源利用率過高,而其他資源還有大量剩余,導(dǎo)致主機(jī)負(fù)載不均衡,造成資源浪費(fèi)。本文使用Wj表示負(fù)載不均衡造成的主機(jī)資源剩余的代價(jià)函數(shù),定義為式(4):

    Wj=max Rrj-min{Rcpuj,Rmemj,Rbwj}; r∈RS(4)

    其中:Rrj表示hj的r類資源剩余率。使用式(1)和式(4)來建立資源利用率的目標(biāo)函數(shù),使得主機(jī)在提高利用率的同時(shí)保證剩余資源的負(fù)載均衡。

    式(5)表示整個(gè)數(shù)據(jù)中心資源利用率的優(yōu)化目標(biāo)函數(shù):

    f2(X)=∑nj=1[∑r∈RS(Trj-Urj)-|lg Wj|](5)

    其中: Trj表示主機(jī)hj的r類資源使用率的閾值。由式(4)可知,Wj∈[0,1],但對(duì)數(shù)函數(shù)在零點(diǎn)未定義,所以本文將Wj的值域定義在[0.001,1]內(nèi),使得|lg Wj|與∑r∈RS(Trj-Urj)屬于相同值域。則虛擬機(jī)放置的多目標(biāo)優(yōu)化模型可描述為式(6):

    min F(X)=(f1(X), f2(X))

    s.t.∑nj=1xij=1; i=1,2,…,m

    ∑vmi∈Vjdri

    其中:第一個(gè)約束條件表示一臺(tái)虛擬機(jī)只能放置在一臺(tái)物理主機(jī)中;第二個(gè)約束表示主機(jī)中虛擬機(jī)請(qǐng)求的r類資源不能超過物理主機(jī)r類資源的總?cè)萘俊?/p>

    Pareto 優(yōu)化的目的是找到對(duì)一個(gè)或幾個(gè)目標(biāo)函數(shù)不可能進(jìn)一步優(yōu)化而對(duì)其他目標(biāo)不至于劣化的最優(yōu)解的集合。設(shè)xA,xB是多目標(biāo)優(yōu)化問題min y=(f1(x), f2(x),…, fm(x))T的可行解,若i∈{1,2,…,m}, fi(xA)≤fi(xB),且 j∈{1,2,…,m}, fj(xA)

    2 離散蝙蝠算法

    蝙蝠算法(Bat Algorithm, BA)[10]是根據(jù)微型蝙蝠的回聲定位行為,并結(jié)合一些現(xiàn)有群體智能算法的優(yōu)點(diǎn)提出的一種具有全局優(yōu)化能力的算法。該算法首先初始化一組隨機(jī)解,然后通過迭代搜索尋找當(dāng)前最優(yōu)解,并運(yùn)用隨機(jī)飛行在最優(yōu)解附近尋找局部最優(yōu)新解,提高了算法的局部搜索能力。與粒子群算法和遺傳算法相比,BA結(jié)構(gòu)簡(jiǎn)單、參數(shù)少,且在有效性和準(zhǔn)確性方面有明顯優(yōu)勢(shì)[10]。 BA的隨機(jī)飛行機(jī)制有助于在最優(yōu)解與可行解之間找到一個(gè)平衡,其全局尋優(yōu)能力可實(shí)現(xiàn)在整個(gè)解空間中搜索到最佳的虛擬機(jī)放置方案。針對(duì)虛擬機(jī)放置問題,本文提出了一種改進(jìn)的離散蝙蝠算法(Discrete BA, DBA)。

    2.1 BA的離散化

    BA的離散化操作包括兩部分:對(duì)種群個(gè)體的離散化操作和對(duì)迭代公式的離散化。

    首先,對(duì)每個(gè)個(gè)體進(jìn)行離散化操作。蝙蝠b在第t次迭代后所處的位置Xtb=(xb,i, j)m′×n表示虛擬機(jī)和物理主機(jī)之間的映射關(guān)系,其中,m′表示待遷移虛擬機(jī)隊(duì)列長(zhǎng)度,n是整個(gè)數(shù)據(jù)中心物理主機(jī)的數(shù)量,蝙蝠b通過迭代不斷調(diào)整自己的位置來搜索新的解空間,同時(shí)不斷更新整個(gè)群體Xt={Xt1,Xt2,…,XtN}經(jīng)歷過的最好位置的集合PS。

    其次,對(duì)迭代公式進(jìn)行離散化操作。每只蝙蝠b都有其自身的速度Vtb=(vtb,i, j)m'×n,在經(jīng)典BA算法中,蝙蝠b根據(jù)式(7)來更新第t次迭代后的速度:

    Vtb=Vt-1b+(Xt-1b-X*)fb(7)

    其中:Xt-1b表示第t-1次迭代中蝙蝠b所處的位置;X*∈PS是蝙蝠種群目前找到的全局最優(yōu)解。初始化時(shí)每只蝙蝠隨機(jī)分配一個(gè)脈沖頻率fb并根據(jù)式(8)來更新:

    fb=fmin+(fmax-fmin)β(8)

    其中:β∈[0,1]是服從均勻分布的隨機(jī)變量。本文遵循經(jīng)典BA的迭代更新思想,對(duì)式(7)進(jìn)行了離散化操作如式(9)所示。

    vtb,i=xor(vt-1b,i,xt-1b,i), fb≥rand

    xor(vt-1b,i,x*,i),其他 (9)

    其中:行向量vtb,i表示Vtb的第i個(gè)分量,行向量xt-1b,i是Xt-1b的第i個(gè)分量,即蝙蝠b在第t-1次迭代后虛擬機(jī)vmi的部署向量。 xor表示異或操作,由于一臺(tái)虛擬機(jī)只能放置在一臺(tái)物理主機(jī)上,為了確保這個(gè)約束條件,本文使用異或操作對(duì)速度進(jìn)行更新,并對(duì)該操作作了相應(yīng)的改進(jìn),假設(shè)S1和S2是兩個(gè)p×q的映射矩陣,行向量s1,i和s2,i分別表示S1和S2的第i個(gè)分量,則xor操作如式(10):

    xor(s1,i,s2,i)=0, s1,i=s2,i

    s1,i,s1,i≠s2,i & r≥rand

    s2,i,s1,i≠s2,i & r

    其中:r和rand都是區(qū)間[0,1)的隨機(jī)數(shù),當(dāng)s1,i和s2,i相同時(shí),則通過xor操作更新為零向量;否則隨機(jī)選擇某一個(gè)向量作為運(yùn)算結(jié)果。經(jīng)典BA通過將Vtb和Xt-1b相加得到第t次迭代后蝙蝠b的位置Xtb,本文對(duì)Xtb的離散化改進(jìn)如式(11)所示。

    xtb,i=vtb,i, r

    xt-1b,i,其他 (11)

    其中: 行向量xtb,i表示蝙蝠b在第t次迭代后虛擬機(jī)vmi的部署向量;vtb,i是第t次迭代后的速度向量; r∈[0,1)是隨機(jī)數(shù);R是常數(shù)。

    在每次迭代中,都會(huì)產(chǎn)生一個(gè)隨機(jī)數(shù)rand1,如果rand1的值大于脈沖發(fā)射率rb,則進(jìn)行局部搜索,從而加速解空間的搜索過程,提高最優(yōu)解的質(zhì)量,本文將局部搜索過程離散化為式(12):

    xnew,i=xor(xo1,i,xo2,i)(12)

    其中:行向量xnew,i是矩陣Xnew的第i個(gè)部署向量;矩陣Xo1和Xo2是最優(yōu)解集合PS中的任意兩個(gè)最優(yōu)解,xo1,i和xo2,i分別表示矩陣Xo1和Xo2中虛擬機(jī)vmi的部署向量。 Xnew是產(chǎn)生的新解。如果新解優(yōu)于舊解且產(chǎn)生的隨機(jī)數(shù)rand2的值小于響度值A(chǔ)b,則接受新解,更新響度Ab和脈沖發(fā)射率rb,如式(13)和式(14)。

    Atb=αAt-1b(13)

    rtb=r0b[1-exp(-γ(t-1))](14)

    其中: α和γ是常數(shù),0<α<1且γ>0。r0b∈[0,1]是蝙蝠b的初始脈沖速率。

    2.2 信息素矩陣

    在利用DBA求解虛擬機(jī)放置的過程中,本文引入了蟻群算法的信息素矩陣Τt=(τtij)m×n,保留迭代過程中獲得的歷史經(jīng)驗(yàn),讓所有蝙蝠可以共享搜索過程中積累的信息,加快算法的收斂速度。τtij表示第t次迭代中虛擬機(jī)vmi放置在hj上積累的信息素。在種群迭代過程中,信息素矩陣的更新如式(15)所示。

    τtij=

    φ·τt-1ij+(1-φ)·(Fmaxpower-f1(X*)),x*,i, j=1

    τt-1ij,其他 (15)

    其中:φ∈[0,1]為權(quán)重參數(shù),用來調(diào)節(jié)第t-1次迭代后積累的信息素與第t次迭代后產(chǎn)生的信息素所占的比重;Fmaxpower是整個(gè)數(shù)據(jù)中心的最大能耗值,如果第t次迭代后,在最優(yōu)映射矩陣X*中vmi放置在hj上,即x*,i, j=1,則更新τtij;否則保持第t-1次迭代中的信息素值。

    2.3DBA

    本文將種群的迭代過程分為兩部分:隨機(jī)迭代搜索和啟發(fā)式迭代搜索。在每次迭代中,蝙蝠b隨機(jī)選擇某一種迭代方式來搜索最優(yōu)解。在隨機(jī)搜索中,蝙蝠b根據(jù)式(10)來更新自身的速度;在啟發(fā)式搜索中,蝙蝠b的速度更新公式如式(16)所示。

    vtb,i=

    xor(vt-1b,i,xt-1b,i), ∑nj=1xt-1b,i, j·τt-1ij>∑nj=1x*,i, j·τt-1ij

    xor(vt-1b,i,x*,i),其他 (16)

    如果在矩陣Xt-1b中,虛擬機(jī)vmi放置在了物理主機(jī)hj上,則xt-1b,i, j=1;否則xt-1b,i, j=0。如果矩陣Xt-1b中虛擬機(jī)vmi部署積累的信息素值大于矩陣X*中vmi部署積累的信息素值,則對(duì)向量vt-1b,i和xt-1b,i進(jìn)行異或操作。

    式(17)表示了在啟發(fā)式搜索中第t次迭代后,主機(jī)和虛擬機(jī)的映射關(guān)系矩陣Xtb。

    xtb,i=vtb,i, ∑nj=1vtb,i, j·τt-1ij>∑nj=1xt-1b,i, j·τt-1ij

    xt-1b,i,其他 (17)

    算法1詳細(xì)說明了DBA迭代尋找最優(yōu)解的總體框架。其中,Xt-1表示第t-1次迭代后所有蝙蝠的位置的集合,PS是種群當(dāng)前的Pareto最優(yōu)解的集合,ran,rand1,rand2∈[0,1)是隨機(jī)數(shù)。

    算法1 DBA。

    輸入 Xt-1,PS;

    輸出 Xt 程序前

    for all Xt-1b∈Xt-1 do

    if ran

    use equation(9) to update Vtb and equation(11) to generate Xtb

    else

    use equation(16) to update Vtb and equation(17) to

    generate Xtb

    end if

    if rand1>rt-1b then

    random select a solution from PS as Xo1, Xo2

    use equation (12) to generate Xnew

    end if

    if rand2

    accept Xnew and use (13) (14) to updatertb, Atb

    end if

    end for

    return Xt程序后

    3 基于DBA的虛擬機(jī)放置方法

    根據(jù)主機(jī)的資源使用情況,數(shù)據(jù)中心的活動(dòng)物理主機(jī)分為低負(fù)載、正常以及過載三類[3]。本文使用Ho表示過載物理主機(jī)集合,Hn表示正常負(fù)載的主機(jī)集合,Hu表示低負(fù)載主機(jī)集合,Hs表示休眠主機(jī)集合。

    圖1為基于離散蝙蝠算法的虛擬機(jī)放置(DBA-VMP)算法的流程。算法2是偽代碼描述,其中:X*表示迭代完成后主機(jī)和虛擬機(jī)的最終映射關(guān)系,Vmig表示Ho中需要遷移的虛擬機(jī)集合。DBA-VMP為Vmig集合中的每臺(tái)虛擬機(jī)找到合適的目的主機(jī)hd,且hd∈Hn∨Hu∨Hs,及時(shí)解除Ho中所有主機(jī)的過載風(fēng)險(xiǎn)。在低負(fù)載物理主機(jī)關(guān)閉過程中,Vmig表示某臺(tái)低負(fù)載主機(jī)hu∈Hu中部署的全部虛擬機(jī)集合,如果DBA-VMP能為所有的虛擬機(jī)找到目的主機(jī)hd,且hd∈Hn∨Hu,則將hu關(guān)閉;否則不執(zhí)行遷移操作。在迭代過程中,本文使用了文獻(xiàn)[11]提出的非支配排序和擁擠距離算法來求解Pareto解集。

    在算法2的復(fù)雜度分析方面,因?yàn)樗惴?的時(shí)間復(fù)雜度是O(m·n2),其中m表示種群的數(shù)量,n代表待遷移虛擬機(jī)的長(zhǎng)度;非支配排序和擁擠距離(non-dominated sorting and crowding distance)的時(shí)間復(fù)雜度分別為O(m2)和O(2m log(2m)),迭代次數(shù)為I,所以整個(gè)算法的時(shí)間復(fù)雜度為O(I·m·(n2+m))。

    算法2 基于離散蝙蝠算法的虛擬機(jī)放置。

    輸入 Vmig ;

    輸出 X*。程序前

    initialize X0b,PS,V0b (b=1,2,…,N)

    initialize objective functions f1(X0b), f2(X0b)

    while t

    use Algorithm 1 to generate Xtb

    use equation (3)~(4) to update f1(Xtb),f2(Xtb)

    use non-dominated sorting and crowding distance to update Pareto

    solutions PS

    use equation(15) to update Τt

    select a solution X* from PS

    return X* 程序后

    4 實(shí)驗(yàn)與結(jié)果分析

    4.1 評(píng)價(jià)指標(biāo)

    本文采用六種性能評(píng)價(jià)指標(biāo)[4]來評(píng)價(jià)DBA-VMP算法的性能:服務(wù)等級(jí)協(xié)議違例率(SLA Violations, SLAV)、能源消耗(Energy Consumption, EC)、虛擬機(jī)遷移次數(shù)(Virtual Machine Migrations, VMM)、物理主機(jī)的服務(wù)等級(jí)協(xié)議違例時(shí)間(SLA violation Time per Active Host, SLATAH)、遷移虛擬機(jī)導(dǎo)致的虛擬機(jī)性能下降(Performance Degradation due to Migrations, PDM)、服務(wù)質(zhì)量和能耗的綜合評(píng)價(jià)指標(biāo)(Energy consumption and SLA Violations, ESV)。

    SLATAH用來衡量主機(jī)提供的服務(wù)質(zhì)量,如式(18)所示:

    SLATAH=1n∑nj=1TsjTaj(18)

    其中: n代表活動(dòng)物理主機(jī)的數(shù)量;Taj代表活動(dòng)主機(jī)hj運(yùn)行的時(shí)長(zhǎng);Tsj表示hj的CPU資源過載產(chǎn)生的SLA違背的時(shí)長(zhǎng)。PDM表示虛擬機(jī)因遷移導(dǎo)致的性能下降程度,如式(19)所示:

    PDM=1m∑mi=1ccpuidcpui(19)

    其中: m代表虛擬機(jī)的數(shù)量;dcpui代表虛擬機(jī)vmi請(qǐng)求的CPU資源容量;ccpui代表因遷移導(dǎo)致的vmi未被滿足的CPU資源容量。

    SLAV綜合評(píng)價(jià)單日內(nèi)數(shù)據(jù)中心的服務(wù)質(zhì)量,如式(20)所示:

    SLAV=SLATAH×PDM(20)

    ESV指標(biāo)如式(21)所示:

    ESV=EC×SLAV(21)

    其中,EC代表整個(gè)數(shù)據(jù)中心一天的能源消耗,EC值越低代表數(shù)據(jù)中心運(yùn)維成本越低。

    4.2 實(shí)驗(yàn)配置

    CloudSim是一種云環(huán)境的開源仿真工具[12]。本文模擬了一個(gè)由800臺(tái)異構(gòu)物理主機(jī)組成的數(shù)據(jù)中心,根據(jù)資源配置的不同分為Hp ProLiant ML110 G4(Intel Xeon 3040 2cores 1860MHz,4GB)和Hp ProLiant ML110 G5(Intel Xeon 3075 2cores 2260MHz,4GB)兩種。此外,該平臺(tái)還創(chuàng)建了四種不同類型的虛擬機(jī),分別是High-CPU Medium Instance(2500MIPS,0.85GB)、Extra Large Instance(2000MIPS,3.75GB)、Small Instance(1000MIPS,1.7GB)和Micro Instance(500MIPS,613MB)。本文采用的實(shí)驗(yàn)數(shù)據(jù)來自Bitbrains[13]數(shù)據(jù)集和Alibaba Cluster Data V2018[14]數(shù)據(jù)集。

    4.3 實(shí)驗(yàn)結(jié)果及分析

    本文將DBA-VMP同F(xiàn)FD[3]、多資源組合排序的首次適應(yīng)遺傳算法(Combinatorial Order First-Fit Genetic Algorithm, COFFGA)[6]、使用蟻群系統(tǒng)的虛擬機(jī)放置(Ant Colony System-based VMP, ACS-VMP)算法[7]和資源使用率預(yù)測(cè)感知的最適降序(Utilization Prediction-aware BFD, UPBFD)算法[15]這四種虛擬機(jī)放置算法進(jìn)行對(duì)比。為了獲得有效的對(duì)比結(jié)果,將5種放置算法結(jié)合四分位距(InterQuartile Range, IQR)[4]、過載概率估計(jì)(Estimation of Overloaded Probability, EOP) [1]兩種物理主機(jī)過載檢測(cè)算法和隨機(jī)選擇(Random Selection, RS)[4]、過載概率下降的遷移選擇(Overloaded Probability Decreasing Migration Selection, OPDMS)[5]兩種虛擬機(jī)選擇算法進(jìn)行實(shí)驗(yàn),并將過載檢測(cè)和虛擬機(jī)選擇算法組合成IQR-RS、EOP-OPDMS兩組。每次整合時(shí)首先執(zhí)行EOP(或IQR)算法對(duì)主機(jī)進(jìn)行過載檢測(cè),再通過OPDMS(或RS)算法將過載主機(jī)中的部分虛擬機(jī)遷出直至主機(jī)不再過載,再通過虛擬機(jī)放置算法給這些虛擬機(jī)找到合適的目的主機(jī),最后將部分低負(fù)載主機(jī)中的全部虛擬機(jī)遷出將其切換至休眠狀態(tài)。實(shí)驗(yàn)參數(shù)的初始化如下:N=10, fmax=1, fmin=0,R=0.7,r0b、A0b、α和γ的值為0.95,φ=0.3,iter=8。

    4.3.1有效性

    有效性主要是用來驗(yàn)證算法在六種性能評(píng)價(jià)指標(biāo)中的表現(xiàn)。圖2(a)為不同虛擬機(jī)放置算法運(yùn)行Bitbrains數(shù)據(jù)集得到的能耗值。其中,使用EOP-OPDMS作為過載檢測(cè)和虛擬機(jī)選擇算法時(shí),DBA-VMP的能耗值最低,約為ACS-VMP能耗的82%,這是由于該算法將能耗指標(biāo)作為了優(yōu)化目標(biāo),且算法通過隨機(jī)迭代可抑制貪心選擇使算法陷入局部最優(yōu),因此算法有很好的節(jié)能效果;ACS-VMP和COFFGA的目的都是最小化活動(dòng)主機(jī)的數(shù)量,當(dāng)采用不同的過載檢測(cè)和虛擬機(jī)選擇策略時(shí),能耗值變化幅度很大,表明這兩種算法有可能陷入了局部極值,導(dǎo)致活動(dòng)主機(jī)數(shù)量增加,能耗增大。

    圖2(b)為不同算法運(yùn)行Alibaba Cluster數(shù)據(jù)集得到的能耗值, Alibaba Cluster的資源請(qǐng)求量比Bitbrains大但變化幅度小,所以運(yùn)行時(shí)產(chǎn)生的能耗值大且不同算法得到的能耗值差距小。在使用EOP-OPDMS的前提下,DBA-VMP的平均能耗值比FFD高4%左右,因?yàn)镈BA-VMP在進(jìn)行目的主機(jī)選擇時(shí)偏向資源配置大的主機(jī),以減小主機(jī)的過載風(fēng)險(xiǎn),確保服務(wù)質(zhì)量;在使用IQR-RS的前提下,COFFGA的平均能耗值比FFD高16%,再次證明了算法可能會(huì)陷入局部極值。

    圖3為幾種算法運(yùn)行不同數(shù)據(jù)集得到的平均遷移次數(shù),虛擬機(jī)遷移會(huì)造成短暫的停機(jī)影響服務(wù)質(zhì)量。在使用不同的過載檢測(cè)和虛擬機(jī)選擇算法的情況下,DBA-VMP的遷移次數(shù)保持穩(wěn)定且遠(yuǎn)遠(yuǎn)低于其他算法,因?yàn)樗惴紤]了不同資源間的負(fù)載均衡,使得主機(jī)有足夠的預(yù)留資源應(yīng)對(duì)虛擬機(jī)請(qǐng)求的急劇增加,避免主機(jī)發(fā)生過載,減少不必要的虛擬機(jī)遷移;ACS-VMP的遷移次數(shù)變化幅度大,運(yùn)行Bitbrains時(shí),在選擇EOP-OPDMS的前提下ACS-VMP比DBA-VMP低1%左右,但選擇IQR-RS的前提下ACS-VMP比DBA-VMP高85%左右,再次說明了:算法有可能陷入局部極值使活動(dòng)主機(jī)的數(shù)量增加,從而降低遷移次數(shù);而當(dāng)算法找到全局最優(yōu)解時(shí),又導(dǎo)致主機(jī)負(fù)載過高造成遷移次數(shù)增加。

    圖4(a)為不同算法運(yùn)行Bitbrains數(shù)據(jù)集得到的SLATAH值。在使用EOP-OPDMS的前提下,DBA-VMP算法略高于ACS-VMP和COFFGA,結(jié)合圖3(a)可知,這三種算法的遷移次數(shù)相對(duì)較少,但DBA-VMP比其他算法時(shí)間開銷大,從而造成虛擬機(jī)請(qǐng)求的響應(yīng)時(shí)間長(zhǎng),導(dǎo)致服務(wù)質(zhì)量略低于其他算法。使用IQR-RS的情況下,DBA-VMP的SLATAH值最低,因?yàn)樵撍惴ǖ倪w移次數(shù)遠(yuǎn)低于其他算法。

    圖4(b)為不同算法運(yùn)行Alibaba Cluster得到的SLATAH值。在使用不同的過載檢測(cè)和虛擬機(jī)選擇算法的情況下,算法DBA-VMP和COFFGA的SLATAH值都保持領(lǐng)先,因?yàn)镈BA-VMP算法的遷移次數(shù)少,COFFGA在運(yùn)行該數(shù)據(jù)集時(shí),時(shí)間開銷小,F(xiàn)FD僅次于這兩種算法,因?yàn)樗惴ǖ臅r(shí)間開銷小。ACS-VMP略高于FFD,因?yàn)樗惴ㄍㄟ^迭代來尋找最優(yōu)解,因此算法的響應(yīng)時(shí)間長(zhǎng),UPBFD的遷移次數(shù)遠(yuǎn)超于其他算法,因此SLATAH遠(yuǎn)高于其他算法。

    圖5為不同算法的PDM值。圖5(a)是Bitbrains的運(yùn)行結(jié)果。其中使用EOP-OPDMS的前提下,DBA-VMP算法的PDM值僅次于算法ACS-VMP和COFFGA,因?yàn)檫@三種算法遷移次數(shù)少,但DBA-VMP算法時(shí)間開銷較大,虛擬機(jī)請(qǐng)求的響應(yīng)時(shí)間長(zhǎng),使服務(wù)質(zhì)量受到影響;FFD算法的遷移次數(shù)多但時(shí)間開銷小,所以僅次于DBA-VMP算法。圖5(b)為Alibaba Cluster數(shù)據(jù)集的運(yùn)行結(jié)果,在選擇不同過載檢測(cè)和虛擬機(jī)選擇算法的情況下,DBA-VMP的PDM值都優(yōu)于其他算法,因?yàn)樵撍惴ㄍㄟ^合理的虛擬機(jī)放置穩(wěn)定了主機(jī)負(fù)載,使遷移次數(shù)遠(yuǎn)低于其他算法,有效保證了服務(wù)質(zhì)量。

    圖6為不同算法的服務(wù)質(zhì)量指標(biāo)值,SLAV受SLATAH和PDM的綜合影響,因此,在使用不同過載檢測(cè)和虛擬機(jī)選擇算法的情況下,DBA-VMP的SLAV值在不同的數(shù)據(jù)集上都有很好的表現(xiàn)。ESV指標(biāo)受服務(wù)質(zhì)量和能耗的影響,因此,結(jié)合圖2和圖6可知,在選擇EOP-OPDMS情況下,運(yùn)行Bitbrains數(shù)據(jù)集后,DBA-VMP的ESV平均值僅次于ACS-VMP和COFFGA,且比ACS-VMP高36%左右;運(yùn)行Alibaba Cluster數(shù)據(jù)集后, DBA-VMP的ESV平均值比COFFGA高18%左右。在選擇IQR-RS情況下,DBA-VMP運(yùn)行不同的數(shù)據(jù)集得到的ESV值都最低??梢?,DBA-VMP的ESV值在不同的數(shù)據(jù)集上都有很好的表現(xiàn),進(jìn)一步驗(yàn)證了DBA-VMP算法的有效性。

    通過以上分析可知,DBA-VMP算法在處理不同的數(shù)據(jù)集時(shí)都可以有效降低能耗,保證數(shù)據(jù)中心的服務(wù)質(zhì)量。

    4.3.2高效性

    本節(jié)以IQR-RS作為過載檢測(cè)和虛擬機(jī)選擇算法,通過對(duì)比不同算法運(yùn)行Bitbrains數(shù)據(jù)集后,數(shù)據(jù)中心活動(dòng)主機(jī)的資源利用率為例,來驗(yàn)證DBA-VMP算法的高效性。圖7(a)為不同算法CPU資源的利用率對(duì)比,橫坐標(biāo)表示虛擬機(jī)的整合周期,虛擬機(jī)整合每隔5min進(jìn)行一次,每天整合288次。

    由圖7(a)可知,UPBFD的CPU利用率最高且維持在80%左右,這是因?yàn)樗惴▋?yōu)先將虛擬機(jī)放置在綜合負(fù)載高的物理主機(jī)上,導(dǎo)致主機(jī)預(yù)留資源緊張,結(jié)合圖6可知,該算法未考慮數(shù)據(jù)中心的服務(wù)質(zhì)量;CPU利用率過高會(huì)增加主機(jī)的過載風(fēng)險(xiǎn),導(dǎo)致虛擬機(jī)頻繁的遷移,影響服務(wù)質(zhì)量。DBA-VMP算法的CPU使用率維持在70%左右,從而能進(jìn)一步提升服務(wù)質(zhì)量。

    圖7(b)為內(nèi)存資源的利用率對(duì)比。UPBFD算法整合前期內(nèi)存利用率低于其他算法,這是因?yàn)樗惴▋?yōu)先考慮綜合負(fù)載高的物理主機(jī)且未考慮主機(jī)的不同資源之間的負(fù)載均衡,造成資源浪費(fèi),DBA-VMP算法的內(nèi)存使用率維持在70%左右,因?yàn)樗惴ㄔ趦?yōu)化時(shí)考慮了不同主機(jī)內(nèi)的負(fù)載均衡,可有效減少資源的浪費(fèi)。

    圖7(c)為不同算法的帶寬資源利用率情況,Bitbrains數(shù)據(jù)集中帶寬資源的請(qǐng)求量低,所以每種算法的帶寬資源使用率相近。

    通過以上分析可知,DBA-VMP算法可有效提高主機(jī)的資源利用率并考慮到了不同資源之間的負(fù)載均衡,還同時(shí)兼顧了數(shù)據(jù)中心的服務(wù)質(zhì)量。

    5 結(jié)語(yǔ)

    本文建立了能耗和資源利用率的優(yōu)化模型,并提出了DBA-VMP算法來求解該模型的Pareto最優(yōu)解。實(shí)驗(yàn)結(jié)果表明,DBA-VMP算法在保證服務(wù)質(zhì)量的前提下,有效降低了數(shù)據(jù)中心能耗并提高了資源利用率。然而本文算法沒有對(duì)服務(wù)質(zhì)量作出改善,改善服務(wù)質(zhì)量可以提高用戶體驗(yàn),因此,在“降低能耗、提高資源利用率和改善服務(wù)質(zhì)量”三者之間取得優(yōu)化平衡的多目標(biāo)虛擬機(jī)放置算法是我們進(jìn)一步的研究工作。

    參考文獻(xiàn) (References)

    [1]LI Z, YAN C, YU X, et al. Bayesian network-based virtual machines consolidation method [J]. Future Generation Computer Systems, 2017, 69: 75-87.

    [2]BIRKE R, CHEN L Y, SMIRNI E. Data centers in the cloud: a large scale performance study [C]// Proceedings of the IEEE 5th International Conference on Cloud Computing. Piscataway: IEEE, 2012: 336-343.

    [3]BELOGLAZOV A, ABAWAJY J, BUYYA R. Energy-aware resource allocation heuristics for efficient management of data centers for cloud computing [J]. Future Generation Computer Systems, 2012, 28(5): 755-768.

    [4]BELOGLAZOV A, BUYYA R. Optimal online deterministic algo-rithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in cloud data centers [J]. Concurrency and Computation: Practice and Experience, 2012, 24(13): 1397-1420.

    [5]LI Z, YAN C, YU L, et al. Energy-aware and multi-resource overload probability constraint-based virtual machine dynamic consolidation method [J]. Future Generation Computer Systems, 2018, 80: 139-156.

    [6]HALLAWI H, MEHNEN J, HE H. Multi-capacity combinatorial ordering GA in application to cloud resources allocation and efficient virtual machines consolidation [J]. Future Generation Computer Systems, 2017, 69: 1-10.

    [7]FARAHNAKIAN F, ASHRAF A, PAHIKKALA T, et al. Using ant colony system to consolidate VMS for green cloud computing [J]. IEEE Transactions on Services Computing, 2015, 8(2): 187-198.

    [8]DING W, GU C, LUO F, et al. DFA-VMP: an efficient and secure virtual machine placement strategy under cloud environment [J]. Peer-to-Peer Networking and Applications, 2018, 11(2): 318-333.

    [9]朱占磊,李征,趙瑞蓮.基于線性權(quán)重最優(yōu)支配的高維多目標(biāo)優(yōu)化算法[J].計(jì)算機(jī)應(yīng)用,2017,37(10):2023-2827.(ZHU Z L, LI Z, ZHAO R L. Many-objective optimization algorithm based on linear weighted minimal/maximal dominance [J]. Journal of Computer Applications, 2017, 37(10): 2023-2827.)

    [10]YANG X. A new metaheuristic bat-inspired algorithm [C]// Proceedings of the 2010 Nature Inspired Cooperative Strategies for Optimization, SCI 284. Berlin: Springer, 2010: 65-74.

    [11]DEB K, PRATAP A, AGARWAL S, et al. A fast and elitist multiobjective genetic algorithm: NSGA-Ⅱ[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182-197.

    [12]CALHEIROS R N, RANJAN R, BELOGLAZOV A, et al. CloudSim: a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms [J]. Software: Practice and Experience, 2011, 41(1): 23-50.

    [13]SHEN S, VAN BEEK V, IOSUP A. Statistical characterization of business-critical workloads hosted in cloud datacenters [C]// Proceedings of the 15th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing. Piscataway: IEEE, 2015: 465-474.

    [14]CHANG Z H. Alibaba cluster trace program [EB/OL]. [2018-12-25]. http://github.com/alibaba/clusterdata.

    [15]FARAHNAKIAN F, PAHIKKALA T, LILJEBERG P, et al. Utilization prediction aware VM consolidation approach for green cloud computing [C]// Proceedings of the IEEE 8th International Conference on Cloud Computing. Piscataway: IEEE, 2015: 381-388.

    This work is partially supported by the Ministry of Industry and Information Technology Intelligent Manufacturing Project (ZH-XZ-180004), the Production-Study-Research Forecasting Project of Jiangsu Science and Technology Department (BY2013015-23), the 111 Base Construction Project (B2018).

    LIN Kaiqing, born in 1993, M. S. candidate. Her research interests include cloud computing, distributed computing.

    LI Zhihua, born in 1969, Ph. D., associate professor. His research interests include cloud computing, information safety.

    GUO Shujie, born in 1994, M. S. candidate. His research interests include cloud computing, parallel computing.

    LI Shuangli, born in 1992, M. S. candidate. Her research interests include cloud computing, distributed computing.

    收稿日期:2019-05-13;修回日期:2019-06-03;錄用日期:2019-06-10。

    基金項(xiàng)目:工業(yè)和信息化部智能制造項(xiàng)目(ZH-XZ-180004);江蘇省科技廳產(chǎn)學(xué)研前瞻項(xiàng)目(BY2013015-23);111基地建設(shè)項(xiàng)目 (B2018)。

    作者簡(jiǎn)介:藺凱青(1993—),女,山西呂梁人,碩士研究生,CCF會(huì)員,主要研究方向:云計(jì)算、分布式計(jì)算; 李志華(1969—),男,湖南保靖人,副教授,博士,主要研究方向:云計(jì)算、信息安全; 郭曙杰(1994—),男,江蘇常州人,碩士研究生,主要研究方向:云計(jì)算、并行計(jì)算;李雙俐(1992—),女,河南新鄉(xiāng)人,碩士研究生,CCF會(huì)員,主要研究方向:云計(jì)算、分布式計(jì)算。

    文章編號(hào):1001-9081(2019)12-3597-07DOI:10.11772/j.issn.1001-9081.2019050808

    猜你喜歡
    多目標(biāo)優(yōu)化數(shù)據(jù)中心云計(jì)算
    關(guān)于間接蒸發(fā)冷機(jī)組在數(shù)據(jù)中心中應(yīng)用的節(jié)能分析
    2018年數(shù)據(jù)中心支出創(chuàng)新高
    2017第十屆中國(guó)數(shù)據(jù)中心大會(huì)榜單
    改進(jìn)的多目標(biāo)啟發(fā)式粒子群算法及其在桁架結(jié)構(gòu)設(shè)計(jì)中的應(yīng)用
    群體多目標(biāo)優(yōu)化問題的權(quán)序α度聯(lián)合有效解
    云計(jì)算中虛擬機(jī)放置多目標(biāo)優(yōu)化
    狼群算法的研究
    基于云計(jì)算的移動(dòng)學(xué)習(xí)平臺(tái)的設(shè)計(jì)
    實(shí)驗(yàn)云:理論教學(xué)與實(shí)驗(yàn)教學(xué)深度融合的助推器
    云計(jì)算中的存儲(chǔ)虛擬化技術(shù)應(yīng)用
    精品国产一区二区久久| 男人爽女人下面视频在线观看| 熟女电影av网| 精品人妻一区二区三区麻豆| 99久久综合免费| 又大又黄又爽视频免费| 国产探花极品一区二区| 纯流量卡能插随身wifi吗| 亚洲精品久久午夜乱码| 日本色播在线视频| 波野结衣二区三区在线| 亚洲图色成人| 五月天丁香电影| 国产亚洲最大av| 国产精品偷伦视频观看了| 国产成人午夜福利电影在线观看| 在线亚洲精品国产二区图片欧美 | 亚洲欧美日韩卡通动漫| 亚洲怡红院男人天堂| 纵有疾风起免费观看全集完整版| 男人添女人高潮全过程视频| av不卡在线播放| 久久精品久久久久久久性| 国产视频首页在线观看| 国产精品一国产av| 老司机影院毛片| 秋霞伦理黄片| 欧美日韩亚洲高清精品| 黄色怎么调成土黄色| 日本欧美国产在线视频| 成年av动漫网址| 国产毛片在线视频| 国产黄片视频在线免费观看| 人人妻人人澡人人看| 永久免费av网站大全| 黄色配什么色好看| videos熟女内射| 97精品久久久久久久久久精品| av国产久精品久网站免费入址| 一区二区三区四区激情视频| 亚洲天堂av无毛| 国产精品99久久99久久久不卡 | 久久久欧美国产精品| 亚洲av不卡在线观看| 九色亚洲精品在线播放| 一二三四中文在线观看免费高清| 国产成人精品婷婷| 精品久久久久久电影网| 在线观看免费日韩欧美大片 | 精品久久国产蜜桃| av福利片在线| 超色免费av| 九草在线视频观看| 赤兔流量卡办理| 乱人伦中国视频| 三级国产精品片| 午夜91福利影院| 免费大片18禁| 亚洲av福利一区| 免费人妻精品一区二区三区视频| 看免费成人av毛片| 天天影视国产精品| 99热这里只有是精品在线观看| 欧美日韩视频高清一区二区三区二| 日韩制服骚丝袜av| 久久免费观看电影| 夜夜看夜夜爽夜夜摸| 亚洲欧美成人精品一区二区| 成人综合一区亚洲| 久久久精品区二区三区| 一本久久精品| 国产亚洲午夜精品一区二区久久| 在线观看免费日韩欧美大片 | 777米奇影视久久| 一区在线观看完整版| 夜夜看夜夜爽夜夜摸| 国产在线免费精品| 日韩精品免费视频一区二区三区 | 美女国产视频在线观看| 26uuu在线亚洲综合色| 制服丝袜香蕉在线| 99视频精品全部免费 在线| 日韩在线高清观看一区二区三区| 国产日韩欧美亚洲二区| 亚洲精品中文字幕在线视频| 女性被躁到高潮视频| 美女cb高潮喷水在线观看| 美女福利国产在线| 国产片内射在线| xxx大片免费视频| 成人综合一区亚洲| videosex国产| 黄色视频在线播放观看不卡| 日韩三级伦理在线观看| 99热国产这里只有精品6| av福利片在线| 中文欧美无线码| 国产精品熟女久久久久浪| 国产成人av激情在线播放 | 我的女老师完整版在线观看| 欧美日韩精品成人综合77777| 只有这里有精品99| 中文天堂在线官网| 精品熟女少妇av免费看| 国产精品一区二区在线观看99| 亚洲国产精品999| 国产成人精品一,二区| 久久精品国产a三级三级三级| 亚洲国产成人一精品久久久| 韩国av在线不卡| 久久久久精品性色| 五月天丁香电影| 国内精品宾馆在线| 午夜福利影视在线免费观看| 美女内射精品一级片tv| 国产综合精华液| 制服人妻中文乱码| 精品久久蜜臀av无| 爱豆传媒免费全集在线观看| 青春草亚洲视频在线观看| 国产国拍精品亚洲av在线观看| 一级毛片 在线播放| 搡女人真爽免费视频火全软件| 国产伦精品一区二区三区视频9| 亚洲美女黄色视频免费看| 亚洲av欧美aⅴ国产| 成人毛片60女人毛片免费| 欧美三级亚洲精品| 久久久久久久久久人人人人人人| 大陆偷拍与自拍| 久久国产精品大桥未久av| 国产成人精品在线电影| 黑丝袜美女国产一区| 九草在线视频观看| 亚洲成色77777| 国产精品久久久久久久电影| 国产免费现黄频在线看| 免费人成在线观看视频色| 在线观看一区二区三区激情| av在线老鸭窝| 男人添女人高潮全过程视频| 成人综合一区亚洲| 另类亚洲欧美激情| 午夜免费观看性视频| 中文字幕久久专区| 一级爰片在线观看| 精品久久久噜噜| 国产日韩欧美亚洲二区| 十八禁高潮呻吟视频| 日日啪夜夜爽| 高清毛片免费看| 久久久精品区二区三区| 亚洲欧美中文字幕日韩二区| 国产精品久久久久成人av| 毛片一级片免费看久久久久| 视频中文字幕在线观看| 午夜久久久在线观看| av免费在线看不卡| 九九久久精品国产亚洲av麻豆| 在线观看免费日韩欧美大片 | 在线观看三级黄色| 日本vs欧美在线观看视频| 国产一区二区三区av在线| 亚洲精品aⅴ在线观看| 国产女主播在线喷水免费视频网站| 久久女婷五月综合色啪小说| 午夜免费男女啪啪视频观看| 18+在线观看网站| 日日摸夜夜添夜夜添av毛片| 赤兔流量卡办理| 人妻 亚洲 视频| 亚洲丝袜综合中文字幕| 老熟女久久久| 亚洲av成人精品一区久久| h视频一区二区三区| 国产乱人偷精品视频| 精品亚洲乱码少妇综合久久| av线在线观看网站| 国产欧美日韩一区二区三区在线 | 国产有黄有色有爽视频| 国产成人精品在线电影| 久久国产精品大桥未久av| 高清午夜精品一区二区三区| 寂寞人妻少妇视频99o| 午夜视频国产福利| 精品人妻一区二区三区麻豆| 一本大道久久a久久精品| 在线观看免费高清a一片| 能在线免费看毛片的网站| 2021少妇久久久久久久久久久| 久久久久久久大尺度免费视频| 午夜91福利影院| 好男人视频免费观看在线| 亚洲综合精品二区| 日韩免费高清中文字幕av| 夜夜骑夜夜射夜夜干| 免费日韩欧美在线观看| 国内精品宾馆在线| 中文乱码字字幕精品一区二区三区| 欧美精品亚洲一区二区| 国产精品国产三级国产专区5o| 中文字幕免费在线视频6| 久久久久久人妻| 丝袜喷水一区| av视频免费观看在线观看| 国产又色又爽无遮挡免| 久久久久国产网址| 中文字幕人妻丝袜制服| 视频在线观看一区二区三区| 亚洲精品日韩av片在线观看| 国产精品秋霞免费鲁丝片| 亚洲av.av天堂| 午夜久久久在线观看| 人人澡人人妻人| 黄色毛片三级朝国网站| 一本久久精品| 久久精品久久久久久久性| 国产精品久久久久久久久免| 高清毛片免费看| 日本欧美视频一区| 免费看不卡的av| 黄色配什么色好看| 免费观看av网站的网址| 国产黄色免费在线视频| 欧美日韩视频精品一区| www.色视频.com| 极品人妻少妇av视频| 亚洲内射少妇av| 国产精品三级大全| 国产伦精品一区二区三区视频9| av不卡在线播放| 亚洲怡红院男人天堂| 精品国产乱码久久久久久小说| av.在线天堂| 最近中文字幕2019免费版| 成人毛片a级毛片在线播放| 久久99蜜桃精品久久| 国产一区亚洲一区在线观看| 久久久久人妻精品一区果冻| 91精品国产国语对白视频| a级毛片黄视频| 欧美亚洲日本最大视频资源| 亚洲欧美色中文字幕在线| 欧美老熟妇乱子伦牲交| 熟女电影av网| 免费人妻精品一区二区三区视频| 一区二区av电影网| 激情五月婷婷亚洲| 久久韩国三级中文字幕| 在现免费观看毛片| 国产一级毛片在线| 亚洲少妇的诱惑av| 亚洲性久久影院| 寂寞人妻少妇视频99o| 一区在线观看完整版| 欧美精品国产亚洲| 在线观看国产h片| 高清不卡的av网站| 亚洲国产精品成人久久小说| 亚洲人成网站在线播| 久久毛片免费看一区二区三区| 九草在线视频观看| 亚洲一区二区三区欧美精品| 久久久久久久久大av| 国产高清国产精品国产三级| 嫩草影院入口| 亚洲精品第二区| 精品人妻一区二区三区麻豆| 人妻一区二区av| 日韩一本色道免费dvd| 人人妻人人澡人人看| 制服人妻中文乱码| 老司机影院成人| 国产在线一区二区三区精| 欧美激情 高清一区二区三区| 国产av精品麻豆| 国产 一区精品| 26uuu在线亚洲综合色| 黑人猛操日本美女一级片| 久久精品久久精品一区二区三区| 黄色视频在线播放观看不卡| av线在线观看网站| 一区二区日韩欧美中文字幕 | 欧美日韩视频高清一区二区三区二| 婷婷色综合www| 欧美亚洲日本最大视频资源| 免费少妇av软件| 久久久国产精品麻豆| av播播在线观看一区| 亚洲综合色网址| 最近中文字幕高清免费大全6| 久久久久网色| 丁香六月天网| 黄色配什么色好看| 免费人妻精品一区二区三区视频| 中文精品一卡2卡3卡4更新| 国产深夜福利视频在线观看| 在线免费观看不下载黄p国产| 国产色爽女视频免费观看| 日韩,欧美,国产一区二区三区| 日韩av不卡免费在线播放| 国产一区亚洲一区在线观看| 国产免费一区二区三区四区乱码| 91精品国产九色| 91精品一卡2卡3卡4卡| 国产成人精品无人区| 免费播放大片免费观看视频在线观看| 99九九线精品视频在线观看视频| 能在线免费看毛片的网站| 妹子高潮喷水视频| 国产午夜精品一二区理论片| 天堂中文最新版在线下载| 极品人妻少妇av视频| 免费观看无遮挡的男女| 天堂俺去俺来也www色官网| 午夜免费观看性视频| 男女免费视频国产| 亚洲欧美成人综合另类久久久| 黄色怎么调成土黄色| 韩国av在线不卡| 午夜视频国产福利| 两个人的视频大全免费| 亚洲一级一片aⅴ在线观看| 91久久精品国产一区二区成人| 免费看av在线观看网站| 少妇的逼水好多| 老司机影院毛片| 午夜激情久久久久久久| 在现免费观看毛片| videos熟女内射| 精品国产一区二区三区久久久樱花| 国产极品粉嫩免费观看在线 | 日韩亚洲欧美综合| 老女人水多毛片| 看十八女毛片水多多多| 免费观看a级毛片全部| 亚洲内射少妇av| 成年人午夜在线观看视频| 国产乱人偷精品视频| 看十八女毛片水多多多| av福利片在线| 一区二区三区四区激情视频| 欧美日韩亚洲高清精品| 亚洲精品美女久久av网站| 男人操女人黄网站| 国产精品女同一区二区软件| 亚洲精品成人av观看孕妇| 久久精品熟女亚洲av麻豆精品| 免费观看在线日韩| 亚洲色图 男人天堂 中文字幕 | 亚洲av欧美aⅴ国产| 啦啦啦在线观看免费高清www| 大香蕉97超碰在线| 国产乱人偷精品视频| 老司机影院毛片| 日韩不卡一区二区三区视频在线| 日日摸夜夜添夜夜爱| 国产欧美日韩一区二区三区在线 | 国产精品人妻久久久影院| 人妻人人澡人人爽人人| 乱码一卡2卡4卡精品| 纵有疾风起免费观看全集完整版| 国产精品人妻久久久影院| 人妻人人澡人人爽人人| 涩涩av久久男人的天堂| 美女脱内裤让男人舔精品视频| 成人国语在线视频| 美女福利国产在线| 高清毛片免费看| 成人亚洲欧美一区二区av| 少妇丰满av| 午夜福利视频精品| 亚洲美女搞黄在线观看| 最近中文字幕2019免费版| 亚洲av.av天堂| videossex国产| 又黄又爽又刺激的免费视频.| 国产精品.久久久| 亚洲美女视频黄频| 插阴视频在线观看视频| 国产一区有黄有色的免费视频| 纵有疾风起免费观看全集完整版| 黑人猛操日本美女一级片| 麻豆乱淫一区二区| 精品少妇黑人巨大在线播放| 少妇被粗大猛烈的视频| 午夜91福利影院| 国产精品麻豆人妻色哟哟久久| 日本黄大片高清| 97在线视频观看| 超碰97精品在线观看| 亚洲中文av在线| 国产成人免费观看mmmm| 国产精品熟女久久久久浪| 男女无遮挡免费网站观看| 91午夜精品亚洲一区二区三区| 欧美日韩视频高清一区二区三区二| 在线亚洲精品国产二区图片欧美 | 亚洲色图综合在线观看| 久久精品久久久久久久性| 久久av网站| 亚洲国产av新网站| 日韩亚洲欧美综合| 国产精品国产av在线观看| 国产 一区精品| 毛片一级片免费看久久久久| 久久精品国产a三级三级三级| 亚洲第一区二区三区不卡| 国产亚洲午夜精品一区二区久久| 久久99热6这里只有精品| 九草在线视频观看| 亚洲一级一片aⅴ在线观看| 国产精品一区www在线观看| 尾随美女入室| 草草在线视频免费看| 国产精品熟女久久久久浪| 精品视频人人做人人爽| 91国产中文字幕| 午夜久久久在线观看| 99久久精品国产国产毛片| 丝袜喷水一区| 国产成人精品福利久久| 少妇人妻久久综合中文| 免费日韩欧美在线观看| 免费看不卡的av| 久久久国产精品麻豆| 日本色播在线视频| 亚洲国产最新在线播放| 国产成人精品一,二区| 18在线观看网站| 91久久精品国产一区二区成人| 91成人精品电影| 免费人妻精品一区二区三区视频| 少妇猛男粗大的猛烈进出视频| 亚洲第一av免费看| av播播在线观看一区| 好男人视频免费观看在线| 久久狼人影院| 亚洲怡红院男人天堂| 老司机影院成人| 熟女av电影| 九九久久精品国产亚洲av麻豆| 美女国产高潮福利片在线看| 伦精品一区二区三区| 亚洲怡红院男人天堂| 国产精品99久久99久久久不卡 | 免费人成在线观看视频色| av播播在线观看一区| 精品国产国语对白av| 久热这里只有精品99| av免费观看日本| 国产亚洲精品久久久com| 18+在线观看网站| 亚洲av成人精品一二三区| 熟女人妻精品中文字幕| 久久鲁丝午夜福利片| 亚洲av男天堂| 久久久久国产精品人妻一区二区| 亚洲国产精品一区二区三区在线| 国产精品欧美亚洲77777| 天堂俺去俺来也www色官网| 夫妻性生交免费视频一级片| 一级片'在线观看视频| 亚洲精品中文字幕在线视频| 国产熟女欧美一区二区| 国产片内射在线| 久久久久久久久久久丰满| 超色免费av| 人人妻人人添人人爽欧美一区卜| 一级爰片在线观看| 如日韩欧美国产精品一区二区三区 | 欧美最新免费一区二区三区| av天堂久久9| 又黄又爽又刺激的免费视频.| 哪个播放器可以免费观看大片| 成年人午夜在线观看视频| 女人久久www免费人成看片| 欧美精品国产亚洲| 欧美3d第一页| 免费观看在线日韩| 久久精品久久精品一区二区三区| 秋霞伦理黄片| 国产成人91sexporn| 麻豆精品久久久久久蜜桃| 性高湖久久久久久久久免费观看| 午夜激情久久久久久久| 亚洲av综合色区一区| 九九在线视频观看精品| 欧美日韩视频高清一区二区三区二| 日韩视频在线欧美| 最新中文字幕久久久久| 亚洲精品成人av观看孕妇| 国产熟女欧美一区二区| 日本爱情动作片www.在线观看| 成年女人在线观看亚洲视频| www.色视频.com| 嘟嘟电影网在线观看| 永久网站在线| 卡戴珊不雅视频在线播放| 亚洲精品久久成人aⅴ小说 | 亚洲,一卡二卡三卡| 精品人妻在线不人妻| 国产精品国产三级国产av玫瑰| 欧美亚洲日本最大视频资源| 人妻夜夜爽99麻豆av| 高清不卡的av网站| 精品一区二区三卡| 成人手机av| 国产精品久久久久久av不卡| 中文字幕制服av| 久久av网站| a级毛片在线看网站| 日韩av免费高清视频| 九色亚洲精品在线播放| 国产午夜精品一二区理论片| 美女国产视频在线观看| 久久精品久久久久久久性| 母亲3免费完整高清在线观看 | 精品亚洲乱码少妇综合久久| 亚洲熟女精品中文字幕| 久久精品国产亚洲网站| 欧美精品一区二区大全| 99久久精品国产国产毛片| 免费av不卡在线播放| 视频中文字幕在线观看| 赤兔流量卡办理| 爱豆传媒免费全集在线观看| 高清毛片免费看| 国产精品偷伦视频观看了| 日韩 亚洲 欧美在线| 免费观看在线日韩| 99九九在线精品视频| 岛国毛片在线播放| 亚洲av电影在线观看一区二区三区| 日韩精品免费视频一区二区三区 | 最近中文字幕2019免费版| 黄色毛片三级朝国网站| 91精品三级在线观看| 国产高清国产精品国产三级| 一区二区日韩欧美中文字幕 | 全区人妻精品视频| 国产精品久久久久久av不卡| 日本黄色日本黄色录像| 欧美日韩视频高清一区二区三区二| 80岁老熟妇乱子伦牲交| 国产亚洲欧美精品永久| 免费黄频网站在线观看国产| 国产成人91sexporn| 蜜桃久久精品国产亚洲av| 国产 一区精品| 啦啦啦啦在线视频资源| 男女边摸边吃奶| 国产 精品1| 亚洲欧美一区二区三区黑人 | 精品亚洲成国产av| 九九久久精品国产亚洲av麻豆| 欧美亚洲日本最大视频资源| 中文欧美无线码| 青春草国产在线视频| 国产极品天堂在线| 一边摸一边做爽爽视频免费| 久久热精品热| 国产精品一区www在线观看| 亚洲精品aⅴ在线观看| 老司机影院成人| 国产熟女欧美一区二区| 夜夜骑夜夜射夜夜干| 午夜福利在线观看免费完整高清在| 久久国内精品自在自线图片| 男女免费视频国产| 在现免费观看毛片| 国产精品久久久久久久电影| 成人无遮挡网站| 久久国产精品大桥未久av| 一区二区三区免费毛片| 成人亚洲欧美一区二区av| av电影中文网址| 欧美日韩一区二区视频在线观看视频在线| 日日摸夜夜添夜夜爱| videosex国产| 丝袜美足系列| 夜夜看夜夜爽夜夜摸| 免费观看的影片在线观看| 熟女电影av网| 国产精品久久久久成人av| 日本-黄色视频高清免费观看| 亚洲av免费高清在线观看| 成年美女黄网站色视频大全免费 | 亚洲av二区三区四区| 亚洲高清免费不卡视频| 插逼视频在线观看| 亚洲精品国产av成人精品| 日本免费在线观看一区| 亚洲四区av| a级毛片在线看网站| 少妇人妻精品综合一区二区| 一区二区三区精品91| 欧美亚洲日本最大视频资源| 欧美bdsm另类| 九九爱精品视频在线观看| 国产成人免费观看mmmm| 免费人成在线观看视频色| 久久久国产一区二区| 久久这里有精品视频免费| 国产精品欧美亚洲77777| 日韩成人伦理影院| 美女xxoo啪啪120秒动态图| 人人妻人人爽人人添夜夜欢视频| 久久青草综合色| 国产一区二区三区综合在线观看 | 国产免费视频播放在线视频| 99国产综合亚洲精品| 曰老女人黄片| 一级,二级,三级黄色视频| 麻豆精品久久久久久蜜桃|