• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    2014-06-07 05:53:26趙玉艷陳海寶趙生慧
    計(jì)算機(jī)工程 2014年11期
    關(guān)鍵詞:調(diào)整機(jī)制監(jiān)控器密集型

    趙玉艷,陳海寶,2,趙生慧

    (1.滁州學(xué)院計(jì)算機(jī)與信息工程學(xué)院,安徽滁州239000;2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢430074)

    一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    趙玉艷1,陳海寶1,2,趙生慧1

    (1.滁州學(xué)院計(jì)算機(jī)與信息工程學(xué)院,安徽滁州239000;2.華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,武漢430074)

    在同一物理主機(jī)甚至同一CPU/core上,虛擬化技術(shù)使得多個(gè)虛擬機(jī)能夠以公平共享物理資源的方式運(yùn)行。然而,隨著共享同一CPU/core的虛擬機(jī)數(shù)量的增多,每個(gè)虛擬機(jī)所經(jīng)歷的物理CPU/core訪問延遲也在顯著增加,造成異構(gòu)型應(yīng)用(運(yùn)行過程中既有網(wǎng)絡(luò)I/O需求,也有計(jì)算需求)在性能方面的負(fù)面影響。為解決上述問題,引入一種應(yīng)用類型感知的虛擬機(jī)管理器時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制。該機(jī)制可以根據(jù)虛擬機(jī)中應(yīng)用的類型動(dòng)態(tài)調(diào)整虛擬機(jī)的時(shí)間片長度。實(shí)驗(yàn)結(jié)果表明,與Xen Credit調(diào)度機(jī)制相比,時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制可使異構(gòu)型應(yīng)用(Nginx Web服務(wù)器)具有更好的響應(yīng)能力和吞吐能力。

    應(yīng)用類型驅(qū)動(dòng);虛擬機(jī)監(jiān)控器;動(dòng)態(tài)時(shí)間片;虛擬化;異構(gòu)型應(yīng)用

    1 概述

    云計(jì)算模式可以顯著降低用戶的投資以及運(yùn)營成本,因?yàn)橛脩艨梢院唵蔚匾园词褂酶顿M(fèi)的模式租用云資源來托管和運(yùn)行應(yīng)用。支持云托管的一項(xiàng)關(guān)鍵技術(shù)是虛擬機(jī)合并,也就是利用虛擬化技術(shù)將單臺物理機(jī)劃分為多個(gè)虛擬機(jī),每個(gè)虛擬機(jī)被分配來運(yùn)行客戶的應(yīng)用。盡管每個(gè)虛擬機(jī)通常被分配至少一個(gè)虛擬核(例如文獻(xiàn)[1]中的VCPU),但是虛擬核和物理核之間的映射并不總是一對一的。例如,在商業(yè)云平臺Amazon EC2[2]中,其計(jì)算實(shí)例是以EC2計(jì)算單元(ECU)為單位進(jìn)行分配。分配了一個(gè)計(jì)算單元(ECU)的EC2實(shí)例(虛擬機(jī))的計(jì)算能力粗略地等同于一臺配置了1 GHz CPU的物理機(jī)器。在一個(gè)配備了3 GHz CPU的物理機(jī)中,可能會有3個(gè)虛擬機(jī)共享一個(gè)物理CPU。在這樣的情況下,虛擬機(jī)監(jiān)控器(Virtual Machine Monitor,VMM)的CPU調(diào)度器(例如Xen默認(rèn)的Credit調(diào)度器)以輪轉(zhuǎn)的方式調(diào)度可運(yùn)行的虛擬機(jī),每個(gè)虛擬機(jī)被準(zhǔn)許獲得相同數(shù)量的物理CPU時(shí)間來確保共享CPU的虛擬機(jī)之間的公平性。然而,文獻(xiàn)[3]通過實(shí)驗(yàn)指出CPU在多個(gè)虛擬機(jī)之間共享會對網(wǎng)絡(luò)I/O處理延遲敏感的應(yīng)用產(chǎn)生明顯負(fù)面影響。一個(gè)需要處理網(wǎng)絡(luò)I/O事件的虛擬機(jī)必須等到它訪問物理CPU時(shí)才可以處理這個(gè)I/O事件。而在這種情況下,CPU訪問延遲趨向于每個(gè)虛擬機(jī)所分得默認(rèn)物理CPU時(shí)間片的倍數(shù)(例如Xen中的30 ms),并且不能對虛擬機(jī)中的應(yīng)用隱藏這樣的延遲。這種影響非常不利于單純的網(wǎng)絡(luò)I/O密集型應(yīng)用(如只支持對靜態(tài)頁面訪問的Web服務(wù)器。需要指出,在這種場景中,CPU大部分時(shí)間都處于空閑狀態(tài)),同時(shí)這種影響也不利于既包含網(wǎng)絡(luò)I/O部分,也包含計(jì)算部分的異構(gòu)型應(yīng)用。與單純I/O密集型應(yīng)用相比,異構(gòu)型應(yīng)用需要消耗相對多的CPU時(shí)間來完成計(jì)算任務(wù)。為避免產(chǎn)生歧義,現(xiàn)約定如下:術(shù)語“異構(gòu)型應(yīng)用”在本文中特指這樣一類應(yīng)用,在它們運(yùn)行的過程中即對網(wǎng)絡(luò)I/O有需求,也對計(jì)算有需求。例如,支持動(dòng)態(tài)頁面訪問的Web服務(wù)器,相對于靜態(tài)頁面訪問來說,一個(gè)Web服務(wù)器在收到客戶的動(dòng)態(tài)頁面請求后,它需要通過一定的計(jì)算量來處理這個(gè)請求,在得到請求的結(jié)果后,對客戶進(jìn)行響應(yīng),在這種情況下,支持動(dòng)態(tài)頁面訪問的Web服務(wù)器就是一個(gè)異構(gòu)型應(yīng)用。

    如果對共享CPU的虛擬機(jī)使用默認(rèn)的CPU時(shí)間片,運(yùn)行著Web服務(wù)器的虛擬機(jī)可能不會及時(shí)地訪問物理CPU來處理和響應(yīng)請求。為了避免通信處理延遲所造成的影響,一種方法是選擇使用一個(gè)獨(dú)占物理CPU的虛擬機(jī)。然而,這可能會導(dǎo)致較高的成本,因此,它并不是成本敏感型客戶的首選。本文關(guān)注于緩解共享CPU的虛擬機(jī)(例如EC2中的小型或者微型計(jì)算實(shí)例)所受到的網(wǎng)絡(luò)I/O處理延遲影響,并針對上述問題,引入應(yīng)用類型感知的虛擬機(jī)監(jiān)控器時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制以提高應(yīng)用性能。

    2 相關(guān)研究

    虛擬機(jī)管理器的I/O性能優(yōu)化是一個(gè)熱點(diǎn)研究領(lǐng)域。例如,文獻(xiàn)[4]通過修改客戶操作系統(tǒng)優(yōu)化KVM(一種開源的虛擬機(jī)管理器)的I/O性能。文獻(xiàn)[5]對Xen的I/O虛擬化驅(qū)動(dòng)進(jìn)行了研究。緩解網(wǎng)絡(luò)I/O處理延遲的一個(gè)途徑是修改虛擬機(jī)監(jiān)控器(VMM)的CPU調(diào)度器,讓網(wǎng)絡(luò)I/O密集型虛擬機(jī)(運(yùn)行網(wǎng)絡(luò)I/O密集型應(yīng)用的虛擬機(jī))的優(yōu)先級高于CPU密集型虛擬機(jī)(運(yùn)行CPU密集型應(yīng)用的虛擬機(jī))。例如,文獻(xiàn)[6]在面對運(yùn)行網(wǎng)絡(luò)I/O密集型應(yīng)用的虛擬機(jī)和運(yùn)行CPU密集型應(yīng)用的虛擬機(jī)時(shí),優(yōu)先調(diào)度前者。然而,這種方法在CPU份額分配上引入了短期的不公平。類似地,文獻(xiàn)[7]使用了局部加速來幫助I/O密集型虛擬機(jī)搶占一個(gè)運(yùn)行中的虛擬機(jī)以響應(yīng)到來的I/O事件,但是它很難進(jìn)行配置來保持共享CPU的虛擬機(jī)之間的公平性,因此,并不適用于建立在虛擬化技術(shù)之上的云計(jì)算系統(tǒng)。文獻(xiàn)[8]擴(kuò)展了Xen的Credit調(diào)度器來支持軟實(shí)時(shí)應(yīng)用,但是它可能給運(yùn)行延遲敏感型應(yīng)用的虛擬機(jī)更多的CPU時(shí)間,從而打破了虛擬機(jī)之間的公平性。Xen的Credit調(diào)度器[9]使用了BOOST機(jī)制通過臨時(shí)加速I/O密集型應(yīng)用虛擬機(jī)(設(shè)置一個(gè)高的優(yōu)先級)來縮短I/O響應(yīng)時(shí)間。盡管這個(gè)機(jī)制對于單純I/O密集型虛擬機(jī)非常有效,但是在異構(gòu)型應(yīng)用運(yùn)行于虛擬機(jī)的情況下,一旦一個(gè)虛擬機(jī)通過BOOST機(jī)制獲得調(diào)度來處理I/O請求,工作負(fù)荷中的計(jì)算密集部分會消耗它在當(dāng)前調(diào)度周期中的CPU份額(Xen中的術(shù)語是Credits)。因?yàn)镃redit調(diào)度器在虛擬機(jī)間是CPU公平的,當(dāng)異構(gòu)型應(yīng)用的計(jì)算密集部分消耗完虛擬機(jī)所分得的CPU份額后,BOOST機(jī)制在當(dāng)前調(diào)度周期的后面部分中就會失去作用,從而導(dǎo)致高的I/O處理延遲。

    針對BOOST機(jī)制在處理異構(gòu)型應(yīng)用時(shí)所面臨的問題,本文提出一種基于時(shí)間片的動(dòng)態(tài)調(diào)整機(jī)制來提高這類異構(gòu)型應(yīng)用的性能。

    3 時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制

    本節(jié)首先以一個(gè)例子來分析虛擬機(jī)共享CPU對異構(gòu)應(yīng)用I/O處理延遲的負(fù)面影響,然后用一個(gè)實(shí)驗(yàn)進(jìn)行驗(yàn)證,最后引入時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制。

    3.1 CPU共享問題的分析及驗(yàn)證

    在這個(gè)例子中,有3個(gè)單核虛擬機(jī)(VM1, VM2和VM3)共享一個(gè)物理CPU核,VM1和VM2運(yùn)行計(jì)算密集型應(yīng)用,而VM3運(yùn)行著一個(gè)異構(gòu)型應(yīng)用。VM3中的應(yīng)用等待客戶請求的到來,然后以數(shù)據(jù)或控制信息響應(yīng)這個(gè)請求。假設(shè)虛擬機(jī)監(jiān)控器(VMM)中的CPU調(diào)度器使用一個(gè)被許多商業(yè)虛擬機(jī)平臺采用的按比例分享的調(diào)度策略(例如,用在 Amazon EC2,RackSpace和GoGrid商業(yè)云中的Xen)。如圖1所示,一個(gè)目的地是VM3的請求發(fā)送到物理機(jī)后,它首先被緩存在VM3之外(例如,在虛擬機(jī)監(jiān)控器中或者在特權(quán)驅(qū)動(dòng)器域中),一直等到 VM3被調(diào)度。當(dāng)VM3被調(diào)度后,它會處理這個(gè)請求并產(chǎn)生響應(yīng)。如果CPU的時(shí)間片是30 ms,請求的響應(yīng)延遲可以高達(dá)60 ms。而這樣一個(gè)高延遲影響了 VM3中應(yīng)用的響應(yīng)性以及請求處理率。

    圖1 默認(rèn)調(diào)度時(shí)間片示意圖

    為了展示延遲問題,設(shè)計(jì)了如下實(shí)驗(yàn),在一臺物理機(jī)(IBM System x3650:Intel Xeon E5530,32 GB RAM,500 GB Disk)上安裝Xen4.2,并使用默認(rèn)的Credit調(diào)度器。每臺虛擬機(jī)都運(yùn)行了開源軟件lookbusy[10],用以保證虛擬機(jī)的CPU在實(shí)驗(yàn)期間處于忙碌狀態(tài)。不失一般性,本文實(shí)驗(yàn)使用虛擬機(jī)中運(yùn)行的lookbusy和網(wǎng)絡(luò)連通性探測命令ping合成了一個(gè)異構(gòu)型應(yīng)用。然后,分別在3種情況下(1臺單核虛擬機(jī)獨(dú)占一個(gè)物理核;2臺單核虛擬機(jī)共享一個(gè)物理核;3臺單核虛擬機(jī)共享一個(gè)物理核),從另外一臺物理機(jī)上使用ping命令測試一個(gè)虛擬機(jī)的數(shù)據(jù)包往返時(shí)間RTT(Round-Trip Time)。

    圖2展示了ping一臺虛擬機(jī)時(shí)RTT的累積分布函數(shù)(CDF)。實(shí)驗(yàn)結(jié)果清晰地表明ping RTT隨著共享CPU的虛擬機(jī)數(shù)量增加而增加。

    圖2 ping RTT的累計(jì)分布函數(shù)

    3.2 機(jī)制和算法

    由2.1節(jié)可知,對于異構(gòu)型應(yīng)用,如果將調(diào)度時(shí)間片減小,虛擬機(jī)可以更頻繁地訪問物理CPU,相應(yīng)的I/O處理延遲也隨之降低。然而,對于計(jì)算密集型應(yīng)用來說,降低調(diào)度時(shí)間片會增加上下文切換的次數(shù),從而會帶來一定應(yīng)用性能上的開銷。也就是說,對于運(yùn)行了計(jì)算密集型應(yīng)用的虛擬機(jī),并不適合于縮短它們的時(shí)間片。

    為了解決上述問題,本文基于Credit調(diào)度器提出了一種應(yīng)用感知的動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制,根據(jù)運(yùn)行在虛擬機(jī)中應(yīng)用的類型來動(dòng)態(tài)調(diào)整此虛擬機(jī)的調(diào)度時(shí)間片,從而達(dá)到提高應(yīng)用性能的目的,如Web服務(wù)器的連接率和響應(yīng)時(shí)間。

    (1)動(dòng)態(tài)調(diào)整機(jī)制:動(dòng)態(tài)調(diào)整機(jī)制的思路簡述如下。首先,系統(tǒng)中只存在2種長度的時(shí)間片,一種是默認(rèn)時(shí)間片(也就是Credit調(diào)度器中采用的30 ms);另一種是短時(shí)間片。在本文中,短時(shí)間的長度是一個(gè)經(jīng)驗(yàn)值,由管理員根據(jù)系統(tǒng)的實(shí)際情況設(shè)置(第3節(jié)的實(shí)驗(yàn)部分將比較短時(shí)間片被設(shè)置為不同的長度時(shí),對應(yīng)用性能的影響)。其次,系統(tǒng)在開始運(yùn)行時(shí),所有虛擬機(jī)都使用默認(rèn)的時(shí)間片長度。如果虛擬機(jī)運(yùn)行著同構(gòu)型應(yīng)用(如單純的網(wǎng)絡(luò)I/O密集型應(yīng)用或者單純計(jì)算密集型應(yīng)用),則繼續(xù)用默認(rèn)的時(shí)間片。因?yàn)樵谀J(rèn)時(shí)間片下,Xen Credit調(diào)度器能夠有效保證單純計(jì)算密集型應(yīng)用的性能,同時(shí)其BOOST機(jī)制也能保證單純網(wǎng)絡(luò)I/O密集型應(yīng)用的性能[11]。而如果虛擬機(jī)中運(yùn)行著異構(gòu)型應(yīng)用,系統(tǒng)則把此虛擬機(jī)的時(shí)間片調(diào)整為短時(shí)間片。

    (2)應(yīng)用類型推斷算法:在實(shí)現(xiàn)時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制之前,調(diào)度器需要獲取運(yùn)行在虛擬機(jī)中的應(yīng)用類型,由于虛擬機(jī)管理器和虛擬機(jī)之間存在著語義鴻溝的問題,虛擬機(jī)管理器并不能直接獲取虛擬機(jī)內(nèi)部運(yùn)行應(yīng)用的信息(如應(yīng)用類型)。消除語義鴻溝一般采用的是侵入式方法:在虛擬機(jī)操作系統(tǒng)內(nèi)核中增加一個(gè)超級調(diào)用,通過這個(gè)超級調(diào)用來向虛擬機(jī)管理器傳遞虛擬機(jī)內(nèi)部應(yīng)用的類型信息。本文采用一種非侵入式的方法,即不需要修改虛擬機(jī)操作系統(tǒng)內(nèi)核,VMM只需監(jiān)控一些信息從而推斷出應(yīng)用的類型。

    本文的設(shè)計(jì)包括一個(gè)監(jiān)控器用來分析和推斷運(yùn)行在虛擬機(jī)中的應(yīng)用類型以及一個(gè)時(shí)間片調(diào)整算法。圖3顯示了調(diào)度器的框架,它可以監(jiān)控虛擬機(jī)的行為以及動(dòng)態(tài)調(diào)整時(shí)間片。

    圖3 調(diào)度器框架

    行為監(jiān)控器被周期性調(diào)用以監(jiān)控每個(gè)虛擬機(jī)數(shù)據(jù)包接收頻率(在一個(gè)監(jiān)控間隔內(nèi)每個(gè)虛擬機(jī)接收數(shù)據(jù)包的數(shù)量)以及虛擬機(jī)的VCPU利用率。其中,數(shù)據(jù)包接收頻率用來推斷運(yùn)行在虛擬機(jī)上的應(yīng)用是否為網(wǎng)絡(luò)I/O密集型應(yīng)用,虛擬機(jī)的VCPU利用率則用來推斷運(yùn)行的是否為計(jì)算密集型應(yīng)用。將VCPU利用率和數(shù)據(jù)包接收頻率結(jié)合起來,則可用來推斷虛擬機(jī)中運(yùn)行的是否為異構(gòu)型應(yīng)用。

    類型推斷算法如下:

    為了避免因監(jiān)控?cái)?shù)據(jù)短暫變化所引起的類型變化,算法在進(jìn)行類型推斷時(shí)考慮了每臺虛擬機(jī)在N個(gè)監(jiān)控周期的數(shù)據(jù)包接收頻率以及VCPU利用率,N在本文中設(shè)置為5。在虛擬機(jī)的生命周期中,根據(jù)行為監(jiān)控的反饋信息,每個(gè)虛擬機(jī)的類型可以變化。因?yàn)殡S著監(jiān)控頻率的增加,監(jiān)控開銷也會增加,所以文中采用的監(jiān)控間隔為1 s。

    3.3 原型實(shí)現(xiàn)

    本工作以Xen4.2中的Credit調(diào)度器為基礎(chǔ)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。

    在Credit調(diào)度器的源代碼(sched_credit.c文件)中通過添加程序段實(shí)現(xiàn)監(jiān)控虛擬機(jī)VCPU利用率的功能。程序段首先統(tǒng)計(jì)每個(gè)虛擬機(jī)在一個(gè)監(jiān)控周期內(nèi)獲得的物理CPU時(shí)間(也就是虛擬機(jī)中每個(gè)VCPU在一個(gè)監(jiān)控周期中占用物理 CPU時(shí)間之和),然后利用下面的公式計(jì)算虛擬機(jī)的VCPU利用率:Utilization=100×cpuTime/(T×VCPUsNum),其中,cpuTime是虛擬機(jī)在一個(gè)監(jiān)控周期內(nèi)總共獲得的物理CPU時(shí)間;T是在一個(gè)監(jiān)控周期應(yīng)獲得的物理CPU時(shí)間;VCPUsNum是虛擬機(jī)的VCPU數(shù)量。

    在監(jiān)控虛擬機(jī)數(shù)據(jù)包接收量方面,首先在特權(quán)域dom0的網(wǎng)絡(luò)后端設(shè)備(netback)源代碼(netback.c)中添加程序段,監(jiān)控虛擬機(jī)的數(shù)據(jù)包接收數(shù)量并將相應(yīng)信息寫入 dom0和虛擬機(jī)監(jiān)控器(Virtual Machine Monitor,VMM)之間的共享內(nèi)存頁(shared info page),然后,虛擬機(jī)管理器在需要時(shí)可以從共享內(nèi)存頁中讀取該信息。

    獲取以上2個(gè)參數(shù)值后,類型推斷算法根據(jù)系統(tǒng)設(shè)定的閾值判斷每個(gè)虛擬機(jī)中運(yùn)行應(yīng)用的類型。本文設(shè)定的虛擬機(jī)VCPU利用率閾值為50%,包接收率的閾值設(shè)置為每秒30個(gè)數(shù)據(jù)包。在實(shí)際應(yīng)用中,系統(tǒng)管理員可以根據(jù)系統(tǒng)的運(yùn)行情況修改上面2個(gè)閾值。

    為了實(shí)現(xiàn)時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制,在Credit調(diào)度器的源代碼中添加了如下的控制邏輯:(1)在虛擬機(jī)結(jié)構(gòu)體csched_dom中添加3個(gè)變量:分別是tslice_ ms,tick_period_ms,ticks_per_tslice。其中,tslice_ms表示時(shí)間片的長度;tick_period_ms表示Credit值的記賬周期;ticks_per_tslice表示每個(gè)時(shí)間片包含記賬周期的數(shù)量,這3個(gè)變量的關(guān)系是:第一個(gè)變量的值等于后 2個(gè)變量值的乘積,即 tslice_ms=tick_ period_ms×ticks_per_tslice。(2)根據(jù)類型算法得到的應(yīng)用類型,在3個(gè)變量中設(shè)置相應(yīng)的值。例如,如果應(yīng)用類型是異構(gòu)型,那么將tslice_ms設(shè)置為短時(shí)間片,如12(單位是ms),tick_period_ms和tick_ period_ms則分別對應(yīng)的設(shè)置為4(單位是毫秒)和3。如果應(yīng)用類型是同構(gòu)型,3個(gè)變量設(shè)置為系統(tǒng)的默認(rèn)值。(3)csched_schedule函數(shù)開始執(zhí)行的時(shí)候,從虛擬機(jī)結(jié)構(gòu)體csched_dom中讀取tslice_ms的值,同時(shí)將 csched_tick函數(shù) (作用是定時(shí)扣除 Credit值)中定時(shí)器的定時(shí)周期設(shè)置為tick_period_ms。

    另外,由于并未修改Xen Credit調(diào)度器的CPU時(shí)間分配和消耗機(jī)制,因此繼承了Credit調(diào)度器的CPU公平性保證策略,也就是能夠保證物理CPU時(shí)間在虛擬機(jī)之間得到公平共享。

    4 實(shí)驗(yàn)與分析

    本文實(shí)驗(yàn)的目的是測試動(dòng)態(tài)時(shí)間片機(jī)制對異構(gòu)型應(yīng)用的性能影響。在實(shí)驗(yàn)中,依次將動(dòng)態(tài)調(diào)節(jié)機(jī)制中的小時(shí)間片設(shè)定為24 ms,18 ms,12 ms,6 ms, 3 ms。然后在每種時(shí)間片下執(zhí)行一遍實(shí)驗(yàn),最后將每種時(shí)間片下的性能數(shù)據(jù)與默認(rèn)時(shí)間片(30 ms)下的性能數(shù)據(jù)進(jìn)行比較。

    4.1 實(shí)驗(yàn)環(huán)境設(shè)置

    物理服務(wù)器(IBM System x3650:Intel Xeon E5530, 32 GB RAM,500 GB Disk)運(yùn)行了4個(gè)共享同一物理核的單核虛擬機(jī)(VM1,VM2,VM3和VM4)。為了保證CPU分配的公平性,在實(shí)驗(yàn)開始前利用Xen的控制端命令“xm sched-credit-d‘vmName'-w 256-c 25”,將每個(gè)虛擬機(jī)的weight值設(shè)置為默認(rèn)值(256),cap值設(shè)置為25,也就是每個(gè)虛擬機(jī)最多獲得25%的CPU時(shí)間。虛擬機(jī)VM1運(yùn)行了Nginx和lookbusy合成的一個(gè)異構(gòu)型應(yīng)用;虛擬機(jī)VM4運(yùn)行了網(wǎng)絡(luò)I/O密集型應(yīng)用(Nginx);為了增大對VM1和VM4中應(yīng)用的干擾,從而能夠更清晰地體現(xiàn)出本文所提機(jī)制的優(yōu)勢,在剩余的2個(gè)虛擬機(jī)(VM2和VM3)中分別運(yùn)行了計(jì)算密集型應(yīng)用(lookbusy)。2臺客戶端機(jī)器分別同時(shí)使用Httperf[12]產(chǎn)生對VM1和VM4中一個(gè)4 KB靜態(tài)Web頁面的請求,以測量VM1和VM4中Web服務(wù)器的性能。

    實(shí)驗(yàn)中使用Nginx Web服務(wù)器的靜態(tài)頁面查詢和lookbusy來合成一個(gè)異構(gòu)型應(yīng)用,使其既有網(wǎng)絡(luò)I/O密集型部分,也有計(jì)算密集型部分。其中, Nginx對網(wǎng)絡(luò)I/O處理延遲非常敏感,網(wǎng)絡(luò)I/O處理延遲會影響Nginx服務(wù)器的響應(yīng)時(shí)間和請求處理的吞吐量。Lookbusy用來產(chǎn)生CPU負(fù)載(使虛擬機(jī)的VCPU利用率保持在50%)。

    為了進(jìn)行比較,將并發(fā)連接請求率從每秒100個(gè)逐漸增加到每秒500個(gè),步長為100,然后在每種連接請求率下分別測試了不同方法(默認(rèn)時(shí)間片和小時(shí)間片)下的Web服務(wù)器響應(yīng)時(shí)間和連接率等2個(gè)指標(biāo)。

    4.2 結(jié)果分析

    圖4和圖5分別展示了VM1的響應(yīng)時(shí)間和連接率。

    圖4 VM1中不同連接請求率下的響應(yīng)時(shí)間對比

    圖5 VM1中不同時(shí)間片下的連接率對比

    從圖4中可以看到,隨著連接請求率的增加,默認(rèn)時(shí)間片(30 ms)下的Web服務(wù)器響應(yīng)時(shí)間從每秒100個(gè)連接下的3.4 ms迅速升高到每秒500個(gè)連接下的79.9 ms。相比較而言,小時(shí)間片下的Web服務(wù)器響應(yīng)時(shí)間則有明顯優(yōu)勢,尤其是在3 ms的短時(shí)間片下,響應(yīng)時(shí)間只從0.6 ms(每秒100個(gè)連接)升高到1.1 ms(每秒500個(gè)連接)。

    從圖5中的數(shù)據(jù)可以得到3個(gè)信息:(1)相對于默認(rèn)時(shí)間片(30 ms)而言,隨著連接請求率的增加,小時(shí)間片在連接率方面的優(yōu)勢逐漸體現(xiàn)出來。(2)連接請求率在不大于每秒300個(gè)時(shí),默認(rèn)時(shí)間片和短時(shí)間片在連接率方面性能相同,這主要是因?yàn)?連接請求率沒有超出各種時(shí)間片下的服務(wù)器處理能力。當(dāng)超出服務(wù)器處理能力后,也就是,連接請求率大于每秒300個(gè)時(shí),不同時(shí)間片下的性能差距才體現(xiàn)出來。(3)在18 ms,12 ms,6 ms和3 ms等4種短時(shí)間片下連接率等于連接請求率(4種短時(shí)間下的數(shù)據(jù)重疊在一起),這表明系統(tǒng)在分別采用上述4種短時(shí)間片下,連接請求率并未超出服務(wù)器的處理能力;同時(shí)也表明在時(shí)間片為18 ms時(shí),服務(wù)器已經(jīng)能夠有效地處理客戶端發(fā)來的請求,因此,不需要進(jìn)一步將時(shí)間片設(shè)置得更小。

    因?yàn)閂M2和VM3中運(yùn)行的是計(jì)算密集型應(yīng)用,本文所提動(dòng)態(tài)機(jī)制并不會調(diào)節(jié)它們的時(shí)間片長度,也就是它們所運(yùn)行的計(jì)算密集型應(yīng)用性能與默認(rèn)環(huán)境下的性能相當(dāng)。此外,由于VM4中運(yùn)行的是單純的網(wǎng)絡(luò)I/O密集型應(yīng)用,動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制也不改變它的時(shí)間片長度。在BOOST機(jī)制的作用下,其Web服務(wù)器的性能(請求連接率和響應(yīng)時(shí)間)同樣與默認(rèn)環(huán)境下的性能相當(dāng)。因此,此處省略了VM2,VM3和VM4的性能對比圖。

    以上的實(shí)驗(yàn)結(jié)果表明,與默認(rèn)時(shí)間片相比,短時(shí)間片能夠有效提高虛擬機(jī)中異構(gòu)型應(yīng)用的性能。

    5 結(jié)束語

    本文設(shè)計(jì)了一個(gè)應(yīng)用類型感知的虛擬機(jī)管理器動(dòng)態(tài)時(shí)間片調(diào)整機(jī)制,并在Xen Credit調(diào)度器基礎(chǔ)之上實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。本文基于以下思想:對于運(yùn)行異構(gòu)型應(yīng)用的虛擬機(jī),將其默認(rèn)時(shí)間片(如Xen Credit調(diào)度器中默認(rèn)的30 ms)分成多個(gè)小時(shí)間片(如10個(gè)3 ms的時(shí)間片),從而達(dá)到在一個(gè)調(diào)度周期中多次對其調(diào)度的目的。也就是說,相對于默認(rèn)時(shí)間片的虛擬機(jī),短時(shí)間片虛擬機(jī)可以更頻繁地訪問物理CPU來處理I/O事件。原型系統(tǒng)的實(shí)驗(yàn)結(jié)果表明,在Web應(yīng)用的響應(yīng)時(shí)間和連接率方面優(yōu)于Xen Credit調(diào)度器。

    目前原型系統(tǒng)采用的短時(shí)間片長度是由系統(tǒng)管理員根據(jù)經(jīng)驗(yàn)提前設(shè)定的,系統(tǒng)根據(jù)虛擬機(jī)的應(yīng)用類型,動(dòng)態(tài)地在指定的短時(shí)間片和默認(rèn)時(shí)間片之間進(jìn)行切換。因此,下一步的研究工作就是設(shè)計(jì)一種無需系統(tǒng)管理員干涉的短時(shí)間設(shè)定機(jī)制,并且考慮如何將動(dòng)態(tài)時(shí)間片與CPU運(yùn)行隊(duì)列的動(dòng)態(tài)優(yōu)先級結(jié)合起來,進(jìn)一步提升此類應(yīng)用的性能。

    [1] 薛海峰,卿斯?jié)h,張煥國.XEN虛擬機(jī)分析[J].系統(tǒng)仿真學(xué)報(bào),2008,19(23):5556-5558.

    [2] 亞馬遜公司.AWS產(chǎn)品與解決方案[EB/OL].[2014-03-01.]http://aws.amazon.com/cn/ec2.

    [3] Xu C,Gamage S,Kompella R,et al.vTurbo:Accelerating Virtual Machine I/O Processing Using Designated Turbo-SlicedCore[C]//ProceedingsofUSENIX Annual Technical Conference.[S.l.]:USENIX Press,2013: 243-254.

    [4] 張彬彬,汪小林,楊 亮,等.修改客戶操作系統(tǒng)優(yōu)化KVM虛擬機(jī)的I/O性能[J].計(jì)算機(jī)學(xué)報(bào),2010,33(12): 2312-2320.

    [5] 胡冷非,李小勇.基于Xen的I/O準(zhǔn)虛擬化驅(qū)動(dòng)研究[J].計(jì)算機(jī)工程,2009,35(23):258-262.

    [6] Govindan S,Nath A R,Das A,et al.Communication-aware CPU SchedulingforConsolidated Xen-based Hosting Platforms[C]//Proceedings of the 3rd Interna-tional Conference on Virtual Execution Environments.[S.l.]: ACM Press,2007:126-136.

    [7] Kim H,Lim H,Jeong J,et al.Task-aware Virtual Machine Scheduling for I/O Performance[C]//Proceedings of ACM InternationalConference on VirtualExecution Environments.[S.l.]:ACM Press,2009:101-110.

    [8] Lee M,Krishnakumar A S,Krishnan P,et al.Supporting Soft Real-time Tasks in the Xen Hypervisor[C]// Proceedings of the 6th International Conference on VirtualExecution Environments.Pittsburgh,USA:[s.n.],2010:97-108.

    [9] Xen Project Advisory Board.Xen Credit Scheduler[EB/ OL].[2014-03-01].http://wiki.xen.org/wiki/Credit_ Scheduler,

    [10] Devin Carraway.A Synthetic Load Generator[EB/OL].[2014-03-01].http://www.devin.com/lookbusy/.

    [11] Gamage S,Kangarlou A,Kompella R R,et al.vSlicer: Latency-aware Virtual Machine Scheduling via Differentiated-frequency CPU Slicing[C]//Proceedings of the 21st International Symposium on High-performance Parallel and Distributed Computing.[S.l.]:ACM Press,2012: 3-14.

    [12] HP Inc.A Tool for Measuring Web Server Performance[EB/OL].[2014-03-01].http://www.hpl.hp.com/ research/linux/httperf/.

    編輯 顧逸斐

    A Dynamic Time Slice Adjusting Mechanism of Virtual Machine Monitor

    ZHAO Yuyan1,CHEN Haibao1,2,ZHAO Shenghui1
    (1.School of Computer and Information Engineering,Chuzhou University,Chuzhou 239000,China;
    2.School of Computer Science and Technology,Huazhong University of Science and Technology,Wuhan 430074,China)

    Multiple Virtual Machines(VMs)can be hosted in the same CPU core with virtualization technologies,in a fair share manner of the physical resources among the VMs.However,as the number of VMs sharing the same core/CPU increase,the CPU access latency perceived by each VM also increases,which translates into longer network I/O processing latency experienced by heterogeneous application including both network I/O and computation.To mitigate such impact,an application type driven dynamic time slice adjusting mechanism is presented.The evaluation of a prototype in Xen shows that,compared with Credit scheduler of Xen,this mechanism improves the connection rate and response time of Nginx Web server.

    application type driven;Virtual Machine Monitor(VMM);dynamic time slice;virtualization;heterogeneous application

    1000-3428(2014)11-0031-05

    A

    TP393.09

    10.3969/j.issn.1000-3428.2014.11.006

    安徽省自然科學(xué)基金資助面上項(xiàng)目(1408085MF126);安徽省教育廳自然科學(xué)研究基金資助重大項(xiàng)目(KJ2011ZD06);滁州學(xué)院優(yōu)秀青年人才基金資助重點(diǎn)項(xiàng)目(2013RC006);滁州學(xué)院科研啟動(dòng)基金資助項(xiàng)目(2014qd016)。

    趙玉艷(1982-),女,講師、碩士,主研方向:數(shù)據(jù)挖掘,云計(jì)算;陳海寶,講師、博士研究生;趙生慧,教授、博士。

    2014-03-07

    2014-04-24E-mail:zhyy@chzu.edu.cn

    中文引用格式:趙玉艷,陳海寶,趙生慧.一種虛擬機(jī)監(jiān)控器的時(shí)間片動(dòng)態(tài)調(diào)整機(jī)制[J].計(jì)算機(jī)工程,2014, 40(11):31-35.

    英文引用格式:Zhao Yuyan,Chen Haibao,Zhao Shenghui.A Dynamic Time Slice Adjusting Mechanism of Virtual Machine Monitor[J].Computer Engineering,2014,40(11):31-35.

    猜你喜歡
    調(diào)整機(jī)制監(jiān)控器密集型
    歐盟理事會就碳邊界調(diào)整機(jī)制達(dá)成協(xié)議
    壓痛點(diǎn)密集型銀質(zhì)針溫針灸治療肱骨外上髁炎的臨床觀察
    關(guān)于MK10 型下滑儀近場監(jiān)控參數(shù)超標(biāo)的故障檢修
    參透并購交易價(jià)格調(diào)整機(jī)制
    中國外匯(2019年9期)2019-07-13 05:46:20
    密集型快速冷卻技術(shù)在熱軋帶鋼生產(chǎn)線的應(yīng)用
    山東冶金(2019年3期)2019-07-10 00:53:56
    密集型自動(dòng)化立體倉庫解析
    一種自動(dòng)監(jiān)控系統(tǒng)的輸液監(jiān)控器的設(shè)計(jì)
    電子制作(2017年22期)2017-02-02 07:10:09
    知識密集型組織的商業(yè)模式創(chuàng)新策略——以網(wǎng)絡(luò)教育組織為例
    美國失業(yè)保險(xiǎn)待遇調(diào)整機(jī)制分析及對中國的啟示
    關(guān)于壓機(jī)雙聯(lián)閥安全監(jiān)控器的研究
    亚洲av美国av| 日本免费一区二区三区高清不卡| 精品国内亚洲2022精品成人| 免费在线观看日本一区| 波多野结衣巨乳人妻| 日日摸夜夜添夜夜添av毛片 | 亚洲精品日韩av片在线观看| 日韩欧美精品v在线| 日本 av在线| www.色视频.com| 美女高潮喷水抽搐中文字幕| 成人特级av手机在线观看| 欧美日韩乱码在线| 亚洲av一区综合| 51国产日韩欧美| 久久久久久久亚洲中文字幕| 亚洲一区二区三区色噜噜| 色综合亚洲欧美另类图片| 亚洲七黄色美女视频| 干丝袜人妻中文字幕| 午夜日韩欧美国产| 亚洲真实伦在线观看| 亚洲av日韩精品久久久久久密| 欧美色视频一区免费| 老女人水多毛片| 国产探花极品一区二区| 最好的美女福利视频网| 女人十人毛片免费观看3o分钟| 免费看av在线观看网站| 赤兔流量卡办理| 欧美一区二区精品小视频在线| 亚洲18禁久久av| 男插女下体视频免费在线播放| 久久久久久久久久久丰满 | 女生性感内裤真人,穿戴方法视频| 禁无遮挡网站| 欧美潮喷喷水| 22中文网久久字幕| 亚洲最大成人av| 乱系列少妇在线播放| 九色国产91popny在线| 小说图片视频综合网站| 国产成年人精品一区二区| 亚洲va在线va天堂va国产| 日本在线视频免费播放| 麻豆成人av在线观看| avwww免费| 最近中文字幕高清免费大全6 | 欧美一区二区精品小视频在线| 久久精品影院6| 国产成人影院久久av| 日本在线视频免费播放| 不卡一级毛片| 淫秽高清视频在线观看| 在线看三级毛片| 久久久久久久久中文| 久久精品人妻少妇| 丰满乱子伦码专区| 成人鲁丝片一二三区免费| 日日摸夜夜添夜夜添av毛片 | 国产精品自产拍在线观看55亚洲| 一区二区三区免费毛片| 久久精品国产鲁丝片午夜精品 | 久99久视频精品免费| 亚洲三级黄色毛片| 亚洲精品一区av在线观看| av在线天堂中文字幕| 国产69精品久久久久777片| 午夜免费男女啪啪视频观看 | a级毛片免费高清观看在线播放| 狂野欧美白嫩少妇大欣赏| 亚洲中文日韩欧美视频| 3wmmmm亚洲av在线观看| 嫩草影院新地址| 老司机午夜福利在线观看视频| 不卡视频在线观看欧美| 最新中文字幕久久久久| 春色校园在线视频观看| 99热精品在线国产| 国产三级在线视频| 亚洲五月天丁香| 日韩欧美在线二视频| 变态另类成人亚洲欧美熟女| 色吧在线观看| 能在线免费观看的黄片| 欧美+日韩+精品| 一级a爱片免费观看的视频| 男女之事视频高清在线观看| 直男gayav资源| 九九在线视频观看精品| 久久中文看片网| 18禁裸乳无遮挡免费网站照片| 国产又黄又爽又无遮挡在线| 国产爱豆传媒在线观看| 一个人免费在线观看电影| 97超级碰碰碰精品色视频在线观看| 在线观看舔阴道视频| 在线观看av片永久免费下载| 亚洲成人精品中文字幕电影| www.www免费av| 一区二区三区四区激情视频 | 免费看光身美女| 日韩精品有码人妻一区| 日韩高清综合在线| 国产精品野战在线观看| 亚洲成人中文字幕在线播放| 久久久久九九精品影院| 亚洲午夜理论影院| 97人妻精品一区二区三区麻豆| 91在线精品国自产拍蜜月| 欧美日韩亚洲国产一区二区在线观看| 日韩中文字幕欧美一区二区| 99九九线精品视频在线观看视频| 99久久成人亚洲精品观看| 九九在线视频观看精品| 久久久精品欧美日韩精品| 成人二区视频| 全区人妻精品视频| 最新在线观看一区二区三区| 成人高潮视频无遮挡免费网站| 一区福利在线观看| av女优亚洲男人天堂| 久久久久久久久中文| 亚洲国产精品sss在线观看| 亚洲av熟女| 久久久久久久久久久丰满 | 欧美黑人巨大hd| 国产 一区 欧美 日韩| 三级国产精品欧美在线观看| 欧美日韩乱码在线| 国产综合懂色| 亚洲经典国产精华液单| 国产午夜福利久久久久久| 亚洲一区高清亚洲精品| 窝窝影院91人妻| 色尼玛亚洲综合影院| 日本一本二区三区精品| 午夜日韩欧美国产| 免费无遮挡裸体视频| 国产精品综合久久久久久久免费| 高清日韩中文字幕在线| 嫩草影院新地址| 欧美xxxx性猛交bbbb| 淫妇啪啪啪对白视频| h日本视频在线播放| 国产三级在线视频| 有码 亚洲区| 日韩高清综合在线| 亚洲美女搞黄在线观看 | 成人一区二区视频在线观看| 亚洲国产高清在线一区二区三| 国产不卡一卡二| 欧美成人性av电影在线观看| 亚洲aⅴ乱码一区二区在线播放| 精品人妻一区二区三区麻豆 | 亚洲自拍偷在线| 日本 欧美在线| 精品一区二区三区av网在线观看| 久久久午夜欧美精品| 亚洲七黄色美女视频| 老女人水多毛片| 成人国产一区最新在线观看| 国产精品久久视频播放| 啦啦啦观看免费观看视频高清| 久久欧美精品欧美久久欧美| 女人十人毛片免费观看3o分钟| 国产色爽女视频免费观看| 97碰自拍视频| 免费大片18禁| 乱码一卡2卡4卡精品| 精品人妻偷拍中文字幕| 一区二区三区免费毛片| 亚洲性久久影院| 国产精品av视频在线免费观看| 毛片女人毛片| 国产精品99久久久久久久久| 免费不卡的大黄色大毛片视频在线观看 | 精品久久久久久久末码| a级一级毛片免费在线观看| 精品人妻视频免费看| 成人无遮挡网站| 国产精品电影一区二区三区| 国产蜜桃级精品一区二区三区| 国产真实乱freesex| 搞女人的毛片| 精品久久久久久久久av| 亚洲精品乱码久久久v下载方式| 午夜福利在线观看吧| 看片在线看免费视频| 精华霜和精华液先用哪个| 一边摸一边抽搐一进一小说| 欧美日韩国产亚洲二区| 亚洲国产欧洲综合997久久,| 国产精品久久久久久久久免| 91午夜精品亚洲一区二区三区 | 国产精品久久久久久久电影| 欧美一区二区亚洲| 人妻丰满熟妇av一区二区三区| 亚洲精品一区av在线观看| 欧美xxxx黑人xx丫x性爽| 亚洲av中文字字幕乱码综合| 香蕉av资源在线| 51国产日韩欧美| 黄色日韩在线| 免费大片18禁| 麻豆一二三区av精品| 少妇丰满av| 能在线免费观看的黄片| 黄色一级大片看看| 日韩强制内射视频| 淫妇啪啪啪对白视频| 亚洲精品日韩av片在线观看| 可以在线观看的亚洲视频| 人妻制服诱惑在线中文字幕| 久久精品综合一区二区三区| 精品久久久久久久久久免费视频| 在线观看一区二区三区| 很黄的视频免费| 一级黄色大片毛片| 一个人免费在线观看电影| 淫妇啪啪啪对白视频| 97人妻精品一区二区三区麻豆| 精品欧美国产一区二区三| 日韩,欧美,国产一区二区三区 | 欧美绝顶高潮抽搐喷水| 久久人人爽人人爽人人片va| 又爽又黄a免费视频| av天堂在线播放| 日韩欧美精品免费久久| 中国美白少妇内射xxxbb| 日韩欧美三级三区| 欧美高清性xxxxhd video| 老熟妇仑乱视频hdxx| 欧美在线一区亚洲| 成人永久免费在线观看视频| 精品久久国产蜜桃| 精品久久久久久久久久免费视频| eeuss影院久久| 可以在线观看的亚洲视频| 免费av不卡在线播放| 日韩强制内射视频| 免费在线观看日本一区| 在线免费观看的www视频| 欧美色欧美亚洲另类二区| 日本黄色视频三级网站网址| 欧美成人性av电影在线观看| 搡老熟女国产l中国老女人| 欧美黑人欧美精品刺激| 又爽又黄a免费视频| 国产午夜精品久久久久久一区二区三区 | 黄色视频,在线免费观看| 亚洲人成网站高清观看| 18禁黄网站禁片免费观看直播| 国产亚洲av嫩草精品影院| 国产免费男女视频| 我要看日韩黄色一级片| 成人精品一区二区免费| 国产国拍精品亚洲av在线观看| 亚洲av电影不卡..在线观看| 国产午夜精品久久久久久一区二区三区 | 99国产精品一区二区蜜桃av| 国产伦在线观看视频一区| 波多野结衣高清作品| 中文字幕免费在线视频6| 22中文网久久字幕| 男人的好看免费观看在线视频| 亚洲va日本ⅴa欧美va伊人久久| 变态另类丝袜制服| 精品一区二区三区av网在线观看| 一进一出好大好爽视频| 中文字幕免费在线视频6| av天堂在线播放| 久久久色成人| 国产午夜福利久久久久久| 免费人成视频x8x8入口观看| 熟妇人妻久久中文字幕3abv| 舔av片在线| 天堂网av新在线| 久久亚洲精品不卡| 人妻久久中文字幕网| 99国产极品粉嫩在线观看| 日韩亚洲欧美综合| 亚洲第一区二区三区不卡| 日韩av在线大香蕉| 免费av观看视频| 国产不卡一卡二| 性色avwww在线观看| 亚洲人成网站在线播| 欧美+日韩+精品| 一进一出好大好爽视频| 日韩 亚洲 欧美在线| av专区在线播放| 国产免费一级a男人的天堂| 久久精品综合一区二区三区| 在线看三级毛片| 国产毛片a区久久久久| 美女黄网站色视频| 丝袜美腿在线中文| 亚洲精品乱码久久久v下载方式| 国产一区二区三区视频了| 色哟哟·www| 老司机午夜福利在线观看视频| 变态另类成人亚洲欧美熟女| 国产av不卡久久| 久久99热6这里只有精品| 黄色配什么色好看| 97超视频在线观看视频| 18禁黄网站禁片午夜丰满| 搞女人的毛片| 美女黄网站色视频| 热99re8久久精品国产| 少妇熟女aⅴ在线视频| 国产精品久久久久久精品电影| 日韩亚洲欧美综合| 特级一级黄色大片| 精品乱码久久久久久99久播| 1024手机看黄色片| 免费看光身美女| 高清日韩中文字幕在线| 久久精品国产亚洲av天美| 精品人妻视频免费看| 亚洲欧美激情综合另类| 日韩人妻高清精品专区| 最近在线观看免费完整版| 全区人妻精品视频| 97热精品久久久久久| 久久久久国产精品人妻aⅴ院| 久久久精品欧美日韩精品| av专区在线播放| 十八禁网站免费在线| 尤物成人国产欧美一区二区三区| 九九久久精品国产亚洲av麻豆| 亚洲欧美激情综合另类| 自拍偷自拍亚洲精品老妇| 国产中年淑女户外野战色| 我的老师免费观看完整版| 亚洲欧美清纯卡通| 动漫黄色视频在线观看| 亚洲最大成人手机在线| 永久网站在线| 国产淫片久久久久久久久| 国产极品精品免费视频能看的| a在线观看视频网站| 亚洲av五月六月丁香网| 欧美在线一区亚洲| 一个人看的www免费观看视频| 欧美日韩乱码在线| 天堂av国产一区二区熟女人妻| 久久精品影院6| 精品一区二区三区av网在线观看| 国产亚洲91精品色在线| 国产精品电影一区二区三区| 久久精品综合一区二区三区| 欧美高清成人免费视频www| 国产欧美日韩精品亚洲av| 淫妇啪啪啪对白视频| 久久久久久久久久黄片| 啦啦啦观看免费观看视频高清| 亚洲自偷自拍三级| 免费观看精品视频网站| 少妇的逼好多水| 久久久久久久亚洲中文字幕| 亚州av有码| 久久人妻av系列| 国产私拍福利视频在线观看| 又黄又爽又刺激的免费视频.| 丰满的人妻完整版| 国产精品一区二区免费欧美| 久久精品影院6| 啦啦啦观看免费观看视频高清| 亚洲熟妇中文字幕五十中出| 联通29元200g的流量卡| 精品久久国产蜜桃| 亚洲精华国产精华液的使用体验 | 香蕉av资源在线| 国产又黄又爽又无遮挡在线| 国产高清视频在线观看网站| 日韩一区二区视频免费看| 亚洲熟妇熟女久久| 国产激情偷乱视频一区二区| 欧美性猛交╳xxx乱大交人| 国产亚洲精品av在线| 欧美性猛交╳xxx乱大交人| 韩国av一区二区三区四区| 狂野欧美激情性xxxx在线观看| 国产精品人妻久久久久久| 亚洲av日韩精品久久久久久密| 赤兔流量卡办理| 国产精品爽爽va在线观看网站| 色综合婷婷激情| 亚洲无线在线观看| av在线亚洲专区| 一个人免费在线观看电影| 亚洲欧美日韩东京热| 国产精品精品国产色婷婷| 国产成人一区二区在线| 欧美在线一区亚洲| 亚洲人成网站在线播放欧美日韩| 日韩亚洲欧美综合| 亚洲精品亚洲一区二区| 美女高潮的动态| 精品人妻视频免费看| 精品日产1卡2卡| 精品久久久久久久久亚洲 | 十八禁网站免费在线| 欧美最黄视频在线播放免费| 狂野欧美激情性xxxx在线观看| 搡老熟女国产l中国老女人| 制服丝袜大香蕉在线| 特级一级黄色大片| 一个人观看的视频www高清免费观看| h日本视频在线播放| 久久久久国内视频| 两个人的视频大全免费| 99热6这里只有精品| 2021天堂中文幕一二区在线观| 女人被狂操c到高潮| 久久精品国产自在天天线| 日韩欧美在线二视频| 国产精品一及| 亚洲三级黄色毛片| 亚洲性夜色夜夜综合| 老司机深夜福利视频在线观看| 亚洲七黄色美女视频| 国语自产精品视频在线第100页| 午夜老司机福利剧场| 永久网站在线| 亚洲人成伊人成综合网2020| www日本黄色视频网| 亚洲精品乱码久久久v下载方式| 99热网站在线观看| 欧美潮喷喷水| 我要搜黄色片| av福利片在线观看| 精品一区二区三区视频在线| 最好的美女福利视频网| 国产精品久久电影中文字幕| 88av欧美| 少妇的逼水好多| 乱人视频在线观看| 欧美不卡视频在线免费观看| 俺也久久电影网| 91久久精品电影网| 干丝袜人妻中文字幕| 午夜a级毛片| 观看免费一级毛片| 色综合站精品国产| 欧美日韩瑟瑟在线播放| 欧美成人一区二区免费高清观看| 18禁黄网站禁片午夜丰满| 欧美+亚洲+日韩+国产| 干丝袜人妻中文字幕| 热99在线观看视频| av在线老鸭窝| 男女边吃奶边做爰视频| 久久久久免费精品人妻一区二区| 成人午夜高清在线视频| 麻豆成人av在线观看| 国产欧美日韩一区二区精品| 日日啪夜夜撸| 麻豆av噜噜一区二区三区| 少妇丰满av| av在线老鸭窝| 亚洲av日韩精品久久久久久密| 内射极品少妇av片p| 亚洲精华国产精华精| 国产精品一区二区性色av| 狂野欧美白嫩少妇大欣赏| 成人三级黄色视频| 亚洲精品乱码久久久v下载方式| 亚洲精品色激情综合| 国产伦精品一区二区三区四那| 日韩欧美免费精品| 黄色日韩在线| 1024手机看黄色片| av在线观看视频网站免费| 国产单亲对白刺激| www.色视频.com| 窝窝影院91人妻| 一个人免费在线观看电影| 日本成人三级电影网站| 午夜爱爱视频在线播放| 深夜a级毛片| 中文字幕人妻熟人妻熟丝袜美| 变态另类丝袜制服| 国产免费男女视频| 成人无遮挡网站| 日本免费一区二区三区高清不卡| 成人二区视频| 国产私拍福利视频在线观看| 天堂av国产一区二区熟女人妻| 校园人妻丝袜中文字幕| 欧美区成人在线视频| 狂野欧美白嫩少妇大欣赏| 欧美日韩精品成人综合77777| 国产aⅴ精品一区二区三区波| 国产成人福利小说| 不卡视频在线观看欧美| 国产精华一区二区三区| 亚洲av中文av极速乱 | 长腿黑丝高跟| 国产成人一区二区在线| 一边摸一边抽搐一进一小说| 在线观看av片永久免费下载| 亚洲av不卡在线观看| 久久99热这里只有精品18| av专区在线播放| 欧美成人性av电影在线观看| 成年女人看的毛片在线观看| aaaaa片日本免费| 久久亚洲精品不卡| 可以在线观看毛片的网站| 最近中文字幕高清免费大全6 | 天天躁日日操中文字幕| 国产一级毛片七仙女欲春2| 国产中年淑女户外野战色| 成人国产麻豆网| 成人欧美大片| 成人午夜高清在线视频| 国产精品一区二区性色av| 成人二区视频| 免费不卡的大黄色大毛片视频在线观看 | 免费看光身美女| 国产亚洲精品久久久com| 国产精品福利在线免费观看| 老师上课跳d突然被开到最大视频| 久久久久久久午夜电影| 欧美激情久久久久久爽电影| 亚洲av免费高清在线观看| 久久人人精品亚洲av| 99久久成人亚洲精品观看| a级毛片a级免费在线| av福利片在线观看| 午夜激情福利司机影院| 国产免费av片在线观看野外av| 成人精品一区二区免费| 亚洲精品影视一区二区三区av| 成人毛片a级毛片在线播放| 亚洲av电影不卡..在线观看| 精品久久久久久久久av| 伦理电影大哥的女人| 能在线免费观看的黄片| 一区福利在线观看| a级一级毛片免费在线观看| 99久久无色码亚洲精品果冻| 国产乱人视频| 国产精品永久免费网站| 露出奶头的视频| 男人舔奶头视频| 国产精品永久免费网站| or卡值多少钱| 熟女电影av网| 免费看av在线观看网站| 精品午夜福利在线看| 两性午夜刺激爽爽歪歪视频在线观看| 日本欧美国产在线视频| 久久国产乱子免费精品| 亚洲三级黄色毛片| 亚洲aⅴ乱码一区二区在线播放| 成人毛片a级毛片在线播放| 国产精品久久电影中文字幕| a级毛片免费高清观看在线播放| av福利片在线观看| 99热这里只有是精品在线观看| 97超视频在线观看视频| 国产探花极品一区二区| 久久久色成人| 男人舔女人下体高潮全视频| 少妇的逼水好多| 性色avwww在线观看| 村上凉子中文字幕在线| 午夜精品一区二区三区免费看| 两个人视频免费观看高清| ponron亚洲| 日本三级黄在线观看| 亚洲最大成人av| 一个人看的www免费观看视频| 精品无人区乱码1区二区| 99久久中文字幕三级久久日本| 欧美+日韩+精品| 精品一区二区三区视频在线| 国产高清激情床上av| 国产亚洲精品综合一区在线观看| 亚洲精品久久国产高清桃花| 精品久久久久久,| 啦啦啦观看免费观看视频高清| 日韩av在线大香蕉| 亚洲精品在线观看二区| 99热这里只有是精品50| 欧美一区二区亚洲| 在线天堂最新版资源| 国产精品久久久久久久久免| 亚洲国产欧美人成| 国产亚洲精品久久久久久毛片| 蜜桃亚洲精品一区二区三区| 国国产精品蜜臀av免费| 99视频精品全部免费 在线| 国内精品久久久久久久电影| 久久久久久久久久黄片| 国产伦一二天堂av在线观看| 亚洲国产精品成人综合色| 永久网站在线| 麻豆精品久久久久久蜜桃| 国产精品福利在线免费观看| 别揉我奶头 嗯啊视频| 久久精品影院6| av在线亚洲专区| 男女之事视频高清在线观看| 亚洲色图av天堂| 色精品久久人妻99蜜桃| 久久久久久九九精品二区国产| 老司机午夜福利在线观看视频| 国产成年人精品一区二区| netflix在线观看网站| 国产精品女同一区二区软件 |