• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    Hadoop副本放置策略

    2013-11-26 01:50:32邵秀麗王亞光李云龍劉一偉
    智能系統(tǒng)學(xué)報(bào) 2013年6期
    關(guān)鍵詞:閥值副本使用率

    邵秀麗,王亞光,李云龍,劉一偉

    (1.南開(kāi)大學(xué) 信息技術(shù)科學(xué)學(xué)院,天津300071;2.北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院,北京100871)

    為提高系統(tǒng)的可靠性,解決不可預(yù)知的災(zāi)難以及硬件錯(cuò)誤對(duì)系統(tǒng)造成的損失,云存儲(chǔ)系統(tǒng)采用分布式副本技術(shù)來(lái)存儲(chǔ)數(shù)據(jù).

    哥倫比亞大學(xué)的Ko等[1]提出了一種自穩(wěn)定、全分布、異步可升級(jí)的算法來(lái)放置副本,算法的目標(biāo)是在網(wǎng)絡(luò)中的結(jié)點(diǎn)上放置數(shù)據(jù)對(duì)象的多個(gè)副本,從網(wǎng)絡(luò)中的任意一個(gè)結(jié)點(diǎn)出發(fā)都能夠通過(guò)最短的路徑訪問(wèn)到任意的副本;加州大學(xué)伯克利分校的Chen等[2]開(kāi)發(fā)設(shè)計(jì)了一個(gè)動(dòng)態(tài)、高效及可升級(jí)的內(nèi)容分發(fā)網(wǎng)絡(luò)SCAN(sealable content aeeess network).SCAN 采用Testry進(jìn)行路由和定位,使用沿路緩存算法進(jìn)行副本放置;德克薩斯大學(xué)的MadhukarR等提出了一種協(xié)作的緩存放置算法[3],即給定一組協(xié)作的緩存、緩存之間的網(wǎng)絡(luò)距離以及從每個(gè)緩存到每個(gè)對(duì)象的訪問(wèn)頻率的預(yù)測(cè),決定在哪里放置對(duì)象,從而使平均訪問(wèn)開(kāi)銷最小化;Karger等[4]提出了能適應(yīng)節(jié)點(diǎn)數(shù)量的動(dòng)態(tài)變化的一致性哈希算法,但它只適用于存儲(chǔ)節(jié)點(diǎn)同構(gòu)的情況,當(dāng)節(jié)點(diǎn)的存儲(chǔ)容量和處理能力有差異時(shí),數(shù)據(jù)將不能夠均勻地分布到系統(tǒng)當(dāng)中.

    云存儲(chǔ)系統(tǒng)的典型代表是Hdfs[5],它需將每個(gè)存儲(chǔ)數(shù)據(jù)塊的副本放置在多個(gè)機(jī)架的多個(gè)節(jié)點(diǎn)上,存儲(chǔ)數(shù)據(jù)塊的副本放置策略將直接影響數(shù)據(jù)存儲(chǔ)的均衡性以及訪問(wèn)數(shù)據(jù)塊的速度.Hdfs系統(tǒng)采用隨機(jī)選擇節(jié)點(diǎn)的副本放置策略,該策略在系統(tǒng)運(yùn)行一段時(shí)間后會(huì)造成數(shù)據(jù)分布不均衡的問(wèn)題,降低數(shù)據(jù)的可靠性和讀取性能.因此,本文提出了基于節(jié)點(diǎn)使用率選擇存儲(chǔ)節(jié)點(diǎn)的Hdfs副本放置策略的改進(jìn)算法,引入了客戶端存儲(chǔ)閾值,允許副本在放置過(guò)程中穿越多個(gè)機(jī)架,以實(shí)現(xiàn)各節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的相對(duì)均衡,實(shí)驗(yàn)驗(yàn)證了改進(jìn)策略的有效性.

    1 副本放置策略的相關(guān)概念

    內(nèi)容為研究Hdfs的副本放置策略,先介紹相關(guān)概念如下:

    1)獲取集群信息:Hdfs的NetworkTopology類實(shí)現(xiàn)對(duì)其拓?fù)浣Y(jié)構(gòu)的操縱,該類中包含添加、刪除和獲取節(jié)點(diǎn)信息等函數(shù).比如,Hdfs通過(guò)調(diào)用NetworkTopology類的chooseRandom來(lái)隨機(jī)獲取一個(gè)節(jié)點(diǎn)的信息,通過(guò)調(diào)用getNumOfLeaves來(lái)獲取所有節(jié)點(diǎn)的數(shù)目.

    2)集群拓?fù)?機(jī)架與節(jié)點(diǎn)):將Hdfs部署在多臺(tái)服務(wù)器上就形成了一個(gè)Hdfs的集群.如樹(shù)狀拓?fù)浣Y(jié)構(gòu)的Hdfs集群,樹(shù)根是一個(gè)大型交換機(jī),交換機(jī)之下可以是多個(gè)二級(jí)交換機(jī),可以把每一個(gè)二級(jí)交換機(jī)設(shè)置為一個(gè)機(jī)架,每個(gè)機(jī)架之下連接多個(gè)節(jié)點(diǎn).

    Hdfs管理員可編寫腳本文件來(lái)配置每個(gè)節(jié)點(diǎn)屬于哪一個(gè)機(jī)架.在進(jìn)行機(jī)架配置時(shí),應(yīng)將相同交換機(jī)下的節(jié)點(diǎn)設(shè)置為同一個(gè)機(jī)架就可實(shí)現(xiàn)合理的配置.

    一般把組成Hdfs集群的每一個(gè)服務(wù)器稱為一個(gè)節(jié)點(diǎn),對(duì)文件讀寫的客戶端而言,其所在節(jié)點(diǎn)稱為本地節(jié)點(diǎn),其他節(jié)點(diǎn)為遠(yuǎn)程節(jié)點(diǎn).就某一具體節(jié)點(diǎn)而言,稱該節(jié)點(diǎn)所在的機(jī)架為本地機(jī)架,其他機(jī)架為遠(yuǎn)程機(jī)架.

    3)隨機(jī)函數(shù):Hdfs的NetworkTopology類中有保存所有節(jié)點(diǎn)信息的ArrayList.Hdfs在選擇副本放置位置時(shí),調(diào)用隨機(jī)選擇函數(shù)chooseRandom,從n中隨機(jī)選擇一個(gè)數(shù)對(duì)應(yīng)ArrayList中的節(jié)點(diǎn)就被選中為副本存儲(chǔ)的節(jié)點(diǎn).該函數(shù)是只有2個(gè)參數(shù)的重載函數(shù),第1個(gè)參數(shù)是選擇節(jié)點(diǎn)的范圍,它可以是某個(gè)機(jī)架,默認(rèn)為整個(gè)集群;第2個(gè)參數(shù)是不能選擇節(jié)點(diǎn)的范圍,默認(rèn)為空,可以設(shè)置為某個(gè)機(jī)架.

    4)Hdfs在進(jìn)行副本選擇過(guò)程中,有可能出現(xiàn)參數(shù)不合格或內(nèi)存異常等現(xiàn)象,一旦出現(xiàn)運(yùn)行異常,chooseRandom函數(shù)就會(huì)把異常信息返回客戶端該函數(shù)的調(diào)用者.

    2 Hdfs默認(rèn)副本放置策略

    如圖1所示,Hdfs的副本放置策略是將每一個(gè)數(shù)據(jù)項(xiàng)的副本放置在多個(gè)節(jié)點(diǎn)上.在客戶端運(yùn)行的節(jié)點(diǎn)上放置第1個(gè)副本,在客戶端的遠(yuǎn)程機(jī)架上隨機(jī)選擇一個(gè)節(jié)點(diǎn)放置第2個(gè)副本,在第2個(gè)副本所在機(jī)架上隨機(jī)選擇一個(gè)節(jié)點(diǎn)放置第3個(gè)副本.

    圖1 副本放置策略Fig.1 The placement policy of duplication

    分布式文件系統(tǒng)[6-7]的副本放置策略確定每一個(gè)數(shù)據(jù)塊應(yīng)該存放的位置,數(shù)據(jù)塊與節(jié)點(diǎn)之間的關(guān)聯(lián)被記錄在數(shù)據(jù)塊與節(jié)點(diǎn)關(guān)聯(lián)表中,數(shù)據(jù)塊最終會(huì)被存放在存儲(chǔ)層的各個(gè)節(jié)點(diǎn)上.

    2.1 Hdfs默認(rèn)副本放置策略的流程

    Hdfs的分塊存儲(chǔ)文件在選擇副本放置位置時(shí),綜合考慮了數(shù)據(jù)存儲(chǔ)的可靠性、數(shù)據(jù)讀寫的帶寬和負(fù)載均衡等因素.如將一個(gè)數(shù)據(jù)塊所有副本都存儲(chǔ)在一個(gè)節(jié)點(diǎn)上,則存儲(chǔ)過(guò)程中所占用的帶寬是最小的,因?yàn)檫@可以減少數(shù)據(jù)塊的網(wǎng)絡(luò)傳輸,但該方案不提供有效的冗余備份,一旦該節(jié)點(diǎn)發(fā)生故障,則該節(jié)點(diǎn)中存儲(chǔ)的這一數(shù)據(jù)塊及其所有副本都會(huì)丟失.因此,Hdfs對(duì)任意一數(shù)據(jù)塊不在同一個(gè)節(jié)點(diǎn)上放置多個(gè)副本,而是將副本盡可能分散存放[8-9].圖2給出了Hdfs默認(rèn)的副本放置策略流程,其中標(biāo)注了本文所實(shí)現(xiàn)的對(duì)副本放置策略的改進(jìn)工作,Hdfs默認(rèn)的副本放置策略選擇3個(gè)節(jié)點(diǎn),可以選擇多個(gè)節(jié)點(diǎn)放置副本.

    圖2 默認(rèn)副本放置策略Fig.2 The flowchart of default replica placement

    1)HdFs副本放置策略是調(diào)用ReplicationTarget-Chooser類的chooseTargrt函數(shù)來(lái)實(shí)現(xiàn)的.開(kāi)始使用NetworkTopology類的contains函數(shù),contains函數(shù)通過(guò)判斷客戶端所在根節(jié)點(diǎn)與集群的根節(jié)點(diǎn)是否一致來(lái)判斷客戶端是否在集群中.

    2)如果客戶端是集群中的一個(gè)節(jié)點(diǎn),則調(diào)用ReplicationTargetChooser類的 chooseLocalNode函數(shù)來(lái)嘗試選擇客戶端節(jié)點(diǎn)作為第1個(gè)節(jié)點(diǎn).

    3)客戶端存儲(chǔ)嘗試失敗時(shí)則調(diào)用ReplicationTargetChooserchooser類的chooseLocalRack函數(shù),在客戶端節(jié)點(diǎn)所在機(jī)架隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為第1個(gè)節(jié)點(diǎn),然后將這個(gè)節(jié)點(diǎn)的信息傳給ReplicationTargetChooserchooser類中的chooseTargrt函數(shù),且將這個(gè)節(jié)點(diǎn)的信息記錄在ReplicationTargetChooserchooser類中的一個(gè)DatanodeDescriptor類型的數(shù)組results中.

    4)如果客戶端不是集群中的節(jié)點(diǎn),則使用ReplicationTargetChooser類的chooseRandom函數(shù)在集群中隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為第1個(gè)節(jié)點(diǎn),且將這個(gè)選擇的節(jié)點(diǎn)記錄在數(shù)組results中.

    5)ReplicationTargetChooser類的chooseRemoteRack函數(shù)在第1個(gè)節(jié)點(diǎn)的遠(yuǎn)程機(jī)架上隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為第2個(gè)節(jié)點(diǎn).如果在遠(yuǎn)程機(jī)架上選擇節(jié)點(diǎn)失敗,則使用ReplicationTargetChooser類的chooseLocalRack函數(shù)在第1個(gè)節(jié)點(diǎn)的本地機(jī)架上隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為第2個(gè)節(jié)點(diǎn).將第2個(gè)節(jié)點(diǎn)記錄在ReplicationTargetChooserchooser類中DatanodeDescriptor下的數(shù)組results中.

    6)選擇第3個(gè)節(jié)點(diǎn),如果前2個(gè)節(jié)點(diǎn)是在同一個(gè)機(jī)架上,則使用 ReplicationTargetChooser類的chooseRemoteRack函數(shù)在前2個(gè)節(jié)點(diǎn)的遠(yuǎn)程機(jī)架上選擇一個(gè)節(jié)點(diǎn).如果所選擇的前2個(gè)節(jié)點(diǎn)并不在同一個(gè)機(jī)架上面,則使用ReplicationTargetChooser類的chooseLocalRack函數(shù)在第2個(gè)節(jié)點(diǎn)的本地機(jī)架上隨機(jī)選擇一個(gè)節(jié)點(diǎn)作為第3個(gè)節(jié)點(diǎn),且存儲(chǔ)第3個(gè)節(jié)點(diǎn)信息在數(shù)組results中.

    7)最終將results中的所有節(jié)點(diǎn)返回給副本選擇函數(shù)的調(diào)用者.

    2.2 Hdfs副本放置策略的缺陷

    Hdfs默認(rèn)副本放置策略綜合考慮了多方面的因素,在可靠性、讀寫效率,負(fù)載均衡方面都做了一定的權(quán)衡,是一個(gè)比較優(yōu)秀的副本放置策略,但Hdfs采用隨機(jī)選擇的副本放置策略.該策略沒(méi)有考慮到節(jié)點(diǎn)負(fù)載的情況,在數(shù)據(jù)均衡方面比較薄弱,這使數(shù)據(jù)損壞時(shí)需要恢復(fù)的數(shù)據(jù)塊數(shù)量可能會(huì)很多,數(shù)據(jù)讀取的速度會(huì)受到影響等問(wèn)題.

    針對(duì)這一問(wèn)題,Hdfs提供了解決方案——均衡器[10].均衡器(balancer)是一個(gè)Hdfs的守護(hù)進(jìn)程,啟動(dòng)之后,它會(huì)將數(shù)據(jù)塊從負(fù)載較高的節(jié)點(diǎn)移到相對(duì)空閑的節(jié)點(diǎn),從而達(dá)到重新分配數(shù)據(jù)塊的目的,最終達(dá)到整個(gè)集群的數(shù)據(jù)塊分布均衡.在數(shù)據(jù)塊重新分配的過(guò)程中,均衡器會(huì)盡量將一個(gè)數(shù)據(jù)塊的復(fù)本分散到不同機(jī)架,以提高數(shù)據(jù)塊的冗余,降低數(shù)據(jù)損壞的可能性.

    Hdfs集群的管理員決定是否啟動(dòng)均衡器,啟動(dòng)后,會(huì)根據(jù)管理員設(shè)定的閥值來(lái)對(duì)集群進(jìn)行均衡處理.閥值是每個(gè)節(jié)點(diǎn)的使用率(該節(jié)點(diǎn)上已經(jīng)使用的空間和節(jié)點(diǎn)的空間容量之間的比值)和集群的使用率(集群中已使用的空間和集群的空間容量之間的比值)之間的差值,默認(rèn)的閥值是10%,管理員在啟動(dòng)均衡器的時(shí)候,可以指定閥值的大小.在任何時(shí)刻,集群中只能運(yùn)行一個(gè)均衡器.

    均衡器雖然可以解決數(shù)據(jù)塊分布不均衡的問(wèn)題,但是存在著明顯的問(wèn)題:

    1)均衡器對(duì)于集群數(shù)據(jù)塊均衡的調(diào)節(jié)具有滯后性,它必須要在系統(tǒng)的不均衡狀況超過(guò)閥值之后,才會(huì)進(jìn)行調(diào)節(jié).

    2)均衡器的運(yùn)行和數(shù)據(jù)塊的移動(dòng)需要耗費(fèi)一定的資源,很可能一個(gè)數(shù)據(jù)塊剛剛寫入到集群中,就因?yàn)榫庑远灰苿?dòng),這種情況下集群的資源使用是很低效的.

    3 Hdfs副本放置策略的改進(jìn)

    Hdfs默認(rèn)的副本放置策略存在的不足,以及Hdfs提供的均衡器存在一些不盡人意的地方,本文提出了對(duì)其改進(jìn)的低使用率優(yōu)先(low rate first)副本放置策略.

    3.1 改進(jìn)副本放置的流程

    圖3是副本放置改進(jìn)策略的流程.

    圖3 基于3副本放置策略的改進(jìn)Fig.3 The improved placement strategy based on three replicas

    1)考慮到數(shù)據(jù)寫入帶寬問(wèn)題,依然在客戶端所在的節(jié)點(diǎn)上寫入第1個(gè)副本,但考慮了該節(jié)點(diǎn)的負(fù)載情況,即如果本地節(jié)點(diǎn)的負(fù)載超過(guò)了管理員指定的閥值,則選擇集群中使用率較低的節(jié)點(diǎn)來(lái)放置副本.

    2)除第1個(gè)副本在閥值滿足的情況下放在本地節(jié)點(diǎn)上之外,其余所有的副本放置位置的選擇,都是采用優(yōu)先選擇集群中比較空閑的節(jié)點(diǎn)的方式,以避免在負(fù)載較高的節(jié)點(diǎn)上繼續(xù)存儲(chǔ)數(shù)據(jù).

    3)為提高數(shù)據(jù)塊的冗余,盡可能地將數(shù)據(jù)存儲(chǔ)在至少2個(gè)機(jī)架上,本地機(jī)架上存儲(chǔ)第1個(gè)副本,第2個(gè)副本選擇與第1個(gè)節(jié)點(diǎn)不同的機(jī)架進(jìn)行存儲(chǔ).因?yàn)镠dfs是一次寫入、多次讀取的設(shè)計(jì)思想,在數(shù)據(jù)寫入的時(shí)候穿越多個(gè)機(jī)架,雖然寫入帶寬可能會(huì)有所降低,但是提高了集群的數(shù)據(jù)塊分布均衡,有利于文件的讀取和程序的運(yùn)行.

    4)為提高數(shù)據(jù)的冗余,保持每個(gè)節(jié)點(diǎn)只存儲(chǔ)一個(gè)副本的規(guī)則.Hdfs的默認(rèn)副本放置策略是一個(gè)節(jié)點(diǎn)最多放置一個(gè)副本,如果副本的數(shù)量超過(guò)節(jié)點(diǎn)的總數(shù),則集群中最多只放置與節(jié)點(diǎn)同樣數(shù)目的副本.低使用率優(yōu)先的放置策略依然堅(jiān)持這個(gè)原則,每個(gè)節(jié)點(diǎn)最多只放置一個(gè)副本.

    盡管當(dāng)發(fā)生故障時(shí),此策略會(huì)影響恢復(fù)數(shù)據(jù)速度,而且每存儲(chǔ)一個(gè)副本時(shí)都需要調(diào)用函數(shù)獲取節(jié)點(diǎn)信息,并判斷該節(jié)點(diǎn)是否可以存儲(chǔ)副本,這會(huì)降低運(yùn)行速度及安全性.但考慮到Hdfs默認(rèn)放置策略的副本放置的最終狀態(tài)很難被控制,它在數(shù)據(jù)均衡方面的缺點(diǎn)比較明顯,而這會(huì)帶來(lái)一系列的問(wèn)題,比如數(shù)據(jù)損壞時(shí)需要恢復(fù)的數(shù)據(jù)塊數(shù)量可能會(huì)有很多,數(shù)據(jù)讀取的速度可能會(huì)受到影響等因素,本文提出的對(duì)于Hdfs默認(rèn)副本放置策略的改進(jìn)方法有相對(duì)優(yōu)勢(shì).

    3.2 改進(jìn)策略實(shí)現(xiàn)的核心類

    副本放置改進(jìn)策略會(huì)優(yōu)先考慮在使用率比較低的節(jié)點(diǎn)上放置數(shù)據(jù),這通過(guò)對(duì)Hdfs中負(fù)責(zé)副本放置節(jié)點(diǎn)選擇的類ReplicationTargetChooser的改進(jìn)來(lái)完成;該類在Hdfs中的作用是當(dāng)有新增數(shù)據(jù)塊或數(shù)據(jù)塊位置變動(dòng)的時(shí)候,NameNode會(huì)調(diào)用該類來(lái)確定數(shù)據(jù)塊放置的位置.ReplicationTargetChooser類使用chooseTarget函數(shù)來(lái)選擇副本放置的節(jié)點(diǎn),圖4描述了放置k個(gè)副本重寫chooseTarget函數(shù)來(lái)實(shí)現(xiàn)的策略改進(jìn).

    圖4 基于K副本放置策略的改進(jìn)Fig.4 The improved placement strategy based on K replicas

    1)函數(shù)的初始化階段:首先調(diào)用NetworkTopology類中的getNumOfLeaves函數(shù)來(lái)獲取集群的大小,控制副本數(shù)目不超過(guò)集群的大小,如果設(shè)置的副本的數(shù)目超過(guò)集群的大小,則設(shè)置副本數(shù)目為集群大小.

    2)管理員可設(shè)置本地節(jié)點(diǎn)閥值,默認(rèn)值為0.1,改進(jìn)后的Hdfs在配置文件中為用戶設(shè)置閥值提供了接口,在 Hdfs.xml文件中可以通過(guò)為 dfs.replication.threshold設(shè)置值來(lái)實(shí)現(xiàn)閥值的控制,閥值的范圍在0~1,0表示本地節(jié)點(diǎn)的使用率必須小于等于集群的使用率才會(huì)在本地節(jié)點(diǎn)上放置數(shù)據(jù)塊的副本;1表示不考慮使用率,一定要在本地節(jié)點(diǎn)上放置數(shù)據(jù)塊的副本.

    3)使用 Configuration類的getFloat函數(shù)配置文件中的閥值.但如果用戶沒(méi)有設(shè)置閥值或者設(shè)置的閥值不合理,chooseTarget函數(shù)依然使用默認(rèn)閥值進(jìn)行副本的選擇.

    4)在重寫的chooseTarget函數(shù)中需定義一個(gè)DataNodeDescriptor類型的數(shù)組DN來(lái)存儲(chǔ)全部節(jié)點(diǎn)的信息,DataNodeDescriptor是Hdfs中用于描述DataNode信息的類,chooseTarget函數(shù)可以通過(guò)操縱DataNodeDescriptor的對(duì)象來(lái)獲取一個(gè)節(jié)點(diǎn)的信息,包括節(jié)點(diǎn)ID、節(jié)點(diǎn)名稱、節(jié)點(diǎn)全部存儲(chǔ)空間和節(jié)點(diǎn)已經(jīng)使用的存儲(chǔ)空間等.另外,還需定義DataNode-Descriptor類型的數(shù)組results來(lái)存儲(chǔ)已選擇的節(jié)點(diǎn),同時(shí)定義集群的存儲(chǔ)空間使用率Usage.

    5)使用NetworkTopology類中的getLeaf函數(shù)可以獲取集群中所有節(jié)點(diǎn)的信息,將返回的所有節(jié)點(diǎn)信息存儲(chǔ)在數(shù)組DN中,然后可以根據(jù)DN中的信息計(jì)算集群的整體存儲(chǔ)空間的使用率Usage.在獲取所有節(jié)點(diǎn)信息之后,并不對(duì)數(shù)組DN進(jìn)行任何處理,比如排序、建堆等.雖然考慮到后面的算法中需要多次取得DN中使用率最小的節(jié)點(diǎn),但考慮客戶端和不同機(jī)架,因此該問(wèn)題又與經(jīng)典TopK問(wèn)題相似且稍有不同.一般副本個(gè)數(shù)K默認(rèn)為3,如果在客戶端上放置一個(gè)副本,選擇另外2個(gè)副本的計(jì)算復(fù)雜度為O(2N -3).

    6)初始化后選擇節(jié)點(diǎn),先通過(guò)Hdfs調(diào)用chooseTarget函數(shù),使用NetworkTopology類中的contains函數(shù)判斷客戶端節(jié)點(diǎn)是否在集群中,如果不在,則不在客戶端上放置副本.否則還需進(jìn)一步判斷客戶端節(jié)點(diǎn)的使用率與集群使用率的差值,如果差值小于閥值,則在客戶端上放置第1個(gè)副本,否則不在客戶端上放置副本.使用ReplicationTargetChooser類的is-GoodTarget判斷客戶端節(jié)點(diǎn)是否可用,才能確定是否在客戶端節(jié)點(diǎn)上放置一個(gè)數(shù)據(jù)塊.

    7)如果客戶端不可用,則在DN中選擇使用率最低的節(jié)點(diǎn)來(lái)嘗試放置副本,如節(jié)點(diǎn)不可用,則將該節(jié)點(diǎn)標(biāo)記為暫時(shí)不可選擇,然后繼續(xù)在其他節(jié)點(diǎn)中選擇一個(gè)使用率最低的節(jié)點(diǎn),直到選擇到合適的節(jié)點(diǎn)為止.

    8)機(jī)架數(shù)目對(duì)副本放置節(jié)點(diǎn)的算法有一定的影響,使用NetworkTopology類的getNumOfRacks函數(shù)來(lái)獲取機(jī)架的數(shù)目,則在DN中選擇一個(gè)使用率最小的節(jié)點(diǎn)作為第1個(gè)副本放置的節(jié)點(diǎn).選擇第1個(gè)節(jié)點(diǎn)后,將其從DN中移除,加入到results數(shù)組中.

    9)在選擇第2個(gè)節(jié)點(diǎn)的時(shí)候,在DN中選擇使用率最小的節(jié)點(diǎn),然后使用 NetworkTopology類的isOnSameRack函數(shù)判斷它與選取的第1個(gè)節(jié)點(diǎn)是否在相同的機(jī)架上.如果這2個(gè)節(jié)點(diǎn)不在一個(gè)機(jī)架上,則選擇這個(gè)節(jié)點(diǎn)作為第2個(gè)副本存放的節(jié)點(diǎn),否則,重新選擇DN中其他節(jié)點(diǎn)中使用率最小的節(jié)點(diǎn),直到找到這樣的節(jié)點(diǎn)為止.選擇第2個(gè)節(jié)點(diǎn)之后,將其從記錄未被選擇節(jié)點(diǎn)的數(shù)組DN中移除,加入到記錄已選擇節(jié)點(diǎn)的數(shù)組results中.

    10)繼續(xù)上述步驟選擇其他節(jié)點(diǎn).

    11)函數(shù)執(zhí)行過(guò)程中,使用java中的try來(lái)嘗試運(yùn)行,若chooseTarget函數(shù)的運(yùn)行沒(méi)有出現(xiàn)異常,則最終將存儲(chǔ)已選擇節(jié)點(diǎn)的數(shù)組results返回給函數(shù)的調(diào)用者.若執(zhí)行過(guò)程中出現(xiàn)不可處理的異常,則在catch語(yǔ)句中處理異常,返回客戶端節(jié)點(diǎn).

    4 實(shí)驗(yàn)結(jié)果與分析

    為了比較Hdfs默認(rèn)的和本文改進(jìn)的副本放置策略,本文實(shí)現(xiàn)了由2部分組成的測(cè)試程序:1)負(fù)責(zé)模擬一個(gè)節(jié)點(diǎn)運(yùn)行的DataNode類,該類記錄了模擬節(jié)點(diǎn)的惟一標(biāo)識(shí)、容量、使用量、數(shù)據(jù)塊數(shù)量以及機(jī)架標(biāo)識(shí);2)模擬系統(tǒng)運(yùn)行的NameNode類,包括對(duì)于Data-Node的初始化、設(shè)置閥值、設(shè)置副本放置策略和數(shù)據(jù)寫入等內(nèi)容的模擬.在模擬的過(guò)程中,并不進(jìn)行真實(shí)的數(shù)據(jù)的讀寫,只是對(duì)于數(shù)據(jù)讀寫后的結(jié)果進(jìn)行模擬記錄.在NameNode類中初始化所有的節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)初始的容量是1 T,used和blockNum被設(shè)置為0.該程序模擬寫入過(guò)程,設(shè)置寫入數(shù)據(jù)塊的大小和模擬數(shù)據(jù)的分塊.對(duì)于每一個(gè)劃分的數(shù)據(jù)塊,程序運(yùn)行相應(yīng)的副本放置策略函數(shù),選擇3個(gè)節(jié)點(diǎn)用于放置劃分的數(shù)據(jù)塊.然后循環(huán)處理直到數(shù)據(jù)塊的寫入完成.

    寫入所有數(shù)據(jù)后,可根據(jù)模擬節(jié)點(diǎn)的使用情況計(jì)算不同的副本放置策略的數(shù)據(jù)存儲(chǔ)均衡性.本文使用標(biāo)準(zhǔn)差來(lái)衡量副本放置的均衡性,所使用的數(shù)據(jù)是所有DataNode的使用率,也就是每個(gè)節(jié)點(diǎn)的使用容量used與總?cè)萘縞apacity之間的比值.設(shè)集群中一共有n個(gè)節(jié)點(diǎn),所有節(jié)點(diǎn)的使用率分別為X1,X2,..,Xn-1,Xn.節(jié)點(diǎn)使用率的平均值X2+…+Xn-1+Xn)/n,標(biāo)準(zhǔn)差

    本文實(shí)驗(yàn)一測(cè)試了機(jī)架數(shù)目對(duì)于算法的影響,分別使用默認(rèn)的策略和改進(jìn)后的策略,模擬測(cè)試在500個(gè)節(jié)點(diǎn)上寫入大小不同的數(shù)據(jù)后,系統(tǒng)的存儲(chǔ)均衡情況,寫入文件大小為100 G條件下的節(jié)點(diǎn)使用率的標(biāo)準(zhǔn)差.

    從圖5中可以看出,對(duì)于默認(rèn)的副本放置策略,機(jī)架數(shù)目在3個(gè)以內(nèi)的時(shí)候,機(jī)架的個(gè)數(shù)對(duì)于系統(tǒng)的均衡性會(huì)有一定的影響,但是差別在0.02%以內(nèi).當(dāng)機(jī)架數(shù)目超過(guò)3個(gè)以后,機(jī)架數(shù)目對(duì)于系統(tǒng)均衡性的影響會(huì)在0.005%以內(nèi).而對(duì)于改進(jìn)后的副本放置策略,機(jī)架的數(shù)目對(duì)于集群的均衡性影響會(huì)變得更小,在0.002%以內(nèi).所以,機(jī)架的個(gè)數(shù)對(duì)于2種副本放置策略的影響都很小.通過(guò)圖5可以看出,改進(jìn)后的副本放置策略受到的影響更小,在不同機(jī)架個(gè)數(shù)情況下,都有更好的均衡性.

    圖5 機(jī)架數(shù)目對(duì)于算法的影響Fig.5 The impact of the algorithm based on the number of rack

    實(shí)驗(yàn)二測(cè)試隨著寫入數(shù)據(jù)的增加,不同副本放置策略下集群存儲(chǔ)的均衡性.實(shí)驗(yàn)選擇在500個(gè)節(jié)點(diǎn)、5個(gè)機(jī)架的條件下,分別使用默認(rèn)的副本放置策略和改進(jìn)后的副本放置策略,寫入 1 G、10 G、100 G、1 T、10 T和100 T的數(shù)據(jù),測(cè)試集群的副本均衡情況.

    根據(jù)圖6顯示,使用改進(jìn)后的副本放置策略進(jìn)行副本放置位置的選擇,集群中數(shù)據(jù)塊的均衡性明顯好于使用默認(rèn)的副本放置策略,在數(shù)據(jù)量比較小的時(shí)候這種優(yōu)勢(shì)還不太明顯,但是在數(shù)據(jù)量比較大的時(shí)候,改進(jìn)后的策略的好處就會(huì)更加明顯.可見(jiàn),改進(jìn)后的副本放置策略,在數(shù)據(jù)塊的均衡性方面有更加良好的表現(xiàn).

    圖6 存儲(chǔ)數(shù)據(jù)量對(duì)于算法的影響Fig.6 The impact of the algorithm based on

    本文提出的放置策略需獲取集群中所有節(jié)點(diǎn)的信息,且將其存儲(chǔ)在一個(gè)DataNodeDescriptor數(shù)組中,從而增加了時(shí)間和空間的開(kāi)銷.另外要計(jì)算集群的整體使用率與選擇集群中使用率較小的節(jié)點(diǎn),增加了線性的開(kāi)銷.

    5 結(jié)束語(yǔ)

    本文基于節(jié)點(diǎn)存儲(chǔ)率對(duì)Hdfs中負(fù)責(zé)副本放置節(jié)點(diǎn)選擇的類ReplicationTargetChooser進(jìn)行了改進(jìn),并部署了簡(jiǎn)單實(shí)際環(huán)境進(jìn)行了實(shí)驗(yàn),由于其實(shí)際環(huán)境受物理設(shè)備和其他異構(gòu)條件等各種客觀因素的影響不大,所以,本文所提方案提高了Hdfs的數(shù)據(jù)塊放置的均衡性.但本文所提出的副本放置策略,關(guān)注的主要是集群中數(shù)據(jù)塊副本放置的均衡性,所考慮的因素主要是節(jié)點(diǎn)的使用率,而沒(méi)有考慮節(jié)點(diǎn)使用的價(jià)格、安全性、處理速度等.

    [1]KO B J.Scalable service differentiation in a shared storage cache[C]//Proc of the 23rd International Conference on Distributed Computing Systems.Washington,DC,USA,2003:184-194.

    [2]CHEN Yan.SCAN:a dynamic,scalable,and efficient content distribution network[C]//Proceedings of the International Conference on Pervasive Computing.Zürich,Switzerland,2002:282-286.

    [3]KORUPOLU M R.Placement algorithms for hierarchical cooperative caching[C]//Proceedings of the Tenth Annual ACM-SIAM Symposium on Discrete Algorithms.PA,USA,1999:586-595.

    [4]KARGER D,LEHMAN E,LEIGHTON T,et al.Consistent hashing and random trees:distributed caching protocols for relieving hot spots on the world wide web[C]//ACM Symposium on Theory of Computing.CA,USA,1997:654-663.

    [5]BORTHAKUR D.The hadoop distributed file system:architecture and design[EB/OL].[2012-11-08].http://hadoop.apache.org/core/docs.

    [6]GUY L,LAURE E,STOCKINGER H,et al.Replica management in data grids,GGF5[R].Global Grid Information Document,2002.

    [7]STONEBRAKER M,ABADI D J,De WITT D J,et al.MapReduce and parallel DBMSs:friends or foes[J].Communication of the ACM,2010,53(1):64-71.

    [8]魏青松,盧顯良,侯孟書(shū).AdpReplica:自適應(yīng)副本管理機(jī)制[J].計(jì)算機(jī)科學(xué),2004,31(12):34-36.WEI Qingsong,LU Xianliang,HOU Mengshu.AdpRePlica:adaptive replica management mechanism[J].Computer Science,2004,31(12):34-36.

    [9]楊曙鋒.分布式并行文件系統(tǒng)的副本管理策略[D].成都:電子科技大學(xué),2003:23-31.YANG Shufeng.The Copies’management strategy of distributed parallel file system[D].Chengdu:University of Electronic Science and Technology of China,2003:23-31.

    [10]BORDAWEKAR R,LANDHERR S,CAPPS D,et al.Experimental evaluation of the Hewlett-Packard Exemplar file system[C]//ACM Sigmetric SPerformance Evaluation Review.[S.l.]1997.

    猜你喜歡
    閥值副本使用率
    光敏傳感器控制方法及使用其的滅蚊器
    傳感器世界(2019年6期)2019-09-17 08:03:20
    面向流媒體基于蟻群的副本選擇算法①
    基于小波分析理論的橋梁監(jiān)測(cè)信號(hào)去噪研究
    激光多普勒測(cè)速系統(tǒng)自適應(yīng)閥值檢測(cè)算法
    副本放置中的更新策略及算法*
    深度學(xué)習(xí)在無(wú)人駕駛汽車中的應(yīng)用
    樹(shù)形網(wǎng)絡(luò)中的副本更新策略及算法*
    胃腸外科圍手術(shù)期合理使用抗菌藥物的探討
    初中生學(xué)習(xí)·低(2012年4期)2012-04-29 04:29:50
    初中生學(xué)習(xí)·低(2012年7期)2012-04-29 00:44:03
    av一本久久久久| 亚洲综合色网址| 黑人巨大精品欧美一区二区蜜桃| 亚洲av电影在线进入| 午夜两性在线视频| √禁漫天堂资源中文www| 婷婷丁香在线五月| 婷婷色综合大香蕉| 日本色播在线视频| 久久久久久久精品精品| 亚洲国产欧美日韩在线播放| 亚洲国产精品一区三区| 国产成人av教育| 中文欧美无线码| 久9热在线精品视频| 成人亚洲精品一区在线观看| 亚洲第一青青草原| 女人精品久久久久毛片| 少妇人妻 视频| 欧美日本中文国产一区发布| 搡老岳熟女国产| 成年动漫av网址| 日本欧美视频一区| 热re99久久国产66热| 久久国产精品人妻蜜桃| 美女扒开内裤让男人捅视频| 啦啦啦在线观看免费高清www| av又黄又爽大尺度在线免费看| 老司机午夜十八禁免费视频| 日本vs欧美在线观看视频| 丰满迷人的少妇在线观看| 国产精品熟女久久久久浪| 欧美日韩精品网址| 午夜福利一区二区在线看| 少妇猛男粗大的猛烈进出视频| 久久久国产一区二区| 色综合欧美亚洲国产小说| 看免费av毛片| 国产精品一二三区在线看| 波多野结衣av一区二区av| 欧美精品人与动牲交sv欧美| 欧美日韩一级在线毛片| 国产高清videossex| 国产精品熟女久久久久浪| 成人国产一区最新在线观看 | 18禁黄网站禁片午夜丰满| av一本久久久久| 中文字幕精品免费在线观看视频| 三上悠亚av全集在线观看| 国产午夜精品一二区理论片| 大陆偷拍与自拍| 精品国产乱码久久久久久小说| 亚洲欧洲精品一区二区精品久久久| 欧美人与性动交α欧美软件| 欧美日韩精品网址| 国产高清国产精品国产三级| 男女床上黄色一级片免费看| 亚洲国产欧美日韩在线播放| 女人精品久久久久毛片| 99久久99久久久精品蜜桃| 欧美成人精品欧美一级黄| 宅男免费午夜| 免费人妻精品一区二区三区视频| 伦理电影免费视频| 久久国产精品影院| 国产真人三级小视频在线观看| 国产精品av久久久久免费| 又大又黄又爽视频免费| 亚洲,一卡二卡三卡| 啦啦啦啦在线视频资源| 十八禁网站网址无遮挡| av福利片在线| 欧美大码av| 亚洲av片天天在线观看| 高清不卡的av网站| tube8黄色片| 女人高潮潮喷娇喘18禁视频| 欧美av亚洲av综合av国产av| 十八禁高潮呻吟视频| 国产精品久久久久久精品古装| 国产精品久久久久久精品古装| 欧美亚洲日本最大视频资源| 97人妻天天添夜夜摸| 免费在线观看视频国产中文字幕亚洲 | 狠狠婷婷综合久久久久久88av| 1024香蕉在线观看| 久热这里只有精品99| 亚洲欧美色中文字幕在线| 日韩精品免费视频一区二区三区| 国产xxxxx性猛交| a级片在线免费高清观看视频| 久久av网站| 亚洲一区二区三区欧美精品| 精品一区在线观看国产| 一边摸一边抽搐一进一出视频| 精品亚洲成a人片在线观看| 人人妻人人澡人人爽人人夜夜| 国产精品秋霞免费鲁丝片| 中文字幕高清在线视频| av在线app专区| 免费观看av网站的网址| 亚洲精品国产一区二区精华液| 9热在线视频观看99| 人妻 亚洲 视频| 亚洲激情五月婷婷啪啪| 久久久久久久精品精品| 乱人伦中国视频| 人体艺术视频欧美日本| 成人三级做爰电影| 国产日韩欧美视频二区| 十八禁网站网址无遮挡| 99久久精品国产亚洲精品| av国产久精品久网站免费入址| 91成人精品电影| 性色av乱码一区二区三区2| 一级片'在线观看视频| 国产精品一区二区精品视频观看| 亚洲精品一二三| 制服诱惑二区| 精品少妇内射三级| 少妇精品久久久久久久| 久久久久久久久久久久大奶| 国产成人av激情在线播放| 中文字幕制服av| 老司机影院毛片| 成人国产av品久久久| 十分钟在线观看高清视频www| 不卡av一区二区三区| 精品一品国产午夜福利视频| 嫁个100分男人电影在线观看 | 99精国产麻豆久久婷婷| 欧美日韩一级在线毛片| 黄片播放在线免费| 国产成人91sexporn| 夫妻性生交免费视频一级片| 国产成人系列免费观看| 亚洲精品第二区| 777米奇影视久久| 亚洲精品av麻豆狂野| 中国国产av一级| av福利片在线| 欧美日韩一级在线毛片| 亚洲av国产av综合av卡| a级毛片在线看网站| 国产成人啪精品午夜网站| 成人免费观看视频高清| 亚洲欧美一区二区三区黑人| 青草久久国产| 国产精品成人在线| 亚洲五月婷婷丁香| 一区二区三区精品91| 国产黄频视频在线观看| 国产黄色免费在线视频| 一区二区三区精品91| 操出白浆在线播放| www.熟女人妻精品国产| 国产精品一区二区精品视频观看| 亚洲成人免费av在线播放| 精品视频人人做人人爽| 日本av免费视频播放| 国产精品欧美亚洲77777| 热re99久久国产66热| 国产精品麻豆人妻色哟哟久久| 欧美日韩综合久久久久久| 国产精品人妻久久久影院| 丁香六月欧美| 国产免费又黄又爽又色| 少妇裸体淫交视频免费看高清 | 男人爽女人下面视频在线观看| 国产日韩欧美亚洲二区| 国产男女超爽视频在线观看| 最黄视频免费看| 久久久久久久久免费视频了| 超碰97精品在线观看| 一区二区日韩欧美中文字幕| 国产福利在线免费观看视频| 精品一区二区三区四区五区乱码 | 午夜福利视频在线观看免费| 亚洲中文av在线| 亚洲熟女精品中文字幕| 亚洲av电影在线观看一区二区三区| 一区二区三区乱码不卡18| 91成人精品电影| 大陆偷拍与自拍| 亚洲av日韩在线播放| bbb黄色大片| 黄色怎么调成土黄色| 亚洲欧美激情在线| 赤兔流量卡办理| 亚洲欧美一区二区三区黑人| www.精华液| 亚洲精品国产av成人精品| 99久久人妻综合| 一二三四社区在线视频社区8| 欧美日韩亚洲综合一区二区三区_| 国产片内射在线| 曰老女人黄片| 欧美黑人精品巨大| 大话2 男鬼变身卡| av网站在线播放免费| 在线 av 中文字幕| 在线观看一区二区三区激情| 国产亚洲欧美在线一区二区| 欧美日韩一级在线毛片| 人人妻人人添人人爽欧美一区卜| 美女视频免费永久观看网站| 19禁男女啪啪无遮挡网站| 婷婷色麻豆天堂久久| 男女高潮啪啪啪动态图| 曰老女人黄片| 久久精品国产a三级三级三级| 亚洲,欧美精品.| 久久99一区二区三区| 精品欧美一区二区三区在线| 又黄又粗又硬又大视频| av天堂在线播放| 国产精品一区二区在线观看99| 国产国语露脸激情在线看| 免费一级毛片在线播放高清视频 | 麻豆av在线久日| 免费av中文字幕在线| 老司机亚洲免费影院| av在线app专区| 午夜福利免费观看在线| 国产麻豆69| 午夜日韩欧美国产| 精品亚洲成a人片在线观看| 在线精品无人区一区二区三| 久久99精品国语久久久| 男女国产视频网站| 久久久精品区二区三区| 国产精品麻豆人妻色哟哟久久| 久久久精品免费免费高清| 亚洲国产欧美在线一区| 美女扒开内裤让男人捅视频| 超色免费av| 一区二区av电影网| 久久久久久久精品精品| 美国免费a级毛片| 曰老女人黄片| videos熟女内射| 黄频高清免费视频| 你懂的网址亚洲精品在线观看| 90打野战视频偷拍视频| 亚洲人成电影免费在线| 精品一区二区三区av网在线观看 | 久久久久久久大尺度免费视频| 一级毛片黄色毛片免费观看视频| 天天躁夜夜躁狠狠久久av| 亚洲av日韩在线播放| 波多野结衣一区麻豆| 日日爽夜夜爽网站| 国产在线一区二区三区精| 国产亚洲精品第一综合不卡| 99国产综合亚洲精品| 建设人人有责人人尽责人人享有的| 美女脱内裤让男人舔精品视频| 久久影院123| 丝袜喷水一区| 久久精品成人免费网站| 免费在线观看视频国产中文字幕亚洲 | 纯流量卡能插随身wifi吗| 女性生殖器流出的白浆| 中文字幕人妻熟女乱码| 国产精品99久久99久久久不卡| av视频免费观看在线观看| 免费高清在线观看视频在线观看| 久久午夜综合久久蜜桃| 久久精品国产a三级三级三级| 欧美xxⅹ黑人| av网站在线播放免费| 久久久久国产精品人妻一区二区| 在线天堂中文资源库| 亚洲人成电影免费在线| 亚洲三区欧美一区| 美女高潮到喷水免费观看| 两人在一起打扑克的视频| 97精品久久久久久久久久精品| 宅男免费午夜| 丰满人妻熟妇乱又伦精品不卡| 麻豆乱淫一区二区| 欧美精品人与动牲交sv欧美| 高潮久久久久久久久久久不卡| 久久久精品免费免费高清| 成年人黄色毛片网站| 婷婷色综合www| 精品人妻在线不人妻| 欧美人与性动交α欧美精品济南到| 国语对白做爰xxxⅹ性视频网站| 亚洲国产看品久久| 国产麻豆69| 女性被躁到高潮视频| 一区福利在线观看| 18禁裸乳无遮挡动漫免费视频| 久热爱精品视频在线9| 80岁老熟妇乱子伦牲交| 一级片'在线观看视频| 天堂俺去俺来也www色官网| 人妻一区二区av| 日本色播在线视频| 国产1区2区3区精品| 国产精品麻豆人妻色哟哟久久| 午夜老司机福利片| 精品福利观看| 亚洲成人免费av在线播放| 如日韩欧美国产精品一区二区三区| 真人做人爱边吃奶动态| 99国产精品免费福利视频| 99热网站在线观看| 水蜜桃什么品种好| 伊人亚洲综合成人网| 一级毛片女人18水好多 | 久久人妻福利社区极品人妻图片 | 大片免费播放器 马上看| 婷婷成人精品国产| 美女脱内裤让男人舔精品视频| 亚洲欧洲精品一区二区精品久久久| 欧美97在线视频| 十分钟在线观看高清视频www| 亚洲精品第二区| 亚洲av欧美aⅴ国产| 看免费av毛片| 亚洲国产看品久久| 在线av久久热| 一区二区三区激情视频| 亚洲精品美女久久av网站| 欧美精品av麻豆av| 欧美+亚洲+日韩+国产| 欧美激情极品国产一区二区三区| 久久国产精品人妻蜜桃| 午夜福利视频在线观看免费| 免费高清在线观看视频在线观看| 亚洲成人免费电影在线观看 | 亚洲av电影在线观看一区二区三区| 少妇粗大呻吟视频| 一级毛片黄色毛片免费观看视频| 午夜福利影视在线免费观看| 熟女av电影| svipshipincom国产片| 中文字幕亚洲精品专区| 男女下面插进去视频免费观看| 欧美 亚洲 国产 日韩一| 久久久欧美国产精品| 国产黄色免费在线视频| 老司机深夜福利视频在线观看 | 看十八女毛片水多多多| 中文精品一卡2卡3卡4更新| 久久久精品区二区三区| 色精品久久人妻99蜜桃| 亚洲 欧美一区二区三区| 1024香蕉在线观看| 少妇的丰满在线观看| 嫩草影视91久久| 日韩av不卡免费在线播放| 黄色视频在线播放观看不卡| videosex国产| 啦啦啦在线免费观看视频4| 美女中出高潮动态图| 男女下面插进去视频免费观看| 久久久久久久久免费视频了| 丝袜喷水一区| 午夜激情久久久久久久| 日韩精品免费视频一区二区三区| 精品久久久久久电影网| 国产亚洲av片在线观看秒播厂| 欧美日韩成人在线一区二区| 国产精品免费视频内射| 国产男女超爽视频在线观看| 国产一区二区 视频在线| 久久亚洲精品不卡| √禁漫天堂资源中文www| 97在线人人人人妻| 国产成人免费观看mmmm| 丝袜在线中文字幕| 两性夫妻黄色片| 免费日韩欧美在线观看| 纵有疾风起免费观看全集完整版| 欧美乱码精品一区二区三区| 久久中文字幕一级| 黑人欧美特级aaaaaa片| 免费在线观看影片大全网站 | 麻豆av在线久日| 中文字幕精品免费在线观看视频| 涩涩av久久男人的天堂| 亚洲欧美一区二区三区黑人| 美女扒开内裤让男人捅视频| 97精品久久久久久久久久精品| 国产一卡二卡三卡精品| 男女下面插进去视频免费观看| 首页视频小说图片口味搜索 | 男人舔女人的私密视频| 黄片小视频在线播放| 精品熟女少妇八av免费久了| 亚洲精品国产av成人精品| 亚洲成人国产一区在线观看 | 大片免费播放器 马上看| 三上悠亚av全集在线观看| 欧美精品一区二区大全| 亚洲国产欧美在线一区| 又黄又粗又硬又大视频| 午夜福利,免费看| 久久性视频一级片| 亚洲精品一二三| 首页视频小说图片口味搜索 | 国产精品九九99| 男女国产视频网站| 国产精品熟女久久久久浪| 欧美在线黄色| 欧美精品一区二区免费开放| 亚洲国产精品成人久久小说| 欧美激情高清一区二区三区| 免费在线观看视频国产中文字幕亚洲 | 亚洲精品久久午夜乱码| 美女视频免费永久观看网站| 国产一区二区在线观看av| 国产视频一区二区在线看| 亚洲人成电影观看| 国产片特级美女逼逼视频| 日韩一本色道免费dvd| 9191精品国产免费久久| 黄频高清免费视频| av电影中文网址| 国产福利在线免费观看视频| 一区二区三区乱码不卡18| 亚洲欧美一区二区三区黑人| 好男人视频免费观看在线| 丁香六月天网| 夫妻午夜视频| 一个人免费看片子| 亚洲国产中文字幕在线视频| 99久久人妻综合| 久久久久视频综合| 伊人久久大香线蕉亚洲五| 国产一区二区在线观看av| 建设人人有责人人尽责人人享有的| 国产色视频综合| 少妇 在线观看| 叶爱在线成人免费视频播放| 亚洲一区中文字幕在线| 18禁国产床啪视频网站| 99久久精品国产亚洲精品| 天天躁夜夜躁狠狠躁躁| 日韩大片免费观看网站| 国产爽快片一区二区三区| 亚洲国产av影院在线观看| 在线观看www视频免费| 性色av乱码一区二区三区2| 国产精品99久久99久久久不卡| 最近中文字幕2019免费版| 成年人午夜在线观看视频| 国产成人精品在线电影| 欧美精品啪啪一区二区三区 | 久久精品aⅴ一区二区三区四区| 免费不卡黄色视频| 天天影视国产精品| 精品久久蜜臀av无| 80岁老熟妇乱子伦牲交| 高清av免费在线| 亚洲视频免费观看视频| 高清av免费在线| 国产免费又黄又爽又色| 一本色道久久久久久精品综合| 自线自在国产av| 日韩人妻精品一区2区三区| 妹子高潮喷水视频| 国产精品偷伦视频观看了| 好男人电影高清在线观看| 十八禁人妻一区二区| 亚洲精品国产av蜜桃| 制服诱惑二区| 久久久国产欧美日韩av| 亚洲免费av在线视频| 青春草视频在线免费观看| 女人精品久久久久毛片| 国产精品国产av在线观看| 国产男人的电影天堂91| 国产伦理片在线播放av一区| 伦理电影免费视频| 国产精品九九99| 免费在线观看日本一区| 精品国产乱码久久久久久男人| 中文字幕高清在线视频| 中文字幕人妻丝袜制服| 亚洲欧美清纯卡通| cao死你这个sao货| a 毛片基地| 看十八女毛片水多多多| 9热在线视频观看99| 精品国产乱码久久久久久男人| 97精品久久久久久久久久精品| 国产免费福利视频在线观看| 国语对白做爰xxxⅹ性视频网站| 亚洲av日韩精品久久久久久密 | 纯流量卡能插随身wifi吗| 国产黄频视频在线观看| 女人高潮潮喷娇喘18禁视频| 国产国语露脸激情在线看| 国产真人三级小视频在线观看| 桃花免费在线播放| 亚洲欧美激情在线| 精品一区二区三区四区五区乱码 | 国产三级黄色录像| 亚洲精品国产一区二区精华液| 亚洲精品美女久久久久99蜜臀 | 午夜两性在线视频| 日本wwww免费看| 亚洲熟女毛片儿| 老司机影院毛片| 亚洲免费av在线视频| 亚洲人成网站在线观看播放| 美女扒开内裤让男人捅视频| 免费黄频网站在线观看国产| 熟女少妇亚洲综合色aaa.| 晚上一个人看的免费电影| 天天躁夜夜躁狠狠久久av| 亚洲精品国产av成人精品| 免费女性裸体啪啪无遮挡网站| 午夜免费鲁丝| 亚洲男人天堂网一区| 国产亚洲午夜精品一区二区久久| 久久精品国产亚洲av涩爱| 国产片内射在线| 欧美黑人精品巨大| 99热国产这里只有精品6| 青春草视频在线免费观看| 欧美黄色淫秽网站| 乱人伦中国视频| 嫁个100分男人电影在线观看 | 美女脱内裤让男人舔精品视频| 午夜激情久久久久久久| 十八禁网站网址无遮挡| 一区二区三区四区激情视频| 日韩视频在线欧美| 久久久久久久久免费视频了| 亚洲男人天堂网一区| 国产精品人妻久久久影院| 亚洲成av片中文字幕在线观看| 精品第一国产精品| 18禁国产床啪视频网站| 一本久久精品| 欧美日韩亚洲综合一区二区三区_| 久久国产亚洲av麻豆专区| 99re6热这里在线精品视频| 久久久久久久久免费视频了| 人人妻,人人澡人人爽秒播 | 曰老女人黄片| 精品福利永久在线观看| 日本欧美国产在线视频| 欧美日韩综合久久久久久| 在线观看免费高清a一片| 电影成人av| 国产精品99久久99久久久不卡| www.av在线官网国产| 黄色视频在线播放观看不卡| 免费看十八禁软件| 久久人人爽人人片av| 最近中文字幕2019免费版| 成人18禁高潮啪啪吃奶动态图| 无遮挡黄片免费观看| 久久久国产一区二区| 黄色 视频免费看| 国产麻豆69| 国产精品99久久99久久久不卡| 午夜福利视频在线观看免费| 精品国产一区二区三区久久久樱花| 国产成人精品久久二区二区91| 亚洲国产av新网站| 80岁老熟妇乱子伦牲交| 中文欧美无线码| 国产爽快片一区二区三区| 少妇人妻 视频| 亚洲中文字幕日韩| kizo精华| 亚洲国产精品一区三区| 欧美av亚洲av综合av国产av| 国产欧美日韩综合在线一区二区| 国产深夜福利视频在线观看| 成年人黄色毛片网站| 国产精品熟女久久久久浪| 纵有疾风起免费观看全集完整版| 午夜日韩欧美国产| 久久久欧美国产精品| 美女福利国产在线| 欧美日韩亚洲综合一区二区三区_| 欧美日韩黄片免| 午夜av观看不卡| 一区福利在线观看| 国产色视频综合| 男女无遮挡免费网站观看| 桃花免费在线播放| 捣出白浆h1v1| 久久久久视频综合| av有码第一页| 亚洲中文字幕日韩| 天天添夜夜摸| 欧美久久黑人一区二区| 久久精品国产亚洲av涩爱| 亚洲精品av麻豆狂野| 中国美女看黄片| 十八禁人妻一区二区| 日本欧美国产在线视频| 人人妻人人澡人人爽人人夜夜| av天堂在线播放| 精品国产一区二区三区久久久樱花| 青青草视频在线视频观看| 欧美97在线视频| 又粗又硬又长又爽又黄的视频| 亚洲专区中文字幕在线| 亚洲精品日韩在线中文字幕| 国产精品久久久久成人av| 捣出白浆h1v1| 制服人妻中文乱码| 丝瓜视频免费看黄片| 可以免费在线观看a视频的电影网站| 欧美日韩亚洲高清精品|