• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于容器技術的高校云數(shù)據(jù)中心設計與實現(xiàn)

    2021-03-12 05:25:45郭雯鄭霽王軍王輝
    中國教育信息化 2021年2期
    關鍵詞:容器

    郭雯 鄭霽 王軍 王輝

    摘? ?要:容器技術在互聯(lián)網(wǎng)時代得到了越來越廣泛的應用,高校云數(shù)據(jù)中心作為承載學校眾多信息系統(tǒng)運行的重要載體,需要全面了解并合理使用容器技術,以提高云平臺運行效率,為業(yè)務系統(tǒng)運行提供更加強有力的支撐。文章全面分析高校云數(shù)據(jù)中心建設需求,構建CaaS(Container as a Service)平臺為容器化應用提供全方位部署、運行、管理的支持。同時開放平臺PaaS(Platform as a Service)功能,結合DevOps理念構建開發(fā)、部署、測試一體化流程。實驗證明基于容器技術的高校云數(shù)據(jù)中心可以更好地滿足業(yè)務系統(tǒng)快速部署、升級迭代、彈性伸縮等各方面的需求。

    關鍵詞:云數(shù)據(jù)中心;容器;CaaS;開發(fā)測試一體化

    中圖分類號:TP311;TP393 文獻標志碼:A 文章編號:1673-8454(2021)03-0092-05

    一、引言

    隨著云計算技術的飛速發(fā)展,眾多高校利用虛擬化等技術將基礎硬件資源池化,建設私有云平臺,為校內的各業(yè)務系統(tǒng)提供虛擬機服務,在基礎設施層面有力地支撐了學校的信息化建設。但是這種IaaS(Infrastructure as a Service)的方式僅僅解決了硬件資源的快速供給與高效利用問題,業(yè)務系統(tǒng)軟件層面的部署仍然需要手動進行,從云平臺管理員提供虛擬機并配置操作系統(tǒng),到業(yè)務系統(tǒng)工程師安裝相關軟件并調試,系統(tǒng)部署時間長,重復工作量大。同時互聯(lián)網(wǎng)時代的應用面臨用戶需求頻繁變化和用戶規(guī)??焖僭鲩L的問題,因此對業(yè)務快速升級迭代、動態(tài)彈性擴展等方面提出了更高的要求。[1]虛擬機的業(yè)務系統(tǒng)在升級、擴容等方面的靈活性不足,升級速度慢且缺乏彈性等問題給整個運維工作帶來巨大挑戰(zhàn)。

    以Docker為代表的容器技術適應了互聯(lián)網(wǎng)時代應用的特點。[2]Docker作為一種輕量級的虛擬化技術,啟動快、體量小,可以將應用軟件、依賴包和所需環(huán)境打包成鏡像,發(fā)布到任何一臺安裝有Docker引擎的計算機上運行,極大程度地解決了業(yè)務系統(tǒng)內部的軟件依賴問題。很多科研人員研究如何將Docker技術應用于云平臺上,以實現(xiàn)資源的合理利用以及應用的快速構建、持續(xù)交付、靈活擴展、便捷運維等。何震葦?shù)萚1]提出了基于Docker技術的互聯(lián)網(wǎng)應用集群自動部署方案,以簡化復雜互聯(lián)網(wǎng)業(yè)務平臺的部署過程;楊清波等[3]分析了基于容器的調控云平臺的業(yè)務需求,并給出了基于Docker的調控云平臺的設計、實現(xiàn)及測試;張琦[4]構建了一套銀行系統(tǒng)內部的容器管理平臺,以支撐容器化應用運行管理,并實現(xiàn)DevOps開發(fā)測試一體化流程;文獻[5]-[7]研究了基于Docker技術的PaaS平臺構建;彭勇等[8]設計了一個基于Docker技術的云平臺系統(tǒng);應毅等[9]嘗試在高校實驗室等環(huán)境中應用Docker技術,但總體而言,高校領域的相關研究仍處于探索階段。

    二、高校云數(shù)據(jù)中心建設需求分析

    在IT技術飛速發(fā)展的大背景下,高校的信息化建設如火如荼。云平臺作為承載各大業(yè)務系統(tǒng)運行的基礎架構,它的價值最終是要通過業(yè)務系統(tǒng)來體現(xiàn)的,因此云平臺的建設要牢牢把握“以業(yè)務系統(tǒng)為中心”這一基本原則,以滿足業(yè)務系統(tǒng)在各個階段的需求為目標。

    1.業(yè)務系統(tǒng)快速部署的需求

    高校云數(shù)據(jù)中心的首要任務是承載業(yè)務系統(tǒng)的運行。目前,高校業(yè)務系統(tǒng)建設呈復雜化趨勢,單個系統(tǒng)所需的虛機數(shù)量從過去的1至2臺上升到現(xiàn)在的2至8臺,部分業(yè)務系統(tǒng),以合肥工業(yè)大學信息中心數(shù)據(jù)治理平臺為例,需要的虛擬機數(shù)目達到50臺。復雜的業(yè)務系統(tǒng)意味著更加復雜的軟件依賴關系與組件依賴關系,從虛擬機級別開始部署業(yè)務系統(tǒng),往往要耗費大量的時間安裝、調試、測試,不符合應用快捷交付的需求。容器技術很好地解決了業(yè)務系統(tǒng)對軟件運行環(huán)境的依賴問題,同時可以很好地描述業(yè)務系統(tǒng)不同組件之間的依賴關系,支持業(yè)務系統(tǒng)一鍵式部署,可以預見不久的將來會有越來越多的業(yè)務系統(tǒng)選擇容器的方式發(fā)布。因此高校的云平臺必須開始著手打造高效的、高可用的容器資源池,做好全面支持容器化應用的準備。

    2.業(yè)務系統(tǒng)彈性伸縮的需求

    互聯(lián)網(wǎng)時代的應用往往面臨著突發(fā)流量的問題,高校內的業(yè)務系統(tǒng)也不例外,學生選課、視頻點播等都有可能造成業(yè)務流量的瞬時激增,為業(yè)務系統(tǒng)帶來極大的壓力。目前常見的解決方案是在負載均衡設備后掛載多臺用于分擔業(yè)務流量的APP虛擬服務器。這樣做的缺點是,當平時業(yè)務量小時,造成資源的閑置與浪費;當業(yè)務量持續(xù)增加超過負荷時,需要人工增加虛擬機并添加到負載均衡系統(tǒng)中,操作復雜且滯后,無法滿足處理瞬時激增流量的需求。容器技術區(qū)別于虛擬機技術的一大特點是前者實現(xiàn)的是進程級別的隔離,容器不需要模擬一套自己單獨的虛擬硬件和操作系統(tǒng),因此容器具有體量小啟動快的特點。高校云平臺可以充分利用容器的這個特點,實現(xiàn)業(yè)務系統(tǒng)服務器規(guī)模的按需擴展與縮減。

    3.業(yè)務系統(tǒng)便捷運維的需求

    業(yè)務系統(tǒng)在運行過程中經常面臨排錯、升級更新等操作。現(xiàn)有的基于虛擬機的云平臺在處理這些需求時往往顯得比較吃力,例如生產環(huán)境中報的錯難以在開發(fā)測試環(huán)境中重現(xiàn)、升級操作常常需要停機來進行、新版本軟件出現(xiàn)問題很難回滾到上一版本等。容器技術的使用可以最大限度減少開發(fā)環(huán)境、測試環(huán)境與生產環(huán)境之間的差異,同時支持灰度更新和回滾等操作,為業(yè)務系統(tǒng)的運維提供便捷。

    4.業(yè)務系統(tǒng)開發(fā)測試一體化的需求

    隨著信息化建設的推進,高校業(yè)務系統(tǒng)的建設也越來越復雜,很多時候單純購買的軟件已無法滿足需求,很多業(yè)務系統(tǒng),如教務系統(tǒng)、數(shù)據(jù)治理平臺等,都需要結合學校的現(xiàn)狀進行個性化定制開發(fā)。這會是一個持續(xù)交付的過程,即部分軟件功能先行上線試運行,后續(xù)會不斷有新的模塊或功能加入進來,整個過程持續(xù)幾個月、一年甚至幾年。DevOps方法是目前軟件工程領域的熱點,與以往的瀑布模型或敏捷模型不同,該方法重視開發(fā)人員、測試人員與運維人員之間的緊密溝通合作,通過流程化的部署、測試、反饋等來實現(xiàn)快速的迭代發(fā)布。[10]高校云數(shù)據(jù)中心可結合DevOps理念,進一步發(fā)掘平臺PaaS功能,提供一套應用快速開發(fā)、測試、部署、運維管理、持續(xù)開發(fā)、持續(xù)集成的支撐環(huán)境。

    三、基于容器的高校云數(shù)據(jù)中心設計

    鑒于容器技術在業(yè)務系統(tǒng)開發(fā)、部署、運行等方面帶來的諸多益處,容器技術在高校云數(shù)據(jù)中心的應用已是勢在必行。基于容器技術的高校云數(shù)據(jù)中心設計應遵循高可用和易擴展的原則,即平臺核心節(jié)點要采用集群架構部署,一個實例宕機整個集群仍會正常運行;同時平臺可以輕松地以“搭積木”的方式擴充軟硬件等資源。此外容器作為當前最為火爆的開源項目,大量相關的技術及產品層出不窮。因此平臺建設者在設計之初要做充分的調研,選擇合適的主流技術作為自己的建設方案。

    1.容器關鍵技術

    Docker作為主流的容器技術近年來已經得到了充分的驗證與應用。同時容器的快速發(fā)展對容器的集群化管理提出了更高的要求。一方面,業(yè)務系統(tǒng)的體量越來越大,需要集群化的環(huán)境來支持其正常的運行和管理。另一方面,集群化的環(huán)境可以更好地滿足高可用等基礎需求。Docker Swarm、Mesos、Kubernetes等都是目前常見的容器集群管理框架。其中,Kubernetes是Google在2014年開源的一個容器集群管理系統(tǒng),簡稱K8S。K8S提供高可用高冗余的集群化管理模式,同時提供了容器編排、資源調度、彈性伸縮、部署管理、服務發(fā)現(xiàn)等一系列功能。K8S是目前運用最廣泛、主流的容器集群管理工具,也是本次云平臺設計中采用的技術方案。

    2.數(shù)據(jù)中心建設思路

    高??梢越Y合自身的特點和現(xiàn)有架構,按照循序漸進的原則,分階段將容器技術應用于自己的云數(shù)據(jù)中心。第一步是要搭建一個高可用的容器集群運行平臺。這種方式可以以最低的代價將容器先用起來,積累運維經驗。CaaS(Container as a Service)以容器為交付物,可方便地部署、運行容器化應用。隨著越來越多的應用以容器的方式開發(fā)和部署,這種CaaS方式的容器集群運行環(huán)境將發(fā)揮重要作用。第二步考慮開放平臺PaaS功能,即將平臺相關的功能作為一種服務,交付給最終用戶使用。PaaS作為IaaS和SaaS(Service as a Service)中間層面的一個概念,發(fā)展遠沒有另外兩者普及。容器技術的出現(xiàn)為PaaS的發(fā)展提供了重大機遇,容器與微服務架構和DevOps的高度契合使基于Docker容器技術的PaaS平臺成為可能。Paas平臺能力的開放與提升是一個逐步的過程,高校數(shù)據(jù)中心可結合自身運維平臺的特點,將持續(xù)集成服務作為目前打造的一個重點。

    3.CaaS平臺設計

    將容器技術應用于云數(shù)據(jù)中心的第一步是要打造CaaS(Container as a Service)平臺,其核心是一個高可用的容器資源池。容器資源池的底層硬件資源,可以部署在物理服務器或云平臺上,建議部署在云平臺上,因為這樣可以充分利用云平臺自身的高可用等特性。CaaS平臺主要由容器資源池、私有鏡像倉庫、可視化管理平臺和管理層幾部分組成,整體架構如圖1所示。

    (1)容器資源池

    容器資源池的技術層面采用“Docker + Kubernetes”組合。其中,Docker引擎負責單機環(huán)境下容器環(huán)境的建立,Kubernetes通過集群管理技術對集群中的Docker主機資源進行統(tǒng)一管理和容器的編排調度。

    K8S包括控制節(jié)點(Master Node)和工作節(jié)點(Worker Node)兩種關鍵組件。Master Node是容器調度的核心,所有發(fā)往容器集群的請求,如容器的創(chuàng)建、狀態(tài)的更改等,都經過Master Node的統(tǒng)一協(xié)調,集群狀態(tài)信息保存至數(shù)據(jù)庫,具體操作指令發(fā)送至Worker Node執(zhí)行。每個Worker Node都安裝有Docker引擎,并結合K8S自身的容器管理機制實現(xiàn)對容器主機的管理。

    容器資源池作為基礎架構平臺的核心,通過分布式集群來實現(xiàn)高可用性,關鍵節(jié)點,如控制節(jié)點、數(shù)據(jù)庫節(jié)點等都會起多個實例,一個實例出問題不會影響整個集群的運行;同時可以通過負載均衡技術實現(xiàn)流量在集群內不同實例之間的均勻分擔。當容器業(yè)務量逐漸增加,CaaS平臺會面臨需要擴容的情況。此時平臺管理員只需要向容器資源池增加Docker主機節(jié)點,即Worker Node節(jié)點,并納入Kubernetes環(huán)境統(tǒng)一管理。

    (2)私有鏡像倉庫

    私有鏡像倉庫用于存放各業(yè)務系統(tǒng)的容器鏡像及一些基礎容器鏡像,是高校云數(shù)據(jù)中心不可或缺的一部分。私有鏡像倉庫位于校園網(wǎng)或者云數(shù)據(jù)中心內部環(huán)境中,私密性更好,安全性更強,訪問效率也更高。這里我們采用的是Harbor鏡像倉庫,這是VMware開源提供的一個企業(yè)級鏡像倉庫。Habor在Docker 私有倉庫Registry的基礎上進行了企業(yè)級擴展,提供了用戶管理界面、基于角色的訪問控制等,能滿足高校云數(shù)據(jù)中心需求。

    (3)可視化容器管理組件

    Docker和Kubernetes大多通過命令行操作,技術門檻較高,容易造成誤操作,而且排錯非常困難。通過安裝可視化容器管理組件,如Dashboard,云平臺管理員可以通過網(wǎng)頁的形式來進行容器相關的基本操作,如容器的創(chuàng)建、啟動、關閉,容器網(wǎng)絡的配置,容器存儲資源的劃分,容器資源的限制,權限的分配以及一些簡單的容器運行狀況監(jiān)控等等,從而大大降低了管理難度,提高了管理效率。

    (4)監(jiān)控與日志組件

    監(jiān)控和日志組件是基礎資源平臺的重要組成部分。監(jiān)控組件的部署使管理員可以方便地跟蹤集群、容器乃至業(yè)務運行情況,如主機節(jié)點資源利用率、容器健康狀況、容器業(yè)務流量、業(yè)務系統(tǒng)容器副本數(shù)等各項指標;而日志的收集便于進行故障定位,并為平臺的各項統(tǒng)計分析提供基礎數(shù)據(jù)。常見的監(jiān)控與日志組件包括Prometheus + Grafana、Filebeat + ELK 等。

    4.持續(xù)集成服務功能設計

    基于容器技術的CaaS平臺為容器化應用提供了基礎運行環(huán)境,在此平臺的基礎上,以服務的形式開放更多的平臺功能,如數(shù)據(jù)庫服務、微服務治理框架、持續(xù)集成服務等,構成一個基礎的PaaS平臺,如圖2所示。

    基于CICD(Continuous Integration,Continuous Deployment,Continuous Delivery)的DevOps方法可以快速響應應用的各種需求變化,已成為互聯(lián)網(wǎng)時代應用開發(fā)和發(fā)布的最佳實踐。結合之前提到的業(yè)務系統(tǒng)開發(fā)測試一體化的需求,CICD服務在高校云數(shù)據(jù)中心會有著廣泛的使用場景??梢酝ㄟ^部署持續(xù)集成服務器,并將其與代碼倉庫、鏡像倉庫、容器資源池等組件做相關集成,來實現(xiàn)讀取代碼、往鏡像倉庫推送或讀取鏡像、部署鏡像至容器資源池等諸多操作,從而方便地協(xié)調業(yè)務系統(tǒng)開發(fā)測試相關流程。

    四、測試與驗證

    本次測試環(huán)境為合肥工業(yè)大學私有云平臺上的5臺虛擬機,用途與配置如表1所示。

    其中前3臺虛擬機組成一個基本的“Docker + Kubernetes”容器集群環(huán)境,第4臺為私有鏡像倉庫,第5臺為開發(fā)測試一體化功能提供服務。

    1.CaaS平臺功能驗證

    在容器環(huán)境下,業(yè)務系統(tǒng)通過一系列yaml文件來描述各組件的部署方式以及相互之間的依賴關系,這種通過配置文件部署的方式簡單易行,將部署時間由原來的若干天縮短為幾小時,而且部署完成后基本無須調試,可以直接運行,從而實現(xiàn)了項目的快速交付。為應用系統(tǒng)提供商節(jié)約了大量的人力成本,也減輕了云平臺管理員的工作量。

    同時,在容器環(huán)境下,業(yè)務系統(tǒng)的運維、快速交付等也變得更加便捷。表2記錄了業(yè)務系統(tǒng)在容器環(huán)境與虛擬機環(huán)境下各種運維項目的對比。

    當業(yè)務系統(tǒng)負載發(fā)生變化時,可通過手動和自動兩種方式調整業(yè)務系統(tǒng)中容器數(shù)目。手動方式是通過kubectl scale 命令調整 replicas 參數(shù)值;本次測試中我們通過調用Kubernetes HPA (Horizontal Pod Autoscaling)組件的方式動態(tài)調整,配置信息如圖3所示。

    其中最大副本數(shù)為10,最小副本數(shù)為1,當平均cpu使用率超過60%時開始擴容,反之,當cpu使用率小于60%時開始縮容。我們通過Apache ab壓測工具向Web應用發(fā)送HTTP請求,圖4記錄了業(yè)務并發(fā)量變化時容器副本數(shù)的變化。

    實驗結果顯示容器的數(shù)量可隨著業(yè)務量的變化而自動調整,從而達到良好的彈性伸縮的目的。

    2.持續(xù)集成服務功能驗證

    為了構建持續(xù)集成服務環(huán)境,我們在容器資源池上建立一套準生產的測試環(huán)境、一套生產環(huán)境,應用在兩套環(huán)境中的部署完全一致;兩套環(huán)境共享容器鏡像倉庫;同時部署一臺Jenkins服務器。Jenkins的Pipeline是目前持續(xù)集成方案的一個最佳實踐。Jenkins與底層的kubernetes做了集成,從而保證Jenkins服務器可以在測試或生產環(huán)境中部署應用。

    CICD服務流程(見圖5)如下:

    (1)對于在云平臺上開發(fā)的應用,Jenkins服務器從代碼庫獲取代碼并自動編譯;對于在云平臺部署的應用,Jenkins服務器從固定位置獲取編譯好的代碼;

    (2)Jenkins通過命令將代碼打包成為鏡像,并將鏡像上傳至鏡像倉庫;

    (3)準生產環(huán)境獲取最新的鏡像,測試人員進行相關測試;

    (4)測試通過,生產環(huán)境獲取最新的鏡像,業(yè)務最終上線。

    這種流水線的方式,最大限度實現(xiàn)了自動化,縮短應用從發(fā)布到上線的時間,實現(xiàn)了快速迭代、持續(xù)交付,大大提高了數(shù)據(jù)中心運維的效率。

    五、結束語

    本文分析了容器技術應用于高校云數(shù)據(jù)中心的必要性,并結合主流的Docker、Kubernetes技術設計了基于容器技術的CaaS平臺架構和開發(fā)測試一體化架構,實現(xiàn)了對平臺上運行的業(yè)務系統(tǒng)快速交付、彈性伸縮、便捷運維等的支持,最后通過實驗證明了設計方案的實用性和高效性。

    參考文獻:

    [1]何震葦,嚴麗云,李慧云等.基于開源PaaS技術的互聯(lián)網(wǎng)業(yè)務平臺自動部署方案[J].電信科學,2015,31(10):179-186.

    [2]陸鋼,楊新章,何震葦?shù)?電信運營商對容器技術的探索和思考[J].電信科學,2016,32(8):159-163.

    [3]楊清波,陳振宇,劉東等.基于容器的調控云PaaS平臺的設計與實現(xiàn)[J].電網(wǎng)技術,2020(6):2030-2037.

    [4]張琦.基于Docker的CaaS管理平臺架構研究與設計[J].計算機應用與軟件,2018(11):33-41,54.

    [5]師德清.基于Docker的PaaS架構設計研究[J].信息與電腦(理論版),2017(8):35-36.

    [6]王亞玲,李春陽,崔蔚等.基于Docker的PaaS平臺建設[J].計算機系統(tǒng)應用,2016,25(3):72-77.

    [7]張羿,胡永華,黃丁.基于Docker的電網(wǎng)輕量級PaaS平臺構建方案[J].信息與電腦(理論版),2017(11):75-78.

    [8]彭勇,謝劍,童遙等.一種基于Docker的數(shù)據(jù)中心云平臺實現(xiàn)方法及系統(tǒng)[J].中興通訊技術,2017,23(2):60-62.

    [9]應毅,劉亞軍,俞琰.利用Docker容器技術構建大數(shù)據(jù)實驗室[J].實驗室研究與探索,2018,37(2):264-268.

    [10]董昕,郭勇,王杰.基于DevOps能力模型的持續(xù)集成方法[J].計算機工程與設計,2018,39(7):1930-1937.

    (編輯:王天鵬)

    猜你喜歡
    容器
    容器倒置后壓力壓強如何變
    Different Containers不同的容器
    容器倒置后壓力壓強如何變
    人心像一個容器
    難以置信的事情
    怎樣量出4升水
    液體對容器底及容器對桌面的壓力和壓強
    考試周刊(2016年82期)2016-11-01 11:43:44
    直干藍桉容器育苗基質的選擇
    取米
    什么不見了
    孩子(2015年10期)2015-09-10 07:22:44
    久久久成人免费电影| 日本黄大片高清| 只有这里有精品99| 青春草亚洲视频在线观看| 男插女下体视频免费在线播放| 亚洲av电影不卡..在线观看| 91精品一卡2卡3卡4卡| 全区人妻精品视频| 日韩三级伦理在线观看| 一个人观看的视频www高清免费观看| 国产亚洲欧美98| 99精品在免费线老司机午夜| 男的添女的下面高潮视频| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久精品国产亚洲网站| 在线播放无遮挡| 22中文网久久字幕| 一级毛片电影观看 | 一级黄片播放器| 联通29元200g的流量卡| 国产精品综合久久久久久久免费| 国国产精品蜜臀av免费| 日韩一区二区三区影片| 日日摸夜夜添夜夜添av毛片| 国产高潮美女av| 亚洲精品色激情综合| 好男人视频免费观看在线| 一卡2卡三卡四卡精品乱码亚洲| 成人永久免费在线观看视频| 亚洲精品成人久久久久久| 国产一区二区三区在线臀色熟女| 非洲黑人性xxxx精品又粗又长| 免费观看精品视频网站| 亚洲精品乱码久久久久久按摩| 九色成人免费人妻av| 久久久久九九精品影院| 丝袜喷水一区| 一进一出抽搐gif免费好疼| av又黄又爽大尺度在线免费看 | 99国产精品一区二区蜜桃av| 青春草视频在线免费观看| 高清午夜精品一区二区三区 | 99热精品在线国产| 国产精品综合久久久久久久免费| 亚洲国产欧美人成| 午夜爱爱视频在线播放| 精品人妻熟女av久视频| kizo精华| 国产精品一区二区在线观看99 | 久久鲁丝午夜福利片| 亚洲自拍偷在线| 偷拍熟女少妇极品色| 精品无人区乱码1区二区| 国产av麻豆久久久久久久| 国产一级毛片七仙女欲春2| 草草在线视频免费看| 卡戴珊不雅视频在线播放| 国产精品蜜桃在线观看 | 综合色av麻豆| 蜜桃亚洲精品一区二区三区| 人妻制服诱惑在线中文字幕| 精品一区二区免费观看| 成人无遮挡网站| 国产乱人偷精品视频| 亚洲成人av在线免费| 菩萨蛮人人尽说江南好唐韦庄 | 成人av在线播放网站| 欧美最黄视频在线播放免费| av在线观看视频网站免费| 国产视频首页在线观看| 久久草成人影院| 亚洲最大成人中文| 我的女老师完整版在线观看| 国产亚洲精品久久久com| 观看免费一级毛片| 国产乱人视频| 狠狠狠狠99中文字幕| 成人亚洲精品av一区二区| 国内精品一区二区在线观看| 丰满人妻一区二区三区视频av| 男人的好看免费观看在线视频| 亚洲人成网站高清观看| 亚洲中文字幕一区二区三区有码在线看| 国产精品一区二区三区四区久久| 简卡轻食公司| 亚洲在久久综合| 亚洲成人中文字幕在线播放| 一本久久中文字幕| 看黄色毛片网站| 国产av在哪里看| 青青草视频在线视频观看| 99久国产av精品| 99久久九九国产精品国产免费| 午夜a级毛片| av卡一久久| 亚洲精品乱码久久久v下载方式| 国产精品国产高清国产av| 一区福利在线观看| 日韩亚洲欧美综合| 特级一级黄色大片| 高清日韩中文字幕在线| 国产亚洲精品久久久com| 欧美一级a爱片免费观看看| 国产精品一区二区性色av| 床上黄色一级片| 非洲黑人性xxxx精品又粗又长| 国产伦一二天堂av在线观看| 久久亚洲精品不卡| 乱系列少妇在线播放| 97超碰精品成人国产| 中文欧美无线码| а√天堂www在线а√下载| 欧洲精品卡2卡3卡4卡5卡区| 亚洲中文字幕一区二区三区有码在线看| 色哟哟·www| 麻豆精品久久久久久蜜桃| 久久精品国产亚洲av涩爱 | 欧美一级a爱片免费观看看| 在线观看av片永久免费下载| av在线播放精品| 直男gayav资源| 精品熟女少妇av免费看| 成人漫画全彩无遮挡| 又爽又黄无遮挡网站| h日本视频在线播放| 美女黄网站色视频| 可以在线观看的亚洲视频| 亚洲欧美成人精品一区二区| 国产蜜桃级精品一区二区三区| 久久久久九九精品影院| 国产激情偷乱视频一区二区| 色噜噜av男人的天堂激情| 男人的好看免费观看在线视频| 免费人成在线观看视频色| 蜜臀久久99精品久久宅男| 亚洲七黄色美女视频| 国产精品永久免费网站| 国产精品久久久久久亚洲av鲁大| 校园人妻丝袜中文字幕| 成人美女网站在线观看视频| 久久国产乱子免费精品| 国产片特级美女逼逼视频| 日韩欧美在线乱码| 久久久久久伊人网av| 久99久视频精品免费| 欧美日韩国产亚洲二区| 亚洲av免费在线观看| 亚洲成人久久爱视频| 亚洲性久久影院| 精品一区二区免费观看| 国产成人aa在线观看| 欧美人与善性xxx| 日韩欧美一区二区三区在线观看| 精品欧美国产一区二区三| 99久久精品一区二区三区| 国产一区二区三区av在线 | 悠悠久久av| 国产精品女同一区二区软件| 日本一本二区三区精品| 日产精品乱码卡一卡2卡三| 卡戴珊不雅视频在线播放| 国产色婷婷99| 国产三级在线视频| 久久久色成人| 99久久九九国产精品国产免费| 久久久久久久久久黄片| 久久久久性生活片| 夜夜看夜夜爽夜夜摸| 一级毛片电影观看 | 日韩视频在线欧美| 黄片wwwwww| 国产精华一区二区三区| 特级一级黄色大片| 精品久久久久久久久av| 九九爱精品视频在线观看| 两个人的视频大全免费| 99久久无色码亚洲精品果冻| 成人综合一区亚洲| 一夜夜www| 直男gayav资源| 天天躁夜夜躁狠狠久久av| 亚洲av第一区精品v没综合| 国产综合懂色| 国产一区二区三区av在线 | 在线观看av片永久免费下载| 国产精品久久视频播放| 中文资源天堂在线| 长腿黑丝高跟| 国产一级毛片在线| 日韩欧美 国产精品| 一个人免费在线观看电影| 日韩欧美国产在线观看| 国产一区二区三区av在线 | 最好的美女福利视频网| 亚洲av免费高清在线观看| 亚洲国产日韩欧美精品在线观看| 黑人高潮一二区| 日本黄色片子视频| 亚洲成人久久性| 91在线精品国自产拍蜜月| 午夜精品一区二区三区免费看| 国产爱豆传媒在线观看| 午夜福利在线观看吧| 在线国产一区二区在线| 日韩三级伦理在线观看| 亚洲美女搞黄在线观看| 亚洲乱码一区二区免费版| 国产精品久久视频播放| 日本熟妇午夜| 欧美性猛交黑人性爽| 性欧美人与动物交配| 国产成人freesex在线| 国产精品永久免费网站| 日韩欧美国产在线观看| 一个人看的www免费观看视频| 久久久午夜欧美精品| 色综合站精品国产| 亚洲成人久久爱视频| 黄色欧美视频在线观看| 欧美日韩一区二区视频在线观看视频在线 | 不卡一级毛片| 好男人视频免费观看在线| 免费av观看视频| 我的女老师完整版在线观看| 99热这里只有精品一区| 久久人人精品亚洲av| 日本欧美国产在线视频| 三级男女做爰猛烈吃奶摸视频| 日韩强制内射视频| 真实男女啪啪啪动态图| www日本黄色视频网| 国产片特级美女逼逼视频| 岛国毛片在线播放| 免费大片18禁| 小蜜桃在线观看免费完整版高清| 亚洲熟妇中文字幕五十中出| 晚上一个人看的免费电影| 一进一出抽搐gif免费好疼| av卡一久久| 免费av观看视频| 国产精品,欧美在线| 日本黄色片子视频| 亚洲精品日韩在线中文字幕 | 久久欧美精品欧美久久欧美| 性色avwww在线观看| av在线亚洲专区| 国产精品一区二区三区四区久久| 高清毛片免费看| 最好的美女福利视频网| 精品一区二区三区视频在线| av.在线天堂| 搡老妇女老女人老熟妇| 久久久久免费精品人妻一区二区| 国产精品三级大全| 大又大粗又爽又黄少妇毛片口| 亚洲欧洲国产日韩| 国产精品蜜桃在线观看 | 国产精品嫩草影院av在线观看| 日本熟妇午夜| 久久综合国产亚洲精品| 亚洲人成网站在线观看播放| 麻豆国产97在线/欧美| 久久久久久久久久久丰满| 欧美日本亚洲视频在线播放| 51国产日韩欧美| 全区人妻精品视频| 一级毛片我不卡| 伊人久久精品亚洲午夜| 亚洲av一区综合| 欧美最黄视频在线播放免费| 精品午夜福利在线看| 免费黄网站久久成人精品| 日产精品乱码卡一卡2卡三| 日韩亚洲欧美综合| 天堂中文最新版在线下载 | 一个人看视频在线观看www免费| 欧美精品国产亚洲| 久久人妻av系列| 最新中文字幕久久久久| 如何舔出高潮| 少妇人妻一区二区三区视频| 久久精品久久久久久久性| 22中文网久久字幕| 乱系列少妇在线播放| 全区人妻精品视频| 最近手机中文字幕大全| 变态另类成人亚洲欧美熟女| 男女视频在线观看网站免费| 国产精品一区二区三区四区免费观看| 亚洲七黄色美女视频| 在线播放无遮挡| 国产一区二区激情短视频| 日本在线视频免费播放| 亚洲成人久久性| 欧美日韩乱码在线| 欧美成人免费av一区二区三区| 天天一区二区日本电影三级| 国产高清视频在线观看网站| 校园春色视频在线观看| 精品人妻偷拍中文字幕| 一个人观看的视频www高清免费观看| 亚洲天堂国产精品一区在线| 大型黄色视频在线免费观看| 国产精品三级大全| 国产视频内射| 男人舔奶头视频| 午夜精品在线福利| 国内精品美女久久久久久| 18禁在线无遮挡免费观看视频| 国产精品99久久久久久久久| 免费看美女性在线毛片视频| 亚洲无线观看免费| 久久综合国产亚洲精品| 欧美激情国产日韩精品一区| 午夜亚洲福利在线播放| 伊人久久精品亚洲午夜| 日日干狠狠操夜夜爽| 国产成人一区二区在线| 综合色丁香网| 熟妇人妻久久中文字幕3abv| 在线观看美女被高潮喷水网站| 小蜜桃在线观看免费完整版高清| 亚洲精品国产成人久久av| 中文字幕久久专区| 哪里可以看免费的av片| av专区在线播放| 国产亚洲91精品色在线| 午夜精品一区二区三区免费看| 国产精品,欧美在线| 久久精品国产鲁丝片午夜精品| 亚洲精品成人久久久久久| 欧美3d第一页| 美女大奶头视频| 啦啦啦啦在线视频资源| 91av网一区二区| 桃色一区二区三区在线观看| 2022亚洲国产成人精品| 美女高潮的动态| 久久欧美精品欧美久久欧美| 青春草国产在线视频 | 18禁裸乳无遮挡免费网站照片| 午夜免费男女啪啪视频观看| 国产成人福利小说| 免费人成在线观看视频色| 国产精品国产三级国产av玫瑰| 级片在线观看| 日韩欧美一区二区三区在线观看| 亚洲天堂国产精品一区在线| 国产伦精品一区二区三区视频9| 欧美成人免费av一区二区三区| 亚洲国产精品sss在线观看| 欧美3d第一页| 精品久久久久久久久亚洲| 啦啦啦啦在线视频资源| 五月伊人婷婷丁香| 九九爱精品视频在线观看| 久久精品久久久久久噜噜老黄 | 欧美人与善性xxx| 国产精品女同一区二区软件| 亚洲欧美日韩东京热| 青青草视频在线视频观看| 久久久久免费精品人妻一区二区| 一个人免费在线观看电影| 熟妇人妻久久中文字幕3abv| 99国产精品一区二区蜜桃av| av天堂中文字幕网| 国产亚洲av嫩草精品影院| 亚洲第一区二区三区不卡| 99久久精品国产国产毛片| 三级男女做爰猛烈吃奶摸视频| 嫩草影院入口| 亚洲国产高清在线一区二区三| 免费观看的影片在线观看| 婷婷精品国产亚洲av| 六月丁香七月| 高清午夜精品一区二区三区 | 日本五十路高清| 久久久久性生活片| 免费观看a级毛片全部| 国产精品蜜桃在线观看 | 国产69精品久久久久777片| 欧美日本亚洲视频在线播放| 老司机福利观看| 久久精品夜夜夜夜夜久久蜜豆| 亚洲久久久久久中文字幕| 成人国产麻豆网| 亚洲不卡免费看| 婷婷六月久久综合丁香| 国产大屁股一区二区在线视频| 亚洲av男天堂| 国内精品久久久久精免费| 亚洲av成人av| 97超碰精品成人国产| 欧美一区二区亚洲| 色综合色国产| 最后的刺客免费高清国语| 欧美三级亚洲精品| 欧美色视频一区免费| 男的添女的下面高潮视频| 国产麻豆成人av免费视频| 国产爱豆传媒在线观看| 国产亚洲欧美98| 亚洲成人中文字幕在线播放| 99久久人妻综合| 日日撸夜夜添| 国产探花在线观看一区二区| or卡值多少钱| 一个人看视频在线观看www免费| 99国产精品一区二区蜜桃av| 插逼视频在线观看| 毛片一级片免费看久久久久| 午夜免费男女啪啪视频观看| 99热网站在线观看| 国产亚洲欧美98| 欧美三级亚洲精品| 亚洲国产精品成人综合色| 久久久久久久久中文| 中文精品一卡2卡3卡4更新| 99热全是精品| 国产精品.久久久| 综合色av麻豆| 搞女人的毛片| 亚洲婷婷狠狠爱综合网| 国产午夜福利久久久久久| 亚洲国产精品成人久久小说 | 亚洲人成网站在线播| 日韩制服骚丝袜av| 国产探花在线观看一区二区| 黄色视频,在线免费观看| 亚洲精华国产精华液的使用体验 | 在线观看免费视频日本深夜| 亚洲国产精品成人久久小说 | 直男gayav资源| 国产精品免费一区二区三区在线| 成人欧美大片| 观看美女的网站| 99久久九九国产精品国产免费| 日韩欧美精品免费久久| 成人毛片a级毛片在线播放| 午夜激情欧美在线| 国产一区二区在线观看日韩| 久久久a久久爽久久v久久| 亚洲内射少妇av| 欧美日本视频| 男女视频在线观看网站免费| 国产精品一区二区性色av| 午夜激情欧美在线| 久久精品国产自在天天线| 午夜久久久久精精品| 又粗又硬又长又爽又黄的视频 | 欧美精品国产亚洲| av在线亚洲专区| 99久久无色码亚洲精品果冻| 色哟哟哟哟哟哟| 精品人妻熟女av久视频| 美女大奶头视频| 高清在线视频一区二区三区 | 观看美女的网站| 免费无遮挡裸体视频| 亚洲欧美清纯卡通| 亚洲精品亚洲一区二区| 成人亚洲精品av一区二区| 免费电影在线观看免费观看| 赤兔流量卡办理| 69人妻影院| 亚洲成人av在线免费| 亚洲国产精品成人久久小说 | 中文在线观看免费www的网站| 久久人人爽人人爽人人片va| 中文资源天堂在线| 国模一区二区三区四区视频| 天天躁夜夜躁狠狠久久av| 蜜桃亚洲精品一区二区三区| 国产精品国产三级国产av玫瑰| a级一级毛片免费在线观看| 综合色丁香网| 亚洲中文字幕日韩| 久久久久性生活片| 菩萨蛮人人尽说江南好唐韦庄 | 久久鲁丝午夜福利片| 国产成人影院久久av| 中文字幕av成人在线电影| 欧美成人精品欧美一级黄| av免费在线看不卡| 日韩在线高清观看一区二区三区| 免费搜索国产男女视频| 国产高潮美女av| 男人狂女人下面高潮的视频| 亚洲av.av天堂| 欧美变态另类bdsm刘玥| 久久韩国三级中文字幕| 一区二区三区高清视频在线| 国产精品蜜桃在线观看 | 99久久人妻综合| 国产av不卡久久| 国产伦理片在线播放av一区 | 国产精品乱码一区二三区的特点| 国产精华一区二区三区| 一本一本综合久久| 亚洲欧美精品专区久久| 老女人水多毛片| or卡值多少钱| 小说图片视频综合网站| 久99久视频精品免费| 欧美日韩精品成人综合77777| 国产精品麻豆人妻色哟哟久久 | 国产精品三级大全| 国产精品一区二区三区四区免费观看| 99riav亚洲国产免费| 欧美三级亚洲精品| 精品一区二区三区视频在线| 日本-黄色视频高清免费观看| 国产亚洲精品久久久com| 亚洲电影在线观看av| 免费观看的影片在线观看| 全区人妻精品视频| 一本久久中文字幕| 免费观看在线日韩| 美女cb高潮喷水在线观看| 国内精品美女久久久久久| 禁无遮挡网站| 在线观看免费视频日本深夜| 亚洲av第一区精品v没综合| 成人永久免费在线观看视频| av在线天堂中文字幕| 日本撒尿小便嘘嘘汇集6| 波多野结衣高清无吗| 99热6这里只有精品| 波多野结衣高清无吗| 色视频www国产| 亚洲成人中文字幕在线播放| 99热这里只有精品一区| 九九久久精品国产亚洲av麻豆| av黄色大香蕉| 黑人高潮一二区| 大又大粗又爽又黄少妇毛片口| 九色成人免费人妻av| 亚洲人成网站在线观看播放| 亚洲精品国产成人久久av| 亚洲成av人片在线播放无| 免费看美女性在线毛片视频| 不卡视频在线观看欧美| 亚洲欧美日韩卡通动漫| 国产精品.久久久| 一区二区三区免费毛片| 欧美日韩一区二区视频在线观看视频在线 | 国产在线精品亚洲第一网站| 搡老妇女老女人老熟妇| 麻豆久久精品国产亚洲av| 国产精品久久久久久久久免| 久久精品影院6| 大香蕉久久网| 美女 人体艺术 gogo| 国产伦精品一区二区三区视频9| 在线国产一区二区在线| 午夜免费激情av| 欧美日韩在线观看h| 国产色婷婷99| 久久韩国三级中文字幕| 久久久午夜欧美精品| 老女人水多毛片| 国产黄色小视频在线观看| 午夜福利在线观看免费完整高清在 | 欧美日韩一区二区视频在线观看视频在线 | 麻豆成人av视频| 久久久色成人| 成人国产麻豆网| 欧美高清成人免费视频www| 18禁裸乳无遮挡免费网站照片| 村上凉子中文字幕在线| 国产成人精品一,二区 | 亚洲中文字幕一区二区三区有码在线看| 蜜桃亚洲精品一区二区三区| 亚洲精品粉嫩美女一区| 国产精品一区二区在线观看99 | 搡老妇女老女人老熟妇| 边亲边吃奶的免费视频| 亚洲精品乱码久久久v下载方式| 最近视频中文字幕2019在线8| 高清午夜精品一区二区三区 | 黑人高潮一二区| 九草在线视频观看| 少妇人妻精品综合一区二区 | 成年av动漫网址| 久久久精品欧美日韩精品| 天堂中文最新版在线下载 | 亚洲欧美日韩无卡精品| 欧美潮喷喷水| 在线观看午夜福利视频| 美女大奶头视频| a级一级毛片免费在线观看| 最后的刺客免费高清国语| 久久国产乱子免费精品| 天堂av国产一区二区熟女人妻| 一级毛片我不卡| 18禁黄网站禁片免费观看直播| 麻豆一二三区av精品| 能在线免费看毛片的网站| 美女大奶头视频| 赤兔流量卡办理| 毛片女人毛片| 亚洲欧美成人综合另类久久久 | 免费观看a级毛片全部| 精品久久久久久久人妻蜜臀av| 男插女下体视频免费在线播放| 3wmmmm亚洲av在线观看| 免费av观看视频| 1024手机看黄色片| 丰满的人妻完整版| 国产精品乱码一区二三区的特点| 最近的中文字幕免费完整| 亚洲av免费在线观看| 网址你懂的国产日韩在线| 亚洲一区高清亚洲精品| 国产一区二区亚洲精品在线观看|