• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于容器編排技術(shù)的資源運(yùn)維系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    2018-07-03 08:39:24張勛張呈宇魏進(jìn)武
    電信科學(xué) 2018年6期
    關(guān)鍵詞:容器集群運(yùn)維

    張勛,張呈宇,魏進(jìn)武

    ?

    一種基于容器編排技術(shù)的資源運(yùn)維系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    張勛,張呈宇,魏進(jìn)武

    (中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院大數(shù)據(jù)研究中心,北京 100176)

    容器運(yùn)行、容器編排、框架編排是構(gòu)建容器運(yùn)維系統(tǒng)的核心功能。容器資源運(yùn)維系統(tǒng)的工作原理是運(yùn)用Mesos進(jìn)行資源調(diào)度、運(yùn)用Kubernetes進(jìn)行容器編排、運(yùn)用Marathon技術(shù)進(jìn)行框架管理。這3種技術(shù)在容器運(yùn)維中相互關(guān)聯(lián)、相互銜接,使得系統(tǒng)內(nèi)部機(jī)制正常運(yùn)轉(zhuǎn)。深入闡述了這3項(xiàng)技術(shù)是如何應(yīng)用到實(shí)際系統(tǒng)構(gòu)建中的,給了設(shè)計(jì)的組合架構(gòu)及改進(jìn)技術(shù)難點(diǎn),以解決中國聯(lián)通現(xiàn)有業(yè)務(wù)應(yīng)用容器化之后資源調(diào)度不平衡的問題、現(xiàn)有物理集群彈性擴(kuò)/縮容的問題以及實(shí)際業(yè)務(wù)部署統(tǒng)一運(yùn)營的問題,從而實(shí)現(xiàn)容器運(yùn)維管理系統(tǒng)的建設(shè)。

    資源運(yùn)維系統(tǒng);容器調(diào)度;彈性擴(kuò)/縮容

    1 引言

    目前中國聯(lián)合網(wǎng)絡(luò)通信公司(以下簡稱聯(lián)通)采用的以VMware虛擬機(jī)為主的虛擬化技術(shù),并不能滿足現(xiàn)有通信領(lǐng)域,實(shí)際業(yè)務(wù)應(yīng)用使用容器技術(shù)進(jìn)行虛擬化擴(kuò)/縮容的要求;并且聯(lián)通現(xiàn)有大數(shù)據(jù)集群,是以Hadoop為主的傳統(tǒng)固定集群模式,擴(kuò)/縮容需要依靠人工添加實(shí)際物理機(jī)的模式,重新安裝集群,人員、硬件成本開銷較大。而現(xiàn)有開源技術(shù)中,Kubernetes可以很好地解決使用Docker虛擬化技術(shù)之后容器的生命周期問題,以及實(shí)際業(yè)務(wù)應(yīng)用容器化技術(shù)之后快速擴(kuò)/縮容的問題。而Mesos可以解決Hadoop集群自動化擴(kuò)/縮容的問題。因此中國聯(lián)通研究院建設(shè)CU-DCOS容器運(yùn)維系統(tǒng),結(jié)合現(xiàn)有開源技術(shù)解決上述兩項(xiàng)生產(chǎn)環(huán)境的固有問題。研究開源技術(shù)與聯(lián)通現(xiàn)有環(huán)境集成的容器資源運(yùn)維系統(tǒng)的實(shí)現(xiàn)。

    2 現(xiàn)有容器應(yīng)用運(yùn)維的問題

    中國聯(lián)通目前的IT系統(tǒng)能夠滿足生產(chǎn)供給和部署,但在實(shí)際運(yùn)維中卻十分依賴第三方廠商的協(xié)助,仍舊是每個業(yè)務(wù)一個團(tuán)隊(duì)的“作坊”模式。每年的人力維護(hù)成本十分巨大,且效率較低。隨著中國聯(lián)通承載的實(shí)際業(yè)務(wù)越來越多,不同業(yè)務(wù)應(yīng)用團(tuán)隊(duì)之間主機(jī)資源不平衡程度加劇,擴(kuò)/縮容能力較低,嚴(yán)重影響了生產(chǎn)環(huán)境的穩(wěn)定性和頑健性,如圖1和圖2所示。目前的各個業(yè)務(wù)系統(tǒng)運(yùn)營存在資源運(yùn)行不均衡、時(shí)段運(yùn)行不均衡等重大問題,主要體現(xiàn)在以下幾點(diǎn):

    圖1 不同作業(yè)的內(nèi)存分時(shí)段使用率統(tǒng)計(jì)

    圖2 不同作業(yè)的CPU分段使用率統(tǒng)計(jì)

    ?集群分布在多個機(jī)房,業(yè)務(wù)增長過快導(dǎo)致頻繁的數(shù)據(jù)遷移,針對性的平臺性能優(yōu)化不足;

    ??因GP故障、生產(chǎn)性能不足等問題,自2015年至今經(jīng)歷多次數(shù)據(jù)遷移,存儲資源不足及必要的數(shù)據(jù)留存周期造成無法針對性做進(jìn)一步優(yōu)化;

    ?HBase庫在數(shù)據(jù)量增大后,讀的概率下降,查詢效率會逐步降低,需要持續(xù)優(yōu)化保障,其他業(yè)務(wù)需求增多,與核心生產(chǎn)服務(wù)資源征用情況相比較明顯,直接影響到cBSS原始明細(xì)下發(fā)、對外實(shí)時(shí)查詢等服務(wù);

    ??單個業(yè)務(wù)團(tuán)隊(duì)運(yùn)維人員投入急劇增加,尤其需要增加實(shí)際業(yè)務(wù)自動化運(yùn)維監(jiān)控功能,落地自動化運(yùn)維監(jiān)控平臺,減少人員運(yùn)維成本;

    ??如圖1、圖2所示,如果能將不同主機(jī)的主機(jī)資源共享,將大大提高主機(jī)資源的使用率。生產(chǎn)系統(tǒng)中,每一個計(jì)算集群都部署在專門的物理機(jī)中,計(jì)算任務(wù)完成后,則會閑置,而其他的計(jì)算集群也無法使用該主機(jī)資源。原有的技術(shù)結(jié)構(gòu)存在的問題是缺乏純物理機(jī)資源的粗、細(xì)顆粒度的調(diào)度能力。

    本文研究填補(bǔ)了中國聯(lián)通沒有統(tǒng)一的容器化資源運(yùn)維平臺的空白,讓實(shí)際業(yè)務(wù)應(yīng)用在無狀態(tài)化、容器化之后,統(tǒng)一管理業(yè)務(wù)應(yīng)用的生命周期。打通現(xiàn)有運(yùn)維模式,統(tǒng)一運(yùn)維所有的業(yè)務(wù)應(yīng)用資源,使現(xiàn)有的開源技術(shù)有機(jī)地和聯(lián)通傳統(tǒng)業(yè)務(wù)相結(jié)合。

    3 國內(nèi)研究現(xiàn)狀

    網(wǎng)狀網(wǎng)作為整個一級業(yè)務(wù)支撐系統(tǒng)的核心系統(tǒng),是中國移動內(nèi)外部信息傳輸交換、服務(wù)管控、數(shù)據(jù)處理、業(yè)務(wù)支撐、運(yùn)營開放為一體的綜合信息交換樞紐。目前承載200多個平臺的接入,支撐業(yè)務(wù)達(dá)到2 000多個,系統(tǒng)承載業(yè)務(wù)具有容量大、實(shí)時(shí)性強(qiáng)、波動劇烈、增長迅速、重要性強(qiáng)、客戶影響大、無狀態(tài)業(yè)務(wù)居多等特點(diǎn),非常適合做PaaS平臺的試點(diǎn)。業(yè)務(wù)支撐中心和網(wǎng)狀網(wǎng)項(xiàng)目技術(shù)團(tuán)隊(duì)經(jīng)過大量的研討,創(chuàng)新性地提出了應(yīng)用進(jìn)程單元(application process unit,APU)的概念,把資源和應(yīng)用有效地結(jié)合在一起,解決未來系統(tǒng)發(fā)展和管理的瓶頸。而且通過深入的技術(shù)研究和實(shí)踐探索,在Docker基礎(chǔ)上通過增強(qiáng)接口和管理功能,實(shí)現(xiàn)了APU概念的落地。結(jié)合Kunbernetes作為集群管理平臺,搭建了能夠承載網(wǎng)狀網(wǎng)系統(tǒng)的PaaS平臺試點(diǎn),實(shí)現(xiàn)了整個平臺的容器化改造和集群的部署、管理和監(jiān)控。

    4 容器運(yùn)維系統(tǒng)的設(shè)計(jì)

    4.1 功能架構(gòu)及其設(shè)計(jì)思路

    一般地,較設(shè)計(jì)需求來說,容器運(yùn)維系統(tǒng)是面向生產(chǎn)系統(tǒng)各應(yīng)用提供大數(shù)據(jù)微服務(wù)化能力管理、調(diào)度和開放化運(yùn)營的管理框架,并面向不同的業(yè)務(wù)部門和信息域的需求,實(shí)現(xiàn)多租戶管理的能力開放。因此在設(shè)計(jì)容器運(yùn)維系統(tǒng)的功能時(shí),需要綜合考量。核心的必要功能羅列如下。

    (1)容器管理

    需包括整個容器的生命周期管理,即容器服務(wù)的部署創(chuàng)建、容器服務(wù)配置的修改管理、容器服務(wù)的銷毀、容器服務(wù)的應(yīng)用監(jiān)控。為適應(yīng)不同的用戶,還應(yīng)具備服務(wù)訪問的權(quán)限[1]。如管理員可以訪問所有的容器實(shí)例,而單個用戶只能訪問自己創(chuàng)建或者同組之間賦予權(quán)限的容器實(shí)例。各個分組之間應(yīng)是完全物理隔離或邏輯隔離的[2]。

    (2)框架管理

    也需包括整個框架的生命周期管理,即框架服務(wù)的部署與創(chuàng)建、框架服務(wù)配置的修改管理、框架服務(wù)的銷毀、框架服務(wù)的監(jiān)控。需要與容器有所區(qū)分的是,框架相對容器的生命周期較長,且一般都是相對復(fù)雜的應(yīng)用,交付方式也不單是網(wǎng)址端口如此簡單明確。很多業(yè)務(wù)場景下,如Hadoop的能力,其創(chuàng)建不應(yīng)由用戶自行創(chuàng)建,更多的業(yè)務(wù)場景則是用戶來發(fā)起工單、申請能力、管理員開通、交付使用。所以框架的生命周期管理應(yīng)由管理員掌控[3]。

    (3)集群管理

    相對地,也需要包括集群的全生命周期管理,如集群的創(chuàng)建、集群節(jié)點(diǎn)數(shù)量等服務(wù)配置的修改管理、集群的銷毀與監(jiān)控[4]。

    其次需要包括完整的工單系統(tǒng),包括用戶和管理員這兩個基本權(quán)限角色,同時(shí)為了管理更有序,還需要對用戶進(jìn)行分組,實(shí)現(xiàn)組間、組內(nèi)多租戶更細(xì)化地分配資源。作為工單系統(tǒng),角色的注冊和權(quán)限管理也是必不可少的。另外還需要對已有的軟件資源(物理機(jī)、框架、鏡像)設(shè)計(jì)相對應(yīng)的管理功能。

    ?鏡像倉庫:鏡像的添加或刪除。

    ??框架倉庫:框架的添加或刪除。

    ??物理機(jī)資源:資源納管,將物理機(jī)納入策略設(shè)置[5]。

    圖3 容器運(yùn)維系統(tǒng)功能

    除了以上的核心功能,還需根據(jù)實(shí)際業(yè)務(wù)情況設(shè)計(jì)針對性的進(jìn)階功能,如針對快速迭代的DevOps管理、容器存儲的持久化、一鍵部署所需的應(yīng)用包功能。經(jīng)過功能梳理后,容器運(yùn)維系統(tǒng)的功能如圖3所示。

    4.2 容器運(yùn)維系統(tǒng)的技術(shù)路線

    經(jīng)過前期的技術(shù)選型通過集成已有的開源軟件技術(shù)可以完成以下功能的搭建。

    ? DCOS:集群生命周期管理、框架倉庫、物理機(jī)資源納管。

    ? Kubernetes: 容器生命周期管理、租戶管理。

    ? ? Mesos:資源調(diào)度。

    ? Marathon:框架生命周期管理。

    ? Harbor:鏡像庫管理。

    ? ? Nginx&Flannel:服務(wù)注冊、負(fù)載均衡、訪問鑒權(quán)。

    ? ? Helm:應(yīng)用分組管理。

    ? ? Ceph:容器持久化存儲。

    ? ? Jenkins:DevOps迭代開發(fā)。

    ? ? Heapster&&EFK:監(jiān)控容器運(yùn)行情況并輸出監(jiān)控日志。

    容器資源運(yùn)維系統(tǒng)使用DCOS+Marathon+ Kubernetes 的架構(gòu)模式(如圖4所示),完成集群、框架、容器三大維度生命周期的管理。容器資源運(yùn)維系統(tǒng)從技術(shù)架構(gòu)上分為接入層、服務(wù)層、框架調(diào)度層和前臺的管理系統(tǒng)[6]。

    ? 接入層:負(fù)責(zé)服務(wù)發(fā)現(xiàn)和服務(wù)路由,把每個容器業(yè)務(wù)應(yīng)用串聯(lián)起來。

    ? 服務(wù)層:應(yīng)用Helm技術(shù),把每個用戶自定義的容器配置保存起來打包,以便二次部署;基于Jenkins技術(shù),在線編譯程序,快速構(gòu)建驗(yàn)證與開發(fā)環(huán)境,實(shí)現(xiàn)應(yīng)用的容器化封裝。

    ? 框架調(diào)度層:應(yīng)用Heapster,實(shí)現(xiàn)容器的健康度實(shí)時(shí)監(jiān)控;EFK完成系統(tǒng)日志層面的搜索、輸出、展示;Kubernetes完成容器的生命周期管理;Marathon完成框架的生命周期管理;Mesos提供這兩個模塊的資源調(diào)度。

    圖4 系統(tǒng)技術(shù)架構(gòu)

    圖5 Hadoop集群資源調(diào)度實(shí)例

    ? 前臺管理:用Java編寫前臺的客戶端,調(diào)用現(xiàn)有技術(shù)的API,實(shí)現(xiàn)所有技術(shù)的調(diào)用。

    5 關(guān)鍵問題技術(shù)Mesos

    5.1 Mesos的資源調(diào)度改進(jìn)設(shè)計(jì)

    容器資源運(yùn)維系統(tǒng)針對主流的Hadoop系列大數(shù)據(jù)應(yīng)用,采用兩級調(diào)度策略,由Mesos發(fā)起資源分配,實(shí)際的應(yīng)用框架消費(fèi)資源,合理化使用物理機(jī)資源,如圖5所示,做到資源空閑時(shí),大數(shù)據(jù)應(yīng)用集群搶占系統(tǒng)資源;資源緊張時(shí),大數(shù)據(jù)應(yīng)用自動釋放資源,并且不影響實(shí)際業(yè)務(wù)使用。這其中包括改進(jìn)的Mesos資源配置機(jī)制,如圖6所示。

    圖6 Mesos資源機(jī)制

    ? 預(yù)留資源:由特定框架或角色靜態(tài)或動態(tài)聲明的資源,包括一些已分配的資源。

    ? 已分配資源:已提供給框架或由框架接受并作為執(zhí)行程序/任務(wù)提供的資源。

    ? 可撤銷資源:可以由分配器或代理在任何時(shí)間/短期通知回收的資源以及這些資源上的容器將被銷毀??沙蜂N資源可以由分配器和代理使用超額預(yù)訂生成。在代理使用超額預(yù)訂的上下文中,“可撤銷”的含義還包括容器可能經(jīng)歷節(jié)流的東西(例如較低的CPU份額、較少的網(wǎng)絡(luò)優(yōu)先級等)[7]。

    5.2 Mesos的任務(wù)機(jī)制改進(jìn)設(shè)計(jì)

    ? 正常任務(wù):在不可撤銷資源上運(yùn)行的任務(wù),與AWS保留實(shí)例相同。

    ? 可撤銷任務(wù):低優(yōu)先級和易碎的任務(wù),如AWS spot實(shí)例。

    ? Lender框架:一個運(yùn)行正常任務(wù)并保留資源的框架,這個框架可能沒有充分利用那些保留的資源,這就像目前存在的任何框架。

    ? Tenant框架:一種運(yùn)行可撤銷任務(wù)并利用Lender框架中的資源的框架的新范例。這種類型的框架可以處理不穩(wěn)定/笨拙的資源和更高的任務(wù)故障率。租戶框架需要具有啟用“REVOCABLE_RESOURCES”的能力。

    如圖7、圖8所示,Lender框架決定使用其保留的資源時(shí),使用來自分配器所提供的資源來啟動任務(wù)。如果任務(wù)不適合當(dāng)前可用的資源,則代理首先通過殺死正在使用可撤銷的不可節(jié)制的資源的執(zhí)行器來驅(qū)逐一些任務(wù)[8]。這可以由預(yù)訂超額預(yù)訂和動態(tài)預(yù)留之間的交互觸發(fā)。在框架或操作者移除一些保留的資源之后,同時(shí)由“被移除的保留資源”所生成的“可撤銷非節(jié)流資源”正由任務(wù)/執(zhí)行器使用,則可撤銷的不可節(jié)制資源總量也將在代理上減少[9]。

    圖7 驅(qū)逐保留資源任務(wù)

    圖8 驅(qū)逐正常資源任務(wù)

    6 結(jié)果驗(yàn)證

    本文以CentOS 7為驗(yàn)證環(huán)境,驗(yàn)證了主機(jī)10.1.24.108、10.1.24.39、10.1.24.137、10.1.24.234這4臺x86機(jī)架服務(wù)器,集成Docker(1.11)、Hadoop2.7、Kubernetes1.5、Open DCOS 1.05、Mesos 1.0.0等開源軟件設(shè)計(jì)實(shí)現(xiàn)容器運(yùn)維系統(tǒng)。

    (1)資源調(diào)度驗(yàn)證

    由于設(shè)計(jì)方案側(cè)重大數(shù)據(jù)的資源調(diào)度。為了對比容器運(yùn)維系統(tǒng)與Open DCOS兩個調(diào)度大數(shù)據(jù)資源的方法,采用實(shí)際驗(yàn)證法對兩個方法進(jìn)行了驗(yàn)證。結(jié)果如下。

    首先,驗(yàn)證了兩個系統(tǒng)對于Myriad框架對細(xì)粒度資源的支持。目的是驗(yàn)證Myriad框架對執(zhí)行任務(wù)時(shí),按照細(xì)粒度模式申請資源,任務(wù)運(yùn)行時(shí)資源的利用情況。

    實(shí)際驗(yàn)證結(jié)果如下。

    Open DCOS:細(xì)粒度執(zhí)行時(shí)間為165.476 s,固定模塊執(zhí)行時(shí)間為147.648 s。

    CU-DCOS容器運(yùn)維系統(tǒng):細(xì)粒度執(zhí)行時(shí)間為164.693 s,固定模塊執(zhí)行時(shí)間為144.976 s。

    通過驗(yàn)證發(fā)現(xiàn),在資源模板配置零的情況下,計(jì)算任務(wù)的時(shí)間比固定資源配置要長一些,且兩種方法都支持Myriad框架對細(xì)粒度資源進(jìn)行調(diào)度。

    其次,驗(yàn)證了兩個系統(tǒng)對于資源預(yù)留功能方面的功能實(shí)現(xiàn)。目的是驗(yàn)證Myriad的基礎(chǔ)資源預(yù)留功能以及在這個基礎(chǔ)上的附加功能,包括動態(tài)資源預(yù)留、資源搶占等。

    在Mesos-slave機(jī)器上配置資源選項(xiàng)做配置,為CPU、內(nèi)存、角色等進(jìn)行資源靜態(tài)預(yù)留。在Myriad框架上,調(diào)用容器運(yùn)維系統(tǒng)新增的RESTful接口發(fā)起動態(tài)預(yù)留信息,將資源等配置資源到固定機(jī)器上。

    實(shí)際驗(yàn)證結(jié)果如下。

    圖9 容器運(yùn)維系統(tǒng)資源監(jiān)控

    圖10 集群1壓力較大時(shí)容器運(yùn)維系統(tǒng)資源監(jiān)控

    Open DCOS和容器運(yùn)維系統(tǒng)均支持動態(tài)、靜態(tài)資源預(yù)留,Open DCOS對資源搶占功能不支持,但容器運(yùn)維系統(tǒng)對于資源搶占功能支持。集群資源搶占效果如圖9所示,圖9中集群1有2臺主機(jī),集群2有2臺主機(jī)。當(dāng)集群1壓力較大時(shí),會搶占集群2較為空閑的主機(jī)資源參與計(jì)算,如圖10所示。

    (2)Mesos運(yùn)行模式驗(yàn)證

    驗(yàn)證結(jié)果發(fā)現(xiàn)應(yīng)用框架方便實(shí)用,并且可以根據(jù)需要自行開發(fā)。容器化需要對應(yīng)用進(jìn)行無狀態(tài)改造工作。改造工作主要針對以下3個有狀態(tài)內(nèi)容:會話方面使用Redis緩存或Memcached;日志使用日志服務(wù)器Graylog;非日志數(shù)據(jù)文件通過外掛存儲的方式移至持久化存儲。

    (3)基于Mesos的未容器化的應(yīng)用解決方案

    驗(yàn)證結(jié)果發(fā)現(xiàn)部分業(yè)務(wù)暫時(shí)難以容器化改造的應(yīng)用,特點(diǎn)為:有狀態(tài)、體量大、自身封閉、難以微服務(wù)化,且無響應(yīng)應(yīng)用框架,如核心應(yīng)用、Oracle等。

    基于Kubernetes的大顆粒度Docker容器:使用大顆粒度容器承載整個應(yīng)用。這樣便于部署和管理,可以提高資源利用率,持續(xù)集成(DevOps),且Docker占用資源極少。

    使用Marathon支持的Mesos-容器。Mesos-容器比Docker更輕,只針對進(jìn)程用CGroup做CPU、內(nèi)存的隔離,不對文件系統(tǒng)、網(wǎng)絡(luò)等進(jìn)行限制。不需要使用鏡像啟動,直接運(yùn)行命令行啟動該容器。

    (4)技術(shù)路線對比驗(yàn)證

    Kubernetes相較于Marathon(見表1)有更好的潛力,在容器化調(diào)度方面,支持證書,支持容器的持久化卷等額外的擴(kuò)展功能,且在多集群和容災(zāi)方面都比Marathon有更好的安全性保證??傮w來說,Kubernetes更適合容器的編排和調(diào)度。在Mesos方面需要使用開源技術(shù)和自行研發(fā)結(jié)合方式實(shí)現(xiàn),其中對資源的統(tǒng)一管理和調(diào)度采用開源的Mesos來支撐,但缺乏框架的自動安裝部署和門戶等附加功能,需要在穩(wěn)定的Mesos版本上深度研發(fā)。

    7 結(jié)束語

    容器運(yùn)維系統(tǒng)旨在通過新一代的云計(jì)算架構(gòu)——容器技術(shù),解決聯(lián)通面臨的實(shí)際問題。在解決問題過程中,依賴于開源軟件通過自主架構(gòu)、自主方案設(shè)計(jì),部分核心能力自主研發(fā);形成了面向生產(chǎn)環(huán)境下的IT系統(tǒng),實(shí)現(xiàn)資源的一體化調(diào)度、大數(shù)據(jù)微服務(wù)化管理能力;完成IT資源的集中管理的新一代的私有云平臺系統(tǒng)。一方面驗(yàn)證了以容器為基礎(chǔ)的PaaS平臺從模式、到技術(shù)的可行性,另一方面在行業(yè)內(nèi)首次實(shí)現(xiàn)了面向大數(shù)據(jù)、物理資源彈性調(diào)度、多租戶管理的“資源+數(shù)據(jù)+能力”的平臺架構(gòu)。

    表1 技術(shù)對比驗(yàn)證

    [1] BAIER J. Getting started with Kubernetes[M]. Birmingham: Packt Publishing, 2015.

    [2] BERNSTEIN D. Containers and cloud: from LXC to Docker to Kubernetes[J]. IEEE Cloud Computing, 2015, 1(3): 81-84.

    [3] HINDMAN B, KONWINSKI A, ZAHARIA M, et al. Mesos: a platform for fine-grained resource sharing in the data center[C]// USENIX Conference on Networked Systems Design & Implementation, April 2-5, 2010, Lombard, IL, USA. New York: ACM Press, 2010: 429-483.

    [4] 吳龍輝. Kubernetes第1版實(shí)戰(zhàn)[M].北京: 電子工業(yè)出版社, 2015: 13-211.

    WU L H. Kubernetes application 1st ed[M]. Beijing: Electronic Industry Press, 2015: 13-211.

    [5] SIERRA K, BATES B. O’Reilly: head first java(中文版)[M]. O’Reilly Taiwan譯. 北京: 中國電力出版社, 2007.

    SIERRA K, BATES B. O’Reilly: head first Java[M]. Translated by O’Reilly Taiwan. Beijing: China Electric Power Press, 2007.

    [6] KAKADIA D. Mesos 大數(shù)據(jù)資源調(diào)度與大規(guī)模容器運(yùn)行最佳實(shí)踐[M]. 崔婧雯, 劉夢馨, 譯. 北京: 電子工業(yè)出版社, 2015.

    KAKADIA D. Applications on Mesos[M]. Translated by CUI J W, LIU M X. Beijing: Electronic Industry Press, 2015.

    [7] 曹旭, 曹瑞彤. 基于大數(shù)據(jù)分析的網(wǎng)絡(luò)異常檢測方法[J]. 電信科學(xué), 2014, 30(6): 152-156.

    CAO X, CAO R T. Network anomaly prediction method based on big data [J]. Telecommunications Science, 2014, 30(6): 152-156.

    [8] 漆晨曦. 立足小數(shù)據(jù)基礎(chǔ)的電信企業(yè)大數(shù)據(jù)分析應(yīng)用發(fā)展策略[J]. 電信科學(xué), 2014, 30(10): 15-20.

    QI C X. Analysis and application development strategy of telecom enterprise big data based on small data [J]. Telecommunications Science, 2014, 30(10): 15-20.

    [9] 韓晶, 張智江, 王健全, 等. 面向統(tǒng)一運(yùn)營的電信運(yùn)營商大數(shù)據(jù)戰(zhàn)略[J]. 電信科學(xué), 2014, 30(11): 154-158.

    HAN J, ZHANG Z J, WANG J Q, et al. The unified-operation-oriented big data strategy for telecom operators[J]. Telecommunications Science, 2014, 30(11): 154-158.

    Design and implementation of a resource operation and maintenance system based on container arrangement technology

    ZHANG Xun, ZHANG Chengyu, WEI Jinwu

    Big Data Center of China Unicom Research Institute, Beijing 100176, China

    Kubernetes container layout tools, Docker operation technology and Mesos framework choreography technology selection were used to solve China Unicom’s existing problems of business application container’s unbalance of resource scheduling. The problem of existing physical cluster elastic scalability capacity was solved. Through cluster and the technique of Mesos, the original big data deploy faster and the scalability problems were solved. Finally, container operation and management system was realized.

    resource operation system, container scheduling, elastic scalability capacity

    TN923

    A

    10.11959/j.issn.1000?0801.2018110

    張勛(1990?),男,中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院大數(shù)據(jù)研究中心軟件開發(fā)工程師,主要研究方向?yàn)殚_源技術(shù)、容器技術(shù)等。

    張呈宇(1988?),男,中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院大數(shù)據(jù)實(shí)驗(yàn)室大數(shù)據(jù)平臺技術(shù)研發(fā)組組長,主要從事大數(shù)據(jù)、云計(jì)算IaaS、容器技術(shù)等的研發(fā)工作。

    魏進(jìn)武(1978?),男,博士,現(xiàn)就職于中國聯(lián)合網(wǎng)絡(luò)通信有限公司研究院大數(shù)據(jù)研究中心,主要負(fù)責(zé)大數(shù)據(jù)架構(gòu)設(shè)計(jì)、規(guī)劃、實(shí)施方案,統(tǒng)一云化研究等的研究工作。

    2017?10?20;

    2018?02?09

    猜你喜歡
    容器集群運(yùn)維
    Different Containers不同的容器
    難以置信的事情
    海上小型無人機(jī)集群的反制裝備需求與應(yīng)對之策研究
    運(yùn)維技術(shù)研發(fā)決策中ITSS運(yùn)維成熟度模型應(yīng)用初探
    風(fēng)電運(yùn)維困局
    能源(2018年8期)2018-09-21 07:57:24
    一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
    電子制作(2018年11期)2018-08-04 03:25:40
    雜亂無章的光伏運(yùn)維 百億市場如何成長
    能源(2017年11期)2017-12-13 08:12:25
    Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
    勤快又呆萌的集群機(jī)器人
    基于ITIL的運(yùn)維管理創(chuàng)新實(shí)踐淺析
    男女国产视频网站| 久久99热这里只有精品18| 国产中年淑女户外野战色| 日韩欧美精品免费久久| av卡一久久| av国产久精品久网站免费入址| 日韩亚洲欧美综合| 免费在线观看成人毛片| 18禁动态无遮挡网站| 老师上课跳d突然被开到最大视频| 国产一区有黄有色的免费视频| 国产免费又黄又爽又色| 欧美老熟妇乱子伦牲交| 日韩,欧美,国产一区二区三区| 三级男女做爰猛烈吃奶摸视频| 全区人妻精品视频| 男女啪啪激烈高潮av片| 亚洲精品视频女| 26uuu在线亚洲综合色| 日韩大片免费观看网站| 狂野欧美激情性xxxx在线观看| 久久精品久久精品一区二区三区| 18禁在线无遮挡免费观看视频| 如何舔出高潮| 亚洲经典国产精华液单| 在线观看一区二区三区| 亚洲婷婷狠狠爱综合网| tube8黄色片| 大陆偷拍与自拍| 草草在线视频免费看| 亚洲欧美日韩卡通动漫| 国产爽快片一区二区三区| 精品少妇黑人巨大在线播放| 深夜a级毛片| 色视频在线一区二区三区| 韩国高清视频一区二区三区| 不卡视频在线观看欧美| 91aial.com中文字幕在线观看| 综合色av麻豆| 少妇熟女欧美另类| 内射极品少妇av片p| 免费高清在线观看视频在线观看| 男女国产视频网站| 亚洲精品第二区| 国产在线男女| 亚洲人成网站在线播| 日本黄色片子视频| 国产大屁股一区二区在线视频| 成年人午夜在线观看视频| 国产爱豆传媒在线观看| av专区在线播放| 国产日韩欧美亚洲二区| 在线观看一区二区三区激情| 亚洲精华国产精华液的使用体验| 人妻制服诱惑在线中文字幕| 三级经典国产精品| 日韩欧美 国产精品| 在线观看一区二区三区| 中文精品一卡2卡3卡4更新| 欧美国产精品一级二级三级 | 国产免费又黄又爽又色| 高清视频免费观看一区二区| 两个人的视频大全免费| 日韩三级伦理在线观看| 一二三四中文在线观看免费高清| 欧美日韩国产mv在线观看视频 | 午夜福利高清视频| 久久国产乱子免费精品| 又粗又硬又长又爽又黄的视频| 久久综合国产亚洲精品| 亚洲最大成人手机在线| 久久99热6这里只有精品| 97在线人人人人妻| 精品久久久久久久人妻蜜臀av| 成人高潮视频无遮挡免费网站| 国产成人精品久久久久久| 亚洲欧美精品专区久久| 国产成年人精品一区二区| 国精品久久久久久国模美| 最近的中文字幕免费完整| 女的被弄到高潮叫床怎么办| av线在线观看网站| 大又大粗又爽又黄少妇毛片口| 黄色一级大片看看| 亚洲精品日韩在线中文字幕| 少妇的逼好多水| 日韩免费高清中文字幕av| 超碰av人人做人人爽久久| 久久久久九九精品影院| 精品久久久久久久末码| 国产在视频线精品| 午夜精品国产一区二区电影 | 精品酒店卫生间| 日本-黄色视频高清免费观看| 久久99蜜桃精品久久| 亚洲自偷自拍三级| 丝袜美腿在线中文| 狂野欧美激情性bbbbbb| 夜夜爽夜夜爽视频| 夜夜看夜夜爽夜夜摸| 2021天堂中文幕一二区在线观| 最新中文字幕久久久久| 国产av不卡久久| 最近手机中文字幕大全| 亚洲精品一区蜜桃| 亚洲经典国产精华液单| av免费观看日本| 自拍欧美九色日韩亚洲蝌蚪91 | 99热网站在线观看| 久久97久久精品| 国产淫片久久久久久久久| 18禁动态无遮挡网站| 国产精品麻豆人妻色哟哟久久| 五月开心婷婷网| 寂寞人妻少妇视频99o| 97超视频在线观看视频| 亚洲精品影视一区二区三区av| 婷婷色综合www| av在线app专区| av天堂中文字幕网| 亚洲精品乱码久久久久久按摩| 亚洲国产av新网站| 我的女老师完整版在线观看| 婷婷色综合www| 国产一区有黄有色的免费视频| 全区人妻精品视频| 啦啦啦在线观看免费高清www| 日韩欧美精品免费久久| 午夜激情福利司机影院| 夜夜爽夜夜爽视频| 三级男女做爰猛烈吃奶摸视频| 精品少妇黑人巨大在线播放| 国产一区二区三区av在线| 久久ye,这里只有精品| 亚洲怡红院男人天堂| 2018国产大陆天天弄谢| 一区二区三区免费毛片| 好男人在线观看高清免费视频| 国产91av在线免费观看| 麻豆成人av视频| 国产女主播在线喷水免费视频网站| av免费观看日本| 国产高清国产精品国产三级 | 日韩 亚洲 欧美在线| av黄色大香蕉| 亚洲最大成人中文| 国产精品国产三级专区第一集| 一级毛片 在线播放| 国产免费视频播放在线视频| 丝袜脚勾引网站| 91精品一卡2卡3卡4卡| 亚洲天堂av无毛| 久久午夜福利片| 午夜精品一区二区三区免费看| 日日啪夜夜撸| 一个人观看的视频www高清免费观看| 涩涩av久久男人的天堂| 国产精品福利在线免费观看| 午夜福利视频1000在线观看| 欧美人与善性xxx| 一区二区av电影网| 少妇 在线观看| 大香蕉久久网| 一级a做视频免费观看| 日本黄色片子视频| 国产免费一级a男人的天堂| 舔av片在线| 丝瓜视频免费看黄片| 国产成人精品久久久久久| 亚洲av电影在线观看一区二区三区 | 一个人观看的视频www高清免费观看| 久久久久久久亚洲中文字幕| av国产免费在线观看| 婷婷色综合www| 免费av观看视频| 26uuu在线亚洲综合色| 国内精品宾馆在线| www.av在线官网国产| 在线观看三级黄色| 欧美成人午夜免费资源| 免费看a级黄色片| 一级毛片我不卡| 午夜视频国产福利| 美女国产视频在线观看| 在线免费观看不下载黄p国产| 一个人看的www免费观看视频| 国产伦精品一区二区三区视频9| 男人爽女人下面视频在线观看| 91狼人影院| 亚洲欧美成人综合另类久久久| 成年人午夜在线观看视频| 日韩国内少妇激情av| 久久久久久伊人网av| 亚洲国产色片| 老司机影院毛片| 欧美少妇被猛烈插入视频| 欧美 日韩 精品 国产| 日本黄大片高清| 久久综合国产亚洲精品| av线在线观看网站| 深夜a级毛片| 日本欧美国产在线视频| 国产精品99久久久久久久久| 久久久久久伊人网av| 欧美zozozo另类| 男人添女人高潮全过程视频| 人体艺术视频欧美日本| 亚洲欧洲日产国产| tube8黄色片| 国产一区二区三区av在线| 国产亚洲av嫩草精品影院| 国产伦在线观看视频一区| 18禁裸乳无遮挡动漫免费视频 | 亚洲欧美日韩无卡精品| 久久久久国产精品人妻一区二区| 肉色欧美久久久久久久蜜桃 | 精品国产一区二区三区久久久樱花 | 亚洲美女视频黄频| 成人二区视频| 久久久午夜欧美精品| 大片免费播放器 马上看| 人妻 亚洲 视频| 五月伊人婷婷丁香| 国产精品一二三区在线看| 亚洲成人av在线免费| 我要看日韩黄色一级片| 久久精品熟女亚洲av麻豆精品| 亚洲成人中文字幕在线播放| 欧美xxxx性猛交bbbb| 黄色日韩在线| 久久人人爽av亚洲精品天堂 | 国产女主播在线喷水免费视频网站| 久久97久久精品| 久久这里有精品视频免费| 最新中文字幕久久久久| 国产精品久久久久久精品古装| 免费观看av网站的网址| 亚洲精品影视一区二区三区av| 亚洲精品一二三| 色吧在线观看| 极品教师在线视频| 免费看a级黄色片| 日本欧美国产在线视频| 欧美日韩综合久久久久久| 国产综合精华液| 欧美一级a爱片免费观看看| 日本午夜av视频| 国产人妻一区二区三区在| av天堂中文字幕网| 亚洲aⅴ乱码一区二区在线播放| 国产在线男女| 国产男女内射视频| 免费少妇av软件| 国内揄拍国产精品人妻在线| 超碰97精品在线观看| 身体一侧抽搐| 欧美日韩国产mv在线观看视频 | 国产一区二区在线观看日韩| 欧美丝袜亚洲另类| 永久网站在线| 成人无遮挡网站| 99re6热这里在线精品视频| 国产男女内射视频| 欧美97在线视频| 亚洲国产av新网站| 亚洲久久久久久中文字幕| 日日啪夜夜撸| 97精品久久久久久久久久精品| 精品国产一区二区三区久久久樱花 | 少妇的逼好多水| 高清在线视频一区二区三区| 免费播放大片免费观看视频在线观看| 久久精品夜色国产| 精品人妻偷拍中文字幕| 好男人在线观看高清免费视频| 亚洲经典国产精华液单| 青青草视频在线视频观看| 一级毛片aaaaaa免费看小| 久久精品国产自在天天线| 麻豆乱淫一区二区| 亚洲精品日韩在线中文字幕| 日韩 亚洲 欧美在线| 亚洲国产高清在线一区二区三| 啦啦啦中文免费视频观看日本| 99久久精品一区二区三区| 中国三级夫妇交换| 日日啪夜夜爽| 日韩不卡一区二区三区视频在线| 亚洲av不卡在线观看| 日韩av不卡免费在线播放| 午夜福利视频1000在线观看| 国产熟女欧美一区二区| 嫩草影院入口| 不卡视频在线观看欧美| 黄色怎么调成土黄色| 看黄色毛片网站| 国产亚洲91精品色在线| 成人美女网站在线观看视频| 色吧在线观看| 老师上课跳d突然被开到最大视频| 3wmmmm亚洲av在线观看| 国产精品国产三级国产专区5o| 国产免费一级a男人的天堂| 午夜老司机福利剧场| 日韩,欧美,国产一区二区三区| 舔av片在线| 80岁老熟妇乱子伦牲交| 欧美少妇被猛烈插入视频| 欧美一级a爱片免费观看看| 亚洲av.av天堂| 狠狠精品人妻久久久久久综合| 国产黄频视频在线观看| 三级国产精品片| av网站免费在线观看视频| 毛片女人毛片| 亚洲欧美精品自产自拍| 成人无遮挡网站| 亚洲色图av天堂| 色视频在线一区二区三区| 日韩在线高清观看一区二区三区| 激情 狠狠 欧美| 成年女人在线观看亚洲视频 | 人人妻人人爽人人添夜夜欢视频 | 亚洲欧美精品专区久久| 热re99久久精品国产66热6| 久久久午夜欧美精品| 黄色视频在线播放观看不卡| 交换朋友夫妻互换小说| 午夜爱爱视频在线播放| 天天躁夜夜躁狠狠久久av| 久久久久网色| 午夜福利高清视频| 国产成人aa在线观看| 午夜福利在线观看免费完整高清在| 六月丁香七月| 久久久久久久久久人人人人人人| 丰满少妇做爰视频| 人体艺术视频欧美日本| 久久国内精品自在自线图片| 欧美xxⅹ黑人| 亚洲国产精品成人久久小说| 欧美精品一区二区大全| 久久精品夜色国产| 国产亚洲5aaaaa淫片| 亚洲欧美日韩另类电影网站 | 欧美bdsm另类| 午夜精品国产一区二区电影 | 青春草国产在线视频| freevideosex欧美| 波多野结衣巨乳人妻| 在线观看三级黄色| av专区在线播放| 国产成人福利小说| 欧美变态另类bdsm刘玥| 国产精品爽爽va在线观看网站| a级一级毛片免费在线观看| 一级a做视频免费观看| 久久精品熟女亚洲av麻豆精品| 一级片'在线观看视频| 日本一本二区三区精品| 国产亚洲91精品色在线| a级一级毛片免费在线观看| 日韩av免费高清视频| 日韩电影二区| 亚洲国产欧美人成| 在线播放无遮挡| 搡老乐熟女国产| 免费看不卡的av| 国产亚洲最大av| 国产精品国产av在线观看| 国产亚洲最大av| 日韩在线高清观看一区二区三区| 一级毛片久久久久久久久女| 久久鲁丝午夜福利片| 久久99热这里只频精品6学生| 十八禁网站网址无遮挡 | 国产黄a三级三级三级人| 欧美97在线视频| 2018国产大陆天天弄谢| 久久久欧美国产精品| 狂野欧美激情性xxxx在线观看| 国产精品人妻久久久久久| 在线观看国产h片| 日日摸夜夜添夜夜添av毛片| 超碰av人人做人人爽久久| 亚洲在久久综合| av在线播放精品| 久久鲁丝午夜福利片| 一二三四中文在线观看免费高清| 大陆偷拍与自拍| 春色校园在线视频观看| 纵有疾风起免费观看全集完整版| 亚洲欧美日韩另类电影网站 | 国产成人91sexporn| 国产亚洲av片在线观看秒播厂| 亚洲精品乱久久久久久| 大又大粗又爽又黄少妇毛片口| 精品久久久久久久久av| 日韩在线高清观看一区二区三区| 国产黄片视频在线免费观看| 国产白丝娇喘喷水9色精品| 国产成人a∨麻豆精品| 欧美最新免费一区二区三区| 免费观看的影片在线观看| 在线看a的网站| 国产淫片久久久久久久久| 男女啪啪激烈高潮av片| 一级av片app| 哪个播放器可以免费观看大片| 蜜桃亚洲精品一区二区三区| 精品久久久久久电影网| 午夜精品一区二区三区免费看| 九色成人免费人妻av| 免费人成在线观看视频色| 亚洲国产欧美人成| 99re6热这里在线精品视频| 久久6这里有精品| 人人妻人人澡人人爽人人夜夜| 日韩欧美精品免费久久| 交换朋友夫妻互换小说| 久久精品久久久久久久性| 欧美日韩视频精品一区| 伊人久久国产一区二区| 久久久国产一区二区| 午夜免费男女啪啪视频观看| 最近中文字幕高清免费大全6| 欧美激情久久久久久爽电影| 一区二区三区免费毛片| 亚洲精品aⅴ在线观看| 一级黄片播放器| 国产精品福利在线免费观看| 内地一区二区视频在线| 国产成人91sexporn| 精品久久久噜噜| 欧美少妇被猛烈插入视频| 亚洲性久久影院| 一二三四中文在线观看免费高清| 夜夜看夜夜爽夜夜摸| 国产精品一区www在线观看| 免费高清在线观看视频在线观看| 午夜精品国产一区二区电影 | 国产爽快片一区二区三区| 一级毛片 在线播放| 久久精品熟女亚洲av麻豆精品| 中国国产av一级| 成人高潮视频无遮挡免费网站| videossex国产| 精品熟女少妇av免费看| 免费黄色在线免费观看| 一级黄片播放器| 婷婷色麻豆天堂久久| 啦啦啦啦在线视频资源| 一区二区av电影网| 亚洲三级黄色毛片| 中国国产av一级| 国产成人精品福利久久| 国内精品宾馆在线| av在线观看视频网站免费| 久久久久久久国产电影| 自拍欧美九色日韩亚洲蝌蚪91 | 国产淫语在线视频| 国产精品爽爽va在线观看网站| 亚洲最大成人中文| 日本一二三区视频观看| 亚洲精品久久久久久婷婷小说| 婷婷色av中文字幕| 国产成人免费观看mmmm| 久久这里有精品视频免费| 午夜亚洲福利在线播放| 国产熟女欧美一区二区| 亚洲精品成人av观看孕妇| 亚洲精品日韩av片在线观看| 国产在线一区二区三区精| 国产av不卡久久| 国产毛片在线视频| 亚洲高清免费不卡视频| 国内少妇人妻偷人精品xxx网站| 啦啦啦啦在线视频资源| 久久久久久久久大av| 美女被艹到高潮喷水动态| 观看美女的网站| 精品国产一区二区三区久久久樱花 | 亚洲婷婷狠狠爱综合网| 久久久久久九九精品二区国产| 天堂俺去俺来也www色官网| 亚洲美女视频黄频| 可以在线观看毛片的网站| 校园人妻丝袜中文字幕| 欧美日韩一区二区视频在线观看视频在线 | 真实男女啪啪啪动态图| 激情五月婷婷亚洲| 国产毛片a区久久久久| 最近手机中文字幕大全| 国产亚洲5aaaaa淫片| 国产久久久一区二区三区| 国产成人精品婷婷| 国产成人freesex在线| 日本一二三区视频观看| 国产黄频视频在线观看| videos熟女内射| 91久久精品国产一区二区三区| 久久鲁丝午夜福利片| 亚洲四区av| 神马国产精品三级电影在线观看| 蜜桃久久精品国产亚洲av| 一边亲一边摸免费视频| 天天一区二区日本电影三级| 久久国内精品自在自线图片| 2021天堂中文幕一二区在线观| 日日啪夜夜爽| 狂野欧美激情性xxxx在线观看| 网址你懂的国产日韩在线| 好男人在线观看高清免费视频| 亚洲成人精品中文字幕电影| 国产亚洲av片在线观看秒播厂| 亚洲最大成人av| 国产男女超爽视频在线观看| 日韩 亚洲 欧美在线| 日韩精品有码人妻一区| 成年女人在线观看亚洲视频 | 国产免费福利视频在线观看| 人妻系列 视频| 一区二区av电影网| 国产精品国产av在线观看| 天天躁日日操中文字幕| 日韩一本色道免费dvd| 亚洲人成网站在线播| 有码 亚洲区| 伦理电影大哥的女人| 亚洲国产色片| 日韩精品有码人妻一区| 精品久久久久久久人妻蜜臀av| 久久韩国三级中文字幕| 亚洲av欧美aⅴ国产| 干丝袜人妻中文字幕| 免费不卡的大黄色大毛片视频在线观看| 人人妻人人看人人澡| 97热精品久久久久久| 亚洲av国产av综合av卡| 精品人妻一区二区三区麻豆| 日韩强制内射视频| 精品国产一区二区三区久久久樱花 | 国产亚洲精品久久久com| 国产精品无大码| 午夜精品一区二区三区免费看| 久久99热这里只频精品6学生| 在线看a的网站| 亚洲国产成人一精品久久久| 国产成人福利小说| 国产黄片美女视频| 少妇熟女欧美另类| 美女国产视频在线观看| av在线亚洲专区| 午夜精品一区二区三区免费看| 亚洲精品久久午夜乱码| 身体一侧抽搐| 99热这里只有精品一区| 国产精品爽爽va在线观看网站| 99精国产麻豆久久婷婷| 干丝袜人妻中文字幕| 国产男人的电影天堂91| 欧美激情久久久久久爽电影| 水蜜桃什么品种好| 精品久久久久久久久亚洲| 欧美潮喷喷水| 性插视频无遮挡在线免费观看| 国产黄色免费在线视频| 国产 一区 欧美 日韩| 欧美日韩视频高清一区二区三区二| 夜夜看夜夜爽夜夜摸| 91精品国产九色| 精品久久国产蜜桃| 久久久久久久久久人人人人人人| 久久99热6这里只有精品| 精品午夜福利在线看| 黄色配什么色好看| 午夜爱爱视频在线播放| 国内揄拍国产精品人妻在线| 免费看不卡的av| 免费观看的影片在线观看| 美女主播在线视频| 久久久精品免费免费高清| 成人无遮挡网站| 国产真实伦视频高清在线观看| 夜夜爽夜夜爽视频| 国产精品久久久久久av不卡| 婷婷色麻豆天堂久久| 午夜精品国产一区二区电影 | 国产精品一二三区在线看| 大码成人一级视频| 欧美人与善性xxx| 欧美xxxx黑人xx丫x性爽| 我的老师免费观看完整版| 在线亚洲精品国产二区图片欧美 | 黄色日韩在线| 国产69精品久久久久777片| 啦啦啦在线观看免费高清www| h日本视频在线播放| 国产中年淑女户外野战色| 免费不卡的大黄色大毛片视频在线观看| 日韩,欧美,国产一区二区三区| 久久久久国产精品人妻一区二区| 18禁裸乳无遮挡动漫免费视频 | 色婷婷久久久亚洲欧美| 国产精品av视频在线免费观看| 中文资源天堂在线| 热99国产精品久久久久久7| 亚洲av成人精品一二三区| 亚洲性久久影院| 黄色视频在线播放观看不卡| av免费在线看不卡| 亚洲欧美日韩东京热| 久久人人爽人人片av| 欧美精品国产亚洲| 三级男女做爰猛烈吃奶摸视频|