• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算力網(wǎng)絡(luò)四面三級算力度量技術(shù)體系

    2023-09-21 08:47:20杜宗鵬DUZongpeng李志強LIZhiqiang陸璐LULu
    中興通訊技術(shù) 2023年4期
    關(guān)鍵詞:算力力度路由

    杜宗鵬/DU Zongpeng,李志強/LI Zhiqiang,陸璐/LU Lu

    (中國移動通信有限公司研究院,中國 北京100053)

    隨著互聯(lián)網(wǎng)技術(shù)的不斷進步,當今社會的發(fā)展逐漸呈現(xiàn)數(shù)字化、智能化的趨勢。智能運算需要大量的算力來完成數(shù)據(jù)處理。為了緩解云數(shù)據(jù)中心的計算壓力,獲得更快的業(yè)務(wù)響應(yīng)速度,算力逐漸從中心走向邊緣,形成網(wǎng)絡(luò)中泛在的算力資源。為了支持分散算力資源的統(tǒng)一感知、統(tǒng)一決策和統(tǒng)一管理,算力網(wǎng)絡(luò)的概念被提出[1-5]。算力網(wǎng)絡(luò)將提供算力和網(wǎng)絡(luò)的一體化服務(wù),支持算力資源和網(wǎng)絡(luò)資源的聯(lián)合優(yōu)化,從而充分利用有限的算網(wǎng)資源,為用戶提供高品質(zhì)的算力服務(wù)。

    不同算力業(yè)務(wù)的算力需求有所不同,不同算力節(jié)點的服務(wù)能力也各不相同。要實現(xiàn)靈活高效的業(yè)務(wù)調(diào)配和服務(wù)映射,算力網(wǎng)絡(luò)首先需要對算力進行感知,而算力度量就是算力感知的基礎(chǔ)之一。正如熱力學(xué)溫標的提出者開爾文勛爵曾提到的:“如果你無法測量它,那么你就無法改進它”。

    傳統(tǒng)運營商主要提供網(wǎng)絡(luò)資源,在用戶需求、網(wǎng)絡(luò)能力度量方面也有相對成熟的方案。網(wǎng)絡(luò)度量常見的度量方式包括帶寬和流量等。運營商圍繞帶寬和流量提供網(wǎng)絡(luò)服務(wù),進行網(wǎng)絡(luò)運營,同時也可以基于時長、網(wǎng)絡(luò)質(zhì)量,與用戶進行簽約,并提供網(wǎng)絡(luò)服務(wù)。

    算力網(wǎng)絡(luò)提供的是算力和網(wǎng)絡(luò)的綜合服務(wù),這時需要一種方便對算力進行度量的機制。該機制一方面可以支持用戶對算力需求的描述,另一方面也可以支持運營商、服務(wù)提供商或第三方對所提供的算力能力的描述。

    1 算力度量的需求架構(gòu)

    在算力網(wǎng)絡(luò)中,算力度量的目標是關(guān)聯(lián)和整合網(wǎng)絡(luò)中的異構(gòu)計算資源,使能多維資源的統(tǒng)一協(xié)同管理,從而通過統(tǒng)一的算力度量體系和異構(gòu)計算資源的服務(wù)映射機制,實現(xiàn)算網(wǎng)資源的合理分配和高效調(diào)用。

    目前,中國通信標準化協(xié)會(CCSA)TC3 已經(jīng)布局了算力網(wǎng)絡(luò)的相關(guān)標準,包括算力網(wǎng)絡(luò)總體技術(shù)要求、算力路由、算網(wǎng)編排、算力交易等。根據(jù)相關(guān)的工作[2,6],算力網(wǎng)絡(luò)包括算力服務(wù)層、算力路由層、算網(wǎng)基礎(chǔ)設(shè)施層和算網(wǎng)編排管理層。圖1展示了算力網(wǎng)絡(luò)總體架構(gòu)中與算力度量相關(guān)的功能模塊。在算力網(wǎng)絡(luò)中,算力用戶需求和算網(wǎng)資源的映射決策可能發(fā)生在算力路由層的策略決策模塊或是算網(wǎng)編排管理模塊。

    目前,針對算力網(wǎng)絡(luò)系統(tǒng)中網(wǎng)絡(luò)資源的感知和通告,我們可以使用已有的網(wǎng)絡(luò)操作維護管理(OAM)機制進行測量和收集。本文中,我們主要關(guān)注算力資源的感知和通告,以及算網(wǎng)信息的聯(lián)合決策,尤其是算力度量信息在這些功能或流程中的需求和作用。

    算力資源的有效管理,首先需要一個統(tǒng)一的算力資源模型,即對異構(gòu)的算力資源進行建模。算力建模的目標是構(gòu)建異構(gòu)算力資源的統(tǒng)一描述方式。算力建模的具體信息包括數(shù)值型和非數(shù)值型。算力度量是算力建模的一部分,而算力資源的統(tǒng)一建模是算力度量的前提。算力度量中的算力評估值,可以更為方便地作為算力決策模塊的輸入?yún)?shù),從而影響算力服務(wù)的部署和調(diào)度。算力度量和建模的相關(guān)需求,主要包括以下3個方面:

    1)支持算力資源的度量和建模,對運營商、服務(wù)提供商及第三方算力資源節(jié)點所提供的算力進行可量化的能力描述;

    2)支持算力用戶需求的度量和建模,對用戶算力業(yè)務(wù)進行可分類分級的需求描述;

    3)算力路由策略決策模塊或算網(wǎng)編排管理模塊可基于用戶需求,合理分配算力節(jié)點來完成計算任務(wù)。

    其中,前2個方面主要涉及算力度量和建模信息的抽象和通告,即把算力信息或算力需求信息按照約定的格式發(fā)送至算力路由策略決策模塊或算網(wǎng)編排管理模塊;第3個方面主要涉及算力度量信息的使用,即算力路由策略決策模塊或算網(wǎng)編排管理模塊如何利用算力度量和建模信息進行決策和管理,執(zhí)行算網(wǎng)感知調(diào)度。

    2 算力度量信息的使用

    算力路由策略決策模塊和算網(wǎng)編排管理模塊都需要收集算力度量和建模信息,并據(jù)此進行策略決策。算力路由策略決策模塊主要生成路由相關(guān)的策略,可根據(jù)感知到的算力服務(wù)的總體狀態(tài)信息(尤其是算力服務(wù)節(jié)點當前的算力業(yè)務(wù)會話接入能力等動態(tài)參數(shù)),進行快速決策。算網(wǎng)編排管理模塊支持更復(fù)雜的處理邏輯,例如與人工智能(AI)分析平臺互通,根據(jù)更全面的算網(wǎng)信息進行網(wǎng)絡(luò)和算力資源的全局優(yōu)化。

    算力路由策略決策模塊可根據(jù)收集到的算力信息和網(wǎng)絡(luò)信息,生成策略并執(zhí)行,引導(dǎo)算力業(yè)務(wù)流量的高效轉(zhuǎn)發(fā)。算力業(yè)務(wù)的流量指的是用戶請求算力業(yè)務(wù)時所使用的連接建立報文,以及所需傳給服務(wù)節(jié)點的數(shù)據(jù)報文,例如需要被分析的圖片數(shù)據(jù)信息等。同時,算力路由層也支持算力業(yè)務(wù)的用戶需求感知,以按需提供算網(wǎng)資源。

    算力路由層的功能可以在網(wǎng)絡(luò)控制器/網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備的控制面上實現(xiàn)。算力路由層的策略決策模塊可將收集到算力信息保存在一個或者多個專用的表中,并且支持按需更新。網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備中默認的路由轉(zhuǎn)發(fā)架構(gòu)可以保持不變。這時,算力網(wǎng)絡(luò)的路由策略優(yōu)先級更高,即優(yōu)先按照算力網(wǎng)絡(luò)策略對算力業(yè)務(wù)流量進行轉(zhuǎn)發(fā)。

    算網(wǎng)編排管理模塊支持算力調(diào)度策略的生成,甚至可與算力路由決策模塊進行策略交互。算網(wǎng)編排管理模塊感知到的信息會更加全面,因此能夠支持更加復(fù)雜的決策邏輯,例如利用AI 機制進行訓(xùn)練和推理,優(yōu)化全網(wǎng)的算力業(yè)務(wù)。同時,算網(wǎng)編排管理模塊需要根據(jù)感知到的算力資源情況,選擇合適的算力節(jié)點,進行算力服務(wù)實例的部署。

    2.1 算力服務(wù)部署

    算力網(wǎng)絡(luò)服務(wù)在部署時,需要對云、邊、端各級架構(gòu)中泛在異構(gòu)設(shè)備進行納管,還需要對中央處理器(CPU)、圖形處理器(GPU)、內(nèi)存、磁盤、網(wǎng)絡(luò)等多維算力資源進行感知和維護。當有服務(wù)部署需求時,算力網(wǎng)絡(luò)系統(tǒng)需要基于維護的資源視圖,通過適配算法為用戶找到合適的算力資源以完成服務(wù)部署。

    算力網(wǎng)絡(luò)中各種異構(gòu)的算力資源散落各地,用戶不同的部署服務(wù)對各維度算力資源也有著不同的需求。算力服務(wù)部署要解決的問題是在掌握資源狀態(tài)信息的情況下,如何合理調(diào)度資源,部署服務(wù)。算力服務(wù)的部署是算力網(wǎng)絡(luò)實現(xiàn)低時延、高可靠優(yōu)質(zhì)服務(wù)調(diào)度的前提。

    在云計算或邊緣計算的領(lǐng)域,算力數(shù)據(jù)模型相關(guān)的多項工作都可以作為算力網(wǎng)絡(luò)中算力度量和建模的參考。例如,用于云服務(wù)器帶外管理的Redfish 項目從不同維度定義了大量算力資源相關(guān)的模型;創(chuàng)建于2021 年的Anuket 項目支持云原生和虛擬網(wǎng)絡(luò)功能、基礎(chǔ)設(shè)施和服務(wù)的快速部署,致力于整合OpenStack 和Kubernetes(K8s)等知名工具的不同架構(gòu)。

    云原生中流行的編排管理工具K8s支持集群內(nèi)部的服務(wù)部署和資源調(diào)度。一個K8s集群包含至少一個主節(jié)點和若干從節(jié)點,主節(jié)點為集群管理節(jié)點,能根據(jù)各節(jié)點的資源狀態(tài)完成容器到物理節(jié)點的分配[7]。K8s 中的最小調(diào)度單位為Pod,一個Pod可以包含多個容器。每個Pod都可以在部署時指定其CPU 和內(nèi)存的數(shù)量。K8s 的資源調(diào)度是指將Pod 任務(wù)映射到物理資源的過程。在該過程中,主節(jié)點中的調(diào)度器Kube-scheduler 負責(zé)決策一個Pod 應(yīng)該被調(diào)度到集群中的哪一個節(jié)點上。在服務(wù)節(jié)點的具體選擇時,可以指定不同的節(jié)點優(yōu)選策略,例如優(yōu)選算力資源占用比較小的節(jié)點,或者是優(yōu)選CPU和內(nèi)存使用率接近的節(jié)點。

    資源的感知和監(jiān)控是資源調(diào)配的前提。有效的資源感知能夠精確地傳遞資源狀態(tài)信息,從而為后續(xù)的資源調(diào)度、服務(wù)遷移等業(yè)務(wù)奠定基礎(chǔ)。例如,作為一款基于時序數(shù)據(jù)庫的監(jiān)控告警系統(tǒng)[8],開源軟件Prometheus 支持多維數(shù)據(jù)模型,收集由度量名和鍵值對組成的時間序列數(shù)據(jù),被廣泛應(yīng)用于云原生中的資源監(jiān)控中。

    算力網(wǎng)絡(luò)的服務(wù)部署和資源調(diào)度模式可以參考上述云原生中的編排管理工具,在面向異構(gòu)立體泛在的算力場景方面進行增強。通過了解各個算力節(jié)點的算力資源和剩余可用資源的情況,并根據(jù)算力業(yè)務(wù)需求,按需制定合適的部署策略,靈活地調(diào)度資源,從而完成算力服務(wù)部署,提升算力服務(wù)提供能力。

    2.2 算力服務(wù)選擇

    在完成算力服務(wù)部署后,算力網(wǎng)絡(luò)需要為算力用戶找到并接入一個合適的算力服務(wù)節(jié)點。該節(jié)點需要離用戶較近,滿足用戶的時延需求,還需要有充足的算力資源,支持算力業(yè)務(wù)的快速完成。這個過程被稱為算力服務(wù)選擇,或算力服務(wù)節(jié)點的負載均衡。算力服務(wù)節(jié)點的狀態(tài)是實時變化的,因此在網(wǎng)絡(luò)中實時同步這些信息存在一定的挑戰(zhàn)。

    在算力網(wǎng)絡(luò)服務(wù)場景中,不同網(wǎng)絡(luò)位置能夠提供相同的算力服務(wù),然而,此時不同服務(wù)節(jié)點的計算資源通常是不同的,計算資源的負載情況也在變化。尤其是在多接入邊緣計算(MEC)的場景中,計算資源相對有限,因此MEC 之間的協(xié)同就顯得更加重要。

    算力感知網(wǎng)絡(luò)(CAN)[3,9]為MEC 的協(xié)同提供了一種基于網(wǎng)絡(luò)的負載均衡機制。在相關(guān)場景中,整個網(wǎng)絡(luò)就像一個虛擬的負載均衡設(shè)備一樣運作。在CAN 的機制中,策略決策點是一個網(wǎng)絡(luò)設(shè)備,位于網(wǎng)絡(luò)轉(zhuǎn)發(fā)節(jié)點或是網(wǎng)絡(luò)管控節(jié)點上。然而,對于一個網(wǎng)絡(luò)設(shè)備而言,了解算力的狀態(tài)還是一個新的技術(shù)領(lǐng)域。

    3 四面三級算力度量技術(shù)體系

    網(wǎng)絡(luò)所提供的服務(wù)主要聚焦于轉(zhuǎn)發(fā),例如IP 網(wǎng)絡(luò)的核心就是按照目的地址,把報文轉(zhuǎn)發(fā)到目標網(wǎng)絡(luò)。計算所對接的服務(wù)會更加復(fù)雜,影響計算性能的因素也更多,因此較難給出單維度的度量單位。網(wǎng)絡(luò)中的算力資源分散,異構(gòu)算力資源種類繁多,是算力統(tǒng)一度量所面臨的主要困難。

    算力芯片的種類包括CPU、GPU、嵌入式神經(jīng)網(wǎng)絡(luò)處理器(NPU)、張量處理器(TPU)等。這些芯片都有各自的性能指標和應(yīng)用場景,可以針對特定業(yè)務(wù)進行計算優(yōu)化。例如,通用算力以CPU 承載為主,主要面向通用軟件應(yīng)用,執(zhí)行邏輯運算;人工智能算力以NPU/TPU/GPU 承載為主,主要面向AI 應(yīng)用,邏輯簡單,但計算密集、并發(fā)程度高;超算算力以CPU/GPU 承載為主,主要面向科學(xué)計算、工業(yè)仿真等場景,計算復(fù)雜且對計算精度要求高。

    在計算領(lǐng)域中,常見的一個度量單位是FLOPS,即每秒執(zhí)行的浮點運算次數(shù)。但計算業(yè)務(wù)的執(zhí)行效率和能力,并不僅僅取決于計算節(jié)點的浮點運算能力,其影響因素還包括輸入/輸出(I/O)效能、內(nèi)存架構(gòu)、緩存速率等。因此,在算力通告和服務(wù)調(diào)度中,需要綜合考慮如算力節(jié)點的負載等的多種因素。

    算力服務(wù)的性能受到芯片、存儲、網(wǎng)絡(luò)、平臺軟件等多維因素的影響,因此我們需要對算力服務(wù)節(jié)點進行綜合評估。算力的度量和建模不僅可以參考制造商提供的規(guī)格算力值,例如FLOPS,還可以參考一些可以全面反映服務(wù)支持能力的綜合指標值。為了描述算力網(wǎng)絡(luò)中服務(wù)節(jié)點的算力,我們提出了“四面三級”算力度量技術(shù)體系,從節(jié)點的計算、通信、內(nèi)存和存儲能力4個方面,按照三級指標的方式來建模和描述算力網(wǎng)絡(luò)中異構(gòu)立體泛在的算力,如圖2 所示?!八拿妗敝笜司唧w如下:

    ▲圖2 算力資源抽象描述的四面三級度量體系

    1)計算。節(jié)點資源的計算能力評估主要是指對CPU、GPU等計算資源運算能力的評估。根據(jù)計算程序的不同特點和需求,計算性能可分為整數(shù)計算性能、浮點計算性能以及哈希計算性能。

    2)通信。節(jié)點資源的通信能力評估主要是指對節(jié)點連接到外部網(wǎng)絡(luò)的通信能力的評估。從單個算力節(jié)點的角度考慮,節(jié)點的通信能力指標主要參考節(jié)點連接到外部網(wǎng)絡(luò)的帶寬大小。

    3)內(nèi)存。節(jié)點的內(nèi)存(緩存)能力評估主要是對節(jié)點的內(nèi)存(緩存)單元的性能評估。節(jié)點的內(nèi)存(緩存)指標主要涉及節(jié)點內(nèi)存容量和內(nèi)存帶寬。

    4)存儲。節(jié)點的存儲能力評估主要是指對節(jié)點的外存儲器(如硬盤)的性能評估。節(jié)點的存儲指標主要涉及節(jié)點的存儲容量、存儲帶寬和每秒讀寫操作數(shù)(IOPS)。

    “三級”指標具體如下:

    1)一級指標代表異構(gòu)硬件算力度量,包括整數(shù)計算速率、浮點計算速率等;

    2)二級指標代表節(jié)點服務(wù)能力度量,包括節(jié)點可提供的計算、通信、內(nèi)存、存儲4方面的能力等;

    3)三級指標代表節(jié)點對業(yè)務(wù)的支撐能力度量,包括節(jié)點業(yè)務(wù)處理能力度量等,可以按照不同的服務(wù)類型進行描述。

    上述度量體系中的各種指標可以根據(jù)業(yè)務(wù)需求的不同,按需提供給其他的算力網(wǎng)絡(luò)節(jié)點,如決策節(jié)點。下文中,我們將簡要介紹上述相關(guān)指標的獲取方式,以及一些示例性的指標參數(shù)。

    1)一級指標可以通過不同的評估方法來獲得,如通過基準測試程序測試、直接從廠商獲取、公式計算等方式。該級別的指標可以是廠家提供的性能參數(shù),例如CPU的型號、主頻、內(nèi)核數(shù),GPU的型號、單精度浮點性能等,也可以是常用的基準測試程序的測試值。廠商提供的性能參數(shù)也可以包含動態(tài)的資源狀態(tài),例如目前可用的CPU/虛擬CPU(vCPU)核數(shù)等信息;基準測試程序的測試可分為整數(shù)計算性能測試、浮點計算性能測試等。

    2)二級指標由一級指標抽象得到,主要用于對算力的綜合評價,可提供節(jié)點某方面的或是綜合的服務(wù)能力。節(jié)點某方面的能力可以通過執(zhí)行對應(yīng)方面的多次測試,并且基于輸出結(jié)果進行運算后得到;綜合服務(wù)能力可以基于多個方面的評估值,再次進行運算處理得到。文獻[10]提供了一種基于PageRank 的節(jié)點性能評價算法。在相關(guān)流程中,首先對每個節(jié)點使用主流基準測試進行評價,然后采用PageRank算法處理每個基準測試的執(zhí)行結(jié)果,從而得到節(jié)點某方面的性能指標。

    3)三級指標與節(jié)點上部署的業(yè)務(wù)相關(guān),圍繞業(yè)務(wù)的維度進行描述。三級指標提供的主要是與業(yè)務(wù)相關(guān)的評價指標,例如針對特定的算力業(yè)務(wù),節(jié)點能夠提供的實際處理能力等。文獻[11]提供了一種“有效算力”的計算方法,用真實業(yè)務(wù)軟件在一定規(guī)模的信息通信技術(shù)(ICT)基礎(chǔ)設(shè)施系統(tǒng)上(含計算、存儲、網(wǎng)絡(luò)、軟件中間件等)進行性能測量,之后通過幾何加權(quán)平均,對多個真實業(yè)務(wù)性能測試結(jié)果進行整合。例如,在人工智能領(lǐng)域,對特定訓(xùn)練作業(yè)的有效計算能力是單位時間內(nèi)訓(xùn)練過程消耗的樣本數(shù)量,或稱為業(yè)務(wù)吞吐量。在視覺類測試中,業(yè)務(wù)吞吐量單位是圖片數(shù)每秒;在自然語言處理類測試中,單位為句數(shù)每秒。

    上述度量體系中各個維度的信息,可以用于網(wǎng)絡(luò)算力服務(wù)的調(diào)度和算力業(yè)務(wù)的轉(zhuǎn)發(fā)決策,從而提高算力資源和網(wǎng)絡(luò)資源的利用率。同時,上述評估機制反應(yīng)了算力節(jié)點對計算任務(wù)的支撐能力,牽引最終用戶從使用效果的角度,進行算力節(jié)點的規(guī)劃和建設(shè)。

    算力度量的指標包括靜態(tài)指標和動態(tài)指標。前者通常與分配給服務(wù)的算力資源有關(guān),后者通常與服務(wù)器在運行時能夠提供的可用資源有關(guān),例如,服務(wù)器當前的可用會話數(shù)或CPU 利用率。在算力服務(wù)的部署和節(jié)點選擇中,上述的動態(tài)指標更具參考性。例如,在部署算力服務(wù)時,需要了解當前算力節(jié)點可用的CPU/vCPU 核數(shù),并將其視為一種較為動態(tài)的一級指標;在選擇算力服務(wù)節(jié)點時,業(yè)務(wù)相關(guān)的動態(tài)指標包括當前服務(wù)節(jié)點狀態(tài)等,可將其視為動態(tài)的三級指標。

    這些動態(tài)指標可以與上文所述的規(guī)格算力信息、綜合節(jié)點算力信息、業(yè)務(wù)處理能力信息綜合考量,從而影響算力服務(wù)的決策。這些動態(tài)指標可以指定不同的更新頻率與算力網(wǎng)絡(luò)的決策點進行通信,更新相關(guān)的動態(tài)算力信息。

    4 算力度量的關(guān)鍵技術(shù)

    算力網(wǎng)絡(luò)的定位是面向未來網(wǎng)絡(luò)中泛在的算力資源,支持網(wǎng)絡(luò)和算力的融合統(tǒng)一,提供算網(wǎng)一體化服務(wù)的新型信息基礎(chǔ)設(shè)施。算力網(wǎng)絡(luò)的愿景是推動算力像水電一樣,逐步成為“一點接入、即取即用”的社會級服務(wù)[1]。算力度量在算力網(wǎng)絡(luò)中的作用類似于水網(wǎng)、電網(wǎng)中水表和電表的作用,是算力網(wǎng)絡(luò)的重要基礎(chǔ)技術(shù)之一。

    為了實現(xiàn)異構(gòu)算力資源的統(tǒng)一度量和統(tǒng)一建模,支持跨廠商算力網(wǎng)絡(luò)節(jié)點互通,方便算力網(wǎng)絡(luò)的管理和運營,算力度量和建模機制標準化工作已經(jīng)被提上日程。目前,中國通信標準化協(xié)會(CCSA)已經(jīng)有了一些正在進行中的算力度量相關(guān)的標準化項目。同時,國際互聯(lián)網(wǎng)工程任務(wù)組(IETF)的CATS工作組也在推進該領(lǐng)域的工作。

    算力信息的格式設(shè)計與使用場景密切相關(guān),不同的使用場景有著不同的算力度量指標的組合和選擇。本文中,我們圍繞“四面三級”算力度量技術(shù)體系,對算力信息如何在網(wǎng)絡(luò)中傳遞也進行了探索。其核心的兩個問題為:1)算力信息的格式,即應(yīng)該傳遞什么樣的算力信息到網(wǎng)絡(luò)中;2)算力信息的通告方式,即在網(wǎng)絡(luò)中以什么樣的方式通告算力信息。

    4.1 算力度量信息的格式設(shè)計

    算網(wǎng)編排管理模塊可以通過定義算力相關(guān)的YANG模型來傳遞算力信息;算力路由模塊可以通過擴展目前的路由協(xié)議來傳遞算力信息。本節(jié)將主要探索后者的格式,并給出一種示例性的描述方式。路由協(xié)議攜帶的算力信息會更加簡單,一方面這樣可以減少網(wǎng)絡(luò)中的信息傳遞,避免不必要的信息暴露;另一方面,可以使路由決策流程快速完成。

    不同的業(yè)務(wù)可能有不同的計算需求,需要使用不同的算力路由決策依據(jù)。因此,算力度量的指標體系應(yīng)該可擴展、可編程,支持靈活自定義,以便能夠反映不同業(yè)務(wù)甚至未來業(yè)務(wù)需求。對于特定的業(yè)務(wù),決策點應(yīng)能訂閱想了解的算力度量指標,以及指定指標的相關(guān)更新頻率。也就是說,決策點可以按需選擇感興趣的各級細節(jié)指標進行了解,并作為決策的依據(jù)。

    作為參考,在K8s的Pod資源調(diào)度中,調(diào)度器會執(zhí)行初選和優(yōu)選兩個步驟[7]。初選時,調(diào)度器會過濾掉不滿足Pod資源需求的節(jié)點;優(yōu)選時,調(diào)度器會根據(jù)設(shè)定的策略對初選后的節(jié)點進行評分,并據(jù)此決定調(diào)度節(jié)點。在算力網(wǎng)絡(luò)中,對于一個選擇服務(wù)節(jié)點的業(yè)務(wù)而言,首先要確定的是目標服務(wù)節(jié)點是否還能夠接入新的會話,其次需要按照業(yè)務(wù)特定的策略,優(yōu)選綜合性能更高的算力節(jié)點來提供服務(wù),例如有些業(yè)務(wù)有較快的業(yè)務(wù)完成時間的需求。在文獻[12]中,建議使用動態(tài)的參數(shù)來反應(yīng)服務(wù)狀態(tài),使用相對靜態(tài)的參數(shù)來反應(yīng)節(jié)點執(zhí)行該服務(wù)的能力信息。

    本節(jié)中,我們提出了一種示例性的算力度量信息的格式設(shè)計思路:首先要攜帶算力節(jié)點的服務(wù)狀態(tài)信息;其次,需要按照業(yè)務(wù)需求或優(yōu)化目標,攜帶一個或者幾個算力信息相關(guān)的類型-長度-值(TLV)。這里不同的業(yè)務(wù)類型可以根據(jù)業(yè)務(wù)需求,自定義不同的TLV組合。

    在服務(wù)節(jié)點選擇時,算力路由的決策點首先要感知備選的算力節(jié)點是否還能接入新的算力用戶。例如,文獻[9]提到了一種算力節(jié)點忙閑狀態(tài)的通告方式。該方式設(shè)定了3種狀態(tài):紅色代表繁忙狀態(tài),綠色代表空閑狀態(tài),黃色代表即將繁忙的狀態(tài)。我們可以在服務(wù)節(jié)點上設(shè)定閾值,觸發(fā)這些狀態(tài)的改變,例如接入的用戶數(shù)達到閾值,或某種資源(如CPU、內(nèi)存等)的利用率達到閾值。

    如果多個算力節(jié)點都標記了綠色的空閑狀態(tài),同時算力業(yè)務(wù)又有較快的業(yè)務(wù)完成時間需求,那么也可以進一步地按照算力節(jié)點的綜合性能來決策接入哪個節(jié)點。這些性能的綜合評估也是算力度量體系的一部分,一般體現(xiàn)為三級指標或二級指標,或多級指標的組合等。

    如果面向的業(yè)務(wù)較為明確,并且存在相關(guān)業(yè)務(wù)的有效算力測試結(jié)果,那么可以優(yōu)先考慮使用三級指標中的有效算力來評估算力節(jié)點的計算能力。對于相同的業(yè)務(wù),如果算力用戶之間的計算需求差異較大,僅使用三級指標并不能很好地反映節(jié)點的計算能力;或是由于面向新的業(yè)務(wù),沒有可參考的有效算力結(jié)果評估,那么可以考慮二級指標中的綜合服務(wù)能力指標。在該指標中,針對不同的業(yè)務(wù),在計算、通信、內(nèi)存、存儲4個方面有不同的系數(shù),即影響因子。例如,目標業(yè)務(wù)如果是計算密集型的,就可以適當調(diào)高計算維度的影響因子。

    如果業(yè)務(wù)對于能耗比較敏感,除了算力相關(guān)的信息外,也可以要求算力節(jié)點提供能耗相關(guān)的信息。這時需要對算力節(jié)點的能耗進行統(tǒng)一建模,從而將其作為算力服務(wù)調(diào)度的參考因素之一,即在一定程度上優(yōu)先使用較為節(jié)能的算力節(jié)點來完成計算任務(wù)。

    4.2 算力度量信息的通告

    CAN是算力網(wǎng)絡(luò)中的關(guān)鍵技術(shù)之一。圖3為CAN算力通告流程:首先,對于泛在的算力節(jié)點,需要統(tǒng)一度量值的描述方式;其次,通過某種方法,將這些節(jié)點的算力能力通告到網(wǎng)絡(luò)中;最后,算力網(wǎng)絡(luò)的決策點可以參考收到的算力信息來進行算力服務(wù)調(diào)度。上一節(jié)主要關(guān)注的是第一步,即描述算力能力和服務(wù)狀態(tài)的方法。一個標準化的算力能力的描述方法能夠在很大程度上提升算力網(wǎng)絡(luò)不同節(jié)點之間的協(xié)同能力。本節(jié)中,我們主要關(guān)注第二步,這其中也會涉及相關(guān)的標準化工作。

    ▲圖3 算力感知網(wǎng)絡(luò)中算力通告的流程

    通常,算力節(jié)點和CAN 并不在同一個網(wǎng)絡(luò)域中,因此算力信息的通告經(jīng)常會考慮使用邊界網(wǎng)關(guān)協(xié)議(BGP)。BGP 可以用于網(wǎng)絡(luò)中邊緣路由器(PE)節(jié)點之間的路由信息交流,是計算機網(wǎng)絡(luò)實現(xiàn)廣泛互聯(lián)的基礎(chǔ)協(xié)議之一。針對特定的算力服務(wù),可以考慮擴展BGP 協(xié)議,如在通告該服務(wù)的路由信息時,BGP消息中攜帶節(jié)點的忙閑信息,以及節(jié)點的業(yè)務(wù)執(zhí)行能力TLV。

    在路由協(xié)議的相關(guān)擴展中,網(wǎng)絡(luò)中的多個算力節(jié)點會共享同一個Anycast(任播)地址,并同時發(fā)布自身相關(guān)算力信息。一方面,多點部署的Anycast 地址本身就不支持按照前綴匯聚;另一方面,不同的算力節(jié)點的算力情況不同,在BGP路由優(yōu)選時,需要對BGP協(xié)議進行擴展以支持對同一個Anycast地址存在不同的Nexthop(下一跳)以及算力信息的情況。

    5 結(jié)束語

    算力度量是算力網(wǎng)絡(luò)技術(shù)的重要基礎(chǔ)之一。統(tǒng)一的度量標準、描述方式,有助于算力網(wǎng)絡(luò)的各個網(wǎng)元之間進行高效協(xié)作。目前,算力網(wǎng)絡(luò)業(yè)務(wù)以及針對相關(guān)業(yè)務(wù)的度量還處于發(fā)展的初期階段。未來,隨著算力網(wǎng)絡(luò)業(yè)務(wù)的普及,統(tǒng)一的算力度量機制將促進算網(wǎng)融合共生,避免“算力孤島”,實現(xiàn)全網(wǎng)算力的高效協(xié)同,從而使整個算力網(wǎng)絡(luò)能夠像一臺虛擬的計算機一樣統(tǒng)一調(diào)度、統(tǒng)一管理,支撐千行百業(yè)的數(shù)智化轉(zhuǎn)型。

    猜你喜歡
    算力力度路由
    多方求解智能時代算力挑戰(zhàn)
    新華月報(2024年7期)2024-04-08 02:10:56
    這個第二不一般
    都市人(2023年11期)2024-01-12 05:55:06
    衛(wèi)星通信在算力網(wǎng)絡(luò)中的應(yīng)用研究
    中國電信董事長柯瑞文:算力成為數(shù)字經(jīng)濟的主要生產(chǎn)力
    加大建設(shè)推進力度 確保按時建成達效
    李克強:對排污違法行為要加大處罰力度
    加大授權(quán)力度中科院先行一步
    科技傳播(2019年23期)2020-01-18 07:57:10
    探究路由與環(huán)路的問題
    兼具力度與美感 Bowers & Wilkins 702 S2/707 S2/HTM71 S2/ASW10CM S2
    PRIME和G3-PLC路由機制對比
    中文字幕人成人乱码亚洲影| 国产高清有码在线观看视频 | 欧美乱妇无乱码| 国产视频内射| 一级毛片精品| 日韩免费av在线播放| 午夜a级毛片| 精品免费久久久久久久清纯| 成人国语在线视频| 亚洲国产精品合色在线| 夜夜夜夜夜久久久久| 午夜久久久久精精品| 欧美日韩瑟瑟在线播放| 国产高清激情床上av| 亚洲欧美一区二区三区黑人| 精品欧美一区二区三区在线| 国内精品久久久久精免费| 日日夜夜操网爽| 在线播放国产精品三级| 亚洲精品美女久久av网站| 男女午夜视频在线观看| 中国美女看黄片| 1024香蕉在线观看| 久久精品夜夜夜夜夜久久蜜豆 | www日本在线高清视频| 一本大道久久a久久精品| 一区二区三区激情视频| 99国产极品粉嫩在线观看| 日韩 欧美 亚洲 中文字幕| 一进一出好大好爽视频| 亚洲精品粉嫩美女一区| 51午夜福利影视在线观看| 99riav亚洲国产免费| 国产成人一区二区三区免费视频网站| 首页视频小说图片口味搜索| 亚洲欧洲精品一区二区精品久久久| 怎么达到女性高潮| 亚洲va日本ⅴa欧美va伊人久久| 亚洲电影在线观看av| 男人舔女人的私密视频| 亚洲无线在线观看| 可以免费在线观看a视频的电影网站| 香蕉久久夜色| avwww免费| 大型av网站在线播放| 成熟少妇高潮喷水视频| 国产亚洲av高清不卡| 一进一出好大好爽视频| 桃红色精品国产亚洲av| 午夜免费鲁丝| 日本五十路高清| 嫩草影院精品99| 99热6这里只有精品| 精品久久久久久久久久免费视频| 国产高清视频在线播放一区| 国产亚洲欧美在线一区二区| 亚洲一区高清亚洲精品| 欧美精品啪啪一区二区三区| 免费av毛片视频| www.www免费av| 一本精品99久久精品77| 欧美一区二区精品小视频在线| 女生性感内裤真人,穿戴方法视频| 别揉我奶头~嗯~啊~动态视频| 欧美最黄视频在线播放免费| 最好的美女福利视频网| 少妇裸体淫交视频免费看高清 | 欧美国产日韩亚洲一区| 身体一侧抽搐| 俄罗斯特黄特色一大片| 国产精品亚洲av一区麻豆| 无限看片的www在线观看| 精品久久久久久,| 搡老妇女老女人老熟妇| 午夜久久久在线观看| 欧美不卡视频在线免费观看 | 欧美成人一区二区免费高清观看 | 欧美另类亚洲清纯唯美| 变态另类成人亚洲欧美熟女| 宅男免费午夜| bbb黄色大片| 亚洲国产欧美网| 99国产极品粉嫩在线观看| 亚洲九九香蕉| 一卡2卡三卡四卡精品乱码亚洲| 白带黄色成豆腐渣| 欧美黑人欧美精品刺激| 午夜激情福利司机影院| 亚洲国产日韩欧美精品在线观看 | 观看免费一级毛片| 天天躁夜夜躁狠狠躁躁| 国产黄色小视频在线观看| 在线av久久热| 级片在线观看| 久久99热这里只有精品18| 午夜a级毛片| 欧美日本亚洲视频在线播放| 免费看a级黄色片| 国产成人系列免费观看| 搡老妇女老女人老熟妇| 伦理电影免费视频| 久久久久久免费高清国产稀缺| 天堂√8在线中文| 国产国语露脸激情在线看| 91在线观看av| 男女下面进入的视频免费午夜 | 国产又黄又爽又无遮挡在线| 999精品在线视频| 久久久久久国产a免费观看| av片东京热男人的天堂| 少妇 在线观看| 欧美黄色片欧美黄色片| e午夜精品久久久久久久| 757午夜福利合集在线观看| 久热这里只有精品99| 亚洲成av人片免费观看| 国产熟女xx| 国产一区在线观看成人免费| 亚洲色图 男人天堂 中文字幕| 久久 成人 亚洲| 2021天堂中文幕一二区在线观 | 精品一区二区三区视频在线观看免费| 极品教师在线免费播放| 在线播放国产精品三级| 亚洲av成人不卡在线观看播放网| 91av网站免费观看| www.熟女人妻精品国产| 亚洲 国产 在线| 黄色视频,在线免费观看| 成年女人毛片免费观看观看9| 国产成人欧美在线观看| 亚洲av中文字字幕乱码综合 | 淫秽高清视频在线观看| 久久久久久久午夜电影| 黄色视频,在线免费观看| 禁无遮挡网站| 欧美色视频一区免费| 亚洲成国产人片在线观看| 日日夜夜操网爽| 亚洲成人免费电影在线观看| av欧美777| 日韩视频一区二区在线观看| 欧美日韩一级在线毛片| 男女那种视频在线观看| 777久久人妻少妇嫩草av网站| 国产精品久久久av美女十八| 久久香蕉国产精品| 香蕉国产在线看| 黄色丝袜av网址大全| 熟妇人妻久久中文字幕3abv| 嫩草影视91久久| 久久香蕉国产精品| 亚洲色图 男人天堂 中文字幕| 级片在线观看| 亚洲欧美精品综合一区二区三区| av欧美777| 极品教师在线免费播放| 免费在线观看亚洲国产| 波多野结衣巨乳人妻| 国产午夜福利久久久久久| 一本大道久久a久久精品| 国产成人av教育| 国产精品永久免费网站| 国产精品电影一区二区三区| 97碰自拍视频| 日本精品一区二区三区蜜桃| 最近在线观看免费完整版| 中文字幕最新亚洲高清| 白带黄色成豆腐渣| 欧美激情 高清一区二区三区| 欧美在线一区亚洲| 久久久久久亚洲精品国产蜜桃av| 色播在线永久视频| 国产爱豆传媒在线观看 | 国产精品一区二区三区四区久久 | 黄色丝袜av网址大全| 日韩国内少妇激情av| 欧美日本亚洲视频在线播放| 99国产综合亚洲精品| 国产国语露脸激情在线看| 窝窝影院91人妻| ponron亚洲| 在线免费观看的www视频| 禁无遮挡网站| 高清在线国产一区| 超碰成人久久| av中文乱码字幕在线| 黄色视频不卡| 99在线视频只有这里精品首页| svipshipincom国产片| 欧美 亚洲 国产 日韩一| 黄色 视频免费看| 久久中文看片网| 1024视频免费在线观看| 法律面前人人平等表现在哪些方面| 中文资源天堂在线| 亚洲全国av大片| 亚洲国产欧洲综合997久久, | 欧美性长视频在线观看| 欧美又色又爽又黄视频| av有码第一页| 热99re8久久精品国产| 在线播放国产精品三级| 777久久人妻少妇嫩草av网站| 欧美av亚洲av综合av国产av| 久久久久久大精品| 在线观看免费午夜福利视频| 91老司机精品| 一级黄色大片毛片| 在线观看一区二区三区| 搡老妇女老女人老熟妇| 免费在线观看成人毛片| 亚洲天堂国产精品一区在线| 国产熟女xx| 一区二区三区高清视频在线| 亚洲成人国产一区在线观看| 亚洲国产精品成人综合色| 亚洲欧美精品综合久久99| 国产精品电影一区二区三区| 老汉色∧v一级毛片| 国产蜜桃级精品一区二区三区| 狠狠狠狠99中文字幕| 免费在线观看亚洲国产| 国产精品一区二区免费欧美| 国产伦一二天堂av在线观看| 国产午夜福利久久久久久| 18禁国产床啪视频网站| 满18在线观看网站| 久久伊人香网站| 免费在线观看视频国产中文字幕亚洲| 国产一区在线观看成人免费| 国产伦人伦偷精品视频| 免费在线观看亚洲国产| 亚洲av中文字字幕乱码综合 | a级毛片在线看网站| 一卡2卡三卡四卡精品乱码亚洲| 777久久人妻少妇嫩草av网站| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲狠狠婷婷综合久久图片| 国产亚洲av嫩草精品影院| 法律面前人人平等表现在哪些方面| 色老头精品视频在线观看| 亚洲成人精品中文字幕电影| 极品教师在线免费播放| 在线看三级毛片| 久久 成人 亚洲| 人人妻,人人澡人人爽秒播| 亚洲性夜色夜夜综合| 国产成人av教育| 色综合婷婷激情| 久久精品人妻少妇| 国产精品电影一区二区三区| 99国产精品一区二区三区| 在线观看免费视频日本深夜| 色综合亚洲欧美另类图片| 亚洲欧美一区二区三区黑人| 精品久久蜜臀av无| 精品卡一卡二卡四卡免费| 韩国精品一区二区三区| 国产精品日韩av在线免费观看| 麻豆成人午夜福利视频| 亚洲欧美日韩高清在线视频| 日本成人三级电影网站| 日本精品一区二区三区蜜桃| 欧美成狂野欧美在线观看| 91老司机精品| 999久久久精品免费观看国产| 国产欧美日韩精品亚洲av| 日韩大码丰满熟妇| 欧美大码av| 日本黄色视频三级网站网址| 黄片小视频在线播放| 十八禁人妻一区二区| 怎么达到女性高潮| 亚洲中文字幕一区二区三区有码在线看 | 一级a爱片免费观看的视频| 久久中文字幕人妻熟女| 97超级碰碰碰精品色视频在线观看| 观看免费一级毛片| 妹子高潮喷水视频| 亚洲成av片中文字幕在线观看| 两性夫妻黄色片| 脱女人内裤的视频| 国产不卡一卡二| 欧美乱妇无乱码| av电影中文网址| 日韩欧美一区视频在线观看| 母亲3免费完整高清在线观看| 很黄的视频免费| 亚洲中文日韩欧美视频| 自线自在国产av| 欧美日韩中文字幕国产精品一区二区三区| 亚洲欧美激情综合另类| 国产精品亚洲美女久久久| 男女午夜视频在线观看| 久久精品国产亚洲av高清一级| 十分钟在线观看高清视频www| 国语自产精品视频在线第100页| 午夜福利欧美成人| 啪啪无遮挡十八禁网站| 一区二区三区精品91| 国产在线精品亚洲第一网站| 亚洲中文字幕一区二区三区有码在线看 | 听说在线观看完整版免费高清| 97超级碰碰碰精品色视频在线观看| 亚洲午夜理论影院| 最好的美女福利视频网| 免费搜索国产男女视频| 婷婷丁香在线五月| 岛国在线观看网站| 婷婷六月久久综合丁香| 一本久久中文字幕| 日日摸夜夜添夜夜添小说| 久久国产乱子伦精品免费另类| 欧美zozozo另类| 久久热在线av| 国产精品1区2区在线观看.| 日韩欧美一区视频在线观看| 桃红色精品国产亚洲av| 夜夜躁狠狠躁天天躁| 亚洲 欧美 日韩 在线 免费| www.999成人在线观看| 91国产中文字幕| 精品国内亚洲2022精品成人| 久久久久久人人人人人| 国产精品九九99| 亚洲人成电影免费在线| 久久人妻av系列| 一级毛片高清免费大全| 国产精品亚洲一级av第二区| 久久婷婷成人综合色麻豆| 亚洲欧美日韩无卡精品| 中文字幕人成人乱码亚洲影| 宅男免费午夜| 最近最新中文字幕大全免费视频| 在线观看免费午夜福利视频| 熟女少妇亚洲综合色aaa.| 日韩精品中文字幕看吧| 亚洲 国产 在线| 男女床上黄色一级片免费看| 色综合站精品国产| 黄色女人牲交| 在线视频色国产色| 国产在线观看jvid| 听说在线观看完整版免费高清| 大香蕉久久成人网| 99久久综合精品五月天人人| 啦啦啦观看免费观看视频高清| 久久国产乱子伦精品免费另类| 国产精品日韩av在线免费观看| 好男人在线观看高清免费视频 | 精品乱码久久久久久99久播| 91国产中文字幕| 黄片播放在线免费| 99精品久久久久人妻精品| 欧美日韩一级在线毛片| av福利片在线| 九色国产91popny在线| 国产精品免费视频内射| avwww免费| 久久久久国内视频| 日本在线视频免费播放| 美女免费视频网站| 91麻豆av在线| 天天躁狠狠躁夜夜躁狠狠躁| 十分钟在线观看高清视频www| 午夜福利在线在线| 桃色一区二区三区在线观看| 国产亚洲精品第一综合不卡| 亚洲成国产人片在线观看| 免费看a级黄色片| 精品一区二区三区四区五区乱码| 日本五十路高清| 精品无人区乱码1区二区| 亚洲专区中文字幕在线| x7x7x7水蜜桃| 亚洲成人精品中文字幕电影| 色综合欧美亚洲国产小说| 神马国产精品三级电影在线观看 | 一级毛片女人18水好多| 亚洲熟妇中文字幕五十中出| 中文字幕久久专区| 亚洲中文av在线| 老司机福利观看| 两性午夜刺激爽爽歪歪视频在线观看 | 夜夜爽天天搞| 亚洲人成伊人成综合网2020| 9191精品国产免费久久| 日韩欧美国产一区二区入口| 2021天堂中文幕一二区在线观 | 最新在线观看一区二区三区| 91字幕亚洲| 18禁黄网站禁片午夜丰满| 日韩免费av在线播放| 亚洲人成电影免费在线| 男人舔奶头视频| 非洲黑人性xxxx精品又粗又长| 亚洲全国av大片| 午夜老司机福利片| 91成人精品电影| 国产97色在线日韩免费| 国产真人三级小视频在线观看| 久久久久国产一级毛片高清牌| 亚洲自拍偷在线| 国产成人欧美在线观看| 日韩中文字幕欧美一区二区| 国产一区二区激情短视频| 国产麻豆成人av免费视频| 亚洲人成网站高清观看| 久热爱精品视频在线9| 十八禁网站免费在线| 无人区码免费观看不卡| 亚洲一区二区三区不卡视频| av欧美777| 桃红色精品国产亚洲av| 淫妇啪啪啪对白视频| 国产99白浆流出| 少妇裸体淫交视频免费看高清 | 精品国产美女av久久久久小说| 中亚洲国语对白在线视频| 国产97色在线日韩免费| 日韩国内少妇激情av| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲精品国产精品久久久不卡| 一级毛片女人18水好多| 久久久精品欧美日韩精品| 欧美乱码精品一区二区三区| 精品国产乱码久久久久久男人| 国产免费男女视频| 啪啪无遮挡十八禁网站| 夜夜看夜夜爽夜夜摸| 国产亚洲av嫩草精品影院| 丝袜在线中文字幕| 制服诱惑二区| 国产爱豆传媒在线观看 | 波多野结衣巨乳人妻| 亚洲人成77777在线视频| 国产成人精品久久二区二区免费| 免费观看人在逋| 免费在线观看视频国产中文字幕亚洲| 亚洲熟妇熟女久久| 国产人伦9x9x在线观看| 免费高清视频大片| 啦啦啦韩国在线观看视频| 国产免费av片在线观看野外av| 久久精品国产99精品国产亚洲性色| 精品国产乱子伦一区二区三区| 巨乳人妻的诱惑在线观看| 精品久久久久久成人av| 免费在线观看完整版高清| 精品国产乱子伦一区二区三区| 久久久久久国产a免费观看| 精品国产国语对白av| 国产亚洲精品久久久久5区| 欧美不卡视频在线免费观看 | 久久久久精品国产欧美久久久| 黄片小视频在线播放| 国产99久久九九免费精品| 亚洲无线在线观看| 在线十欧美十亚洲十日本专区| 人成视频在线观看免费观看| 国产亚洲av高清不卡| tocl精华| 欧美日本亚洲视频在线播放| 日本三级黄在线观看| 免费在线观看完整版高清| 黄色毛片三级朝国网站| 少妇裸体淫交视频免费看高清 | 精品电影一区二区在线| 国产亚洲欧美98| 亚洲片人在线观看| 人人澡人人妻人| 淫秽高清视频在线观看| 岛国在线观看网站| 91国产中文字幕| 自线自在国产av| 最新在线观看一区二区三区| 两个人免费观看高清视频| 最近最新中文字幕大全电影3 | 亚洲人成网站高清观看| 亚洲人成77777在线视频| 欧美日韩瑟瑟在线播放| 国产精华一区二区三区| 婷婷精品国产亚洲av在线| 老司机福利观看| 日韩欧美三级三区| 午夜日韩欧美国产| cao死你这个sao货| 不卡一级毛片| 国产97色在线日韩免费| 国产免费av片在线观看野外av| 免费观看精品视频网站| 香蕉丝袜av| 国产精品98久久久久久宅男小说| 午夜精品久久久久久毛片777| 精品人妻1区二区| 亚洲avbb在线观看| 99精品欧美一区二区三区四区| 亚洲中文日韩欧美视频| 欧美成人性av电影在线观看| 日本黄色视频三级网站网址| 午夜激情福利司机影院| 精品国产一区二区三区四区第35| 国产成人av激情在线播放| 欧美性猛交╳xxx乱大交人| 国产乱人伦免费视频| tocl精华| 国产精品久久久av美女十八| 色尼玛亚洲综合影院| 两个人免费观看高清视频| 午夜久久久在线观看| 在线永久观看黄色视频| 成人欧美大片| 两个人视频免费观看高清| 成人特级黄色片久久久久久久| 99热6这里只有精品| 99国产极品粉嫩在线观看| 美女 人体艺术 gogo| 神马国产精品三级电影在线观看 | 成人18禁在线播放| 国产私拍福利视频在线观看| 中文字幕高清在线视频| cao死你这个sao货| 一区二区三区高清视频在线| 少妇的丰满在线观看| 国产91精品成人一区二区三区| 免费一级毛片在线播放高清视频| cao死你这个sao货| 老熟妇仑乱视频hdxx| 中出人妻视频一区二区| 美女高潮喷水抽搐中文字幕| 国产熟女xx| 一边摸一边抽搐一进一小说| 自线自在国产av| 法律面前人人平等表现在哪些方面| 欧美黑人欧美精品刺激| 国产伦一二天堂av在线观看| www.www免费av| 此物有八面人人有两片| 日韩欧美在线二视频| 亚洲中文av在线| 老司机在亚洲福利影院| 国产国语露脸激情在线看| 一a级毛片在线观看| 看免费av毛片| 黄频高清免费视频| 亚洲三区欧美一区| 国内精品久久久久久久电影| 日韩欧美一区视频在线观看| 一区二区三区国产精品乱码| 免费人成视频x8x8入口观看| 999久久久国产精品视频| 亚洲国产中文字幕在线视频| 黄色视频不卡| 成年版毛片免费区| 国产成人一区二区三区免费视频网站| 婷婷六月久久综合丁香| 日日摸夜夜添夜夜添小说| 欧美zozozo另类| 国产高清视频在线播放一区| 法律面前人人平等表现在哪些方面| videosex国产| 在线观看免费视频日本深夜| 亚洲一区高清亚洲精品| 中文字幕人妻丝袜一区二区| 欧美国产精品va在线观看不卡| 视频在线观看一区二区三区| 国产一区二区三区视频了| 日韩有码中文字幕| 91成人精品电影| 成人18禁在线播放| 变态另类丝袜制服| 国产成人av激情在线播放| 满18在线观看网站| 国内少妇人妻偷人精品xxx网站 | 十分钟在线观看高清视频www| 国产精品二区激情视频| 激情在线观看视频在线高清| 18禁黄网站禁片午夜丰满| 欧美午夜高清在线| 欧美乱色亚洲激情| 欧美人与性动交α欧美精品济南到| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲欧美精品综合一区二区三区| x7x7x7水蜜桃| 99精品欧美一区二区三区四区| 亚洲一区中文字幕在线| 亚洲人成电影免费在线| 一进一出好大好爽视频| 熟妇人妻久久中文字幕3abv| av福利片在线| 久久天堂一区二区三区四区| av视频在线观看入口| 男人舔女人的私密视频| 亚洲天堂国产精品一区在线| 免费女性裸体啪啪无遮挡网站| 国产一区二区三区视频了| 亚洲国产中文字幕在线视频| 欧美色欧美亚洲另类二区| 国产欧美日韩一区二区三| 亚洲专区字幕在线| 国产真实乱freesex| 午夜福利一区二区在线看| 久久精品亚洲精品国产色婷小说| 别揉我奶头~嗯~啊~动态视频| 在线永久观看黄色视频| 欧美 亚洲 国产 日韩一| 别揉我奶头~嗯~啊~动态视频| 色综合亚洲欧美另类图片| 国产伦一二天堂av在线观看| 在线观看免费午夜福利视频| 1024香蕉在线观看| 色老头精品视频在线观看| 99久久精品国产亚洲精品| 国产av不卡久久|