• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    適應(yīng)異構(gòu)集群的Mesos多資源調(diào)度DRF增強算法

    2016-05-14 14:30:52柯尊旺于炯廖彬
    計算機應(yīng)用 2016年5期
    關(guān)鍵詞:資源分配公平性

    柯尊旺 于炯 廖彬

    摘要:云計算集群環(huán)境下多資源分配的公平性是考量資源調(diào)度子系統(tǒng)最重要的指標之一,DRF作為通用的多資源公平分配算法,在異構(gòu)異質(zhì)的集群環(huán)境下可能有失公平性。在研究Mesos框架中DRF多資源公平分配算法的基礎(chǔ)上,設(shè)計并實現(xiàn)了增加機器性能評估影響因子的meDRF分配算法。將計算節(jié)點的機器性能得分,作為DRF主導(dǎo)份額計算的因子,使得計算任務(wù)有均等的機會獲得優(yōu)質(zhì)計算資源和劣質(zhì)計算資源。通過選取Kmeans、Bayes及PageRank 等多種作業(yè)進行實驗,實驗結(jié)果表明:meDRF較DRF分配算法更能體現(xiàn)多資源分配的公平性,且資源分配具有更好的穩(wěn)定性,能有效提高系統(tǒng)資源的利用率。

    關(guān)鍵詞:資源分配;DRF分配算法;公平性;Mesos

    中圖分類號:TP311 文獻標志碼:A

    Abstract:The fairness of multiresource allocation is one of the most important indicators in the resource scheduling subsystem, Dominant Resource Fairness (DRF), as a general resource allocation algorithm for multiresources scenarios, it may be unfair in heterogeneous cluster environment. On the basis of the research on the DRF multiresource fair allocation algorithm under Mesos framework environment, meDRF allocation algorithm was designed and implemented to evaluate the influence factors of the performance of the server. The machine performance scores of computing nodes, as the dominant factor of DRF share calculation, made computing tasks have equal chance to obtain high quality computing resources and poor computing resources. Experiments were conducted by using Kmeans, Bayes and PageRank jobs under Hadoop. The experimental results show that, compared with DRF allocation algorithm, the meDRF algorithm can reflect more fairness of the allocation of resources, and the allocation of resources has better stability, which effectively improves the utilization of system resources.

    Key words:resource allocation; Dominant Resource Fairness (DRF) allocation algorithm; fairness; Mesos

    0 引言

    隨著云計算、大數(shù)據(jù)等新技術(shù)及應(yīng)用的高速發(fā)展以及智能終端爆炸式增長,以Hadoop[1]、Spark[2]、Cloudra及Strom等為代表的大數(shù)據(jù)計算框架得到了快速發(fā)展。但是,傳統(tǒng)數(shù)據(jù)中心的資源管理模式無法有效應(yīng)對種類繁多的上層計算框架的個性化資源管理需求。在這樣的背景下,作為下一代數(shù)據(jù)中心的創(chuàng)新者,軟件定義數(shù)據(jù)中心(Software Defined Data Center,SDDC)[3]將服務(wù)器進行虛擬化、軟件化數(shù)據(jù)中心的一切物理資源,并適應(yīng)上層應(yīng)用程序不斷變化的資源需求,動態(tài)地進行資源分配。SDDC通過整合多種計算資源實現(xiàn)資源的統(tǒng)一管理和調(diào)度,在計算資源有限的情況下,為確保各計算任務(wù)節(jié)點的利益最大化,資源調(diào)度子系統(tǒng)應(yīng)該提供一種公平的資源分配策略,使得各計算任務(wù)節(jié)點具有均等的機會獲得計算資源來完成任務(wù)。另一方面,不同的計算任務(wù)(或作業(yè))對不同資源類型的需求也存在著不同程度的差異,如:計算密集型的MapReduce[4-10]作業(yè)更多地需要CPU資源,而I/O密集型的MapReduce作業(yè)則需要更多的磁盤及內(nèi)存資源。因此,SDDC集群中資源調(diào)度子系統(tǒng)需要解決多類型資源分配的公平性問題。

    當(dāng)前,資源公平分配方面的研究工作及實踐主要集中在單資源類型的場景,以至于在多種資源類型和異質(zhì)資源混合的應(yīng)用場景下,仍采用首先將單資源進行抽象,然后再進行資源的分配工作,如Hadoop的slotbased[11]公平調(diào)度策略[12-13]。在單資源公平分配場景下,maxmin fairness[14-15]是最通用的單資源公平分配算法,它通過使資源分配向量最小值的最大化,確保任何資源請求不被餓死,是一種優(yōu)秀的兼顧有效性和公平性的分配策略。而在多資源類型公平分配方面,DRF(Dominant Resource Fairness)[16]是一種針對多資源應(yīng)用場景的maxmin fairness算法。DRF通過對“主導(dǎo)資源份額(Dominant Share)”進行maxmin fairness,比較合理地解決了多資源類型的分配公平性問題。經(jīng)過大量的測試工作表明:DRF算法比slotbased算法更能夠滿足多資源分配的應(yīng)用場景,資源分配的效率及公平性表現(xiàn)更佳[17]。

    在DRF的實踐中,資源調(diào)度管理框架Mesos[18-19]采用了DRF作為它的多資源公平分配算法,在集群節(jié)點的計算資源同構(gòu)(即集群中的節(jié)點配置不存在差異)的情況下,DRF算法表現(xiàn)出優(yōu)秀的性能,并能很好地權(quán)衡資源調(diào)度的有效性和公平性。但在實際的應(yīng)用場景中,同一集群中的不同節(jié)點之間的資源質(zhì)量可能存在著不同程度的差異,而DRF算法并沒有考慮因為計算資源質(zhì)量的差異性而導(dǎo)致的資源分配不公平性問題。為了改進DRF算法對異構(gòu)集群環(huán)境的適應(yīng)能力,本文通過增加節(jié)點性能評估影響因子,提出一種增強的DRF資源分配算法meDRF,使資源調(diào)度的各上層應(yīng)用計算任務(wù)之間能夠有均等的機會分配到滿足需求的計算資源。

    1 DRF分配算法

    1.1 DRF算法簡介

    DRF資源分配是一種改進的maxmin fairness算法,能在多資源類型的集群環(huán)境中進行資源的公平分配,DRF是一種基于“主導(dǎo)份額(Dominant Share)”的多資源公平分配策略[17]。DRF公平分配算法具有4個性質(zhì)[20]:

    1) 鼓勵共享(Sharing Incentive)。即集群中的上層應(yīng)用之間通過共享自己的資源而不是獨占資源來達到更高的資源利用效率。如:在一個具有n個計算任務(wù)的集群節(jié)點中,每個計算任務(wù)最多只能分配1/n的資源。

    2) 欺騙屏蔽(Strategyproofness)。DRF能夠防止計算任務(wù)謊報資源需求量,企圖通過欺騙的手段而獲取更多資源的行為。

    3) 無嫉妒性(Envyfreeness)[21]。任何的計算任務(wù)都不能在獲得計算資源后,通過已有的資源,去獲得(或交換)另一個任務(wù)的資源。

    4) 帕累托效率性(Pareto Efficiency)。集群中的所有計算任務(wù)都不能夠在不減少其他任務(wù)的資源擁有量的前提下增加自己的資源擁有量。

    DRF算法的核心思想是根據(jù)每個計算任務(wù)的資源需求向量和系統(tǒng)資源總向量,求出各個計算任務(wù)的主導(dǎo)份額。該主導(dǎo)份額所對應(yīng)的主導(dǎo)資源是該計算任務(wù)最重要的計算依據(jù)。通過平衡各個計算任務(wù)的主導(dǎo)份額,來確定每個計算任務(wù)的子任務(wù)數(shù)量,最終得到每個計算任務(wù)的資源配額向量。DRF算法描述如下:

    1.2 DRF算法的不足

    在實際的集群環(huán)境中,集群中的計算機可能不是同一時間采購,或者機器品牌及機器型號之間存在著差異。在實際的資源分配過程中,即使分配相同數(shù)量的資源,但是由于節(jié)點之間的性能差異,分配方案之間存在較大的差異,將會有悖公平性原則[12]。DRF算法并沒有考慮這種因計算資源性能的差異而導(dǎo)致的資源分配不公平性的問題,即使分配相同數(shù)量的資源,性能高的資源在任務(wù)的執(zhí)行效率上比性能差的資源高。但是在DRF分配算法中,主導(dǎo)份額的計算只與資源數(shù)量有關(guān),而與資源的質(zhì)量無關(guān)。計算任務(wù)i的主導(dǎo)份額如式(2)所示:

    式中:j表示資源類別,k表示資源種類數(shù)量,Rj表示資源類別j的資源總量,Wi表示計算任務(wù)的權(quán)重,Rui, j表示計算任務(wù)i已分配的j類別資源總量。

    根據(jù)式(2)可知計算任務(wù)i的主導(dǎo)份額為該計算任務(wù)已獲得的各類型資源與系統(tǒng)中該類型資源總量的比值中的最大值,如果計算任務(wù)存在加權(quán),則主導(dǎo)份額與權(quán)重成反比。式(2)中無法體現(xiàn)出集群中節(jié)點之間的性能區(qū)別。如果有一個計算任務(wù)拿到大量的優(yōu)質(zhì)資源,而另一個拿到大量的劣質(zhì)資源,雖然它們主導(dǎo)份額相同,但任務(wù)實際的執(zhí)行效率和運行時間卻相差甚遠,這將導(dǎo)致資源分配的不公平,這種情況違反了DRF算法的Envyfreeness性質(zhì)。

    2 meDRF分配算法

    本文提出的meDRF分配算法,是在DRF算法基礎(chǔ)上增加了機器性能評估影響因子,使得計算任務(wù)有均等的機會獲得優(yōu)質(zhì)計算資源和劣質(zhì)計算資源,而不是長期持有優(yōu)質(zhì)或劣質(zhì)計算資源。本算法的核心思想是:首先給每個集群節(jié)點的計算機進行性能評估打分并按照所得分值從小到大排序,再計算出每個計算任務(wù)的主導(dǎo)份額并從小到大排序,然后交替使用優(yōu)質(zhì)資源、劣質(zhì)資源為計算任務(wù)的子任務(wù)進行資源分配,盡可能地使所有計算任務(wù)的主導(dǎo)份額趨向于平衡。

    假設(shè)集群環(huán)境中存在n個計算節(jié)點,Qk表示機器k的性能評估得分,ηk代表機器k的性能評估得分與平均得分之比,Si表示計算任務(wù)i的主導(dǎo)份額,Rkj表示機器k上j類型資源的總量,Ruki, j表示計算任務(wù)i在機器k上已經(jīng)分配的j類型資源數(shù)量,Rck, j表示機器k上j類型資源可分配的數(shù)量,Wi表示計算任務(wù)i的權(quán)重。

    在Mesos中,使用框架這一術(shù)語表示計算任務(wù)。圖1中灰色區(qū)域代表各框架的主導(dǎo)份額,dS1表示框架2和框架1的主導(dǎo)份額差,dS2表示框架3和框架2的主導(dǎo)份額差。為均衡不同框架間的主導(dǎo)份額,框架1在執(zhí)行第1次分配計算時,在資源足夠的情況下分配資源給子任務(wù)使其主導(dǎo)份額增加dS1,此時與框架2的主導(dǎo)份額相等。然后框架1進行第2次分配計算時框架2將執(zhí)行第1次分配計算,框架1和框架2都使它們各自的主導(dǎo)份額增加dS2,此時與框架3的主導(dǎo)份額相等。綜上所述,meDRF分配算法的流程描述如下:

    1) 對每個集群節(jié)點的計算機進行性能評估打分,并按分值從小到大排序,求得ηk值;

    2) 計算每個框架的主導(dǎo)份額Si,并按從小到大排序;

    3) 計算相鄰框架之間的主導(dǎo)份額差dSi;

    4) 主導(dǎo)份額最小的框架進行分配計算,如果是第奇數(shù)次分配計算則從性能評估分值高的機器分配資源,如果是第偶數(shù)次分配計算則從分值低的機器分配資源;

    5) 反復(fù)執(zhí)行步驟2)~4),當(dāng)所有任務(wù)分配完畢或者所有資源分配完成時,分配流程結(jié)束。

    3 實驗結(jié)果

    本實驗的集群環(huán)境由4個計算節(jié)點組成,分別為2臺性能較差的曙光服務(wù)器和2臺性能較好的IBM服務(wù)器,共56核CPU和48GB內(nèi)存,服務(wù)器硬件配置如表1所示。集群節(jié)點計算機的操作系統(tǒng)Linux版本為CentOS 7.0,Mesos采用最新的0.24.0版本。運行2個Hadoop框架,分別處理不同的任務(wù)。本實驗選取WordCount,TeraSort、NutchIndex、Kmeans、Bayes及PageRank[22]6種作業(yè)進行實驗,作業(yè)參數(shù)設(shè)置如表2所示。

    對比實驗中,框架1的子任務(wù)對資源的需求為〈2核CPU,1GB內(nèi)存〉,框架2的子任務(wù)對資源的需求為〈1核CPU,2GB內(nèi)存〉。本實驗在mesos中分別采用DRF算法和修改源程序?qū)崿F(xiàn)的meDRF算法進行測試。經(jīng)過運行表2中的MapReduce任務(wù),兩個算法分配的資源分布分別如圖2、3所示。

    通過對比WordCount、TeraSort、NutchIndex、Kmeans、Bayes及PageRank 6種作業(yè)分別在DRF、meDRF、異構(gòu)、同構(gòu)4種條件下的任務(wù)完成時間(如表3所示)??梢园l(fā)現(xiàn):不論是DRF還是meDRF算法,同構(gòu)環(huán)境下的任務(wù)執(zhí)行時間都較短;meDRF與DRF算法相比,meDRF大部分情況下的執(zhí)行時間與DRF算法相比,執(zhí)行時間較短。這說明更加公平的資源調(diào)度策略在一定程度上能夠減小作業(yè)的執(zhí)行時間。

    實驗過程中,本文還對不同作業(yè)的執(zhí)行過程中內(nèi)存,磁盤及網(wǎng)絡(luò)資源使用情況進行了監(jiān)控,如圖4所示。

    通過圖4可以看出不同的MapReduce作業(yè)在運行過程中對內(nèi)存、磁盤與網(wǎng)絡(luò)資源的利用存在較大的差異,并且相同作業(yè)在不同時間點的資源使用情況變化也很大。并且,在異構(gòu)環(huán)境下,這些隨時變化的資源需求,已有的DRF算法并不能很好地適應(yīng)公平性的要求。

    算法meDRF比DRF在MapReduce中執(zhí)行效率較好的原因是:當(dāng)前Hadoop中采用機架感知的數(shù)據(jù)存放策略,將數(shù)據(jù)文件切分為相同大小的數(shù)據(jù)塊(Block)隨機存儲到集群DataNode節(jié)點中。在同構(gòu)環(huán)境中,這種數(shù)據(jù)的切分與存儲方法配合DRF算法的資源分配,能夠滿足系統(tǒng)可用性與負載分流的要求。但是,在異構(gòu)環(huán)境中,由于集群中各節(jié)點的計算能力存在著差異,異構(gòu)節(jié)點處理相同任務(wù)(任務(wù)數(shù)據(jù)集大小相同)的完成時間不同。因為只有當(dāng)一個作業(yè)的Map任務(wù)成功完成的數(shù)量超過一定的閾值時,才能開始分配該作業(yè)的Reduce任務(wù)給某TaskTracker節(jié)點執(zhí)行,所以對于計算機能力強的節(jié)點,DRF算法在異構(gòu)環(huán)境容易造成大量的等待時延。MapReduce任務(wù)執(zhí)行過程中任務(wù)之間并不是按照完全并行的方式進行的,Map與Reduce任務(wù)之間存在不同程度的執(zhí)行順序與數(shù)據(jù)調(diào)用的制約關(guān)系。當(dāng)某任務(wù)處于等待其他任務(wù)的執(zhí)行結(jié)果(或等待其他任務(wù)的執(zhí)行完畢)才能繼續(xù)往下執(zhí)行而處于“被動等待”狀態(tài)時,DRF算法的資源分配的缺點就顯現(xiàn)出來。而meDRF算法則是適應(yīng)了異構(gòu)環(huán)境的資源分配,較DRF更能提高異構(gòu)環(huán)境下作業(yè)的執(zhí)行效率。

    另外,本文對任務(wù)運行過程中的資源使用情況進行了監(jiān)控,對于系統(tǒng)最核心的資源CPU,DRF與meDRF算法的平均CPU負載情況比對如圖5所示。從圖5可以發(fā)現(xiàn),meDRF算法較DRF算法在120min的監(jiān)控周期中,meDRF算法的CPU負載更加平穩(wěn),波動幅度控制能力更好。

    4 結(jié)語

    本文在研究mesos框架中的DRF多資源公平分配算法的基礎(chǔ)上,設(shè)計并實現(xiàn)了增加機器性能評估影響因子的meDRF分配算法。實驗測試結(jié)果表明:meDRF分配算法更能體現(xiàn)多資源分配的公平性,且資源分配具有更好的穩(wěn)定性,能有效提高計算資源的使用率。通過選取WordCount、TeraSort、NutchIndex、Kmeans、Bayes及PageRank 6種作業(yè)進行實驗,對比作業(yè)運行時間及資源的使用情況,證明了meDRF算法相對于DRF算法的優(yōu)越性。在實際應(yīng)用的場景中,不同框架運行的作業(yè)類型存在差異,有些框架側(cè)重于分析,而有些側(cè)重于計算。如何使側(cè)重計算的框架獲得更多的優(yōu)質(zhì)資源,而側(cè)重分析的框架獲得較多的劣質(zhì)資源,進一步提高資源使用率,是下一步的工作目標。

    參考文獻:

    [1]SHVACHKO K, KUANG H, RADIA S, et al. The Hadoop distributed file system[C]// Proceedings of the 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies. Piscataway, NJ: IEEE, 2010: 1-10.

    [2]WANG L, WANG Y, XIE Y. Implementation of a parallel algorithm based on a spark cloud computing platform[J]. Algorithms, 2015, 8(3):407-414.

    [3]LEE B S, KANAGAVELU R, AUNG K M M. An efficient flow cache algorithm with improved fairness in softwaredefined data center networks[C]// Proceedings of the 2013 IEEE 2nd International Conference on Cloud Networking. Piscataway, NJ: IEEE, 2013:18-24.

    [4]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[C]// Proceedings of the 6th Conference on Symposium on Opearting Systems Design & Implementation. Berkeley, CA: USENIX Association, 2004:107-113.

    [5]VERNICA R, CAREY M J, LI C. Efficient parallel setsimilarity joins using MapReduce[C]// Proceedings of the 2010 ACM SIGMOD International Conference on Management of Data. New York: ACM, 2010: 495-506.

    [6]覃雄派,王會舉,杜小勇,等.大數(shù)據(jù)分析: RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報, 2012,23(1):32-45.(QIN X P, WANG H J, DU X Y, et al. Big data analysis: competition and symbiosis of RDBMS and MapReduce[J]. Journal of Software, 2012, 23(1):32-45.)

    [7]張雪萍,龔康莉,趙廣才. 基于MapReduce的KMedoids并行算法[J]. 計算機應(yīng)用, 2013,33(4):1023-1025. (ZHANG X P, GONG K L, ZHAO G C. Parallel KMedoids algorithm based on MapReduce[J]. Journal of Computer Applications, 2013, 33(4): 1023-1025.)

    [8]亓開元,韓燕波,趙卓峰,等.支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J]. 計算機研究與發(fā)展, 2013, 50(1):111-121.(QI K Y, HAN Y B, ZHAO Z F, et al. MapReduce intermediate result cache for concurrent data stream processing[J]. Journal of Computer Research and Development, 2013, 50(1):111-121.)

    [9]顧榮,王芳芳,袁春風(fēng),等. YARM: 基于MapReduce的高效可擴展的語義推理引擎[J]. 計算機學(xué)報, 2015,38(1):74-85. (GU R, WANG F F, YUAN C F, et al. YARM: efficient and scalable semantic reasoning engine based on MapReduce[J]. Chinese Journal of Computers, 2015,38(1):74-85.)

    [10]王習(xí)特,申德榮,于戈,等. MapReduce集群中最大收益問題的研究[J]. 計算機學(xué)報, 2015, 38(1):109-121.(WANG X T, SHEN D R, YU G,et al. Research on maximum benefit problem in a MapReduce cluster[J]. Chinese Journal of Computers, 2015, 38(1):109-121.)

    [11]TANG S, LEE B S, HE B. DynamicMR: a dynamic slot allocation optimization framework for MapReduce clusters[J]. IEEE Transactions on Cloud Computing, 2014, 2(3):333-347.

    [12]夏祎. Hadoop平臺下的作業(yè)調(diào)度算法研究與改進[D]. 廣州: 華南理工大學(xué), 2010: 30-40. (XIA Y. Research and improvement of Hadoop job scheduling algorithm[D]. Guangzhou: South China University of Technology, 2010: 30-40.)

    [13]趙春燕.云環(huán)境下作業(yè)調(diào)度算法研究與實現(xiàn)[D]. 北京: 北京交通大學(xué), 2009: 36-37. (ZHAO C Y. Research and implementation of a cloud environment job scheduling algorithm[D]. Beijing: Beijing Jiaotong University, 2009: 36-37.)

    [14]最大最小公平算法[EB/OL]. [2015-10-22].https://en.wikipedia.org /wiki/Maxmin_fairness.(Maxmin fairness[EB/OL]. [2015-10-22]. https://en.wikipedia.org/wiki/Maxmin_fairness.)

    [15]ASADPOUR A, SABERI A. An approximation algorithm for maxmin fair allocation of indivisible goods[J]. SIAM Journal on Computing, 2010, 39(7):2970-2989.

    [16]GHODSI A, ZAHARIA M, HINDMAN B, et al. Dominant resource fairness: fair allocation of multiple resource types[C]// Proceedings of the 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX Association, 2011: 323-336.

    [17]盧笛,馬建峰,王一川,等.云計算下保障公平性的多資源分配算法[J]. 西安電子科技大學(xué)學(xué)報(自然科學(xué)版), 2014,41(3):162-168. (LU D, MA J F, WANG Y C, et al. Enhanced fairnessbased multiresource allocation algorithm for cloud computing[J]. Journal of Xidian University (Natural Science), 2014,41(3):162-168.)

    [18]Apache Mesos Documentation[EB/OL]. [2015-10-03]. http://mesos.apache.org/documentation/latest/index.html.

    [19]HINDMAN B, KONWINSKI A, ZAHARIA M, et al. Mesos: a platform for finegrained resource sharing in the data center[C]// Proceedings of the 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX, 2011:429-483.

    [20]霍菁,石京燕,孫功星,等.一種改進的DRF算法對BESIII集群資源管理的優(yōu)化[J]. 核電子學(xué)與探測技術(shù),2014,34(10):1153-1158. (HUO J, SHI J Y, SUN G X, et al. The optimization of BESIII cluster resource management by using the improved DRF algorithm[J]. Nuclear Electronics & Detection Technology, 2014,34(10):1153-1158.)

    [21]BOUVERET S, LANG J. Efficiency and envyfreeness in fair division of indivisible goods: logical representation and complexity[J]. Journal of Artificial Intelligence Research, 2008,32(1): 525-564.

    [22]BOLDI P, SANTINI M, VIGNA S. PageRank: functional dependencies[J]. ACM Transactions on Information Systems, 2009, 27(4):1139-1141.

    猜你喜歡
    資源分配公平性
    高管薪酬外部公平性、機構(gòu)投資者與并購溢價
    新研究揭示新冠疫情對資源分配的影響 精讀
    英語文摘(2020年10期)2020-11-26 08:12:20
    一種基于價格競爭的D2D通信資源分配算法
    基于動態(tài)規(guī)劃理論的特種設(shè)備檢驗資源分配研究
    智富時代(2018年3期)2018-06-11 16:10:44
    一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機制
    云環(huán)境下公平性優(yōu)化的資源分配方法
    公平性問題例談
    關(guān)于公平性的思考
    基于普查數(shù)據(jù)的我國18個少數(shù)民族受教育程度及公平性統(tǒng)計分析
    OFDMA系統(tǒng)中容量最大化的資源分配算法
    計算機工程(2014年6期)2014-02-28 01:25:32
    一二三四社区在线视频社区8| 一进一出抽搐动态| 中亚洲国语对白在线视频| 99久久人妻综合| 黄色a级毛片大全视频| 久久久久久久久免费视频了| 夫妻午夜视频| 国产高清国产精品国产三级| 欧美国产精品一级二级三级| www.精华液| 国产人伦9x9x在线观看| 婷婷丁香在线五月| 午夜激情久久久久久久| 十分钟在线观看高清视频www| 首页视频小说图片口味搜索| 热99re8久久精品国产| av超薄肉色丝袜交足视频| 国产精品久久久久久人妻精品电影 | 精品人妻熟女毛片av久久网站| 天天添夜夜摸| 日韩大码丰满熟妇| 亚洲精品国产色婷婷电影| 黄色视频在线播放观看不卡| h视频一区二区三区| 18禁美女被吸乳视频| 亚洲人成伊人成综合网2020| 中文字幕人妻丝袜制服| 精品午夜福利视频在线观看一区 | 另类亚洲欧美激情| 免费人妻精品一区二区三区视频| 久久久久久久久免费视频了| 久久久久久久国产电影| 黄色视频不卡| 国产麻豆69| 热re99久久国产66热| 久久人人97超碰香蕉20202| 91精品三级在线观看| 成年人黄色毛片网站| 欧美大码av| 亚洲专区国产一区二区| 男女床上黄色一级片免费看| 亚洲人成电影免费在线| 国产精品电影一区二区三区 | 精品乱码久久久久久99久播| 亚洲天堂av无毛| 成人18禁高潮啪啪吃奶动态图| 一二三四在线观看免费中文在| 国产淫语在线视频| 午夜福利在线观看吧| 国产精品 欧美亚洲| 国产精品一区二区精品视频观看| 亚洲精品一二三| 亚洲av国产av综合av卡| 色视频在线一区二区三区| 动漫黄色视频在线观看| 性高湖久久久久久久久免费观看| 国产精品美女特级片免费视频播放器 | avwww免费| 在线看a的网站| 精品欧美一区二区三区在线| 国产精品免费视频内射| 亚洲成av片中文字幕在线观看| 国产精品成人在线| 一级毛片精品| 国产精品98久久久久久宅男小说| 午夜福利欧美成人| 少妇的丰满在线观看| 黑人欧美特级aaaaaa片| 手机成人av网站| 老熟妇仑乱视频hdxx| 国产亚洲一区二区精品| 亚洲中文字幕日韩| 两人在一起打扑克的视频| 久久热在线av| 国产老妇伦熟女老妇高清| 成人av一区二区三区在线看| 一进一出好大好爽视频| 亚洲av欧美aⅴ国产| av网站在线播放免费| 色播在线永久视频| 亚洲精品中文字幕在线视频| tube8黄色片| 国产伦理片在线播放av一区| 久久天躁狠狠躁夜夜2o2o| 在线av久久热| 欧美日韩国产mv在线观看视频| 狠狠精品人妻久久久久久综合| 中文字幕人妻丝袜一区二区| 男女免费视频国产| 国产区一区二久久| 国产免费视频播放在线视频| 一区二区三区激情视频| 国产高清视频在线播放一区| 国产一卡二卡三卡精品| 久久久久久久久久久久大奶| 高清av免费在线| 91精品国产国语对白视频| 曰老女人黄片| 国产欧美日韩一区二区三区在线| 中文字幕人妻丝袜一区二区| 十八禁人妻一区二区| 免费不卡黄色视频| 可以免费在线观看a视频的电影网站| 日本av手机在线免费观看| 国产1区2区3区精品| 9191精品国产免费久久| 久久久久网色| 欧美成人午夜精品| 欧美日韩黄片免| 99久久人妻综合| 在线永久观看黄色视频| 日韩熟女老妇一区二区性免费视频| 91av网站免费观看| 欧美日韩成人在线一区二区| 国产成人av教育| √禁漫天堂资源中文www| 少妇 在线观看| 国产精品免费一区二区三区在线 | 久久天躁狠狠躁夜夜2o2o| 91大片在线观看| 免费在线观看影片大全网站| 国内毛片毛片毛片毛片毛片| 法律面前人人平等表现在哪些方面| 亚洲精品成人av观看孕妇| 亚洲av美国av| 两人在一起打扑克的视频| 老司机亚洲免费影院| 国产精品久久久人人做人人爽| 最新的欧美精品一区二区| 50天的宝宝边吃奶边哭怎么回事| 无遮挡黄片免费观看| 夜夜爽天天搞| 国产97色在线日韩免费| 欧美久久黑人一区二区| 久久久久网色| 日韩欧美国产一区二区入口| 久久久精品免费免费高清| 亚洲九九香蕉| 亚洲人成电影观看| 精品熟女少妇八av免费久了| 日本vs欧美在线观看视频| 伦理电影免费视频| 精品国内亚洲2022精品成人 | 美女视频免费永久观看网站| 一个人免费看片子| 五月开心婷婷网| 色精品久久人妻99蜜桃| 中文字幕色久视频| 美女视频免费永久观看网站| 国产一区二区三区在线臀色熟女 | 国产成人一区二区三区免费视频网站| 成年版毛片免费区| 精品乱码久久久久久99久播| 夜夜夜夜夜久久久久| 国产老妇伦熟女老妇高清| 国产精品免费一区二区三区在线 | 老司机福利观看| 国产日韩欧美视频二区| 久久人妻福利社区极品人妻图片| 国产精品一区二区在线不卡| 国产日韩欧美亚洲二区| 欧美日韩成人在线一区二区| 亚洲自偷自拍图片 自拍| 日韩欧美一区二区三区在线观看 | 日韩大片免费观看网站| 一级黄色大片毛片| 国产有黄有色有爽视频| 黄色a级毛片大全视频| 十八禁高潮呻吟视频| 99国产精品一区二区蜜桃av | 午夜两性在线视频| 黄频高清免费视频| 一级毛片精品| 国产精品久久久人人做人人爽| 波多野结衣一区麻豆| 搡老熟女国产l中国老女人| 欧美av亚洲av综合av国产av| 美女主播在线视频| 一级a爱视频在线免费观看| 十八禁网站免费在线| 国产成人免费观看mmmm| 午夜两性在线视频| 精品免费久久久久久久清纯 | 国产亚洲av高清不卡| 日韩三级视频一区二区三区| svipshipincom国产片| 午夜视频精品福利| 一边摸一边抽搐一进一小说 | 国产高清视频在线播放一区| 亚洲av电影在线进入| 午夜精品久久久久久毛片777| 老司机深夜福利视频在线观看| 宅男免费午夜| 最新在线观看一区二区三区| 成人av一区二区三区在线看| 一边摸一边抽搐一进一小说 | 亚洲美女黄片视频| 免费观看a级毛片全部| 又黄又粗又硬又大视频| 国产伦理片在线播放av一区| 亚洲综合色网址| 老司机靠b影院| 免费观看av网站的网址| 国产成人免费无遮挡视频| 日韩视频在线欧美| 99精品久久久久人妻精品| 国产老妇伦熟女老妇高清| 久久久久精品人妻al黑| 欧美精品av麻豆av| 少妇精品久久久久久久| 人人妻人人澡人人看| 激情在线观看视频在线高清 | 极品人妻少妇av视频| 黄色成人免费大全| 少妇裸体淫交视频免费看高清 | 久久午夜亚洲精品久久| 老司机深夜福利视频在线观看| 日本精品一区二区三区蜜桃| 国产成人啪精品午夜网站| 欧美 日韩 精品 国产| 亚洲国产精品一区二区三区在线| 啦啦啦中文免费视频观看日本| 精品一区二区三卡| 精品久久久久久电影网| 999久久久精品免费观看国产| 久久中文字幕一级| 国精品久久久久久国模美| 国产又色又爽无遮挡免费看| 色婷婷av一区二区三区视频| 12—13女人毛片做爰片一| 久久精品国产亚洲av高清一级| 亚洲欧美日韩高清在线视频 | 国产成人av激情在线播放| 天天影视国产精品| 日本wwww免费看| 国产亚洲av高清不卡| 香蕉丝袜av| 我的亚洲天堂| 欧美午夜高清在线| 91麻豆av在线| 亚洲美女黄片视频| 久久这里只有精品19| 在线观看免费视频日本深夜| 满18在线观看网站| 一本久久精品| 国产亚洲欧美在线一区二区| 高潮久久久久久久久久久不卡| 日韩 欧美 亚洲 中文字幕| 女警被强在线播放| 亚洲精品在线美女| 18在线观看网站| 老司机深夜福利视频在线观看| 久久久水蜜桃国产精品网| 熟女少妇亚洲综合色aaa.| 久久人人97超碰香蕉20202| 最新的欧美精品一区二区| 国产精品久久久久成人av| 欧美激情极品国产一区二区三区| 精品第一国产精品| 少妇被粗大的猛进出69影院| 久久久国产一区二区| 久久精品国产a三级三级三级| 亚洲av国产av综合av卡| 欧美精品亚洲一区二区| 18禁美女被吸乳视频| 久久国产亚洲av麻豆专区| 一进一出好大好爽视频| 色综合欧美亚洲国产小说| 国产深夜福利视频在线观看| 精品熟女少妇八av免费久了| 婷婷成人精品国产| 十八禁人妻一区二区| 老司机深夜福利视频在线观看| 国产一区二区激情短视频| 伦理电影免费视频| 人妻 亚洲 视频| 国产97色在线日韩免费| 精品人妻1区二区| 国产欧美日韩一区二区精品| 中文亚洲av片在线观看爽 | 午夜激情久久久久久久| 天天躁狠狠躁夜夜躁狠狠躁| 99久久精品国产亚洲精品| 一边摸一边做爽爽视频免费| 麻豆av在线久日| 亚洲va日本ⅴa欧美va伊人久久| 啦啦啦 在线观看视频| av一本久久久久| tube8黄色片| 午夜老司机福利片| 国产一区二区三区视频了| 99国产精品一区二区蜜桃av | 波多野结衣av一区二区av| 一区在线观看完整版| 麻豆成人av在线观看| 亚洲欧美一区二区三区黑人| 中文字幕高清在线视频| 国产精品.久久久| 成人18禁高潮啪啪吃奶动态图| 国产真人三级小视频在线观看| aaaaa片日本免费| 女人被躁到高潮嗷嗷叫费观| 汤姆久久久久久久影院中文字幕| av免费在线观看网站| 国产有黄有色有爽视频| 一本久久精品| 免费观看人在逋| 国产成人免费无遮挡视频| 深夜精品福利| 两个人看的免费小视频| 午夜福利,免费看| 欧美中文综合在线视频| 国产不卡一卡二| 国产成人欧美在线观看 | 午夜福利在线免费观看网站| 在线观看免费高清a一片| 中文字幕人妻丝袜一区二区| 午夜免费鲁丝| 91精品三级在线观看| 制服人妻中文乱码| 久久中文看片网| 丰满人妻熟妇乱又伦精品不卡| 国产在线观看jvid| 可以免费在线观看a视频的电影网站| 国产在线一区二区三区精| 免费观看a级毛片全部| 国产亚洲一区二区精品| 亚洲精品自拍成人| 精品少妇一区二区三区视频日本电影| 久久久久国内视频| 亚洲欧美日韩另类电影网站| 久久久久国内视频| 黄网站色视频无遮挡免费观看| 久久免费观看电影| 欧美精品亚洲一区二区| 麻豆av在线久日| 精品福利观看| 久久精品91无色码中文字幕| 九色亚洲精品在线播放| 亚洲精华国产精华精| 亚洲一区中文字幕在线| 久久久久久久精品吃奶| 国产精品国产高清国产av | 亚洲精品国产一区二区精华液| 欧美精品高潮呻吟av久久| e午夜精品久久久久久久| 男人舔女人的私密视频| 国产一区二区在线观看av| 成人国产一区最新在线观看| 一级,二级,三级黄色视频| 成人精品一区二区免费| 热99国产精品久久久久久7| 亚洲av成人一区二区三| 美女午夜性视频免费| 国产色视频综合| 男男h啪啪无遮挡| 他把我摸到了高潮在线观看 | 亚洲av片天天在线观看| 久久中文看片网| 亚洲国产欧美在线一区| 午夜精品国产一区二区电影| 美女高潮到喷水免费观看| 久久久久久亚洲精品国产蜜桃av| 欧美日韩精品网址| 精品人妻熟女毛片av久久网站| 久久久精品国产亚洲av高清涩受| 超碰成人久久| 精品人妻熟女毛片av久久网站| 日韩大片免费观看网站| 日本黄色视频三级网站网址 | 51午夜福利影视在线观看| 丰满人妻熟妇乱又伦精品不卡| 不卡一级毛片| av有码第一页| 国产片内射在线| 欧美+亚洲+日韩+国产| 69av精品久久久久久 | 一本一本久久a久久精品综合妖精| 日本撒尿小便嘘嘘汇集6| 日韩一区二区三区影片| 叶爱在线成人免费视频播放| 国产在线精品亚洲第一网站| 欧美av亚洲av综合av国产av| 一级片'在线观看视频| 天天影视国产精品| 欧美国产精品一级二级三级| 日韩欧美一区二区三区在线观看 | 亚洲精品久久午夜乱码| 午夜福利一区二区在线看| 日本撒尿小便嘘嘘汇集6| 一区二区三区精品91| 国产精品偷伦视频观看了| 亚洲专区字幕在线| 欧美激情 高清一区二区三区| 两人在一起打扑克的视频| 成人av一区二区三区在线看| 嫁个100分男人电影在线观看| 午夜91福利影院| h视频一区二区三区| 欧美日韩福利视频一区二区| 水蜜桃什么品种好| 亚洲av日韩精品久久久久久密| 国产日韩一区二区三区精品不卡| 成人av一区二区三区在线看| 精品福利永久在线观看| 香蕉久久夜色| 国产在线视频一区二区| 久久久精品94久久精品| 天天躁夜夜躁狠狠躁躁| 欧美精品一区二区大全| 我要看黄色一级片免费的| 亚洲性夜色夜夜综合| 国产成人啪精品午夜网站| 精品亚洲乱码少妇综合久久| 丝袜人妻中文字幕| 在线观看舔阴道视频| 蜜桃在线观看..| 男女高潮啪啪啪动态图| 亚洲精品在线观看二区| 亚洲av国产av综合av卡| 欧美日韩精品网址| 精品国产乱码久久久久久男人| 啦啦啦中文免费视频观看日本| 80岁老熟妇乱子伦牲交| 精品国产乱码久久久久久小说| 一级a爱视频在线免费观看| 中文字幕人妻丝袜制服| 日日摸夜夜添夜夜添小说| 久久毛片免费看一区二区三区| 操美女的视频在线观看| 女同久久另类99精品国产91| 国产有黄有色有爽视频| 午夜免费鲁丝| 久久狼人影院| 精品久久久久久电影网| 国产无遮挡羞羞视频在线观看| 男女下面插进去视频免费观看| 久久精品国产综合久久久| 欧美激情极品国产一区二区三区| 在线十欧美十亚洲十日本专区| 国产成人精品无人区| 九色亚洲精品在线播放| 亚洲色图 男人天堂 中文字幕| 91字幕亚洲| 久久久久久亚洲精品国产蜜桃av| 日韩欧美一区视频在线观看| 久久热在线av| 国产一区二区三区在线臀色熟女 | 国产激情久久老熟女| 91麻豆精品激情在线观看国产 | 成人影院久久| 欧美激情极品国产一区二区三区| 中文字幕精品免费在线观看视频| 亚洲av国产av综合av卡| 在线观看66精品国产| 亚洲国产欧美一区二区综合| 啦啦啦在线免费观看视频4| 中文字幕精品免费在线观看视频| 在线永久观看黄色视频| 两人在一起打扑克的视频| 涩涩av久久男人的天堂| 国产成人免费观看mmmm| 日韩欧美国产一区二区入口| 在线观看免费午夜福利视频| 欧美亚洲日本最大视频资源| 国产黄频视频在线观看| 9热在线视频观看99| 国产亚洲精品久久久久5区| 亚洲av成人一区二区三| 国产一区二区激情短视频| av天堂久久9| 日韩精品免费视频一区二区三区| 国产区一区二久久| 国产深夜福利视频在线观看| 国产单亲对白刺激| 亚洲伊人色综图| 女人高潮潮喷娇喘18禁视频| 亚洲国产欧美网| 不卡一级毛片| 丝袜美腿诱惑在线| 久久久久视频综合| 色老头精品视频在线观看| 国产真人三级小视频在线观看| 国产精品久久久久久人妻精品电影 | 精品国产乱码久久久久久小说| 一本综合久久免费| a级片在线免费高清观看视频| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩免费高清中文字幕av| www.999成人在线观看| 欧美成人免费av一区二区三区 | 国产日韩一区二区三区精品不卡| 男人舔女人的私密视频| 亚洲av第一区精品v没综合| 精品一区二区三区av网在线观看 | 久久中文看片网| 国产精品偷伦视频观看了| 99精品在免费线老司机午夜| 亚洲欧美色中文字幕在线| 色精品久久人妻99蜜桃| 大片免费播放器 马上看| 宅男免费午夜| 欧美成人免费av一区二区三区 | av天堂久久9| 好男人电影高清在线观看| 久久精品成人免费网站| 亚洲欧美一区二区三区久久| 精品少妇黑人巨大在线播放| 最新美女视频免费是黄的| 国产精品久久久av美女十八| 黄片大片在线免费观看| www日本在线高清视频| 亚洲性夜色夜夜综合| 精品国内亚洲2022精品成人 | 激情在线观看视频在线高清 | 精品国产超薄肉色丝袜足j| 国内毛片毛片毛片毛片毛片| 一级毛片女人18水好多| 999精品在线视频| 色94色欧美一区二区| svipshipincom国产片| 变态另类成人亚洲欧美熟女 | 国产精品免费一区二区三区在线 | 人人妻人人澡人人爽人人夜夜| 法律面前人人平等表现在哪些方面| 伊人久久大香线蕉亚洲五| 视频在线观看一区二区三区| 丁香六月欧美| 热99久久久久精品小说推荐| 日韩大片免费观看网站| 纯流量卡能插随身wifi吗| 国产福利在线免费观看视频| 国产免费视频播放在线视频| 国产91精品成人一区二区三区 | 欧美激情久久久久久爽电影 | 亚洲精品美女久久av网站| 国产高清国产精品国产三级| 男女无遮挡免费网站观看| 免费不卡黄色视频| 老熟妇仑乱视频hdxx| 久久性视频一级片| 欧美精品亚洲一区二区| 一夜夜www| 9191精品国产免费久久| 十八禁网站网址无遮挡| 最近最新中文字幕大全电影3 | 女性生殖器流出的白浆| av天堂久久9| 成年动漫av网址| 99久久国产精品久久久| 精品国产超薄肉色丝袜足j| 久久亚洲真实| av电影中文网址| 女性生殖器流出的白浆| 国产成人av激情在线播放| 热99久久久久精品小说推荐| 国产精品欧美亚洲77777| 啦啦啦免费观看视频1| 日韩大片免费观看网站| 精品人妻1区二区| 国产国语露脸激情在线看| 精品国产超薄肉色丝袜足j| 这个男人来自地球电影免费观看| 中文字幕精品免费在线观看视频| 日韩熟女老妇一区二区性免费视频| 久久久久久久久免费视频了| 欧美午夜高清在线| 国产精品欧美亚洲77777| 国产高清激情床上av| 91麻豆av在线| 亚洲美女黄片视频| 桃花免费在线播放| 嫩草影视91久久| 99久久国产精品久久久| 伊人久久大香线蕉亚洲五| 日本一区二区免费在线视频| 美女视频免费永久观看网站| 青草久久国产| 久久久精品区二区三区| 国产黄频视频在线观看| 麻豆成人av在线观看| 午夜福利在线观看吧| 侵犯人妻中文字幕一二三四区| 色精品久久人妻99蜜桃| 国产精品1区2区在线观看. | 丰满少妇做爰视频| 免费高清在线观看日韩| 大片免费播放器 马上看| 久久精品人人爽人人爽视色| 真人做人爱边吃奶动态| 色94色欧美一区二区| 美女福利国产在线| 大香蕉久久网| 久久国产亚洲av麻豆专区| 亚洲精品粉嫩美女一区| 国产成人免费无遮挡视频| 90打野战视频偷拍视频| 99精品在免费线老司机午夜| 在线天堂中文资源库| 亚洲精品av麻豆狂野| 深夜精品福利| 亚洲精品av麻豆狂野| 成人免费观看视频高清| 久久国产亚洲av麻豆专区| 亚洲av日韩精品久久久久久密| 国产成人免费无遮挡视频| 色94色欧美一区二区| 精品国产国语对白av| 一个人免费在线观看的高清视频| 咕卡用的链子| 亚洲av日韩在线播放| 在线十欧美十亚洲十日本专区| 免费女性裸体啪啪无遮挡网站| 亚洲自偷自拍图片 自拍| 精品免费久久久久久久清纯 |