• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    適應(yīng)異構(gòu)集群的Mesos多資源調(diào)度DRF增強算法

    2016-05-14 14:30:52柯尊旺于炯廖彬
    計算機應(yīng)用 2016年5期
    關(guān)鍵詞:資源分配公平性

    柯尊旺 于炯 廖彬

    摘要:云計算集群環(huán)境下多資源分配的公平性是考量資源調(diào)度子系統(tǒng)最重要的指標之一,DRF作為通用的多資源公平分配算法,在異構(gòu)異質(zhì)的集群環(huán)境下可能有失公平性。在研究Mesos框架中DRF多資源公平分配算法的基礎(chǔ)上,設(shè)計并實現(xiàn)了增加機器性能評估影響因子的meDRF分配算法。將計算節(jié)點的機器性能得分,作為DRF主導(dǎo)份額計算的因子,使得計算任務(wù)有均等的機會獲得優(yōu)質(zhì)計算資源和劣質(zhì)計算資源。通過選取Kmeans、Bayes及PageRank 等多種作業(yè)進行實驗,實驗結(jié)果表明:meDRF較DRF分配算法更能體現(xiàn)多資源分配的公平性,且資源分配具有更好的穩(wěn)定性,能有效提高系統(tǒng)資源的利用率。

    關(guān)鍵詞:資源分配;DRF分配算法;公平性;Mesos

    中圖分類號:TP311 文獻標志碼:A

    Abstract:The fairness of multiresource allocation is one of the most important indicators in the resource scheduling subsystem, Dominant Resource Fairness (DRF), as a general resource allocation algorithm for multiresources scenarios, it may be unfair in heterogeneous cluster environment. On the basis of the research on the DRF multiresource fair allocation algorithm under Mesos framework environment, meDRF allocation algorithm was designed and implemented to evaluate the influence factors of the performance of the server. The machine performance scores of computing nodes, as the dominant factor of DRF share calculation, made computing tasks have equal chance to obtain high quality computing resources and poor computing resources. Experiments were conducted by using Kmeans, Bayes and PageRank jobs under Hadoop. The experimental results show that, compared with DRF allocation algorithm, the meDRF algorithm can reflect more fairness of the allocation of resources, and the allocation of resources has better stability, which effectively improves the utilization of system resources.

    Key words:resource allocation; Dominant Resource Fairness (DRF) allocation algorithm; fairness; Mesos

    0 引言

    隨著云計算、大數(shù)據(jù)等新技術(shù)及應(yīng)用的高速發(fā)展以及智能終端爆炸式增長,以Hadoop[1]、Spark[2]、Cloudra及Strom等為代表的大數(shù)據(jù)計算框架得到了快速發(fā)展。但是,傳統(tǒng)數(shù)據(jù)中心的資源管理模式無法有效應(yīng)對種類繁多的上層計算框架的個性化資源管理需求。在這樣的背景下,作為下一代數(shù)據(jù)中心的創(chuàng)新者,軟件定義數(shù)據(jù)中心(Software Defined Data Center,SDDC)[3]將服務(wù)器進行虛擬化、軟件化數(shù)據(jù)中心的一切物理資源,并適應(yīng)上層應(yīng)用程序不斷變化的資源需求,動態(tài)地進行資源分配。SDDC通過整合多種計算資源實現(xiàn)資源的統(tǒng)一管理和調(diào)度,在計算資源有限的情況下,為確保各計算任務(wù)節(jié)點的利益最大化,資源調(diào)度子系統(tǒng)應(yīng)該提供一種公平的資源分配策略,使得各計算任務(wù)節(jié)點具有均等的機會獲得計算資源來完成任務(wù)。另一方面,不同的計算任務(wù)(或作業(yè))對不同資源類型的需求也存在著不同程度的差異,如:計算密集型的MapReduce[4-10]作業(yè)更多地需要CPU資源,而I/O密集型的MapReduce作業(yè)則需要更多的磁盤及內(nèi)存資源。因此,SDDC集群中資源調(diào)度子系統(tǒng)需要解決多類型資源分配的公平性問題。

    當(dāng)前,資源公平分配方面的研究工作及實踐主要集中在單資源類型的場景,以至于在多種資源類型和異質(zhì)資源混合的應(yīng)用場景下,仍采用首先將單資源進行抽象,然后再進行資源的分配工作,如Hadoop的slotbased[11]公平調(diào)度策略[12-13]。在單資源公平分配場景下,maxmin fairness[14-15]是最通用的單資源公平分配算法,它通過使資源分配向量最小值的最大化,確保任何資源請求不被餓死,是一種優(yōu)秀的兼顧有效性和公平性的分配策略。而在多資源類型公平分配方面,DRF(Dominant Resource Fairness)[16]是一種針對多資源應(yīng)用場景的maxmin fairness算法。DRF通過對“主導(dǎo)資源份額(Dominant Share)”進行maxmin fairness,比較合理地解決了多資源類型的分配公平性問題。經(jīng)過大量的測試工作表明:DRF算法比slotbased算法更能夠滿足多資源分配的應(yīng)用場景,資源分配的效率及公平性表現(xiàn)更佳[17]。

    在DRF的實踐中,資源調(diào)度管理框架Mesos[18-19]采用了DRF作為它的多資源公平分配算法,在集群節(jié)點的計算資源同構(gòu)(即集群中的節(jié)點配置不存在差異)的情況下,DRF算法表現(xiàn)出優(yōu)秀的性能,并能很好地權(quán)衡資源調(diào)度的有效性和公平性。但在實際的應(yīng)用場景中,同一集群中的不同節(jié)點之間的資源質(zhì)量可能存在著不同程度的差異,而DRF算法并沒有考慮因為計算資源質(zhì)量的差異性而導(dǎo)致的資源分配不公平性問題。為了改進DRF算法對異構(gòu)集群環(huán)境的適應(yīng)能力,本文通過增加節(jié)點性能評估影響因子,提出一種增強的DRF資源分配算法meDRF,使資源調(diào)度的各上層應(yīng)用計算任務(wù)之間能夠有均等的機會分配到滿足需求的計算資源。

    1 DRF分配算法

    1.1 DRF算法簡介

    DRF資源分配是一種改進的maxmin fairness算法,能在多資源類型的集群環(huán)境中進行資源的公平分配,DRF是一種基于“主導(dǎo)份額(Dominant Share)”的多資源公平分配策略[17]。DRF公平分配算法具有4個性質(zhì)[20]:

    1) 鼓勵共享(Sharing Incentive)。即集群中的上層應(yīng)用之間通過共享自己的資源而不是獨占資源來達到更高的資源利用效率。如:在一個具有n個計算任務(wù)的集群節(jié)點中,每個計算任務(wù)最多只能分配1/n的資源。

    2) 欺騙屏蔽(Strategyproofness)。DRF能夠防止計算任務(wù)謊報資源需求量,企圖通過欺騙的手段而獲取更多資源的行為。

    3) 無嫉妒性(Envyfreeness)[21]。任何的計算任務(wù)都不能在獲得計算資源后,通過已有的資源,去獲得(或交換)另一個任務(wù)的資源。

    4) 帕累托效率性(Pareto Efficiency)。集群中的所有計算任務(wù)都不能夠在不減少其他任務(wù)的資源擁有量的前提下增加自己的資源擁有量。

    DRF算法的核心思想是根據(jù)每個計算任務(wù)的資源需求向量和系統(tǒng)資源總向量,求出各個計算任務(wù)的主導(dǎo)份額。該主導(dǎo)份額所對應(yīng)的主導(dǎo)資源是該計算任務(wù)最重要的計算依據(jù)。通過平衡各個計算任務(wù)的主導(dǎo)份額,來確定每個計算任務(wù)的子任務(wù)數(shù)量,最終得到每個計算任務(wù)的資源配額向量。DRF算法描述如下:

    1.2 DRF算法的不足

    在實際的集群環(huán)境中,集群中的計算機可能不是同一時間采購,或者機器品牌及機器型號之間存在著差異。在實際的資源分配過程中,即使分配相同數(shù)量的資源,但是由于節(jié)點之間的性能差異,分配方案之間存在較大的差異,將會有悖公平性原則[12]。DRF算法并沒有考慮這種因計算資源性能的差異而導(dǎo)致的資源分配不公平性的問題,即使分配相同數(shù)量的資源,性能高的資源在任務(wù)的執(zhí)行效率上比性能差的資源高。但是在DRF分配算法中,主導(dǎo)份額的計算只與資源數(shù)量有關(guān),而與資源的質(zhì)量無關(guān)。計算任務(wù)i的主導(dǎo)份額如式(2)所示:

    式中:j表示資源類別,k表示資源種類數(shù)量,Rj表示資源類別j的資源總量,Wi表示計算任務(wù)的權(quán)重,Rui, j表示計算任務(wù)i已分配的j類別資源總量。

    根據(jù)式(2)可知計算任務(wù)i的主導(dǎo)份額為該計算任務(wù)已獲得的各類型資源與系統(tǒng)中該類型資源總量的比值中的最大值,如果計算任務(wù)存在加權(quán),則主導(dǎo)份額與權(quán)重成反比。式(2)中無法體現(xiàn)出集群中節(jié)點之間的性能區(qū)別。如果有一個計算任務(wù)拿到大量的優(yōu)質(zhì)資源,而另一個拿到大量的劣質(zhì)資源,雖然它們主導(dǎo)份額相同,但任務(wù)實際的執(zhí)行效率和運行時間卻相差甚遠,這將導(dǎo)致資源分配的不公平,這種情況違反了DRF算法的Envyfreeness性質(zhì)。

    2 meDRF分配算法

    本文提出的meDRF分配算法,是在DRF算法基礎(chǔ)上增加了機器性能評估影響因子,使得計算任務(wù)有均等的機會獲得優(yōu)質(zhì)計算資源和劣質(zhì)計算資源,而不是長期持有優(yōu)質(zhì)或劣質(zhì)計算資源。本算法的核心思想是:首先給每個集群節(jié)點的計算機進行性能評估打分并按照所得分值從小到大排序,再計算出每個計算任務(wù)的主導(dǎo)份額并從小到大排序,然后交替使用優(yōu)質(zhì)資源、劣質(zhì)資源為計算任務(wù)的子任務(wù)進行資源分配,盡可能地使所有計算任務(wù)的主導(dǎo)份額趨向于平衡。

    假設(shè)集群環(huán)境中存在n個計算節(jié)點,Qk表示機器k的性能評估得分,ηk代表機器k的性能評估得分與平均得分之比,Si表示計算任務(wù)i的主導(dǎo)份額,Rkj表示機器k上j類型資源的總量,Ruki, j表示計算任務(wù)i在機器k上已經(jīng)分配的j類型資源數(shù)量,Rck, j表示機器k上j類型資源可分配的數(shù)量,Wi表示計算任務(wù)i的權(quán)重。

    在Mesos中,使用框架這一術(shù)語表示計算任務(wù)。圖1中灰色區(qū)域代表各框架的主導(dǎo)份額,dS1表示框架2和框架1的主導(dǎo)份額差,dS2表示框架3和框架2的主導(dǎo)份額差。為均衡不同框架間的主導(dǎo)份額,框架1在執(zhí)行第1次分配計算時,在資源足夠的情況下分配資源給子任務(wù)使其主導(dǎo)份額增加dS1,此時與框架2的主導(dǎo)份額相等。然后框架1進行第2次分配計算時框架2將執(zhí)行第1次分配計算,框架1和框架2都使它們各自的主導(dǎo)份額增加dS2,此時與框架3的主導(dǎo)份額相等。綜上所述,meDRF分配算法的流程描述如下:

    1) 對每個集群節(jié)點的計算機進行性能評估打分,并按分值從小到大排序,求得ηk值;

    2) 計算每個框架的主導(dǎo)份額Si,并按從小到大排序;

    3) 計算相鄰框架之間的主導(dǎo)份額差dSi;

    4) 主導(dǎo)份額最小的框架進行分配計算,如果是第奇數(shù)次分配計算則從性能評估分值高的機器分配資源,如果是第偶數(shù)次分配計算則從分值低的機器分配資源;

    5) 反復(fù)執(zhí)行步驟2)~4),當(dāng)所有任務(wù)分配完畢或者所有資源分配完成時,分配流程結(jié)束。

    3 實驗結(jié)果

    本實驗的集群環(huán)境由4個計算節(jié)點組成,分別為2臺性能較差的曙光服務(wù)器和2臺性能較好的IBM服務(wù)器,共56核CPU和48GB內(nèi)存,服務(wù)器硬件配置如表1所示。集群節(jié)點計算機的操作系統(tǒng)Linux版本為CentOS 7.0,Mesos采用最新的0.24.0版本。運行2個Hadoop框架,分別處理不同的任務(wù)。本實驗選取WordCount,TeraSort、NutchIndex、Kmeans、Bayes及PageRank[22]6種作業(yè)進行實驗,作業(yè)參數(shù)設(shè)置如表2所示。

    對比實驗中,框架1的子任務(wù)對資源的需求為〈2核CPU,1GB內(nèi)存〉,框架2的子任務(wù)對資源的需求為〈1核CPU,2GB內(nèi)存〉。本實驗在mesos中分別采用DRF算法和修改源程序?qū)崿F(xiàn)的meDRF算法進行測試。經(jīng)過運行表2中的MapReduce任務(wù),兩個算法分配的資源分布分別如圖2、3所示。

    通過對比WordCount、TeraSort、NutchIndex、Kmeans、Bayes及PageRank 6種作業(yè)分別在DRF、meDRF、異構(gòu)、同構(gòu)4種條件下的任務(wù)完成時間(如表3所示)??梢园l(fā)現(xiàn):不論是DRF還是meDRF算法,同構(gòu)環(huán)境下的任務(wù)執(zhí)行時間都較短;meDRF與DRF算法相比,meDRF大部分情況下的執(zhí)行時間與DRF算法相比,執(zhí)行時間較短。這說明更加公平的資源調(diào)度策略在一定程度上能夠減小作業(yè)的執(zhí)行時間。

    實驗過程中,本文還對不同作業(yè)的執(zhí)行過程中內(nèi)存,磁盤及網(wǎng)絡(luò)資源使用情況進行了監(jiān)控,如圖4所示。

    通過圖4可以看出不同的MapReduce作業(yè)在運行過程中對內(nèi)存、磁盤與網(wǎng)絡(luò)資源的利用存在較大的差異,并且相同作業(yè)在不同時間點的資源使用情況變化也很大。并且,在異構(gòu)環(huán)境下,這些隨時變化的資源需求,已有的DRF算法并不能很好地適應(yīng)公平性的要求。

    算法meDRF比DRF在MapReduce中執(zhí)行效率較好的原因是:當(dāng)前Hadoop中采用機架感知的數(shù)據(jù)存放策略,將數(shù)據(jù)文件切分為相同大小的數(shù)據(jù)塊(Block)隨機存儲到集群DataNode節(jié)點中。在同構(gòu)環(huán)境中,這種數(shù)據(jù)的切分與存儲方法配合DRF算法的資源分配,能夠滿足系統(tǒng)可用性與負載分流的要求。但是,在異構(gòu)環(huán)境中,由于集群中各節(jié)點的計算能力存在著差異,異構(gòu)節(jié)點處理相同任務(wù)(任務(wù)數(shù)據(jù)集大小相同)的完成時間不同。因為只有當(dāng)一個作業(yè)的Map任務(wù)成功完成的數(shù)量超過一定的閾值時,才能開始分配該作業(yè)的Reduce任務(wù)給某TaskTracker節(jié)點執(zhí)行,所以對于計算機能力強的節(jié)點,DRF算法在異構(gòu)環(huán)境容易造成大量的等待時延。MapReduce任務(wù)執(zhí)行過程中任務(wù)之間并不是按照完全并行的方式進行的,Map與Reduce任務(wù)之間存在不同程度的執(zhí)行順序與數(shù)據(jù)調(diào)用的制約關(guān)系。當(dāng)某任務(wù)處于等待其他任務(wù)的執(zhí)行結(jié)果(或等待其他任務(wù)的執(zhí)行完畢)才能繼續(xù)往下執(zhí)行而處于“被動等待”狀態(tài)時,DRF算法的資源分配的缺點就顯現(xiàn)出來。而meDRF算法則是適應(yīng)了異構(gòu)環(huán)境的資源分配,較DRF更能提高異構(gòu)環(huán)境下作業(yè)的執(zhí)行效率。

    另外,本文對任務(wù)運行過程中的資源使用情況進行了監(jiān)控,對于系統(tǒng)最核心的資源CPU,DRF與meDRF算法的平均CPU負載情況比對如圖5所示。從圖5可以發(fā)現(xiàn),meDRF算法較DRF算法在120min的監(jiān)控周期中,meDRF算法的CPU負載更加平穩(wěn),波動幅度控制能力更好。

    4 結(jié)語

    本文在研究mesos框架中的DRF多資源公平分配算法的基礎(chǔ)上,設(shè)計并實現(xiàn)了增加機器性能評估影響因子的meDRF分配算法。實驗測試結(jié)果表明:meDRF分配算法更能體現(xiàn)多資源分配的公平性,且資源分配具有更好的穩(wěn)定性,能有效提高計算資源的使用率。通過選取WordCount、TeraSort、NutchIndex、Kmeans、Bayes及PageRank 6種作業(yè)進行實驗,對比作業(yè)運行時間及資源的使用情況,證明了meDRF算法相對于DRF算法的優(yōu)越性。在實際應(yīng)用的場景中,不同框架運行的作業(yè)類型存在差異,有些框架側(cè)重于分析,而有些側(cè)重于計算。如何使側(cè)重計算的框架獲得更多的優(yōu)質(zhì)資源,而側(cè)重分析的框架獲得較多的劣質(zhì)資源,進一步提高資源使用率,是下一步的工作目標。

    參考文獻:

    [1]SHVACHKO K, KUANG H, RADIA S, et al. The Hadoop distributed file system[C]// Proceedings of the 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies. Piscataway, NJ: IEEE, 2010: 1-10.

    [2]WANG L, WANG Y, XIE Y. Implementation of a parallel algorithm based on a spark cloud computing platform[J]. Algorithms, 2015, 8(3):407-414.

    [3]LEE B S, KANAGAVELU R, AUNG K M M. An efficient flow cache algorithm with improved fairness in softwaredefined data center networks[C]// Proceedings of the 2013 IEEE 2nd International Conference on Cloud Networking. Piscataway, NJ: IEEE, 2013:18-24.

    [4]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[C]// Proceedings of the 6th Conference on Symposium on Opearting Systems Design & Implementation. Berkeley, CA: USENIX Association, 2004:107-113.

    [5]VERNICA R, CAREY M J, LI C. Efficient parallel setsimilarity joins using MapReduce[C]// Proceedings of the 2010 ACM SIGMOD International Conference on Management of Data. New York: ACM, 2010: 495-506.

    [6]覃雄派,王會舉,杜小勇,等.大數(shù)據(jù)分析: RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報, 2012,23(1):32-45.(QIN X P, WANG H J, DU X Y, et al. Big data analysis: competition and symbiosis of RDBMS and MapReduce[J]. Journal of Software, 2012, 23(1):32-45.)

    [7]張雪萍,龔康莉,趙廣才. 基于MapReduce的KMedoids并行算法[J]. 計算機應(yīng)用, 2013,33(4):1023-1025. (ZHANG X P, GONG K L, ZHAO G C. Parallel KMedoids algorithm based on MapReduce[J]. Journal of Computer Applications, 2013, 33(4): 1023-1025.)

    [8]亓開元,韓燕波,趙卓峰,等.支持高并發(fā)數(shù)據(jù)流處理的MapReduce中間結(jié)果緩存[J]. 計算機研究與發(fā)展, 2013, 50(1):111-121.(QI K Y, HAN Y B, ZHAO Z F, et al. MapReduce intermediate result cache for concurrent data stream processing[J]. Journal of Computer Research and Development, 2013, 50(1):111-121.)

    [9]顧榮,王芳芳,袁春風(fēng),等. YARM: 基于MapReduce的高效可擴展的語義推理引擎[J]. 計算機學(xué)報, 2015,38(1):74-85. (GU R, WANG F F, YUAN C F, et al. YARM: efficient and scalable semantic reasoning engine based on MapReduce[J]. Chinese Journal of Computers, 2015,38(1):74-85.)

    [10]王習(xí)特,申德榮,于戈,等. MapReduce集群中最大收益問題的研究[J]. 計算機學(xué)報, 2015, 38(1):109-121.(WANG X T, SHEN D R, YU G,et al. Research on maximum benefit problem in a MapReduce cluster[J]. Chinese Journal of Computers, 2015, 38(1):109-121.)

    [11]TANG S, LEE B S, HE B. DynamicMR: a dynamic slot allocation optimization framework for MapReduce clusters[J]. IEEE Transactions on Cloud Computing, 2014, 2(3):333-347.

    [12]夏祎. Hadoop平臺下的作業(yè)調(diào)度算法研究與改進[D]. 廣州: 華南理工大學(xué), 2010: 30-40. (XIA Y. Research and improvement of Hadoop job scheduling algorithm[D]. Guangzhou: South China University of Technology, 2010: 30-40.)

    [13]趙春燕.云環(huán)境下作業(yè)調(diào)度算法研究與實現(xiàn)[D]. 北京: 北京交通大學(xué), 2009: 36-37. (ZHAO C Y. Research and implementation of a cloud environment job scheduling algorithm[D]. Beijing: Beijing Jiaotong University, 2009: 36-37.)

    [14]最大最小公平算法[EB/OL]. [2015-10-22].https://en.wikipedia.org /wiki/Maxmin_fairness.(Maxmin fairness[EB/OL]. [2015-10-22]. https://en.wikipedia.org/wiki/Maxmin_fairness.)

    [15]ASADPOUR A, SABERI A. An approximation algorithm for maxmin fair allocation of indivisible goods[J]. SIAM Journal on Computing, 2010, 39(7):2970-2989.

    [16]GHODSI A, ZAHARIA M, HINDMAN B, et al. Dominant resource fairness: fair allocation of multiple resource types[C]// Proceedings of the 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX Association, 2011: 323-336.

    [17]盧笛,馬建峰,王一川,等.云計算下保障公平性的多資源分配算法[J]. 西安電子科技大學(xué)學(xué)報(自然科學(xué)版), 2014,41(3):162-168. (LU D, MA J F, WANG Y C, et al. Enhanced fairnessbased multiresource allocation algorithm for cloud computing[J]. Journal of Xidian University (Natural Science), 2014,41(3):162-168.)

    [18]Apache Mesos Documentation[EB/OL]. [2015-10-03]. http://mesos.apache.org/documentation/latest/index.html.

    [19]HINDMAN B, KONWINSKI A, ZAHARIA M, et al. Mesos: a platform for finegrained resource sharing in the data center[C]// Proceedings of the 8th USENIX Conference on Networked Systems Design and Implementation. Berkeley, CA: USENIX, 2011:429-483.

    [20]霍菁,石京燕,孫功星,等.一種改進的DRF算法對BESIII集群資源管理的優(yōu)化[J]. 核電子學(xué)與探測技術(shù),2014,34(10):1153-1158. (HUO J, SHI J Y, SUN G X, et al. The optimization of BESIII cluster resource management by using the improved DRF algorithm[J]. Nuclear Electronics & Detection Technology, 2014,34(10):1153-1158.)

    [21]BOUVERET S, LANG J. Efficiency and envyfreeness in fair division of indivisible goods: logical representation and complexity[J]. Journal of Artificial Intelligence Research, 2008,32(1): 525-564.

    [22]BOLDI P, SANTINI M, VIGNA S. PageRank: functional dependencies[J]. ACM Transactions on Information Systems, 2009, 27(4):1139-1141.

    猜你喜歡
    資源分配公平性
    高管薪酬外部公平性、機構(gòu)投資者與并購溢價
    新研究揭示新冠疫情對資源分配的影響 精讀
    英語文摘(2020年10期)2020-11-26 08:12:20
    一種基于價格競爭的D2D通信資源分配算法
    基于動態(tài)規(guī)劃理論的特種設(shè)備檢驗資源分配研究
    智富時代(2018年3期)2018-06-11 16:10:44
    一種提高TCP與UDP數(shù)據(jù)流公平性的擁塞控制機制
    云環(huán)境下公平性優(yōu)化的資源分配方法
    公平性問題例談
    關(guān)于公平性的思考
    基于普查數(shù)據(jù)的我國18個少數(shù)民族受教育程度及公平性統(tǒng)計分析
    OFDMA系統(tǒng)中容量最大化的資源分配算法
    計算機工程(2014年6期)2014-02-28 01:25:32
    一区二区三区乱码不卡18| 精品视频人人做人人爽| 国产精品一区二区免费欧美 | 18禁黄网站禁片午夜丰满| 一边摸一边做爽爽视频免费| 久久久久精品国产欧美久久久 | 久久久久久久久久久久大奶| 午夜福利在线观看吧| 午夜影院在线不卡| 国产1区2区3区精品| 正在播放国产对白刺激| 午夜成年电影在线免费观看| 最新在线观看一区二区三区| 成年女人毛片免费观看观看9 | 国产日韩一区二区三区精品不卡| 国产男女内射视频| 亚洲色图综合在线观看| 欧美国产精品va在线观看不卡| 91九色精品人成在线观看| 欧美精品一区二区免费开放| 大片免费播放器 马上看| 久久久久国产一级毛片高清牌| 美女脱内裤让男人舔精品视频| 午夜影院在线不卡| 水蜜桃什么品种好| 美国免费a级毛片| 久久国产精品人妻蜜桃| 高清av免费在线| 欧美中文综合在线视频| 青春草视频在线免费观看| 欧美日韩黄片免| 日韩 亚洲 欧美在线| 一级a爱视频在线免费观看| 九色亚洲精品在线播放| 欧美老熟妇乱子伦牲交| 亚洲国产精品一区三区| 久久精品久久久久久噜噜老黄| 久久久国产成人免费| 亚洲五月婷婷丁香| 久久毛片免费看一区二区三区| 黑人猛操日本美女一级片| 国产成人免费观看mmmm| 黄色视频,在线免费观看| 亚洲一码二码三码区别大吗| 欧美在线一区亚洲| 黑丝袜美女国产一区| 久久女婷五月综合色啪小说| 日韩欧美一区二区三区在线观看 | 亚洲视频免费观看视频| 人人妻人人爽人人添夜夜欢视频| av有码第一页| 日韩视频一区二区在线观看| 成人免费观看视频高清| 在线精品无人区一区二区三| 午夜福利在线免费观看网站| 中国美女看黄片| 精品久久久久久电影网| 爱豆传媒免费全集在线观看| 两个人看的免费小视频| 一级毛片精品| 国产99久久九九免费精品| 亚洲精品粉嫩美女一区| 亚洲av日韩精品久久久久久密| 黄频高清免费视频| 这个男人来自地球电影免费观看| 国产成人av教育| 欧美一级毛片孕妇| 亚洲欧洲精品一区二区精品久久久| 丝袜美足系列| 老司机深夜福利视频在线观看 | 亚洲av电影在线进入| 99re6热这里在线精品视频| www.熟女人妻精品国产| av天堂久久9| 精品少妇久久久久久888优播| 天堂8中文在线网| 色婷婷久久久亚洲欧美| 黑人巨大精品欧美一区二区蜜桃| 久久中文看片网| 国产成人精品无人区| 久久久国产成人免费| 一区在线观看完整版| 一本—道久久a久久精品蜜桃钙片| 淫妇啪啪啪对白视频 | 美女福利国产在线| 精品一区二区三区av网在线观看 | 美女视频免费永久观看网站| 日韩欧美免费精品| 黄色视频不卡| 美女高潮到喷水免费观看| 亚洲av欧美aⅴ国产| 亚洲色图 男人天堂 中文字幕| 亚洲黑人精品在线| 黄色视频,在线免费观看| 国产av精品麻豆| 欧美日韩亚洲综合一区二区三区_| 男女边摸边吃奶| 18禁黄网站禁片午夜丰满| 欧美日韩亚洲国产一区二区在线观看 | 日韩一区二区三区影片| 777米奇影视久久| 50天的宝宝边吃奶边哭怎么回事| 久久国产精品影院| 亚洲国产欧美日韩在线播放| 啦啦啦免费观看视频1| 国产欧美日韩一区二区三 | 欧美人与性动交α欧美精品济南到| 国产男女内射视频| av电影中文网址| 纯流量卡能插随身wifi吗| 日韩欧美国产一区二区入口| 一本一本久久a久久精品综合妖精| 精品一品国产午夜福利视频| 欧美黑人欧美精品刺激| 国产av一区二区精品久久| 国产在线免费精品| 久久人人97超碰香蕉20202| 美女扒开内裤让男人捅视频| 两人在一起打扑克的视频| 男人添女人高潮全过程视频| 免费黄频网站在线观看国产| 欧美av亚洲av综合av国产av| 亚洲一区中文字幕在线| 男女免费视频国产| 日韩制服丝袜自拍偷拍| 91字幕亚洲| 精品亚洲乱码少妇综合久久| 少妇粗大呻吟视频| 亚洲成人免费av在线播放| 国产亚洲精品第一综合不卡| 免费黄频网站在线观看国产| 国产又色又爽无遮挡免| 午夜影院在线不卡| 在线观看一区二区三区激情| 国产日韩欧美在线精品| 一区二区三区激情视频| 亚洲精品一二三| 欧美精品一区二区大全| 日韩有码中文字幕| 精品国产乱子伦一区二区三区 | 国产在线免费精品| 在线观看免费午夜福利视频| 国产精品一区二区在线不卡| 国产精品久久久久成人av| 十八禁高潮呻吟视频| 免费在线观看完整版高清| 日本a在线网址| 色婷婷av一区二区三区视频| 黄色毛片三级朝国网站| 欧美日韩黄片免| 国产免费av片在线观看野外av| 天堂中文最新版在线下载| 免费在线观看黄色视频的| 一级毛片女人18水好多| 热99国产精品久久久久久7| av线在线观看网站| 午夜福利,免费看| 丝袜人妻中文字幕| 多毛熟女@视频| 亚洲一区中文字幕在线| 欧美av亚洲av综合av国产av| 99国产精品免费福利视频| 久久九九热精品免费| 精品欧美一区二区三区在线| 久久久久久久久免费视频了| 亚洲情色 制服丝袜| 美女福利国产在线| 老熟妇乱子伦视频在线观看 | 日韩欧美一区二区三区在线观看 | 一区在线观看完整版| 国产一区二区在线观看av| 日日摸夜夜添夜夜添小说| 老汉色∧v一级毛片| 日韩欧美一区视频在线观看| 日韩,欧美,国产一区二区三区| 久久久久国内视频| 日韩中文字幕视频在线看片| 久久影院123| 黑人操中国人逼视频| 精品国产超薄肉色丝袜足j| 一区二区日韩欧美中文字幕| 日韩视频一区二区在线观看| 精品国产乱码久久久久久小说| 制服人妻中文乱码| 不卡av一区二区三区| 亚洲国产毛片av蜜桃av| 国产精品一区二区在线观看99| av福利片在线| 成年人午夜在线观看视频| 久久天堂一区二区三区四区| 欧美日韩一级在线毛片| 夜夜骑夜夜射夜夜干| 三上悠亚av全集在线观看| 国产一卡二卡三卡精品| 男女之事视频高清在线观看| 亚洲国产av新网站| 亚洲 欧美一区二区三区| 亚洲欧美激情在线| 深夜精品福利| 国产黄色免费在线视频| 两人在一起打扑克的视频| 亚洲色图综合在线观看| 亚洲精品在线美女| 免费av中文字幕在线| 亚洲avbb在线观看| 丝袜美足系列| 老司机靠b影院| 久久久久久久久免费视频了| 久久精品国产亚洲av高清一级| 男人操女人黄网站| 嫁个100分男人电影在线观看| 国产成人av激情在线播放| 丰满少妇做爰视频| 亚洲va日本ⅴa欧美va伊人久久 | 免费日韩欧美在线观看| 久久国产精品影院| 乱人伦中国视频| 欧美黑人精品巨大| 一二三四在线观看免费中文在| 妹子高潮喷水视频| 日韩电影二区| 国产免费福利视频在线观看| 女人精品久久久久毛片| 欧美 亚洲 国产 日韩一| 十八禁高潮呻吟视频| 国产精品一区二区在线观看99| 国产国语露脸激情在线看| 亚洲欧美日韩高清在线视频 | 国产精品二区激情视频| 国产精品九九99| 制服诱惑二区| 精品第一国产精品| 交换朋友夫妻互换小说| 久久久国产精品麻豆| 亚洲国产欧美日韩在线播放| 日本91视频免费播放| 亚洲中文av在线| 国产av又大| 淫妇啪啪啪对白视频 | 波多野结衣av一区二区av| 99精国产麻豆久久婷婷| 菩萨蛮人人尽说江南好唐韦庄| 手机成人av网站| 中文字幕人妻丝袜一区二区| 在线av久久热| 12—13女人毛片做爰片一| 高清黄色对白视频在线免费看| 国产99久久九九免费精品| www.自偷自拍.com| 免费人妻精品一区二区三区视频| 亚洲av成人一区二区三| 日本精品一区二区三区蜜桃| 欧美黄色淫秽网站| 国产精品一二三区在线看| 国产精品av久久久久免费| 国产日韩一区二区三区精品不卡| 国产在线观看jvid| 亚洲一卡2卡3卡4卡5卡精品中文| 国产精品久久久久久精品电影小说| av有码第一页| svipshipincom国产片| 久久人人97超碰香蕉20202| 亚洲一区二区三区欧美精品| 在线观看舔阴道视频| 宅男免费午夜| 国产亚洲欧美精品永久| 无遮挡黄片免费观看| 国产av又大| a 毛片基地| 岛国毛片在线播放| 精品第一国产精品| 午夜福利乱码中文字幕| 国产极品粉嫩免费观看在线| 精品福利观看| 免费观看av网站的网址| 一级毛片精品| 人人妻人人爽人人添夜夜欢视频| 免费久久久久久久精品成人欧美视频| av线在线观看网站| 男女边摸边吃奶| 久久ye,这里只有精品| 18禁裸乳无遮挡动漫免费视频| 桃红色精品国产亚洲av| 在线av久久热| 夜夜骑夜夜射夜夜干| 日本欧美视频一区| 久久久久久久久久久久大奶| 亚洲av电影在线观看一区二区三区| 一区二区三区激情视频| 亚洲中文av在线| 极品人妻少妇av视频| 欧美日韩精品网址| 国产伦人伦偷精品视频| 99九九在线精品视频| 国产一卡二卡三卡精品| 久久九九热精品免费| 多毛熟女@视频| 国产视频一区二区在线看| 欧美97在线视频| 男人爽女人下面视频在线观看| 五月天丁香电影| 午夜免费观看性视频| 人成视频在线观看免费观看| 老司机午夜福利在线观看视频 | 久久久国产一区二区| 婷婷色av中文字幕| 国产精品二区激情视频| 午夜精品久久久久久毛片777| 亚洲精品av麻豆狂野| 欧美亚洲日本最大视频资源| 精品人妻熟女毛片av久久网站| 热99re8久久精品国产| 丝袜脚勾引网站| 宅男免费午夜| 成人手机av| 高潮久久久久久久久久久不卡| 悠悠久久av| 免费高清在线观看日韩| 老司机午夜福利在线观看视频 | 国产成人啪精品午夜网站| 日韩一区二区三区影片| 免费高清在线观看日韩| 色婷婷av一区二区三区视频| 水蜜桃什么品种好| 99re6热这里在线精品视频| 视频区图区小说| 王馨瑶露胸无遮挡在线观看| 在线观看人妻少妇| 亚洲国产精品一区二区三区在线| 免费久久久久久久精品成人欧美视频| 国产精品一区二区精品视频观看| 亚洲男人天堂网一区| 国产一区二区在线观看av| 黑人巨大精品欧美一区二区mp4| 五月开心婷婷网| √禁漫天堂资源中文www| 好男人电影高清在线观看| 国产成人精品无人区| 精品国产乱子伦一区二区三区 | 少妇人妻久久综合中文| 97精品久久久久久久久久精品| 国产亚洲欧美在线一区二区| 亚洲avbb在线观看| 午夜精品国产一区二区电影| 永久免费av网站大全| 丰满迷人的少妇在线观看| www.自偷自拍.com| 欧美黑人欧美精品刺激| 亚洲,欧美精品.| 一区在线观看完整版| 亚洲欧美一区二区三区久久| 日韩一区二区三区影片| 国产精品一区二区精品视频观看| 亚洲成av片中文字幕在线观看| 日韩有码中文字幕| 超碰成人久久| 男女无遮挡免费网站观看| 91成年电影在线观看| 精品久久蜜臀av无| 国产精品欧美亚洲77777| 久久香蕉激情| netflix在线观看网站| 国产91精品成人一区二区三区 | 国产亚洲一区二区精品| 亚洲欧美激情在线| h视频一区二区三区| a级毛片在线看网站| 国产av国产精品国产| 国产亚洲精品第一综合不卡| 久久精品成人免费网站| 高清av免费在线| 少妇粗大呻吟视频| 18禁国产床啪视频网站| 别揉我奶头~嗯~啊~动态视频 | 老熟妇乱子伦视频在线观看 | 久久精品国产亚洲av高清一级| 日韩一卡2卡3卡4卡2021年| 一本综合久久免费| 欧美黄色片欧美黄色片| 久久久国产成人免费| 一本久久精品| 91成人精品电影| 久久精品成人免费网站| 欧美乱码精品一区二区三区| 99国产精品免费福利视频| 自拍欧美九色日韩亚洲蝌蚪91| 亚洲 国产 在线| 亚洲精品日韩在线中文字幕| 午夜免费鲁丝| 精品国产一区二区三区四区第35| 99久久国产精品久久久| 日韩 亚洲 欧美在线| 一本一本久久a久久精品综合妖精| 老司机午夜十八禁免费视频| 精品福利观看| 国产一区二区三区综合在线观看| 两人在一起打扑克的视频| 中文字幕精品免费在线观看视频| 久久久欧美国产精品| 亚洲一卡2卡3卡4卡5卡精品中文| 丝袜美足系列| 啦啦啦免费观看视频1| 男人操女人黄网站| 9热在线视频观看99| 在线精品无人区一区二区三| 日本撒尿小便嘘嘘汇集6| 97人妻天天添夜夜摸| 高清视频免费观看一区二区| 少妇人妻久久综合中文| 性色av一级| 啪啪无遮挡十八禁网站| 色视频在线一区二区三区| 国产野战对白在线观看| 最新的欧美精品一区二区| 久久热在线av| 久久精品国产亚洲av香蕉五月 | 老汉色∧v一级毛片| 叶爱在线成人免费视频播放| 久久ye,这里只有精品| 老熟女久久久| 亚洲一区二区三区欧美精品| 国产成人a∨麻豆精品| 国产av一区二区精品久久| av片东京热男人的天堂| 久久精品国产综合久久久| 一个人免费看片子| 亚洲精品日韩在线中文字幕| 一区二区三区四区激情视频| 亚洲第一av免费看| 亚洲色图 男人天堂 中文字幕| 男人爽女人下面视频在线观看| 午夜福利免费观看在线| 亚洲国产精品一区三区| 巨乳人妻的诱惑在线观看| 一区在线观看完整版| 国产精品1区2区在线观看. | 中文字幕最新亚洲高清| 免费人妻精品一区二区三区视频| 国产成人av激情在线播放| 亚洲少妇的诱惑av| 免费高清在线观看视频在线观看| 一区二区三区乱码不卡18| 国产精品久久久av美女十八| 亚洲精品日韩在线中文字幕| 超碰成人久久| 欧美+亚洲+日韩+国产| av网站免费在线观看视频| 国产成人精品久久二区二区免费| 亚洲视频免费观看视频| 自拍欧美九色日韩亚洲蝌蚪91| 人人妻,人人澡人人爽秒播| 国产精品成人在线| 欧美人与性动交α欧美软件| 国产欧美亚洲国产| 午夜久久久在线观看| 在线观看人妻少妇| 日韩有码中文字幕| 一区二区三区激情视频| 最近最新中文字幕大全免费视频| 精品国产国语对白av| 捣出白浆h1v1| 国产成人精品久久二区二区91| 嫁个100分男人电影在线观看| 亚洲中文日韩欧美视频| 午夜福利一区二区在线看| 亚洲精品乱久久久久久| 自线自在国产av| 亚洲天堂av无毛| 亚洲五月色婷婷综合| 性色av乱码一区二区三区2| 黑人操中国人逼视频| 岛国毛片在线播放| 人人澡人人妻人| 考比视频在线观看| 亚洲综合色网址| 无遮挡黄片免费观看| 日本vs欧美在线观看视频| 中文字幕制服av| 欧美精品一区二区免费开放| 亚洲精品成人av观看孕妇| 纵有疾风起免费观看全集完整版| 亚洲精华国产精华精| 亚洲情色 制服丝袜| 国产精品香港三级国产av潘金莲| 久久这里只有精品19| 黄色 视频免费看| 丝袜人妻中文字幕| 国产精品一区二区精品视频观看| 免费观看av网站的网址| 国产成人av教育| 日日摸夜夜添夜夜添小说| 99精品欧美一区二区三区四区| 欧美少妇被猛烈插入视频| 国产亚洲精品第一综合不卡| 日本一区二区免费在线视频| 久久久久久久大尺度免费视频| 国产色视频综合| 亚洲中文字幕日韩| 啪啪无遮挡十八禁网站| 女人爽到高潮嗷嗷叫在线视频| 捣出白浆h1v1| 制服人妻中文乱码| 国产又色又爽无遮挡免| 亚洲国产欧美在线一区| 自线自在国产av| 国产熟女午夜一区二区三区| 日韩一区二区三区影片| 永久免费av网站大全| 在线 av 中文字幕| 丰满少妇做爰视频| 日韩欧美国产一区二区入口| 视频区图区小说| 国产精品影院久久| 最新的欧美精品一区二区| 亚洲精品一卡2卡三卡4卡5卡 | 纵有疾风起免费观看全集完整版| 国产亚洲精品一区二区www | 女人爽到高潮嗷嗷叫在线视频| 欧美激情极品国产一区二区三区| 日本wwww免费看| 黑人欧美特级aaaaaa片| 国产不卡av网站在线观看| 亚洲avbb在线观看| 久久精品国产亚洲av香蕉五月 | 在线 av 中文字幕| 国产免费福利视频在线观看| 亚洲欧美清纯卡通| 亚洲人成77777在线视频| 丰满少妇做爰视频| 亚洲中文av在线| 99久久综合免费| 久久女婷五月综合色啪小说| 亚洲av成人一区二区三| 亚洲人成77777在线视频| 大片免费播放器 马上看| 午夜福利在线免费观看网站| 亚洲专区字幕在线| 亚洲人成电影观看| 男女午夜视频在线观看| 正在播放国产对白刺激| 成在线人永久免费视频| 亚洲成人免费电影在线观看| 日韩一卡2卡3卡4卡2021年| 日韩欧美一区二区三区在线观看 | 成人黄色视频免费在线看| videos熟女内射| 男女国产视频网站| 国产一区二区三区在线臀色熟女 | 免费观看a级毛片全部| 国产日韩欧美在线精品| 看免费av毛片| 狠狠狠狠99中文字幕| 黄网站色视频无遮挡免费观看| 亚洲国产av影院在线观看| av网站在线播放免费| 日韩精品免费视频一区二区三区| 丁香六月欧美| 99国产精品一区二区蜜桃av | 一级a爱视频在线免费观看| 亚洲欧美成人综合另类久久久| 久久精品aⅴ一区二区三区四区| 真人做人爱边吃奶动态| 一级,二级,三级黄色视频| 日韩欧美国产一区二区入口| 正在播放国产对白刺激| 最近中文字幕2019免费版| 日韩中文字幕欧美一区二区| 女人精品久久久久毛片| 男女床上黄色一级片免费看| 欧美精品啪啪一区二区三区 | 一级a爱视频在线免费观看| 午夜老司机福利片| 亚洲精品一二三| 国产成+人综合+亚洲专区| 制服诱惑二区| 欧美97在线视频| 久久 成人 亚洲| 男女边摸边吃奶| 精品亚洲成a人片在线观看| 精品第一国产精品| 亚洲av电影在线进入| 亚洲熟女毛片儿| 菩萨蛮人人尽说江南好唐韦庄| 午夜福利视频在线观看免费| 午夜激情久久久久久久| 韩国精品一区二区三区| 人人妻人人澡人人看| 久久久久久人人人人人| 青草久久国产| 午夜两性在线视频| 丝袜人妻中文字幕| 国产精品一二三区在线看| 中文欧美无线码| 在线亚洲精品国产二区图片欧美| 亚洲七黄色美女视频| 一区二区av电影网| 老汉色∧v一级毛片| 国产成人av教育| 亚洲欧美色中文字幕在线| 国产一区二区在线观看av| 国产又爽黄色视频| 久久影院123| 成年人免费黄色播放视频| 亚洲精品久久午夜乱码| 十八禁网站网址无遮挡| 中文字幕高清在线视频| 美女脱内裤让男人舔精品视频| 女性被躁到高潮视频| 亚洲精品久久久久久婷婷小说| 成人av一区二区三区在线看 | 亚洲国产精品成人久久小说| 亚洲人成电影观看| 亚洲全国av大片| 最新在线观看一区二区三区| 久久精品aⅴ一区二区三区四区|