• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于軟件體系結(jié)構(gòu)和廣義差分進(jìn)化的測試資源動(dòng)態(tài)分配算法

    2022-01-05 02:32:38邵志勝張國富蘇兆品
    計(jì)算機(jī)應(yīng)用 2021年12期
    關(guān)鍵詞:測試階段實(shí)例種群

    邵志勝,張國富,蘇兆品,李 磊

    (1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,合肥 230601;2.大數(shù)據(jù)知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230601;3.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230009;4.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230601)

    (?通信作者電子郵箱1402369011@qq.com)

    0 引言

    軟件測試是軟件開發(fā)中的一個(gè)至關(guān)重要的環(huán)節(jié),主要致力于發(fā)現(xiàn)和糾正軟件錯(cuò)誤,提升軟件系統(tǒng)的可靠性。眾所周知,軟件測試幾乎要耗費(fèi)軟件開發(fā)資源的一半,因此,如何合理分配測試資源,以耗費(fèi)盡可能少的測試資源,謀求盡可能高的軟件可靠性和盡可能少的測試成本,一直是軟件工程領(lǐng)域中的一個(gè)熱點(diǎn)和難點(diǎn)問題[1]。

    傳統(tǒng)的方法大都局限于單目標(biāo)優(yōu)化,如在有限的測試時(shí)間內(nèi)追求可靠性最大或者測試成本最小,并采用動(dòng)態(tài)規(guī)劃或者拉格朗日乘子法等確定性方法進(jìn)行求解[2]。上述工作在面臨復(fù)雜軟件開發(fā)、軟件規(guī)模較大時(shí)往往很難在可接受的時(shí)間內(nèi)給出有效的解,因此,進(jìn)化計(jì)算技術(shù)被引入到軟件工程中,以期提升復(fù)雜軟件工程問題的求解效率[3]。

    近年來,隨著基于搜索的軟件工程[4]的快速發(fā)展,多目標(biāo)測試資源分配(Multi-Objective Testing Resource Allocation,MOTRA)[5]受到越來越多的關(guān)注,一些多目標(biāo)進(jìn)化算法(Multi-Objective Evolutionary Algorithm,MOEA)[6]被用來求解MOTRA 問題,試圖在測試時(shí)間消耗、軟件可靠性和測試成本之間尋求一個(gè)合理的平衡。與傳統(tǒng)的動(dòng)態(tài)規(guī)劃、拉格朗日乘子法等確定性方法相比,MOEA 對(duì)Pareto 前沿的形狀或連續(xù)性不太敏感,可以在一次運(yùn)行中輸出一組解并最終生成Pareto 最優(yōu)解集[6]。因此,MOEA 作為MOTRA 問題的多目標(biāo)優(yōu)化器已經(jīng)變得越來越流行[7-14]。這些MOEA 可以為軟件項(xiàng)目經(jīng)理提供許多額外的選擇,這些選擇顯示了軟件可靠性、測試成本和消耗的測試時(shí)間之間的不同權(quán)衡,因此可以促進(jìn)對(duì)軟件測試環(huán)節(jié)進(jìn)行更加合理的規(guī)劃。

    需要指出的是,在現(xiàn)代軟件工程中,軟件系統(tǒng)通常是通過選擇合適的、現(xiàn)成可重用的構(gòu)件,然后用明晰的軟件體系結(jié)構(gòu)組裝這些構(gòu)件來進(jìn)行開發(fā)。這項(xiàng)技術(shù)由于能夠顯著降低軟件的開發(fā)成本和時(shí)間,已在實(shí)際的軟件行業(yè)得到了廣泛的應(yīng)用。然而,已有研究大都針對(duì)傳統(tǒng)的并串聯(lián)模塊軟件模型[5],鮮有涉及體系結(jié)構(gòu)軟件模型[15-16]的MOTRA 問題。如Wang 等[7]、Zhang 等[10]、Su 等[11]和Pietrantuono 等[12]利用第二代非支配遺傳算法(NSGA-Ⅱ)[17],陸陽等[9]引入非支配排序差分進(jìn)化算法,牛福強(qiáng)等[13]和占德志等[14]采用第三代廣義差分進(jìn)化算法(Generalized Differential Evolution 3,GDE3)[18]來求解并串聯(lián)模塊軟件模型的MOTRA。在并串聯(lián)模塊軟件模型中,通常采用可靠性框圖(一個(gè)系統(tǒng)由多個(gè)串行子系統(tǒng)組成,每個(gè)子系統(tǒng)中至少有一個(gè)并行模塊)來直觀地描述系統(tǒng)各構(gòu)件的可靠性連接方式。雖然這種傳統(tǒng)的模型非常簡單直接,并且在實(shí)際的軟件系統(tǒng)中也得到了廣泛的應(yīng)用,但是它并沒有充分考慮系統(tǒng)的體系結(jié)構(gòu)(依賴于實(shí)際應(yīng)用中的運(yùn)行剖面)這一重要的系統(tǒng)特性[8]。

    相反,基于體系結(jié)構(gòu)的軟件模型能夠通過定量地識(shí)別軟件體系結(jié)構(gòu)中最關(guān)鍵的構(gòu)件來評(píng)估面向?qū)ο蠛突跇?gòu)件的軟件系統(tǒng)的可靠性,近年來越來越受到歡迎[15-16]。因此,研究體系結(jié)構(gòu)軟件模型的MOTRA 問題具有重要的現(xiàn)實(shí)意義。然而,時(shí)至今日僅有Yang 等[8]提出了一種歸一化加權(quán)求和多目標(biāo)差分進(jìn)化(Multi-Objective Differential Evolution based on Weighted Normalized Sum,WNS-MODE)算法。此外,上述工作簡單的假設(shè)軟件測試是一個(gè)靜態(tài)的過程。在實(shí)際的軟件測試中,軟件項(xiàng)目經(jīng)理通常會(huì)根據(jù)用戶需求和軟件測試結(jié)果動(dòng)態(tài)調(diào)整測試流程,即整個(gè)軟件測試環(huán)節(jié)往往被劃分成若干個(gè)測試階段[12-13]。在每個(gè)測試階段,軟件的可靠性以及發(fā)現(xiàn)的軟件錯(cuò)誤數(shù)可能因用戶需求或軟件測試結(jié)果而發(fā)生動(dòng)態(tài)變化,這時(shí)就需要根據(jù)變化后的測試環(huán)境動(dòng)態(tài)調(diào)整測試時(shí)間的分配,而上述靜態(tài)測試資源分配方法顯然難以適應(yīng)上述測試環(huán)境的動(dòng)態(tài)變化。

    基于上述背景,本文面向體系結(jié)構(gòu)軟件模型,針對(duì)可靠性和發(fā)現(xiàn)的錯(cuò)誤數(shù)在不同測試階段動(dòng)態(tài)變化的測試環(huán)境,首先構(gòu)造了一種基于體系結(jié)構(gòu)的多階段多目標(biāo)測試資源分配模型,然后基于參數(shù)重估計(jì)、種群重新初始化、GDE3和歸一化加權(quán)求和設(shè)計(jì)了一種面向動(dòng)態(tài)可靠性和錯(cuò)誤數(shù)的多階段多目標(biāo)測試資源分配算法,最后通過仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

    1 問題描述

    本節(jié)從文獻(xiàn)[8,15]中回顧體系結(jié)構(gòu)軟件模型的測試資源分配,并將其擴(kuò)展到本文的動(dòng)態(tài)測試問題。

    首先,基于體系結(jié)構(gòu)的軟件模型如圖1 所示,整個(gè)軟件系統(tǒng)由n個(gè)構(gòu)件組成,構(gòu)件i和構(gòu)件j之間可能存在著一步轉(zhuǎn)移概率pij∈[0,1],i,j∈{1,2,…,n},表示構(gòu)件i運(yùn)行完后有pij的概率過渡到構(gòu)件j。對(duì)于每個(gè)構(gòu)件i,滿足,即從構(gòu)件i出去的所有一步轉(zhuǎn)移概率之和為1。

    圖1 基于體系結(jié)構(gòu)的軟件模型Fig.1 Architecture-based software model

    其次,體系結(jié)構(gòu)軟件模型看成是一個(gè)吸收馬爾可夫鏈(其中pij=1 的狀態(tài)稱為吸收狀態(tài)),其轉(zhuǎn)移矩陣為P=[ ]pijn×n,顯然,P中的每一行之和均為1。假設(shè)圖1 中共有l(wèi)個(gè)吸收狀態(tài)和n-l個(gè)非吸收狀態(tài),則可把轉(zhuǎn)移矩陣劃分[8,14]為:

    其中:0 是一個(gè)l×(n-l)的零矩陣(所有元素均為0);I是一個(gè)l×l的單位矩陣(對(duì)角線上的元素均為1,其余元素均為0);B是一個(gè)(n-l)×l的非零矩陣;Q是一個(gè)(n-l)×(n-l)的亞隨機(jī)矩陣(每一行的元素之和不超過1)。

    根據(jù)吸收馬爾可夫鏈的性質(zhì),矩陣I-Q有可逆矩陣M:

    M中的每個(gè)元素為從一個(gè)非吸收狀態(tài)到另一非吸收狀態(tài)的預(yù)期訪問次數(shù),記

    為從初始狀態(tài)0到非吸收狀態(tài)i的預(yù)期訪問次數(shù)[8,14]。

    和慣例[8,15]一樣,考慮測試時(shí)間作為主要的測試資源。系統(tǒng)總的可用測試時(shí)間為T?,可由參與測試的軟件工程師人數(shù)乘以每個(gè)工程師的工作時(shí)間而計(jì)算得到。假設(shè)整個(gè)軟件測試環(huán)節(jié)被分成了s個(gè)測試階段,每個(gè)測試階段的預(yù)期可用測試時(shí)間為,k∈{1,2,…,s},滿足

    則第k個(gè)測試階段實(shí)際可用測試時(shí)間為:

    根據(jù)上述知識(shí),使用經(jīng)典的可靠性增長模型來評(píng)估構(gòu)件軟件系統(tǒng)的可靠性。在可靠性增長模型中,系統(tǒng)的可靠性滿足非齊次泊松過程[8]:

    其中,τ為軟件系統(tǒng)的有效工作時(shí)間,通常為給定的常數(shù);μ0,i為構(gòu)件i的預(yù)期訪問次數(shù),可由式(1)、(2)得到。此外,λ(?)為構(gòu)件i的錯(cuò)誤強(qiáng)度函數(shù),通常由錯(cuò)誤均值函數(shù)[15]:

    求偏導(dǎo)得到,即

    軟件測試帶來的成本非常復(fù)雜,包含各種因素,考慮風(fēng)險(xiǎn)成本的系統(tǒng)成本模型[8]為:

    其中:c0為軟件測試準(zhǔn)備成本;c4為軟件失效產(chǎn)生的成本;為構(gòu)件i的測試階段糾正軟件錯(cuò)誤的成本;為構(gòu)件i運(yùn)行階段糾正軟件錯(cuò)誤的成本;為構(gòu)件i的一般測試成本(大都指人力成本);0 <σi<1為構(gòu)件i的一般測試成本折扣率。

    綜上所述,基于體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試資源分配問題可描述為如下的一個(gè)多階段三目標(biāo)優(yōu)化模型:

    滿足如下約束:

    其中:式(10)是為了最大化第k個(gè)測試階段的系統(tǒng)可靠性、最小化系統(tǒng)成本和測試時(shí)間消耗;式(11)為每個(gè)測試階段的可靠性下限;式(12)、(13)為每個(gè)測試階段的測試時(shí)間上限。

    與文獻(xiàn)[8,14]不同的是,上述模型考慮了軟件的多階段動(dòng)態(tài)測試,而且還考慮了不同階段其可靠性約束和可用的測試時(shí)間可能會(huì)發(fā)生變化。

    2 測試資源動(dòng)態(tài)分配算法設(shè)計(jì)

    式(10)~(13)是一個(gè)典型的動(dòng)態(tài)多約束多目標(biāo)優(yōu)化問題,對(duì)求解器的性能要求較高。Yang等[8]已經(jīng)驗(yàn)證在求解構(gòu)件軟件的MOTRA 時(shí),多目標(biāo)差分進(jìn)化算法比經(jīng)典的非支配遺傳算法[17]的搜索性能更好,因此,本文引入GDE3[18]來求解構(gòu)件軟件測試資源動(dòng)態(tài)分配問題,稱為DTRA-GDE3(Dynamic Testing Resource Allocation based on GDE3)算法。

    為了更加清晰地說明本文所提出的DTRA-GDE3,下面將詳細(xì)介紹DTRA-GDE3 算法中的一些關(guān)鍵細(xì)節(jié),并給出算法的整體框架和具體步驟。

    2.1 基本GDE3算法

    GDE3 算法[18]繼承了差分進(jìn)化算法的全局搜索能力,且引入了非支配遺傳算法[17]中的非支配排序、約束違背度和擁擠距離計(jì)算等算子,能夠更好地保證解的收斂性和多樣性。GDE3算法的基本步驟如下:

    1)根據(jù)約束條件隨機(jī)生成種群規(guī)模為N的初始種群。

    2)根據(jù)目標(biāo)函數(shù)和約束條件評(píng)估種群中每個(gè)個(gè)體的目標(biāo)函數(shù)值和約束違背程度。

    3)對(duì)種群中的每個(gè)個(gè)體p∈{1,2,…,N}執(zhí)行如下操作:

    a)從種群中隨機(jī)選擇三個(gè)與p互不相同的其他個(gè)體q1,q2,q3。

    b)在個(gè)體所有的基因位中隨機(jī)選擇一位g?。

    c)生成新個(gè)體q:對(duì)于個(gè)體中的每一個(gè)基因位g,在(0,1)之間生成一個(gè)隨機(jī)數(shù)r,執(zhí)行

    其中:CR∈[0,1]為交叉概率,F(xiàn)∈[0,2]為縮放因子。

    d)評(píng)估新個(gè)體q的目標(biāo)函數(shù)值和約束違背程度。

    e)如果新個(gè)體q能夠支配當(dāng)前個(gè)體p,則將個(gè)體q放入新種群中;如果當(dāng)前個(gè)體p能夠支配新個(gè)體q,則將當(dāng)前個(gè)體p放入新種群中;如果新個(gè)體q和當(dāng)前個(gè)體p互不支配,則將這兩個(gè)個(gè)體同時(shí)放入新種群中。

    4)如果新種群的規(guī)模超過了N,計(jì)算新種群中每個(gè)個(gè)體的擁擠距離,并對(duì)新種群進(jìn)行非支配排序,保留N個(gè)最好的個(gè)體。

    5)如果沒有達(dá)到最大迭代次數(shù)Gmax,轉(zhuǎn)步驟3),否則結(jié)束算法,輸出新種群。

    由上述流程可以看出,GDE3算法的時(shí)間主要耗費(fèi)在對(duì)新種群的非支配排序,其時(shí)間復(fù)雜度為O(MNlogN)[17],其中M為優(yōu)化的目標(biāo)數(shù),因此,GDE3 算法總的時(shí)間復(fù)雜度為O(GmaxMNlogN)。

    2.2 構(gòu)件參數(shù)重估計(jì)

    在動(dòng)態(tài)測試資源分配中,前一個(gè)階段k的測試結(jié)果顯然會(huì)影響當(dāng)前k+1測試階段的開展。對(duì)于構(gòu)件i,前一個(gè)階段k被糾正的錯(cuò)誤多,當(dāng)前k+1階段的剩余錯(cuò)誤數(shù)就會(huì)減少。此外,與文獻(xiàn)[13-14]不同的是,本文根據(jù)實(shí)際軟件測試環(huán)境,還考慮在前一個(gè)階段k可能會(huì)發(fā)現(xiàn)新的錯(cuò)誤(例如糾正軟件錯(cuò)誤帶來的新錯(cuò)誤等),這時(shí)當(dāng)前k+1 階段的剩余錯(cuò)誤數(shù)可能會(huì)增加,相應(yīng)地,錯(cuò)誤檢測率也會(huì)變化。因此,在優(yōu)化當(dāng)前k+1階段的測試資源分配時(shí),需要利用極大似然估計(jì)[13-14]基于前一階段k在構(gòu)件i上消耗的測試時(shí)間、糾正的錯(cuò)誤數(shù)和發(fā)現(xiàn)的新錯(cuò)誤數(shù),對(duì)當(dāng)前k+1階段構(gòu)件i的參數(shù)重新進(jìn)行估計(jì):

    2.3 種群重新初始化

    由于在每個(gè)測試階段,可靠性約束(11)、測試時(shí)間約束(12)、(13)以及構(gòu)件參數(shù)均是動(dòng)態(tài)變化的,因此,在優(yōu)化每個(gè)測試階段的測試時(shí)間分配時(shí),需要在種群進(jìn)化前依據(jù)新的約束空間對(duì)種群重新初始化,以盡可能地讓種群靠近當(dāng)前階段的可行解區(qū)域。此外,可以通過分析模型,把測試時(shí)間盡可能地分配給最需要的構(gòu)件,從而讓系統(tǒng)盡可能地滿足當(dāng)前階段的可靠性約束,驅(qū)使種群快速向可行解區(qū)域進(jìn)化,提升算法對(duì)動(dòng)態(tài)環(huán)境的適應(yīng)性。

    根據(jù)可靠性約束(11)可以看到,要想測試時(shí)間分配方案滿足給定的可靠性下限約束,每個(gè)構(gòu)件i分配到的測試時(shí)間至少存在一個(gè)下限。同理,根據(jù)測試時(shí)間上限約束(12),每個(gè)構(gòu)件i分配到的測試時(shí)間至少存在一個(gè)上限。如果能把區(qū)間盡可能地縮小,則可以在種群初始化時(shí),利用這個(gè)區(qū)間驅(qū)使每個(gè)個(gè)體盡可能地同時(shí)滿足給定的可靠性下限約束和測試時(shí)間上限約束,即盡量讓每個(gè)個(gè)體可行。基于上述考慮,首先,根據(jù)式(5)和(8)可以得到:

    以式(16)作為等式約束條件,利用經(jīng)典的拉格朗日乘子法[2]求解最小化總測試時(shí)間消耗,即滿足時(shí)最少需要投入的總測試時(shí)間,然后可推導(dǎo)出此時(shí)每個(gè)構(gòu)件投入的測試時(shí)間為:

    再由式(12),得到

    表示第k階段可用的測試時(shí)間總量,則可得出且。這是因?yàn)?,時(shí)可靠性不可能滿足超過時(shí)則會(huì)違背測試時(shí)間約束。

    通過上述種群重新初始化策略,可以在每一個(gè)階段,迅速讓個(gè)體逼近同時(shí)滿足可靠性和測試時(shí)間約束的可行解區(qū)域,加快種群的進(jìn)化,提升算法的收斂性能。

    2.4 歸一化加權(quán)求和選取方案

    每一個(gè)階段優(yōu)化完成后,需要從解集中選取一個(gè)最佳分配方案來規(guī)劃當(dāng)前測試階段。本文使用流行的歸一化加權(quán)求和方法[8,14]進(jìn)行測試時(shí)間分配方案的選?。?/p>

    其中:w1,w2,w3∈[0,1]表示各個(gè)目標(biāo)的重要程度,滿足w1+w2+w3=1;為第j個(gè)目標(biāo)的歸一化值,如式(22)。

    其中:min(fj)和max(fj)分別表示解集中第j個(gè)目標(biāo)上的最小值和最大值。

    基于式(21)對(duì)解集中所有的解進(jìn)行歸一化加權(quán)求和,然后選擇值最小的f對(duì)應(yīng)的解作為當(dāng)前階段的測試時(shí)間分配方案。

    此外,在本文中,隨著測試階段數(shù)的增加,投入的測試時(shí)間總量不斷加大,這時(shí)可以更加注重可靠性的權(quán)重,因?yàn)檐浖y試的最終目標(biāo)就是為了最大化系統(tǒng)的可靠性[1]。因此,隨著階段數(shù)的增加,本文動(dòng)態(tài)增加可靠性目標(biāo)f1的權(quán)重w1。

    2.5 DTRA-GDE3算法框架

    圖2 給出了本文DTRA-GDE3 算法的流程,其基本思想是:在每個(gè)測試階段開始時(shí),首先基于上一階段的測試結(jié)果(糾正的錯(cuò)誤數(shù)和新發(fā)現(xiàn)的錯(cuò)誤數(shù)),利用極大似然估計(jì)對(duì)構(gòu)件的參數(shù)進(jìn)行重新估計(jì),以讓構(gòu)件參數(shù)適應(yīng)測試環(huán)境的變化;然后基于更新后的構(gòu)件參數(shù)和模型參數(shù)(當(dāng)前可用的測試時(shí)間總量和可靠性約束),利用二分法和拉格朗日乘子法確定每個(gè)構(gòu)件測試時(shí)間的上下限,以讓決策變量適應(yīng)測試環(huán)境的變化;緊接著,利用GDE3 算法優(yōu)化當(dāng)前階段的MOTRA;最后,利用歸一化加權(quán)求和選取當(dāng)前階段的最佳分配方案規(guī)劃當(dāng)前階段的測試活動(dòng)。

    圖2 DTRA-GDE3算法的流程Fig.2 Flowchart of DTRA-GDE3 algorithm

    二分法和拉格朗日乘子法的時(shí)間復(fù)雜度為O(n),確定每個(gè)構(gòu)件的測試時(shí)間上下限的時(shí)間復(fù)雜度最多為O(n2),因此在上述流程中,DTRA-GDE3 算法的時(shí)間主要耗費(fèi)在GDE3 中,其時(shí)間復(fù)雜度為O(GmaxMNlogN)。因此,DTRA-GDE3 算法總的時(shí)間復(fù)雜度為O(sGmaxMNlogN),其中s為測試階段數(shù)。

    3 仿真實(shí)驗(yàn)結(jié)果與分析

    為了驗(yàn)證本文所提算法的有效性,與文獻(xiàn)[8]的WNSMODE 算法進(jìn)行對(duì)比分析。WNS-MODE 算法是Yang 等[8]為求解構(gòu)件軟件的MOTRA 而設(shè)計(jì)的一種高效多目標(biāo)優(yōu)化算法。

    3.1 實(shí)驗(yàn)參數(shù)和評(píng)價(jià)指標(biāo)

    本文考慮兩種體系結(jié)構(gòu)軟件系統(tǒng):單輸入單輸出(Single-Input and Single-Output,SISO)系統(tǒng)和多輸入多輸出(Multi-Input and Multi-Output,MIMO)系統(tǒng)[8]。此外,如圖1 所示,體系結(jié)構(gòu)軟件模型的復(fù)雜性除了構(gòu)件數(shù),主要體現(xiàn)在系統(tǒng)中狀態(tài)轉(zhuǎn)移邊的總數(shù)。因此,為了更加全面地進(jìn)行對(duì)比分析,在SISO 系統(tǒng)和MIMO 系統(tǒng)上分別采用三種不同的規(guī)模:10 個(gè)構(gòu)件、約40 條狀態(tài)轉(zhuǎn)移邊的簡單系統(tǒng);20 個(gè)構(gòu)件、約150 條狀態(tài)轉(zhuǎn)移邊的復(fù)雜系統(tǒng);50個(gè)構(gòu)件、約800條狀態(tài)轉(zhuǎn)移邊的大型系統(tǒng)。模型參數(shù)如表1所示,共有3個(gè)測試階段。構(gòu)件的初始參數(shù)范圍如表2 所示,這些參數(shù)范圍均來自文獻(xiàn)[8,14]。此外,c0=50,c4=50 000。本文依據(jù)上述參數(shù)對(duì)SISO系統(tǒng)和MIMO系統(tǒng)各隨機(jī)生成10個(gè)不同的實(shí)例。

    表1 系統(tǒng)模型參數(shù)Tab.1 Parameters of system model

    表2 構(gòu)件參數(shù)范圍Tab.2 Parameter range of components

    DTRA-GDE3 和WNS-MODE 的算法參數(shù)設(shè)置如下:種群規(guī)模為250,每階段都迭代500 次,CR=0.9,F(xiàn)=0.1。此外,在WNS-MODE 中,歸一化加權(quán)求和的權(quán)重固定為w1=0.1,w2=0.4,w3=0.5。在DTRA-GDE3 中,w1,w2,w3在三個(gè)階段的值分別為{0.1,0.4,0.5}、{0.04,0.35,0.61}和{0.01,0.3,0.69},在第二和第三階段的值分別在[20,60]和[3,12]中隨機(jī)生成。

    所有對(duì)比算法的代碼均基于C++編寫,為了能夠進(jìn)行統(tǒng)計(jì)分析,每個(gè)實(shí)例均在Intel Core i5 CPU @ 3.2 GHz、8 GB RAM個(gè)人計(jì)算機(jī)上獨(dú)立運(yùn)行30次。

    為了衡量解集的優(yōu)劣,使用經(jīng)典的覆蓋值(Coverage value,Cv)[19]指標(biāo)。Cv 直觀地比較了一個(gè)算法得到的解有多少被對(duì)比算法的解所支配,可作為收斂性指標(biāo)來比較不同算法的解集的質(zhì)量。假設(shè)A和B分別表示兩個(gè)不同算法得到的解集,如果A中的一個(gè)解在任何目標(biāo)上都不比B中的另一個(gè)解差,則稱A中的這個(gè)解覆蓋了B中的一個(gè)解。Cv(A,B)表示A覆蓋B的百分比,即B中被A覆蓋的解在B中的占比。Cv(A,B) >Cv(B,A)表示A對(duì)應(yīng)的算法要比B對(duì)應(yīng)的算法收斂性更好。為了計(jì)算在每個(gè)實(shí)例上對(duì)比算法的覆蓋值,對(duì)于每個(gè)實(shí)例,將30 次獨(dú)立運(yùn)行得到的解集合并在一起,并去掉重復(fù)的解,然后比較合并解集之間的覆蓋值[20]。

    為了進(jìn)一步對(duì)比算法的整體性能,使用流行的超體積指標(biāo)[21]。超體積指的是非支配解集與參考點(diǎn)之間的目標(biāo)空間的體積,可以從整體上衡量整個(gè)解集的收斂性和多樣性。通常,超體積值越大意味著解集的質(zhì)量越好。需要注意的是,參考點(diǎn)的選擇對(duì)于計(jì)算超體積至關(guān)重要。為了確定合適的參考點(diǎn),對(duì)于每個(gè)實(shí)例,首先將所有算法的30 次獨(dú)立運(yùn)行獲得的解合并在一起,然后去掉重復(fù)解,再對(duì)剩下的解進(jìn)行非支配排序,去掉所有的支配解,對(duì)于余下的非支配解,可將參考點(diǎn)設(shè)置為每個(gè)目標(biāo)上最差值的1.1 倍,這種方法已被驗(yàn)證可以在解集的收斂性和多樣性之間達(dá)到一個(gè)良好平衡[20]。

    除了一般多目標(biāo)優(yōu)化問題的質(zhì)量指標(biāo)(如覆蓋值和超體積)外,在基于搜索的軟件工程中,還強(qiáng)烈建議能夠適應(yīng)用戶顯式/隱式偏好的問題特定指標(biāo)來評(píng)估解集[22]。在這里,考慮容量值指標(biāo)[23]。容量值指的是算法最終得到的非支配可行解的個(gè)數(shù),即滿足所有約束條件的非支配解數(shù)目。和上面一樣,對(duì)于每個(gè)實(shí)例,將30 次獨(dú)立運(yùn)行得到的解集合并在一起,并去掉重復(fù)的解。

    3.2 容量值結(jié)果

    為了方便后續(xù)描述,將DTRA-GDE3 所獲得的解集標(biāo)記為A,WNS-MODE得到的解集標(biāo)記為B。

    表3~5 分別給出了DTRA-GDE3 和WNS-MODE 算法在簡單、復(fù)雜和大型SISO 和MIMO 系統(tǒng)上20 個(gè)實(shí)例的容量值結(jié)果,分別用 |A| 與 |B| 表示代表A、B算法獲得解集的容量值,即滿足條件的解的個(gè)數(shù)。由表3和表4可以看出,在簡單和復(fù)雜SISO和MIMO系統(tǒng)上,本文DTRA-GDE3算法在任何一次運(yùn)行中都能找到很多可行的非支配解,而WNS-MODE 算法在第1階段就只能找到很少的可行解,在第2 階段和第3 階段更少,甚至30 次運(yùn)行都找不到可行解,如簡單SISO 系統(tǒng)的實(shí)例1 的第2階段,簡單MIMO 系統(tǒng)的實(shí)例3的第2階段,復(fù)雜MIMO 系統(tǒng)的實(shí)例4的第2階段。特別地,在表5中,DTRA-GDE3在10個(gè)實(shí)例上獲得的可行解均接近7 500 個(gè),但WNS-MODE 算法在10個(gè)實(shí)例上幾乎找不到可行解。

    表3 簡單系統(tǒng)中兩種算法的容量值結(jié)果Tab.3 Capacity value results of two algorithms in simple system

    表4 復(fù)雜系統(tǒng)中兩種算法的容量值結(jié)果Tab.4 Capacity value results of two algorithms in complex system

    表5 大型系統(tǒng)中兩種算法的容量值結(jié)果Tab.5 Capacity value results of two algorithms in large system

    總的來說,在SISO 系統(tǒng)上,DTRA-GDE3 在簡單、復(fù)雜和大型三個(gè)規(guī)模上獲得的解集的平均容量值分別為7 499、7 041和7 393,而WNS-MODE 算法在三個(gè)不同規(guī)模獲得的平均容量值卻僅有925、473 和3,DTRA-GDE3 在整體上的容量值提升了約15倍。在MIMO系統(tǒng)上,DTRA-GDE3在三個(gè)不同規(guī)模上獲得的解集的平均容量值分別為7 500、7 168、7 419,而WNS-MODE 算法在三個(gè)不同規(guī)模上獲得的平均容量值分別為803、373 和1,DTRA-GDE3 在整體上的容量值提升了約18倍。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在容量值上提升了約16 倍;而且,規(guī)模越大,DTRA-GDE3 算法的優(yōu)勢越明顯。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNS-MODE 算法具有更好的探索能力,可以很好地適應(yīng)不同的系統(tǒng)規(guī)模,挖掘更多的非支配可行解。

    3.3 覆蓋值結(jié)果

    由于WNS-MODE 算法在大型規(guī)模上幾乎找不到可行解,因此,表6 和表7 分別給出了兩種算法在簡單和復(fù)雜SISO 和MIMO 系統(tǒng)上20 個(gè)實(shí)例的覆蓋值結(jié)果。可以看出,DTRAGDE3算法的覆蓋值除了在簡單MIMO 系統(tǒng)實(shí)例8的第3階段略遜于WNS-MODE 外,在其他簡單和復(fù)雜SISO 和MIMO 系統(tǒng)的所有實(shí)例的所有階段上均顯著優(yōu)于WNS-MODE 算法。在某些實(shí)例上,DTRA-GDE3算法的覆蓋值達(dá)到了100%,即可以完全支配WNS-MODE 算法的解集,如簡單SISO 系統(tǒng)的實(shí)例1和實(shí)例4的第2階段,簡單MIMO 系統(tǒng)的實(shí)例1和實(shí)例3的第2階段和第3 階段,實(shí)例2 的第3 階段,實(shí)例10 的第2 階段。尤其在復(fù)雜系統(tǒng)上,DTRA-GDE3 在24 種情形下覆蓋值達(dá)到100%,而WNS-MODE算法在10種情形下覆蓋值為零。

    表6 簡單系統(tǒng)中兩種算法的覆蓋值結(jié)果 單位:%Tab.6 Coverage value results of two algorithms in simple system unit:%

    表7 復(fù)雜系統(tǒng)中兩種算法的覆蓋值結(jié)果 單位:%Tab.7 Coverage value results of two algorithms in complex system unit:%

    從總體上看,在SISO 系統(tǒng)上,DTRA-GDE3 在簡單和復(fù)雜兩種規(guī)模上獲得的解集的平均覆蓋值分別為91.26%和95.01%,而WNS-MODE 算法在這兩種規(guī)模上獲得的平均覆蓋值卻僅有14.21%和7.29%,DTRA-GDE3 在整體上的覆蓋值提升了約83個(gè)百分點(diǎn)。在MIMO系統(tǒng)上,DTRA-GDE3在兩種規(guī)模上獲得的解集的平均覆蓋值分別為92.18% 和95.26%,而WNS-MODE 算法在兩種規(guī)模上獲得的平均覆蓋值分別為12.17%和4.97%,DTRA-GDE3 在整體上的覆蓋值提升了約85 個(gè)百分點(diǎn)。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在覆蓋值上提升了約84 個(gè)百分點(diǎn)。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNS-MODE 算法具有更好的收斂性,可以找到更好的非支配解。

    3.4 超體積結(jié)果

    表8 和表9 分別給出了兩種算法在簡單和復(fù)雜SISO 和MIMO 系統(tǒng)上20個(gè)實(shí)例的超體積結(jié)果(均值和標(biāo)準(zhǔn)差)??梢钥闯觯嗽诤唵蜸ISO 系統(tǒng)實(shí)例9 第3 階段上DTRA-GDE3 得到的超體積不大于WNS-MODE 算法外,在其他簡單和復(fù)雜SISO 和MIMO 系統(tǒng)的任何實(shí)例任何階段上,DTRA-GDE3得到的超體積均要優(yōu)于WNS-MODE 算法。特別地,在某些實(shí)例上WNS-MODE 的超體積為0,說明解集中的解均被參考點(diǎn)支配或者找不到任何可行解,如簡單SISO 系統(tǒng)實(shí)例1 的第2 階段,簡單MIMO 系統(tǒng)實(shí)例3的第2階段,復(fù)雜SISO 系統(tǒng)實(shí)例4的第1階段,復(fù)雜MIMO系統(tǒng)實(shí)例4的第2階段。

    表8 簡單系統(tǒng)中兩種算法的超體積(均值和標(biāo)準(zhǔn)差)結(jié)果Tab.8 Hypervolume(mean and standard deviation)results of two algorithms in simple system

    表9 復(fù)雜系統(tǒng)中兩種算法的超體積(均值和標(biāo)準(zhǔn)差)結(jié)果Tab.9 Hypervolume(mean and standard deviation)results of two algorithms in complex system

    從整體上來看,在SISO 系統(tǒng)上,DTRA-GDE3 相比WNSMODE的超體積在簡單和復(fù)雜規(guī)模上分別提升了約13%和22倍,在MIMO 系統(tǒng)上,DTRA-GDE3 相比WNS-MODE 的超體積在簡單和復(fù)雜規(guī)模上分別提升了約13%和69%。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在超體積上提升了約6倍。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNSMODE算法具有更好的綜合性能。

    為了直觀地理解非支配解的分布以及更高的超體積代表的含義,在圖3 中,根據(jù)簡單MIMO 系統(tǒng)中的實(shí)例9 分別在三個(gè)階段選取和超體積均值比較接近的一次運(yùn)行結(jié)果,繪出解集的分布情況。之所以選取這個(gè)實(shí)例,是因?yàn)樗某w積與整體超體積均值更接近。從圖3 可以看出,與WNS-MODE 算法相比,DTRA-GDE3 算法得到的解在目標(biāo)空間中分布更廣,提供了更多的多樣性。此外,易觀察到DTRA-GDE3 算法似乎比WNS-MODE 算法具有更好的收斂性,有相當(dāng)多的解優(yōu)于WNS-MODE算法。

    圖3 兩種算法在簡單MIMO系統(tǒng)實(shí)例9上獲得的非支配解Fig.3 Non-dominated solutions obtained by two algorithms on Instance 9 of simple MIMO system

    3.5 運(yùn)行時(shí)間結(jié)果

    圖4 給出了兩種算法在MIMO 系統(tǒng)上不同規(guī)模的10 個(gè)實(shí)例上的運(yùn)行時(shí)間結(jié)果(均值和標(biāo)準(zhǔn)誤差)。從圖4 可以看出,DTRA-GDE3在簡單系統(tǒng)、復(fù)雜系統(tǒng)和大型系統(tǒng)上的平均運(yùn)行時(shí)間分別約為16.9 s、75.8 s 和37.6 s,而WNS-MODE 運(yùn)行時(shí)間分別約為2.2 s、14 s 和9 s。DTRA-GDE3 要比WNS-MODE稍微耗時(shí)一點(diǎn)。這是因?yàn)?,在求解本文的?gòu)件軟件測試資源動(dòng)態(tài)分配問題上,DTRA-GDE3 的時(shí)間復(fù)雜度為O(sGmaxMNlogN),而WNS-MODE的時(shí)間復(fù)雜度為O(sGmaxMN),而且,DTRA-GDE3 還需要多次調(diào)用拉格朗日乘子法來估計(jì)構(gòu)件的測試時(shí)間上下限,而且調(diào)用的次數(shù)也與解空間大小有關(guān),具有一定的隨機(jī)性。需要強(qiáng)調(diào)的是,雖然DTRA-GDE3 相比WNS-MODE 平均慢了30 多秒,但是相比在容量值、覆蓋值和超體積三個(gè)指標(biāo)上的顯著提升,這點(diǎn)耗時(shí)是可以忽略不計(jì)的。

    圖4 兩種算法在MIMO系統(tǒng)上的運(yùn)行時(shí)間(均值和標(biāo)準(zhǔn)誤差)Fig.4 Running times(means and standard errors)of two algorithms on MIMO systems

    3.6 討論

    從上面的容量值、覆蓋值和超體積的實(shí)驗(yàn)結(jié)果可以看出,與WNS-MODE 算法相比,本文的DTRA-GDE3 算法可以很好地滿足體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試需求,能夠?yàn)槊總€(gè)測試階段提供更多、更好的測試時(shí)間分配方案。這是因?yàn)?,在DTRA-GDE3 算法中,根據(jù)參數(shù)重估計(jì),可以很好地適應(yīng)糾正和發(fā)現(xiàn)的錯(cuò)誤數(shù)的變化;其次,根據(jù)種群重新初始化,可以讓個(gè)體盡可能地滿足測試時(shí)間和可靠性約束,從而接近可行解區(qū)域,促使DTRA-GDE3 算法高效地適應(yīng)環(huán)境的變化。而WNS-MODE 算法雖然也對(duì)測試時(shí)間的變化采取了相應(yīng)的約束處理技術(shù),但是其首先滿足的是測試時(shí)間約束,而沒有考慮可靠性約束,因此其探索可行解的能力非常有限。

    本文從SISO 和MIMO 兩種系統(tǒng)的簡單、復(fù)雜和大型三種規(guī)模進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果表明,對(duì)于一些復(fù)雜難解的多目標(biāo)優(yōu)化問題,完全可以根據(jù)問題本身來挖掘有用的信息,利用問題本身的知識(shí)來縮小MOEA 種群的探索范圍,避免無效的重復(fù)搜索,從而提升MOEA 解決復(fù)雜動(dòng)態(tài)多約束優(yōu)化問題的能力。

    4 結(jié)語

    測試資源分配是基于搜索的軟件工程中的一個(gè)熱點(diǎn)問題,主要研究如何規(guī)劃軟件工程師的測試時(shí)間,從而盡可能地縮短測試周期,降低測試成本,提高軟件系統(tǒng)的可靠性。本文針對(duì)體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試問題,首先構(gòu)建了一種基于體系結(jié)構(gòu)和可靠性、錯(cuò)誤數(shù)動(dòng)態(tài)變化的多階段多目標(biāo)測試資源分配模型,然后基于參數(shù)重估計(jì)、種群重新初始化、廣義差分進(jìn)化和歸一化加權(quán)求和設(shè)計(jì)了一種面向動(dòng)態(tài)可靠性和錯(cuò)誤數(shù)的多階段多目標(biāo)測試資源分配算法。與已有工作相比,本文所提算法在容量值、覆蓋值和超體積三個(gè)主流性能指標(biāo)上獲得了更優(yōu)的結(jié)果。在今后的工作中,將考慮成本的約束,以及構(gòu)件的動(dòng)態(tài)增加等問題。

    猜你喜歡
    測試階段實(shí)例種群
    邢氏水蕨成功繁衍并建立種群 等
    山西省發(fā)現(xiàn)刺五加種群分布
    淺談?dòng)?jì)算機(jī)軟件工程技術(shù)中的邏輯運(yùn)用
    Android應(yīng)用軟件測試研究
    抽樣技術(shù)在政府審計(jì)中的應(yīng)用研究――基于細(xì)節(jié)測試階段
    關(guān)于改進(jìn)英語專業(yè)高級(jí)英語教學(xué)過程的分析
    考試周刊(2015年62期)2015-09-10 07:22:44
    完形填空Ⅱ
    完形填空Ⅰ
    崗更湖鯉魚的種群特征
    種群增長率與增長速率的區(qū)別
    又黄又爽又刺激的免费视频.| 国产精品国产高清国产av| 日韩av不卡免费在线播放| 亚洲av男天堂| 一二三四中文在线观看免费高清| 久久精品国产99精品国产亚洲性色| 大又大粗又爽又黄少妇毛片口| 人人妻人人澡人人爽人人夜夜 | 日本免费一区二区三区高清不卡| 国产一区二区亚洲精品在线观看| 亚洲欧美中文字幕日韩二区| 国产探花在线观看一区二区| ponron亚洲| 亚州av有码| 一二三四中文在线观看免费高清| 久久精品国产鲁丝片午夜精品| 精品少妇黑人巨大在线播放 | 国产老妇伦熟女老妇高清| 中文精品一卡2卡3卡4更新| 亚洲av熟女| 国产视频内射| 九草在线视频观看| 菩萨蛮人人尽说江南好唐韦庄 | 国产午夜精品论理片| 在线观看av片永久免费下载| 最近视频中文字幕2019在线8| 国产成人aa在线观看| 午夜精品一区二区三区免费看| 国产老妇女一区| 精品国产三级普通话版| 国产精品久久视频播放| 男女那种视频在线观看| 亚洲欧美精品自产自拍| 日本猛色少妇xxxxx猛交久久| 国内精品宾馆在线| 赤兔流量卡办理| 久久久亚洲精品成人影院| 最近最新中文字幕免费大全7| 国产成人a∨麻豆精品| 91精品国产九色| 国产精品99久久久久久久久| 精品久久久久久久久亚洲| 一个人免费在线观看电影| 麻豆精品久久久久久蜜桃| 波多野结衣巨乳人妻| 在线观看av片永久免费下载| 一级毛片久久久久久久久女| 中文字幕亚洲精品专区| 免费无遮挡裸体视频| 3wmmmm亚洲av在线观看| 国产精品久久久久久av不卡| 天堂影院成人在线观看| 我的老师免费观看完整版| 精品午夜福利在线看| 午夜福利视频1000在线观看| 夜夜爽夜夜爽视频| 91久久精品电影网| or卡值多少钱| 欧美成人精品欧美一级黄| 不卡视频在线观看欧美| 日本wwww免费看| 少妇猛男粗大的猛烈进出视频 | 国产单亲对白刺激| 网址你懂的国产日韩在线| 色噜噜av男人的天堂激情| 两个人视频免费观看高清| 国产精品久久久久久久久免| 小说图片视频综合网站| 亚洲av.av天堂| 插阴视频在线观看视频| 联通29元200g的流量卡| 22中文网久久字幕| 国产黄片视频在线免费观看| 晚上一个人看的免费电影| 久久鲁丝午夜福利片| 国产一区二区在线观看日韩| 卡戴珊不雅视频在线播放| 免费黄网站久久成人精品| 亚洲经典国产精华液单| 国产欧美另类精品又又久久亚洲欧美| 国产麻豆成人av免费视频| 国产成人午夜福利电影在线观看| 自拍偷自拍亚洲精品老妇| 超碰av人人做人人爽久久| 久久精品久久久久久久性| 国产成人一区二区在线| 3wmmmm亚洲av在线观看| 禁无遮挡网站| 国产午夜精品一二区理论片| 亚洲成人中文字幕在线播放| 18禁裸乳无遮挡免费网站照片| 国产精品国产三级国产专区5o | 久久久久久伊人网av| 亚洲最大成人av| 能在线免费看毛片的网站| 水蜜桃什么品种好| 欧美3d第一页| 秋霞在线观看毛片| 中文字幕免费在线视频6| 丝袜喷水一区| 伦精品一区二区三区| 我的老师免费观看完整版| 日韩欧美精品v在线| 成人国产麻豆网| 九色成人免费人妻av| 欧美性猛交黑人性爽| 国产黄片视频在线免费观看| 日本欧美国产在线视频| 欧美另类亚洲清纯唯美| 国产激情偷乱视频一区二区| 网址你懂的国产日韩在线| 国产精品国产三级专区第一集| 草草在线视频免费看| 我要看日韩黄色一级片| 国产精华一区二区三区| 欧美成人精品欧美一级黄| 免费一级毛片在线播放高清视频| 国产白丝娇喘喷水9色精品| 午夜福利在线在线| 免费观看人在逋| 午夜福利成人在线免费观看| 国产免费一级a男人的天堂| 国产一区二区亚洲精品在线观看| 嘟嘟电影网在线观看| 网址你懂的国产日韩在线| 97超视频在线观看视频| 非洲黑人性xxxx精品又粗又长| 国产成人一区二区在线| 亚洲一级一片aⅴ在线观看| 国产片特级美女逼逼视频| 欧美变态另类bdsm刘玥| 免费播放大片免费观看视频在线观看 | 少妇裸体淫交视频免费看高清| 91精品国产九色| 亚洲成人av在线免费| av又黄又爽大尺度在线免费看 | 国产午夜福利久久久久久| 国产亚洲午夜精品一区二区久久 | 亚洲国产色片| 中文字幕av在线有码专区| 哪个播放器可以免费观看大片| 嫩草影院入口| 99久久精品一区二区三区| 蜜臀久久99精品久久宅男| 国国产精品蜜臀av免费| 久99久视频精品免费| 欧美高清成人免费视频www| 久久欧美精品欧美久久欧美| 美女内射精品一级片tv| 午夜免费男女啪啪视频观看| 热99在线观看视频| 欧美xxxx性猛交bbbb| 国产免费男女视频| АⅤ资源中文在线天堂| 欧美另类亚洲清纯唯美| 欧美三级亚洲精品| 校园人妻丝袜中文字幕| 久久久精品大字幕| 精品久久久久久久久亚洲| 国产精华一区二区三区| 久久久久久久久久成人| 精品一区二区免费观看| 国产成人aa在线观看| 亚洲最大成人中文| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲精品国产成人久久av| 18禁动态无遮挡网站| 国产熟女欧美一区二区| 综合色丁香网| 免费观看精品视频网站| 最新中文字幕久久久久| 国内精品宾馆在线| 国产精品.久久久| 久久人人爽人人爽人人片va| 中文字幕制服av| 日本黄大片高清| 国产高清国产精品国产三级 | 亚洲国产欧洲综合997久久,| 国产一级毛片在线| 永久网站在线| 欧美zozozo另类| 精品久久久噜噜| 2021天堂中文幕一二区在线观| 国产精品久久久久久av不卡| 91精品一卡2卡3卡4卡| 久久精品夜夜夜夜夜久久蜜豆| 日韩亚洲欧美综合| 成年版毛片免费区| 欧美性感艳星| 亚洲三级黄色毛片| 91av网一区二区| 春色校园在线视频观看| 国产午夜精品论理片| 亚洲av.av天堂| 免费在线观看成人毛片| 国产一级毛片七仙女欲春2| 超碰av人人做人人爽久久| 国产 一区 欧美 日韩| 国产亚洲5aaaaa淫片| 国产精品久久久久久av不卡| 麻豆成人av视频| 免费不卡的大黄色大毛片视频在线观看 | 男人狂女人下面高潮的视频| 精品人妻偷拍中文字幕| 18禁在线无遮挡免费观看视频| 可以在线观看毛片的网站| 欧美日韩精品成人综合77777| 99在线视频只有这里精品首页| 一个人看视频在线观看www免费| 久久久久久伊人网av| 人妻系列 视频| 精品国产一区二区三区久久久樱花 | 熟女人妻精品中文字幕| 久久久久久久久久久免费av| 国产精品精品国产色婷婷| 免费黄网站久久成人精品| 久久久亚洲精品成人影院| 性插视频无遮挡在线免费观看| 日韩一区二区视频免费看| 日本午夜av视频| 亚洲国产精品成人久久小说| 亚洲成人av在线免费| 我要看日韩黄色一级片| 日韩视频在线欧美| 免费av毛片视频| 亚洲欧美一区二区三区国产| 你懂的网址亚洲精品在线观看 | 国产白丝娇喘喷水9色精品| 亚洲国产欧美人成| 又爽又黄a免费视频| 日日啪夜夜撸| 好男人在线观看高清免费视频| 内射极品少妇av片p| 国产男人的电影天堂91| 尤物成人国产欧美一区二区三区| 欧美日本亚洲视频在线播放| 精品人妻熟女av久视频| 国产一级毛片七仙女欲春2| av视频在线观看入口| 免费一级毛片在线播放高清视频| 日韩欧美三级三区| 亚洲人成网站在线播| 22中文网久久字幕| 一本久久精品| 欧美最新免费一区二区三区| 欧美zozozo另类| 国产成人午夜福利电影在线观看| 久久人人爽人人爽人人片va| 国产色爽女视频免费观看| 亚洲欧美日韩无卡精品| 一级黄片播放器| 日本免费在线观看一区| 少妇猛男粗大的猛烈进出视频 | 精品久久久噜噜| 男人舔女人下体高潮全视频| 国产一级毛片在线| 自拍偷自拍亚洲精品老妇| 欧美色视频一区免费| 人人妻人人澡人人爽人人夜夜 | 国产精品久久视频播放| 看黄色毛片网站| 日日啪夜夜撸| 日本一二三区视频观看| 亚洲成色77777| 精品一区二区免费观看| 韩国av在线不卡| 国内精品美女久久久久久| 久久6这里有精品| 免费av观看视频| 亚洲精品色激情综合| 欧美成人免费av一区二区三区| 久久精品人妻少妇| 男人的好看免费观看在线视频| 内射极品少妇av片p| 国产精品日韩av在线免费观看| 又爽又黄a免费视频| 免费观看a级毛片全部| 国产美女午夜福利| 国产爱豆传媒在线观看| 亚洲国产色片| 午夜福利网站1000一区二区三区| 国产在视频线精品| 插逼视频在线观看| 最后的刺客免费高清国语| 久久久久国产网址| 少妇裸体淫交视频免费看高清| 日韩一区二区视频免费看| 国产精品三级大全| 免费观看精品视频网站| 中文精品一卡2卡3卡4更新| 在线播放国产精品三级| 午夜a级毛片| 建设人人有责人人尽责人人享有的 | 97超视频在线观看视频| 亚洲不卡免费看| 国产精品福利在线免费观看| 水蜜桃什么品种好| 日韩人妻高清精品专区| 亚洲国产精品成人久久小说| 1000部很黄的大片| 国内精品宾馆在线| 亚洲中文字幕一区二区三区有码在线看| 亚洲国产精品成人综合色| av在线亚洲专区| 成人特级av手机在线观看| 亚洲在线自拍视频| 久久久久久久久久黄片| 国产综合懂色| 亚洲av.av天堂| 内地一区二区视频在线| 久久久久精品久久久久真实原创| 国产成人aa在线观看| av福利片在线观看| 免费不卡的大黄色大毛片视频在线观看 | 亚洲五月天丁香| 特级一级黄色大片| 日本免费a在线| 免费av观看视频| 久久久久久国产a免费观看| 国产av一区在线观看免费| 久久精品夜夜夜夜夜久久蜜豆| 久久草成人影院| 2022亚洲国产成人精品| 三级国产精品片| 国内少妇人妻偷人精品xxx网站| 禁无遮挡网站| 身体一侧抽搐| 欧美色视频一区免费| 欧美三级亚洲精品| 久久久色成人| 1000部很黄的大片| 亚洲成人久久爱视频| 亚洲中文字幕一区二区三区有码在线看| 午夜老司机福利剧场| 国产白丝娇喘喷水9色精品| 91在线精品国自产拍蜜月| 国产成人一区二区在线| 日本av手机在线免费观看| 欧美日韩国产亚洲二区| 免费大片18禁| 久久久久久久久久成人| av在线播放精品| 欧美+日韩+精品| 深爱激情五月婷婷| 熟妇人妻久久中文字幕3abv| 免费大片18禁| 人妻制服诱惑在线中文字幕| 99久久无色码亚洲精品果冻| av天堂中文字幕网| 性色avwww在线观看| 欧美区成人在线视频| 亚洲婷婷狠狠爱综合网| 国产高清不卡午夜福利| 禁无遮挡网站| 精品一区二区三区人妻视频| 亚洲成人久久爱视频| 日本免费一区二区三区高清不卡| 精品无人区乱码1区二区| 久久热精品热| 三级国产精品片| 国产极品天堂在线| 成年免费大片在线观看| 五月伊人婷婷丁香| 亚洲国产精品久久男人天堂| 日本wwww免费看| 色尼玛亚洲综合影院| 国内揄拍国产精品人妻在线| 亚洲av电影不卡..在线观看| 搡女人真爽免费视频火全软件| 精品久久久久久成人av| 国内揄拍国产精品人妻在线| 精品人妻一区二区三区麻豆| 国产精品国产三级国产av玫瑰| 级片在线观看| 国产成年人精品一区二区| 国产成人a区在线观看| 国产高清视频在线观看网站| 国产伦精品一区二区三区四那| 亚洲国产欧美人成| 国产伦理片在线播放av一区| 丰满乱子伦码专区| 亚洲国产日韩欧美精品在线观看| 日本免费a在线| 亚洲最大成人中文| 久久午夜福利片| 欧美日韩综合久久久久久| 欧美xxxx黑人xx丫x性爽| 黄色日韩在线| 久久久久九九精品影院| 寂寞人妻少妇视频99o| 国产老妇伦熟女老妇高清| 一区二区三区高清视频在线| 日韩一区二区三区影片| 欧美日韩在线观看h| 蜜桃亚洲精品一区二区三区| 亚洲怡红院男人天堂| 亚洲国产精品国产精品| 精品午夜福利在线看| 欧美潮喷喷水| 偷拍熟女少妇极品色| 日韩国内少妇激情av| 岛国在线免费视频观看| 欧美最新免费一区二区三区| 在现免费观看毛片| 亚洲激情五月婷婷啪啪| 亚洲精品456在线播放app| 久久精品久久久久久噜噜老黄 | 床上黄色一级片| 国产在线男女| 视频中文字幕在线观看| 亚洲成色77777| 男插女下体视频免费在线播放| 大话2 男鬼变身卡| 久久人人爽人人片av| 欧美日韩在线观看h| 亚洲国产成人一精品久久久| 美女国产视频在线观看| 午夜精品一区二区三区免费看| 亚洲欧洲日产国产| 熟妇人妻久久中文字幕3abv| 精品久久久久久久末码| 国产免费一级a男人的天堂| 亚洲人与动物交配视频| 美女大奶头视频| 亚洲不卡免费看| 在线免费观看的www视频| 精品久久久噜噜| 一级毛片电影观看 | 床上黄色一级片| kizo精华| 色播亚洲综合网| 小说图片视频综合网站| 午夜爱爱视频在线播放| 亚洲欧美精品专区久久| 亚洲国产精品久久男人天堂| 国产高清视频在线观看网站| 国产精品不卡视频一区二区| 色播亚洲综合网| 亚洲中文字幕日韩| 国产人妻一区二区三区在| av在线观看视频网站免费| 中文字幕亚洲精品专区| 黑人高潮一二区| 欧美潮喷喷水| 搡老妇女老女人老熟妇| 中文亚洲av片在线观看爽| 精品欧美国产一区二区三| 久久精品人妻少妇| 中文字幕亚洲精品专区| 97超视频在线观看视频| 97超碰精品成人国产| 久久99热这里只频精品6学生 | 一区二区三区四区激情视频| 精品不卡国产一区二区三区| 国产美女午夜福利| 五月伊人婷婷丁香| 久久久久久久亚洲中文字幕| 女的被弄到高潮叫床怎么办| 中文欧美无线码| 精品久久久久久成人av| 中文精品一卡2卡3卡4更新| 国产又色又爽无遮挡免| 99久久无色码亚洲精品果冻| 我的老师免费观看完整版| a级毛色黄片| 亚洲欧美成人综合另类久久久 | 久久综合国产亚洲精品| 三级男女做爰猛烈吃奶摸视频| 国产精品嫩草影院av在线观看| 2022亚洲国产成人精品| 高清毛片免费看| 国产成人精品婷婷| 高清视频免费观看一区二区 | 老女人水多毛片| 男女边吃奶边做爰视频| 九草在线视频观看| 好男人在线观看高清免费视频| 蜜臀久久99精品久久宅男| 亚洲人成网站在线播| 国产av码专区亚洲av| 国产精品美女特级片免费视频播放器| 免费观看a级毛片全部| 老女人水多毛片| 综合色av麻豆| 黄色日韩在线| 欧美xxxx性猛交bbbb| 欧美日韩精品成人综合77777| 观看免费一级毛片| 九色成人免费人妻av| 亚洲在久久综合| 亚洲va在线va天堂va国产| 国产爱豆传媒在线观看| 午夜福利成人在线免费观看| 亚洲国产欧美在线一区| 国产伦在线观看视频一区| 97热精品久久久久久| 一区二区三区高清视频在线| 亚洲欧美精品综合久久99| 美女黄网站色视频| 亚洲无线观看免费| 插阴视频在线观看视频| 亚洲真实伦在线观看| 欧美成人午夜免费资源| 久久久久久久午夜电影| 女人久久www免费人成看片 | 精品久久久久久久久亚洲| 亚洲av成人精品一区久久| 美女xxoo啪啪120秒动态图| 日韩,欧美,国产一区二区三区 | av在线观看视频网站免费| 99久久人妻综合| 国产精品日韩av在线免费观看| 欧美激情久久久久久爽电影| 亚洲欧美日韩高清专用| 婷婷色综合大香蕉| 久久久精品大字幕| 日本爱情动作片www.在线观看| 欧美三级亚洲精品| 成人二区视频| 国产男人的电影天堂91| 成人高潮视频无遮挡免费网站| 99久久精品国产国产毛片| 久久99蜜桃精品久久| 国产综合懂色| 一级毛片久久久久久久久女| 日本-黄色视频高清免费观看| 欧美丝袜亚洲另类| 久久精品久久久久久噜噜老黄 | 免费看美女性在线毛片视频| 人体艺术视频欧美日本| 麻豆av噜噜一区二区三区| 最近最新中文字幕免费大全7| 久久这里有精品视频免费| 国产亚洲最大av| 国产成人一区二区在线| 男人的好看免费观看在线视频| 国产三级在线视频| 亚洲av不卡在线观看| 久久久久精品久久久久真实原创| av在线老鸭窝| 日韩成人av中文字幕在线观看| 国产极品精品免费视频能看的| 欧美丝袜亚洲另类| 久久久久久久久久黄片| 伊人久久精品亚洲午夜| 国产精品久久久久久精品电影小说 | 水蜜桃什么品种好| 国产伦精品一区二区三区视频9| 国产午夜精品一二区理论片| 一边摸一边抽搐一进一小说| 国产三级在线视频| 国产日韩欧美在线精品| av在线播放精品| 欧美一区二区精品小视频在线| 内地一区二区视频在线| 国产精品爽爽va在线观看网站| 精品不卡国产一区二区三区| 日本黄色片子视频| 亚洲国产欧洲综合997久久,| 国产精品国产高清国产av| 亚洲欧美一区二区三区国产| www.色视频.com| 日韩在线高清观看一区二区三区| 亚洲欧美清纯卡通| 亚洲国产精品sss在线观看| 啦啦啦观看免费观看视频高清| 国产高清有码在线观看视频| 午夜福利高清视频| 国产在线一区二区三区精 | 欧美潮喷喷水| 久久午夜福利片| 亚洲乱码一区二区免费版| 午夜精品一区二区三区免费看| 亚洲aⅴ乱码一区二区在线播放| 久久精品人妻少妇| 国产综合懂色| 91在线精品国自产拍蜜月| 久久热精品热| 中文字幕人妻熟人妻熟丝袜美| 美女xxoo啪啪120秒动态图| 寂寞人妻少妇视频99o| 国产91av在线免费观看| or卡值多少钱| 国产极品精品免费视频能看的| 亚洲av电影不卡..在线观看| 亚洲精品国产成人久久av| 国产熟女欧美一区二区| 国产精品久久久久久久久免| 久久久久久国产a免费观看| 欧美区成人在线视频| 蜜桃亚洲精品一区二区三区| 成年女人永久免费观看视频| av福利片在线观看| 又爽又黄无遮挡网站| 精品久久国产蜜桃| 在线a可以看的网站| 成人鲁丝片一二三区免费| 床上黄色一级片| 精品不卡国产一区二区三区| 国产一级毛片在线| 欧美性猛交黑人性爽| 欧美三级亚洲精品| 国产精品久久电影中文字幕| 国产精品精品国产色婷婷| 两个人的视频大全免费| 高清毛片免费看| 青青草视频在线视频观看| 人妻夜夜爽99麻豆av| 高清在线视频一区二区三区 | 亚洲欧美成人精品一区二区| 日本一二三区视频观看| 男女下面进入的视频免费午夜| 日韩成人伦理影院| 成人av在线播放网站| 免费电影在线观看免费观看|