• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于高階變異的多錯(cuò)誤定位實(shí)證研究①

    2021-05-21 07:22:06王海峰
    關(guān)鍵詞:測(cè)試用例語(yǔ)句算子

    婁 琨,尚 穎,王海峰

    (北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院,北京 100029)

    1 引言

    錯(cuò)誤定位是識(shí)別程序執(zhí)行過(guò)程中導(dǎo)致程序失敗的元素的過(guò)程[1].在軟件調(diào)試的眾多活動(dòng)中,錯(cuò)誤定位是其中最復(fù)雜耗時(shí)的活動(dòng)之一,尤其在大規(guī)模復(fù)雜程序中.為了減小定位錯(cuò)誤位置的人工成本,研究人員提出了眾多錯(cuò)誤定位方法,例如基于切片的方法[2],基于頻譜的方法[3,4],基于變異的方法等[5].

    在眾多自動(dòng)化錯(cuò)誤定位方法中,基于頻譜的錯(cuò)誤定位(Spectrum-Based Fault Localization,SBFL)方法[3,4,6]是一種被廣泛應(yīng)用的方法.SBFL 考慮到程序元素的二元覆蓋矩陣,但局限于其錯(cuò)誤定位精度不高.目前的研究顯示基于變異的錯(cuò)誤定位方法比最新的基于頻譜的方法有更高的錯(cuò)誤定位精度[7,8].MBFL是一種基于變異測(cè)試[7]的方法[9].截止目前,MBFL 分為兩種技術(shù):Metallaxis-FL[5]和MUSE[9].研究表明[10,11],Metallaxis-FL的錯(cuò)誤定位效率和效果都要優(yōu)于MUSE,因此本文選擇Metallaxis-FL 作為MBFL 原始方法.

    在MBFL 中,將一個(gè)程序p通過(guò)簡(jiǎn)單的語(yǔ)法變化生成一系列錯(cuò)誤程序p'(也就是變異體),生成變異體的規(guī)則被稱為變異算子.根據(jù)變異算子使用的次數(shù),變異體可以分成兩類:一階變異體(First-Order-Mutants,FOMs)和高階變異體(Higher-Order-Mutants,HOMs),其中FOMs是只使用一次變異算子生成,HOMs 則是通過(guò)多次使用變異算子生成[12].

    在之前的MBFL 研究中,只有FOMs 用于定位單錯(cuò)誤程序[5,13].但Xue 等[14]發(fā)現(xiàn)定位多錯(cuò)誤更有困難,耗時(shí)且成本巨大,同時(shí)多錯(cuò)誤之間存在錯(cuò)誤干擾現(xiàn)象,導(dǎo)致現(xiàn)有錯(cuò)誤定位技術(shù)的定位效果較差.另一方面,Offutt 等[15]發(fā)現(xiàn)殺死HOMs是否能檢測(cè)出復(fù)雜錯(cuò)誤是不確定的.為填補(bǔ)這項(xiàng)研究?jī)?nèi)容,我們進(jìn)行了一項(xiàng)大規(guī)模的實(shí)證研究,研究HOMs是否能提升錯(cuò)誤定位的精度,同時(shí)分析不同類別的HOMs 與多錯(cuò)誤之間的關(guān)系.

    本文中,我們著力研究FOMs和HOMs 在多錯(cuò)誤上的表現(xiàn).然后我們將HOMs 分成三類研究不同HOMs分類的錯(cuò)誤定位效果.在我們的實(shí)驗(yàn)設(shè)置中,首先應(yīng)用Agrawal 等[16]提出的變異算子生成FOMs,然后根據(jù)FOMs 構(gòu)建HOMs.特別地,針對(duì)多錯(cuò)誤定位場(chǎng)景,我們組合63 個(gè)單錯(cuò)誤程序生成100 個(gè)多錯(cuò)誤程序,錯(cuò)誤個(gè)數(shù)從2 個(gè)至5 個(gè).最后,我們將HOMs 分成3 類用于比較不同類別HOMs的表現(xiàn).

    2 背景與動(dòng)機(jī)

    2.1 基于變異的錯(cuò)誤定位技術(shù)

    基于變異的錯(cuò)誤定位技術(shù)是一種基于變異分析[8]的錯(cuò)誤定位方法.變異分析通過(guò)對(duì)被測(cè)程序進(jìn)行簡(jiǎn)單的語(yǔ)義改變,生成與原始程序不同的版本.這些人為植入錯(cuò)誤的程序被稱為變異體.生成變異體的規(guī)則被稱為變異算子.本文采用Agrawal 等[16]提出的C 語(yǔ)言的變異算子.

    在變異分析中,依據(jù)變異體和原始程序不同的輸出,使用變異體來(lái)評(píng)估測(cè)試用例的質(zhì)量.如果一個(gè)測(cè)試用例的執(zhí)行結(jié)果不同于原始程序的結(jié)果,那么這個(gè)變異體就被殺死,記為killed 或detected,反之稱這些變異體沒(méi)有被殺死,即not killed 或live.

    傳統(tǒng)基于變異的錯(cuò)誤定位技術(shù)主要包含以下4 個(gè)步驟:

    (1)獲得失敗測(cè)試用例覆蓋的語(yǔ)句:將測(cè)試用例T執(zhí)行被測(cè)程序P,獲得覆蓋信息和執(zhí)行結(jié)果(pass 或fail).然后測(cè)試用例就可以區(qū)分為通過(guò)測(cè)試用例集合Tp和失敗測(cè)試用例集合Tf.被失敗測(cè)試用例覆蓋的語(yǔ)句集合記為covf.

    (2)生成和執(zhí)行變異體:采用不同變異算子,對(duì)失敗測(cè)試用例覆蓋的語(yǔ)句植入錯(cuò)誤生成變異體.對(duì)某一條語(yǔ)句s生成的變異體集合記為M(s).然后將所有測(cè)試用例執(zhí)行某一個(gè)變異體m,依據(jù)執(zhí)行結(jié)果,Tk(m)為殺死變異體m的測(cè)試用例集合,Tn(m)為未殺死變異體m的測(cè)試用例集合.

    (3)計(jì)算程序語(yǔ)句懷疑度:變異體的懷疑度可以用不同的MBFL 公式計(jì)算得到,這些公式都基于以下4 個(gè)參數(shù):anp=|Tn∩Tp|,akp=|Tk∩Tp|,anf=|Tn∩Tf|,akf=|Tk∩Tf|.其中,anp表示通過(guò)測(cè)試用例中未殺死變異體的數(shù)量,akp表示通過(guò)測(cè)試用例中殺死變異體的數(shù)量,anf表示失敗測(cè)試用例中未殺死變異體的數(shù)量,akf表示失敗測(cè)試用例中殺死變異體的數(shù)量.表1列舉了3 個(gè)研究人員常用的懷疑度計(jì)算公式(Ochiai[17],Tarantula[18],Dstar[19]).本文的實(shí)驗(yàn)中使用Ochiai 作為MBFL 公式,因?yàn)槠湓贛BFL 研究中被廣泛使用[5,9],且效果好于其他公式[13].計(jì)算完變異體的懷疑度,將某條語(yǔ)句對(duì)應(yīng)的變異體集合的懷疑度最大值賦值為該條語(yǔ)句的懷疑度.

    (4)生成錯(cuò)誤定位報(bào)告:依據(jù)程序語(yǔ)句的懷疑度大小,降序排列生成程序語(yǔ)句排名表.開發(fā)人員可以根據(jù)排名表從上至下查找并修正程序錯(cuò)誤.

    表1 常用懷疑度公式

    基于上述過(guò)程的描述,我們可以發(fā)現(xiàn)MBFL是基于“大部分失敗測(cè)試用例殺死的變異體與程序錯(cuò)誤有關(guān)”假設(shè)的研究工作,其理論基礎(chǔ)是基于以下兩類假設(shè)[20]:(1)將變異體視為是原被測(cè)程序的一種潛在修復(fù);(2)將變異體視為原被測(cè)錯(cuò)誤程序的近似版本.變異體執(zhí)行測(cè)試用例后的狀態(tài)有兩種:殺死(killed)和未殺死(not killed).其中,殺死狀態(tài)分為:被失敗測(cè)試用例殺死(akf)和被通過(guò)測(cè)試用例殺死(akp).在被失敗測(cè)試用例殺死的變異體,存在兩種情況:(1)變異體的狀態(tài)從失敗變成通過(guò),即程序被修復(fù);(2)變異體仍然為失敗,但輸出與原始程序不同.這兩種情況都有助于揭示錯(cuò)誤位置,第一種程序修復(fù)的情況,可以依據(jù)變異的位置來(lái)確定程序錯(cuò)誤的位置.第二種情況,變異體的輸出與原始程序不同,其有可能是對(duì)錯(cuò)誤位置變異而造成的輸出不同,此變異體的行為特征與錯(cuò)誤程序更加相似.另一方面,被通過(guò)測(cè)試用例殺死的變異體,其更可能是對(duì)正確語(yǔ)句進(jìn)行變異,造成輸出與原始程序不同.并且,Moon 等[9]的研究發(fā)現(xiàn),錯(cuò)誤語(yǔ)句生成的變異體在失敗測(cè)試用例下更容易通過(guò),而正確語(yǔ)句生成的變異體在通過(guò)測(cè)試用例下更容易失敗.

    同時(shí),從表1變異體懷疑度公式中可以看出,變異體的懷疑度值與akf呈正相關(guān)關(guān)系,與akp呈負(fù)相關(guān)關(guān)系.本文通過(guò)計(jì)算變異體m在測(cè)試用例上akf與akp的差值來(lái)度量該變異體對(duì)錯(cuò)誤定位的影響程度,即貢獻(xiàn)度C(Contribution):

    其中,T表示測(cè)試用例集,P表示被測(cè)程序.C(T,P,m)越高表示該變異體的貢獻(xiàn)度越高.

    同理,對(duì)變異體集合M的平均貢獻(xiàn)度AC(Average Contribution)的計(jì)算公式為:

    其中,|M|表示集合中變異體的數(shù)量.

    目前研究人員對(duì)FOMs和HOMs 之間的關(guān)系進(jìn)行了研究.如Gopinath 等[21]的研究表明許多HOMs 與它們組成的FOMs 在語(yǔ)義上是不同的.然而,Langdon等[22]的研究表明被測(cè)試用例殺死的HOMs 數(shù)量高于殺死FOMs的數(shù)量,因此HOMs 相對(duì)于FOMs,更容易被測(cè)試用例檢出.

    在早期的研究中,Offutt 等[15]指出:殺死n階變異體是否意味著我們可以檢出復(fù)雜錯(cuò)誤還有待確定.為了回答這個(gè)問(wèn)題,我們是第一個(gè)進(jìn)行關(guān)于比較FOMs和HOMs 在定位程序錯(cuò)誤上的控制實(shí)驗(yàn)的.

    2.2 研究動(dòng)機(jī)

    在先前的研究中,大部分MBFL 技術(shù)基于單錯(cuò)誤假設(shè)[5,9,13,23].然而,實(shí)證研究表明[24],單個(gè)程序失敗往往是由系統(tǒng)中的多個(gè)故障觸發(fā)的.Digiuseppe和Jones 發(fā)現(xiàn),多個(gè)錯(cuò)誤對(duì)錯(cuò)誤定位的精度有負(fù)面影響[25].

    此外,Offutt的研究結(jié)果認(rèn)為,殺死n階變異體是否可以檢測(cè)到復(fù)雜的錯(cuò)誤還有待確定[15].在Debory和Wong的研究中[26],他們發(fā)現(xiàn)他們所提出的策略不能修復(fù)同一個(gè)程序中的多個(gè)錯(cuò)誤,是因?yàn)樗麄冎豢紤]了FOMs.換句話說(shuō),采用HOMs 來(lái)定位或修復(fù)程序中的多個(gè)缺陷是一種潛在可行的方法.因此,本文主要通過(guò)實(shí)證研究HOMs 在單錯(cuò)誤和多錯(cuò)誤程序上的定位效果,并分析多錯(cuò)誤與HOMs 之間的關(guān)系.

    (1)HOMs 分類

    依據(jù)變異體在程序中的不同變異位置,我們將HOMs分成3 類.為便于理解這3 類變異體,我們采用帶有兩個(gè)錯(cuò)誤(f1和f2)的程序p作為例子.首先,我們HOMf1為變異了錯(cuò)誤語(yǔ)句f1的HOMs 集合且HOMf1∈HOMs;HOMf2變異了錯(cuò)誤語(yǔ)句f2的HOMs 集合且HOMf2∈HOMs.

    其次,如圖1所示,我們將HOMs 分為以下3 類:

    類A:準(zhǔn)確高階變異體(Accurate HOMs).即,同時(shí)在錯(cuò)誤語(yǔ)句f1和f2 上變異生成的HOMs.(HOMf1∩HOMf2).

    類B:部分準(zhǔn)確高階變異體(Partially accurate HOMs).即,只在錯(cuò)誤語(yǔ)句f1 或f2 上變異生成的HOMs.(HOMf1HOMf2)∪(HOMf2HOMf1)

    類C:不準(zhǔn)確高階變異體(Inaccurate HOMs).即,在其他語(yǔ)句上變異生成的HOMs.(HOMs(HOMf1∪HOMf2)

    上述3 種HOMs 反映出不同HOMs的生成方法.我們推測(cè)這3 類HOMs 在錯(cuò)誤定位上有不同的表現(xiàn).基于這種推測(cè),我們進(jìn)行了一次大規(guī)模的實(shí)證研究來(lái)分析3 類HOMs的特性.

    (2)MBFL 例子

    為進(jìn)一步說(shuō)明我們的研究動(dòng)機(jī),我們使用圖2中的例子來(lái)說(shuō)明FOMs和HOMs 如何在MBFL 上使用.

    在圖2中,從左到右,第1 列為被測(cè)程序的源代碼,其中語(yǔ)句s4和s11為錯(cuò)誤語(yǔ)句.第2 列為對(duì)應(yīng)語(yǔ)句生成的變異體集合,第3 列劃分為6 部分,分別是6 個(gè)測(cè)試用例在變異體上的執(zhí)行信息,其中“1”表示測(cè)試用例殺死對(duì)應(yīng)的變異體,“0”表示測(cè)試用例沒(méi)有殺死對(duì)應(yīng)的變異體,第4和第5 列表示計(jì)算得到的變異體懷疑度和語(yǔ)句懷疑度,最后一列表示對(duì)應(yīng)語(yǔ)句的排名.在這個(gè)例子中,每一個(gè)變異體的懷疑度都是用Ochiai 公式計(jì)算的.在圖2中有兩個(gè)給出的結(jié)果,一個(gè)是FOMs的結(jié)果,另一個(gè)是HOMs的結(jié)果.

    圖1 HOMs 分類

    圖2 MBFL 例子

    使用FOMs 進(jìn)行錯(cuò)誤定位.假設(shè)MBFL 技術(shù)在失敗測(cè)試用例覆蓋的每條語(yǔ)句只生成兩個(gè)變異體,該程序下共生成14 個(gè)FOMs(列“FOMs”所示).MBFL 首先利用測(cè)試用例的殺死信息計(jì)算FOMs的懷疑度(列“FOMs 懷疑度”所示).接下來(lái),同一語(yǔ)句生成的變異體中,取最大的懷疑度記為該語(yǔ)句的懷疑度.最后,在“排名”列中,MBFL 將錯(cuò)誤語(yǔ)句s4和s11都排在第3 位.

    使用HOMs 進(jìn)行錯(cuò)誤定位.我們首先利用來(lái)自不同語(yǔ)句的兩個(gè)FOMs 構(gòu)造HOMs,最后生成3 類共14 條HOMs(列“HOMs”所示).計(jì)算得到的HOMs 懷疑度如列“HOMs 懷疑度”所示.接著,為保證公平性,我們通過(guò)計(jì)算語(yǔ)句相關(guān)HOMs 懷疑度的均值作為該語(yǔ)句的懷疑度.以語(yǔ)句s1為例子,與s1相關(guān)的HOMs 有3 個(gè)(HOM6,HOM11和HOM13),其對(duì)應(yīng)的懷疑度分別為1.00,0.41,和1.00.因此,計(jì)算得到的語(yǔ)句s1的懷疑度為Sus(s1)=(1.00+0.41+1.00)/3=0.80.最終,使用HOMs計(jì)算得到的語(yǔ)句懷疑度如列“語(yǔ)句懷疑度”所示.最終,HOMs 將錯(cuò)誤語(yǔ)句s4和s11分別排在第3 名和第2 名.

    基于上述的例子,我們可以發(fā)現(xiàn)FOMs 將兩條錯(cuò)誤語(yǔ)句排在前五名,然而HOMs 將錯(cuò)誤語(yǔ)句排在前三名,表明HOMs 在這個(gè)例子中有更好的錯(cuò)誤定位效果.更進(jìn)一步,在高階變異錯(cuò)誤定位中,三類變異體對(duì)錯(cuò)誤定位有不同的貢獻(xiàn),結(jié)合式(2),準(zhǔn)確HOMs的平均貢獻(xiàn)度為:

    部分準(zhǔn)確HOMs的平均貢獻(xiàn)度為:

    不準(zhǔn)確HOMs的平均貢獻(xiàn)度為:

    從以上結(jié)果可以看出,準(zhǔn)確HOMs的平均貢獻(xiàn)度等于部分準(zhǔn)確HOMs,不準(zhǔn)確HOMs的平均貢獻(xiàn)度最低.據(jù)我們所知,本文首次研究FOMs和HOMs 在多錯(cuò)誤程序上的定位效果.更進(jìn)一步,我們研究了三類HOMs的錯(cuò)誤定位效果并分析其差異.

    3 實(shí)驗(yàn)設(shè)計(jì)

    本章討論實(shí)驗(yàn)中使用的程序和實(shí)驗(yàn)設(shè)計(jì)流程,用以解決提出的研究問(wèn)題.圖3中顯示了實(shí)驗(yàn)研究設(shè)計(jì)流程.下面將依次介紹設(shè)計(jì)流程的每個(gè)部分.

    圖3 實(shí)驗(yàn)設(shè)計(jì)流程

    3.1 實(shí)驗(yàn)程序

    本文選擇了錯(cuò)誤定位領(lǐng)域常用的軟件基準(zhǔn)程序庫(kù)(Subject Infrastructure Repository,SIR)[27]中的5 個(gè)程序作為實(shí)驗(yàn)對(duì)象,分別為printtokens2,schedule2,totinfo,tcas和sed.這些程序均為開源的C 程序,其中前4 個(gè)程序來(lái)自西門子套件(Siemens Suite),sed是大型的真實(shí)錯(cuò)誤程序.實(shí)驗(yàn)中使用的錯(cuò)誤版本和測(cè)試用例均可在SIR 庫(kù)中下載.這些程序在高階變異測(cè)試領(lǐng)域中廣泛使用[12,28-30],同時(shí)也經(jīng)常應(yīng)用在錯(cuò)誤定位等相關(guān)的研究中[18,19,23,26].因此我們認(rèn)為本文測(cè)試數(shù)據(jù)集所得出的結(jié)論具有一定的普適性.

    表2列出了基準(zhǔn)程序的具體信息,包括程序名稱,程序所有的版本數(shù)量和實(shí)驗(yàn)中使用的數(shù)量,程序的平均代碼行以及FOMs和HOMs的數(shù)量.其中,FOMs 列的“生成的數(shù)量”子列表示對(duì)應(yīng)程序生成的FOMs 總數(shù),而“使用”子列表示實(shí)驗(yàn)中實(shí)際運(yùn)行的FOMs 總數(shù).本文共選擇了63 個(gè)單錯(cuò)誤版本程序作為實(shí)驗(yàn)對(duì)象,部分版本因?yàn)殄e(cuò)誤語(yǔ)句無(wú)法生成有效變異體而導(dǎo)致測(cè)試用例無(wú)法檢測(cè)出該版本的錯(cuò)誤,或因?yàn)閳?zhí)行過(guò)程中出現(xiàn)異常,無(wú)法收集到完整的執(zhí)行信息.

    表2 實(shí)驗(yàn)基準(zhǔn)程序及變異體信息

    3.2 生成變異體

    為了研究FOMs和HOMs 在單錯(cuò)誤和多錯(cuò)誤程序中的表現(xiàn),實(shí)驗(yàn)首先需要生成FOMs和HOMs.在這個(gè)步驟中,我們收集被失敗測(cè)試用例覆蓋的程序語(yǔ)句,通過(guò)變異算子植入錯(cuò)誤到這些語(yǔ)句,進(jìn)而生成相應(yīng)的變異體.表3列出了Agrawal 等[16]提出的10 種經(jīng)典C 語(yǔ)言變異算子.

    表3 經(jīng)典C 語(yǔ)言變異算子

    對(duì)于生成FOMs,我們對(duì)fail 測(cè)試用例覆蓋的每條語(yǔ)句使用所有變異算子進(jìn)行變異,每次只對(duì)一條語(yǔ)句變異,最終生成161 218 個(gè)FOMs.表2“FOMs”列的“(使用)”子列中列出了每個(gè)程序所使用的FOMs數(shù)量.

    對(duì)于生成高階變異體,在已有高階變異測(cè)試的研究中,對(duì)變異體階數(shù)的研究有所不同,有關(guān)注于階數(shù)較低(2 至4 階)的研究[15,28,29,31],也有關(guān)注階數(shù)較高(2 至15 階)的研究[12,32-35].本文首次考慮將高階變異體應(yīng)用于多錯(cuò)誤定位,然而在實(shí)際程序中錯(cuò)誤數(shù)量是不可知的,因此結(jié)合前人的研究成果,我們選擇生成2 至7 階的變異體來(lái)模擬多錯(cuò)誤情況.在此基礎(chǔ)上,為了進(jìn)一步探究不同變異位置的高階變異體與錯(cuò)誤定位的關(guān)系,我們依據(jù)不同的變異位置對(duì)變異體進(jìn)行了劃分,并通過(guò)理論和實(shí)驗(yàn)分析發(fā)現(xiàn)錯(cuò)誤語(yǔ)句處生成的變異體(如準(zhǔn)確HOMs和部分準(zhǔn)確HOMs)具有更優(yōu)的錯(cuò)誤定位效果.另一方面,考慮到MBFL 巨大的執(zhí)行開銷,我們選擇生成每階HOMs的數(shù)量與FOMs 數(shù)量相同來(lái)減少HOMs的數(shù)量.假設(shè)生成1000 個(gè)FOMs,然后2 階變異體和3 階變異體的數(shù)量也是1000;因此最終生成的HOMs為6000.在我們的實(shí)驗(yàn)中,采用一階變異算子FOP 構(gòu)建HOMs.具體來(lái)說(shuō),首先隨機(jī)選擇k條失敗測(cè)試用例覆蓋的語(yǔ)句,然后對(duì)每條選擇的語(yǔ)句,隨機(jī)選擇一個(gè)與其相對(duì)應(yīng)的一階變異算子,最終生成一個(gè)k階變異體.實(shí)驗(yàn)共生成967 308 個(gè)HOMs,其中實(shí)際使用的數(shù)量如表2所示(“HOMs”列的“(使用)”子列).

    3.3 構(gòu)建多錯(cuò)誤定位場(chǎng)景

    為了構(gòu)建實(shí)驗(yàn)中的多錯(cuò)誤定位場(chǎng)景,我們通過(guò)隨機(jī)組合SIR 庫(kù)中的原始單錯(cuò)誤程序獲得多錯(cuò)誤程序.每個(gè)多錯(cuò)誤程序中的錯(cuò)誤數(shù)量是2 到5 個(gè).最終生成100 個(gè)版本的多錯(cuò)誤程序.最后,依據(jù)多錯(cuò)誤程序生成的變異體,運(yùn)行變異體收集測(cè)試結(jié)果用于效果分析.

    3.4 評(píng)估MBFL的效果

    為了評(píng)估FOMs和HOMs 在MBFL 中的定位效果,我們使用了3 種研究人員常用的評(píng)估指標(biāo)[36-39].

    (1)EXAM:EXAM[36,37]是錯(cuò)誤定位領(lǐng)域廣泛使用的評(píng)價(jià)指標(biāo)之一,用于評(píng)估開發(fā)人員找到準(zhǔn)確錯(cuò)誤位置之前需要檢查的程序?qū)嶓w的比例,因此EXAM值越小表明對(duì)應(yīng)的錯(cuò)誤定位效果越好[36,37].EXAM的公式定義如下:

    式(6)中,分子是錯(cuò)誤語(yǔ)句的排名,分母是需要檢查的程序語(yǔ)句數(shù)量的總和.rank的計(jì)算公式為:

    式(7)中,i表示懷疑度值大于錯(cuò)誤語(yǔ)句的正確語(yǔ)句的數(shù)量,j表示懷疑度值等于錯(cuò)誤語(yǔ)句的正確語(yǔ)句的數(shù)量.為更接近真實(shí)定位場(chǎng)景,我們選擇第i+1 位排名與第i+j位排名的平均作為錯(cuò)誤語(yǔ)句的排名.

    (2)Top-N:Top-N 用于評(píng)估排名前N個(gè)程序候選元素中,能定位到真實(shí)錯(cuò)誤的個(gè)數(shù)[38].在Kochhar 等的研究發(fā)現(xiàn),73.58%的開發(fā)者只檢查排名前5的程 序元素,并且?guī)缀跛械拈_發(fā)者認(rèn)為檢查排名前10的程序元素是可接受的上限[39].因此,參考之前的研究[36,38],我們將N設(shè)定為1,3,5.同時(shí),假設(shè)兩條語(yǔ)句有相同的懷疑度,我們同樣計(jì)算這些語(yǔ)句排名的平均值(如式(7)所示).Top-N 越大表明對(duì)應(yīng)的錯(cuò)誤定位技術(shù)越好.

    (3)MAP:MAP (Mean Average Precision)是信息檢索領(lǐng)域用于評(píng)估語(yǔ)句排序質(zhì)量的指標(biāo),是所有錯(cuò)誤平均精度的平均值[40].AP(Average Precision)的計(jì)算公式如下:

    式(8)中,i是程序語(yǔ)句的排名,M是排名列表中語(yǔ)句的總數(shù),pos(i)是布爾函數(shù),pos(i)=1 表示第i條語(yǔ)句是錯(cuò)誤的,反之pos(i)=0 表示第i條語(yǔ)句是正確的.P(i)是每個(gè)排名i的定位精度.

    MAP是錯(cuò)誤集合的AP的平均值,MAP 越大表明對(duì)應(yīng)的錯(cuò)誤定位技術(shù)越好.

    4 實(shí)驗(yàn)結(jié)果

    4.1 研究問(wèn)題

    為了評(píng)估HOMs是否能提高錯(cuò)誤定位的精度,本文從錯(cuò)誤定位精度角度出發(fā),提出如下研究問(wèn)題:

    (1)RQ1:與FOMs 相比,不同階數(shù)的HOMs的多錯(cuò)誤定位精度如何?

    (2)RQ2:與FOMs 相比,不同類型的HOMs的多錯(cuò)誤定位精度如何?

    4.2 實(shí)驗(yàn)結(jié)果

    為探究RQ1,我們首先針對(duì)多錯(cuò)誤程序生成一階HOMs,然后運(yùn)行這些變異體計(jì)算得到每個(gè)程序?qū)?yīng)的EXAM,Top-N和MAP.本文使用Metallaxis-FL為原始MBFL 對(duì)照組,并生成2 階到7 階的HOMs.

    圖4中展示了MBFL 使用FOMs和不同階的HOMs的錯(cuò)誤檢查比例.x軸表示代碼檢查比例,y軸表示不同程序所有錯(cuò)誤版本查找到的累積錯(cuò)誤比例,對(duì)應(yīng)的曲線越接近y軸表明對(duì)應(yīng)的變異體的檢測(cè)錯(cuò)誤數(shù)量越多,因此對(duì)應(yīng)的變異體錯(cuò)誤定位效果更好.

    圖4 FOMs 與不同階 HOMs的代碼檢查比例比較

    從圖4(a)中可以看出,7-HOMs 檢測(cè)20%的程序代碼能檢測(cè)到68%的錯(cuò)誤,而FOMs 只能檢測(cè)到55%的錯(cuò)誤.同理,在schedule2,totinfo和sed 上可以看出,HOMs 檢測(cè)更少的代碼能檢測(cè)到更多的錯(cuò)誤,但在tcas 程序上FOMs的檢測(cè)效果優(yōu)于HOMs.

    從Top-1,Top-3,Top-5 指標(biāo)來(lái)看,FOMs 在2 錯(cuò)誤程序上的定位效果比HOMs 更好,而HOMs 在3 錯(cuò)誤和5 錯(cuò)誤程序上的表現(xiàn)比FOMs 更好.表4中顯示了FOMs和HOMs 在多錯(cuò)誤程序定位場(chǎng)景下排在前1,3,5 位錯(cuò)誤的數(shù)量.圖中包括4 種錯(cuò)誤數(shù)量的程序統(tǒng)計(jì)結(jié)果.對(duì)2 錯(cuò)誤程序,FOMs和各階高階變異體都將19 個(gè)錯(cuò)誤排在第一名.除了7-HOMs,FOMs 比其他階數(shù)的HOMs的Top-3,Top-5 要更高.對(duì)3 錯(cuò)誤程序,3-HOMs比FOMs和其他階數(shù)的變異體在Top-3和Top-5 上更高.同時(shí)FOMs 在4 錯(cuò)誤程序中,Top-3和Top-5 上的表現(xiàn)略優(yōu)于HOMs.最后,在5 錯(cuò)誤程序上,FOMs、6-HOMs和7-HOMs的Top-1 值最高,而6-HOMs和3-HOMs 分別在Top-3和Top-5 上表現(xiàn)最好.

    從MAP 指標(biāo)來(lái)看,FOMs 在4 錯(cuò)誤程序上表現(xiàn)最優(yōu),在其他錯(cuò)誤程序上與HOMs 有相近的表現(xiàn).從表5可以看出,FOMs 在4 錯(cuò)誤程序上的MAP 均值最高.在其他錯(cuò)誤程序上與HOMs 有相近的表現(xiàn),例如3 錯(cuò)誤程序FOMs的MAP 均值與4 階到7 階的變異體的MAP 均值相同.

    綜上可以看出,HOMs 在一些程序上的檢錯(cuò)能力優(yōu)于FOMs.同時(shí),FOMs 在2 錯(cuò)誤和4 錯(cuò)誤程序上的定位效果較好,而HOMs 在3 錯(cuò)誤和5 錯(cuò)誤程序上的效果更好.HOMs 在3 錯(cuò)誤和4 錯(cuò)誤程序上有更大的Top-N 值,并且在一些階數(shù)的HOMs 下,計(jì)算的MAP均值都要高于FOMs.

    表4 FOMs和不同階HOMs的TOP-N 值比較

    表5 FOMs和不同階HOMs的平均MAP 值比較

    由于FOMs 只使用一次變異算子生成而HOMs 使用多次變異算子生成.因此在對(duì)同一個(gè)程序變異生成等量變異體時(shí),HOMs 有更大的概率變異到錯(cuò)誤語(yǔ)句,從而增大變異體被殺死的概率,相應(yīng)akf值也會(huì)更高,則變異體懷疑度也越高,最終計(jì)算的語(yǔ)句懷疑度也越高,其定位效果也更優(yōu)(如圖4(a),圖4(c),圖4(e);表4“3 錯(cuò)誤”行,“5 錯(cuò)誤”行;表5“3 錯(cuò)誤”行,“5 錯(cuò)誤”行).但如果HOMs 中更多變異體是對(duì)正確語(yǔ)句變異生成的,那么相應(yīng)的akp值會(huì)更高,計(jì)算的語(yǔ)句懷疑度值也更高,錯(cuò)誤定位效果將更差.(如圖4(d);表4“2 錯(cuò)誤”行,“4 錯(cuò)誤”行;表5“2 錯(cuò)誤”行,“4 錯(cuò)誤”行).綜合比較可以得出HOMs 在一定程度上能提高多錯(cuò)誤定位的效果.

    為探究RQ2,我們首先收集多錯(cuò)誤程序所有版本下3 類HOMs的EXAM 值,然后分別計(jì)算Top-N和MAP 指標(biāo).為了便于展示,我們將3 類HOMs 分別表示為“Accurate”(準(zhǔn)確HOMs),“Part-accurate”(部分準(zhǔn)確HOMs)和“Inaccurate”(不準(zhǔn)確HOMs).圖5表示MBFL 使用FOMs和3 類HOMs 在不同程序上所有版本的錯(cuò)誤檢查比例.從圖5(a)-圖5(c)中可以看出Accurate HOMs 與FOMs 有相近的表現(xiàn),并且Accurate HOMs的檢測(cè)效果優(yōu)于FOMs.而在tcas和sed (圖5(d)、圖5(e))程序上,Part-accurate的檢測(cè)效果更好,檢查更少量的代碼而找到更多的錯(cuò)誤.同時(shí)在所有程序上,Inaccurate的檢測(cè)效果最差.

    圖5 FOMs 與不同類 HOMs 代碼檢查比例比較

    從Top-N 指標(biāo)來(lái)看,準(zhǔn)確HOMs 比FOMs和另外兩類變異體能將更多錯(cuò)誤排在前1,3,5 名.表6中顯示,在2 錯(cuò)誤程序上,準(zhǔn)確變異體與FOMs 能夠排列相同數(shù)量的錯(cuò)誤在Top-1,Top-3和Top-5,而在其他錯(cuò)誤程序版本中,準(zhǔn)確HOMs的Top-N 指標(biāo)均為最大.同時(shí)可以發(fā)現(xiàn),部分準(zhǔn)確HOMs 在4 錯(cuò)誤和5 錯(cuò)誤程序上,有更高的Top-5 值.然而不準(zhǔn)確HOMs的表現(xiàn)最差.

    從MAP 指標(biāo)來(lái)看,準(zhǔn)確HOMs的表現(xiàn)同樣優(yōu)于FOMs,部分準(zhǔn)確和不準(zhǔn)確HOMs.表7中準(zhǔn)確HOMs 與FOMs 在2 錯(cuò)誤程序下有相同MAP 平均值,而在3,4,5錯(cuò)誤程序下,準(zhǔn)確HOMs 仍然比另外兩類變異體的定位效果好,其MAP 平均值分別為0.0017,0.0009,和0.0008.

    綜上所述我們可以發(fā)現(xiàn),準(zhǔn)確HOMs的錯(cuò)誤定位精度高于FOMs、部分準(zhǔn)確HOMs和不準(zhǔn)確HOMs.在一些情況下,部分準(zhǔn)確HOMs 有更好的定位效果,但普遍情況下不準(zhǔn)確HOMs的表現(xiàn)都很差.

    表6 FOMs和不同類HOMs的Top-N 值比較

    表7 FOMs和不同類HOMs的MAP 值比較

    三類HOMs 由于其不同的生成機(jī)制,造成最終定位效果的差異.首先,準(zhǔn)確HOMs 準(zhǔn)確變異錯(cuò)誤語(yǔ)句,并且對(duì)正確語(yǔ)句不作任何變異,幾乎能夠被所有的失敗測(cè)試用例殺死而不被通過(guò)測(cè)試用例殺死,其akf值高且akp值低,因此最終計(jì)算的錯(cuò)誤語(yǔ)句的懷疑度值會(huì)高,其定位效果也就更優(yōu)(如圖5,表6,表7).其次,部分準(zhǔn)確HOMs 同時(shí)對(duì)錯(cuò)誤語(yǔ)句和正確語(yǔ)句變異,會(huì)被部分失敗測(cè)試用例和正確測(cè)試用例殺死.其定位效果取決于被失敗測(cè)試用例殺死的比例,比例較高則定位精度高,比例較低則定位精度低.因此部分準(zhǔn)確HOMs的定位效果存在波動(dòng)(如圖5,表6“5 錯(cuò)誤”行,表7).最后,不準(zhǔn)確HOMs 只變異正確語(yǔ)句,不對(duì)錯(cuò)誤語(yǔ)句進(jìn)行變異,那么其更容易被正確測(cè)試用例殺死且不易被失敗測(cè)試用例殺死,計(jì)算的錯(cuò)誤語(yǔ)句的懷疑度較低,定位效果也就最差(如圖5,表6,表7).因此生成一些特定的HOMs,比如準(zhǔn)確HOMs,能有效提升多錯(cuò)誤定位的精度.

    5 結(jié)論與展望

    為探究HOMs是否能提升多錯(cuò)誤程序定位,本文進(jìn)行了大規(guī)模的實(shí)證研究.研究結(jié)果發(fā)現(xiàn),HOMs 在3 錯(cuò)誤和5 錯(cuò)誤程序上,有更高的錯(cuò)誤定位精度.根據(jù)不同的變異位置,我們將HOMs 分成3 類.我們發(fā)現(xiàn)準(zhǔn)確HOMs 比FOMs和其他兩類變異體有更好的多錯(cuò)誤定位效果.因此,HOMs 在一定程序上能夠提升多錯(cuò)誤程序定位,并建議研究人員設(shè)計(jì)方法生成更有效的變異體,比如準(zhǔn)確HOMs.在后續(xù)的研究中,作者將研究新的策略用于選擇有效提升多錯(cuò)誤定位精度的變異體.同時(shí)考慮擴(kuò)大實(shí)驗(yàn)數(shù)據(jù)集來(lái)驗(yàn)證HOMs 對(duì)錯(cuò)誤定位的影響.

    猜你喜歡
    測(cè)試用例語(yǔ)句算子
    擬微分算子在Hp(ω)上的有界性
    基于SmartUnit的安全通信系統(tǒng)單元測(cè)試用例自動(dòng)生成
    重點(diǎn):語(yǔ)句銜接
    各向異性次Laplace算子和擬p-次Laplace算子的Picone恒等式及其應(yīng)用
    一類Markov模算子半群與相應(yīng)的算子值Dirichlet型刻畫
    基于混合遺傳算法的回歸測(cè)試用例集最小化研究
    精彩語(yǔ)句
    Roper-Suffridge延拓算子與Loewner鏈
    基于依賴結(jié)構(gòu)的測(cè)試用例優(yōu)先級(jí)技術(shù)
    如何搞定語(yǔ)句銜接題
    久久人妻福利社区极品人妻图片 | 国产成人啪精品午夜网站| 国产精品一区二区免费欧美 | 男女午夜视频在线观看| 女人久久www免费人成看片| 黄频高清免费视频| 性少妇av在线| 大片免费播放器 马上看| 国产亚洲一区二区精品| 国产午夜精品一二区理论片| 电影成人av| 一级毛片 在线播放| 国产一区二区 视频在线| 热99国产精品久久久久久7| 久久久久久久国产电影| 国产精品.久久久| 国产精品偷伦视频观看了| 午夜激情久久久久久久| 国产精品久久久久成人av| 欧美日韩黄片免| 国产野战对白在线观看| videosex国产| 黄色片一级片一级黄色片| 国产人伦9x9x在线观看| 一级黄色大片毛片| 精品一品国产午夜福利视频| 母亲3免费完整高清在线观看| e午夜精品久久久久久久| 精品少妇久久久久久888优播| 美女国产高潮福利片在线看| 日韩欧美一区视频在线观看| 日韩一本色道免费dvd| 久久久久视频综合| 亚洲精品av麻豆狂野| 日韩免费高清中文字幕av| 麻豆乱淫一区二区| 久久人人爽人人片av| www.自偷自拍.com| av欧美777| 一二三四社区在线视频社区8| 国产在线免费精品| 1024香蕉在线观看| 捣出白浆h1v1| 看十八女毛片水多多多| 欧美日韩综合久久久久久| 久久人妻福利社区极品人妻图片 | 色播在线永久视频| 国产精品久久久久成人av| 欧美日韩精品网址| 一区二区三区激情视频| 热re99久久精品国产66热6| 99久久人妻综合| 久久狼人影院| 久久精品人人爽人人爽视色| 国产成人精品无人区| 最新在线观看一区二区三区 | 尾随美女入室| 制服诱惑二区| 国精品久久久久久国模美| 超碰97精品在线观看| 宅男免费午夜| 这个男人来自地球电影免费观看| 国产日韩一区二区三区精品不卡| 婷婷色av中文字幕| 在线天堂中文资源库| 91国产中文字幕| 久久ye,这里只有精品| 国产精品一区二区精品视频观看| 日本猛色少妇xxxxx猛交久久| 亚洲国产最新在线播放| 在线观看人妻少妇| 久久人妻福利社区极品人妻图片 | 久久亚洲精品不卡| 日韩av不卡免费在线播放| 亚洲精品国产一区二区精华液| 欧美 亚洲 国产 日韩一| 人人妻,人人澡人人爽秒播 | 黄色a级毛片大全视频| 精品少妇一区二区三区视频日本电影| 亚洲精品久久成人aⅴ小说| 亚洲欧美精品自产自拍| 亚洲国产欧美在线一区| 老司机在亚洲福利影院| 欧美老熟妇乱子伦牲交| 成人黄色视频免费在线看| 天堂8中文在线网| 99热全是精品| 国产一区二区三区综合在线观看| 国产成人av教育| 国产精品一区二区免费欧美 | 一边摸一边抽搐一进一出视频| 又紧又爽又黄一区二区| 每晚都被弄得嗷嗷叫到高潮| av在线老鸭窝| 国产不卡av网站在线观看| av有码第一页| 永久免费av网站大全| 亚洲国产av新网站| 夫妻午夜视频| 丁香六月欧美| 国产精品熟女久久久久浪| 在线观看www视频免费| 精品亚洲成a人片在线观看| 欧美激情 高清一区二区三区| 丝袜美腿诱惑在线| 亚洲五月婷婷丁香| 美女扒开内裤让男人捅视频| 国产亚洲av高清不卡| 久久天堂一区二区三区四区| 免费人妻精品一区二区三区视频| 国产免费视频播放在线视频| 免费黄频网站在线观看国产| 国产av一区二区精品久久| 高清视频免费观看一区二区| 欧美变态另类bdsm刘玥| 在线精品无人区一区二区三| 国产成人精品在线电影| 90打野战视频偷拍视频| 麻豆av在线久日| bbb黄色大片| 国产男人的电影天堂91| 久久国产精品人妻蜜桃| 无限看片的www在线观看| 亚洲成人免费电影在线观看 | 国产精品一国产av| 桃花免费在线播放| 久久热在线av| 亚洲自偷自拍图片 自拍| 妹子高潮喷水视频| 久久精品国产a三级三级三级| 在线观看免费视频网站a站| 亚洲av日韩精品久久久久久密 | av天堂久久9| 五月天丁香电影| 日韩精品免费视频一区二区三区| 这个男人来自地球电影免费观看| 美女福利国产在线| 91成人精品电影| 叶爱在线成人免费视频播放| 中文字幕色久视频| 97精品久久久久久久久久精品| 蜜桃在线观看..| 国产一区二区三区av在线| 日日夜夜操网爽| 黑人巨大精品欧美一区二区蜜桃| 丝袜美腿诱惑在线| 亚洲精品国产色婷婷电影| 99热全是精品| 国产三级黄色录像| av又黄又爽大尺度在线免费看| 国产老妇伦熟女老妇高清| 午夜免费观看性视频| 免费高清在线观看视频在线观看| 午夜福利视频精品| av欧美777| 超色免费av| 91老司机精品| 丝袜喷水一区| 91国产中文字幕| 真人做人爱边吃奶动态| 亚洲欧美色中文字幕在线| 一级片免费观看大全| 国产高清国产精品国产三级| 亚洲精品一区蜜桃| 黑人巨大精品欧美一区二区蜜桃| 一级毛片电影观看| 美女扒开内裤让男人捅视频| 亚洲成人手机| 9191精品国产免费久久| 欧美成人午夜精品| 不卡av一区二区三区| 飞空精品影院首页| 女人精品久久久久毛片| 亚洲精品国产色婷婷电影| 国产黄色视频一区二区在线观看| 午夜免费成人在线视频| 日韩,欧美,国产一区二区三区| 免费女性裸体啪啪无遮挡网站| 后天国语完整版免费观看| 夫妻午夜视频| 午夜日韩欧美国产| 国产亚洲一区二区精品| 精品人妻在线不人妻| 90打野战视频偷拍视频| 国产一区二区三区av在线| 国产精品一区二区在线不卡| 亚洲精品日本国产第一区| 国产成人系列免费观看| 久久久国产精品麻豆| 国产精品一国产av| 久久国产精品人妻蜜桃| 在现免费观看毛片| 老熟女久久久| 99re6热这里在线精品视频| 免费看十八禁软件| 一区二区av电影网| 黄色怎么调成土黄色| 国产精品久久久久久精品电影小说| 亚洲av综合色区一区| 丰满饥渴人妻一区二区三| 悠悠久久av| 女人高潮潮喷娇喘18禁视频| 亚洲精品一区蜜桃| 日韩视频在线欧美| 亚洲av成人不卡在线观看播放网 | 欧美日本中文国产一区发布| 亚洲成av片中文字幕在线观看| 精品久久久久久久毛片微露脸 | 亚洲精品第二区| 日韩中文字幕欧美一区二区 | 亚洲第一青青草原| 久久精品aⅴ一区二区三区四区| 视频区欧美日本亚洲| 亚洲色图 男人天堂 中文字幕| 欧美国产精品一级二级三级| www日本在线高清视频| 久久久国产欧美日韩av| 日韩熟女老妇一区二区性免费视频| 成人手机av| av一本久久久久| 18禁黄网站禁片午夜丰满| 黄色毛片三级朝国网站| 999精品在线视频| 亚洲成av片中文字幕在线观看| 久久九九热精品免费| 久久青草综合色| 少妇精品久久久久久久| 国产国语露脸激情在线看| 亚洲一区中文字幕在线| 日本黄色日本黄色录像| 国产片内射在线| 黑人巨大精品欧美一区二区蜜桃| 91国产中文字幕| 一本大道久久a久久精品| 亚洲第一青青草原| 亚洲精品国产一区二区精华液| 欧美日韩亚洲高清精品| 国产精品 国内视频| 国产免费视频播放在线视频| 午夜福利,免费看| 成人国语在线视频| 欧美+亚洲+日韩+国产| 国产女主播在线喷水免费视频网站| 啦啦啦中文免费视频观看日本| 国产xxxxx性猛交| 美女主播在线视频| 九色亚洲精品在线播放| 国产熟女欧美一区二区| 日日摸夜夜添夜夜爱| h视频一区二区三区| 嫁个100分男人电影在线观看 | 人妻 亚洲 视频| 一区二区三区精品91| 人妻人人澡人人爽人人| 国产一区二区三区综合在线观看| 搡老乐熟女国产| 一个人免费看片子| 亚洲国产av新网站| 亚洲欧美激情在线| 满18在线观看网站| 王馨瑶露胸无遮挡在线观看| 欧美黑人精品巨大| 日韩制服骚丝袜av| 亚洲精品国产av蜜桃| 视频在线观看一区二区三区| 男人爽女人下面视频在线观看| 亚洲,欧美,日韩| 久久久久国产一级毛片高清牌| 飞空精品影院首页| 成人手机av| a级毛片黄视频| 看十八女毛片水多多多| 免费在线观看日本一区| 在线观看免费视频网站a站| 亚洲国产av新网站| 狠狠精品人妻久久久久久综合| 伊人亚洲综合成人网| av国产久精品久网站免费入址| 一本一本久久a久久精品综合妖精| 国产一区亚洲一区在线观看| 极品少妇高潮喷水抽搐| 女警被强在线播放| 秋霞在线观看毛片| 亚洲欧美一区二区三区黑人| av电影中文网址| 亚洲国产日韩一区二区| 精品第一国产精品| 国产午夜精品一二区理论片| 美女扒开内裤让男人捅视频| 巨乳人妻的诱惑在线观看| 少妇人妻 视频| 久久久精品区二区三区| 婷婷色麻豆天堂久久| 婷婷色综合www| 国产欧美亚洲国产| 男女国产视频网站| av欧美777| 十分钟在线观看高清视频www| 晚上一个人看的免费电影| 麻豆av在线久日| 久久精品亚洲熟妇少妇任你| 中文字幕人妻丝袜制服| 99久久综合免费| 人人妻人人爽人人添夜夜欢视频| 伦理电影免费视频| 免费少妇av软件| 国产国语露脸激情在线看| 丰满迷人的少妇在线观看| 午夜免费成人在线视频| 久久这里只有精品19| 日韩一区二区三区影片| 亚洲国产欧美一区二区综合| 日本欧美国产在线视频| 性色av乱码一区二区三区2| 99国产精品99久久久久| 国产三级黄色录像| 啦啦啦在线免费观看视频4| 蜜桃在线观看..| 欧美日韩亚洲国产一区二区在线观看 | 男人舔女人的私密视频| 女性生殖器流出的白浆| 99久久精品国产亚洲精品| 女人精品久久久久毛片| 国产在线视频一区二区| 国产一区二区三区av在线| 久久精品亚洲熟妇少妇任你| 国产一区二区三区综合在线观看| 又粗又硬又长又爽又黄的视频| 久久久精品区二区三区| 国产有黄有色有爽视频| 久久影院123| 精品亚洲乱码少妇综合久久| 汤姆久久久久久久影院中文字幕| 午夜91福利影院| 熟女av电影| 国产极品粉嫩免费观看在线| 男人爽女人下面视频在线观看| 国产在线免费精品| 中文精品一卡2卡3卡4更新| 又紧又爽又黄一区二区| 午夜福利免费观看在线| av网站在线播放免费| 亚洲熟女毛片儿| 成年美女黄网站色视频大全免费| 久久久久久久久免费视频了| 在线观看人妻少妇| 男女边摸边吃奶| 久久ye,这里只有精品| 国产一级毛片在线| 国产成人精品久久久久久| 日韩制服骚丝袜av| 欧美日韩视频高清一区二区三区二| 美女视频免费永久观看网站| 狠狠婷婷综合久久久久久88av| 搡老乐熟女国产| 国产在线一区二区三区精| 国产福利在线免费观看视频| 亚洲欧洲精品一区二区精品久久久| 飞空精品影院首页| 成年美女黄网站色视频大全免费| 搡老乐熟女国产| 亚洲伊人色综图| 1024视频免费在线观看| 国产成人精品久久二区二区免费| 成年动漫av网址| 午夜av观看不卡| 99九九在线精品视频| 国产精品久久久人人做人人爽| 欧美日韩一级在线毛片| av不卡在线播放| 亚洲成av片中文字幕在线观看| 国产精品亚洲av一区麻豆| 亚洲成人免费电影在线观看 | 国产精品一区二区在线不卡| 好男人电影高清在线观看| 国产精品久久久久久人妻精品电影 | 香蕉国产在线看| 久久精品久久久久久久性| 久久性视频一级片| 每晚都被弄得嗷嗷叫到高潮| 亚洲欧洲国产日韩| 亚洲国产精品国产精品| 亚洲av男天堂| av在线app专区| 国产97色在线日韩免费| 久久久国产欧美日韩av| 欧美日韩亚洲国产一区二区在线观看 | 久久国产精品大桥未久av| 中文字幕高清在线视频| 丝袜美腿诱惑在线| www日本在线高清视频| 国产成人精品久久二区二区91| 五月天丁香电影| cao死你这个sao货| 一级黄色大片毛片| 日本av免费视频播放| 美女视频免费永久观看网站| 亚洲欧美成人综合另类久久久| 老熟女久久久| 可以免费在线观看a视频的电影网站| 国产成人系列免费观看| 国产亚洲午夜精品一区二区久久| 欧美老熟妇乱子伦牲交| 久久久久久久精品精品| 国产精品九九99| 亚洲,一卡二卡三卡| 视频区欧美日本亚洲| 9191精品国产免费久久| 亚洲七黄色美女视频| 国产老妇伦熟女老妇高清| 国产精品久久久久久人妻精品电影 | 2018国产大陆天天弄谢| 国产不卡av网站在线观看| 精品第一国产精品| 啦啦啦 在线观看视频| 国产成人a∨麻豆精品| 国产成人精品在线电影| 2021少妇久久久久久久久久久| 欧美xxⅹ黑人| 亚洲精品第二区| 国产精品偷伦视频观看了| 美女视频免费永久观看网站| 免费观看a级毛片全部| 女人被躁到高潮嗷嗷叫费观| 色婷婷av一区二区三区视频| 日韩 欧美 亚洲 中文字幕| 国产精品免费大片| 宅男免费午夜| 亚洲精品av麻豆狂野| 国产精品一区二区在线观看99| 国语对白做爰xxxⅹ性视频网站| 狠狠婷婷综合久久久久久88av| 国产片特级美女逼逼视频| 人成视频在线观看免费观看| 黄网站色视频无遮挡免费观看| 成人黄色视频免费在线看| 成年av动漫网址| 七月丁香在线播放| 日韩 欧美 亚洲 中文字幕| 久久九九热精品免费| 丰满人妻熟妇乱又伦精品不卡| 无遮挡黄片免费观看| 欧美日韩福利视频一区二区| 一边摸一边做爽爽视频免费| 日韩熟女老妇一区二区性免费视频| 国产视频首页在线观看| 国产免费又黄又爽又色| 日韩一卡2卡3卡4卡2021年| 婷婷成人精品国产| 美女大奶头黄色视频| 精品国产国语对白av| 亚洲午夜精品一区,二区,三区| 黄色视频不卡| 国产高清国产精品国产三级| 精品亚洲成国产av| 大香蕉久久成人网| 亚洲欧美中文字幕日韩二区| 欧美激情高清一区二区三区| 国产av国产精品国产| 免费在线观看完整版高清| 午夜久久久在线观看| 在线观看一区二区三区激情| 人人妻人人澡人人看| 国产无遮挡羞羞视频在线观看| 久久久亚洲精品成人影院| a级毛片黄视频| 欧美日韩亚洲综合一区二区三区_| 91精品国产国语对白视频| 宅男免费午夜| 精品一区在线观看国产| 精品一区二区三卡| 成人国产av品久久久| 欧美精品一区二区大全| 美国免费a级毛片| 美女高潮到喷水免费观看| 高潮久久久久久久久久久不卡| 亚洲精品一二三| 欧美精品av麻豆av| 久久狼人影院| av又黄又爽大尺度在线免费看| 亚洲伊人色综图| 欧美日韩福利视频一区二区| 欧美成人精品欧美一级黄| 亚洲精品久久久久久婷婷小说| 成年人午夜在线观看视频| 国产欧美亚洲国产| 十分钟在线观看高清视频www| 欧美人与性动交α欧美软件| 热99久久久久精品小说推荐| 香蕉国产在线看| 女人爽到高潮嗷嗷叫在线视频| 国产精品香港三级国产av潘金莲 | 国产精品一区二区在线不卡| 每晚都被弄得嗷嗷叫到高潮| 看十八女毛片水多多多| 精品久久蜜臀av无| 97精品久久久久久久久久精品| 成年人免费黄色播放视频| 久久久久久亚洲精品国产蜜桃av| 精品福利观看| 视频区欧美日本亚洲| 国产激情久久老熟女| 飞空精品影院首页| 在线看a的网站| 高潮久久久久久久久久久不卡| 国产成人系列免费观看| 久久九九热精品免费| 不卡av一区二区三区| 99re6热这里在线精品视频| 少妇的丰满在线观看| 妹子高潮喷水视频| 亚洲av日韩在线播放| 国精品久久久久久国模美| 日本欧美视频一区| 欧美人与性动交α欧美精品济南到| 热re99久久精品国产66热6| 天天躁夜夜躁狠狠久久av| 2021少妇久久久久久久久久久| 欧美日韩亚洲综合一区二区三区_| 国产免费一区二区三区四区乱码| 亚洲人成77777在线视频| 亚洲色图综合在线观看| 岛国毛片在线播放| 啦啦啦在线免费观看视频4| 国产精品九九99| 精品高清国产在线一区| 99精国产麻豆久久婷婷| 国产在视频线精品| 中文字幕另类日韩欧美亚洲嫩草| 午夜日韩欧美国产| 大陆偷拍与自拍| 欧美 亚洲 国产 日韩一| 肉色欧美久久久久久久蜜桃| 不卡av一区二区三区| 天天操日日干夜夜撸| a级毛片黄视频| 日韩av在线免费看完整版不卡| 日韩一区二区三区影片| 亚洲美女黄色视频免费看| 老司机靠b影院| 一区二区av电影网| tube8黄色片| 亚洲综合色网址| 人妻 亚洲 视频| 丰满迷人的少妇在线观看| 久久中文字幕一级| 久久久久久免费高清国产稀缺| 亚洲成国产人片在线观看| 亚洲成av片中文字幕在线观看| 超碰成人久久| 99香蕉大伊视频| avwww免费| 热re99久久国产66热| 久久精品成人免费网站| 97在线人人人人妻| 两个人看的免费小视频| 精品国产乱码久久久久久男人| 精品国产超薄肉色丝袜足j| 精品久久蜜臀av无| 黄色一级大片看看| 老司机在亚洲福利影院| 亚洲国产av影院在线观看| 国产91精品成人一区二区三区 | 国产成人av激情在线播放| 国产有黄有色有爽视频| 妹子高潮喷水视频| 国产亚洲欧美精品永久| 大香蕉久久网| 亚洲五月色婷婷综合| 日韩大片免费观看网站| 99国产精品免费福利视频| 中文乱码字字幕精品一区二区三区| 操出白浆在线播放| 国产精品久久久人人做人人爽| 丰满少妇做爰视频| 亚洲色图 男人天堂 中文字幕| 久久狼人影院| 99久久综合免费| 免费高清在线观看视频在线观看| 国产精品久久久av美女十八| 啦啦啦在线免费观看视频4| 日韩av不卡免费在线播放| 国产日韩欧美亚洲二区| 国产成人av激情在线播放| 欧美在线一区亚洲| 亚洲精品一区蜜桃| 欧美日韩视频高清一区二区三区二| 亚洲一码二码三码区别大吗| 丝瓜视频免费看黄片| 青春草亚洲视频在线观看| 免费观看人在逋| 中文字幕亚洲精品专区| 欧美精品av麻豆av| 精品免费久久久久久久清纯 | 欧美日韩亚洲国产一区二区在线观看 | 午夜av观看不卡| avwww免费| 亚洲国产最新在线播放| 男人操女人黄网站| 日韩欧美一区视频在线观看| 欧美乱码精品一区二区三区| 国产一区二区三区av在线| 亚洲精品久久成人aⅴ小说| 天天躁日日躁夜夜躁夜夜| 一区在线观看完整版| 国产精品香港三级国产av潘金莲 | 久久天躁狠狠躁夜夜2o2o | 别揉我奶头~嗯~啊~动态视频 | 亚洲精品久久成人aⅴ小说| 久久午夜综合久久蜜桃| 亚洲国产日韩一区二区| 亚洲国产最新在线播放| 亚洲一码二码三码区别大吗| 麻豆乱淫一区二区| 国产极品粉嫩免费观看在线|