• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    應(yīng)用軟件補(bǔ)丁測試問題研究

    2020-03-23 05:56姜文劉立康
    軟件工程 2020年2期

    姜文 劉立康

    摘 ?要:在軟件維護(hù)階段,需要處理軟件存在的各種問題,其中軟件補(bǔ)丁是軟件維護(hù)的核心環(huán)節(jié)。首先介紹了軟件補(bǔ)丁的相關(guān)概念與分類。詳細(xì)敘述了軟件補(bǔ)丁測試,內(nèi)容包括補(bǔ)丁程序開發(fā)與測試、補(bǔ)丁包制作、補(bǔ)丁包測試;介紹了補(bǔ)丁包測試過程中遇到的幾個(gè)典型問題;最后介紹了一個(gè)補(bǔ)丁測試案例,敘述了軟件補(bǔ)丁測試的完整過程。工作實(shí)踐表明軟件補(bǔ)丁測試是保證軟件補(bǔ)丁質(zhì)量的重要步驟。做好補(bǔ)丁測試有助于的保證與提升軟件產(chǎn)品質(zhì)量。

    關(guān)鍵詞:軟件維護(hù);熱補(bǔ)丁;補(bǔ)丁測試

    中圖分類號:TP311.5 ? ? 文獻(xiàn)標(biāo)識碼:A

    1 ? 引言(Introduction)

    軟件維護(hù)[1-4]是軟件生命周期的最后一個(gè)環(huán)節(jié),是持續(xù)時(shí)間最長的環(huán)節(jié)。應(yīng)用軟件維護(hù)的成本是開發(fā)成本的四倍左右。在軟件交付用戶使用后,需要做好軟件維護(hù)工作,不斷處理和解決用戶在軟件使用過程中提出的各種問題,從而延長軟件產(chǎn)品的使用壽命。

    軟件補(bǔ)丁是軟件維護(hù)的核心環(huán)節(jié),補(bǔ)丁測試是保證軟件補(bǔ)丁質(zhì)量的重要環(huán)節(jié)。文中介紹了軟件補(bǔ)丁的相關(guān)概念與分類、軟件補(bǔ)丁測試過程,最后介紹了一個(gè)軟件產(chǎn)品熱補(bǔ)丁測試的工作案例。

    2 ?軟件補(bǔ)丁的相關(guān)概念和分類(Related concepts and classification of software patch)

    2.1 ? 軟件補(bǔ)丁的相關(guān)概念

    (1)補(bǔ)丁問題

    補(bǔ)丁問題是軟件在客戶局點(diǎn)使用過程中發(fā)現(xiàn)的軟件缺陷問題,或者軟件產(chǎn)品研發(fā)部門自行對軟件產(chǎn)品進(jìn)行的自主改進(jìn)問題,這些問題需要修改軟件代碼才能解決。

    (2)補(bǔ)丁程序

    補(bǔ)丁程序是為了修復(fù)補(bǔ)丁問題開發(fā)的軟件代碼,每個(gè)補(bǔ)丁問題都有對應(yīng)的補(bǔ)丁程序,這種小程序俗稱“補(bǔ)丁”。過補(bǔ)丁程序修改或者更新軟件,處理補(bǔ)丁問題稱為“打補(bǔ)丁”。

    (3)補(bǔ)丁包

    軟件企業(yè)會(huì)定時(shí)發(fā)布補(bǔ)丁包解決客戶局點(diǎn)存在的軟件缺陷,通常一個(gè)補(bǔ)丁包中包含處理多個(gè)補(bǔ)丁問題的補(bǔ)丁。對于需要客戶局點(diǎn)緊急處理的補(bǔ)丁問題,也可以發(fā)布由單個(gè)補(bǔ)丁組成的應(yīng)急補(bǔ)丁包。

    2.2 ? 補(bǔ)丁問題來源

    軟件補(bǔ)丁問題來源主要有客戶局點(diǎn)使用過程中發(fā)現(xiàn)的問題、研發(fā)部門內(nèi)部測試發(fā)現(xiàn)的問題、軟件產(chǎn)品自主改進(jìn)、客戶定制需求、軟件安全性加固、在研版本同步改進(jìn)等方面的問題。

    2.3 ? 軟件補(bǔ)丁分類

    根據(jù)軟件補(bǔ)丁實(shí)施方式,軟件補(bǔ)丁可以分為冷補(bǔ)丁、熱補(bǔ)丁。

    (1)冷補(bǔ)丁

    開發(fā)工程師編寫補(bǔ)丁程序,提交版本庫,對軟件產(chǎn)品的整個(gè)工程文件進(jìn)行重新編譯,生成軟件補(bǔ)丁版本。在需要在設(shè)備上停掉原有的軟件版本,重新安裝軟件補(bǔ)丁版本。

    軟件冷補(bǔ)丁包實(shí)際上是指打了補(bǔ)丁之后的軟件補(bǔ)丁版本,通過替換原有的軟件版本來處理補(bǔ)丁問題。

    (2)熱補(bǔ)丁

    熱補(bǔ)丁[5-8]安裝的過程中,并不需要停止軟件系統(tǒng)運(yùn)行。通常熱補(bǔ)丁適用的軟件系統(tǒng)是廣泛使用的實(shí)時(shí)操作系統(tǒng),虛擬機(jī)化軟件Openstack上也支持實(shí)施熱補(bǔ)丁。

    熱補(bǔ)丁能夠在不停止應(yīng)用軟件運(yùn)行的情況下實(shí)施補(bǔ)丁安裝,同時(shí)也支持在軟件產(chǎn)品版本升級過程中以靜默安裝方式實(shí)施補(bǔ)丁安裝。靜默安裝方式是指軟件在模擬環(huán)境中加載熱補(bǔ)丁包,然后在實(shí)際的使用環(huán)境中替換原來的軟件版本。

    軟件熱補(bǔ)丁包通常由多個(gè)補(bǔ)丁程序(函數(shù))組成,通過加載熱補(bǔ)丁包替換當(dāng)前軟件中的對應(yīng)函數(shù)來處理補(bǔ)丁問題。

    3 ? 軟件補(bǔ)丁測試(Software patch testing)

    軟件補(bǔ)丁測試主要包括補(bǔ)丁程序開發(fā)與測試、補(bǔ)丁包制作、補(bǔ)丁包測試。

    3.1 ? 補(bǔ)丁程序開發(fā)與測試

    (1)提交補(bǔ)丁問題單

    通常由軟件客戶或者軟件售后工程師提交補(bǔ)丁問題單。

    (2)補(bǔ)丁問題復(fù)現(xiàn)

    測試工程師根據(jù)補(bǔ)丁問題根因、發(fā)生的問題軟件版本。搭建補(bǔ)丁測試環(huán)境,復(fù)現(xiàn)補(bǔ)丁問題。問題復(fù)現(xiàn)之后,由系統(tǒng)工程師與開發(fā)工程師確認(rèn)補(bǔ)丁問題已正確復(fù)現(xiàn)。

    (3)補(bǔ)丁問題澄清

    開發(fā)工程師分析補(bǔ)丁問題發(fā)生的原因,并給出問題解決方案。由系統(tǒng)工程師負(fù)責(zé)補(bǔ)丁問題澄清,向開發(fā)工程師、測試架構(gòu)師、測試工程師,以及資料工程師講解補(bǔ)丁問題的現(xiàn)象與解決方案。資料工程師完成補(bǔ)丁資料編寫。

    (4)補(bǔ)丁程序開發(fā)

    開發(fā)工程師編寫補(bǔ)丁程序代碼編寫,對代碼進(jìn)行靜態(tài)測試和單元測試,代碼評審?fù)瓿珊筇峤话姹編臁?/p>

    (5)補(bǔ)丁問題測試用例設(shè)計(jì)

    測試架構(gòu)師完成補(bǔ)丁問題測試用例設(shè)計(jì),測試工程師編寫自動(dòng)化測試腳本。進(jìn)行補(bǔ)丁測試用例和自動(dòng)化腳本評審,系統(tǒng)工程師、開發(fā)工程師、測試架構(gòu)師和測試工程師參與評審工作。

    (6)補(bǔ)丁程序測試

    測試工程師搭建測試環(huán)境,下載包含補(bǔ)丁程序的版本包,測試補(bǔ)丁程序的功能。然后連跑自動(dòng)化腳本,對版本包進(jìn)行回歸測試,檢測新增加的補(bǔ)丁程序不會(huì)影響版本包中其他代碼的功能。若發(fā)現(xiàn)問題,與開發(fā)工程師共同定位處理。

    3.2 ? 補(bǔ)丁包制作

    (1)制定補(bǔ)丁計(jì)劃

    應(yīng)用軟件補(bǔ)丁包是定期發(fā)布的,確定補(bǔ)丁包的版本號之后。補(bǔ)丁版本經(jīng)理收集需要合入補(bǔ)丁包的補(bǔ)丁問題;主持制定補(bǔ)丁計(jì)劃,補(bǔ)丁計(jì)劃主要包括補(bǔ)丁包需要合入的補(bǔ)丁問題列表、每個(gè)補(bǔ)丁程序的開發(fā)和測試工作安排。

    (2)設(shè)計(jì)開發(fā)補(bǔ)丁程序

    系統(tǒng)工程師負(fù)責(zé)軟件補(bǔ)丁技術(shù)設(shè)計(jì),完成需求設(shè)計(jì)、架構(gòu)設(shè)計(jì)和軟件代碼詳細(xì)設(shè)計(jì)。將設(shè)計(jì)方案以規(guī)格文檔形式提供給開發(fā)工程師。開發(fā)工程師負(fù)責(zé)開發(fā)補(bǔ)丁程序。

    (3)補(bǔ)丁程序測試

    測試經(jīng)理根據(jù)補(bǔ)丁計(jì)劃,準(zhǔn)備測試環(huán)境,將補(bǔ)丁問題單分配給測試工程師處理,完成補(bǔ)丁程序的測試工作。

    (4)制作補(bǔ)丁包

    單個(gè)軟件補(bǔ)丁程序的開發(fā)完成后,軟件補(bǔ)丁程序合入版本庫,對更新后軟件源代碼編譯生成新版本軟件產(chǎn)品的進(jìn)程文件。將該進(jìn)程文件與修改后的相關(guān)配置文件一起打包生成補(bǔ)丁包。通常在Linux操作系統(tǒng)下使用的補(bǔ)丁包制作成*.tar包,Windows操作系統(tǒng)下使用的補(bǔ)丁包制作成*.rar包。

    可以通過持續(xù)集成工具完成更新代碼、軟件進(jìn)程文件編譯和補(bǔ)丁包出包。持續(xù)集成工具可以執(zhí)行冒煙測試初步驗(yàn)證補(bǔ)丁包的基本功能,提高補(bǔ)丁包測試的效率。

    3.3 ? 補(bǔ)丁包測試

    補(bǔ)丁包制作完成后,補(bǔ)丁包由版本經(jīng)理內(nèi)部發(fā)布。補(bǔ)丁問題單提交測試經(jīng)理,補(bǔ)丁包測試不僅包含功能測試,還要完成補(bǔ)丁包性能和升級測試。

    (1)功能測試

    測試工程師從補(bǔ)丁包歸檔路徑下,取出補(bǔ)丁包,將補(bǔ)丁包安裝到執(zhí)行補(bǔ)丁問題復(fù)現(xiàn)的環(huán)境上,首先觀測補(bǔ)丁版本號是否正確,根據(jù)測試架構(gòu)師給出的補(bǔ)丁測試用例進(jìn)行測試,確保存在的問題已被解決,并沒與引入新問題。如果發(fā)現(xiàn)新問題,知會(huì)該問題的軟件開發(fā)工程師,問題定位郵件抄送版本經(jīng)理、補(bǔ)丁測試組長、補(bǔ)丁開發(fā)組長、系統(tǒng)工程師與測試架構(gòu)師。開發(fā)工程師負(fù)責(zé)定位發(fā)生的問題是否是軟件缺陷。

    (2)性能測試

    測試環(huán)境安裝補(bǔ)丁包,測試架構(gòu)師制定性能測試用例,測試工程師執(zhí)行補(bǔ)丁性能測試;將重點(diǎn)的性能指標(biāo)(如性能背景下的性能規(guī)格、CPU占用率、資源占用率等)與基線版本比較是否保持一致,如果與基線版本的指標(biāo)有差異則需要開發(fā)工程師定位處理軟件性能問題。

    (3)升級測試

    補(bǔ)丁升級測試,測試軟件產(chǎn)品可以正常的安裝補(bǔ)丁,也可以正常的回退補(bǔ)丁,安裝與回退之后業(yè)務(wù)功能正常。基線版本安裝之后執(zhí)行基本功能測試,基本功能測試運(yùn)行正常。上傳補(bǔ)丁包,進(jìn)行升級前檢查(如環(huán)境狀態(tài)、補(bǔ)丁包是否正確上傳、是否有異常告警等)檢查通過之后,進(jìn)行軟件補(bǔ)丁安裝,安裝之后驗(yàn)證軟件基本功能。執(zhí)行回退測試,正常回退之后需要驗(yàn)證基本功能是否正常。升級測試過程中的升級前檢查報(bào)告、升級報(bào)告與回退報(bào)告均需要作為補(bǔ)丁測試的交付件存留。

    (4)自動(dòng)化連跑驗(yàn)證

    補(bǔ)丁包功能、性能、升級測試完成之后,自動(dòng)化工廠測試工程師負(fù)責(zé)搭建補(bǔ)丁測試環(huán)境,下發(fā)全量軟件功能的特性腳本,完成自動(dòng)化功能驗(yàn)證。連跑完成之后,收集自動(dòng)化連跑結(jié)果,將運(yùn)行失敗的腳本推送給測試工程師進(jìn)行失敗分析,失敗分析結(jié)果有疑似軟件缺陷導(dǎo)致的腳本失敗,需要發(fā)給軟件開發(fā)工程師進(jìn)行定位,確保補(bǔ)丁包沒有引入新問題。

    3.4 ? 測試回顧與驗(yàn)收

    補(bǔ)丁包測試工作完成之后,測試組長組織進(jìn)行補(bǔ)丁包測試回歸與驗(yàn)收。版本經(jīng)理、開發(fā)組長、系統(tǒng)工程師、開發(fā)工程師、測試架構(gòu)師和測試工程師參與回顧與驗(yàn)收工作??偨Y(jié)補(bǔ)丁包開發(fā)測試過程中的優(yōu)缺點(diǎn)。確認(rèn)補(bǔ)丁包測試結(jié)果的準(zhǔn)確性。驗(yàn)收工作完成之后,可以正式發(fā)布補(bǔ)丁包。

    4 ?補(bǔ)丁包測試過程中的幾個(gè)典型問題(Several typical problems during patches package testing)

    在補(bǔ)丁包測試過程中遇到如下一些典型問題。

    4.1 ? 熱補(bǔ)丁靜默升級和軟件升級工具不適配問題

    測試工程師N對云化通信軟件熱補(bǔ)丁包5.19.0版本的熱補(bǔ)丁SPH203進(jìn)行靜默升級驗(yàn)證,當(dāng)軟件版本部署完成,并完成升級前的產(chǎn)品功能驗(yàn)證,打開軟件升級—補(bǔ)丁安裝工具準(zhǔn)備啟動(dòng)軟件升級時(shí),發(fā)現(xiàn)軟件升級工具頁面上不能正常勾選待升級的軟件。經(jīng)過軟件開發(fā)工程師確認(rèn),發(fā)現(xiàn)該軟件版本沒有對軟件升級—補(bǔ)丁安裝工具進(jìn)行適配處理。如果該軟件版本進(jìn)行升級,必須在軟件升級—補(bǔ)丁安裝工具上進(jìn)行規(guī)避處理。經(jīng)過規(guī)避處理之后,測試工程師順利完成補(bǔ)丁包靜默升級驗(yàn)證。

    4.2 ? 媒體消息環(huán)路時(shí)延閾值指標(biāo)未上報(bào)問題

    測試工程師J對云化通信軟件熱補(bǔ)丁包5.19.1版本的熱補(bǔ)丁SPH205進(jìn)行媒體消息環(huán)路時(shí)延閾值指標(biāo)測試,該問題屬于性能測試問題。通過NTE工具運(yùn)行性能測試套來模擬同時(shí)進(jìn)行多路呼叫的場景,并通過MML命令將環(huán)路時(shí)延閾值設(shè)置為250ms、500ms、1000ms及閾值不設(shè)限的場景。測試工程師在進(jìn)行測試過程中發(fā)現(xiàn)這四個(gè)場景下呼叫正常,但是均沒有任何閾值上報(bào),聯(lián)系該補(bǔ)丁問題的開發(fā)工程師定位之后,發(fā)現(xiàn)通過NTE工具模擬呼叫建立之后的媒體流使用的是默認(rèn)的RTP流,而需要統(tǒng)計(jì)的媒體流為RTCP流。發(fā)送的媒體流修改為RTCP流之后,環(huán)路時(shí)延閾值指標(biāo)可以正常上報(bào)。

    4.3 ? 第三方軟件導(dǎo)致的安全漏洞問題

    客戶局點(diǎn)Q對某大型硬件通信軟件冷補(bǔ)丁包V2R009C10SPC126采用綠盟掃描工具掃描,發(fā)現(xiàn)第三方軟件OpenSSL 0.9.8w存在安全漏洞。測試工程師W負(fù)責(zé)問題重現(xiàn)和處理,搭建測試環(huán)境之后,測試過程中先在產(chǎn)品的WEB頁面通過網(wǎng)頁抓包工具確認(rèn)目前使用的OpenSSL 1.0.1c版本是已經(jīng)解決安全漏洞的新版本,接下來進(jìn)行產(chǎn)品基本業(yè)務(wù)測試與性能基本場景驗(yàn)證;最后針對產(chǎn)品進(jìn)行綠盟安全掃描,并對綠盟掃描結(jié)果進(jìn)行分析,確認(rèn)軟件使用的低版本OpenSSL 0.9.8w相關(guān)漏洞問題已經(jīng)被解決。但是軟件使用高版本OpenSSL 1.0.1c之后,掃描出了新的安全漏洞,將新增漏洞反饋給開發(fā)工程師之后,開發(fā)工程師經(jīng)過排查產(chǎn)品源碼確認(rèn)該漏洞所描述的場景,軟件產(chǎn)品未使用,可以看作掃描誤報(bào)。測試工程W將該分析結(jié)論歸納到產(chǎn)品安全分析結(jié)果庫中。

    5 ? 補(bǔ)丁測試案例(Case study of software patching)

    以下介紹一個(gè)熱補(bǔ)丁案例,案例中只介紹軟件補(bǔ)丁測試的相關(guān)內(nèi)容。

    5.1 ? 制定補(bǔ)丁計(jì)劃

    某通信軟件產(chǎn)品S,SPH206補(bǔ)丁版本計(jì)劃合入10個(gè)補(bǔ)丁問題,如表1所述。

    5.2 ? 補(bǔ)丁問題復(fù)現(xiàn)與補(bǔ)丁程序測試

    (1)補(bǔ)丁問題復(fù)現(xiàn)

    補(bǔ)丁開發(fā)工程師向測試工程師講解該補(bǔ)丁問題觸發(fā)的背景、問題原因。測試工程師在測試環(huán)境上分別完成10個(gè)補(bǔ)丁問題的復(fù)現(xiàn),問題復(fù)現(xiàn)完成之后與每個(gè)問題的開發(fā)工程師確認(rèn)補(bǔ)丁問題,補(bǔ)丁問題成功復(fù)現(xiàn)之后,將問題復(fù)現(xiàn)場景如實(shí)記錄到測試交付件中。

    (2)補(bǔ)丁程序測試

    在測試環(huán)境安裝基線軟件版本之后加載SPH206補(bǔ)丁,執(zhí)行測試用例,如果測試結(jié)果與用例預(yù)期相符,則表示補(bǔ)丁問題已經(jīng)被解決;如果測試結(jié)果與用例預(yù)期不相符,則需要聯(lián)系補(bǔ)丁問題對應(yīng)開發(fā)工程師定位處理。并將補(bǔ)丁測試過程記錄下來,作為補(bǔ)丁測試的交付件。

    5.3 ? 補(bǔ)丁包測試

    (1)制作補(bǔ)丁包

    將10個(gè)補(bǔ)丁程序合入補(bǔ)丁包,在模擬的軟件環(huán)境中安裝軟件版本,在線運(yùn)行。加載補(bǔ)丁包,開始補(bǔ)丁包測試。

    (2)性能測試

    軟件產(chǎn)品的性能測試使用華為自研的性能測試工具NTE,性能自動(dòng)化腳本連跑過程中spider工具會(huì)自動(dòng)調(diào)用NTE工具執(zhí)行自動(dòng)化性能測試,并將統(tǒng)計(jì)指定模塊的CPU占用率、資源占用,以及丟包率統(tǒng)計(jì)結(jié)果自動(dòng)寫入excel文件。

    性能自動(dòng)化腳本連跑之后,需要分析CPU占用率、資源占用,以及丟包率是否符合要求;是否出現(xiàn)模塊復(fù)位,以及不應(yīng)該出現(xiàn)的告警等。一旦有異常告警、CPU占用率、資源占用,以及丟包率不正確的情況,需要及時(shí)聯(lián)系開發(fā)工程師進(jìn)行定位處理。

    (3)升級、回退與配套測試

    補(bǔ)丁配套測試是指在升級前、升級后,以及回退之后完成基本功能測試。

    補(bǔ)丁升級方式分為補(bǔ)丁包升級與靜默升級。補(bǔ)丁包升級方式是在客戶局點(diǎn)的軟件版本上通過升級工具加載補(bǔ)丁包實(shí)現(xiàn)補(bǔ)丁版本升級。靜默升級方式是將補(bǔ)丁包與待升級的軟件版本包一起上傳之后,通過升級工具完成軟件版本補(bǔ)丁包安裝升級。

    升級驗(yàn)證,完成升級之后,查看環(huán)境上是否有新增的告警信息,完成升級之后的基本業(yè)務(wù)驗(yàn)證?;赝蓑?yàn)證,完成補(bǔ)丁回退,也要完成基本業(yè)務(wù)驗(yàn)證。

    (4)自動(dòng)化腳本連跑測試

    通過自動(dòng)化功能腳本連跑來完成對安裝SPH206補(bǔ)丁包的軟件版本進(jìn)行功能驗(yàn)證。自動(dòng)化工廠的測試工程師搭建測試環(huán)境、自動(dòng)化腳本連跑測試。

    工作實(shí)踐表明軟件做好補(bǔ)丁測試工作,對于保證軟件補(bǔ)丁質(zhì)量是非常重要的。

    6 ? 結(jié)論(Conclusion)

    軟件補(bǔ)丁的開發(fā)與測試是軟件維護(hù)的重要組成部分,在軟件維護(hù)中占有很重要的一席之地。工作實(shí)踐表明軟件補(bǔ)丁測試是保證軟件補(bǔ)丁質(zhì)量的重要方法。軟件補(bǔ)丁的測試過程是不斷發(fā)現(xiàn)和解決客戶局點(diǎn)各種問題的過程,不斷擴(kuò)展功能和提升軟件性能的過程。做好軟件補(bǔ)丁測試工作不僅有助于的保證與提升軟件補(bǔ)丁版本的質(zhì)量,同時(shí)也為開發(fā)軟件產(chǎn)品新版本提供了良好的基礎(chǔ)。

    參考文獻(xiàn) (References)

    [1] Qi Z,Long F,Achour S,Rinard M.An analysis of patch plausibility and correctness for generate-and-Validate patch generation systems[C].In:Proc. of the 2015 Int' l Symp. on Software Testing and Analysis.ACM Press,2015:24-36.

    [2] Long F,Rinard M.An analysis of the search spaces for generates and validates patch generation systems[C].In:Proc. of the IEEE/ACM 38th Int' l Conf. on Software Engineering(ICSE).IEEE,2016:702-713.

    [3] Tan SH,Yi J,MechtaeV S,Roychoudhury A.Codenaws:A programming competition benchmark for evaluating automated program repair tools[C].In:Proc. of the 39th Int' l Conf. on Software Engineering Companion.IEEE,2017:180-182.

    [4] 李斌,賀也平,馬恒太.程序自動(dòng)修復(fù):關(guān)鍵問題及技術(shù)[J].軟件學(xué)報(bào),2019,30(2):244-265.

    [5] 姜文,劉立康.基于VXWORKS系統(tǒng)的熱補(bǔ)丁技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2017,27(3):18-22.

    [6] 姜文,劉立康.Oracle數(shù)據(jù)庫補(bǔ)丁問題研究[J].電子設(shè)計(jì)工程,2014,22(20):10-13.

    [7] 姜文,劉立康.應(yīng)用軟件維護(hù)中的補(bǔ)丁開發(fā)與管理[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(11):11-16.

    [8] 姜文,劉立康.軟件產(chǎn)品維護(hù)階段的缺陷問題管理[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(12):35-44.

    作者簡介:

    姜 ?文(1986-),女,碩士,高級工程師.研究領(lǐng)域:圖像處理,軟件工程和網(wǎng)絡(luò)通信.

    劉立康(1962-),男,碩士,副教授.研究領(lǐng)域:數(shù)字通信,圖像處理和軟件工程.

    日韩有码中文字幕| 波多野结衣av一区二区av| 手机成人av网站| 欧美日韩国产mv在线观看视频| 天天躁日日躁夜夜躁夜夜| 国产精品久久久久成人av| 亚洲专区字幕在线| 国产精品熟女久久久久浪| 亚洲专区国产一区二区| 亚洲五月色婷婷综合| 亚洲精品第二区| 一边摸一边做爽爽视频免费| 亚洲国产欧美网| 王馨瑶露胸无遮挡在线观看| 亚洲国产精品成人久久小说| 久久久久久免费高清国产稀缺| 日韩欧美国产一区二区入口| 日韩制服丝袜自拍偷拍| 老熟妇仑乱视频hdxx| 悠悠久久av| 久久久久久人人人人人| 国产无遮挡羞羞视频在线观看| 日韩制服丝袜自拍偷拍| 国产亚洲一区二区精品| 麻豆乱淫一区二区| 久久久久久久大尺度免费视频| 成人av一区二区三区在线看 | 亚洲精品第二区| 五月天丁香电影| 看免费av毛片| 91精品伊人久久大香线蕉| 男男h啪啪无遮挡| 国产99久久九九免费精品| 日日摸夜夜添夜夜添小说| 青青草视频在线视频观看| 脱女人内裤的视频| 99久久综合免费| 久久精品国产综合久久久| 免费在线观看视频国产中文字幕亚洲 | 国产视频一区二区在线看| tube8黄色片| 黄色视频不卡| 日本av免费视频播放| 亚洲精品国产一区二区精华液| 搡老熟女国产l中国老女人| av线在线观看网站| 叶爱在线成人免费视频播放| 精品一区二区三区四区五区乱码| 女人爽到高潮嗷嗷叫在线视频| 韩国精品一区二区三区| 久久国产精品大桥未久av| 女警被强在线播放| 人人妻人人添人人爽欧美一区卜| 在线亚洲精品国产二区图片欧美| 国产亚洲欧美在线一区二区| 日韩大片免费观看网站| 老熟妇乱子伦视频在线观看 | 国产欧美日韩一区二区精品| 日日摸夜夜添夜夜添小说| 欧美 日韩 精品 国产| 捣出白浆h1v1| 亚洲国产av影院在线观看| 精品少妇久久久久久888优播| 久久 成人 亚洲| 少妇猛男粗大的猛烈进出视频| 亚洲精品国产av成人精品| 欧美 亚洲 国产 日韩一| 亚洲 国产 在线| 国产成人系列免费观看| 午夜免费观看性视频| 久久精品人人爽人人爽视色| 桃红色精品国产亚洲av| 亚洲综合色网址| 亚洲中文日韩欧美视频| 9热在线视频观看99| 天天躁夜夜躁狠狠躁躁| 青春草视频在线免费观看| 亚洲av美国av| 久久久国产精品麻豆| 狠狠狠狠99中文字幕| a级毛片在线看网站| 国产成人av教育| 2018国产大陆天天弄谢| 黄色a级毛片大全视频| 日韩 亚洲 欧美在线| 精品亚洲成国产av| 成人免费观看视频高清| 国产精品 国内视频| 亚洲av男天堂| 精品少妇久久久久久888优播| 国产精品1区2区在线观看. | 好男人电影高清在线观看| 国产欧美日韩一区二区三 | 两人在一起打扑克的视频| 99香蕉大伊视频| 免费人妻精品一区二区三区视频| 国产熟女午夜一区二区三区| 日韩中文字幕视频在线看片| 久久久久精品国产欧美久久久 | 国产日韩欧美亚洲二区| 新久久久久国产一级毛片| 精品亚洲乱码少妇综合久久| 女人高潮潮喷娇喘18禁视频| 精品亚洲成国产av| 99精品欧美一区二区三区四区| 亚洲精品国产精品久久久不卡| 午夜福利免费观看在线| 高清黄色对白视频在线免费看| 国产精品 国内视频| 人成视频在线观看免费观看| 中文字幕人妻熟女乱码| 人人妻人人澡人人看| 十分钟在线观看高清视频www| 亚洲国产欧美在线一区| 中文字幕色久视频| 欧美中文综合在线视频| 丰满迷人的少妇在线观看| 黄色毛片三级朝国网站| www日本在线高清视频| 国产精品1区2区在线观看. | 十八禁人妻一区二区| 99久久国产精品久久久| 久久久久精品国产欧美久久久 | av在线app专区| 18禁国产床啪视频网站| 欧美激情高清一区二区三区| 亚洲熟女精品中文字幕| 黑人猛操日本美女一级片| 老司机深夜福利视频在线观看 | 天堂8中文在线网| 飞空精品影院首页| 国产福利在线免费观看视频| 青青草视频在线视频观看| 午夜精品国产一区二区电影| 满18在线观看网站| 黄色怎么调成土黄色| 亚洲全国av大片| 91av网站免费观看| 天堂8中文在线网| 久久人人97超碰香蕉20202| 国产成人精品在线电影| 成年女人毛片免费观看观看9 | 亚洲精品国产色婷婷电影| 热re99久久精品国产66热6| 日本黄色日本黄色录像| 99久久精品国产亚洲精品| 91精品伊人久久大香线蕉| 91成人精品电影| 高清黄色对白视频在线免费看| 夫妻午夜视频| 纯流量卡能插随身wifi吗| 丝袜美腿诱惑在线| 国产成人啪精品午夜网站| 激情视频va一区二区三区| 在线天堂中文资源库| 国产97色在线日韩免费| 国产日韩欧美视频二区| 视频区欧美日本亚洲| 18禁黄网站禁片午夜丰满| 一本综合久久免费| 国产欧美日韩一区二区三 | www.熟女人妻精品国产| 丰满迷人的少妇在线观看| 王馨瑶露胸无遮挡在线观看| 成年人午夜在线观看视频| 国产精品免费视频内射| 手机成人av网站| 国产精品一二三区在线看| 12—13女人毛片做爰片一| 日韩制服丝袜自拍偷拍| a级片在线免费高清观看视频| 日本a在线网址| 亚洲一卡2卡3卡4卡5卡精品中文| 一级片'在线观看视频| 淫妇啪啪啪对白视频 | 女性被躁到高潮视频| 妹子高潮喷水视频| 欧美成人午夜精品| 飞空精品影院首页| 精品人妻在线不人妻| 岛国毛片在线播放| 这个男人来自地球电影免费观看| 亚洲熟女精品中文字幕| 久久精品久久久久久噜噜老黄| 成人三级做爰电影| 男男h啪啪无遮挡| 狂野欧美激情性bbbbbb| 十八禁高潮呻吟视频| 美女高潮喷水抽搐中文字幕| 免费女性裸体啪啪无遮挡网站| 免费不卡黄色视频| 一级毛片精品| 欧美亚洲日本最大视频资源| 91麻豆精品激情在线观看国产 | 日韩一卡2卡3卡4卡2021年| 一级毛片精品| 久久狼人影院| 日韩一卡2卡3卡4卡2021年| 亚洲精品国产av成人精品| 国产在线一区二区三区精| 成人免费观看视频高清| 少妇粗大呻吟视频| 无遮挡黄片免费观看| 国内毛片毛片毛片毛片毛片| 老司机午夜十八禁免费视频| 国产免费视频播放在线视频| 久久久久久久大尺度免费视频| 亚洲性夜色夜夜综合| 自拍欧美九色日韩亚洲蝌蚪91| 欧美精品亚洲一区二区| 青春草视频在线免费观看| 精品少妇久久久久久888优播| 在线观看舔阴道视频| 婷婷色av中文字幕| 十八禁网站网址无遮挡| 国产欧美日韩综合在线一区二区| 人人妻人人添人人爽欧美一区卜| 亚洲专区字幕在线| 亚洲欧美色中文字幕在线| 男女下面插进去视频免费观看| 国产精品 欧美亚洲| 男人爽女人下面视频在线观看| 十八禁高潮呻吟视频| 久久亚洲精品不卡| 久久久久国产精品人妻一区二区| 极品少妇高潮喷水抽搐| kizo精华| 欧美精品一区二区大全| 欧美一级毛片孕妇| www日本在线高清视频| 97在线人人人人妻| 五月开心婷婷网| 亚洲人成电影免费在线| 一级毛片女人18水好多| 一级a爱视频在线免费观看| 久久精品aⅴ一区二区三区四区| 欧美日本中文国产一区发布| 狠狠狠狠99中文字幕| 男人操女人黄网站| 国产高清videossex| 91老司机精品| 亚洲精品第二区| 男女无遮挡免费网站观看| 成年人免费黄色播放视频| 久久人妻熟女aⅴ| 性少妇av在线| 一级毛片女人18水好多| 激情视频va一区二区三区| 精品人妻在线不人妻| 永久免费av网站大全| 久久久久国产一级毛片高清牌| 男人爽女人下面视频在线观看| 国产精品九九99| 欧美国产精品一级二级三级| 亚洲第一av免费看| 桃花免费在线播放| 亚洲 国产 在线| 这个男人来自地球电影免费观看| 成年人午夜在线观看视频| 啦啦啦 在线观看视频| 多毛熟女@视频| 成年av动漫网址| 18在线观看网站| 欧美人与性动交α欧美软件| 日韩熟女老妇一区二区性免费视频| 欧美日韩亚洲国产一区二区在线观看 | 欧美日本中文国产一区发布| 久久国产精品人妻蜜桃| 亚洲精品久久成人aⅴ小说| 国产成人一区二区三区免费视频网站| 一边摸一边抽搐一进一出视频| 热99久久久久精品小说推荐| 亚洲精品日韩在线中文字幕| 国产男女内射视频| 免费日韩欧美在线观看| 免费黄频网站在线观看国产| 永久免费av网站大全| 午夜成年电影在线免费观看| 国产免费一区二区三区四区乱码| 99国产极品粉嫩在线观看| 少妇裸体淫交视频免费看高清 | www.精华液| 97在线人人人人妻| 99久久国产精品久久久| 国产高清视频在线播放一区 | 91字幕亚洲| 欧美日韩成人在线一区二区| 精品高清国产在线一区| 十八禁高潮呻吟视频| 老熟妇乱子伦视频在线观看 | 亚洲久久久国产精品| 亚洲精品日韩在线中文字幕| 搡老乐熟女国产| 女人被躁到高潮嗷嗷叫费观| 久久精品aⅴ一区二区三区四区| 啪啪无遮挡十八禁网站| 欧美成狂野欧美在线观看| 窝窝影院91人妻| 91字幕亚洲| 国产免费福利视频在线观看| 久久青草综合色| 久久精品熟女亚洲av麻豆精品| 一区二区av电影网| 美女国产高潮福利片在线看| 日本精品一区二区三区蜜桃| 国产福利在线免费观看视频| 黄网站色视频无遮挡免费观看| 18禁国产床啪视频网站| 91国产中文字幕| 久久午夜综合久久蜜桃| 国产一级毛片在线| 一个人免费在线观看的高清视频 | 精品久久久精品久久久| 女性生殖器流出的白浆| 国产av国产精品国产| 免费在线观看完整版高清| 一级毛片电影观看| 国产精品久久久人人做人人爽| 777米奇影视久久| 丁香六月天网| 18禁裸乳无遮挡动漫免费视频| 好男人电影高清在线观看| 波多野结衣一区麻豆| 下体分泌物呈黄色| 一级片免费观看大全| 欧美性长视频在线观看| 91精品三级在线观看| 中文字幕色久视频| 别揉我奶头~嗯~啊~动态视频 | 欧美精品亚洲一区二区| 久久精品国产亚洲av香蕉五月 | 搡老岳熟女国产| 亚洲精品久久久久久婷婷小说| 真人做人爱边吃奶动态| 欧美97在线视频| 在线av久久热| 亚洲欧美色中文字幕在线| 桃花免费在线播放| 天天躁狠狠躁夜夜躁狠狠躁| 精品久久蜜臀av无| 精品国产一区二区三区四区第35| 欧美一级毛片孕妇| 少妇精品久久久久久久| 中文精品一卡2卡3卡4更新| 国产野战对白在线观看| e午夜精品久久久久久久| 自线自在国产av| 久久精品久久久久久噜噜老黄| 欧美日韩av久久| 成年人免费黄色播放视频| 成人18禁高潮啪啪吃奶动态图| 午夜免费成人在线视频| 成人手机av| 欧美日韩精品网址| 久久久久久久久久久久大奶| 亚洲精品第二区| 午夜福利在线观看吧| 不卡av一区二区三区| 精品视频人人做人人爽| 丝袜喷水一区| 在线天堂中文资源库| 女人久久www免费人成看片| 国产黄色免费在线视频| 首页视频小说图片口味搜索| 制服人妻中文乱码| 一二三四在线观看免费中文在| 成年av动漫网址| 亚洲男人天堂网一区| 欧美精品一区二区免费开放| 精品欧美一区二区三区在线| 欧美乱码精品一区二区三区| 狠狠精品人妻久久久久久综合| 亚洲第一青青草原| 亚洲人成电影观看| 一级毛片电影观看| 老司机亚洲免费影院| 男女无遮挡免费网站观看| 国内毛片毛片毛片毛片毛片| 亚洲美女黄色视频免费看| 脱女人内裤的视频| 国产精品一二三区在线看| 少妇被粗大的猛进出69影院| 老鸭窝网址在线观看| 精品国产一区二区久久| 亚洲中文日韩欧美视频| 十八禁高潮呻吟视频| 在线天堂中文资源库| 久久这里只有精品19| 中文字幕av电影在线播放| 啦啦啦啦在线视频资源| 欧美日本中文国产一区发布| 欧美成狂野欧美在线观看| 青春草亚洲视频在线观看| 婷婷色av中文字幕| kizo精华| 如日韩欧美国产精品一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 亚洲精品第二区| 亚洲第一青青草原| 高清在线国产一区| 国产精品熟女久久久久浪| 国产真人三级小视频在线观看| 香蕉丝袜av| 国产精品免费大片| 免费日韩欧美在线观看| 久久国产精品男人的天堂亚洲| 美女大奶头黄色视频| 婷婷丁香在线五月| 下体分泌物呈黄色| 两个人免费观看高清视频| 母亲3免费完整高清在线观看| 久久影院123| 婷婷色av中文字幕| 亚洲精品美女久久久久99蜜臀| 久久香蕉激情| 免费在线观看日本一区| 自线自在国产av| 国内毛片毛片毛片毛片毛片| 女人精品久久久久毛片| a级毛片黄视频| 久热这里只有精品99| 亚洲熟女精品中文字幕| 亚洲精品av麻豆狂野| 国产精品影院久久| 大型av网站在线播放| 一本色道久久久久久精品综合| 9热在线视频观看99| 久久天堂一区二区三区四区| 亚洲一区二区三区欧美精品| xxxhd国产人妻xxx| 久久久久久人人人人人| 黑丝袜美女国产一区| 可以免费在线观看a视频的电影网站| 91九色精品人成在线观看| 久久国产精品男人的天堂亚洲| 久久久久久久久久久久大奶| 国产成人av激情在线播放| 嫩草影视91久久| 黄色视频,在线免费观看| 一级毛片电影观看| 亚洲中文字幕日韩| 国产精品.久久久| 亚洲精品乱久久久久久| 9热在线视频观看99| av欧美777| 满18在线观看网站| 午夜激情久久久久久久| 狂野欧美激情性bbbbbb| 99国产精品免费福利视频| 久久久国产成人免费| 国产在视频线精品| 欧美在线黄色| 这个男人来自地球电影免费观看| 99国产精品99久久久久| 十八禁高潮呻吟视频| 麻豆av在线久日| 午夜免费鲁丝| 国产在线一区二区三区精| 一级片免费观看大全| 亚洲国产精品一区三区| 日本五十路高清| 亚洲七黄色美女视频| 亚洲欧洲精品一区二区精品久久久| 天天躁夜夜躁狠狠躁躁| 国内毛片毛片毛片毛片毛片| av天堂久久9| 韩国精品一区二区三区| 中文字幕人妻丝袜制服| 淫妇啪啪啪对白视频 | 婷婷成人精品国产| 国产亚洲欧美在线一区二区| 狂野欧美激情性xxxx| 色婷婷久久久亚洲欧美| 国产精品九九99| 性少妇av在线| 亚洲一区中文字幕在线| 精品少妇黑人巨大在线播放| 18禁黄网站禁片午夜丰满| 亚洲欧美日韩另类电影网站| 美女高潮喷水抽搐中文字幕| 国产麻豆69| 一级a爱视频在线免费观看| 99国产精品免费福利视频| 亚洲avbb在线观看| 国产精品一二三区在线看| 欧美激情高清一区二区三区| svipshipincom国产片| 午夜视频精品福利| 色精品久久人妻99蜜桃| 免费一级毛片在线播放高清视频 | 超色免费av| 一区二区三区乱码不卡18| 久久av网站| 亚洲国产欧美在线一区| 欧美日韩黄片免| 成年美女黄网站色视频大全免费| 国产一区二区 视频在线| 亚洲av成人不卡在线观看播放网 | 精品高清国产在线一区| avwww免费| 热99re8久久精品国产| 色婷婷久久久亚洲欧美| 老司机影院毛片| svipshipincom国产片| 亚洲少妇的诱惑av| 18在线观看网站| 99久久99久久久精品蜜桃| 黄片小视频在线播放| 精品久久久久久电影网| 婷婷成人精品国产| 精品国产乱码久久久久久男人| 精品国产乱子伦一区二区三区 | 亚洲熟女精品中文字幕| 九色亚洲精品在线播放| 国产在线免费精品| 久久综合国产亚洲精品| 91成人精品电影| av福利片在线| 丝袜脚勾引网站| 国产精品九九99| 欧美久久黑人一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 久久这里只有精品19| 午夜激情av网站| 中文字幕人妻丝袜制服| 久久久久久久精品精品| 精品一品国产午夜福利视频| 精品一区二区三区四区五区乱码| 一级黄色大片毛片| 永久免费av网站大全| 亚洲 欧美一区二区三区| 亚洲国产精品999| 精品久久蜜臀av无| 久久精品国产a三级三级三级| 亚洲精华国产精华精| 亚洲成人手机| 19禁男女啪啪无遮挡网站| 免费久久久久久久精品成人欧美视频| 国产亚洲av片在线观看秒播厂| 汤姆久久久久久久影院中文字幕| 老司机亚洲免费影院| 女人久久www免费人成看片| 中文字幕最新亚洲高清| 在线观看免费视频网站a站| 亚洲国产av新网站| 三上悠亚av全集在线观看| 亚洲精品自拍成人| 欧美日韩精品网址| 久久女婷五月综合色啪小说| 国产成人免费无遮挡视频| 久久亚洲精品不卡| 中文精品一卡2卡3卡4更新| 男人舔女人的私密视频| 欧美成狂野欧美在线观看| 国产亚洲av高清不卡| 日韩电影二区| 欧美成狂野欧美在线观看| 亚洲精品一卡2卡三卡4卡5卡 | 别揉我奶头~嗯~啊~动态视频 | 男女免费视频国产| 中文字幕av电影在线播放| 亚洲国产精品999| 欧美少妇被猛烈插入视频| 在线观看一区二区三区激情| 热99re8久久精品国产| 午夜视频精品福利| 一区二区三区精品91| 久热爱精品视频在线9| 91av网站免费观看| 国产亚洲精品一区二区www | 美女扒开内裤让男人捅视频| 精品人妻一区二区三区麻豆| 操美女的视频在线观看| 12—13女人毛片做爰片一| 成人黄色视频免费在线看| 97精品久久久久久久久久精品| 啪啪无遮挡十八禁网站| 精品久久久精品久久久| 国产精品.久久久| 91精品国产国语对白视频| 亚洲精品美女久久久久99蜜臀| 两个人看的免费小视频| 人妻 亚洲 视频| 老司机福利观看| videos熟女内射| 精品久久蜜臀av无| 十八禁高潮呻吟视频| 成人国语在线视频| 好男人电影高清在线观看| 精品一区二区三区四区五区乱码| 美女视频免费永久观看网站| 美女主播在线视频| 丰满饥渴人妻一区二区三| 中文欧美无线码| 亚洲欧美激情在线| 亚洲精品日韩在线中文字幕| 国产精品国产三级国产专区5o| 中亚洲国语对白在线视频| 亚洲五月色婷婷综合| 中亚洲国语对白在线视频| 亚洲精品成人av观看孕妇| 麻豆av在线久日| 黄网站色视频无遮挡免费观看| 视频在线观看一区二区三区| 亚洲五月色婷婷综合| 色精品久久人妻99蜜桃| 久久人人爽人人片av| 1024视频免费在线观看| 亚洲熟女毛片儿| 国产黄频视频在线观看| 另类精品久久| 黄片大片在线免费观看| 不卡一级毛片| 欧美日韩视频精品一区| 久久久久久人人人人人|