基于Markov鏈使用模型的加速統(tǒng)計測試方法

張德平 查日軍

(1南京航空航天大學計算機科學與技術(shù)學院，南京 210016)

(2上海市計算機軟件評測重點實驗室，上海 201112)

(3東南大學計算機科學與工程學院，南京 210096)

軟件測試過程中由于窮舉測試工作量太大，實踐上不可行，導致一切實際測試都不徹底，不能保證被測試程序中不存在軟件錯誤.因此如何精選少量的測試用例對系統(tǒng)進行有效的測試，是軟件測試研究中的關(guān)鍵問題［1］.目前，運用統(tǒng)計學原理指導測試用例的產(chǎn)生和選擇，對測試數(shù)據(jù)進行統(tǒng)計分析的軟件統(tǒng)計測試方法在理論上已經(jīng)取得了很大進展，并在工程實踐中取得了良好的效果［2-10］.

然而，對于高可靠軟件特別是安全關(guān)鍵軟件，其關(guān)鍵操作如緊急事故處理等操作，由于使用概率非常小，在基于使用的統(tǒng)計測試中往往得不到充分測試，而這類操作的可靠性要求往往很高，其失效會造成嚴重的后果.如果采用傳統(tǒng)的統(tǒng)計測試方法，即使花費很長的測試時間也難以有效地對該安全關(guān)鍵軟件實施充分的測試.因此，在軟件測試過程中，如果能有針對性地暴露出對軟件可靠性影響較大的軟件缺陷，加速軟件測試，將可以快速增加軟件可靠性，還可顯著減少軟件測試開銷.目前，國內(nèi)外針對軟件可靠性加速測試技術(shù)的研究還比較少［11］，因此有必要對其進行深入研究.

本文基于Markov鏈使用模型提出了一種加速統(tǒng)計測試方法，以軟件總費用最小為目標，引入一種新的測試充分性判定準則來均衡測試成本與軟件投放后的失效風險，利用交叉熵方法優(yōu)化軟件測試剖面，增加了關(guān)鍵操作的測試機會，加速了軟件測試且降低了軟件總費用.

1 基于費用的Markov鏈使用模型

Markov鏈使用模型是一個具有唯一初態(tài)和終態(tài)的Markov鏈，可用強連通有向圖G=(V，A)和函數(shù)p:V×V→［0，1］表示，具有如下性質(zhì):

1)V={1，2，…，n}為節(jié)點集，表示軟件系統(tǒng)的使用狀態(tài).

2)A為邊集，其元素表示在某個狀態(tài)下選定某個操作時軟件狀態(tài)間的轉(zhuǎn)移.從狀態(tài)i到狀態(tài)j的邊e定義為一個有序?qū)?i，j)，任意2個狀態(tài)i和j之間的一個方向最多只有一條有向邊相連.

3) 轉(zhuǎn)移概率 p(i，j)滿足0≤p(i，j)≤1，表示從狀態(tài)i一步轉(zhuǎn)移到狀態(tài)j的概率.整個軟件系統(tǒng)狀態(tài)之間的轉(zhuǎn)移概率p(i，j)可用轉(zhuǎn)移概率矩陣P表示，即 P=(p(i，j))n×n.

假定狀態(tài)1為初態(tài)，狀態(tài)n為終態(tài)，并且狀態(tài)n為吸收態(tài)，它表示一旦進入狀態(tài)n就不再離去，即 p(n，n)=1，p(n，j)=0，?j≠n.每一個狀態(tài) i∈V都是從初態(tài)可達的，即在G中總存在一條從狀態(tài)1到狀態(tài)i的有向路徑.每條邊e均可估計出如下參數(shù)［10］:失效概率 f(e)，投放后的失效風險l(e)，測試成本c(e)，易知l(e)?c(e).不失一般性，假定失效邊在操作過程中總是失效，一旦經(jīng)過測試，失效邊均看作正確操作，不再造成軟件失效.進一步假定［12］:

1)邊(i，j)的每一次操作運行都有一個先驗失效概率 f(i，j)≥0.

2)不同操作是否引起軟件失效相互獨立.

3)軟件投入運行期間，失效邊(i，j)至少歷經(jīng)一次，造成失效風險l(i，j)發(fā)生.

4)總失效風險由各邊失效風險累加形成.

定義一個測試數(shù)據(jù)集 x={e1，e2，…，em}，ek∈A(k=1，2，…，m)為包含初態(tài)1和終態(tài)n的一個測試數(shù)據(jù).根據(jù)規(guī)格說明書或用戶實際使用生成測試數(shù)據(jù)集x的概率分布稱為操作剖面，即轉(zhuǎn)移概率矩陣P.邊e可以在測試數(shù)據(jù)集x中出現(xiàn)多次，即測試數(shù)據(jù)集x中可以包含多條從初態(tài)1到終態(tài)n的路徑.由假定可知，運行測試數(shù)據(jù)集x的測試成本為

測試前，每條邊是否造成軟件失效是不確定的，定義示性函數(shù)If(e)，對于給定的邊e，如果測試過程中相對于邊e的操作造成軟件失效，則令I(lǐng)f(e)=1，否則令 If(e)=0.顯然，E［If(e)］=f(e).

假定軟件投入運行后，軟件失效均發(fā)生在平穩(wěn)狀態(tài)下.引入示性函數(shù)Ir(e)來描述過程是否達到平穩(wěn)狀態(tài)，即如果隨機歷經(jīng)邊e的狀態(tài)是平穩(wěn)狀態(tài)時令I(lǐng)r(e)=1，否則Ir(e)=0.由示性函數(shù)If(e)與Ir(e)定義知，它們相互獨立.令ˉA?A表示未經(jīng)測試邊的集合，由假設可知只有ˉA中的邊才可能因失效造成失效風險.則平穩(wěn)狀態(tài)下因未測試邊失效造成的失效風險的期望可表示為

由If(e)與Ir(e)的獨立性及期望的性質(zhì)可得

式中，E［Ir(e)］=q(i，j)=q(e)為平穩(wěn)狀態(tài)下邊 e=(i，j)被歷經(jīng)的概率.記πi為平穩(wěn)狀態(tài)下狀態(tài)i(i=1，2，…，n)發(fā)生的概率，由 Markov過程轉(zhuǎn)移概率與絕對概率之間的關(guān)系以及遍歷性定理可知，平穩(wěn)狀態(tài)下邊(i，j)被歷經(jīng)的概率為 q(i，j)=πip(i，j).

按照操作剖面P生成測試數(shù)據(jù)集x進行測試，當測試數(shù)據(jù)集足夠大時，有可能測試完所有的邊，使得ˉA=?，此時失效風險的期望L(ˉA)=0.然而，隨著測試數(shù)據(jù)集x邊數(shù)的增長，相應的測試成本C(x)也會增加，因此軟件測試停止時間取決于失效風險與測試成本的均衡.即生成測試數(shù)據(jù)集的最佳邊數(shù)是使得軟件總費用(失效風險與測試成本)最小時的邊數(shù).然而，這樣生成測試數(shù)據(jù)集依然存在一個問題:小概率高風險的操作被測試到的可能性很小，生成的測試數(shù)據(jù)集并不一定是最佳測試數(shù)據(jù)集.為解決此問題，本文采用一種導向性啟發(fā)式方法調(diào)節(jié)轉(zhuǎn)移概率，確定一個最優(yōu)(或近優(yōu))測試剖面(即測試中用來生成測試數(shù)據(jù)的概率分布)，然后根據(jù)最優(yōu)測試剖面，均衡失效風險和測試成本生成最優(yōu)(或近似最優(yōu))測試數(shù)據(jù)集.這類問題可歸結(jié)為:確定一個最優(yōu)測試剖面T*，根據(jù)T*生成測試數(shù)據(jù)集x使得期望軟件總費用S(x)最小，即

式中，參數(shù)a說明失效風險相對于測試成本的重要程度，與合同、客戶人數(shù)、市場信譽等因素有關(guān)，在實際應用中需要事先估計.

2 測試充分性準則

當測試資源不受約束時，統(tǒng)計測試按最優(yōu)測試剖面選擇邊進行測試.測試初始階段，測試成本隨測試邊數(shù)的增加而增加，而失效風險則隨測試邊數(shù)的增加而減少，并且由失效風險降低的費用要遠比增加的測試成本多，因此軟件總費用呈下降趨勢;隨著已測試邊數(shù)的增加，失效風險降低速度減小，測試成本增加，測試一定數(shù)量的邊后，軟件總費用降到最低;隨后，增加的測試成本多于失效風險減少的費用，軟件總費用呈上升趨勢.

記 S(xi－k)，S(xi)和 S(xi+k)分別表示測試數(shù)據(jù)集為 xi－k={e1，e2，…，ei－k}， xi={e1，e2，…，ei}和 xi+k={e1，e2，…，ei+k}時的軟件總費用.由最優(yōu)停止理論，統(tǒng)計測試的最優(yōu)停止準則可采用一步向前看準則(1-stage look-ahead rule):令k=1，從初始狀態(tài)出發(fā)，依據(jù)轉(zhuǎn)移概率矩陣選取下一次操作(增加測試邊)，如果滿足

則在測試數(shù)據(jù)集中停止增加測試邊，最佳測試數(shù)據(jù)集為xi.然而，在實際應用中由于選擇測試邊的測試剖面并不一定為最優(yōu)測試剖面，相繼選擇的幾條邊并不一定能減少失效風險，這樣可能會造成軟件總費用有一個小的上升擾動后繼續(xù)降低.為避免得到一個局部最優(yōu)測試數(shù)據(jù)集，這里采用向前看k步準則(k-stage look-ahead rule).即對于給定正整數(shù)k，如果軟件總費用滿足

則在測試數(shù)據(jù)集中停止增加邊，最佳測試數(shù)據(jù)集為xi.

3 加速統(tǒng)計測試技術(shù)

3.1 交叉熵方法

應用交叉熵方法［13］需解決的問題是:如何產(chǎn)生隨機樣本以及如何在每一次迭代中修正參數(shù).

設x為根據(jù)轉(zhuǎn)移概率矩陣P生成的一個測試數(shù)據(jù)集，則由Markov鏈的馬氏性知測試數(shù)據(jù)集x出現(xiàn)的概率為

式中，i為測試數(shù)據(jù)集x中所有出現(xiàn)過的狀態(tài);j為依附邊(i，j)∈A的狀態(tài).令γ*為失效風險S(x)在所有測試數(shù)據(jù)集組成的集合X中的最小值，則問題可改寫為確定一個最佳轉(zhuǎn)移概率矩陣(即測試剖面)，由此測試剖面生成測試數(shù)據(jù)集x*，使得

定義{I{S(x)≤γ}}為X上不同γ∈R值的示性函數(shù)集合，則式(6)中最優(yōu)測試剖面確定問題可轉(zhuǎn)化為如下概率估計問題來求解:

式中，Pu和Eu為相對于概率分布f(·;u)的概率測度和期望.

當γ=γ*時，l(γ)估計的最直接方法是采用重要抽樣方法［14］:根據(jù)X上的概率分布g抽取樣本 x1，x2，…，xN，則 l的估計為

顯然，當概率分布g取

時只需抽取一個樣本即可得l的一個方差為零的無偏估計.

從式(9)可看出，g*依賴于未知參數(shù)l，很難確定.因此一般在概率分布f(·;u)的概率分布簇{f(·;v)}中選取概率分布g來解決這個問題，即確定推斷參數(shù)v使得f(·;v)與概率分布g*差別達到最小.常用來衡量2個概率分布差別大小的測度是K－L距離或交叉熵［13］.

這樣，最優(yōu)測試剖面的確定問題就轉(zhuǎn)化為確定推斷參數(shù)v，使得f(·;v)與概率分布g*的交叉熵最小，即

將式(9)代入式(10)可得如下等價推斷參數(shù)確定形式:

由于測試數(shù)據(jù)集x={e1，e2，…}是根據(jù)轉(zhuǎn)移概率矩陣P生成的，概率矩陣P可用推斷參數(shù)v表示.測試數(shù)據(jù)集x的聯(lián)合概率分布為

由拉格朗日乘子法，則式(11)的優(yōu)化問題可轉(zhuǎn)化為

式中，事件I{x∈Xij}表示測試數(shù)據(jù)集x在測試中歷經(jīng)狀態(tài)i并從狀態(tài)i轉(zhuǎn)移到狀態(tài)j.

由此可得最優(yōu)測試剖面中不同狀態(tài)之間的轉(zhuǎn)移概率為

則最優(yōu)測試剖面T*的每個轉(zhuǎn)移概率的估計為

式(14)為不同狀態(tài)之間轉(zhuǎn)移概率的修正公式，其直觀含義為:從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率為所有目標函數(shù)值(軟件總費用)不大于γ的測試數(shù)據(jù)集中，從狀態(tài)i一步轉(zhuǎn)移到狀態(tài)j的次數(shù)與測試歷經(jīng)狀態(tài)i的次數(shù)之比.由此可知，在每一個狀態(tài)中參數(shù)(不同狀態(tài)下的轉(zhuǎn)移概率)修正都是選用最有利于接近最優(yōu)目標的“精英”測試數(shù)據(jù)集來修正.這樣修正后使得下一次生成的測試數(shù)據(jù)集更接近于最優(yōu)測試數(shù)據(jù)集，該機制使得每個狀態(tài)的最優(yōu)轉(zhuǎn)移概率很容易找到，最終得到最優(yōu)測試剖面，加速統(tǒng)計測試.

3.2 應用交叉熵方法加速統(tǒng)計測試

在基于Markov鏈使用模型的統(tǒng)計測試中應用交叉熵方法，可以由一個兩步迭代過程實現(xiàn):

① 適應修正 γt.對于固定的 vt－1，令 γt為在參數(shù)vt－1下目標函數(shù)值序列S(x)的ρ·100%分位數(shù).即 γt滿足

式中，x～f(·;vt－1).最簡單的估計是根據(jù)參數(shù)vt－1抽樣出的測試數(shù)據(jù)集 x1，x2，…，xN計算出目標函數(shù)值S(x)，并將其按從小到大排列(S(1)≤S(2)≤…≤S(N))，最后用N個目標函數(shù)值中的第ρ·100%個來估計γt，即^γt=S［ρN］.

② 適應修正 vt.對于固定的 γt和 vt－1，由式(14)得到修正的 ~vt，并采用平滑技術(shù)得到vt的修正值［13］:

步驟②中采用平滑技術(shù)主要是為了避免^vt的元素^vt，i取值為0，不能得到全局最優(yōu)解.首次循環(huán)中，初始化轉(zhuǎn)移概率矩陣為操作剖面P.由迭代過程可得^γ1和^v1，如此循環(huán)，可得序列對{(^γt，^vt)，t=1，2，…}.由文獻［14］易知^γt→γ*，由此可得用于生成最優(yōu)或近似最優(yōu)測試數(shù)據(jù)集的測試剖面，具體算法如下.

算法1 最優(yōu)測試剖面生成算法

① 初始化^v0為操作剖面P，令t=1.

② 根據(jù)參數(shù)^vt－1及相應的測試充分性判定準則自動生成隨機測試數(shù)據(jù)集 x的樣本 x1，x2，…，xN，計算各個測試數(shù)據(jù)集樣本對應的目標函數(shù)值S(x)并排序 S(1)，S(2)，…，S(N)，找出 N 個目標函數(shù)值的ρ·100%分位數(shù)^γt=S［ρN］.

③ 用同樣的測試數(shù)據(jù)集樣本 x1，x2，…，xN，由式(14)解出~vt，應用式(15)的平滑技術(shù)得到 ^vt.

④令t=t+1，重復步驟②和③，直到滿足停止條件.

⑤輸出最優(yōu)測試剖面.

測試數(shù)據(jù)集x1，x2，…，xN的自動生成過程可根據(jù)Markov過程性質(zhì)及相應測試充分性判定準則運用蒙特卡羅方法來仿真生成，具體算法如下.

算法2 測試數(shù)據(jù)集的自動生成算法

輸入:測試剖面T，各邊失效概率，失效風險，測試成本.

輸出:N個測試數(shù)據(jù)集及相應的目標函數(shù)值S(xi)，i=1，2，…，N.

For i=1 to N

初始化當前狀態(tài)為初態(tài)1.

重復如下步驟，直到滿足測試充分性準則:

①根據(jù)測試剖面T，在當前狀態(tài)選取下一條邊，若當前狀態(tài)為終態(tài)，則下一狀態(tài)為初態(tài)1;

②修改相應測試邊的遍歷次數(shù)及當前所在狀態(tài);

③計算目標函數(shù)樣本值S(xi).

4 實例及靈敏度分析

4.1 實例分析

為了更好地說明利用交叉熵方法優(yōu)化測試剖面的有效性，用一個列車調(diào)度信息系統(tǒng)軟件［4-6，12-14］實例加以驗證.圖 1 給出了列車調(diào)度的Markov鏈使用模型.

圖1 列車信息系統(tǒng)的Markov鏈使用模型

軟件包括12個操作，每次執(zhí)行從操作1開始，操作12是軟件終止運行時執(zhí)行的操作，邊(8，9)和(8，10)導致關(guān)鍵操作9和10執(zhí)行.假定每條邊(i，j)的失效概率 f(i，j)、失效風險 l(i，j)和測試成本c(i，j)已估計出，如表1所示.

表1 馬爾可夫使用模型中各邊失效概率、失效風險和測試成本

失效風險重要程度參數(shù)a=105，每次迭代抽樣的樣本數(shù)N=1 000，ρ=0.02，d=4(或最大迭代步數(shù)為50)，平滑參數(shù)α=0.4，采用向前看30步停止準則生成最優(yōu)測試剖面T*.分別根據(jù)最優(yōu)測試T*和操作剖面P生成500個測試數(shù)據(jù)集.采用最優(yōu)測試剖面T*時平均軟件總費用為3 774，平均每個測試數(shù)據(jù)集遍歷的邊數(shù)為47;采用操作剖面P時平均最小軟件總費用為8 983，平均每個測試用例集遍歷的邊數(shù)為22.兩種情形下的平均失效風險、平均測試成本及平均軟件總費用在測試邊數(shù)增加時的變化曲線如圖2和圖3所示.

圖2 采用最優(yōu)測試剖面時的費用變化趨勢

圖3 采用操作剖面時的費用變化趨勢

從圖2和圖3中可看出隨著測試邊數(shù)的增加，2種情形下平均失效風險都在降低并且下降速度逐漸變小，測試成本不斷增加，軟件總費用由高逐漸降低至最少，平均失效風險的減少量也逐漸變小.當平均失效風險減少量低于測試成本增加量時，軟件總費用呈上升趨勢，與前面的分析一致.采用最優(yōu)測試剖面T*測試時平均失效風險下降的幅度要比采用操作剖面P時的大，平均軟件總費用要比采用操作剖面時小.

圖4和圖5給出了按最優(yōu)測試剖面和操作剖面分別生成的500個測試數(shù)據(jù)集中，各邊累積遍歷次數(shù)的柱狀圖.

圖4 采用最優(yōu)測試剖面時各測試邊的遍歷次數(shù)

圖5 采用操作剖面時各測試邊的遍歷次數(shù)

采用操作剖面時，操作8被遍歷的次數(shù)為53，關(guān)鍵操作9和10被遍歷的次數(shù)分別為38和28.而采用最優(yōu)測試剖面時，操作8被遍歷的次數(shù)為761，關(guān)鍵操作9和10被遍歷的次數(shù)分別為547和1 005.

4.2 靈敏度分析

為了研究算法1中各參數(shù)對測試效率的影響，采用向前看30步停止準則，d=4或最大迭代次數(shù)設定為50次，研究了在其他參數(shù)不變的情形下，100次仿真實驗中參數(shù)α、迭代次數(shù)N和ρ分別變化時對平均軟件總費用的影響.

實驗1 參數(shù)α取值對總費用的影響

在參數(shù)ρ=0.01，N=1 000的情形下，α分別取0.3，0.4，…，0.9時，100次仿真試驗的平均總費用變化曲線如圖6所示.

圖6 不同α取值下平均總費用變化曲線

從圖6可看出，在其他參數(shù)保持不變的情形下，參數(shù)α在［0.3，0.9］之間取值時，對平均總費用沒有顯著的影響.在實際應用過程中，α值一般根據(jù)問題的復雜程度選取，如果問題復雜，不易收斂，則α值應偏大一些;若算法易收斂，則α值應偏小一些.

實驗2 參數(shù)ρ取值對總費用的影響

在參數(shù)α=0.4，N=1 000的情形下，ρ分別取0.01，0.02，…，0.1時，100次仿真試驗的平均總費用變化曲線如圖7所示.

圖7 不同ρ取值下平均總費用變化曲線

由圖7可看出，在其他參數(shù)保持不變的情形下，參數(shù)ρ的取值較小時，平均總費用也較小，隨著ρ的增加，平均總費用逐漸增加.其實質(zhì)是在測試數(shù)據(jù)集的選擇過程中，選擇測試數(shù)據(jù)集的質(zhì)量直接影響算法的性能.當測試數(shù)據(jù)集愈接近于最優(yōu)測試數(shù)據(jù)集時，優(yōu)化后的測試剖面更接近于最優(yōu)測試剖面，這樣經(jīng)過多次迭代后得到的測試剖面就為最優(yōu)(或近優(yōu))測試剖面.因此，對于參數(shù)ρ的選取應盡可能小，使參加測試剖面更新的樣本適應值更接近于最優(yōu)值.

實驗3 參數(shù)N取值對總費用的影響

在參數(shù)α=0.4，ρ=0.01的情形下，樣本容量N 分別取500，1 000，…，5 000時，100次仿真試驗的平均總費用變化曲線如圖8所示.

圖8 樣本容量對平均總費用的影響曲線

從圖8可看出，在其他參數(shù)保持不變的情形下，隨著樣本容量N取值增加，平均總費用先急劇降低，然后趨于穩(wěn)定.因此，參數(shù)N的選取應該在資源允許的前提下使測試數(shù)據(jù)個數(shù)最大.即如果能在每一次迭代中提高選擇的測試數(shù)據(jù)集質(zhì)量，就能達到提高算法收斂速度的目的.

5 結(jié)語

本文利用交叉熵方法通過一種修正機制調(diào)節(jié)操作剖面，增加小概率關(guān)鍵操作的測試機會，加速軟件測試，在提高軟件系統(tǒng)質(zhì)量的同時降低軟件總費用.應用軟件加速統(tǒng)計測試技術(shù)需要確定某些參數(shù)值，如:邊的失效率、失效風險和測試成本.實際使用中一般采用測試過程中得到的經(jīng)驗數(shù)據(jù)或通過專家經(jīng)驗進行估計，參數(shù)估計的精確性直接影響測試數(shù)據(jù)的有效性，如何利用測試過程中觀察到的數(shù)據(jù)及以往經(jīng)驗數(shù)據(jù)對這些參數(shù)進行精確估計需作進一步研究.

References)

［1］陳火旺，王戟，董威.高可信軟件工程技術(shù)［J］.電子學報，2003，31(12):1933-1938.Chen Huowang，Wang Ji，Dong Wei.High confidence software engineering technologies［J］.Acta Electronica Sinica，2003，31(12):1933－1938.(in Chinese)

［2］趙亮，王建民，孫家廣.統(tǒng)計測試的軟件可靠性保障能力研究［J］.軟件學報，2008，19(6):1379-1385.Zhao Liang，Wang Jianmin，Sun Jiaguang.Study on the assurance ability of statistical test on software reliability［J］.Journal of Software，2008，19(6):1379-1385.(in Chinese)

［3］ Gutjahr W J.Failure risk estimation via Markov software usage models［C］//Proc 15th International Conference on Computer Safety，Reliability and Security.Vienna，Austria，1997:183-192.

［4］ Gutjahr W J.Importance sampling of test cases in Markovian software usage models［J］.Probability in the Engineering and Informational Sciences，1997，11:19-36.

［5］ Gutjahr W J.Software dependability evaluation based on Markov usage models［J］.Performance Evaluation，2000，40(4):199-222.

［6］ Doerner K，Laure E.High performance computing in the optimization of software test plans［J］.Optimization and Engineering，2002，3:67-87.

［7］ Doerner K，Gutjahr W J.Extracting test sequences from a Markov software usage model by ACO［C］//Genetic and Evolutionary Computation Conference.Chicago，IL，USA，2003:2465-2476.

［8］ Yan J，Zhou K P，Deng C H，et al.Importance sampling based safety-critical software statistical testing acceleration［C］//2010 International Conference on Computational Intelligence and Software Engineering.Wuhan，China，2010:1-4.

［9］徐云青，徐義峰，李舟軍.基于使用模型的軟件可靠性加速測試［J］.計算機應用與軟件，2009，26(3):147-148.Xu Yunqing，Xu Yifeng，Li Zhoujun.Software reliability accelerated testing based on usage model［J］.Computer Applications and Software，2009，26(3):147-148.(in Chinese)

［10］張德平，聶長海，徐寶文.軟件可靠性評估的重要抽樣方法研究［J］.軟件學報，2009，20(10):2859-2866.Zhang Deping，Nie Changhai，Xu Baowen.Importance sampling method of software reliability estimation［J］.Journal of Software，2009，20(10):2859-2866.(in Chinese)

［11］吳玉美，阮鐮.軟件可靠性加速測試的加速機理研究［J］.計算機應用，2006，26(6):1449-1551.Wu Yumei，Ruan Lian.Research on the acceleration principle of software reliability testing［J］.Computer Applications，2006，26(6):1449-1551.(in Chinese)

［12］張德平，聶長海，徐寶文.測試資源受約束的安全關(guān)鍵軟件加速測試方法［J］.計算機科學，2009，36(5):138－141.Zhang Deping，Nie Changhai，Xu Baowen.Acceleration testing method of safety-critical software with testing resource constraint［J］.Computer Science，2009，36(5):138-141.(in Chinese)

［13］ Boer D P-T，Kroese D P，Mannor S et al.A tutorial on the cross-entropy method［J］.Annals of Operations Research，2005，134:19-67.

［14］ Margolin L.On the convergence of the cross-entropy method［J］.Annals of Operations Research，2005，134:201-214.