基于融合先驗(yàn)方法的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)

高曉光, 葉思懋, 邸若海, 寇振超

(西北工業(yè)大學(xué)電子信息學(xué)院, 陜西 西安 710129)

0　引　言

概率論與數(shù)理統(tǒng)計(jì)為很多現(xiàn)代自然科學(xué)與工程問(wèn)題的解決提供了有效的方法。貝葉斯網(wǎng)絡(luò)作為一種概率圖模型,其堅(jiān)實(shí)的理論基礎(chǔ)、知識(shí)結(jié)構(gòu)的自然表述方式、強(qiáng)大的推理能力使其成為數(shù)據(jù)分析時(shí)強(qiáng)有力的建模工具,特別地在機(jī)器學(xué)習(xí)[1]、數(shù)據(jù)挖掘[2-3]、決策分析[4]等領(lǐng)域,已成為了一種重要的數(shù)學(xué)工具。

貝葉斯網(wǎng)絡(luò)可以手工構(gòu)造也可以從數(shù)據(jù)中學(xué)習(xí),后者稱為貝葉斯網(wǎng)絡(luò)學(xué)習(xí),現(xiàn)在隨著人工智能的發(fā)展和應(yīng)用情況的復(fù)雜化,如何有效地進(jìn)行貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是研究的主要內(nèi)容,其中結(jié)構(gòu)學(xué)習(xí)是研究的熱點(diǎn)。

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)是一個(gè)非確定性多項(xiàng)式困難(non-deterministic polynomial hard, NP-hard)問(wèn)題[5],通常需要較大的樣本量[6],但有些情況下只能獲得比較少的數(shù)據(jù)[7],用這些小數(shù)據(jù)進(jìn)行結(jié)構(gòu)學(xué)習(xí)會(huì)造成學(xué)習(xí)誤差大、決策不準(zhǔn)確的后果。利用先驗(yàn)信息能夠有效提高學(xué)習(xí)準(zhǔn)確度[8],彌補(bǔ)數(shù)據(jù)量的不足[9]。

對(duì)于如何利用先驗(yàn)信息,有很多學(xué)者已經(jīng)對(duì)此進(jìn)行了研究,利用先驗(yàn)信息進(jìn)行結(jié)構(gòu)學(xué)習(xí)一般都使用評(píng)分搜索法,文獻(xiàn)[10]對(duì)這些方法做了一定的總結(jié)。比較典型的是以下幾種:文獻(xiàn)[11]利用節(jié)點(diǎn)序作為先驗(yàn)信息,用K2算法進(jìn)行學(xué)習(xí);文獻(xiàn)[12]利用邊是否存在作為先驗(yàn)信息;文獻(xiàn)[13]利用邊存在的概率作為先驗(yàn)信息。

現(xiàn)有的文獻(xiàn)都沒(méi)有考慮到對(duì)錯(cuò)誤不確定先驗(yàn)信息的適應(yīng)能力,而在某些情況下,比如戰(zhàn)場(chǎng)環(huán)境中應(yīng)用貝葉斯網(wǎng)絡(luò)需要較強(qiáng)的可靠性,且該環(huán)境下獲得的數(shù)據(jù)量小,對(duì)專家先驗(yàn)信息的依賴比較大。所以當(dāng)專家給出不正確的先驗(yàn)信息時(shí),希望算法對(duì)錯(cuò)誤有一定的適應(yīng)能力,當(dāng)先驗(yàn)信息有部分錯(cuò)誤時(shí),能夠降低其對(duì)結(jié)果的負(fù)面影響。這樣能夠增強(qiáng)結(jié)構(gòu)學(xué)習(xí)算法的可靠性和魯棒性。

本文采用評(píng)分搜索的方法進(jìn)行結(jié)構(gòu)學(xué)習(xí),在評(píng)分和搜索環(huán)節(jié)都利用了先驗(yàn)信息。首先本文提出了一種新的融合先驗(yàn)信息的評(píng)分函數(shù),該評(píng)分函數(shù)融合先驗(yàn)信息的方式有兩個(gè)特點(diǎn):第一,當(dāng)數(shù)據(jù)量越大時(shí),評(píng)分先驗(yàn)項(xiàng)所占的權(quán)重越小;第二,評(píng)分函數(shù)的先驗(yàn)項(xiàng)可以任意構(gòu)造,達(dá)到期望的要求。本文借鑒文獻(xiàn)[14]中構(gòu)造先驗(yàn)的思想,設(shè)置一個(gè)關(guān)于先驗(yàn)信息的懲罰項(xiàng),當(dāng)先驗(yàn)信息與當(dāng)前網(wǎng)絡(luò)的差距越大,距離越大,懲罰越大。先驗(yàn)項(xiàng)的另一種構(gòu)造方法是計(jì)算先驗(yàn)部分的聯(lián)合概率,但精確求先驗(yàn)部分的聯(lián)合概率是很復(fù)雜的[15],本文提出的方法相對(duì)簡(jiǎn)單有效。

在搜索環(huán)節(jié),本文從增強(qiáng)魯棒性的角度出發(fā)提高對(duì)錯(cuò)誤先驗(yàn)信息的適應(yīng)能力:評(píng)分搜索算法很容易搜不到與先驗(yàn)信息有關(guān)的邊,就達(dá)到局部最優(yōu),這樣就造成了先驗(yàn)利用的不充分,當(dāng)先驗(yàn)信息存在部分錯(cuò)誤時(shí),現(xiàn)有的評(píng)分搜索算法可能會(huì)學(xué)到這些錯(cuò)誤先驗(yàn)信息有關(guān)的邊,而忽略了正確先驗(yàn)信息的邊,雖然概率比較小,但是說(shuō)明現(xiàn)有的算法魯棒性不夠好。本文提出一種關(guān)于先驗(yàn)信息的引導(dǎo)策略,在搜索過(guò)程中增加了一個(gè)先驗(yàn)信息搜索算子,從而擴(kuò)展搜索空間,最后能充分地利用正確的先驗(yàn)信息,這樣就能增強(qiáng)魯棒性,從而提高對(duì)錯(cuò)誤先驗(yàn)信息的適應(yīng)能力。

1　先驗(yàn)信息的表示方式

通常情況下,先驗(yàn)信息是專家對(duì)部分變量的主觀認(rèn)知,所以一般給出的是部分邊存在的概率大小,而且專家也很難給出這些邊的聯(lián)合概率,能提供的是每條邊存在的邊緣概率。所以按照這種情況經(jīng)行建模。

圖1　先驗(yàn)信息實(shí)例

2　融合先驗(yàn)信息改進(jìn)評(píng)分

本文要將先驗(yàn)信息融合到評(píng)分函數(shù)中去,在利用評(píng)分—搜索算法進(jìn)行貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)時(shí), 對(duì)于結(jié)構(gòu),貝葉斯評(píng)分的模型為

lnP(G,D)=lnP(D|G)+lnP(G)

(1)

式中，lnP(D|G)項(xiàng)為對(duì)數(shù)據(jù)的似然度；lnP(G)項(xiàng)為結(jié)構(gòu)G的先驗(yàn)信息概率,本文融合先驗(yàn)信息的方法是對(duì)lnP(G)進(jìn)行估計(jì),其充當(dāng)了一個(gè)罰項(xiàng),當(dāng)先驗(yàn)信息與當(dāng)前網(wǎng)絡(luò)的差距越大,距離越大,懲罰值越大。

文獻(xiàn)[14]為了利用確定性先驗(yàn)信息,提出一種先驗(yàn)信息分布的估計(jì)方法,設(shè)任意的網(wǎng)絡(luò)結(jié)構(gòu)Bs,先驗(yàn)信息ξ代表的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)為Bp,然后計(jì)算Bs的先驗(yàn)信息分布估計(jì)為

P(G)=P(Bs|ξ)=ckδ

(2)

本文借鑒這種思路與模型,為了融合不確定先驗(yàn)信息,研究得到了一個(gè)新的評(píng)分模型。

本文將k替換為一個(gè)關(guān)于數(shù)據(jù)樣本量的函數(shù),將δ替換為一個(gè)關(guān)于概率取值的函數(shù),就能得到一個(gè)處理不確定先驗(yàn)的模型。

已知先驗(yàn)信息ξ(V,P),其中包含n對(duì)節(jié)點(diǎn)。對(duì)于特定結(jié)構(gòu)G,參照式(2)構(gòu)造罰項(xiàng)為

(3)

式中,k(s)、εi(p)都是函數(shù),其中s代表樣本量的大小,p代表在G中某條邊ei在ξ中對(duì)應(yīng)的概率。對(duì)式(3)取對(duì)數(shù)并進(jìn)行化簡(jiǎn)得

(4)

式中,C為常數(shù),對(duì)任意的結(jié)構(gòu)均相同,該項(xiàng)在比較過(guò)程中可以省略;K(s)是一個(gè)函數(shù),記為數(shù)據(jù)權(quán)衡項(xiàng);εi(p)中包含了先驗(yàn)信息,記為融合先驗(yàn)信息項(xiàng)。

2.1　數(shù)據(jù)權(quán)衡項(xiàng)的構(gòu)造

對(duì)于貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí),樣本量較少時(shí)需要用先驗(yàn)信息來(lái)彌補(bǔ)樣本的不足。隨著樣本量的增多,對(duì)先驗(yàn)信息的依賴會(huì)越來(lái)越弱,但錯(cuò)誤的先驗(yàn)信息始終會(huì)影響學(xué)習(xí)結(jié)果。所以本文構(gòu)造K(s)隨樣本量的增加而減小,這樣在樣本增多時(shí),錯(cuò)誤先驗(yàn)信息的影響會(huì)減小,具體函數(shù)為

(5)

式中,s為樣本量;c和φ是一個(gè)可調(diào)的平衡因子,其取值可以根據(jù)要求解的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度設(shè)定,一般的準(zhǔn)則是,網(wǎng)絡(luò)結(jié)構(gòu)越復(fù)雜,φ的取值應(yīng)該越大。當(dāng)c取1,φ取不同值時(shí)對(duì)|K(s)|函數(shù)進(jìn)行了仿真,如圖2所示。

圖2　φ取不同值時(shí)|K(s)|的大小

由圖2可知,數(shù)據(jù)集越大,K(s)的值越小,先驗(yàn)所占的權(quán)值就越小。

2.2　融合先驗(yàn)信息項(xiàng)的構(gòu)造

圖3　線性罰項(xiàng)函數(shù)

這種線性函數(shù)有一個(gè)缺點(diǎn),若先驗(yàn)信息有誤則很容易學(xué)到錯(cuò)誤的網(wǎng)絡(luò),為了克服這個(gè)問(wèn)題,本文從信息論中不確定度的角度出發(fā),利用熵的概念,構(gòu)造一個(gè)非線性的罰項(xiàng)函數(shù)。思想是,若ei造成不確定度越大,罰項(xiàng)的變化就越小,即εi(p)的導(dǎo)數(shù)的絕對(duì)值越小。所以目標(biāo)是構(gòu)造導(dǎo)函數(shù)D(p),當(dāng)不確定度達(dá)到最大值時(shí),導(dǎo)數(shù)為0。將ei視為隨機(jī)變量,則該隨機(jī)變量的熵計(jì)算公式為

(6)

熵表示了這個(gè)變量的不確定度,熵越大說(shuō)明ei的不確定度越大,ei一共有3種情況。不失一般性,對(duì)另外兩種情況取均勻分布。

結(jié)合式(6)記

(7)

給出導(dǎo)函數(shù)公式

(8)

εi(p)應(yīng)該滿足條件

(9)

式中,k是一個(gè)常數(shù)。

進(jìn)行數(shù)值積分后,εi(p)的函數(shù)圖像如圖4所示。

圖4　基于熵的罰項(xiàng)函數(shù)

由圖4可知,當(dāng)專家先驗(yàn)信息給出的概率具有的不確定度越大,在此概率值附近的改變?cè)斐傻挠绊懢驮叫?比如概率為0.3和概率為0.6兩處造成的懲罰度差值就很小,因?yàn)閷＜医?jīng)驗(yàn)具有的不確定度很大。這樣優(yōu)點(diǎn)在于,若錯(cuò)誤的先驗(yàn)信息不是很絕對(duì),則其造成的影響較小。

3　融合先驗(yàn)信息的搜索過(guò)程

由于貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)是一個(gè)NP-hard的問(wèn)題。在啟發(fā)式搜索的過(guò)程中,隨著節(jié)點(diǎn)數(shù)的增加,貝葉斯網(wǎng)的局部峰值會(huì)越來(lái)越多,容易陷入局部最優(yōu),在貝葉斯的結(jié)構(gòu)學(xué)習(xí)中,雖然已經(jīng)發(fā)展了很多的搜索算法,包括一些群智能算法,也很難搜索到全局最優(yōu)解。這樣在給出先驗(yàn)信息后,搜索算法很可能搜索不到先驗(yàn)信息中的那些邊,尤其是那些概率取值比較大的邊。此時(shí)當(dāng)先驗(yàn)信息中有部分錯(cuò)誤時(shí),就可能會(huì)只用到那些錯(cuò)誤的先驗(yàn)信息,使得學(xué)習(xí)結(jié)果很差,為了改善這種情況,本文在搜索過(guò)程中,增加了一個(gè)“先驗(yàn)搜索”算子,盡可能地利用正確的先驗(yàn)信息,這樣能提高算法的魯棒性,提高整體的學(xué)習(xí)效果水平。

先驗(yàn)信息搜索算子的設(shè)計(jì)思路為:搜索過(guò)程中,對(duì)先驗(yàn)信息中的每個(gè)節(jié)點(diǎn)對(duì),都按照先驗(yàn)信息的概率進(jìn)行置邊,例如對(duì)于節(jié)點(diǎn)對(duì)vi對(duì)應(yīng)的概率pi=[0.1,0.8,0.1],則這對(duì)節(jié)點(diǎn)間有0.8的概率置為正向。但是經(jīng)過(guò)先驗(yàn)信息搜索算子的修改后,得到的結(jié)構(gòu)可能會(huì)成環(huán),所以要進(jìn)行去環(huán)操作。

下面給出先驗(yàn)信息搜索算法和去環(huán)算法流程，如表1和表2所示。

表1　先驗(yàn)信息搜索算法流程

將先驗(yàn)搜索算子加入到爬山算法中得到先驗(yàn)搜索爬山(informed-search hill climbing,IS-HC)算法，流程如表3所示。

4　仿真結(jié)果及其分析

4.1　仿真說(shuō)明

為了驗(yàn)證文中提出方法的有效性,仿真采用經(jīng)典的Asia網(wǎng)絡(luò),用爬山法進(jìn)行結(jié)構(gòu)學(xué)習(xí)。對(duì)于一些特定的參數(shù),數(shù)據(jù)權(quán)衡項(xiàng)K(s)中φ取500,融合先驗(yàn)信息項(xiàng)默認(rèn)采用基于熵的罰項(xiàng)函數(shù)。為簡(jiǎn)便起見(jiàn),若不作說(shuō)明,本文先驗(yàn)給出的形式為對(duì)Asia網(wǎng)中所有真實(shí)存在的邊加一個(gè)相同先驗(yàn)概率。例如當(dāng)說(shuō)正確先驗(yàn)為pi=[0.1,0.8,0.1],則所有真實(shí)存在的邊的概率一律設(shè)pi=[0.1,0.8,0.1],此時(shí)給出的先驗(yàn)信息如圖5所示。

表3　IS-HC算法流程

圖5　仿真的先驗(yàn)信息

為證明本文提出算法的有效性,仿真過(guò)程中對(duì)不同數(shù)量的訓(xùn)練樣本進(jìn)行了對(duì)比測(cè)試。本文用貝葉斯信息準(zhǔn)則(Bayesian information criterion,BIC)評(píng)分、Kullback-Leibler (KL)距離和漢明距離評(píng)判網(wǎng)絡(luò)的優(yōu)劣性。KL距離衡量學(xué)習(xí)得到的網(wǎng)絡(luò)和真實(shí)網(wǎng)絡(luò)分布的差距,而漢明距離是網(wǎng)絡(luò)結(jié)構(gòu)間的多邊、少邊、反邊之和。評(píng)分越高、KL距離和漢明距離越小,說(shuō)明學(xué)習(xí)得到的網(wǎng)絡(luò)越接近真實(shí)網(wǎng)絡(luò)。

4.2　本文方法有效性的驗(yàn)證

為驗(yàn)證本文的融合先驗(yàn)方法確實(shí)能夠有效地利用先驗(yàn)信息,對(duì)用本文的方法融合正確先驗(yàn)和不融合正確先驗(yàn)進(jìn)行對(duì)比仿真。先驗(yàn)設(shè)置為pi=[0.1,0.8,0.1],不同數(shù)據(jù)樣本量的仿真結(jié)果如圖6所示。

圖6　兩種方法在不同樣本量下的比較

對(duì)圖6進(jìn)行分析,以BIC評(píng)分為例,添加先驗(yàn)的BIC評(píng)分明顯高于無(wú)先驗(yàn)的BIC評(píng)分,KL距離和漢明距離的比較也有同樣的結(jié)果,說(shuō)明本文提出的方法能有效融合先驗(yàn)信息。

4.3　對(duì)錯(cuò)誤先驗(yàn)適應(yīng)能力分析

為驗(yàn)證本文提出幾種方法對(duì)錯(cuò)誤先驗(yàn)的適應(yīng)能力,本節(jié)分別做以下仿真:有無(wú)數(shù)據(jù)權(quán)衡項(xiàng)的對(duì)比仿真,融合先驗(yàn)項(xiàng)中不同罰項(xiàng)函數(shù)的對(duì)比仿真,有無(wú)先驗(yàn)搜索算子的對(duì)比仿真。

4.3.1數(shù)據(jù)權(quán)衡項(xiàng)分析

為驗(yàn)證數(shù)據(jù)權(quán)衡項(xiàng)K(s)的效果,對(duì)不融合先驗(yàn)信息、融合錯(cuò)誤先驗(yàn)信息無(wú)數(shù)據(jù)權(quán)衡項(xiàng)、融合錯(cuò)誤先驗(yàn)信息有數(shù)據(jù)權(quán)衡項(xiàng)進(jìn)行仿真,記錄其結(jié)果進(jìn)行對(duì)比。其中，錯(cuò)誤先驗(yàn)信息設(shè)置為pi=[0.9,0.05,0.05],正確先驗(yàn)信息設(shè)置為pi=[0.1,0.8,0.1],不同數(shù)據(jù)樣本量的仿真結(jié)果如圖7所示。

圖7　有無(wú)數(shù)據(jù)權(quán)衡項(xiàng)的比較

對(duì)圖7進(jìn)行分析,以BIC評(píng)分為例,當(dāng)樣本量較小時(shí),無(wú)權(quán)衡項(xiàng)和有權(quán)衡項(xiàng)方法的BIC評(píng)分類似,都明顯低于不融合錯(cuò)誤先驗(yàn)信息的BIC評(píng)分,但隨著樣本量增加,權(quán)衡因子發(fā)揮作用,有權(quán)衡項(xiàng)方法的得分曲線最后能逼近不融合錯(cuò)誤先驗(yàn)信息的得分曲線,而無(wú)數(shù)據(jù)權(quán)衡的BIC評(píng)分始終比較小。KL距離和漢明距離的比較也有同樣結(jié)果,說(shuō)明了數(shù)據(jù)權(quán)衡項(xiàng)的有效性。

4.3.2融合先驗(yàn)信息項(xiàng)分析

為驗(yàn)證本文融合先驗(yàn)信息項(xiàng)中罰項(xiàng)函數(shù)構(gòu)造的合理性,采取不同的錯(cuò)誤概率值,觀察學(xué)習(xí)結(jié)果的變化情況。錯(cuò)誤概率設(shè)置為:pi=[(1-p)/2,p,(1-p)/2],圖8中的橫坐標(biāo)值為p,仿真數(shù)據(jù)量取為200。文獻(xiàn)[15]提出一種融合先驗(yàn)信息的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法,仿真中將其與本文所提方法做比較,對(duì)比對(duì)錯(cuò)誤先驗(yàn)信息的適應(yīng)能力，結(jié)果如圖8所示。

對(duì)圖8進(jìn)行分析,以BIC評(píng)分為例,在錯(cuò)誤的先驗(yàn)信息條件下,罰項(xiàng)函數(shù)用熵函數(shù)構(gòu)造要比用線性函數(shù)構(gòu)造得分要高,說(shuō)明了前者對(duì)錯(cuò)誤先驗(yàn)信息具有更好的適應(yīng)能力。

用本文的方法與文獻(xiàn)[15]提出的方法進(jìn)行對(duì)比,當(dāng)先驗(yàn)信息錯(cuò)誤程度比較大時(shí),本文采用熵函數(shù)構(gòu)造方法的得分較高,對(duì)比而言說(shuō)明本文方法在錯(cuò)誤適應(yīng)能力方面有一定優(yōu)勢(shì)。

KL距離和漢明距離的比較也有同樣的結(jié)果,說(shuō)明了本文罰項(xiàng)函數(shù)構(gòu)造方法的合理性與有效性。

4.3.3先驗(yàn)搜索算子分析

為驗(yàn)證先驗(yàn)搜索算子的有效性,本節(jié)在仿真中設(shè)置兩組錯(cuò)誤的先驗(yàn)概率:p1,p2=[0.8,0.1,0.1]。其余正確的先驗(yàn)信息為:pi=[0.1,0.8,0.1],對(duì)加先驗(yàn)搜索算子和不加先驗(yàn)搜索算子兩種情況進(jìn)行了仿真對(duì)比,不同數(shù)據(jù)樣本量的仿真結(jié)果如圖9所示。

圖8　不同融合先驗(yàn)項(xiàng)的比較

圖9　有無(wú)先驗(yàn)搜索算子的比較

對(duì)圖9進(jìn)行分析,以BIC評(píng)分為例,應(yīng)用先驗(yàn)信息搜索算子的方法得到的評(píng)分要更高,KL距離和漢明距離的比較也有同樣的結(jié)果,說(shuō)明在有部分錯(cuò)誤先驗(yàn)信息的情況下,先驗(yàn)信息搜索算子能增強(qiáng)結(jié)構(gòu)學(xué)習(xí)利用正確先驗(yàn)的魯棒性,從而提高對(duì)錯(cuò)誤先驗(yàn)信息的適應(yīng)能力。

5　結(jié)　論

本文為了提高結(jié)構(gòu)學(xué)習(xí)時(shí)對(duì)錯(cuò)誤先驗(yàn)信息的適應(yīng)能力,提出了一種新的融合先驗(yàn)信息進(jìn)行結(jié)構(gòu)學(xué)習(xí)的方法。仿真結(jié)果表明本文提出的方法能夠有效地利用先驗(yàn)信息,并且對(duì)錯(cuò)誤的先驗(yàn)信息有適應(yīng)能力,降低錯(cuò)誤先驗(yàn)信息帶來(lái)的負(fù)面影響。另外,本文提出的模型高度概括了評(píng)分搜索法來(lái)利用先驗(yàn)信息的模式,參數(shù)可以自由調(diào)節(jié),且可以應(yīng)用到粒子群優(yōu)化算法、遺傳算法等方法中。下一步工作是進(jìn)一步對(duì)融合先驗(yàn)信息的方法進(jìn)行研究,以增強(qiáng)算法的容錯(cuò)性。

參考文獻(xiàn)：

[1] SCHNEIDERMAN H. Object recognizer and detector for two-dimensional images using Bayesian network based classifier[P]. US: US 7848566 B2, 2015.

[2] HUANG J, YUAN Y. Construction and application of Bayesian network model for spatial data mining[C]∥Proc.of the IEEE International Conference on Control and Automation, 2007: 2802-2805.

[3] BANDYOPADHYAY S, WOLFSON J, VOCK D M, et al. Data mining for censored time-to-event data: a Bayesian network model for predicting cardiovascular risk from electronic health record data[J].Data Mining & Knowledge Discovery,2015,29(4): 1033-1069.

[4] SHENTON W, HART B T, CHAN T. Bayesian network models for environmental flow decision-making:1.Latrobe River Australia[J].River Research & Applications, 2015, 27(3): 283-296.

[5] CHICKERING D M. Learning Bayesian networks is NP-complete[J]. Networks, 1996, 112(2): 121-130.

[6] KOLLER D, FRIEDMAN N. Probabilistic graphical models[M]. Cambridge: MIT Press, 2009.

[7] 邸若海, 高曉光, 郭志高. 小數(shù)據(jù)集BN建模方法及其在威脅評(píng)估中的應(yīng)用[J]. 電子學(xué)報(bào), 2016, 44(6):1504-1511.

DI R H, GAO X G, GUO Z G. The modeling method with Bayesian networks and its application in the threat assessment under small data sets[J]. Acta Electronica Sinica, 2016, 44(6):1504-1511.

[8] AMIRKHANI H, RAHMATI M, LUCAS P, et al. Exploiting experts’ knowledge for structure learning of Bayesian networks[J]. IEEE Trans.on Pattern Analysis & Machine Intelligence, 2016, PP(99): 2154-2170.

[9] CANO A, MASEGOSA A R, MORAL S. A method for integrating expert knowledge when learning Bayesian networks from data[J]. IEEE Trans.on Systems, Man & Cybernetics-Part B: Cybernetics, 2011, 41(5): 1382-1394.

[10] ANGELOPOULOS N, CUSSENS J. Bayesian learning of Bayesian networks with informative priors[J]. Kluwer Academic Publishers,2008,54(1/3):53-98.

[11] COOPER G F, HERSKOVITS E. A Bayesian method for the induction of probabilistic networks from data[J]. Machine Learning, 1992, 9(4): 309-347.

[12] CAMPOS L M D, CASTELLANOA J G. Bayesian network learning algorithms using structural restrictions[J]. International Journal of Approximate Reasoning,2007,45(2):233-254.

[13] CASTELO R, SIEBES A. Priors on network structures. Biasing the search for Bayesian networks[J]. International Journal of Approximate Reasoning, 2000, 24(1): 39-57.

[14] HECKERMAN D, DAN G, CHICKERING D M. Learning Bayesian networks: the combination of knowledge and statistical data[J]. Machine Learning, 1995, 20(3): 197-243.

[15] BORBOUDAKIS G, TSAMARDINOS I. Scoring and searching over Bayesian networks with causal and associative priors[C]∥Proc.of the 29th International Conference on Uncertainty in Artificial Intelligence, 2013: 1210-1232.