非平坦函數(shù)概率密度估計(jì)*

汪洪橋，蔡艷寧，付光遠(yuǎn)，王仕成

1.第二炮兵工程大學(xué)信息工程系，西安7100252.第二炮兵工程大學(xué)理學(xué)院，西安7100253.第二炮兵工程大學(xué)控制工程系，西安710025

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0589-11

?

非平坦函數(shù)概率密度估計(jì)*

汪洪橋1+，蔡艷寧2，付光遠(yuǎn)1，王仕成3

1.第二炮兵工程大學(xué)信息工程系，西安710025
2.第二炮兵工程大學(xué)理學(xué)院，西安710025
3.第二炮兵工程大學(xué)控制工程系，西安710025

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0589-11

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation for Young Scientists of China under Grant Nos. 61202332, 61403397 (國(guó)家自然科學(xué)青年基金); the Postdoctoral Science Foundation of China under Grant No. 2012M521905 (中國(guó)博士后科學(xué)基金); the Natural Science Foundation of Shaanxi Province under Grant No. 2015JM6313 (陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃項(xiàng)目).

Received 2015-04,Accepted 2015-06.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-06-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150610.1708.003.html

Key words: probability density estimation; support vector machine (SVM); multiple kernel learning; non-flat function

摘要：針對(duì)非平坦函數(shù)的概率密度估計(jì)問(wèn)題，通過(guò)改進(jìn)支持向量機(jī)（support vector machine，SVM）概率密度估計(jì)模型約束條件的形式，并引入多尺度核方法，構(gòu)建了一種單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型。該模型采用合并的單個(gè)松弛因子來(lái)控制支持向量機(jī)的學(xué)習(xí)誤差，減小了模型的計(jì)算復(fù)雜度；同時(shí)引入了多尺度核方法，使得模型既能適應(yīng)函數(shù)劇烈變化的區(qū)域，也能適應(yīng)平緩變化的區(qū)域?；趲追N典型非平坦函數(shù)進(jìn)行概率密度估計(jì)實(shí)驗(yàn)，結(jié)果證明，單松弛因子概率密度估計(jì)模型比常規(guī)支持向量機(jī)概率密度估計(jì)模型具有更快的學(xué)習(xí)速度；且相比于單核方法，多尺度核支持向量機(jī)概率密度估計(jì)模型具有更優(yōu)的估計(jì)精度。

關(guān)鍵詞：概率密度估計(jì)；支持向量機(jī)（SVM）；多核學(xué)習(xí)；非平坦函數(shù)

1　引言

概率密度具有廣泛的應(yīng)用，比如可用于數(shù)據(jù)挖掘中的聚類分析以及電子器件壽命估計(jì)和排隊(duì)論。在一些情況下人們可以知道密度服從的分布，如電子器件壽命服從指數(shù)分布以及排隊(duì)理論服從泊松分布，它們的密度可以通過(guò)樣本矩估計(jì)或極大似然估計(jì)等參數(shù)估計(jì)方法得到概率密度。但在實(shí)際應(yīng)用中很多時(shí)候人們并不知道概率密度服從的分布，這時(shí)可根據(jù)樣本進(jìn)行回歸估計(jì)得到實(shí)際概率密度的一個(gè)近似估計(jì)。

概率密度估計(jì)方法可分為參數(shù)估計(jì)和非參數(shù)估計(jì)兩大類。參數(shù)估計(jì)的代表方法為極大似然法，該方法有一定的局限性，比如無(wú)法估計(jì)幾個(gè)正態(tài)分布混合而成的概率密度函數(shù)[1-2]。相比之下，非參數(shù)概率密度估計(jì)具有更廣泛的應(yīng)用范圍，最具有代表性的方法為Parzen窗密度估計(jì)器[3]，它是一類經(jīng)典的核密度估計(jì)器。該方法的缺點(diǎn)為不具備稀疏性，當(dāng)要預(yù)測(cè)新樣本的概率密度值時(shí)，需要涉及樣本集中的所有樣本，計(jì)算量大。因此，長(zhǎng)期以來(lái)人們希望尋求一種方法，只使用訓(xùn)練樣本中的某一些對(duì)概率密度估計(jì)影響較大的樣本，而不是全部訓(xùn)練樣本來(lái)估計(jì)概率密度，即尋求一種稀疏解[4]，以減少計(jì)算量，縮短運(yùn)算時(shí)間，增強(qiáng)實(shí)用性。

支持向量機(jī)（support vector machine，SVM）的解只與訓(xùn)練樣本中的支持向量有關(guān)，因此它提供了一種良好的得到稀疏解的方法[5]。該方法的思路很簡(jiǎn)單：首先從經(jīng)驗(yàn)累積的分布函數(shù)值估計(jì)一個(gè)近似的分布函數(shù)，然后對(duì)它微分，即可得到密度函數(shù)。其中用到了SVM求解線性算子方程的方法，通過(guò)該方法可以得到形式類似于Parzen窗的稀疏概率密度估計(jì)[6-7]。基于簡(jiǎn)單核函數(shù)的支持向量估計(jì)在眾多的應(yīng)用領(lǐng)域有效并且實(shí)用，但都是基于單個(gè)特征空間的單核方法。由于不同的核函數(shù)具有的特性并不相同，從而使得在不同的應(yīng)用場(chǎng)合，核函數(shù)的性能表現(xiàn)差別很大，且核函數(shù)的構(gòu)造或選擇至今沒(méi)有完善的理論依據(jù)。此外，當(dāng)樣本特征分布含有異構(gòu)特性或數(shù)據(jù)在特征空間分布不平坦[8-9]時(shí)，采用單個(gè)簡(jiǎn)單核進(jìn)行映射的方式對(duì)樣本特征統(tǒng)一進(jìn)行處理并不合理。對(duì)于密度估計(jì)問(wèn)題也是一樣，比如概率密度函數(shù)往往可能由多個(gè)函數(shù)混合而成，其結(jié)果是函數(shù)自身同時(shí)包含了快速變化和平緩變化，這樣的函數(shù)稱為非平坦函數(shù)（non-flat function）。因此，要解決非平坦函數(shù)的概率密度估計(jì)問(wèn)題，簡(jiǎn)單的單核函數(shù)支持向量機(jī)模型可能并不能獲得最優(yōu)的結(jié)果。

為有效解決非平坦函數(shù)的概率密度估計(jì)問(wèn)題，本文采用改進(jìn)支持向量機(jī)概率密度估計(jì)模型約束條件形式的方法，構(gòu)建了一種單松弛因子支持向量機(jī)概率密度估計(jì)模型。在此基礎(chǔ)上，通過(guò)引入多尺度核方法，提出了單松弛因子多尺度核支持向量機(jī)模型，并將其用于非平坦函數(shù)的概率密度估計(jì)。仿真實(shí)驗(yàn)證明，單松弛因子概率密度估計(jì)模型比常規(guī)支持向量機(jī)概率密度估計(jì)模型具有更快的學(xué)習(xí)速度。同時(shí)，相比于單核方法，多尺度核支持向量機(jī)概率密度估計(jì)模型具有更優(yōu)的估計(jì)精度。

本文組織結(jié)構(gòu)如下：第2章對(duì)支持向量機(jī)概率密度估計(jì)的原理進(jìn)行簡(jiǎn)要介紹；第3章詳述了單松弛因子支持向量機(jī)和單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型，并分析了算法復(fù)雜度；第4章構(gòu)建了幾組非平坦概率密度函數(shù)仿真實(shí)例，利用新建模型進(jìn)行了實(shí)驗(yàn)；最后對(duì)全文進(jìn)行了總結(jié)。

2　支持向量機(jī)概率密度估計(jì)

其中，θ(u)的取值為：

Kolmogorov-Smirnov分布解釋了真實(shí)分布F(x)與經(jīng)驗(yàn)分布Fl(x)間的關(guān)系[10]。

設(shè)樣本集D={x1,x2,…,xl}中樣本的概率密度為p(x)，令xi={xi,1,xi,2,…,xi,m}?Rm,i=1,2,…,l，滿足獨(dú)立同分布。支持向量機(jī)概率密度估計(jì)問(wèn)題的目標(biāo)為以核密度的形式估計(jì)未知的概率密度p(x)，其形式為：

約束條件為：

其分布函數(shù)的估計(jì)形式為：

其中，k(x,xi)和K(x,xi)滿足關(guān)系：

在支持向量機(jī)概率密度估計(jì)方法中，欲尋求p(x)的一種稀疏表示，即大部分的βi為0，βi不為0的樣本xi決定了概率密度函數(shù)p(x)的形式。該函數(shù)所滿足的條件為：

約束條件為：

借鑒采用ε不敏感損失函數(shù)支持向量回歸機(jī)的思想，概率密度估計(jì)問(wèn)題轉(zhuǎn)化為以下二次規(guī)劃問(wèn)題[13]：

核函數(shù)k(x,xi)和K(x,xi)常用的形式為：

當(dāng)k(×,×)取式（12）的形式時(shí)，K(×,×)應(yīng)滿足式（13）：

其中，Q(x)滿足：

當(dāng)k(×,×)取式（15）的形式時(shí)，相應(yīng)的K(×,×)如式（16）所示：

3　單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)

3.1單松弛因子支持向量機(jī)概率密度估計(jì)模型

文獻(xiàn)[14]針對(duì)支持向量機(jī)的分類和回歸的二次規(guī)劃和線性規(guī)劃問(wèn)題對(duì)松弛因子進(jìn)行了合并。借鑒這種思想，本文對(duì)支持向量機(jī)概率密度估計(jì)模型進(jìn)行了簡(jiǎn)化，提出了單松弛因子概率密度估計(jì)模型。支持向量機(jī)概率密度估計(jì)模型的對(duì)偶形式并不能提高優(yōu)化問(wèn)題的結(jié)構(gòu)，因此采用的是對(duì)原模型直接進(jìn)行優(yōu)化的方式，松弛因子也在解的尋優(yōu)范圍內(nèi)。因此如能在不影響概率密度形式的前提下將兩類松弛因子進(jìn)行合并，那么模型的計(jì)算復(fù)雜度將會(huì)減小。在支持向量機(jī)概率密度估計(jì)問(wèn)題（11）中引入兩個(gè)松弛因子ξ和ξ*來(lái)控制誤差的大小。在單松弛因子概率密度估計(jì)模型中采用單個(gè)松弛因子ξ來(lái)控制誤差，給出單松弛因子概率密度估計(jì)模型如式（17）所示。

定理1支持向量機(jī)概率密度估計(jì)模型（11）與單松弛因子支持向量機(jī)概率密度估計(jì)模型（17）等價(jià)，且關(guān)于β=(β1,β2,…,βl)的最優(yōu)解相同。

證明當(dāng)優(yōu)化問(wèn)題（11）取最優(yōu)解時(shí)，有下式成立：

式（11）的目標(biāo)函數(shù)可寫(xiě)成：

該式等價(jià)于：

當(dāng)單松弛因子支持向量機(jī)概率密度估計(jì)模型取最優(yōu)解時(shí)，有下式成立：

因此單松弛因子支持向量機(jī)概率密度估計(jì)模型與原模型的目標(biāo)函數(shù)等價(jià)。

因此兩個(gè)問(wèn)題的約束條件也等價(jià)。

其中，(ξ1')i=(|d1i|-εi,0)+，(ξ2')i=(-d2i-εi)+，(ξ*2')i= (d2i-εi)+。

因?yàn)?β1,ξ1,ξ*1)為優(yōu)化問(wèn)題（11）的最優(yōu)解，所以有：

將式（25）和（26）聯(lián)立，可以得出：

因?yàn)?β2,ξ2)為優(yōu)化問(wèn)題（17）的最優(yōu)解，所以有下式成立：

聯(lián)合式（27）和式（28）可以得出W2(β2,ξ2)=W2(β1,ξ1')。因?yàn)閮?yōu)化問(wèn)題（17）解唯一，所以有β1=β2成立?！?/p>

將單松弛因子支持向量機(jī)概率密度估計(jì)模型寫(xiě)成矩陣的形式為：

其中c、A、s、F的形式分別為：

式（30）中，β=(β1,β2,…,βl)，ξ=(ξ1,ξ2,…,ξl)，1表示l′1的全1向量，I表示l′l的單位矩陣，ε=(ε1, ε2,…,εl)T，F(xiàn)l=(Fl(x1),Fl(x2),…,Fl(xl))T，ki,j=k(xi,xj)，Ki,j=K(xi,xj)，i,j=1,2,…,l。

3.2單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型

基于多核學(xué)習(xí)方法[15-16]構(gòu)建的多核模型，是一類靈活性更強(qiáng)的基于核的學(xué)習(xí)模型。近來(lái)的理論和應(yīng)用已經(jīng)證明利用多核代替單核能增強(qiáng)決策函數(shù)的解釋能力（interpretability），并提高性能。構(gòu)造多核模型，最簡(jiǎn)單也最常用的一種方法就是考慮多個(gè)基本核函數(shù)的凸組合，形如：

這里Kj是基本核函數(shù)；m是基本核的總個(gè)數(shù)；βj是權(quán)系數(shù)。因此，在多核框架下，樣本在特征空間中的表示問(wèn)題轉(zhuǎn)化成為基本核與權(quán)系數(shù)的選擇問(wèn)題。

多核學(xué)習(xí)方法的一種特殊化情形就是將多個(gè)尺度的核進(jìn)行融合[17-18]。這種方法更具靈活性，并且能比合成核方法提供更完備的尺度選擇。此外，隨著多尺度分析理論的不斷成熟與完善，多尺度核方法通過(guò)引入尺度空間，使其具有很好的理論背景，對(duì)基于核方法的機(jī)器學(xué)習(xí)又是一次大的擴(kuò)展。多尺度核方法的基礎(chǔ)就是要找到一組具有多尺度表示能力的核函數(shù)。在被廣泛使用的核函數(shù)中，高斯徑向基核是最受歡迎的，因?yàn)樗哂型ㄓ闷毡榈慕颇芰?，同時(shí)也是一種典型的可多尺度化核。

對(duì)于概率密度估計(jì)問(wèn)題中的合成概率密度，對(duì)應(yīng)的，可以構(gòu)建多尺度核支持向量機(jī)概率密度估計(jì)模型，其概率密度的形式為：

其中kr(×,×)為具有多尺度表示能力的核函數(shù)。令與kr(×,×)相對(duì)應(yīng)的核寬度為ρr，則求取p(x)需要求解的線性規(guī)劃的形式為：

定理2多尺度核支持向量機(jī)概率密度估計(jì)模型（33）可以簡(jiǎn)化為：

定理2的證明思路與定理1類似，不再贅述?！?/p>

式（34）即為單松弛因子多尺度核概率密度估計(jì)模型，將其寫(xiě)成矩陣的形式為：

其中c、A、s、F的形式為：

式（36）中，βr=(β1,r,β2,r,…,βl,r)，ξ=(ξ1,ξ2,…,ξl)，1表示l′1的全1向量，I表示l′l的單位矩陣，ε= (ε1,ε2,…,εl)T，F(xiàn)l=(Fl(x1),Fl(x2),…,Fl(xl))T，(Kr)i,j= Kr(xi,xj)，i,j=1,2,…,l，r=1,2,…,n。

3.3算法復(fù)雜度分析

單松弛因子支持向量機(jī)概率密度估計(jì)模型（17）的本質(zhì)為二次規(guī)劃問(wèn)題。令訓(xùn)練集中樣本的個(gè)數(shù)為l，則該問(wèn)題含有2l個(gè)變量。求解該問(wèn)題的空間復(fù)雜度主要體現(xiàn)在對(duì)式（29）中k和A的存儲(chǔ)上，存儲(chǔ)k的空間復(fù)雜度為O(l2)，存儲(chǔ)A的空間復(fù)雜度為O(4l2)，時(shí)間復(fù)雜度為O(8l3)。該模型需優(yōu)化的變量的個(gè)數(shù)只為原模型（11）的2/3。單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型的本質(zhì)為線性規(guī)劃問(wèn)題。令模型中含有n個(gè)核函數(shù)，則需要優(yōu)化的變量個(gè)數(shù)為(n+1)l個(gè)，而原優(yōu)化問(wèn)題（35）需要優(yōu)化的變量的個(gè)數(shù)為(n+2)l。因此選取的核函數(shù)越少，前者的優(yōu)勢(shì)越明顯。非耦合數(shù)據(jù)合成概率密度估計(jì)方法的本質(zhì)為利用數(shù)據(jù)樣本集合的先驗(yàn)知識(shí)，將合成概率密度估計(jì)問(wèn)題轉(zhuǎn)化成一系列子問(wèn)題進(jìn)行求解，從而簡(jiǎn)化了優(yōu)化問(wèn)題的規(guī)模。

4　仿真實(shí)驗(yàn)及結(jié)果分析

下面通過(guò)3種典型的非平坦函數(shù)，對(duì)單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型進(jìn)行仿真實(shí)驗(yàn)。

4.1非平坦高斯分布函數(shù)仿真實(shí)例

由分布密度（37）構(gòu)建非平坦高斯分布函數(shù)，并產(chǎn)生100個(gè)隨機(jī)樣本。

取μ1=0，σ1=1，μ2=6，σ2=3。SVM模型訓(xùn)練時(shí)，多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=2，ρ2=1，訓(xùn)練支持向量機(jī)模型時(shí)懲罰系數(shù)C=30，觀察式（37）可知，x以先驗(yàn)概率0.2和0.8所屬于兩類。首先按照先驗(yàn)概率和類分布情況已知的情形對(duì)p(x)進(jìn)行估計(jì)，采用單松弛因子多尺度核概率密度估計(jì)結(jié)果如圖1所示。假定由概率密度（37）生成的樣本集合的子類分布及先驗(yàn)概率未知，選取兩個(gè)具有不同尺度的核函數(shù)（12），采用單松弛因子多尺度核概率密度估計(jì)方法（34）所得的估計(jì)結(jié)果如圖2所示。

常規(guī)SVM概率密度估計(jì)模型、單松弛因子SVM概率密度估計(jì)模型和單松弛因子多尺度核概率密度估計(jì)模型各運(yùn)行20次，3種模型的運(yùn)行時(shí)間如圖3所示。通過(guò)取平均值，常規(guī)SVM算法的平均運(yùn)行時(shí)間為1.99 s，單松弛因子模型為1.31 s，單松弛因子多尺度核模型為1.33 s，可見(jiàn)改進(jìn)后的單松弛因子模型提高了運(yùn)算效率。雖然多尺度核模型增加了一個(gè)核函數(shù)，但SVM的運(yùn)算量絕大部分都在其優(yōu)化過(guò)程，多核方法帶來(lái)的時(shí)間變化不大，損失可忽略不計(jì)。

Fig.1 Probability distribution and probability density estimation results with known classification圖1　分類已知條件下概率分布和密度估計(jì)結(jié)果

Fig.2 Probability distribution and probability density estimation results with unknown classification圖2　分類未知條件下概率分布和密度估計(jì)結(jié)果

Fig.3 Time comparison of three models圖3　各模型運(yùn)行時(shí)間對(duì)比

4.2非平坦瑞利分布函數(shù)仿真實(shí)例

由分布密度（38）構(gòu)建非平坦瑞利分布函數(shù)，產(chǎn)生300個(gè)隨機(jī)樣本進(jìn)行實(shí)驗(yàn)，其中100個(gè)樣本進(jìn)行訓(xùn)練，200個(gè)樣本進(jìn)行測(cè)試。

實(shí)驗(yàn)中，參數(shù)σ1=10，σ2=2；多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=3，ρ2=1，訓(xùn)練支持向量機(jī)模型時(shí)懲罰系數(shù)C=20。在實(shí)際情況中，往往并不知道混合密度中兩類函數(shù)的比例，因此實(shí)驗(yàn)中假定子類分布及先驗(yàn)概率未知。通過(guò)訓(xùn)練，采用單個(gè)尺度核函數(shù)ρ=1時(shí)，單松弛因子模型的概率分布和密度估計(jì)結(jié)果如圖4所示，采用單松弛因子兩尺度核概率密度估計(jì)模型對(duì)測(cè)試樣本的概率分布和密度估計(jì)結(jié)果如圖5所示。

Fig.4 Results of non-flat Rayleigh distribution using single kernel model圖4　單核模型的非平坦瑞利分布估計(jì)結(jié)果

Fig.5 Results of non-flat Rayleigh distribution using multi-scale kernel model圖5　多尺度核模型的非平坦瑞利分布估計(jì)結(jié)果

采用如下指標(biāo)來(lái)表征兩種算法的估計(jì)精度：

Table 1 Estimation precision of probability distribution and probability density on non-flat Rayleigh distribution表1　非平坦瑞利分布概率分布和密度估計(jì)精度

4.3非平坦對(duì)數(shù)正態(tài)分布函數(shù)仿真實(shí)例

由分布密度（39）構(gòu)建非平坦對(duì)數(shù)正態(tài)分布函數(shù)，采用同4.2節(jié)中類似的方法進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)中，參數(shù)μ1=0，μ2=2，σ1=0.2，σ2=0.4；多尺度核選取兩尺度的高斯核函數(shù)，其尺度參數(shù)分別為ρ1=0.8，ρ2=1.2，訓(xùn)練支持向量機(jī)模型時(shí)懲罰系數(shù)C=20；假定子類分布及先驗(yàn)概率未知。通過(guò)訓(xùn)練，采用單個(gè)尺度核函數(shù)ρ=0.8時(shí)，單松弛因子模型的概率分布和密度估計(jì)結(jié)果如圖6所示，采用單松弛因子兩尺度核概率密度估計(jì)模型對(duì)測(cè)試樣本的概率分布和密度估計(jì)結(jié)果如圖7所示。從估計(jì)曲線和表2中數(shù)據(jù)可以看出，多尺度核模型的精度相對(duì)單核模型要高。但由于對(duì)數(shù)正態(tài)分布函數(shù)變量取較小值時(shí)，其概率密度的變化非常劇烈，跳躍明顯，不適合采用連續(xù)函數(shù)模型擬合，從而誤差較大；隨著變量增大，正態(tài)分布函數(shù)的概率密度變化趨于平緩，因此估計(jì)精度有所提升。

Table 2 Estimation precision of probability distribution and probability density on non-flat lognormal distribution表2　非平坦對(duì)數(shù)正態(tài)分布概率分布和密度估計(jì)精度

5　結(jié)束語(yǔ)

Fig.6 Results of non-flat lognormal distribution using single kernel model圖6　單核模型的非平坦對(duì)數(shù)正態(tài)分布估計(jì)結(jié)果

非平坦函數(shù)是混合概率密度估計(jì)的一種典型情形。為了解決這類問(wèn)題，通過(guò)對(duì)支持向量機(jī)概率密度估計(jì)模型進(jìn)行改進(jìn)，提出了單松弛因子多尺度核支持向量機(jī)概率密度估計(jì)模型，并證明了本文模型與原模型的等價(jià)性。仿真實(shí)驗(yàn)也證明本文模型減小了計(jì)算復(fù)雜度，具有更高的效率，同時(shí)估計(jì)精度也較高。本文模型還可應(yīng)用于復(fù)雜系統(tǒng)故障預(yù)測(cè)和可靠性評(píng)估領(lǐng)域，解決在沒(méi)有任何故障先驗(yàn)數(shù)據(jù)和故障先驗(yàn)知識(shí)情況下的系統(tǒng)異常程度衡量問(wèn)題。

Fig.7 Results of non-flat lognormal distribution function using multi-scale kernel model圖7　多尺度核模型的非平坦對(duì)數(shù)正態(tài)分布估計(jì)結(jié)果

References:

[1] Kim H E, Tan AC C, Mathew J, et al. Bearing fault prognosis based on health state probability estimation[J]. Expert Systems with Applications, 2012, 39(5): 5200-5213.

[2] He Yulin, Wang Ran, Kwong S, et al. Bayesian classifiers based on probability density estimation and their applications to simultaneous fault diagnosis[J]. Information Sciences, 2014, 259: 252-268.

[3] Parzen E. On estimation of a probability density and mode[J]. Annals of Mathematical Statistics，1962，33(3): 1065-1076.

[4] Motoki S, Voot T, Masashi S. Direct conditional probability density estimation with sparse feature selection[J]. Machine Learning, 2015, 100(2): 161-182.

[5] Wang Shitong, Wang Jun, Chung Fulai. Kernel density estimation, kernel methods, and fast learning in large data sets[J]. IEEE Transactions on Cybernetics, 2014, 44(1): 1-20.

[6] Mohamed R M, El-Baz A, Farag A A. Probability density estimation using advanced support vector machines and the EM algorithm[J]. International Journal of Computer, Electrical, Automation, Control and Information Engineering, 2007, 1(2): 441-444.

[7] Girolami M, He Chao. Probability density estimation from optimally condensed data samples[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1253-1264.

[8] Zheng Danian, Wang Jiaxin, Zhao Yannan. Non-flat function estimation with a multi-scale support vector regession[J]. Neurocomputing, 2006, 70(1/3): 420-429.

[9] JooSeuk K, Clayton D S. Robust kernel density estimation[J]. The Journal of Machine Learning Research, 2012, 13(1): 2529-2565.

[10] Paramasamy S. On multivariate Kolmogoro-Smirnov distribution[J]. Statistics & Probability Letter, 1992, 15: 140-155.

[11] Nischenko I, Jordaan E M. Confidence of SVM predictions using a strangeness measure[C]//Proceedings of the 2006 International Joint Conference on Neural Networks, Vancouver, Canada, 2006: 1239-1246.

[12] Paolo M, Gabriele M, Sebastiano B S. Partially supervised classification of remote sensing images through SVM based probability density estimation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3): 559-570.

[13] Weston J, Gammerman A, Stitson M O, et al. Support vector density estimation[M]//Advances in Kernel Methods. Cambridge, USA: MIT Press, 1999.

[14] Sun Deshan. Research on support vector machine classification and regression methods[D]. Guangzhou: Sun Yat-sen University, 2004.

[15] G?nen M, Alpaydin E. Multiple kernel learning algorithms[J]. The Journal of Machine Learning Research, 2011, 12: 2211-2268.

[16] Bach F R. Consistency of the group Lasso and multiple kernel learning[J]. The Journal of Machine Learning Research, 2008, 9(6): 1179-1225.

[17] Kingsbury N, Tay D B H, Palaniswami M. Multi-scale kernel methods for classification[C]//Proceedings of the 2005 IEEE Workshop on Machine Learning for Signal Processing, Mystic, USA, Sep 2005. Piscataway, USA: IEEE, 2005: 43-48.

[18] Wang Hongqiao, Sun Fuchun, Cai Yanning, et al. On multiple kernel learning methods[J]. Acta Automatica Sinica, 2010, 36(8): 1037-1050.

附中文參考文獻(xiàn)：

[14]孫德山.支持向量機(jī)分類與回歸方法研究[D].廣州:中山大學(xué), 2004.

[18]汪洪橋,孫富春,蔡艷寧,等.多核學(xué)習(xí)方法[J].自動(dòng)化學(xué)報(bào), 2010, 36(8): 1037-1050.

WANG Honqiao was born in 1979. He received the Ph.D. degree in computer application technologies from the Second Artillery Engineering University in 2010. Now he is a lecturer at the Second Artillery Engineering University. His research interests include machine learning, pattern recognition and intelligent information processing, etc.

汪洪橋（1979—），男，湖北云夢(mèng)人，2010年于第二炮兵工程大學(xué)計(jì)算機(jī)應(yīng)用專業(yè)獲得博士學(xué)位，現(xiàn)為第二炮兵工程大學(xué)講師，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)，模式識(shí)別，智能信息處理等。發(fā)表學(xué)術(shù)論文20余篇，其中SCI檢索5篇，EI檢索12篇，先后承擔(dān)和參與國(guó)家、軍隊(duì)重點(diǎn)項(xiàng)目10余項(xiàng)，獲得軍隊(duì)科技進(jìn)步二等獎(jiǎng)兩項(xiàng)。

CAI Yanning was born in 1980. She received the Ph.D. degree in computer application technologies from the Second Artillery Engineering University in 2009. Now she is a lecturer at the Second Artillery Engineering University. Her research interests include machine learning and support vector machine, etc.

蔡艷寧（1980—），女，遼寧瓦房店人，2009年于第二炮兵工程大學(xué)計(jì)算機(jī)應(yīng)用專業(yè)獲得博士學(xué)位，現(xiàn)為第二炮兵工程大學(xué)講師，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)，支持向量機(jī)等。發(fā)表學(xué)術(shù)論文20余篇，先后承擔(dān)和參與國(guó)家、軍隊(duì)重點(diǎn)項(xiàng)目10余項(xiàng)，獲得軍隊(duì)科技進(jìn)步二等獎(jiǎng)1項(xiàng)。

FU Guangyuan was born in 1966. He received the Ph.D. degree in navigation guidance and control from the Second Artillery Engineering University in 2004. Now he is a professor and Ph.D. supervisor at the Second Artillery Engineering University. His research interests include artificial intelligence and intelligent information processing, etc.

付光遠(yuǎn)（1966—），男，四川成都人，2004年于第二炮兵工程大學(xué)獲得博士學(xué)位，現(xiàn)為第二炮兵工程大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)槿斯ぶ悄?，智能信息處理等。發(fā)表學(xué)術(shù)論文50余篇，先后主持完成國(guó)家、軍隊(duì)重點(diǎn)課題20余項(xiàng)，獲軍隊(duì)科技進(jìn)步二等獎(jiǎng)5項(xiàng)。

WANG Shicheng was born in 1962. He received the Ph.D. degree in navigation guidance and control from the Second Artillery Engineering University in 1998. Now he is a professor and Ph.D. supervisor at the Second Artillery Engineering University. His research interests include precise guidance technologies and intelligent information processing, etc.

王仕成（1962—），男，山東單縣人，1998年于第二炮兵工程大學(xué)獲得博士學(xué)位，現(xiàn)為第二炮兵工程大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)榫_制導(dǎo)技術(shù)，智能信息處理等。發(fā)表學(xué)術(shù)論文140余篇，先后獲國(guó)家科技進(jìn)步二等獎(jiǎng)3項(xiàng)，軍隊(duì)科技進(jìn)步一等獎(jiǎng)4項(xiàng)，軍隊(duì)科技進(jìn)步二等獎(jiǎng)4項(xiàng)。

Probability Density Estimation for Non-flat Functions?

WANG Hongqiao1+, CAI Yanning2, FU Guangyuan1, WANG Shicheng3
1. Department of Information Engineering, the Second Artillery Engineering University, Xi’an 710025, China
2. College of Science, the Second Artillery Engineering University, Xi’an 710025, China
3. Department of Control Engineering, the Second Artillery Engineering University, Xi’an 710025, China

+ Corresponding author: E-mail: ep.hqwang@gmail.com

WANG Hongqiao, CAI Yanning, FU Guangyuan, et al. Probability density estimation for non-flat functions. Journal of Frontiers of Computer Science and Technology, 2016, 10(4)：589-599.

Abstract:Aiming at the probability density estimation problem for non-flat functions, this paper constructs a single slack factor multi-scale kernel support vector machine (SVM) probability density estimation model, by improving the form of constraint condition of the traditional SVM model and introducing the multi-scale kernel method. In the model, a single slack factor instead of two types of slack factors is used to control the learning error of SVM, which reduces the computational complexity of model. At the same time, by introducing the multi-scale kernel method, the model can well fit the functions with both the fiercely changed region and the flatly changed region. Through several probability density estimation experiments with typical non-flat functions, the results show that the single slack probability density estimation model has faster learning speed than the common SVM model. And compared with the single kernel method, the multi-scale kernel SVM probability density estimation model has better estimation precision.

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP301

doi:10.3778/j.issn.1673-9418.1505046