競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)時序分類器

葛利，印桂生

(1.哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱150001;2.哈爾濱商業(yè)大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，黑龍江哈爾濱150028)

基于過程神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用背景及徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域的成功應(yīng)用，文獻(xiàn)［1］提出了徑向基過程神經(jīng)元網(wǎng)絡(luò)的概念和模型，該模型在保留徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)優(yōu)勢的基礎(chǔ)上，引入了過程神經(jīng)元的概念，因此具有二者的優(yōu)勢.時序問題在客觀實(shí)際中普遍存在，許多分類問題具有時序背景，即這些系統(tǒng)的輸入是依賴于時間變化的函數(shù)，其歸屬類別的確定既依賴于輸入函數(shù)的空間聚合，又與時間累積效應(yīng)密切相關(guān).依據(jù)以上背景，本文在徑向基過程神經(jīng)元網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)時序分類器，將時間累積效應(yīng)充分考慮到時序分類器設(shè)計(jì)中，給出了競爭過程神經(jīng)元單元的定義，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和學(xué)習(xí)算法.

1 競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)模型

1.1 競爭過程神經(jīng)元單元

競爭過程神經(jīng)元單元結(jié)構(gòu)如圖1所示，由聚合運(yùn)算、模式匹配、激勵運(yùn)算和競爭4部分組成.圖1中，X(t)=［X1(t)X2(t) … Xn(t)］T為競爭過程神經(jīng)元單元在某一時間延遲區(qū)間［0，T］上的輸入函數(shù)，∫為聚合算子，K(·)為競爭過程神經(jīng)元單元核函數(shù)，φ為競爭算子，其輸入為所有徑向基過程神經(jīng)元的輸出，其輸出依據(jù)式(1)原則［2］，即當(dāng)神經(jīng)元被激活時，只有一個競爭神經(jīng)元有較大輸出，而其他神經(jīng)元都被抑制.最大輸入對應(yīng)的神經(jīng)元輸出為1，其它所有神經(jīng)元的輸出均為0.

圖1 競爭過程神經(jīng)元單元圖Fig.1 Competition process neuron unit

競爭過程神經(jīng)元單元的輸入、輸出關(guān)系如下:

式中:y代表競爭過程神經(jīng)元單元的輸出，Oj為過程神經(jīng)元j的輸出:

式中:‖·‖為某一范數(shù)，Xj(t)為徑向基過程神經(jīng)元j的核中心函數(shù)［1］.

1.2 競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)模型

競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)為一種4層前向結(jié)構(gòu)，輸入層有n個節(jié)點(diǎn)，第2層為徑向基過程神經(jīng)元隱層，單元的變換函數(shù)是徑向基核函數(shù)，第3層為競爭層，由第2、3層組成復(fù)合徑向基過程神經(jīng)元隱層，各層節(jié)點(diǎn)數(shù)均為m個，第4層為輸出層，節(jié)點(diǎn)個數(shù)為k個，對應(yīng)不同分類類別.網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖2所示.

圖2 競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fig.2 Competitive radial basis process neural network topology structure

其中，X(t)=［X1(t)X2(t)…Xn(t)］T為網(wǎng)絡(luò)的輸入，由復(fù)合徑向基神經(jīng)元隱層完成對時變輸入時空特征的抽取和分類功能為所識別問題的m個標(biāo)準(zhǔn)模式函數(shù)，取Xj(t)為徑向基過程神經(jīng)元j的核中心函數(shù)［1］.競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)中，競爭過程神經(jīng)元單元通過測量輸入時變向量X(t)到所代表聚類區(qū)域的距離來決定時變向量X(t)屬于哪個子類聚類.輸出層的神經(jīng)元標(biāo)記代表模式樣本的類別，其值由競爭過程神經(jīng)元單元計(jì)算獲得，無須計(jì)算所有競爭過程神經(jīng)元單元輸出的線性連接權(quán)值.

2 競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)中需要優(yōu)化的網(wǎng)絡(luò)參數(shù)有:核函數(shù)個數(shù)、中心及寬度.給定一個訓(xùn)練樣本集K={(Xm，n(t)，ωm)，1≤m≤k，1≤n≤numberm}，Xm，n(t)表示屬于第m類的第n個時變樣本輸入，numberm表示第m類的樣本個數(shù)，ωm為對應(yīng)輸出類別標(biāo)記.

訓(xùn)練樣本Xm，n(t)在同類樣本中的密度估計(jì)函數(shù)的定義為

式中:rm，n表示樣本Xm，n(t)與異類樣本的最小距離.若一個訓(xùn)練樣本周圍有較多相同類別的樣本點(diǎn)，則具有較大的密度值.

競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)時序分類器的訓(xùn)練算法如下:

1)首先將競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)輸入時變函數(shù)和核中心函數(shù)展開為C［0，T］上的同一組標(biāo)準(zhǔn)正交基的展開式，依據(jù)數(shù)學(xué)分析理論及正交基性質(zhì)，有式(5)成立［1］:

式中:L為在滿足逼近精度的前提下，X(t)各分量標(biāo)準(zhǔn)正交基展開項(xiàng)數(shù)的最大值，n為X(t)的分量個數(shù)(即輸入層節(jié)點(diǎn)個數(shù))，ail、分別為X(t)和Xj(t)標(biāo)準(zhǔn)正交基展開項(xiàng)系數(shù).

2)初始化所有訓(xùn)練樣本標(biāo)記設(shè)置為0，表示該訓(xùn)練樣本沒有被任何子類聚類包含，計(jì)算所有訓(xùn)練樣本的密度.

3)對于每類樣本，在未被包含的樣本中選擇具有最大密度值的樣本作為聚類中心μi(t).計(jì)算中心到異類樣本的最小距離，將其作為聚類半徑ri.為每個聚類設(shè)置參數(shù)αi(0＜αi＜1)，用于調(diào)整每個聚類的大小.

4)依據(jù)式(5)計(jì)算每個樣本到聚類中心的距離，依據(jù)式(6)標(biāo)記樣本

即樣本到該中心的距離小于αi×ri，則將該樣本輸出值置為對應(yīng)類別輸出值，并標(biāo)記為已被包含的樣本.

5)重復(fù)4)，直到所有樣本均被包含為止.

參數(shù)αi(0＜αi＜1)用來調(diào)整相鄰2個子類聚類的重疊區(qū)域.所有聚類樣本采用統(tǒng)一聚類參數(shù)顯然不符合實(shí)際情況，因此針對各聚類樣本訓(xùn)練的實(shí)際情況，根據(jù)樣本到各聚類中心距離，動態(tài)調(diào)整各聚類的大小，最終得到最優(yōu)的聚類參數(shù)，可提高分類器的泛化能力.

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)1 采用 UCI中的Japanese Vowels數(shù)據(jù)集.該數(shù)據(jù)被用來檢驗(yàn)多維時間序列分類器的性能.分析對象為3個類別對應(yīng)3個日本女性的元音發(fā)聲，由12個LPC離散頻譜系數(shù)指標(biāo)描述每個話語的特征.訓(xùn)練樣本總數(shù)為90個，每個類別30個樣本.所選數(shù)據(jù)集96個樣本分為3類，C1:31、C2:35、C3:30.使用以上數(shù)據(jù)驗(yàn)證時序分類器的有效性.

經(jīng)訓(xùn)練和計(jì)算，確定網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)選擇如下:12個輸入節(jié)點(diǎn)(對應(yīng)12個LPC系數(shù))，3個復(fù)合徑向基過程神經(jīng)元單元，輸出層對應(yīng)k個類別標(biāo)記的節(jié)點(diǎn)，只有1個被激活.標(biāo)準(zhǔn)正交基函數(shù)取為勒讓德多項(xiàng)式，基函數(shù)個數(shù)為6個;取12個LPC在連續(xù)時間點(diǎn)上的離散采樣數(shù)據(jù)擬合為12個輸入時變函數(shù)，作為網(wǎng)絡(luò)的過程式輸入.為提高網(wǎng)絡(luò)的泛化能力，經(jīng)多次分析比對，確定參數(shù)αi(0＜αi＜1)的值為0.09，0.116和0.113(多系數(shù)方法)，為進(jìn)一步驗(yàn)證該算法的性能，依據(jù)相同的訓(xùn)練和測試樣本，采用單一聚類系數(shù)(αi= 0.1，i=1，2，3)的網(wǎng)絡(luò)輸出對比結(jié)果如表1所示.

由表1可見，在多系數(shù)方法對訓(xùn)練樣本的識別率略低于單系數(shù)方法的前提下，多系數(shù)方法對應(yīng)的測試樣本識別率高于單一系數(shù)方法的測試樣本識別率，其原因在于相對于單一系數(shù)方法，多系數(shù)方法更加精確地調(diào)整了各聚類的大小，因此具有相對較高的測試樣本識別正確率.可見，采用多系數(shù)方法提高了時序分類器的泛化性能.

實(shí)驗(yàn)2 應(yīng)用與實(shí)驗(yàn)1相同的訓(xùn)練樣本和測試樣本，測試本文算法與文獻(xiàn)［1］算法在相同樣本下的分類正確率.本文算法與文獻(xiàn)［1］算法對于96個測試樣本的分類結(jié)果如圖3和表2所示，文獻(xiàn)［1］算法為比較算法.本文方法的測試樣本的分類正確率為97.92%，文獻(xiàn)［1］方法的測試樣本分類正確率為90.625%.

圖3 分類正確率比較Fig.3 Comparison of classification accuracy

表2 不同方法下的分類正確率Table 2 Classification accuracy of different methods

從圖3及表2可見，本文算法的分類正確率高于文獻(xiàn)［1］算法，其原因在于本文算法依據(jù)樣本密度計(jì)算聚類中心及半徑，改進(jìn)了文獻(xiàn)［1］的學(xué)習(xí)算法，并使用多系數(shù)方法調(diào)整各聚類的大小，針對每類樣本的實(shí)際訓(xùn)練情況，依據(jù)樣本到各聚類中心的距離，調(diào)整各聚類的中心寬度，提高了算法的分類正確率.

實(shí)驗(yàn)3 應(yīng)用與實(shí)驗(yàn)1相同的訓(xùn)練和測試樣本，測試本文算法與文獻(xiàn)［1］算法在不同樣本數(shù)量下的分類正確率.變換訓(xùn)練數(shù)據(jù)的數(shù)量，從90－800，測試兩種算法的正確率(如圖4所示)，文獻(xiàn)［1］算法為比較算法.從中可見，本文算法在不同訓(xùn)練樣本大小下的分類正確率均高于文獻(xiàn)［1］算法，同時在該數(shù)據(jù)集上2個算法受訓(xùn)練樣本數(shù)量影響不大，基本處于穩(wěn)定水平，分析其原因在于，2種方法均屬于應(yīng)用領(lǐng)域知識的分類方法，因此，在各類樣本能充分反映其分類特征且不存在過擬合的情況下，其對應(yīng)的樣本分類正確率相對穩(wěn)定.

實(shí)驗(yàn)4 應(yīng)用與實(shí)驗(yàn)1相同的訓(xùn)練樣本和測試樣本，測試本文算法與文獻(xiàn)［1］算法在不同樣本數(shù)量下的執(zhí)行時間.變換訓(xùn)練數(shù)據(jù)的數(shù)量，從90～800，2種算法在不同訓(xùn)練樣本數(shù)量下的運(yùn)行時間如圖5所示.從中可見，在不同訓(xùn)練樣本數(shù)量下，本文算法的計(jì)算速度均高于文獻(xiàn)［1］算法，其原因在于本文算法將時序分類的過程轉(zhuǎn)化為過程式輸入與核中心函數(shù)的比較距離測量問題，省去了所有徑向基過程神經(jīng)元輸出線性連接權(quán)的計(jì)算，由復(fù)合競爭過程神經(jīng)元單元完成對過程式輸入信息的時空聚合和模式匹配工作，簡化了網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程，因此本文算法在不同訓(xùn)練樣本數(shù)量下的計(jì)算速度均高于文獻(xiàn)［1］算法.

圖4 訓(xùn)練樣本大小對算法的影響Fig.4 The effect of training sample size on algorithm

圖5 執(zhí)行時間比較(仿真數(shù)據(jù)集)Fig.5 Comparison of runtime(synthetic dataset)

4 結(jié)束語

時間序列分類是時間序列數(shù)據(jù)分析中的重要任務(wù)之一，它比一般分類問題困難的原因在于待分類時序數(shù)據(jù)不等長的特征，使得一般的分類算法不能直接適用［3－10］.本文將徑向基過程神經(jīng)網(wǎng)絡(luò)引入到時序分類中，對徑向基過程神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出一種基于競爭型徑向基過程神經(jīng)網(wǎng)絡(luò)的時序分類方法，簡化了網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程，將時間累積效應(yīng)納入其中，同時突破了時序數(shù)據(jù)不等長的限制.實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效地提高時序分類正確率和泛化性能，并且隨著訓(xùn)練樣本數(shù)量的增加，本文算法在分類正確率和計(jì)算速度上均表現(xiàn)出很好的性能.

［1］許少華，何新貴.徑向基過程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用研究［J］.北京航天航空大學(xué)學(xué)報(bào)，2004，30(1):14-17.

XU Shaohua，HE Xingui.Research and applications of radial basis process neural networks［J］.Journal of Beijing University of Aeronautics and Astronautics，2004，30(1):14-17.

［2］黃國宏，劉剛.新的C2 RBF神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用研究，2008，25(3):709-711.

HUANG Guohong，LIU Gang.Design and realization of new C2 RBF neural networks classifier［J］.Application Research of Computers，2008，25(3):709-711.

［3］RICARDO B C P，TERESA B L.A modal symbolic classifier for selecting time series models［J］.Pattern Recognition Letters，2004，25(8):911-921.

［4］楊一鳴，潘嶸，潘嘉林，等.時間序列分類問題的算法比較［J］.計(jì)算機(jī)學(xué)報(bào)，2007，30(8):1260-1265.

YANG Yiming，PAN Rong，PAN Jialin，et al.A comparative study on time series classification［J］.Chinese Journal of Computers，2007，30(8):1260-1265.

［5］KEOGH E，KASETTY S.On the need for time series data mining benchmarks:a survey and empirical demonstration［C］//Proceedings of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Edmonton，Canada，2002:102-111.

［6］JORGE C，NUNO C.A period gram-based metric for time series classification［J］.Computational Statistics＆Data A-nalysis，2006(50):2668-2684.

［7］WENG Xiaoping，SHEN Junyi.Classification of multivariate time series using locality preserving projections［J］.Knowledge-Based Systems，2008(21):581-587.

［8］ORSENIGO C，VERCELLIS C.Combining discrete SVM and fixed cardinality warping distances for multivariate time series classification［J］.Pattern Recognition，2010(43): 3787-3794.

［9］王曉曄，肖迎元，張德干.時間序列部分周期模式的更新算法［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2011，32(11):1484-1488.

WANG Xiaoye，XIAO Yingyuan，ZHANG Degan.Partial periodic pattern updating technology in time series databases［J］.Journal of Harbin Engineering University，2011，32 (11):1484-1488.

［10］付永慶，宋寶森，吳建芳.邊緣分類SIFT算法［J］.哈爾濱工程大學(xué)學(xué)報(bào)，2010，31(5):632-636.

FU Yongqing，SONG Baosen，WU Jianfang.An improved scale invariant feature transform algorithm［J］.Journal of Harbin Engineering University，2010，31(5):632-636.