基于隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)集成模型的實(shí)時(shí)遙測(cè)數(shù)據(jù)處理

(中國(guó)人民解放軍92941部隊(duì),遼寧 葫蘆島 125000)

0 引言

遙測(cè)數(shù)據(jù)主要用于獲取飛行器狀態(tài)和軌跡信息以對(duì)其進(jìn)行安全控制，高精度的遙測(cè)數(shù)據(jù)處理結(jié)果是評(píng)估的重要依據(jù)。遙測(cè)數(shù)據(jù)處理具有數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜、高維度及高實(shí)時(shí)性等特征，同時(shí)遙測(cè)數(shù)據(jù)易受測(cè)量設(shè)備和空間環(huán)境等影響產(chǎn)生數(shù)據(jù)漂移變化，其表現(xiàn)可能是數(shù)據(jù)的突變形式，也有可能是緩慢的線(xiàn)性變化等，變化趨勢(shì)不易判斷，因此建立一種高精度的在線(xiàn)遙測(cè)數(shù)據(jù)預(yù)測(cè)模型十分必要[1]。

目前機(jī)器學(xué)習(xí)快速發(fā)展，并廣泛應(yīng)用于各類(lèi)復(fù)雜場(chǎng)景中的數(shù)據(jù)建模，通常的有監(jiān)督學(xué)習(xí)方法假設(shè)數(shù)據(jù)的概率分布在訓(xùn)練集和實(shí)際數(shù)據(jù)集間不會(huì)發(fā)生變化，而實(shí)際應(yīng)用場(chǎng)景中的數(shù)據(jù)的分布由于過(guò)程進(jìn)化特性常常是不穩(wěn)定的，會(huì)隨時(shí)間而變化，進(jìn)而造成隨時(shí)間推移模型的預(yù)測(cè)精度下降[2]。因此要建立的遙測(cè)數(shù)據(jù)預(yù)測(cè)模型不僅要求預(yù)測(cè)結(jié)果具有較高的精度，而且能對(duì)數(shù)據(jù)分布變化敏感，可以快速適應(yīng)數(shù)據(jù)漂移的變化，同時(shí)算法要滿(mǎn)足在飛行規(guī)定的時(shí)間內(nèi)完成數(shù)據(jù)處理，

考慮到以往使用單一預(yù)測(cè)模型存在的不穩(wěn)定性，而集成算法模型能有效解決模型的泛化性和可信度[3]，因此提出一種基于隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(NNRW)的裝袋(bagging)集成方法[4]，用于解決遙測(cè)數(shù)據(jù)流的在線(xiàn)回歸預(yù)測(cè)問(wèn)題。集成模型的關(guān)鍵是基模型的選擇[5]，選擇隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)作為基模型，其輸入層和隱層間權(quán)值隨機(jī)初始化，在優(yōu)化過(guò)程中保持不變，而對(duì)隱藏層和輸出層間的權(quán)值進(jìn)行優(yōu)化，同傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法相比，這樣可極大降低訓(xùn)練復(fù)雜度[6]。選擇裝袋集成方法，通過(guò)隨機(jī)有放回的取樣方式保證訓(xùn)練出的基模型間的獨(dú)立性，保證所訓(xùn)練基模型的多樣性，通過(guò)基模型定點(diǎn)更新策略保證集成模型對(duì)數(shù)據(jù)漂移的適應(yīng)。仿真實(shí)驗(yàn)表明基于具有高精度和高效性[7]隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)和裝袋集成學(xué)習(xí)機(jī)制可實(shí)現(xiàn)基模型的并行訓(xùn)練，該集成方法滿(mǎn)足對(duì)數(shù)據(jù)處理的實(shí)時(shí)性和精度要求，通過(guò)基模型更新機(jī)制，減小數(shù)據(jù)漂移對(duì)模型預(yù)測(cè)精度的影響。

1 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的裝袋集成模型

該集成學(xué)習(xí)模型采用裝袋集成方法，通過(guò)隨機(jī)采樣方法對(duì)原始數(shù)據(jù)集抽取出多個(gè)訓(xùn)練集，隨機(jī)性抽樣保證了各訓(xùn)練集各自獨(dú)立又包含有數(shù)據(jù)集的共同特征，進(jìn)而訓(xùn)練得到具有多樣性的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)基模型池，從池中選擇最優(yōu)的基模型用于預(yù)測(cè)輸出。該集成方法通過(guò)樣本的隨機(jī)性，保證訓(xùn)練出的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)基模型具有多樣性[8]，通過(guò)賦予高精度的基模型更大的輸出權(quán)值，聯(lián)合多個(gè)高精度基模型的加權(quán)輸出實(shí)現(xiàn)對(duì)輸出數(shù)據(jù)預(yù)測(cè)，保證最終數(shù)據(jù)預(yù)測(cè)結(jié)果的精度。同時(shí)為應(yīng)對(duì)輸入數(shù)據(jù)存在的漂移現(xiàn)象，當(dāng)數(shù)據(jù)出現(xiàn)漂移或模型預(yù)測(cè)精度下降，對(duì)構(gòu)成輸出的基模型采用更新機(jī)制，通過(guò)新增數(shù)據(jù)訓(xùn)練獲得新的基模型，對(duì)集成模型中輸出性能較差的基模型進(jìn)行替換，保證用于預(yù)測(cè)的基模型為最優(yōu)。為滿(mǎn)足遙測(cè)數(shù)據(jù)處理要求，保證該集成模型數(shù)據(jù)處理的實(shí)時(shí)性，由于隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和學(xué)習(xí)過(guò)程簡(jiǎn)單，在對(duì)新增數(shù)據(jù)在線(xiàn)學(xué)習(xí)過(guò)程中可將若干神經(jīng)網(wǎng)絡(luò)同時(shí)訓(xùn)練，極大縮減了集成模型的構(gòu)造時(shí)間。

1.1 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(NNRW)基模型

基模型的設(shè)計(jì)要求具有較高的預(yù)測(cè)精度以及計(jì)算效率，以滿(mǎn)足實(shí)時(shí)遙測(cè)數(shù)據(jù)處理的要求，因此選擇單隱藏層前向反饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)作為基模型，基模型原理如圖1所示。

圖1 單隱層前饋神經(jīng)網(wǎng)絡(luò)基模型

圖1中輸入層和隱藏層間的權(quán)值隨機(jī)選擇，在訓(xùn)練過(guò)程中保持不變，而隱藏層與輸出層間的權(quán)值通過(guò)訓(xùn)練獲得。學(xué)習(xí)算法選擇嶺回歸，學(xué)習(xí)函數(shù)如式(1)所示:

T=g(X·WH+B)·Wo

(1)

式中,T為目標(biāo)向量，X為輸入訓(xùn)練向量，WH為輸入層到隱藏層的權(quán)重向量，B為偏置向量，Wo為隱藏層到輸出層權(quán)重向量。(g)·為激活函數(shù)，如式(2)所示:

(2)

由于WH和B為隨機(jī)選擇向量，且在訓(xùn)練過(guò)程中保持不變，訓(xùn)練函數(shù)變?yōu)榫€(xiàn)性系統(tǒng)，如式(3)所示:

T=H·Wo

(3)

其中:H為隱藏層輸出，通過(guò)式(4)計(jì)算:

H=g(X·WH+B)

(4)

最優(yōu)向量Wo滿(mǎn)足式(5):

(5)

C為小的常數(shù)，I為作為懲罰項(xiàng)的單位矩陣。

隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)通過(guò)隨機(jī)選取內(nèi)權(quán)與偏置值，將網(wǎng)絡(luò)參數(shù)需要計(jì)算的問(wèn)題轉(zhuǎn)化成線(xiàn)性方程，通過(guò)不同的組合進(jìn)行求解，采用廣義逆求解方程組的最小二乘解作為網(wǎng)絡(luò)外權(quán)，通過(guò)外權(quán)與內(nèi)權(quán)的結(jié)合計(jì)算，避免了其他傳統(tǒng)算法的缺點(diǎn)，極大地減少了訓(xùn)練時(shí)間，有效避免了陷入局部最小循環(huán)的問(wèn)題。

1.2 隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的裝袋集成算法

由于遙測(cè)數(shù)據(jù)含有多維信息，進(jìn)行該類(lèi)數(shù)據(jù)處理的模型通常極其復(fù)雜，另外遙測(cè)數(shù)據(jù)具有高的數(shù)據(jù)吞吐量，因此要求數(shù)據(jù)處理具有較高的實(shí)時(shí)性，為滿(mǎn)足模型實(shí)現(xiàn)在線(xiàn)對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)計(jì)算的要求[9]，將隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)和裝袋集成方法進(jìn)行聯(lián)合，其模型復(fù)雜度為O(M(N3))，模型中的每個(gè)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)基模型可單獨(dú)立優(yōu)化，各基模型優(yōu)化可并行執(zhí)行。集成模型的多樣性通過(guò)裝袋集成方法的自助采樣(bootstrapping)算法實(shí)現(xiàn)，自助采樣不僅產(chǎn)生新的訓(xùn)練數(shù)據(jù)集用于基模型的訓(xùn)練，并且能保證從訓(xùn)練集中抽取出特征屬性，特征屬性的數(shù)量用于構(gòu)建每個(gè)基模型，特征屬性的數(shù)量根據(jù)總特征量的百分比得出。

集成算法的具體原理如下：

1.2.1 基模型的選擇優(yōu)化

集成模型中包含多個(gè)基模型，它們利用對(duì)原始訓(xùn)練集的采樣集進(jìn)行訓(xùn)練獲得各自的最優(yōu)參數(shù)，因此能保證基模型的多樣性，每個(gè)基模型都可以對(duì)輸入數(shù)據(jù)集進(jìn)行預(yù)測(cè)，但集成模型的輸出只由所選擇的最優(yōu)Q個(gè)基模型決定，給定修剪率p∈(0,1]，參加預(yù)測(cè)的基模型的數(shù)量Q滿(mǎn)足式(6):

Q=p*M

(6)

對(duì)每個(gè)數(shù)據(jù)集C，對(duì)具有最小輸出誤差的Q個(gè)模型(Q

由于輸入數(shù)據(jù)存在數(shù)據(jù)漂移現(xiàn)象，勢(shì)必造成集成模型的預(yù)測(cè)精度下降，當(dāng)集成模型中某個(gè)基模型精度較差時(shí)，對(duì)該基模型暫時(shí)免于激活，而從處于失效狀態(tài)而隨時(shí)跟蹤數(shù)據(jù)的基模型中選擇預(yù)測(cè)精度較佳者進(jìn)行替換。

1.2.2 最優(yōu)權(quán)值確定

集成模型的輸出結(jié)果為所選擇最優(yōu)的Q個(gè)基模型加權(quán)輸出和。該權(quán)值直接影響集成模型性能，同時(shí)過(guò)于復(fù)雜的優(yōu)化方法會(huì)增加算法的計(jì)算時(shí)間。因此選擇的方法為集成模型中的每個(gè)基模型根據(jù)其在最近數(shù)據(jù)塊的預(yù)測(cè)精度被分配權(quán)重。給定當(dāng)前數(shù)據(jù)集C，輸出由M個(gè)基模型(m=1，2,…,M)集成，每個(gè)基模型的權(quán)值計(jì)算如式(7)所示:

(7)

msem為第m個(gè)基模型在當(dāng)前數(shù)據(jù)集C上計(jì)算得到的均方誤差。數(shù)據(jù)樣本xn的集成輸出yE如式(8)所示:

(8)

由式(8)可知，當(dāng)基模型的預(yù)測(cè)輸出的均方誤差值較大時(shí)，則在集成模型的輸出中所占比例相應(yīng)較小。當(dāng)預(yù)測(cè)均方誤差值較小，則分配較大權(quán)重。

1.2.3 基模型的更新

為解決輸入數(shù)據(jù)的漂移問(wèn)題，參與集成輸出的基模型需要進(jìn)行更新，另外當(dāng)基模型數(shù)量不滿(mǎn)足設(shè)計(jì)要求時(shí)需要使用最新的數(shù)據(jù)集中的標(biāo)記數(shù)據(jù)訓(xùn)練出新的基模型，在輸入數(shù)據(jù)集中隨機(jī)劃分出70%用于訓(xùn)練，30%用于驗(yàn)證。如果新的模型精度好于已存在模型中精度最差者，則進(jìn)行模型更新，這個(gè)過(guò)程一直重復(fù)進(jìn)行，直到新模型的數(shù)量達(dá)到設(shè)計(jì)要求。給定替換率為r∈(0,1]，新模型的數(shù)量Mnew計(jì)算如式(9)所示:

Mnew=round(r*M)

(9)

更新機(jī)制不僅保證集成模型與最近的數(shù)據(jù)同步，而且作為一種自然選擇機(jī)制，能不斷剔除低性能的基模型。

1.2.4 集成算法工作流程

隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)集成模型工作原理如圖2所示。

圖2 隨機(jī)神經(jīng)網(wǎng)絡(luò)集成模型原理

將飛行遙測(cè)數(shù)據(jù)作為數(shù)據(jù)流，初始要求提供足夠可用數(shù)據(jù)集用于構(gòu)建一個(gè)原始的集成模型，該可用數(shù)據(jù)集作為原始數(shù)據(jù)集，采樣數(shù)據(jù)S為對(duì)可用數(shù)據(jù)集進(jìn)行有放回的隨機(jī)采樣獲得，每個(gè)采樣集用來(lái)訓(xùn)練得到一個(gè)作為基模型M的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)，通過(guò)對(duì)N個(gè)基模型訓(xùn)練獲得基模型池，選擇最優(yōu)的Q個(gè)基模型進(jìn)行加權(quán)輸出實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的預(yù)測(cè)。初始集成模型構(gòu)建完成之后開(kāi)始對(duì)輸入數(shù)據(jù)流進(jìn)行預(yù)測(cè)，同時(shí)上述更新機(jī)制開(kāi)始工作，由于在數(shù)據(jù)流中設(shè)置有更新點(diǎn)標(biāo)志，當(dāng)檢測(cè)到更新點(diǎn)標(biāo)志時(shí)，表示可用數(shù)據(jù)集為新增的數(shù)據(jù)集，一部分基模型對(duì)新增數(shù)據(jù)進(jìn)行在線(xiàn)學(xué)習(xí)，當(dāng)判斷集成模型預(yù)測(cè)性能下降時(shí)對(duì)預(yù)測(cè)性能較差的基模型進(jìn)行更新操作。

2 集成模型超參數(shù)的優(yōu)化

模型的超參數(shù)包括基模型的個(gè)數(shù)，每個(gè)神經(jīng)網(wǎng)絡(luò)內(nèi)隱層層節(jié)點(diǎn)的個(gè)數(shù)，懲罰因子，隨機(jī)權(quán)重值的范圍等，超參數(shù)的選擇優(yōu)化對(duì)模型精度起著關(guān)鍵作用，而且超參間還具有相互作用，例如，在超參數(shù)A為1級(jí)別，算法精度隨超參數(shù)B從1～2變化時(shí)提高，同時(shí)在A為2級(jí)別，算法精度隨超參數(shù)B從1～2變化時(shí)降低，因此在超參數(shù)較多的情況下，增加了優(yōu)化過(guò)程的復(fù)雜性。目前用于數(shù)據(jù)流預(yù)測(cè)的機(jī)器學(xué)習(xí)算法中，還缺乏系統(tǒng)的方法對(duì)超參數(shù)進(jìn)行優(yōu)化，一些方法如手動(dòng)調(diào)整，網(wǎng)格搜索，貝葉斯超參數(shù)優(yōu)化等，缺乏對(duì)某個(gè)超參數(shù)的重要性和超參數(shù)間的相互作用的考慮[10]。

鑒于使用全因子的實(shí)驗(yàn)設(shè)計(jì)(DOE)方法進(jìn)行超參數(shù)調(diào)整能識(shí)別顯著的超參數(shù)間的相互作用，因此提出采用全因子設(shè)計(jì)方法對(duì)集成模型的超參數(shù)進(jìn)行調(diào)整，將初始可用數(shù)據(jù)集的前1 000個(gè)數(shù)據(jù)隨機(jī)劃分為70%用于訓(xùn)練，30%用于測(cè)試。具體過(guò)程分兩步進(jìn)行，首先對(duì)所有超參數(shù)在預(yù)定義的5個(gè)級(jí)別進(jìn)行窮盡組合計(jì)算，通過(guò)對(duì)每個(gè)超參數(shù)的靈敏度進(jìn)行分析，以及對(duì)超參數(shù)之間的相互作用的分析識(shí)別出重要的超參數(shù)和優(yōu)化方式。之后開(kāi)展新實(shí)驗(yàn)進(jìn)行超參數(shù)的微調(diào)，通過(guò)將具有低重要性的超參數(shù)保持在固定水平，縮小參數(shù)的搜索空間，進(jìn)而保證了算法的實(shí)時(shí)性。模型超參數(shù)具體設(shè)置如表1所示。

表1 超參數(shù)預(yù)設(shè)值表參數(shù)

其中，M為構(gòu)成集成模型的基模型數(shù)量；N為基模型中隱藏層節(jié)點(diǎn)數(shù)量，N為輸入數(shù)量的函數(shù)，具體為A因子與輸入數(shù)量的積；R為懲罰因子，用于在優(yōu)化過(guò)程中懲罰大的權(quán)值；W為隨機(jī)權(quán)值分布區(qū)間，該參數(shù)確定初始化隨機(jī)權(quán)值均勻分布在該區(qū)間內(nèi)，模型精度起關(guān)鍵作用；A為特征屬性數(shù)量，用于隨機(jī)選擇輸入的一部分用于基模型進(jìn)行訓(xùn)練。

3 仿真及分析

選取飛行器位置、速度、彈道等10個(gè)屬性的仿真數(shù)據(jù)作為訓(xùn)練集，其中飛行彈道為目標(biāo)輸出，其他參數(shù)作為輸入向量集，利用本文提出的方法建立預(yù)測(cè)模型。

為評(píng)估模型對(duì)數(shù)據(jù)漂移的響應(yīng)，基于遙測(cè)數(shù)據(jù)構(gòu)造5 000采樣點(diǎn)的數(shù)據(jù)集，將數(shù)據(jù)特征屬性的變量域劃分為10級(jí)，用前7級(jí)構(gòu)造數(shù)據(jù)集的前2 000點(diǎn)，之后每隔1 000點(diǎn)擴(kuò)展變量范圍，人為形成數(shù)據(jù)的漂移現(xiàn)象。

3.1 超參數(shù)優(yōu)化仿真及分析

每個(gè)超參數(shù)都決定模型的性能，但重要性不同，用于超參數(shù)優(yōu)化的數(shù)據(jù)集為起始的1 000點(diǎn)數(shù)據(jù)，將前1 000點(diǎn)數(shù)據(jù)劃分為兩部分，70%用于訓(xùn)練，30%用于驗(yàn)證。每個(gè)超參數(shù)按表1劃分的5個(gè)級(jí)別，共進(jìn)行10次優(yōu)化過(guò)程處理，經(jīng)統(tǒng)計(jì)分析對(duì)超參數(shù)重要性進(jìn)行評(píng)定，從而確定超參數(shù)優(yōu)化順序。根據(jù)F0顯著性統(tǒng)計(jì)確定最重要的3個(gè)超參數(shù)順序?yàn)殡S機(jī)權(quán)值范圍W、基模型數(shù)量M和神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)N，獲取參數(shù)最優(yōu)設(shè)置如表2所示。

表2 最優(yōu)超參數(shù)設(shè)置

通過(guò)超參數(shù)優(yōu)化過(guò)程，也證明了隱藏層節(jié)點(diǎn)數(shù)量和隨機(jī)權(quán)值范圍間相互影響，如圖3所示。

圖3 超參數(shù)間相互關(guān)系

3.2 遙測(cè)數(shù)據(jù)仿真分析

為評(píng)估集成模型性能，基于余下4 000點(diǎn)數(shù)據(jù)集進(jìn)行仿真測(cè)試，測(cè)試結(jié)果的MSE曲線(xiàn)如圖4所示。

圖4 模型預(yù)測(cè)誤差曲線(xiàn)

由圖4可見(jiàn)，在漂移點(diǎn)出現(xiàn)后，模型仍具有較高的預(yù)測(cè)精度，說(shuō)明該模型具有明顯的抑制數(shù)據(jù)漂移的作用。

集成模型不僅提升了數(shù)據(jù)預(yù)測(cè)的精度，借助超參數(shù)最優(yōu)化和基模型更新策略，也極大縮減了模型更新時(shí)間，模型更新時(shí)間可控制在0.02 s內(nèi)完成。

4 結(jié)束語(yǔ)

針對(duì)遙測(cè)數(shù)據(jù)預(yù)測(cè)模型中，要求處理滿(mǎn)足實(shí)時(shí)性和抑制數(shù)據(jù)漂移的問(wèn)題，提出一種采用隨機(jī)權(quán)值神經(jīng)網(wǎng)絡(luò)和bagging集成相聯(lián)合的集成方法，通過(guò)隨機(jī)的bootstrap采樣保證訓(xùn)練集和隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)基模型的獨(dú)立性和多樣性，利用隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的高效性，降低基模型訓(xùn)練的復(fù)雜性，縮短了基模型訓(xùn)練時(shí)間，提高了集成模型的處理速度，通過(guò)基模型的多樣性和在線(xiàn)更新機(jī)制，提高了在數(shù)據(jù)出現(xiàn)漂移時(shí)模型預(yù)測(cè)的精度。通過(guò)對(duì)飛行遙測(cè)數(shù)據(jù)的仿真實(shí)驗(yàn)，結(jié)果表明該模型對(duì)遙測(cè)數(shù)據(jù)的預(yù)測(cè)精度得到了提升，對(duì)數(shù)據(jù)漂移現(xiàn)象具有抑制作用，同時(shí)該方法具有快速性等特點(diǎn)。