基于自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)的內(nèi)?？刂?/h1>

2018-07-05 08:38:04趙彬宏王建鵬王元元

太原科技大學(xué)學(xué)報(bào)訂閱 2018年4期 收藏

關(guān)鍵詞：小波基內(nèi)模步長(zhǎng)

趙彬宏，王建鵬，王元元

(1.山西省自動(dòng)研究所，太原 030012；2.太原科技大學(xué)電子信息工程學(xué)院，太原 030024)

內(nèi)?？刂扑哂械膬?yōu)良特性使其成為一種便于實(shí)際應(yīng)用的先進(jìn)控制策略，內(nèi)?？刂葡到y(tǒng)設(shè)計(jì)的關(guān)鍵是建立過(guò)程的模型及其逆模型。由于非線性過(guò)程的復(fù)雜性，傳統(tǒng)的辨識(shí)方法難以獲得其精確的模型。神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性映射能力，可以有效解決非線性系統(tǒng)建模的難題。因此，非線性過(guò)程神經(jīng)網(wǎng)絡(luò)內(nèi)模控制方法得到了控制界的關(guān)注與發(fā)展[1-3]。在諸多類(lèi)型的神經(jīng)網(wǎng)絡(luò)中，小波神經(jīng)網(wǎng)絡(luò)(Wavelet neural network, WNN)很好地結(jié)合了小波變換的時(shí)頻局部分析性質(zhì)和神經(jīng)網(wǎng)絡(luò)任意非線性逼近能力。

神經(jīng)網(wǎng)絡(luò)的非線性逼近能力和泛化能力均與網(wǎng)絡(luò)的結(jié)構(gòu)密切相關(guān)，許多學(xué)者對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的確定進(jìn)行了研究，并提出一些相關(guān)算法[4-6]，文獻(xiàn)[7]中為了得到較優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種關(guān)于結(jié)構(gòu)的自學(xué)習(xí)機(jī)制，通過(guò)隱含層神經(jīng)元的最大輸出值與設(shè)定閾值的關(guān)系來(lái)決定是否產(chǎn)生新的神經(jīng)元，根據(jù)神經(jīng)元對(duì)的作用強(qiáng)度來(lái)確定是否需要將其刪除。文獻(xiàn)[8]中提出了一種自構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠根據(jù)給定的判定條件自動(dòng)增加神經(jīng)元節(jié)點(diǎn)，以滿足辨識(shí)精度的要求；為了防止網(wǎng)絡(luò)學(xué)習(xí)過(guò)擬合，基于靈敏度方法對(duì)神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)進(jìn)行修剪刪除。文獻(xiàn)[9]在文獻(xiàn)[8]的基礎(chǔ)上，將基于自構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)的內(nèi)?？刂撇呗詰?yīng)用于艦載火箭炮伺服系統(tǒng)設(shè)計(jì)中，仿真結(jié)果表明了該方法可有效克服非線性因素的影響。此外，文獻(xiàn)[10]針對(duì)變結(jié)構(gòu)模糊小腦模型進(jìn)行了研究。神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)變結(jié)構(gòu)的思想，在一定程度上克服了網(wǎng)絡(luò)結(jié)構(gòu)難以確定的難題，然而，將此類(lèi)動(dòng)態(tài)網(wǎng)絡(luò)與內(nèi)模控制結(jié)合的研究還處于起步階段，仍需要進(jìn)一步探索。

本文利用自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)建立非線性過(guò)程的模型和逆模型，在此基礎(chǔ)上設(shè)計(jì)內(nèi)模控制系統(tǒng)，使模型辨識(shí)網(wǎng)絡(luò)和內(nèi)模控制器網(wǎng)絡(luò)的結(jié)構(gòu)根據(jù)系統(tǒng)性能在線調(diào)整，采用可以自適應(yīng)調(diào)節(jié)步長(zhǎng)的梯度下降法優(yōu)化網(wǎng)絡(luò)參數(shù)，在保證逼近精度的同時(shí)提高了網(wǎng)絡(luò)的收斂速度。仿真結(jié)果表明，本文方法可使系統(tǒng)具有跟隨輸入快、無(wú)超調(diào)等良好的動(dòng)態(tài)特性，且能在系統(tǒng)受到干擾或過(guò)程參數(shù)發(fā)生攝動(dòng)時(shí)，保持良好的魯棒性。

1 自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)

1.1 小波神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)描述

小波神經(jīng)網(wǎng)絡(luò)是用小波函數(shù)來(lái)取代Sigmoid函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)，且用小波函數(shù)的伸縮因子和平移參數(shù)分別代替神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。

圖1 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Structure of the wavelet neural network

圖1為n個(gè)輸入、m個(gè)小波基和單輸出的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，小波神經(jīng)網(wǎng)絡(luò)共分為四層，分別為輸入層、小波層、乘積層以及輸出層。小波層節(jié)點(diǎn)的激勵(lì)函數(shù)φd,t(x)由墨西哥帽小波母函數(shù)Ф(x)變換得出，表達(dá)式分別如下：

φ(x)=(1-‖x‖2)exp(-‖x‖2/2)

(1)

(2)

式中,d為伸縮因子，t為平移參數(shù)。

若X=[x1,x2,…xn]Т為小波神經(jīng)網(wǎng)絡(luò)的輸入，那么小波層第j個(gè)小波基對(duì)第i個(gè)輸入的激勵(lì)可表示為：

(3)

乘積層第j個(gè)節(jié)點(diǎn)的輸入為：

(4)

網(wǎng)絡(luò)的輸出為：

(5)

1.2 小波基增加規(guī)則

相似性度量用來(lái)表示個(gè)體間的相似程度，其值越大說(shuō)明個(gè)體間相似度越大、差異越小，與小波基中心距離較近的數(shù)據(jù)與對(duì)應(yīng)小波基有較高的相似度，且小波基對(duì)其激勵(lì)也較大，據(jù)此，可用Dj=|ψj|來(lái)表示輸入數(shù)據(jù)與小波基的相似度。把輸入樣本與小波基的相似度作為空間對(duì)象群的屬性，根據(jù)相似度的變化來(lái)實(shí)現(xiàn)增加小波基的操作。為了計(jì)算方便，把函數(shù)取值規(guī)范化到(0, 1]，可進(jìn)行如下計(jì)算：Sj=exp[-Dj(xi)]，Sj為關(guān)于Dj的單調(diào)遞減函數(shù)，當(dāng)相似度較大時(shí)Sj的取值較小，因此小波基的增加規(guī)則如下：

1.3 小波基修剪規(guī)則

如果y是系統(tǒng)的實(shí)際輸出，那么根據(jù)神經(jīng)網(wǎng)絡(luò)的逼近理論可知，存在一個(gè)有著最優(yōu)結(jié)構(gòu)的理想網(wǎng)絡(luò)來(lái)逼近該輸出，設(shè)此網(wǎng)絡(luò)的輸出為：

圖2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)流程圖Fig.2 Flowchart of the learning process

(6)

(7)

網(wǎng)絡(luò)的目標(biāo)函數(shù)取為：

(8)

用泰勒級(jí)數(shù)展開(kāi)上式可得：

(9)

(10)

(11)

(12)

式中包含每個(gè)小波基對(duì)逼近理想輸出的作用程度，△E的值較大說(shuō)明對(duì)應(yīng)的小波基較活躍，且相關(guān)參數(shù)頻繁的更新(修正)，相反，若△E的值較小則對(duì)應(yīng)小波基被認(rèn)為是不重要的，即該小波基對(duì)網(wǎng)絡(luò)輸出的貢獻(xiàn)可被忽略。

αj(k+1)=αj(k)×exp{-β×δ[Eth-ΔEm]}

(13)

(14)

αj為第j個(gè)小波基對(duì)輸出的影響程度，其初始值為1.當(dāng)Eth-△E≥0時(shí)，說(shuō)明第j個(gè)小波基對(duì)網(wǎng)絡(luò)沒(méi)起到有效激勵(lì)，αj減小，否則其值不變。經(jīng)過(guò)多次無(wú)效激勵(lì)后，若αj≤αth，則第j個(gè)小波基可被認(rèn)為對(duì)網(wǎng)絡(luò)的輸出是無(wú)效的，可將其刪除，αth為預(yù)先設(shè)定的刪除閾值，β為預(yù)先設(shè)定的衰減率。圖2為自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)流程圖。

2 自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂?/h2>

若過(guò)程可逆，則設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂葡到y(tǒng)如圖3所示，其中，可由自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)逼近過(guò)程模型NNM及其逆，即控制器NNC.

圖3 神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂葡到y(tǒng)Fig.3 Internal model control system

圖中u，y，ym，v，em，yr，e分別為控制量、被控過(guò)程輸出、模型輸出、不可測(cè)干擾、模型誤差、參考輸入以及系統(tǒng)誤差。辨識(shí)被控過(guò)程的模型NNM和逆模型NNC是神經(jīng)網(wǎng)絡(luò)內(nèi)?？刂圃O(shè)計(jì)的關(guān)鍵，模型的建立可以采取在線或者離線的方式，即分別在在系統(tǒng)運(yùn)行時(shí)，或者利用預(yù)先采樣的系統(tǒng)輸入輸出數(shù)據(jù)建立NNM和NNC，本文采用在線辨識(shí)的方式。在建模過(guò)程中，NNM的可調(diào)參數(shù)可根據(jù)模型誤差em進(jìn)行訓(xùn)練，同時(shí)NNC的可調(diào)參數(shù)可根據(jù)NNM通道反傳的梯度信號(hào)和系統(tǒng)誤差e進(jìn)行訓(xùn)練。

2.1 過(guò)程模型的建立

采用離散時(shí)間非線性系統(tǒng)表示非線性過(guò)程，即：

(15)

式中，f(*)為非線性函數(shù)，y(k)，u(k)和v(k)分別為過(guò)程的輸出、輸入和擾動(dòng)，n，m分別為過(guò)程輸出和輸入的滯后時(shí)間。

利用小波神經(jīng)網(wǎng)絡(luò)建立過(guò)程模型，就是利用其強(qiáng)大的非線性映射能力來(lái)逼近式(15)中的非線性函數(shù)f(*).此時(shí)，過(guò)程輸入和輸出的各次滯后可作為網(wǎng)絡(luò)輸入，網(wǎng)絡(luò)的輸出即可表示過(guò)程的輸出。建立過(guò)程模型如下：

輸入層：

(16)

小波層：

(17)

乘積層：

(18)

輸出層：

(19)

式中，xi(k)為輸入層的輸入，φd,t(xi(k))為第j個(gè)小波基對(duì)第i個(gè)輸入的響應(yīng)，ψj(k)為第j個(gè)小波基的輸出，ym(k)為模型的輸出，N為輸入層神經(jīng)元個(gè)數(shù)，M為小波基個(gè)數(shù)，wj為乘積層與輸出層之間的連接權(quán)。

神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)如下：

(20)

用梯度下降法調(diào)整參數(shù)，算法如下：

(21)

(22)

(23)

η為網(wǎng)絡(luò)的學(xué)習(xí)步長(zhǎng)，選取合適的步長(zhǎng)是神經(jīng)網(wǎng)絡(luò)收斂的關(guān)鍵，學(xué)習(xí)率小，收斂速度慢；學(xué)習(xí)率過(guò)大，可能導(dǎo)致振蕩。本文采用變步長(zhǎng)梯度下降法進(jìn)行參數(shù)的修正，即在參數(shù)調(diào)整過(guò)程中，若誤差函數(shù)值向小的方向變化，表明誤差逐步減小，則學(xué)習(xí)步長(zhǎng)應(yīng)當(dāng)增加；相反，若誤差函數(shù)值向大的方向變化，表明新誤差逐步增大，則學(xué)習(xí)步長(zhǎng)應(yīng)當(dāng)減小。自適應(yīng)調(diào)節(jié)步長(zhǎng)的公式如下：

(24)

式中，α、β的取值范圍為α≥1，β≤1，本文取α=1.05，β=0.85.

2.2 過(guò)程逆模型的建立

根據(jù)逆模型的定義，并對(duì)yr(k+1)進(jìn)行線性化預(yù)測(cè)，則被控過(guò)程逆模型的表達(dá)式如下：

(25)

此外，還需將em(k)=y(k)-ym(k)反饋到控制器的輸入端，所以，神經(jīng)網(wǎng)絡(luò)內(nèi)模控制器的輸入輸出關(guān)系可表示為：

(26)

采用小波神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)式(26)所表示的非線性函數(shù)φ(*).

輸入層：

(27)

隱含層：

(28)

乘積層：

(29)

輸出層：

(30)

逆模型網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

(31)

參數(shù)學(xué)習(xí)算法如下：

(32)

(33)

(34)

(35)

3 仿真及結(jié)果分析

為驗(yàn)證本文所提方法的有效性，針對(duì)非線性過(guò)程進(jìn)行仿真研究與分析，并與常規(guī)神經(jīng)網(wǎng)絡(luò)方法進(jìn)行對(duì)比。非線性被控過(guò)程如式(36)所示。

(36)

式中，a=1.2，b=1.5.

根據(jù)經(jīng)驗(yàn)公式選取小波神經(jīng)網(wǎng)絡(luò)中小波基的個(gè)數(shù)r：

(37)

式中，p，q分別為神經(jīng)網(wǎng)絡(luò)輸入和輸出的個(gè)數(shù)，考慮到網(wǎng)絡(luò)的自構(gòu)建特性，可取l=0.同時(shí)，在基于常規(guī)小波神經(jīng)網(wǎng)絡(luò)方法中，通過(guò)試湊選擇l=5.

系統(tǒng)的輸入為單位階躍信號(hào)，控制過(guò)程中神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)變化如圖4所示，可見(jiàn)網(wǎng)絡(luò)在逼近NNM和NNC的過(guò)程中，實(shí)現(xiàn)了自構(gòu)建功能。系統(tǒng)的階躍響應(yīng)如圖5所示，其中在采樣點(diǎn)k=50時(shí)系統(tǒng)加入幅值為0.1的輸入階躍擾動(dòng)，仿真結(jié)果表明所提設(shè)計(jì)方法具有更好的動(dòng)態(tài)跟隨和干擾抑制性能。

另外，相同訓(xùn)練次數(shù)兩種方法的跟蹤誤差如表1所示，對(duì)比可見(jiàn)本文方法的跟蹤誤差遠(yuǎn)小于傳統(tǒng)方法，表明具有更快的收斂速度。

表1 兩種方法的跟蹤誤差

Tab.1 Tracking errors of two methods

訓(xùn)練次數(shù)跟蹤誤差常規(guī)方法本文方法5-1.5焊10-19.0焊10-210-4.3 焊10-22.3焊10-415-1.9焊10-21.3焊10-420-6.2焊10-36.1焊10-5

為了驗(yàn)證控制系統(tǒng)的魯棒性，在采樣點(diǎn)k=50時(shí)令過(guò)程參數(shù)發(fā)生攝動(dòng)，即a=1.0，b=1.3，系統(tǒng)單位階躍響應(yīng)如圖6所示，可見(jiàn)本文方法具有優(yōu)于常規(guī)方法的魯棒性。

圖4 訓(xùn)練過(guò)程中小波基的個(gè)數(shù)

Fig.4 The number of wavelet bases in the training process

圖5 系統(tǒng)的單位階躍響應(yīng)

Fig.5 Step response of the system

圖6 過(guò)程參數(shù)攝動(dòng)時(shí)系統(tǒng)的階躍響應(yīng)

Fig.6 Step response of the system with process parameter perturbation

表2 控制系統(tǒng)的性能指標(biāo)

Tab.2 Performance indicators of control system

方法標(biāo)稱(chēng)情況模型失配σ%IAEkσ%IAEk常規(guī)14.603.402014.603.6624本文02.87703.015

為了以準(zhǔn)確的量化指標(biāo)驗(yàn)證所提方法的優(yōu)越性，選擇超調(diào)量(σ%)、偏差絕對(duì)值積分(IAE)以及受擾后恢復(fù)穩(wěn)態(tài)的訓(xùn)練次數(shù)k作為閉環(huán)系統(tǒng)性能指標(biāo)，指標(biāo)參數(shù)越小意味著系統(tǒng)性能越好。在標(biāo)稱(chēng)和失配情況下，兩種方法的性能指標(biāo)如表2所示，表明本文方法可使系統(tǒng)具有更好的控制性能。

4 結(jié)論

本文提出了一種自構(gòu)建小波神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法，實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)，并將該算法與內(nèi)?？刂葡嘟Y(jié)合，針對(duì)非線性過(guò)程設(shè)計(jì)了內(nèi)?？刂葡到y(tǒng)。在控制過(guò)程中，如果網(wǎng)絡(luò)的逼近性能欠佳則增加新小波基以提高其學(xué)習(xí)能力，如果網(wǎng)絡(luò)中存在不必要的小波基則刪除該小波基以減輕計(jì)算負(fù)擔(dān)，參數(shù)學(xué)習(xí)采用可以自適應(yīng)調(diào)節(jié)步長(zhǎng)的梯度下降法。仿真結(jié)果表明，本文方法可使控制系統(tǒng)具有更好的動(dòng)態(tài)性能和克服參數(shù)攝動(dòng)的魯棒性。

參考文獻(xiàn)：

[1] 夏光, 陳無(wú)畏, 趙林峰,等. 平衡重式叉車(chē)底盤(pán)小波網(wǎng)絡(luò)動(dòng)態(tài)逆內(nèi)?？刂芠J]. 機(jī)械工程學(xué)報(bào), 2015, 51(18): 126-135.

[2] HE Y, ZHENG S, FANG J. Start-up current adaptive control for sensorless high-speed brushless DC motors based on inverse system method and internal mode controller[J]. Chinese Journal of Aeronautics, 2017, 30(1): 358-367.

[3] 張新良, 朱琳, 郭曉迪. 一種頻率依賴(lài)性遲滯的神經(jīng)網(wǎng)絡(luò)內(nèi)模控制[J]. 測(cè)控技術(shù), 2016, 35(9):52-54.

[4] HSU C. Adaptive growing-and-pruning neural network control for a linear piezoelectric ceramic motor [J]. Engineering Applications of Artificial Intelligence, 2008, 21(8): 1153-1163.

[5] LIN C, XU Y. A self-adaptive neural fuzzy network with group-based symbiotic evolution and its prediction applications[J]. Fuzzy Sets and Systems, 2006, 157(8): 1036-1056

[6] HASSEN M, MOHAMED C, NABIL D. Variable structure neural networks for adaptive control of nonlinear systems using the stochastic approximation[J]. Simulation Modelling Practice and Theory, 2006, 14(7): 1000-1009.

[7] CHENG K. Auto-structuring fuzzy neural system for intelligent control[J]. Journal of the Franklin Institute, 2009, 346(3): 267-288.

[8] 趙志誠(chéng), 王元元, 劉志遠(yuǎn). 一種自構(gòu)建神經(jīng)網(wǎng)絡(luò)的內(nèi)?？刂品椒╗J]. 控制工程, 2014, 21(1): 111-115.

[9] 曾令夢(mèng), 高強(qiáng), 侯遠(yuǎn)龍. 基于自構(gòu)建神經(jīng)網(wǎng)絡(luò)的艦載火箭炮內(nèi)?？刂芠J]. 火炮發(fā)射與控制學(xué)報(bào), 2017, 38(4): 40-44.

[10] LEE C, LIN C, CHEN H. A self-constructing fuzzy CMAC model and its applications[J]. Information Sciences, 2007, 177(1): 264-280.

猜你喜歡

小波基內(nèi)模步長(zhǎng)

基于Armijo搜索步長(zhǎng)的BFGS與DFP擬牛頓法的比較研究

成都信息工程大學(xué)學(xué)報(bào)(2021年5期)2021-12-30 06:25:30

利用小波變換分析電能質(zhì)量擾動(dòng)問(wèn)題中的電壓驟升影響

通信電源技術(shù)(2019年3期)2019-04-17 08:04:56

小波閾值圖像去噪中小波基選擇

電腦知識(shí)與技術(shù)(2018年30期)2018-01-04 11:06:12

小波非參數(shù)回歸分析方法的實(shí)現(xiàn)及比較研究*

西安工業(yè)大學(xué)學(xué)報(bào)(2016年5期)2016-07-21 07:46:40

基于內(nèi)?？刂频腟SSC前饋解耦控制策略研究

四川電力技術(shù)(2015年5期)2015-12-19 11:04:52

基于三自由度內(nèi)模解耦控制的VSC-MTDC性能分析

電測(cè)與儀表(2015年16期)2015-04-12 00:44:32

電測(cè)與儀表(2015年20期)2015-04-09 11:53:56

高頻開(kāi)關(guān)電源模糊內(nèi)模PID控制器設(shè)計(jì)

電測(cè)與儀表(2015年21期)2015-04-09 11:52:12

基于逐維改進(jìn)的自適應(yīng)步長(zhǎng)布谷鳥(niǎo)搜索算法

河北科技大學(xué)學(xué)報(bào)(2015年5期)2015-03-11 16:16:37

一種新型光伏系統(tǒng)MPPT變步長(zhǎng)滯環(huán)比較P&O法

電測(cè)與儀表(2014年2期)2014-04-04 09:04:00

太原科技大學(xué)學(xué)報(bào)2018年4期

太原科技大學(xué)學(xué)報(bào)的其它文章

電磁波半波損失中蘊(yùn)含的能量守恒定律

正交曲面坐標(biāo)系中非線性熱本構(gòu)方程

平衡立方體在PMC模型下的1-好鄰條件診斷度

基于MSC_ADAMS平臺(tái)的鏈傳動(dòng)機(jī)構(gòu)仿真研究

聲波法檢測(cè)鋼軌缺陷的頻率敏感性分析

圓柱型功能梯度雙材料界面裂紋問(wèn)題研究