一類神經(jīng)網(wǎng)絡(luò)算子的構(gòu)造與逼近

常利蘋,曹飛龍

(中國(guó)計(jì)量大學(xué) 理學(xué)院,浙江 杭州 310018)

本文以R表示實(shí)數(shù)集,N表示正整數(shù)集,且以小寫字母表示一維標(biāo)量,黑體小寫字母表示向量。以C([0,1])表示定義在[0,1]上的連續(xù)函數(shù)空間,并賦予一致范數(shù)。

‖f‖∞:=maxx∈[0,1]|f(x)|。

數(shù)學(xué)上,單隱層前向神經(jīng)網(wǎng)絡(luò)可表示為

(1)

其中x∈Rs,它是Rs→R的算子。這里cj∈R是網(wǎng)絡(luò)的輸出權(quán),σ是激活函數(shù),aj是輸入與神經(jīng)元的連接權(quán)向量,bj∈R是神經(jīng)元的閾值,[x·y]表示向量x,y的內(nèi)積。一般地,網(wǎng)絡(luò)的激活函數(shù)σ取為Sigmoid函數(shù),即σ:R→R,且

周知,前向神經(jīng)網(wǎng)絡(luò)是萬(wàn)有逼近器,即對(duì)定義在Rs中緊集上的連續(xù)或Lebesgue可積函數(shù),當(dāng)激活函數(shù)滿足一定條件時(shí),存在形如式(1)的前向神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近該函數(shù)[1-3]。這一定理被稱之為網(wǎng)絡(luò)逼近的稠密性定理,它研究當(dāng)前向神經(jīng)網(wǎng)絡(luò)的激活函數(shù)滿足什么條件時(shí),多種目標(biāo)函數(shù)類可以被前向神經(jīng)網(wǎng)絡(luò)以任意精度逼近。至今,關(guān)于稠密性定理已有較多的研究[1-10]。神經(jīng)網(wǎng)絡(luò)逼近的另一種重要問(wèn)題是復(fù)雜性問(wèn)題,其研究如何基于數(shù)據(jù)構(gòu)建前向神經(jīng)網(wǎng)絡(luò)算子作為逼近工具,并估計(jì)其對(duì)目標(biāo)函數(shù)的逼近誤差,并以此揭示網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與網(wǎng)絡(luò)逼近能力之間的關(guān)系(參見(jiàn)文獻(xiàn)[11-21])。

文獻(xiàn)[11]利用構(gòu)造性的方法證明了CYBENK的稠密性定理[1];在此基礎(chǔ)上,CHEN[12]利用函數(shù)連續(xù)模給出了逼近的Jackson型量化估計(jì),而文獻(xiàn)[13]針對(duì)單調(diào)的Sigmoid函數(shù)做了進(jìn)一步的研究;BARRON[14]在被逼近目標(biāo)函數(shù)的Fourier變換滿足一定條件,并且激活函數(shù)是無(wú)窮次可微的Sigmoid函數(shù)的假設(shè)下,指出了單隱層網(wǎng)絡(luò)逼近在一定條件下可達(dá)到的幾乎最佳逼近階;文獻(xiàn)[15-16]分別研究了對(duì)周期連續(xù)函數(shù)的構(gòu)造性逼近問(wèn)題;針對(duì)高維目標(biāo)函數(shù)情況,文獻(xiàn)[17]用構(gòu)造性方法研究了多輸入的網(wǎng)絡(luò)構(gòu)造和逼近的量化估計(jì)問(wèn)題;值得指出的是,文獻(xiàn)[18-19]研究了網(wǎng)絡(luò)構(gòu)造性逼近的上、下界問(wèn)題;在文獻(xiàn)[20]中,CHEN和CAO利用經(jīng)典的logistics函數(shù)的解析性質(zhì),并對(duì)其做Fourier變化與組合、平移變形,用構(gòu)造性方法給出一類單隱層網(wǎng)絡(luò)并估計(jì)了逼近速度。ANASTASSIOU[22-23]、COSTARELLI等[24-25]進(jìn)一步將文獻(xiàn)[20]的結(jié)果和思想推廣到多輸入的情形。

受文獻(xiàn)[20]啟發(fā),文獻(xiàn)[26]考慮到雙曲正切函數(shù)

(2)

其中x∈R,是一類典型的Sigmoid函數(shù),并對(duì)雙曲函數(shù)(2)進(jìn)行平移與平均得到如下的鐘型函數(shù):

(3)

并得到了如下的逼近階估計(jì):

(4)

其中n∈N,2n1-α-3>0;參數(shù)0<α<1的引入起到了平衡誤差估計(jì)式(4)右邊兩項(xiàng)“階”的作用;ω(f,δ)是函數(shù)f的連續(xù)模[27]:

本文繼續(xù)文獻(xiàn)[26]的工作。我們先引進(jìn)正參數(shù)d,并定義如下函數(shù)

其中

由此,對(duì)于f∈C([-1,1]),構(gòu)造網(wǎng)絡(luò)算子

我們得到如下逼近誤差估計(jì):

(5)

顯然,根據(jù)定理1立即得到算子(Fn,df)的收斂性:limn,d-1→+∞Fn,df(x)=f(x);定理1中的參數(shù)d可以與n相關(guān),特別地,可取為d-1=n;估計(jì)式(5)中的參數(shù)0<α<1起到了平衡其右邊兩項(xiàng)“階”的作用。

此外,如果f∈LipC(β)(0<β≤1),即ω(f,δ)≤Cδβ,其中C為L(zhǎng)ipschitz常數(shù),則由式(5)得到逼近階估計(jì):

1 準(zhǔn)備工作

由φ(x)的定義,我們有

以及

引理1(見(jiàn)[26])。

1)如果k≤k′≤0,則φd(k)≤φd(k′);2)如果0≤k≤k′,則φd(k)≥φd(k′)。

引理2設(shè)0<α<1,成立

證明通過(guò)計(jì)算,可以得到

引理3設(shè)nα>2,成立

證明不難看出,

引理4。

證明(1)如果t滿足k-1≤t≤k≤nx，則有

由此,可得到

如果t滿足k≤t≤k+1≤nx，則有

由引理1,同樣可得

因此,

綜上,有

這表明

1)證明完畢。類似地,我們可證得2)。

引理5以下各式成立。

證明因?yàn)?/p>

所以

因此,

所以,

也有

其中nα>2。最終可得

證明了1)。同理可證得引理5中的2)。

2 定理的證明

不難有

用|nx-k|≤nα和|nx-k|>nα來(lái)表示k的范圍,所以

由-1≤x≤1和|nx-k|≤nα,得

故有

綜上所述,可得

定理1證畢。

3 總 結(jié)

在本文中,我們用構(gòu)造性方法給出一類單隱層網(wǎng)絡(luò)并估計(jì)了逼近速度,即估計(jì)該類算子對(duì)于任意的f∈C([-1,1])的逼近誤差,并建立Jackson型定理。