基于神經(jīng)網(wǎng)絡(luò)的DEM趨勢(shì)面逼近與分析

陳再輝,江麗鈞,徐洪波,吳 剛

(麗水市建設(shè)局城建測(cè)量隊(duì),浙江 麗水 323000)

基于神經(jīng)網(wǎng)絡(luò)的DEM趨勢(shì)面逼近與分析

陳再輝,江麗鈞,徐洪波,吳 剛

(麗水市建設(shè)局城建測(cè)量隊(duì),浙江 麗水 323000)

趨勢(shì)面從宏觀上揭示研究對(duì)象的特性,在各領(lǐng)域發(fā)揮著重要作用。神經(jīng)網(wǎng)絡(luò)可以對(duì)復(fù)雜系統(tǒng)進(jìn)行無(wú)限逼近,進(jìn)而進(jìn)行預(yù)測(cè)?；谪惾~斯正則化BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)DEM趨勢(shì)面進(jìn)行逼近,并與二次多項(xiàng)式建立的DEM趨勢(shì)面進(jìn)行比較分析,證明該方法的可行性和有效性。

BP神經(jīng)網(wǎng)絡(luò);RBF神經(jīng)網(wǎng)絡(luò);DEM;趨勢(shì)面

趨勢(shì)面從宏觀上揭示了在二維空間上連續(xù)變化的地物特征。趨勢(shì)面在各領(lǐng)域有著重要的作用,文獻(xiàn)[1]采用趨勢(shì)面對(duì)水深數(shù)據(jù)進(jìn)行了分析,識(shí)別水深測(cè)量中的水深誤差。文獻(xiàn)[2-3]建立了地價(jià)趨勢(shì)模型,對(duì)城市基準(zhǔn)地價(jià)進(jìn)行了分析,采用移動(dòng)趨勢(shì)面分析法測(cè)算城市基準(zhǔn)地價(jià)。文獻(xiàn)[4]采用趨勢(shì)面建立了地面沉降模型,對(duì)地面沉降進(jìn)行了分析。文獻(xiàn)[5]采用趨勢(shì)面建立了已知站點(diǎn)降雨量逼近模型,對(duì)降雨量的變化趨勢(shì)進(jìn)行了研究。此外趨勢(shì)面還可以用于電磁輻射、海洋重力場(chǎng)和氣溫等領(lǐng)域的進(jìn)一步研究。

多項(xiàng)式是建立趨勢(shì)面的常用方法,多項(xiàng)式次數(shù)較低時(shí),對(duì)地形的描述不夠詳細(xì);多項(xiàng)式次數(shù)較高時(shí),對(duì)地形的模擬又會(huì)產(chǎn)生突變,同時(shí)誤差的傳播也比較快。神經(jīng)網(wǎng)絡(luò)可以對(duì)復(fù)雜系統(tǒng)進(jìn)行無(wú)限逼近,并在此基礎(chǔ)上進(jìn)行有效的預(yù)測(cè)。本文使用貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)對(duì)DEM趨勢(shì)面進(jìn)行逼近,并與二次多項(xiàng)式建立的DEM趨勢(shì)面進(jìn)行比較分析。

1 方法介紹

1.1 二次多項(xiàng)式擬合DEM趨勢(shì)面

趨勢(shì)面擬合多采用多項(xiàng)式,其中二次多項(xiàng)式是最為常用的一種,方程為

誤差方程式可表示為

其中方程式系數(shù)矩陣

X和L分別為參數(shù)矩陣和高程觀測(cè)值矩陣,分別表示為

根據(jù)參數(shù)平差原理解算,可得

1.2 B P神經(jīng)網(wǎng)絡(luò)逼近D EM趨勢(shì)面

1.2.1 BP神經(jīng)網(wǎng)絡(luò)原理

BP神經(jīng)網(wǎng)絡(luò)包括輸入層、中間層和輸出層。上下層之間全連接,每層神經(jīng)元之間無(wú)連接。網(wǎng)絡(luò)通過(guò)學(xué)習(xí)樣本激活神經(jīng)元從輸入層經(jīng)中間層向輸出層傳播,輸出層各神經(jīng)元得到網(wǎng)絡(luò)的輸入響應(yīng)。接著按照減小目標(biāo)輸出與實(shí)際輸出之間誤差的方向,從輸出層經(jīng)中間層回到輸入層。

常用的傳遞函數(shù)有Sigmoid型的對(duì)數(shù)、正切和線性函數(shù)。傳遞函數(shù)處處可微,是一個(gè)非線性超平面組成的區(qū)域,分類比較精細(xì),容錯(cuò)性比較好[6]。采用梯度下降法學(xué)習(xí),權(quán)值修正解析式十分明確,學(xué)習(xí)效率比較高。

輸入層與中間層的傳輸公式為

式中:sj為中間層各單元的輸入,wij和θj分別為連接權(quán)和閾值。

式中:bj為中間層通過(guò)輸入層與中間層的傳遞函數(shù)以后各單元的輸出。

中間層與輸出層的傳輸公式為

式中:st為輸出層各單元的輸出,vjt和γt分別為連接權(quán)和閾值。

bt=g(st). (10)

式中:bt為通過(guò)中間層與輸出層的傳遞函數(shù)以后各單元的輸出。

關(guān)于BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程和公式推導(dǎo)文獻(xiàn)[6]中有詳細(xì)闡述。

1.2.2 貝葉斯正則化

貝葉斯正則化是利用貝葉斯的統(tǒng)計(jì)方法自動(dòng)決定正則化參數(shù)。網(wǎng)絡(luò)訓(xùn)練誤差函數(shù)為

式中:ti為實(shí)際輸出,ai為期望輸出,網(wǎng)絡(luò)權(quán)重平方和為

其中ωi是神經(jīng)網(wǎng)絡(luò)連接權(quán),網(wǎng)絡(luò)性能函數(shù)為

貝葉斯正則化方法在訓(xùn)練過(guò)程中自動(dòng)調(diào)節(jié)超參數(shù)α和β的大小,使其達(dá)到最優(yōu)。有關(guān)貝葉斯正則化方法的詳細(xì)敘述參見(jiàn)文獻(xiàn)[7-10]。

1.3 RB F神經(jīng)網(wǎng)絡(luò)逼近D EM趨勢(shì)面

1.3.1 RBF神經(jīng)網(wǎng)絡(luò)原理

RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱含層和輸出層構(gòu)成的三層前向網(wǎng)絡(luò),隱含層采用徑向基函數(shù)作為激勵(lì)函數(shù)。隱含層每個(gè)神經(jīng)元與輸入層相連的權(quán)值向量和輸入矢量之間的距離乘以閾值作為輸入,輸入層與中間層的傳輸公式為

式中:kqi和rqi分別是中間層各單元的輸入和輸出,w1ji和b1i分別是連接權(quán)和閾值。

中間層與輸出層的傳輸公式為

式中:yq是輸出層各單元的輸出,ri和w 2i分別是輸入和連接權(quán)。

公眾號(hào)粉絲數(shù)量多且覆蓋范圍廣，影響力大。便于公眾號(hào)整合行業(yè)內(nèi)資源，使信息傳達(dá)更加便捷，集中管理更加容易。

1.3.2 SPREAD參數(shù)的確定

SPREAD為徑向基函數(shù)的分布密度,SPREAD值越大,函數(shù)越平滑。RBF神經(jīng)網(wǎng)絡(luò)的關(guān)鍵在于SPREAD參數(shù)的確定。網(wǎng)絡(luò)的建立過(guò)程就是訓(xùn)練過(guò)程,實(shí)際上就是SPREAD參數(shù)的確定過(guò)程。給定參數(shù)區(qū)間,繪制訓(xùn)練的誤差曲線,觀察曲線確定參數(shù)的取值區(qū)間,在區(qū)間內(nèi)再進(jìn)行訓(xùn)練并觀察誤差曲線,直到參數(shù)的取值能夠滿足需要的精度。

2 實(shí)例分析

分別使用常規(guī)二次多項(xiàng)式、貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)3種方法建立DEM趨勢(shì)面。使用均勻分布在420 m×420 m范圍內(nèi)的441個(gè)格網(wǎng)點(diǎn)進(jìn)行趨勢(shì)面逼近,高程位于1 450 m到1 550 m之間。將441個(gè)點(diǎn)分為兩組,第1組401個(gè),作為訓(xùn)練數(shù)據(jù),第2組40個(gè),作為檢驗(yàn)數(shù)據(jù)。

2.1 BP神經(jīng)網(wǎng)絡(luò)逼近DEM趨勢(shì)面過(guò)程

設(shè)計(jì)3層的網(wǎng)絡(luò)結(jié)構(gòu),輸入單元數(shù)為2個(gè),輸出單元數(shù)1個(gè),通過(guò)訓(xùn)練過(guò)程繪制訓(xùn)練誤差與隱含層單元數(shù)的關(guān)系圖,如圖1所示。從圖1中可以看出,中間單元數(shù)為23個(gè)時(shí)訓(xùn)練誤差最小,所以隱含單元數(shù)確定為23個(gè)。

BP神經(jīng)網(wǎng)絡(luò)逼近DEM趨勢(shì)面時(shí),將 x和y坐標(biāo)作為輸入向量,z坐標(biāo)作為目標(biāo)向量,對(duì)設(shè)計(jì)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后用訓(xùn)練好的網(wǎng)絡(luò)對(duì)新的輸入向量進(jìn)行預(yù)測(cè),并分析預(yù)測(cè)結(jié)果。

計(jì)算步驟:

圖1 網(wǎng)絡(luò)訓(xùn)練誤差

（犔犲狏犲狀犺犲狉犵2犕犪狉狇狌犪狉犱狋）算法。

2)對(duì)訓(xùn)練數(shù)據(jù)的輸入向量和目標(biāo)向量進(jìn)行歸一化。

數(shù)據(jù)歸一化采用線性轉(zhuǎn)換函數(shù),公式為

式中:x和y分別為轉(zhuǎn)換前后的值。

3)將歸一化的數(shù)據(jù)提供給設(shè)計(jì)好的網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4)將結(jié)果進(jìn)行反歸一化輸出,公式為

5)將第2組檢測(cè)數(shù)據(jù)作為輸入向量,用上面訓(xùn)練好的網(wǎng)絡(luò)模式對(duì)輸入向量的目標(biāo)向量進(jìn)行預(yù)測(cè),用實(shí)際值和預(yù)測(cè)值進(jìn)行比較,檢驗(yàn)網(wǎng)絡(luò)的精度。

2.2 RBF神經(jīng)網(wǎng)絡(luò)逼近DEM趨勢(shì)面過(guò)程

設(shè)計(jì)3層的網(wǎng)絡(luò)結(jié)構(gòu),輸入單元數(shù)為2個(gè),輸出單元數(shù)1個(gè)。通過(guò)訓(xùn)練繪制預(yù)報(bào)誤差曲線如圖2所示,通過(guò)觀察,確定 SPREAD=3.5。

圖2 網(wǎng)絡(luò)預(yù)報(bào)誤差

2.3 結(jié)果與分析

二次多項(xiàng)式、貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的擬合殘差分別如圖3、圖4和圖5所示,3種方法的檢驗(yàn)殘差分別如圖6、圖7和圖8所示,擬合精度和檢驗(yàn)精度如表1所示。

表1 擬合和檢驗(yàn)統(tǒng)計(jì)表

?

從圖3和圖4可以看出神經(jīng)網(wǎng)絡(luò)的擬合殘差比二次多項(xiàng)式的擬合殘差小得多,BP神經(jīng)網(wǎng)絡(luò)的擬合殘差基本上小于6 m,RBF神經(jīng)網(wǎng)絡(luò)的擬合殘差基本上小于0.1 m,擬合效果最好。從圖3～圖8可以看出對(duì)于大部分格網(wǎng)點(diǎn),神經(jīng)網(wǎng)絡(luò)的檢測(cè)殘差比二次多項(xiàng)式的檢測(cè)殘差要小,圖中殘差比較大的點(diǎn)是位于測(cè)區(qū)邊緣的高程點(diǎn),其中BP神經(jīng)網(wǎng)絡(luò)的檢驗(yàn)精度最高。從表1可以看出神經(jīng)網(wǎng)絡(luò)的擬合精度和檢驗(yàn)精度都比二次多項(xiàng)式要小,這兩種方法可以用于DEM趨勢(shì)面擬合。

3 結(jié) 論

1)使用貝葉斯正則化自動(dòng)調(diào)整超參數(shù),逼近DEM趨勢(shì)面的泛化效果比較好。

2)基于神經(jīng)網(wǎng)絡(luò)建立的DEM趨勢(shì)面,也可用于對(duì)最小二乘配置法中的趨勢(shì)部分進(jìn)行有效逼近,從而提高最小二乘配置法建立DEM的精度。

3)針對(duì)BP神經(jīng)網(wǎng)絡(luò)會(huì)陷入局部極小值的問(wèn)題,可考慮采用粒子群理論對(duì)其進(jìn)行改正,以達(dá)到全局最優(yōu)。

4)對(duì)于 RBF神經(jīng)網(wǎng)絡(luò)中參數(shù) SPREAD的確定,通過(guò)訓(xùn)練并繪制訓(xùn)練的誤差曲線,不斷縮小測(cè)試區(qū)間進(jìn)行訓(xùn)練,確定參數(shù)的取值。

[1]胡光海,周興華.趨勢(shì)面分析在水深測(cè)量數(shù)據(jù)處理中的應(yīng)用[J].測(cè)繪工程,2004,13(3):25-27.

[2]焦利民,劉耀林,葉宗達(dá).基于神經(jīng)網(wǎng)絡(luò)趨勢(shì)面分析的地價(jià)樣點(diǎn)檢驗(yàn)方法研究[J].測(cè)繪信息與工程,2007,32(6):29-31.

[3]段滔,劉耀林.基于移動(dòng)趨勢(shì)面分析法的城市基準(zhǔn)地價(jià)評(píng)估研究[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2004,29(6):529-532.

[4]高玉山.濟(jì)寧市地面沉降的趨勢(shì)面分析[J].濟(jì)寧學(xué)院學(xué)報(bào),2007,28(6):33-35.

[5]張渭軍,王文科,孔金玲,等.基于移動(dòng)趨勢(shì)面的降水面雨量分析[J].水土保持研究,2006,13(2):99-101.

[7]李旭軍.貝葉斯正則化的BP神經(jīng)網(wǎng)絡(luò)在經(jīng)濟(jì)預(yù)測(cè)中的應(yīng)用[J].科技信息,2008(4):67-69.

[8]葛哲學(xué),孫志強(qiáng).神經(jīng)網(wǎng)絡(luò)理論與MATLAB R2007實(shí)現(xiàn)[M].北京:電子工業(yè)出版社,2007.

[9]繆寧,鄧小珍,劉文遠(yuǎn),等.基于貝葉斯正則化神經(jīng)網(wǎng)絡(luò)虛擬企業(yè)敏捷性評(píng)價(jià)[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(8):223-225.

[10]MACKA Y,D.J.C.Bayesian interpolation[J],Neural Computation.1992,4(3):415-447.

[11]FORESEE FD,HAGAN FD.Gauss-New ton App roximation to Bayesian Regularization[A].Proceeding of the IEEE International Joint Conference on Neural Netwo rks[C].1997(6):1930-1935.

Approximation and analysis of DEM trend based on neutral network

CHEN Zai-hui,JIANG Li-jun,XU Hong-bo,WU Gang
(Surveying Union of City Construction,Bureau of Construction in Lishui,Lishui 323000,China)

Trend can open out the characteristic of research object,and exert important effect in many domains.BP neutral network can app roach comp lex system infinitum,and p rocess forecast.In the paper,DEM trend based on Bayesian Regularization BP neutral network and RBF neural network is constructed.Compared w ith DEM trend using quadratic polynom ial,the feasibility and validity are p roved.

BP neutral netwo rk;RBF neutral netwo rk;DEM;trend

TP183

A

1006-7949(2011)02-0066-04

2010-03-14

陳再輝(1981-),女,工程師,碩士.

[責(zé)任編輯劉文霞]