基于GSA-BP神經(jīng)網(wǎng)絡(luò)的GNSS高程擬合方法

張建奇

(廣州市城市規(guī)劃勘測(cè)設(shè)計(jì)研究院, 廣東 廣州 510000)

0 引言

近年來(lái)隨著國(guó)民經(jīng)濟(jì)和國(guó)家生產(chǎn)總值的不斷提高,各種高鐵隧道,橋梁大壩等利國(guó)利民市政工程不斷開(kāi)工建設(shè),在目前二維平面測(cè)量精度已達(dá)毫米量級(jí)的情況下,高程測(cè)量精度對(duì)工程建筑質(zhì)量具有重大影響。當(dāng)前國(guó)際高程系統(tǒng)分為正高、正常高和大地高,我國(guó)實(shí)際工程應(yīng)用中大量采用以鉛垂線和近似水準(zhǔn)面為基準(zhǔn)的正常高H,而全球定位系統(tǒng)測(cè)得的是以法線和參考橢球面為基準(zhǔn)的大地高h(yuǎn),兩者之間存在高程異常:ξ=H-h。正常高數(shù)據(jù)的獲取和使用需要根據(jù)幾何水準(zhǔn)測(cè)量,存在觀測(cè)效率低,測(cè)量精度受地形影響大的問(wèn)題,而大地高數(shù)據(jù)的獲取是通過(guò)全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System，GNSS)相對(duì)靜態(tài)定位方式,具有全天時(shí),全天候,使用方便和高精度的優(yōu)勢(shì),因此如何將大地高轉(zhuǎn)換為工程實(shí)踐中所需的正常高,即求出兩者之間的高程異常ξ對(duì)于市政工程建設(shè)具有重要意義,也是當(dāng)前研究的熱點(diǎn)問(wèn)題[1-2]。

目前最常用的GNSS高程擬合方法是根據(jù)部分已知觀測(cè)水準(zhǔn)點(diǎn)的高程異常值,采用多項(xiàng)式擬合,曲面擬合等方法對(duì)未知觀測(cè)點(diǎn)的高程異常進(jìn)行插值計(jì)算,該類方法的擬合性能受GNSS觀測(cè)水準(zhǔn)點(diǎn)的分布影響較大,僅適合于GNSS水準(zhǔn)點(diǎn)分布均勻,地勢(shì)平坦的地區(qū)[3-4];隨著數(shù)值計(jì)算和優(yōu)化理論的發(fā)展,小波變換,AIC準(zhǔn)則和支撐向量機(jī)等方法逐漸被應(yīng)用于GNSS高程擬合領(lǐng)域,文獻(xiàn)[5]利用小波方法對(duì)GNSS連續(xù)觀測(cè)上海站的GNSS高程數(shù)據(jù)隨時(shí)間的變化趨勢(shì)進(jìn)行分析,研究了季節(jié)變化,地表植被,大氣等因素對(duì)GNSS高程觀測(cè)的影響;文獻(xiàn)[6-7]利用聚類方法和AIC準(zhǔn)則/BIC準(zhǔn)則對(duì)某礦區(qū)的GNSS高程數(shù)據(jù)進(jìn)行分析,取得了接近三等水準(zhǔn)測(cè)量的擬合精度;文獻(xiàn)[8]研究了不同地形條件下的GNSS高程擬合問(wèn)題,提出一種基于地形修正的支撐向量機(jī)算法對(duì)某D級(jí)GNSS控制網(wǎng)進(jìn)行高程擬合,并獲得了優(yōu)于1 cm的擬合精度;近年來(lái)隨著人工神經(jīng)網(wǎng)絡(luò)技術(shù)的興起,基于神經(jīng)網(wǎng)絡(luò)模型的GNSS高程擬合方法由于不依賴于精確的數(shù)學(xué)模型,數(shù)據(jù)驅(qū)動(dòng)和自適應(yīng)性等優(yōu)點(diǎn)得到了學(xué)術(shù)界的廣泛關(guān)注,文獻(xiàn)[9]利用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)湖南省某縣區(qū)的GNSS高程異常數(shù)據(jù)進(jìn)行研究,試驗(yàn)結(jié)果表明BP神經(jīng)網(wǎng)絡(luò)模型相對(duì)于傳統(tǒng)曲面擬合法的擬合精度提升50%以上;文獻(xiàn)[10]采用徑向基函數(shù)(Radial Basis Function, RBF)神經(jīng)網(wǎng)絡(luò)模型對(duì)某市區(qū)GNSS網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行研究,并從擬合殘差,內(nèi)外擬合精度等維度對(duì)擬合性能進(jìn)行評(píng)估,結(jié)果顯示RBF神經(jīng)網(wǎng)絡(luò)模型的擬合性能優(yōu)于支持向量機(jī)(Support Vector Machine, SVM)方法。上述研究成果表明,神經(jīng)網(wǎng)絡(luò)方法相對(duì)于傳統(tǒng)方法可以獲得更高的擬合性能,但是文獻(xiàn)[11]的研究表明神經(jīng)網(wǎng)絡(luò)模型初始參數(shù)的選取對(duì)擬合精度影響較大,而目前通常采用的經(jīng)驗(yàn)試錯(cuò)法存在主觀性強(qiáng),運(yùn)算復(fù)雜和易陷入局部最優(yōu)解的問(wèn)題。

本文在上述研究的基礎(chǔ)上,針對(duì)BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)模型的初始參數(shù)選取問(wèn)題,提出一種遺傳模擬退火算法(Genetic Simulated Annealing, GSA)優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型,該方法利用GSA的全局尋優(yōu)能力優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過(guò)程,避免其陷入局部極值的同時(shí)提升模型的擬合精度和數(shù)據(jù)適應(yīng)性?；谀硿y(cè)區(qū)的實(shí)測(cè)GNSS數(shù)據(jù)的開(kāi)展試驗(yàn),對(duì)所提方法的擬合性能進(jìn)行驗(yàn)證,并將結(jié)果與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。

1 BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)前應(yīng)用最為廣泛的一種多層前向反饋網(wǎng)絡(luò),可以實(shí)現(xiàn)從輸入層到輸出層的任意非線性映射,其結(jié)構(gòu)如圖1所示,其中x和y為由感知單元組成的輸入層,與輸入層通過(guò)權(quán)值相連的神經(jīng)元h為隱含層,隱含層可以是一層或者多層,模型中每個(gè)神經(jīng)元都可接收前級(jí)網(wǎng)絡(luò)輸入并將本層網(wǎng)絡(luò)輸出至后級(jí)。BP網(wǎng)絡(luò)的前向反饋是指輸入神經(jīng)元經(jīng)隱層神經(jīng)元向輸出層的正向傳播過(guò)程和輸出誤差與預(yù)期不符時(shí)由輸出層通過(guò)隱層神經(jīng)元向輸入層的反向傳播過(guò)程實(shí)現(xiàn),在整個(gè)傳播過(guò)程中模型根據(jù)誤差減小的方向修正輸入層和隱含層之間的權(quán)值,通過(guò)正向和反向傳播的迭代,權(quán)值被不斷優(yōu)化,輸出誤差與預(yù)期逐漸接近,直至收斂。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

對(duì)于GNSS高程擬合問(wèn)題,輸入神經(jīng)元為GNSS水準(zhǔn)點(diǎn)的平面坐標(biāo)x和y,正向傳播過(guò)程通過(guò)一組預(yù)設(shè)的初始權(quán)值wi和閾值θ將輸入神經(jīng)元映射到隱層神經(jīng)元:

u=w1x+w2y-θ

(1)

對(duì)于包含多個(gè)隱含層的BP網(wǎng)絡(luò)結(jié)構(gòu),通常利用Sigmoid型激活函數(shù)將當(dāng)前隱含層的輸入值u調(diào)整到下一隱含層的輸入值:

(2)

依次計(jì)算得到每一個(gè)隱含層的輸出值,直至傳遞到最終輸出層得到輸出值?完成第一次的正向傳播過(guò)程,計(jì)算當(dāng)前輸出值?與期望輸出值?*之間的誤差:

(3)

采用梯度下降法按照δ減小的方向調(diào)整不同層的權(quán)值w和閾值θ,并依次向輸入層傳遞,完成第一次反向傳播過(guò)程。通過(guò)上述正向傳播階段的參數(shù)選擇和反向傳播階段的參數(shù)優(yōu)化過(guò)程反復(fù)迭代,使BP神經(jīng)網(wǎng)絡(luò)實(shí)際輸出與期望輸出的差值減小至可接受范圍內(nèi),即得到訓(xùn)練好的網(wǎng)絡(luò)模型。

由于BP網(wǎng)絡(luò)的求解采用的是梯度下降法,因此其性能受網(wǎng)絡(luò)初值的選取影響較大,例如在圖2所示的優(yōu)化問(wèn)題中,存在唯一的最小值A(chǔ),如果網(wǎng)絡(luò)初值選在a點(diǎn)或者b點(diǎn),則根據(jù)梯度下降算法可以得到最優(yōu)解,但是如果網(wǎng)絡(luò)初始值選在c,d點(diǎn)和e點(diǎn),則最終會(huì)陷入局部極小值B點(diǎn),導(dǎo)致擬合性能下降。因此需要對(duì)BP神經(jīng)網(wǎng)絡(luò)初值選取方法進(jìn)行優(yōu)化,保證模型能夠收斂于全局最優(yōu)解。

圖2 存在局部極小值時(shí)優(yōu)化問(wèn)題示意

2 算法優(yōu)化設(shè)計(jì)

2.1 GSA算法

遺傳算法(Genetic Algorithm, GA)[12]和模擬退火算法(Simulated Annealing, SA)[13-14]是目前常用的兩種優(yōu)化算法。GA作為一種隨機(jī)搜索模型,模擬的是自然界達(dá)爾文生物進(jìn)化論中描述的種族的自然選擇和進(jìn)化過(guò)程,在算法的每一步迭代過(guò)程中,采用被稱為選擇,交叉和變異的操作步驟對(duì)每個(gè)種族的生物個(gè)體進(jìn)行篩選,從而產(chǎn)生出更適合當(dāng)前自然環(huán)境的種族生物集合,通過(guò)多輪的迭代更新直至最終獲取最優(yōu)解,GA算法具有較強(qiáng)的全局搜索能力,但是存在收斂速度慢,局部搜索能力較弱的缺陷。

SA算法的設(shè)計(jì)思想是模擬自然界中物質(zhì)的退火過(guò)程,同樣作為一種隨機(jī)搜索算法,SA理論上能夠以概率1收斂于全局最優(yōu)解。物質(zhì)退火過(guò)程中,隨著溫度的降低,物質(zhì)的內(nèi)能減少,對(duì)于任一溫度,物質(zhì)內(nèi)都可以實(shí)現(xiàn)熱平衡(局部最優(yōu)),此時(shí)SA算法根據(jù)Metropolis準(zhǔn)則會(huì)賦予一個(gè)跳出局部最優(yōu)解的概率,從而保證其最終收斂于全局最優(yōu)。SA算法具有局部搜索能力強(qiáng),收斂速度快的優(yōu)點(diǎn),但是存在全局搜索能力差的劣勢(shì)。

本文在已有研究的基礎(chǔ)上,根據(jù)上述分析將GA與SA進(jìn)行優(yōu)勢(shì)互補(bǔ),提出一種遺傳模擬退火B(yǎng)P(Genetic Simulated Annealing Back Propagation, GSA-BP)神經(jīng)網(wǎng)絡(luò)模型,首先利用GA對(duì)BP神經(jīng)網(wǎng)絡(luò)參數(shù)空間進(jìn)行全局搜索,并將當(dāng)前條件下得到的最優(yōu)解作為SA的初始值,然后利用SA進(jìn)行局部搜索,并將獲得的滿足Metropolis準(zhǔn)則的解作為下一輪迭代中GA的初始種群,依次往復(fù)迭代,全局搜索和局部搜索交替進(jìn)行,直至滿足迭代終止條件,此時(shí)獲得的參數(shù)即為BP神經(jīng)網(wǎng)絡(luò)模型的最優(yōu)參數(shù)。

2.2 GSA-BP高程擬合算法流程

所提基于GSA-BP模型的GNSS高程擬合方法流程如圖3所示,具體算法流程包含如下6個(gè)步驟:

圖3 GSA-BP高程擬合算法流程圖

(1)BP神經(jīng)網(wǎng)絡(luò)模型初始化。對(duì)于GNSS高程擬合問(wèn)題,輸入神經(jīng)元為GNSS水準(zhǔn)點(diǎn)的平面坐標(biāo),輸出GNSS水準(zhǔn)點(diǎn)的高程異常,因此BP神經(jīng)網(wǎng)絡(luò)的輸入神經(jīng)元個(gè)數(shù)為2,輸出神經(jīng)元個(gè)數(shù)為1;

(2)GA模型種群初始化。將BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值w,閾值θ和隱層節(jié)點(diǎn)數(shù)p作為GA模型的初始種群,并對(duì)其進(jìn)行編碼;

(3)按如下步驟進(jìn)行自適應(yīng)遺傳操作。

①判斷當(dāng)前參數(shù)下是否滿足GA算法迭代終止條件,若滿足則輸出當(dāng)前參數(shù)為BP模型的最優(yōu)初始化參數(shù)w,θ和p否則轉(zhuǎn)入(2);

②對(duì)當(dāng)前種群進(jìn)行選擇、交叉和變異操作,從而得到當(dāng)前的最優(yōu)種群。

(4)SA模型參數(shù)初始化。將步驟3(2)中得到的最優(yōu)種群作為SA模型的當(dāng)前模型參數(shù)。

(5)按如下步驟進(jìn)行模擬退火操作:

①計(jì)算當(dāng)前初始參數(shù)對(duì)應(yīng)的目標(biāo)函數(shù)S;

③判斷當(dāng)前狀態(tài)是否滿足SA終止條件,若不滿足則進(jìn)行降溫,循環(huán)模擬退火操作,否則跳至步驟2,并將SA得到的新解作為GA的初始種群。

(6)GSA迭代終止后,將最優(yōu)初始參數(shù)w、θ和p賦予BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),最終輸出GNSS高程擬合結(jié)果。

3 實(shí)例分析

3.1 數(shù)據(jù)介紹

為了驗(yàn)證本文所提GSA-BP神經(jīng)網(wǎng)絡(luò)模型的GNSS高程擬合性能,采用某市D級(jí)GNSS水準(zhǔn)控制網(wǎng)的實(shí)測(cè)數(shù)據(jù)開(kāi)展試驗(yàn),試驗(yàn)區(qū)域面積約98 km2,區(qū)域內(nèi)均勻布設(shè)了28個(gè)四等聯(lián)測(cè)GNSS水準(zhǔn)點(diǎn),圖4給出了訓(xùn)練集和測(cè)試集點(diǎn)位的平面分布情況。

圖4 GNSS水準(zhǔn)點(diǎn)平面分布圖

3.2 數(shù)據(jù)歸一化

GSA-BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行GNSS高程擬合時(shí),網(wǎng)絡(luò)模型的輸入向量為GNSS水準(zhǔn)點(diǎn)的平面坐標(biāo)值x和y構(gòu)成的二維向量,輸出值為GNSS高程異常z,即網(wǎng)絡(luò)輸入層有2個(gè)神經(jīng)元,輸出層有1個(gè)神經(jīng)元。GNSS水準(zhǔn)點(diǎn)的平面坐標(biāo)值與高程異常值的數(shù)值差異較大,在進(jìn)行分析之前需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。本文采用經(jīng)典的Z-score標(biāo)準(zhǔn)化方法,即利用原始的均值和標(biāo)準(zhǔn)差對(duì)數(shù)據(jù)進(jìn)行歸一化:

(4)

其中,p′=[x′,y′]T為歸一化后的輸入神經(jīng)元;mean(p)為p的均值;std(p)為p的標(biāo)準(zhǔn)差。從式(4)可以看出,原始數(shù)據(jù)經(jīng)過(guò)歸一化后變?yōu)榉?均值,標(biāo)準(zhǔn)差為1的正態(tài)分布,完全消除了不同數(shù)據(jù)大小對(duì)結(jié)果的影響。

3.3 評(píng)價(jià)指標(biāo)

為了定量的比較不同方法的擬合性能,采用如下擬合殘差、殘差最大值,殘差最小值和殘差均方根思維維度進(jìn)行分析:

(1)擬合殘差:

(5)

(2)殘差最大值:

Δζmax=max(Δζn)

(6)

(3)殘差最小值:

Δζmin=min(Δζn)

(7)

(4)殘差均方根:

(8)

3.4 試驗(yàn)結(jié)果

根據(jù)前述分析,本文試驗(yàn)中BP神經(jīng)網(wǎng)絡(luò)模型輸入神經(jīng)元個(gè)數(shù)為2,輸出神經(jīng)元個(gè)數(shù)為1,GA算法的初始種群為BP網(wǎng)絡(luò)初始參數(shù)集合P=[w,θ,p],設(shè)置其取值范圍的下限和上限分別為:Pmin=[0.01, 0.01, 1]和Pmax=[100, 1, 50]。利用所提GSA算法對(duì)BP網(wǎng)絡(luò)模型進(jìn)行優(yōu)化后,系統(tǒng)收斂時(shí)w=20.4,θ=0.37,p=6,而采用傳統(tǒng)經(jīng)驗(yàn)試錯(cuò)法對(duì)BP神經(jīng)網(wǎng)絡(luò)模型參數(shù)進(jìn)行搜索得到的模型參數(shù)為w=21.3,θ=0.89,p=4。

表1給出了采用所提GSA-BP神經(jīng)網(wǎng)絡(luò)模型和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型對(duì)訓(xùn)練集進(jìn)行擬合的結(jié)果,從表1可以看出,所提GSA-BP方法對(duì)訓(xùn)練集得到的最大擬合殘差為36 mm,最小擬合殘差為 1 mm,所有訓(xùn)練集的殘差均方根為0.094,3項(xiàng)指標(biāo)均小于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型(最大擬合殘差174 mm,最小擬合殘差9 mm,殘差均方根0.291),圖5給出了兩種方法對(duì)訓(xùn)練集的擬合殘差圖,可以看出所提GSA-BP方法對(duì)每個(gè)樣本點(diǎn)的擬合精度都高于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò),表明經(jīng)GSA算法優(yōu)化后獲得的模型參數(shù)優(yōu)于傳統(tǒng)經(jīng)驗(yàn)試錯(cuò)法獲得的模型參數(shù),即傳統(tǒng)經(jīng)驗(yàn)試錯(cuò)法獲得的模型為局部最優(yōu)解。

表1 不同方法對(duì)訓(xùn)練集的高程擬合結(jié)果 單位：m

圖5 不同方法得到的擬合殘差(訓(xùn)練集)

表2給出了采用所提GSA-BP神經(jīng)網(wǎng)絡(luò)模型和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行擬合的結(jié)果,從表2可以看出,所提GSA-BP方法對(duì)測(cè)試集得到的最大擬合殘差為43 mm,最小擬合殘差為10 mm,殘差均方根為0.183,而傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)方法對(duì)測(cè)試集得到的最大擬合殘差為441 mm,最小擬合殘差為50 mm,殘差均方根為0.706,GSA-BP方法的3項(xiàng)指標(biāo)均優(yōu)于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型。圖6給出了兩種方法對(duì)測(cè)試集的擬合殘差圖,可以看出對(duì)于每個(gè)測(cè)試樣本點(diǎn),GSA-BP模型的擬合精度均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型。

表2 不同方法對(duì)測(cè)試集的高程擬合結(jié)果 單位：m

圖6 不同方法得到的擬合殘差(測(cè)試集)

對(duì)比訓(xùn)練數(shù)據(jù)集的擬合結(jié)果和測(cè)試數(shù)據(jù)集的擬合結(jié)果可以看出,GSA-BP模型獲得的訓(xùn)練集殘差均方和測(cè)試集殘差均方根差值為0.089,相對(duì)于訓(xùn)練集殘差均方根惡化了94.68%,而傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練集殘差均方根和測(cè)試集殘差均方根差值為0.415,該項(xiàng)結(jié)果表明所提GSA-BP方法相對(duì)于傳統(tǒng)BP模型具有更強(qiáng)的數(shù)據(jù)適應(yīng)性和魯棒性,更適合于工程應(yīng)用。

表3給出了在相同條件下利用GSA方法和傳統(tǒng)經(jīng)驗(yàn)試錯(cuò)法對(duì)BP神經(jīng)網(wǎng)絡(luò)模型參數(shù)進(jìn)行尋優(yōu)所需計(jì)算時(shí)間,算法運(yùn)行條件為L(zhǎng)enovo-Thinkpad,主頻2.2 GHz的Intel 酷睿雙核處理器。從表3可以看出,GSA方法由于具備更強(qiáng)的局部搜索和全局搜索能力,其收斂速度要快于傳統(tǒng)經(jīng)驗(yàn)試錯(cuò)法。

表3 不同方法所需計(jì)算時(shí)間 單位：s

4 結(jié)束語(yǔ)

GNSS高程數(shù)據(jù)得到有效利用的前提是高精度的GNSS高程擬合技術(shù)。傳統(tǒng)基于BP神經(jīng)網(wǎng)絡(luò)模型的GNSS高程擬合方法存在擬合精度受模型參數(shù)初值選取影響較大,易陷入局部極小值的問(wèn)題,本文提出一種GSA-BP神經(jīng)網(wǎng)絡(luò)模型,將GA和SA兩種優(yōu)化算法進(jìn)行優(yōu)勢(shì)互補(bǔ),對(duì)BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值,閾值和隱層節(jié)點(diǎn)數(shù)三種模型參數(shù)進(jìn)行優(yōu)化,確保BP神經(jīng)網(wǎng)絡(luò)能夠收斂于全局最優(yōu)解,最后基于某市D級(jí)GNSS水準(zhǔn)網(wǎng)開(kāi)展試驗(yàn),從擬合殘差,殘差最大值,殘差最小值和殘差均方根4個(gè)維度對(duì)所提GSA-BP模型和傳統(tǒng)BP模型的性能進(jìn)行對(duì)比,結(jié)果表明GSA-BP模型可以獲得更高的擬合精度,更強(qiáng)的數(shù)據(jù)適應(yīng)能力,更適合于在實(shí)際工程場(chǎng)景中應(yīng)用。

需要指出的是,本文選擇的試驗(yàn)數(shù)據(jù)來(lái)自平原地區(qū),地勢(shì)起伏相對(duì)較為平緩,而當(dāng)前丘陵,高山等地勢(shì)起伏較大地區(qū)的GNSS高程擬合需求同樣迫切,因此如何提升所提方法在丘陵,高山等地區(qū)的適應(yīng)性和擬合精度是接下來(lái)課題組的研究方向。