基于在線慣序極限學(xué)習(xí)機(jī)的瞬變電磁非線性反演

李瑞友，張淮清，吳昭

(重慶大學(xué) 輸配電裝備及系統(tǒng)安全與新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,重慶 400044)

0 引言

瞬變電磁法(transient electromagnetic method, TEM)是地球物理勘探中最常用的方法之一，廣泛應(yīng)用于礦產(chǎn)、地下水勘探及淺層地質(zhì)調(diào)查等領(lǐng)域[1-3]。瞬變電磁法是一種利用快速關(guān)斷脈沖電流產(chǎn)生二次接收電壓的電磁探測(cè)方法，而TEM反演是根據(jù)其得到的探測(cè)數(shù)據(jù)推導(dǎo)出地電結(jié)構(gòu)參數(shù)，后者是一個(gè)典型的具有非線性特征和不適定參數(shù)估計(jì)的反演問(wèn)題，它一直是地球物理研究中的重要問(wèn)題。在過(guò)去的幾十年里，各種解釋地電阻率數(shù)據(jù)的方法相繼發(fā)表[4-6]。其中，人工神經(jīng)網(wǎng)絡(luò)在TEM數(shù)據(jù)解釋中展現(xiàn)了最為廣闊的潛力。

人工神經(jīng)網(wǎng)絡(luò)反演算法能夠模擬人腦神經(jīng)元信息學(xué)習(xí)和處理，直接從樣本數(shù)據(jù)中構(gòu)造數(shù)學(xué)模型，以較強(qiáng)的學(xué)習(xí)能力和泛化能力在地球物理反演解釋中得到廣泛應(yīng)用[7-10]。其中，Srinivas等[11]比較了一維垂直電測(cè)深數(shù)據(jù)中BPNN (back propagation neural network)、RBFNN(radial basis function neural network)和GRNN(general regression neural network)的反演性能表現(xiàn)；Maiti等[12]研究了一種以一維電測(cè)深數(shù)據(jù)為基礎(chǔ)的貝葉斯神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法；Johnson等[13]利用人工神經(jīng)網(wǎng)絡(luò)方法成功地估算了層狀大地模型電阻率參數(shù)。綜上所述，在地球物理反演解釋中神經(jīng)網(wǎng)絡(luò)得到了廣泛的應(yīng)用(具有良好的非線性擬合能力)，但在瞬變電磁反演應(yīng)用中仍然存在收斂速度慢、精度低以及訓(xùn)練中過(guò)擬合等局限性[14]。因此，復(fù)雜的電磁響應(yīng)數(shù)據(jù)和模型參數(shù)(電阻率和層厚)反演需要更高效的神經(jīng)網(wǎng)絡(luò)模型和更完善的優(yōu)化程序來(lái)獲得更好的結(jié)果和解釋。

極限學(xué)習(xí)機(jī)是由Huang等[15]提出的一種新的單隱含層前饋神經(jīng)網(wǎng)絡(luò)(single hidden layer feedforward neural network, SLFN)模型，其輸入層權(quán)值和隱含層偏差均是隨機(jī)產(chǎn)生，輸出層權(quán)值通過(guò)解析計(jì)算可獲得唯一的全局最優(yōu)解，很好地克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(如BPNN、RBFNN等)存在的訓(xùn)練時(shí)間長(zhǎng)、易陷入局部極值及過(guò)擬合等問(wèn)題。該算法具有結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)速度快和泛化性能強(qiáng)等特點(diǎn)，已廣泛應(yīng)用于回歸與分類(lèi)[16-17]、圖像識(shí)別[18-19]和決策支持[20]等領(lǐng)域。但是，傳統(tǒng)的ELM基本上是批量學(xué)習(xí)算法，即一次將樣本輸入訓(xùn)練，得到輸出，然而在大多數(shù)情況下，數(shù)據(jù)樣本都不能一次性得到，而是不斷地有新的樣本加入，因此限制了ELM在實(shí)時(shí)或非平穩(wěn)情況下的適用性。最近，Liang等[21]提出了一種在線慣序極限學(xué)習(xí)機(jī)(OSELM)，它可以通過(guò)固定或不同長(zhǎng)度的逐個(gè)或逐塊學(xué)習(xí)訓(xùn)練數(shù)據(jù)。與傳統(tǒng)極限學(xué)習(xí)機(jī)算法相比，OSELM可以提供更好的泛化性能，以更快的速度學(xué)習(xí)?；谶@些優(yōu)點(diǎn)，OSELM在預(yù)測(cè)問(wèn)題領(lǐng)域得到了廣泛的應(yīng)用[22-24]。

本文針對(duì)TEM反演的高維、非凸及非線性特征，提出了一種在線慣序極限學(xué)習(xí)機(jī)反演算法，該方法通過(guò)隨機(jī)設(shè)定隱層參數(shù)來(lái)簡(jiǎn)化反演模型的學(xué)習(xí)過(guò)程，提高了反演算法的計(jì)算效率；同時(shí)，OSELM的Moore-Penrose廣義逆計(jì)算過(guò)程和逐塊式學(xué)習(xí)訓(xùn)練數(shù)據(jù)保證了反演算法的全局最優(yōu)和泛化能力，較好地解決了TEM的局部收斂問(wèn)題。文中還給出了TEM正演方法、樣本采集方法及非線性反演模型的流程，并通過(guò)兩個(gè)經(jīng)典的層狀地電模型和一個(gè)異常體模型反演驗(yàn)證本文算法的有效性。

1 層狀地電模型

1.1 TEM正演

假設(shè)n層水平大地各層介質(zhì)的電阻率和層厚表示為ρ1,h1;ρ2,h2;…;ρn,hn;hn→∞。在地表(h=0)的中心回線發(fā)射線圈Tx向地下發(fā)射斜階躍波形式的激勵(lì)信號(hào)，同時(shí)利用在地表的接收線圈Rx采集具有地下信息的電磁響應(yīng)數(shù)據(jù)Hz，如圖1所示。

圖1 層狀地電模型和TEM方法示意Fig.1 Schematic diagram of the layered geoelectric model and TEM method

在準(zhǔn)靜態(tài)(忽略位移電流)下柱坐標(biāo)系中，層狀大地中心回線源地表(z=0)處的垂直磁場(chǎng)頻域響應(yīng)表達(dá)式為[25]：

采用Hankel變換求解上式中的貝塞爾函數(shù)，再通過(guò)Gaver-Stehfest變換實(shí)現(xiàn)頻—時(shí)域的轉(zhuǎn)換，可得到垂直磁場(chǎng)時(shí)域響應(yīng)：

式中：Kn為系數(shù)；sn=ln2·t-1·n,n由計(jì)算機(jī)位決定，一般n=12。

1.2 TEM數(shù)據(jù)采集方法

針對(duì)層狀大地電阻率測(cè)深進(jìn)行非線性反演，反演算法訓(xùn)練數(shù)據(jù)集來(lái)源于瞬變電磁正演理論計(jì)算方法。其中，中心回線瞬變電磁法的各項(xiàng)理論參數(shù)設(shè)置如下：發(fā)射線圈半徑r=100 m，發(fā)射電流為斜階躍響應(yīng)，關(guān)斷時(shí)間為1 μs，幅值為1 A。由于在野外數(shù)據(jù)采集中往往含有不可避免的噪聲，于是添加5%高斯噪聲到正演響應(yīng)計(jì)算的代碼中。

通常采用隨機(jī)改變電阻率和層厚度值構(gòu)建訓(xùn)練樣本的地電模型，但是，由于實(shí)際構(gòu)造不可能發(fā)生劇烈的地電參數(shù)突變[26]，所以TEM反演一般采用限定約束多層模型，可以降低模型的復(fù)雜性?；诖?，提出了一種去除冗余特征的樣本分布極限策略，每層地電模型參數(shù)構(gòu)造方式如下:

i=0,1,…,N-1。

式中：fix為取整函數(shù)，pmin、pmax分別是地電模型參數(shù)(電阻率和厚度)的最小值和最大值，N為樣本數(shù)目。為了使本文的算法能夠有效適用于常規(guī)的觀測(cè)數(shù)據(jù)，應(yīng)使模型參數(shù)取值范圍盡可能大，因此設(shè)置pmin和pmax如表1所示(以5層和9層地電模型為例)。文中算法的輸入層節(jié)點(diǎn)數(shù)為31個(gè)(時(shí)間采樣點(diǎn)Hz)，輸出層節(jié)點(diǎn)數(shù)為地電結(jié)構(gòu)參數(shù)數(shù)目(電阻率和層厚)。通過(guò)以上模型構(gòu)造方式，設(shè)計(jì)了2.5萬(wàn)組用于訓(xùn)練和測(cè)試的樣本模型，其中5 000組作為測(cè)試，其他組作為訓(xùn)練。

表1 5層、9層地電模型各層參數(shù)的最大值與最小值

1.3 在線慣序極限學(xué)習(xí)機(jī)

ELM是由Huang等[15]提出的一種非迭代學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法。ELM的顯著優(yōu)點(diǎn)是所有隱藏節(jié)點(diǎn)參數(shù)(輸入權(quán)值和偏差)都是隨機(jī)生成的，并利用Moore-Penerose廣義逆計(jì)算輸出權(quán)值，克服了基于梯度下降學(xué)習(xí)理論的機(jī)器學(xué)習(xí)的固有缺陷，具有學(xué)習(xí)速度快、不易陷入局部極值、泛化能力強(qiáng)等優(yōu)點(diǎn)。其三層的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖2所示。

圖2 ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 ELM neural network structure

在圖2中，x為ELM的輸入值,f(x)為ELM的預(yù)測(cè)輸出值,G(w,b,x)為ELM的激活函數(shù)(本文均采用Sigmoid激活函數(shù))，β為ELM的輸出權(quán)值。隱含層用于擬合從垂直磁場(chǎng)到地電模型的本構(gòu)關(guān)系。

OSELM是在ELM的基礎(chǔ)上由Liang等[21]提出的一種增量學(xué)習(xí)算法，它的主要目的是解決分批次到達(dá)數(shù)據(jù)的學(xué)習(xí)問(wèn)題(ELM本質(zhì)上是批處理/批量或離線學(xué)習(xí)方法)。OSELM過(guò)程可分為兩部分(圖3)：第一，在初始化階段，OSELM由給定的少量訓(xùn)練數(shù)據(jù)估計(jì)初始輸出權(quán)重矩陣β(0)和初始矩陣H0；第二，在線學(xué)習(xí)階段，每當(dāng)接收到新的數(shù)據(jù)塊時(shí)，將再次運(yùn)行ELM并獲得新的輸出權(quán)重。新、舊輸出權(quán)重合并，產(chǎn)生輸出權(quán)重矩陣β0以完成神經(jīng)網(wǎng)絡(luò)的更新。算法1給出了OSELM偽代碼，其中I為恒等矩陣，詳見(jiàn)文獻(xiàn)[21] 。

圖3 OSELM算法計(jì)算流程Fig.3 Block diagram of the calculation flow of the OSELM algorithm

得到初始輸出權(quán)值矩陣：

在線慣序?qū)W習(xí)階段：當(dāng)接收到新的數(shù)據(jù)樣本時(shí)，假設(shè)有N1樣本進(jìn)入模型，可以根據(jù)ELM的思想得到

其中，β(1)由β(0)表示，即

因此，可以得到在線學(xué)習(xí)的遞推關(guān)系

最后，設(shè)置迭代次數(shù)k=k+1，然后重復(fù)在線順序?qū)W習(xí)階段。

2 層狀地電模型反演與分析

2.1 評(píng)價(jià)指標(biāo)

本文將展示OSELM算法進(jìn)行層狀地電模型反演示例，算法仿真在Matlab R2016a中進(jìn)行，PC采用Intel(R) Core(TM) i5-7500處理器，主頻為3.40 GHz，內(nèi)存為8.0 GB。為了客觀地評(píng)價(jià)所提方法在瞬變電磁層狀反演中的性能，采用絕對(duì)百分比誤差(absolute percentage error, APE)、相對(duì)均方根誤差(relative root mean square error, RRMSE)和相關(guān)系數(shù)(R2)進(jìn)行評(píng)估，具體公式如下。

絕對(duì)百分比誤差(APE)：

相對(duì)均方根誤差(RRMSE)：

相關(guān)系數(shù)(R2)：

2.2 反演結(jié)果與比較

為了驗(yàn)證OSELM反演算法的性能，進(jìn)行了2個(gè)實(shí)驗(yàn),實(shí)驗(yàn)1為2種學(xué)習(xí)機(jī)的反演性能比較，實(shí)驗(yàn)2為綜合實(shí)例分析。

在實(shí)驗(yàn)1中，對(duì)OSELM與ELM收集的TEM數(shù)據(jù)集進(jìn)行反演分析。經(jīng)過(guò)反復(fù)試驗(yàn)驗(yàn)證，采用相同數(shù)量的隱藏節(jié)點(diǎn)(隱藏節(jié)點(diǎn)為1 000)，兩種極限學(xué)習(xí)機(jī)方法反演性能的比較結(jié)果見(jiàn)表2。

表2 兩種極限學(xué)習(xí)機(jī)方法反演性能的比較

從表2中不難看出，整體而言，本文提出的OSELM反演精度要高于ELM。OSELM方法有最低的APE、RRMSE和最高R2，而且所需反演時(shí)間更短,因此，該方法具有更大的優(yōu)越性，可以有效地減少非線性特性引起的反演誤差。OSELM反演質(zhì)量高的原因在于引入逐塊批量式學(xué)習(xí)策略，增強(qiáng)極限學(xué)習(xí)機(jī)的泛化能力，提高了反演方法的性能。在實(shí)驗(yàn)2中，用一個(gè)復(fù)雜的綜合數(shù)據(jù)集來(lái)證明該方法的一致性。

2.3 層狀地電模型反演

為了驗(yàn)證OSELM反演算法的性能，選取了兩種典型的地電模型(表3),合成數(shù)據(jù)集使用上述相同的正演方法和參數(shù)生成,且合成數(shù)據(jù)(垂直磁場(chǎng)數(shù)據(jù))受到5%高斯噪聲的干擾。圖4是OSELM與ELM方法反演一維地電模型構(gòu)造圖，圖5是一維反演模型的正演響應(yīng)數(shù)據(jù)與理論數(shù)據(jù)的擬合曲線。

表3 5層、9層地電模型反演理論值

圖4表明這兩種方法的反演結(jié)果與理論模型基本一致，但OSELM方法更精確，與理論模型的吻合程度更好。同時(shí)，這兩種方法淺層地電參數(shù)反演精度不錯(cuò)，但隨著模型深度增加，地電參數(shù)略有突變，反演精度降低。從圖5也可以看出，正演響應(yīng)曲線與理論響應(yīng)曲線后期的不擬合程度更高(通常響應(yīng)后期反映著深層地電模型)，但是OSELM比ELM始終具有更低的反演偏差。因此，以上結(jié)果表明，OSELM具有最佳的泛化能力，也證明了該方法對(duì)TEM數(shù)據(jù)反演的有效性。

圖4 5層地電模型(a)與9層地電模型(b)的不同算法反演結(jié)果Fig.4 Inversion results of different algorithms for of 5-layer(a) and 9-layer(b) geoelectric models

圖5 5層地電模型(a)與9層地電模型(b)的正演響應(yīng)曲線Fig.5 Forward response curves of 5-layer(a) and 9-layer(b) geoelectric models

2.4 擬二維模型反演驗(yàn)證

利用5層地電模型驗(yàn)證OSELM算法對(duì)瞬變電磁法反演的可行性，理論模型及測(cè)點(diǎn)位置如圖6所示。圖7為OSELM和ELM反演擬剖面，從中可以看出這兩種方法反演結(jié)果與實(shí)際模型較吻合，ELM算法反演低電阻率曲線分布不夠均勻，中間模型邊界區(qū)域突變明顯,而OSELM算法反演的異常體位置稍微均勻點(diǎn)，形狀較清晰，反演數(shù)據(jù)更接近實(shí)際模型。顯然，與ELM相比，OSELM對(duì)層狀模型反演效果更好，更適合于地電模型反演。因此，OSELM算法在瞬變電磁反演問(wèn)題上具有很高的適用性。

圖6 擬二維模型示意圖及測(cè)量位置Fig.6 Schematic diagram of quasi two dimensional model and measurement position

圖7 擬二維地電模型OSELM方法(a)和ELM方法(b)的反演結(jié)果Fig.7 Inversion results of OSELM method (a) and ELM method (b) of quasi-two-dimensional geoelectric model

3 結(jié)論

本文提出了一種在線慣序極限學(xué)習(xí)機(jī)(OSELM)的瞬變電磁層狀大地電阻率測(cè)深非線性快速反演的方法。層狀地電理論模型反演結(jié)果表明:①本文提出的去除冗余特征的樣本采集極限策略，能夠更好地反映層狀地電模型非線性反演的輸入輸出特性；選取了五層和九層地電模型的最佳OSELM網(wǎng)絡(luò)結(jié)構(gòu)，取得了較好的反演效果;②證明了OSELM算法能夠減少對(duì)初始模型的依賴，不易陷入局部極值，可以有效地應(yīng)用于層狀大地TEM數(shù)據(jù)反演中，并且同ELM算法相比，該算法反演精度更高，穩(wěn)定性更好，即泛化能力和學(xué)習(xí)能力更強(qiáng)，具備更好的適應(yīng)性, 能夠有效運(yùn)用于一維電阻測(cè)深的神經(jīng)網(wǎng)絡(luò)反演。

總之，通過(guò)瞬變電磁層狀地電模型驗(yàn)證了OSELM方法在TEM反演中的可行性和有效性。這是一種新穎的反演技術(shù)，下一步，我們將研究如何提高其實(shí)際應(yīng)用效果，并完善反演算法的性能評(píng)價(jià)指標(biāo)。