神經(jīng)網(wǎng)絡(luò)在地球物理勘探中的研究進展

吳駿業(yè)，郭榮文，柳建新，陳 杭

(1.中南大學 地球科學與信息物理學院，湖南 長沙 410083；2.有色資源與地質(zhì)災(zāi)害探查湖南省重點實驗室，湖南 長沙 410083)

1 引 言

神經(jīng)網(wǎng)絡(luò)[1]起源于20世紀五六十年代，它是受人腦啟發(fā)的一項技術(shù)，旨在從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進行抽象，建立模型來模擬人類神經(jīng)元的運行規(guī)律。這些模型按照不同的連接方式組成不同的神經(jīng)網(wǎng)絡(luò)，從而解決各種問題[2]。神經(jīng)網(wǎng)絡(luò)一般由輸入層和輸出層以及多個隱藏層組成，輸入的特征向量通過隱含層變換達到輸出層，在輸出層得到結(jié)果。而且越深的節(jié)點就可以識別出越復(fù)雜的特征，因為它們會聚合并重組上一層的特征。因此各種具有獨特神經(jīng)處理單元和復(fù)雜層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)，如深度置信網(wǎng)絡(luò)[3](Deep Belief Network, DBN)、卷積神經(jīng)網(wǎng)絡(luò)[4](Convolutional Neural Networks, CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)[5](Recurrent Neural Network，RNN)等，這些技術(shù)在許多領(lǐng)域中都發(fā)揮出了巨大的作用。

但其實本質(zhì)上，神經(jīng)網(wǎng)絡(luò)就是試圖建立輸入數(shù)據(jù)和輸出信息之間復(fù)雜的映射關(guān)系。這與地球物理勘探中建立各種物理場的變化與相對應(yīng)地下介質(zhì)構(gòu)造之間關(guān)系的思想是一樣的，即兩者具有共同點：通過數(shù)據(jù)驅(qū)動，建立符合數(shù)據(jù)要求的模型[6,7]。在大數(shù)據(jù)時代背景下，基于數(shù)據(jù)驅(qū)動的方法備受青睞，其不依賴物理模型的特性有效地彌補了基于數(shù)理模型的不足。因此隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)與計算機硬件的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)在地球物理領(lǐng)域中得到了廣泛的應(yīng)用，包括地震數(shù)據(jù)去噪、初至拾取、地震反演、波形自動識別和分類、電法勘探反演等領(lǐng)域。本文基于前人對于神經(jīng)網(wǎng)絡(luò)的研究，闡述了神經(jīng)網(wǎng)絡(luò)的基本原理和方法及其在地球物理領(lǐng)域中的研究現(xiàn)狀，并展望了該方法的未來發(fā)展方向。

2 神經(jīng)網(wǎng)絡(luò)基本理論

2.1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)是一種受人腦啟發(fā)而發(fā)展起來的計算網(wǎng)絡(luò)，由相互連接的稱為神經(jīng)元的處理單元構(gòu)建而成，它具有學習輸入和輸出之間復(fù)雜關(guān)系的能力。神經(jīng)網(wǎng)絡(luò)的理論在文獻中有很好的描述[8]，這里僅作簡要概述：圖1所示的單個神經(jīng)元將n個輸入值x1,...,xn轉(zhuǎn)換為一個輸出值y，即：

圖1 神經(jīng)元將輸入x1,x2,...,xn和偏置b轉(zhuǎn)換為輸出y

(1)

權(quán)重wi確定神經(jīng)元對各個輸入值的敏感度，偏置b控制輸入的整體重要性。神經(jīng)元對某些輸入x的響應(yīng)由激活函數(shù)φ描述，比如常用的Sigmoid函數(shù)：

(2)

如圖2所示，多層感知器將神經(jīng)元組織成層：具有節(jié)點xi的輸入層，具有節(jié)點yi的輸出層以及其間的隱藏層。第l層中神經(jīng)元的輸出用作后續(xù)第l+1層中所有神經(jīng)元的輸入。每個神經(jīng)元的權(quán)重和偏差都可以不同。

圖2 具有多個隱藏層的多層感知器的示意圖圓圈代表單個神經(jīng)元

使用訓(xùn)練數(shù)據(jù)集(通常是所有數(shù)據(jù)的一小部分)更新網(wǎng)絡(luò)中的每個權(quán)重，以便使實際輸出更接近目標輸出，從而將每個輸出神經(jīng)元和整個網(wǎng)絡(luò)的輸出誤差最小化。

David Everett Rumelhart教授等人[9]于1986年在自然雜志上首次提出了著名的反向傳播算法(BP算法)，提供了一種快速的方法來計算神經(jīng)網(wǎng)絡(luò)的輸出對其所有參數(shù)的敏感度，大幅降低了模型訓(xùn)練所需要的時間[10,11]。以圖2的多層感知機為例，代價函數(shù)為:

(3)

其中,yk(xi)表示輸入為xi時網(wǎng)絡(luò)的前饋輸出;tk,i表示真實結(jié)果。

對于網(wǎng)絡(luò)中的每個權(quán)值wji，計算其誤差的導(dǎo)數(shù)：

(4)

然后根據(jù)導(dǎo)數(shù)來修改權(quán)值

(5)

其中,η是學習率。

2.2 深度神經(jīng)網(wǎng)絡(luò)

ANN受限于當時的計算機水平，一般只含有1～2層的隱藏層。后來科學家發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對現(xiàn)實的表達能力，因此如今一般構(gòu)建具有很有隱藏層的深度學習結(jié)構(gòu)，并且將這種含有較多隱藏層的網(wǎng)絡(luò)叫做深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNN)。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是當下一種很常見的DNN算法，它拋棄過去使用的Sigmoid激活函數(shù)，在隱藏層中使用了非線性激活函數(shù)整流線性單位ReLU：

φ(x)=max(0,x)

(6)

ReLU可以有效避免梯度消失問題，防止出現(xiàn)隨著層數(shù)的增加會局部函數(shù)越來越容易陷入局部最優(yōu)解的現(xiàn)象，提高了訓(xùn)練效率。

CNN使用一種特殊的隱藏層(稱為卷積層)，卷積層在CNN中從二維輸入映射中提取特征起著重要作用。組成卷積核的每個元素都對應(yīng)一個權(quán)重系數(shù)和一個偏差量，卷積層內(nèi)每個神經(jīng)元都與前一層中位置接近的區(qū)域的多個神經(jīng)元相連，區(qū)域的大小取決于卷積核的大小，也稱為“感受野”，可以類比生物學中視覺皮層細胞的感受野。卷積核在工作時，會有規(guī)律地掃過輸入特征，在感受野內(nèi)對輸入特征做矩陣元素乘法求和并疊加偏差量：

(7)

而(i,j)∈{0,1,...,Ll+1}Ll+1

其中,b為偏置量;Zl和Zl+1表示第l+1層的卷積輸入和輸出;Ll+1為Zl+1的尺寸(這里假設(shè)特征圖長寬相同);Z(i,j)對應(yīng)特征圖的像素;K為特征圖的通道數(shù);f、s0和p是卷積層參數(shù)，對應(yīng)卷積核大小、卷積步長(stride)和填充(padding)層數(shù)。

卷積層的反向傳播是一個與前向傳播類似的交叉相關(guān)計算：

(8-1)

(8-2)

式中,E為代價函數(shù)計算的誤差、φ′為激活函數(shù)的導(dǎo)數(shù);η是學習速率。

事實證明，CNN靈活的結(jié)構(gòu)能夠?qū)Ψ浅?fù)雜的現(xiàn)象進行建模，而無需事先知道輸入數(shù)據(jù)的任何統(tǒng)計信息，并且具有強大的魯棒性[12]。

深度置信網(wǎng)絡(luò)(DBN)是另外一種深度神經(jīng)網(wǎng)絡(luò)模型，它是由多層受限波爾茲曼機(RBM)和一層BP神經(jīng)網(wǎng)絡(luò)組成，其中RBM是無監(jiān)督學習，用于特征提取，在BP神經(jīng)網(wǎng)絡(luò)部分采用有監(jiān)督訓(xùn)練方式。其優(yōu)點在于不依靠經(jīng)驗提取數(shù)據(jù)特征，而是通過RBM自動提取，因此該網(wǎng)絡(luò)擅長于處理多分類問題；但缺點便是如果學習問題的復(fù)雜性高，學習過程將十分緩慢。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是另外一類算法，它解決了對于時間序列上的變化進行建模的難題，廣泛應(yīng)用于序列的識別與預(yù)測。RNN網(wǎng)絡(luò)中以循環(huán)的方式記憶工作，隱藏層的狀態(tài)取決于它的過去狀態(tài)，這樣的特點使其擅長于處理長時間的復(fù)雜信號問題。

3 神經(jīng)網(wǎng)絡(luò)在地球物理勘探中的應(yīng)用

3.1 神經(jīng)網(wǎng)絡(luò)在地震勘探中的應(yīng)用

3.1.1 地震數(shù)據(jù)處理

神經(jīng)網(wǎng)絡(luò)在地震數(shù)據(jù)處理中的應(yīng)用是最早開發(fā)的地球物理應(yīng)用之一，其中許多工作集中在初至拾取、去噪、數(shù)據(jù)插值中。

在初至拾取方面，早期使用人工神經(jīng)網(wǎng)絡(luò)(ANN)從地震數(shù)據(jù)中提取初至波[13,14]。首先選取一個窗口來計算初至波(FB)的屬性或特征(例如STA/LTA比和自回歸系數(shù)；方差，偏度和峰度；幅度，相位和頻率)[15,16]，再將這些屬性作為ANN的輸入，神經(jīng)網(wǎng)絡(luò)便可通過屬性進行分類?；贏NN的方法可以自適應(yīng)地選擇不同類型的初至波，但是基于人工神經(jīng)網(wǎng)絡(luò)的FB選擇的準確性在很大程度上取決于屬性的選擇。此外，這些方法很少利用波形的空間相干特征，這可能會影響FB拾取的準確性[17,18]。因此Yuan S[19]等將卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用于直達波和折射波的初至波拾取，取得了良好效果。文章中還設(shè)計了一個判別分數(shù)函數(shù)，以可視方式對地震波采集道中時空波形進行分類。

在地震數(shù)據(jù)去噪領(lǐng)域，較為常用的網(wǎng)絡(luò)結(jié)構(gòu)是DnCNN[20]和U-Net[21]。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)與傳統(tǒng)的小波、曲波去噪方法相比，能夠在極短的時間內(nèi)達到更好且自適應(yīng)的去噪效果。

在地震數(shù)據(jù)插值方面，Wang B[22]等人使用殘差學習網(wǎng)絡(luò)(ResNet)進行地震數(shù)據(jù)抗鋸齒插值，該方法可以通過自學習以非線性方式提取訓(xùn)練數(shù)據(jù)的更深特征。它還可以避免傳統(tǒng)插值方法的線性事件、稀疏性和低秩假設(shè)。重建的密集數(shù)據(jù)可能有益于提高后續(xù)算法(例如反演、偏移和多重衰減)的準確性。

3.1.2 地震反演

Das等人[23]將卷積神經(jīng)網(wǎng)絡(luò)(CNN)用于面波頻散曲線自動拾取，從而反演出地表速度模型。并將基于CNN的預(yù)測與近似貝葉斯計算(ABC)方法相結(jié)合，以估計后驗分布，量化不確定性。Moseley等人[24]利用CNN將速度曲線從深度域轉(zhuǎn)換到時間域之后，通過WaveNet[25]實現(xiàn)了一維速度模型反演。Araya-Polo等人[26]使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)直接從原始地震數(shù)據(jù)中生成速度模型，該方法是自動且無需人工干預(yù)的，是經(jīng)典層析成像的替代方法。

在全波形反演(FWI)中，Richardson[27]證明了具有自動微分的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)可用于進行梯度計算，并將RNN用于地震全波形反演。Sun和Demanet[28]展示了一種使用深度學習推斷低頻地震能量以提高FWI算法收斂性的方法。Wu和McMechan[29]將傳統(tǒng)的全波形反演與CNN結(jié)合使用，以捕獲幾何中的顯著特征并獲得了更好的反演結(jié)果。

在反射率反演中，Kim[30]等人比較了DNN和基于最小二乘法的地球物理反演在反射率反演問題上的效果，結(jié)果表明DNN具有更高的空間分辨率。

3.1.3 數(shù)據(jù)解釋

在斷層識別方面，Zheng等[31]在疊前合成地震記錄中引入基于蟻群優(yōu)化算法的ANN進行了斷層識別試驗，取得了良好效果。Xiong W等[32]引入CNN網(wǎng)絡(luò)對斷層進行識別，取得了良好效果。Wu 和Hale等[33]基于CNN 估算斷層傾角，并形成斷層概率圖分析了斷層分布，效果顯著。Wu等人[34]使用卷積神經(jīng)網(wǎng)絡(luò)CNN進行斷層解釋的技術(shù)，不再提取地震屬性，而是直接對地震振幅數(shù)據(jù)體進行斷層識別。該方法不僅可以預(yù)測斷層概率，還能同時估計斷層方向。但這些方法需要選擇一個局部窗口或立方體來對每個圖像像素進行斷層預(yù)測，這在計算上非常昂貴，尤其是在3D斷層檢測中。于是Wu等人[35]使用簡化的U-net來執(zhí)行3D斷層分割的任務(wù)。這樣顯著的節(jié)省了GPU內(nèi)存和計算時間，但仍保留了3D斷層檢測任務(wù)中的高性能。

在地震事件檢測方面，孔慶開[36]等利用人工神經(jīng)網(wǎng)絡(luò)區(qū)分智能手機網(wǎng)絡(luò)收集的加速度波形中的地震信號與人類活動噪聲。Perol等[37]提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)的地震識別方法，并用于美國俄克拉荷馬州地震記錄識別，在保證精度同時該方法比傳統(tǒng)技術(shù)要快幾個數(shù)量級。Ross等[38]等基于南加州地區(qū)的地震事件建立了數(shù)據(jù)集并訓(xùn)練CNN模型，其得到的模型具有較強的泛化能力，而且對于信噪比非常低的地震件波形，也能有效進行地震識別。Wiszniowski等人[39]提出了一種使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的實時地震監(jiān)測算法，該算法也取得了很好的效果。

在震相識別方面，Zhu和 Beroza[40]提出一種Phase Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用圖像分割任務(wù)中的U-Net網(wǎng)絡(luò)進行震相的識別并取得了較好的效果。于子葉等[41]將三分量地震數(shù)據(jù)經(jīng)過高通濾波以及歸一化處理后輸入17層的Inception模型[42]，對比了100組添加不同比例噪聲數(shù)據(jù)以進行檢驗，結(jié)果表明深度學習方法穩(wěn)定性好，對噪聲容忍度高，相比 AR-AIC+STA/LTA方法，深度學習方法可用性更高。Qian等人[43]結(jié)合深度卷積自動編碼器(DCAE)[44]及其逐層無監(jiān)督訓(xùn)練策略，自動從疊前地震數(shù)據(jù)中提取特征，再通過聚類技術(shù)(自組織圖(SOM))完成了地震相分析，比常規(guī)方法具有更高的分辨率，并具有顯著突出地層和沉積信息的潛力。

3.2 神經(jīng)網(wǎng)絡(luò)在電法勘探中的應(yīng)用

在二維電磁法勘探領(lǐng)域，基于BP神經(jīng)網(wǎng)絡(luò)算法的人工神經(jīng)網(wǎng)絡(luò)(ANN)在電磁法非線性反演中得到了有效的應(yīng)用。國外學者方面，Singh等[45]人將ANN應(yīng)用于二維垂直電測深(VES)反演中，比較了隱藏層數(shù)量、節(jié)點數(shù)量、不同的參數(shù)初始化、學習率以及參數(shù)的偏置對于反演效果的影響，并選擇了最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)對實測數(shù)據(jù)進行反演，結(jié)果與實際鉆探得到結(jié)果相同。次年，Montahaei等[46]將ANNs方法直接擴展用于方位各向異性電導(dǎo)率的二維MT數(shù)據(jù)反演，并在三類地電各向異性結(jié)構(gòu)以及智利中南部大陸邊緣的現(xiàn)場數(shù)據(jù)集上測試了其適用性。結(jié)果表明，人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)能夠正確解決方位各向異性電阻率的MT反問題。國內(nèi)學者方面，王鶴等[47]將BP神經(jīng)網(wǎng)絡(luò)引入二維大地電磁視電阻率反演，訓(xùn)練好的網(wǎng)絡(luò)可對類似模型的視電阻率曲線進行實時反演，無需求解雅克比矩陣，大大提高大地電磁反演速度和工作效率。但是，BP神經(jīng)網(wǎng)絡(luò)算法采用隨機數(shù)初始化網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)往往容易陷入局部最優(yōu)解，王鶴等[48]利用遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進行優(yōu)化，將反演結(jié)果與經(jīng)典最小二乘法反演進行對比，驗證了該算法對二維大地電磁非線性反演的可行性和有效性。但基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)訓(xùn)練時間又過長，這些在一定程度上限制了人工神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用效果。所以王鶴[49]等人將深度置信網(wǎng)絡(luò)(DBN)引入二維大地電磁測深反演，克服了BP神經(jīng)網(wǎng)絡(luò)的缺點(訓(xùn)練時間長，容易因隨機初始化網(wǎng)絡(luò)參數(shù)而導(dǎo)致陷入局部最優(yōu)解)，并與經(jīng)典最小二乘反演比較，結(jié)果表明基于DBN的反演算法效率大大提高。

在這些情況下，每個訓(xùn)練模型的地點位置集都是固定的，這可能會限制學習好的神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中的可重用性。此外，MT反問題的性質(zhì)非常復(fù)雜，這意味著很難學習可用于任意地質(zhì)情況的網(wǎng)絡(luò)。所以另外一種方法是通過ANN實現(xiàn)反演過程中計算量最大的正演計算。Conway等[50]使用經(jīng)過訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)(ANN)實現(xiàn)MT正演功能，并且與WSINV3D[51]正演代碼相比，將速度提高了五個數(shù)量級。并通過使用協(xié)方差矩陣適應(yīng)進化策略(CMA-ES)優(yōu)化算法[52]將其應(yīng)用于反演，獲得與WSINV3D相當?shù)姆囱萁Y(jié)果，但是在1/50的時間內(nèi)實現(xiàn)了收斂。

ANN和DBN在輸入上接受的信息必須一維向量化，而CNN在輸入上使用多通道卷積。每個通道都是對空間中某個點上不同數(shù)量的觀察(例如，圖像數(shù)據(jù)中的彩色通道)。對于EM測量，通道的可能選擇是電場和磁場分量，幅度和相位，頻率。卷積網(wǎng)絡(luò)采用卷積運算來代替完全連接的網(wǎng)絡(luò)中的常規(guī)矩陣乘法，具有更強的學習能力。因此Puzyrev V等[53]將卷積神經(jīng)網(wǎng)絡(luò)CNN引入一維海洋CSEM反演，訓(xùn)練好的網(wǎng)絡(luò)可以在幾毫秒內(nèi)根據(jù)在海底測得的數(shù)據(jù)準確地重建地下電阻率分布。Puzyrev V等[54]接著把將卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用于二維陸地可控源CSEM電磁CO2監(jiān)測方案，并將在計算機視覺中用于比較兩個樣本集相似性的一種評估指標 “聯(lián)合交叉點”(IoU，也稱為Jaccard相似系數(shù))引入損失函數(shù)，訓(xùn)練好的網(wǎng)絡(luò)健壯，可以快速并準確估計電阻率分布。為了解決反演中的多解性，Liu等[55]在輸入數(shù)據(jù)中引入了圖層特征圖并在訓(xùn)練過程中將平滑約束和深度加權(quán)函數(shù)引入損失函數(shù)中，使用基于U-net網(wǎng)絡(luò)來反演電阻率，訓(xùn)練好的網(wǎng)絡(luò)具有良好的反演效果。

4 結(jié) 語

目前神經(jīng)網(wǎng)絡(luò)已經(jīng)在地球物理領(lǐng)域取得了一定的效果，但仍存在著一些局限性。例如人們測量的物理場數(shù)據(jù)都是基于特定的觀測參數(shù)，在對數(shù)據(jù)處理時，傳統(tǒng)的地球物理方法可以添加先驗信息來限制多解性，但是目前在神經(jīng)網(wǎng)絡(luò)算法中，如何解決該問題還存在著討論。

其次，目前大多數(shù)學者解決問題使用的都還是監(jiān)督學習型網(wǎng)絡(luò)，需要對數(shù)據(jù)進行標簽，但是標簽通常會受人主觀的影響出現(xiàn)偏差，出現(xiàn)特征明確的現(xiàn)象，從而限制了依賴訓(xùn)練數(shù)據(jù)集的算法的有效性，而無監(jiān)督學習是一個很好的解決方案，該方法可以自動地從數(shù)據(jù)集中學習特征，所以下一步應(yīng)該利用無監(jiān)督學習來解決地球物理問題。

再次，通用性的缺乏可能是神經(jīng)網(wǎng)絡(luò)的重大缺陷。例如大多數(shù)文章研究的是均一模型，但為了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍更廣，應(yīng)該考慮更接近真實地質(zhì)情況的非均勻介質(zhì)。對于該問題，無監(jiān)督學習可能是一個很好的解決方案。

最后，得益于高精度地球物理儀器的快速發(fā)展，目前觀測得到的數(shù)據(jù)量大大增加，但是目前學者們還是在建立數(shù)據(jù)集上花費了大量精力。而且每個人數(shù)據(jù)集都不相同，難以確定每種方法的相對檢測性能，即缺乏明確的基準數(shù)據(jù)集對地球物理領(lǐng)域中的算法進行性能評估。因此建立一個開源數(shù)據(jù)集(類似計算機視覺中的ImageNet)，并基于該數(shù)據(jù)集創(chuàng)辦類似計算機視覺領(lǐng)域的比賽促進學科融合，對于地球物理領(lǐng)域的發(fā)展會有很大的幫助。