疊前隨機噪聲深度殘差網(wǎng)絡壓制方法

李海山 陳德武 吳 杰 常德寬

(中國石油勘探開發(fā)研究院西北分院，甘肅蘭州 730020)

0 引言

地震資料往往含有嚴重的隨機噪聲，給后續(xù)的數(shù)據(jù)處理、解釋及儲層預測等工作帶來十分不利的影響[1]。由于隨機噪聲是由各種因素綜合作用形成的，沒有固定的頻率和傳播方向，分布于全時、全頻段，因此很難將其從地震記錄中有效地分離出來。針對隨機噪聲壓制問題，學者們開展了大量相關研究并根據(jù)有效信號和隨機噪聲各自的特征提出了不同的壓制方法，典型的有K-L變換濾波[2]、f-x域預測濾波[3]、自適應濾波[4]、Radon變換[5]、徑向預測濾波[6]、小波變換[7-8]、奇異值分解[9]、多項式擬合[10]、S變換[11]、Curvelet變換[12-13]、Seislet變換[14]、傾角導向中值濾波[15-16]、徑向時頻峰值濾波[17]、稀疏字典學習[18]、局部正交壓制[19]等方法。盡管這些方法都取得較好的實際應用效果，但每種方法都受到某種假設或條件限制[20]，去噪性能在不同工區(qū)差別較大，適應能力和保真能力有待進一步提高；此外，去噪效果較好的方法通常計算復雜度較高、計算效率較低，需要較多的參數(shù)調(diào)試，不能充分應對寬頻、寬方位、單點高密度采集時代大數(shù)據(jù)量處理的挑戰(zhàn)。因此，研究保真且高效的去噪方法是人們不懈的追求。

深度學習[21]是近年來引起廣泛關注的機器學習的一個分支，該概念由Hinton等[22]提出。深度學習實質(zhì)上是一種人工神經(jīng)網(wǎng)絡，但比以往的人工神經(jīng)網(wǎng)絡具有更深的神經(jīng)元層，通過組合低層特征形成更加抽象的高層特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，減少了人工提取特征的巨量工作。目前，深度學習已經(jīng)發(fā)展出多種模型，如生成式/無監(jiān)督模型(受限玻爾茲曼機、深度置信網(wǎng)絡、正則化的自編碼器等)和判別式模型(遞歸神經(jīng)網(wǎng)絡、深度神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)等)。CNN通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運算，大大減少每層中需要訓練的未知權(quán)重系數(shù)的數(shù)量，能夠從輸入中學習到高度復雜的非線性關系。

由于存在諸多優(yōu)點，CNN已被逐漸應用于地震勘探領域中。如：Lewis等[23]將CNN用于全波形反演中的正則化先驗信息提??； Itan等[24]將CNN用于反射和繞射波場分離； Huang等[25]將CNN用于斷裂特征的自動檢測。以上研究都取得了較好的應用效果，展現(xiàn)出CNN在地震勘探領域中的巨大優(yōu)勢和廣闊的應用前景。

考慮到CNN具有自動學習高度復雜的非線性特征的能力，本文將其應用于疊前地震數(shù)據(jù)隨機噪聲的壓制中，通過對疊前地震數(shù)據(jù)中隨機噪聲特征的自動學習，實現(xiàn)自動且高效的隨機噪聲分離。

1 深度殘差網(wǎng)絡去噪原理

1.1 深度殘差網(wǎng)絡

目前卷積神經(jīng)網(wǎng)絡領域已取得許多令人矚目的研究成果，并且不斷有新的CNN模型被提出，其中最著名的有LeNet[26]、AlexNet[27]、Google-Net[28]、VGGNet[29]和深度殘差網(wǎng)絡(ResNet)[30]等。目前在圖像分類方面，ResNet的準確度是最高的。鑒于ResNet的優(yōu)異性能，Zhang等[31]將ResNet應用于圖像數(shù)據(jù)去噪。研究表明，在隨機噪聲壓制中應用ResNet并不依賴于數(shù)據(jù)的信噪比，其對不同信噪比的數(shù)據(jù)都能夠達到較好的去噪效果。

深度殘差網(wǎng)絡是針對更深層的網(wǎng)絡模型難以訓練的問題而提出的一個網(wǎng)絡架構(gòu)，很好地克服了因深度增加而出現(xiàn)的網(wǎng)絡退化問題，能夠通過增加網(wǎng)絡深度提高網(wǎng)絡性能。圖1說明了深度殘差網(wǎng)絡與常規(guī)網(wǎng)絡的差別。假定某段神經(jīng)網(wǎng)絡的輸入是y，期望輸出是N(y)，即N(y)是期望的復雜潛在映射，但學習難度較大；如果通過圖1所示的越層連接直接把輸入y傳到輸出作為初始結(jié)果，則此時需要學習的目標變?yōu)镽(y)=y-N(y)，即ResNet相當于學習恒等映射y與最優(yōu)解N(y)的殘差。在極端情況下，將殘差R(y)置為零比通過非線性層擬合恒等映射y更容易。

圖1 殘差網(wǎng)絡與常規(guī)網(wǎng)絡的差別(a)常規(guī)網(wǎng)絡； (b)殘差網(wǎng)絡

1.2 隨機噪聲壓制原理

如果地震數(shù)據(jù)中包含隨機噪聲，則地震數(shù)據(jù)可以表示為

y=x+n

(1)

式中：x為有效信號；y為含隨機噪聲地震記錄；n為隨機噪聲。深度學習的基本思想是通過下面的公式建立x和y之間的映射關系

x=Net(y;Θ)

(2)

式中： Net表示深度學習網(wǎng)絡；Θ={W,b}為網(wǎng)絡參數(shù)，其中W為權(quán)重，b為偏置。根據(jù)深度殘差網(wǎng)絡原理，可以將隨機噪聲作為網(wǎng)絡輸出

n=y-x=Res(y;Θ)

(3)

式中： Res表示殘差學習網(wǎng)絡。為了最優(yōu)化式(3)中的網(wǎng)絡，定義如下的代價函數(shù)[30]

(4)

為衡量深度殘差網(wǎng)絡的去噪性能，將峰值信噪比(Peak Signal to Noise Ratio，PSNR)作為評價指標，其計算公式為

(5)

2 深度殘差網(wǎng)絡的架構(gòu)

針對隨機噪聲壓制問題，設計了一個由多層依次連接構(gòu)成的去噪網(wǎng)絡Res(y;Θ)，如圖2所示，圖中不同層的定義如表1所示。在去噪網(wǎng)絡的第二層和最后一層之間為多個構(gòu)建塊，每個構(gòu)建塊由一個卷積層(Conv)、一個批標準化層(Batch Normalization，BN)和一個修正線性單元層(Rectified Linear Unit，ReLU)依次連接組成。去噪網(wǎng)絡中除第一個卷積層的尺寸為3×3×1×64 (64個卷積核為3×3的卷積濾波器，通道數(shù)為1)和最后一個卷積層的尺寸為3×3×64×1(1個卷積核為3×3的卷積濾波器，通道數(shù)為64)之外，其他卷積層的尺寸均為3×3×64×64 (64個卷積核為3×3的卷積濾波器，通道數(shù)為64)。去噪網(wǎng)絡中修正線性單元層之前加入批標準化層[31]，用于固定每層輸入信號的均值和方差，使每一層的輸入均有一個穩(wěn)定的分布，在有效避免梯度彌散的同時可以提高去噪網(wǎng)絡的泛化能力和收斂速度。

表1 深度殘差網(wǎng)絡不同層的定義

注：“*”代表卷積算子。

圖2 深度殘差網(wǎng)絡的架構(gòu)示意圖

3 模型數(shù)據(jù)測試

為驗證基于深度殘差網(wǎng)絡的隨機噪聲壓制方法的有效性，設計了一個二維合成數(shù)據(jù)模型構(gòu)建訓練集及去噪測試。圖3a給出了合成的含隨機噪聲記錄，其峰值信噪比為9.08dB，是圖3b所示有效信號和圖3c所示隨機噪聲的疊加，共512道，每道1000個采樣點，空間采樣間隔為5m，時間采樣間隔為2ms。圖4為圖3各記錄的f-k譜，由圖4a可見隨機噪聲分布在整個時頻空間，與有效信號的分布區(qū)域重疊。

為了訓練去噪網(wǎng)絡，通過將含隨機噪聲記錄作為輸入、將隨機噪聲模型作為標簽，構(gòu)建了包括輸入數(shù)據(jù)集和標簽數(shù)據(jù)集的訓練集。為測試樣本大小對網(wǎng)絡去噪性能的影響，固定網(wǎng)絡深度為18層、訓練周期[31]為20、批次規(guī)模[31]為128，利用構(gòu)建的不同訓練樣本大小的訓練集對去噪網(wǎng)絡進行訓練。表2為不同樣本大小對應的峰值信噪比和訓練時間，可見隨著樣本的變大訓練時間也逐漸增大，但峰值信噪比在樣本大小為30×30時達到最大，此后隨著樣本的變大反而變小了，因此在隨機噪聲壓制應用中訓練樣本不是越大越好(圖2的兩邊給出了訓練集中的5對訓練樣本)。大量的模型數(shù)據(jù)測試和實際資料應用表明，選取訓練樣本大小為30×30能夠獲得比較好的隨機噪聲壓制效果，因此在本文的后續(xù)討論中訓練樣本大小均設置為30×30。

圖3 含隨機噪聲數(shù)據(jù)模型(a)含隨機噪聲記錄； (b)有效信號； (c)隨機噪聲

圖4 含隨機噪聲數(shù)據(jù)模型的f-k譜(a)含隨機噪聲記錄； (b)有效信號； (c)隨機噪聲

表2 訓練樣本大小對深度殘差網(wǎng)絡性能的影響

為測試網(wǎng)絡深度對網(wǎng)絡去噪性能的影響，固定訓練樣本的大小為30×30、訓練周期為20、批次規(guī)模為128，對不同深度的去噪網(wǎng)絡進行訓練。表3為不同網(wǎng)絡深度對應的峰值信噪比、訓練時間和去噪時間，可見：隨著網(wǎng)絡深度的增加峰值信噪比逐漸增大，網(wǎng)絡越深去噪效果越好，這正是深度學習的本質(zhì)所在；網(wǎng)絡越深訓練時間和去噪時間也越長，因此從時間成本考慮，本文在保證去噪效果的前提下選取網(wǎng)絡深度為18層。此外，由表3可見，盡管深度殘差網(wǎng)絡在訓練階段是比較耗時的，但訓練好的網(wǎng)絡在去噪階段速度很快。利用固定好的參數(shù)訓練得到去噪網(wǎng)絡Ⅰ，并將其應用于圖3a所示的合成含隨機噪聲記錄，結(jié)果如圖5所示。由圖5可見，去噪網(wǎng)絡Ⅰ有效地學習到無規(guī)律隨機噪聲的特征，并成功地預測出隨機噪聲，隨機噪聲壓制結(jié)果的PSNR為19.70dB，與含噪記錄的PSNR相比得到顯著的提升。對比圖4與圖6的f-k譜可見，在時頻空間中有效信號和隨機噪聲得到了有效分離，選取網(wǎng)絡深度為18層已足以滿足去噪需求。

圖5 網(wǎng)絡Ⅰ去噪結(jié)果(a)及預測的隨機噪聲(b)

圖6 網(wǎng)絡Ⅰ去噪結(jié)果(a)及預測的隨機噪聲(b)的f-k譜

4 網(wǎng)絡的泛化能力研究

為進一步測試網(wǎng)絡的去噪性能，將去噪網(wǎng)絡Ⅰ應用于圖7a所示的合成含隨機噪聲記錄。圖7a所示含隨機噪聲記錄的峰值信噪比為4.32dB，是在圖7b所示有效信號中加入隨機噪聲得到的，共128道，每道1000個采樣點，空間采樣間隔為20m，時間采樣間隔為4ms。圖7c給出了去噪網(wǎng)絡Ⅰ的隨機噪聲壓制結(jié)果，盡管其峰值信噪比提高到7.65dB，但隨機噪聲并未得到充分地壓制。

針對該問題，將圖3a和圖7a所示的含隨機噪聲記錄作為輸入、將其相應的隨機噪聲模型作為標簽，構(gòu)建出新的訓練集并對去噪網(wǎng)絡進行訓練，得到去噪網(wǎng)絡Ⅱ。圖7d為去噪網(wǎng)絡Ⅱ應用于圖7a數(shù)據(jù)的去噪結(jié)果，可見隨機噪聲得到了有效地壓制，去噪后峰值信噪比達到17.15dB；同時將去噪網(wǎng)絡Ⅱ應用于圖3a，也得到理想的去噪結(jié)果，去噪后峰值信噪比為19.46dB，與去噪網(wǎng)絡Ⅰ的去噪能力基本相同。

可見，只要有足夠完備的涵蓋各種情況的高質(zhì)量標簽數(shù)據(jù)，訓練后的去噪網(wǎng)絡對于各種不同的數(shù)據(jù)都能得到較好的去噪結(jié)果，這也是在圖像分類方面深度殘差網(wǎng)絡能夠取得驚人準確度的主要原因之一?？梢灶A見，在隨機噪聲去噪應用中，隨著各工區(qū)不同類型標簽數(shù)據(jù)的逐漸積累和網(wǎng)絡的強化訓練，本文去噪網(wǎng)絡的泛化能力將會得到大幅度地提高。

圖7 含隨機噪聲記錄及相應的去噪結(jié)果(a)含隨機噪聲記錄； (b)有效信號模型； (c)網(wǎng)絡Ⅰ去噪結(jié)果； (d)網(wǎng)絡Ⅱ去噪結(jié)果

5 實際資料應用

深度殘差網(wǎng)絡是一種有監(jiān)督的深度學習算法，要實現(xiàn)去噪首先得有高質(zhì)量的標簽數(shù)據(jù)。針對模型數(shù)據(jù)的去噪問題，由于隨機噪聲是已知的，因此能夠獲得較好的去噪效果，然而針對實際資料的去噪問題，隨機噪聲事先是未知的。針對實際資料隨機噪聲標簽數(shù)據(jù)的獲取問題，可以通過多種方法的去噪效果對比，選取最優(yōu)的去噪方法獲得標簽數(shù)據(jù)。

首先，將本文去噪方法應用于疊前CRP道集的隨機噪聲壓制。圖8為三個不同位置的CRP道集，可見隨機噪聲干擾比較嚴重。分別利用f-x域預測濾波法、徑向預測濾波法、傾角導向中值濾波法、小波迭代閾值法、Seislet變換法和曲波迭代閾值法對圖8b所示記錄進行去噪處理，得到圖9和圖10所示的通過精細參數(shù)調(diào)試后的有效信號和隨機噪聲。通過對圖9和圖10中各方法去噪結(jié)果及相應的f-k譜和計算時間對比分析可知：f-x域預測濾波法的去噪效率是最高的，但其去噪能力和保幅性是最差的；徑向預測濾波法、傾角導向中值濾波法和Seislet變換法的去噪效果依賴于局部傾角場的準確性，去噪結(jié)果的平滑性較差，且容易產(chǎn)生去噪假象；小波變換不能有效稀疏表示局部線狀變化特征，因此小波迭代閾值法容易產(chǎn)生局部奇異性而破壞反射同相軸的連續(xù)性；曲波變換能夠有效表示同相軸等局部線狀變化特征，因此曲波迭代閾值法能夠得到保幅且光滑的理想去噪結(jié)果，但效率最低。綜合比較，針對圖8b所示記錄，曲波迭代閾值法的隨機噪聲壓制效果是最優(yōu)的，因此利用該方法來獲取隨機噪聲標簽數(shù)據(jù)。

圖8 三個不同位置的含噪CRP道集(a)CRP1～CRP5； (b)CRP101～CRP105； (c)CRP596～CRP600

圖9 圖8b數(shù)據(jù)不同方法的去噪結(jié)果(a)f-x域預測濾波法； (b)徑向預測濾波法； (c)傾角導向中值濾波法； (d)小波迭代閾值法； (e)Seislet變換法； (f)曲波迭代閾值法

圖10 圖8b數(shù)據(jù)不同方法的去除的隨機噪聲(a)f-x域預測濾波法； (b)徑向預測濾波法； (c)傾角導向中值濾波法； (d)小波迭代閾值法； (e)Seislet變換法； (f)曲波迭代閾值法

將圖8b所示CRP101～CRP105位置的含噪記錄作為輸入、將圖10f所示的相應隨機噪聲作為標簽，構(gòu)建了包含170000多個訓練樣本對的訓練集，樣本的大小為30×30。通過對本文設計的18層網(wǎng)絡20個周期的訓練，得到了最終的隨機噪聲去噪網(wǎng)絡。圖11給出了代價函數(shù)隨訓練周期[31]的變化曲線，可以看出本文去噪網(wǎng)絡在訓練階段非常穩(wěn)定，網(wǎng)絡的輸出誤差隨著訓練周期的增加迅速而單調(diào)地下降。

圖11 代價函數(shù)隨訓練周期的變化曲線

將訓練好的隨機噪聲去噪網(wǎng)絡應用于圖8所示的各含隨機噪聲記錄，結(jié)果如圖12和圖13所示。圖9f所示曲波迭代閾值法得到的有效信號與圖12b所示深度殘差網(wǎng)絡得到的有效信號的峰值信噪比皆為21.87dB，可見二者的去噪能力相當，深度殘差網(wǎng)絡通過學習獲得了曲波迭代閾值法的去噪能力。同時，通過比較可見，無論是在離獲取標簽位置CRP101～CRP105較近的CRP1～CRP5位置還是較遠的CRP596～CRP600位置，去噪網(wǎng)絡的隨機噪聲壓制結(jié)果均較好，可見在局部構(gòu)造相似區(qū)域，小樣本訓練獲得的去噪網(wǎng)絡也具有較強的泛化能力。

圖12 深度殘差網(wǎng)絡去噪結(jié)果(a)CRP1～CRP5； (b)CRP101～CRP105； (c)CRP596～CRP600

圖13 深度殘差網(wǎng)絡預測的隨機噪聲(a)CRP1～CRP5； (b)CRP101～CRP105； (c)CRP596～CRP600

此外，該去噪網(wǎng)絡訓練完成之后不僅與曲波迭代閾值法的去噪能力相同，同時還具有下述優(yōu)點：①去噪效率高，與曲波迭代閾值法相比去噪效率提高了近200倍；②智能去噪，不需要復雜的參數(shù)調(diào)試，自動地識別并分離出噪聲；③適應能力強、內(nèi)存占用??；④保幅性好，只學習到了隨機噪聲的特征，在去噪過程中有效信息得到盡可能的保護。

為進一步驗證本文去噪方法對疊前炮記錄的去噪性能，構(gòu)建了新的訓練集并進行了相應的網(wǎng)絡訓練。新的訓練集中輸入數(shù)據(jù)集和標簽數(shù)據(jù)集的構(gòu)建利用了不同來源的數(shù)據(jù)：一部分數(shù)據(jù)來源于加入了不同信噪比隨機噪聲的正演模擬炮記錄及相應的隨機噪聲記錄，另一部分數(shù)據(jù)來源于幾個不同工區(qū)的實際含噪單炮記錄及通過優(yōu)選的去噪技術分離得到的隨機噪聲記錄。將利用該訓練集訓練得到的去噪網(wǎng)絡應用于實際二維測線數(shù)據(jù)，該數(shù)據(jù)為做完規(guī)則噪聲壓制之后的炮記錄，共有802炮，圖14a為第320個單炮記錄。圖14b和14c分別為圖14a數(shù)據(jù)的去噪結(jié)果及去除的隨機噪聲，可見該網(wǎng)絡具有較好的泛化能力，對單炮記錄中的隨機噪聲進行了較好的壓制。圖15為該二維測線去噪前后的疊加剖面對比，可見預測出的隨機噪聲疊加剖面中基本無有效信息損失，網(wǎng)絡的去噪性能得到進一步驗證。

圖14 第320炮的深度殘差網(wǎng)絡去噪前(a)、后(b)記錄及預測的噪聲(c)

圖15 深度殘差網(wǎng)絡去噪前(a)、后(b)的疊加剖面及去除的隨機噪聲疊加剖面(c)

6 結(jié)論

(1)針對疊前地震記錄中隨機噪聲的智能高效壓制問題，根據(jù)深度殘差網(wǎng)絡原理設計了一種深層隨機噪聲壓制網(wǎng)絡，并引入批標準化策略和小批次隨機梯度下降法來提高網(wǎng)絡的綜合性能，訓練后的網(wǎng)絡可以擬合出含噪聲地震記錄與隨機噪聲之間的非線性映射關系，實現(xiàn)對隨機噪聲的自動識別和分離。模型數(shù)據(jù)測試和實際資料應用，證明了本文方法的有效性。

(2)深度殘差網(wǎng)絡是一種有監(jiān)督的深度學習算法，去噪性能在很大程度上依賴于訓練集的完備程度，如果有足夠完備的涵蓋各種情況的高質(zhì)量標簽數(shù)據(jù)，訓練后的去噪網(wǎng)絡將會具有很強的泛化能力，因此標簽數(shù)據(jù)的獲取和積累至關重要。

(3)理論上深度殘差網(wǎng)絡越深去噪性能越好，但網(wǎng)絡越深訓練時間和去噪時間也越長；構(gòu)建訓練集時學習樣本并不是越大越好，選擇合適的尺寸能使網(wǎng)絡獲得最佳去噪性能。針對疊前隨機噪聲壓制問題，網(wǎng)絡深度選取18或者21層、樣本大小設置為30×30就可以很好地滿足去噪需求。

(4)盡管深度殘差網(wǎng)絡在訓練階段比較耗時，但訓練好之后具有較高的去噪效率。同時，從本文實際資料處理實例可見，該網(wǎng)絡還具有智能去噪、適應能力強、保幅性好等優(yōu)點，在局部構(gòu)造相似區(qū)域，小樣本訓練也能夠獲得泛化能力較強的去噪網(wǎng)絡。