起伏地表疊前時(shí)間偏移的多級并行優(yōu)化技術(shù)

馬召貴 ，趙改善，武港山，孫成龍，亢永敢，楊祥森，曹永生

（1.中國石油化工股份有限公司石油物探技術(shù)研究院，江蘇南京 211103；2.南京大學(xué)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，江蘇南京 210093）

起伏地表?xiàng)l件下的疊前時(shí)間偏移一般先進(jìn)行靜校正處理，將疊前數(shù)據(jù)校正到一個(gè)固定面上再進(jìn)行固定面偏移［1］。然而，現(xiàn)有的靜校正方法都是基于某種理論上的假設(shè)來進(jìn)行的，當(dāng)這種假設(shè)得不到滿足時(shí)，應(yīng)該拋棄傳統(tǒng)的靜校正處理，直接進(jìn)行疊前偏移處理，并在偏移過程中解決靜校正問題［2－3］。疊前時(shí)間偏移在生產(chǎn)中發(fā)揮著極其重要的作用，但隨著勘探工區(qū)規(guī)模越來越大，以及石油勘探開發(fā)對于地震勘探精度的要求越來越高，地震勘探數(shù)據(jù)量與計(jì)算量都有了指數(shù)級的增長［4－5］。實(shí)踐表明，在常規(guī)集群系統(tǒng)上進(jìn)行三維海量地震數(shù)據(jù)的疊前時(shí)間偏移甚費(fèi)機(jī)時(shí)，時(shí)常使計(jì)算成果的產(chǎn)出時(shí)間與生產(chǎn)進(jìn)度需求之間產(chǎn)生嚴(yán)重脫節(jié)的局面［6］。

起伏地表Kirchhoff疊前時(shí)間偏移具有計(jì)算密集和I／O 密集的特點(diǎn)，并行計(jì)算方案需要針對算法的運(yùn)行特征和計(jì)算機(jī)集群特點(diǎn)綜合考慮。李偉等［7］對Kirchhoff積分法偏移的并行實(shí)現(xiàn)問題進(jìn)行了研究，提出了按照分治策略進(jìn)行疊前數(shù)據(jù)分割、成像體分塊的實(shí)現(xiàn)方案。Bhardwaj等［8］利用MPI提供的并行I／O 接口進(jìn)行了3D 波動方程疊前深度偏移的算法優(yōu)化，通過I／O 優(yōu)化，使偏移效率提高了30%。目前地震數(shù)據(jù)處理普遍采用集群計(jì)算機(jī)系統(tǒng)，這類系統(tǒng)的CPU 一般為多核結(jié)構(gòu)，單節(jié)點(diǎn)的內(nèi)存大小有限，I／O 帶寬有限，網(wǎng)絡(luò)帶寬有限。針對目前主流處理器集群的特點(diǎn)，王華忠等［9］于2010年提出了一種適用于大規(guī)模數(shù)據(jù)體的三維Kirchhoff積分法偏移實(shí)現(xiàn)方案，該方案將疊前地震數(shù)據(jù)按共偏移距道集形式組織，逐個(gè)偏移距進(jìn)行偏移，很大程度上降低了偏移計(jì)算對內(nèi)存的依賴，同時(shí)，將成像結(jié)果按時(shí)間維度進(jìn)行分塊處理，并充分利用本地盤存儲數(shù)據(jù)，很好地解決了大工區(qū)大規(guī)模數(shù)據(jù)偏移的內(nèi)存不足問題，具有很好的工業(yè)價(jià)值。2012年，王華忠等［10］對以上實(shí)現(xiàn)方案進(jìn)行了優(yōu)化，提出了一種適用于Kirchhoff積分法疊前深度偏移的并行實(shí)現(xiàn)方案，該方案利用OpenMP 多線程技術(shù)實(shí)現(xiàn)了成像域沿時(shí)間切片的任務(wù)級并行，結(jié)合多線程共享內(nèi)存的優(yōu)勢提高了多核處理器的使用效率。偏移計(jì)算時(shí)的數(shù)據(jù)I／O 會嚴(yán)重影響偏移效率，為了降低I／O 對計(jì)算效率的影響，王霖等［11］提出了一種疊前時(shí)間偏移并行模式的流水線改進(jìn)方法，該方法通過建立數(shù)據(jù)緩沖池實(shí)現(xiàn)了I／O與計(jì)算的重疊，但是單緩沖池的實(shí)現(xiàn)機(jī)制使得計(jì)算線程增加了一次數(shù)據(jù)拷貝。

在分布式存儲集群環(huán)境下如何高效實(shí)現(xiàn)三維Kirchhoff疊前時(shí)間偏移的大規(guī)模并行計(jì)算，是一個(gè)值得深入研究的課題。其重點(diǎn)是要解決以下問題：①計(jì)算進(jìn)程個(gè)數(shù)增加帶來的通訊開銷及其導(dǎo)致的偏移效率快速降低問題；②偏移應(yīng)用大規(guī)模部署或者集中式存儲使用密集時(shí)的I／O 競爭問題；③大規(guī)模數(shù)據(jù)偏移時(shí)的內(nèi)存資源有限問題；④在沒有本地盤的處理器集群上進(jìn)行偏移模塊部署應(yīng)用的問題。我們在參考前人研究成果的基礎(chǔ)上，提出了一種適用于積分法偏移的多級并行優(yōu)化方案，并對起伏地表疊前時(shí)間偏移原始算法進(jìn)行了優(yōu)化。

1 起伏地表直接疊前時(shí)間偏移方法

Kirchhoff偏移利用邊界積分方法近似求解波動方程來實(shí)現(xiàn)地震數(shù)據(jù)的成像，該方法的本質(zhì)是基于繞射疊加理論的振幅求和過程，并使用加權(quán)函數(shù)實(shí)現(xiàn)振幅校正。我們首先從反假頻、彎曲射線高階旅行時(shí)計(jì)算以及起伏地表?xiàng)l件下的旅行時(shí)校正3個(gè)方面對方法原理進(jìn)行分析。

1.1 局部三角濾波反假頻

假頻的出現(xiàn)會嚴(yán)重影響Kirchhoff偏移成像結(jié)果。疊前地震數(shù)據(jù)偏移中的假頻一般包括數(shù)據(jù)假頻、算子假頻和成像假頻，在此只討論算子假頻問題。當(dāng)積分算子的求和軌跡太陡，即跨越相鄰道的算子時(shí)差超出時(shí)間采樣率時(shí)，就會發(fā)生算子假頻。Kirchhoff算子反假頻可通過孔徑控制和算子傾角濾波來實(shí)現(xiàn)，但這樣會壓制陡傾角數(shù)據(jù)對成像的貢獻(xiàn)。也可采用道插值方法進(jìn)行反假頻，但由于現(xiàn)代三維采集的數(shù)據(jù)體龐大，這種方法代價(jià)太昂貴，也太笨拙。我們選擇的反假頻方法是Lumley等［12］提出的局部三角濾波反假頻方法，該方法對假頻的壓制效果要優(yōu)于矩形濾波和多帶通濾波方法，而且計(jì)算效率較高。

地震數(shù)據(jù)不產(chǎn)生算子假頻的準(zhǔn)則為

其中，Δt為偏移算子軌跡與相鄰兩道地震記錄相切的兩個(gè)采樣點(diǎn)之間的時(shí)差，tk為旅行時(shí)，Δρ為相鄰兩道地震數(shù)據(jù)的道間隔。根據(jù)（1）式可計(jì)算出三角形濾波器算子長度，即

每一個(gè)成像點(diǎn)的計(jì)算都需要對原始輸入數(shù)據(jù)進(jìn)行N點(diǎn)三角濾波處理，計(jì)算效率較低。為提高三角濾波反假頻的計(jì)算效率，可根據(jù)三角濾波器的頻率響應(yīng)特征，在反假頻前對地震數(shù)據(jù)進(jìn)行一次因果積分和非因果積分處理，在此基礎(chǔ)上將長度為N的三角濾波器替換為一個(gè)3 點(diǎn)的Laplacian算子，從而在保證反假頻處理精度的同時(shí)，大大降低計(jì)算量。

1.2 優(yōu)化的彎曲射線高階旅行時(shí)計(jì)算

實(shí)現(xiàn)疊前時(shí)間偏移的一個(gè)關(guān)鍵環(huán)節(jié)是計(jì)算地震波走時(shí)，所用算法大致可分為3類，即直射線、彎曲射線以及非對稱走時(shí)計(jì)算［13－14］。直射線走時(shí)算法基于均勻介質(zhì)模型，其旅行時(shí)計(jì)算精度低，而利用射線追蹤數(shù)值方法計(jì)算走時(shí)則存在累計(jì)誤差大、穩(wěn)定性及計(jì)算效率低的問題。為了提高旅行時(shí)計(jì)算精度，可利用彎曲射線高階旅行時(shí)計(jì)算方法，在水平層狀介質(zhì)假設(shè)下，不是使用雙曲公式計(jì)算旅行時(shí)，而是將以射線參數(shù)表示的旅行時(shí)tx和偏移距x的參數(shù)方程近似為

（3）式可進(jìn)一步表示為

1.3 起伏地表旅行時(shí)校正及偏移參考面選擇

常規(guī)疊前時(shí)間偏移一般在統(tǒng)一基準(zhǔn)面上進(jìn)行，在地形變化較劇烈的地區(qū)，采用統(tǒng)一基準(zhǔn)面校正后再偏移會因靜校正的地表一致性假設(shè)而引起波場畸變。當(dāng)近地表速度穩(wěn)定且高差變化不大時(shí)，可采用浮動基準(zhǔn)面為偏移參考面，如圖1所示。其中紅色虛線為當(dāng)前成像點(diǎn)處對應(yīng)的局部水平偏移成像基準(zhǔn)面。

社會福利政策質(zhì)量評價(jià)方法是指在社會福利政策質(zhì)量評價(jià)中所采用的具體方法，它是實(shí)現(xiàn)社會福利政策質(zhì)量評價(jià)的必要手段。從一定角度來看，社會福利政策質(zhì)量評價(jià)方法的選用，決定了社會福利政策質(zhì)量評價(jià)是否成功。近幾十年來，隨著政策科學(xué)的發(fā)展，各種新的評價(jià)方法不斷涌現(xiàn)，大大豐富了社會福利政策質(zhì)量評價(jià)的實(shí)踐活動。從方法論的角度劃分，可以是經(jīng)驗(yàn)分析的方法，也可以是演繹推理的方法；從事物質(zhì)和量的角度劃分，可以是定性的分析方法，也可以是定量的分析方法或者二者結(jié)合使用的分析方法；從評價(jià)工具的角度劃分，可以是傳統(tǒng)的方法，也可以是現(xiàn)代的科學(xué)方法④。

圖1 起伏地表走時(shí)及成像基準(zhǔn)面選擇

在浮動基準(zhǔn)面作為偏移基準(zhǔn)面的條件下，以直射線為例，地震波的雙程走時(shí)可表示為

其中tS和tR分別表示炮點(diǎn)走時(shí)和接收點(diǎn)走時(shí)，t0為以成像基準(zhǔn)面表示的自激自收時(shí)間，hS和hR分別表示炮點(diǎn)高程和接收點(diǎn)高程，hM表示成像基準(zhǔn)面高程，v0為替換速度，xS和xR分別為炮點(diǎn)和接收點(diǎn)到共中心點(diǎn)M的水平距離，vs為均方根速度。

2 多級并行方案設(shè)計(jì)及優(yōu)化

2.1 原始算法的并行性分析

Kirchhoff疊前時(shí)間偏移作為積分類偏移，其算法本身適應(yīng)于單道數(shù)據(jù)處理，道與道之間并無依賴，這種特性決定了偏移能以很細(xì)的粒度實(shí)現(xiàn)高度并行，理論上具有良好的并行加速比。算法對硬件資源的依賴主要體現(xiàn)在：①反假頻和對地震道（集）數(shù)據(jù)進(jìn)行成像處理占用了絕大部分計(jì)算資源；②保存偏移計(jì)算過程中的成像道集占用了大部分內(nèi)存資源；③疊前數(shù)據(jù)的讀取占用了大部分I／O 資源。

圖2 Kirchhoff疊前時(shí)間偏移原始算法流程

圖3 Kirchhoff疊前時(shí)間偏移原始算法偽碼

圖2和圖3分別為該算法未采用多級并行優(yōu)化前的MPI多進(jìn)程并行實(shí)現(xiàn)流程和偽碼。該算法實(shí)現(xiàn)了對成像體的分塊并行處理，每個(gè)節(jié)點(diǎn)啟動的進(jìn)程數(shù)由當(dāng)前節(jié)點(diǎn)的CPU 核數(shù)決定，進(jìn)程間采用對等模式的并行設(shè)計(jì)，主控進(jìn)程負(fù)責(zé)按照道粒度逐道讀取輸入的CMP道集數(shù)據(jù)，并將該道數(shù)據(jù)通過消息傳遞廣播給各個(gè)子進(jìn)程（包括主進(jìn)程自己），所有進(jìn)程對該道數(shù)據(jù)進(jìn)行反假頻濾波，實(shí)現(xiàn)對成像體的分塊偏移處理。這種并行模式存在木桶效應(yīng)，即計(jì)算速度由最慢的進(jìn)程決定，同時(shí)這種實(shí)現(xiàn)模式需要開辟整個(gè)成像道集的內(nèi)存空間，內(nèi)存消耗很大。斷點(diǎn)保護(hù)輸出的臨時(shí)文件存儲在本地盤，每個(gè)進(jìn)程計(jì)算的偏移結(jié)果存于集中式存儲上，最后由主控進(jìn)程對每個(gè)進(jìn)程計(jì)算的分塊成像結(jié)果進(jìn)行組合，形成最終的偏移成像數(shù)據(jù)體。

該并行方案存在3個(gè)方面的問題：

1）只有主控進(jìn)程進(jìn)行地震數(shù)據(jù)的I／O 操作，不能充分發(fā)揮高性能并行文件系統(tǒng)的優(yōu)勢，并且主控進(jìn)程在承擔(dān)I／O 任務(wù)的同時(shí)，還承擔(dān)偏移計(jì)算任務(wù)，導(dǎo)致進(jìn)程間負(fù)載不均衡。

2）單道讀取、單道廣播的細(xì)粒度實(shí)現(xiàn)機(jī)制降低了磁盤的I／O 性能，同時(shí)，因?yàn)閱蝹€(gè)進(jìn)程沒有數(shù)據(jù)緩沖功能，導(dǎo)致進(jìn)程間，特別是節(jié)點(diǎn)規(guī)模較大時(shí)的同步開銷很大，影響計(jì)算性能。

3）進(jìn)程間雖然進(jìn)行了成像體分塊處理，但是由于缺乏共享內(nèi)存的多線程并行機(jī)制，在輸出成像道集時(shí)每個(gè)節(jié)點(diǎn)（運(yùn)行著多個(gè)進(jìn)程）的內(nèi)存消耗仍非常大，難以適應(yīng)目前大規(guī)模工區(qū)的處理要求。

表1 原始算法的數(shù)據(jù)讀取及通訊時(shí)間

2.2 優(yōu)化的多級并行框架

三維Kirchhoff疊前時(shí)間偏移的實(shí)現(xiàn)只有適應(yīng)計(jì)算機(jī)集群的體系結(jié)構(gòu)才能獲得最佳的計(jì)算效率，一個(gè)高效的并行計(jì)算方案設(shè)計(jì)及優(yōu)化必須綜合考慮計(jì)算平臺的計(jì)算能力、存儲能力、I／O 特點(diǎn)、網(wǎng)絡(luò)通訊開銷以及數(shù)據(jù)處理規(guī)模等多個(gè)因素。不同的大規(guī)模地震數(shù)據(jù)疊前偏移處理方案，由于采用的并行計(jì)算框架和并行計(jì)算策略不同，它們的執(zhí)行效率和可擴(kuò)展性也存在較大的差別［10］。

當(dāng)前計(jì)算機(jī)集群往往具有節(jié)點(diǎn)多、單節(jié)點(diǎn)內(nèi)存容量有限、本地盤小、共享盤大和多I／O 通道等特點(diǎn)，在綜合考慮內(nèi)存使用量、地震數(shù)據(jù)I／O 量、I／O效率以及偏移成像精度的基礎(chǔ)上，以解決原始算法中影響計(jì)算效率的3個(gè)關(guān)鍵問題為目標(biāo)，我們設(shè)計(jì)了如圖4所示的一個(gè)新的多級并行計(jì)算框架。

圖4 多級并行計(jì)算框架

數(shù)據(jù)域并行是三級并行計(jì)算框架的第一級并行，主要實(shí)現(xiàn)了共偏移距域的多進(jìn)程主從式并行，重點(diǎn)解決了負(fù)載均衡問題。用于保證進(jìn)程間負(fù)載均衡的技術(shù)很多，總體上可分為兩類：任務(wù)靜態(tài)分配和任務(wù)動態(tài)分配。任務(wù)靜態(tài)分配負(fù)載均衡策略的優(yōu)點(diǎn)是易于實(shí)現(xiàn)，但往往局限于每個(gè)節(jié)點(diǎn)計(jì)算能力相當(dāng)?shù)那闆r，在節(jié)點(diǎn)之間計(jì)算能力差異比較大時(shí)，會出現(xiàn)任務(wù)分割很均衡而計(jì)算時(shí)間不均衡的情況。因此，我們采用主從式多進(jìn)程并行策略和按需分配的方式實(shí)現(xiàn)進(jìn)程間的動態(tài)負(fù)載均衡。對主進(jìn)程來說，首先接收提出任務(wù)請求的計(jì)算進(jìn)程ID，然后將下一個(gè)要處理的數(shù)據(jù)塊ID 分配給申請進(jìn)程；對計(jì)算進(jìn)程來說，首先發(fā)送自己的進(jìn)程ID 給主控進(jìn)程，然后接收申請到的數(shù)據(jù)塊ID，再進(jìn)行下一步的處理。主控進(jìn)程只負(fù)責(zé)控制地震數(shù)據(jù)的分發(fā)而不需要讀取地震數(shù)據(jù)，地震數(shù)據(jù)的讀取由各個(gè)計(jì)算進(jìn)程根據(jù)申請到的數(shù)據(jù)塊ID 從磁盤讀取。由于各個(gè)計(jì)算進(jìn)程讀取的地震數(shù)據(jù)不一樣，因此當(dāng)一個(gè)偏移距偏移完成后，需要對當(dāng)前偏移距的偏移結(jié)果進(jìn)行規(guī)約操作。

三級并行計(jì)算框架的第二級實(shí)現(xiàn)了I／O 與計(jì)算的異步并行。疊前偏移中面臨著突出的I／O 問題，在集群規(guī)模大、存儲使用密集時(shí)，I／O 瓶頸尤其嚴(yán)重。為降低I／O 對計(jì)算性能的影響，在考慮到高性能集中式存儲往往具有多I／O 通道的情況下，進(jìn)行了I／O 并行優(yōu)化。I／O 線程和控制線程的流程及異步通訊方式如圖5和圖6所示，每個(gè)計(jì)算進(jìn)程利用多線程技術(shù)產(chǎn)生兩個(gè)線程，其中一個(gè)線程負(fù)責(zé)數(shù)據(jù)I／O，另外一個(gè)線程負(fù)責(zé)控制偏移計(jì)算。這兩個(gè)線程可以實(shí)現(xiàn)異步并行，將I／O 與計(jì)算重疊進(jìn)行，其中I／O 線程與控制線程通過Pthread信號量實(shí)現(xiàn)線程間的通訊及交互控制。為了使兩個(gè)線程能交替訪問同一個(gè)緩沖區(qū)從而實(shí)現(xiàn)緩沖數(shù)據(jù)的零拷貝，在圖5和圖6所示的控制邏輯下可以分別在兩個(gè)線程中設(shè)置一個(gè)稱為Buffer ID 的計(jì)數(shù)器（兩個(gè)線程的Buffer ID 初始值必須相同，每循環(huán)一次進(jìn)行一次加1操作），只需要判斷該計(jì)數(shù)器的奇偶性就可以實(shí)現(xiàn)緩沖數(shù)據(jù)的零拷貝。

圖5 I／O 線程流程

圖6 控制線程流程

在輸入數(shù)據(jù)已經(jīng)讀入緩沖區(qū)后，利用共享內(nèi)存實(shí)現(xiàn)多線程成像域并行，這是多級并行計(jì)算框架的第三級并行。線程間采用靜態(tài)任務(wù)分割方式實(shí)現(xiàn)成像體的分塊并行，線程間無通訊和依賴關(guān)系。由于每一個(gè)成像道及其對應(yīng)的成像點(diǎn)的偏移孔徑并不相同，為保證線程間的計(jì)算負(fù)載均衡，我們采用成像塊跳躍劃分方式（圖4）進(jìn)行并行處理。通過逐個(gè)偏移距順序進(jìn)行偏移以及單節(jié)點(diǎn)上的多線程共享內(nèi)存機(jī)制，很大程度上降低了大工區(qū)偏移處理時(shí)的內(nèi)存瓶頸，但由于每個(gè)偏移距道集的成像結(jié)果仍然是一個(gè)三維成像空間，在工區(qū)規(guī)模非常大時(shí)，單個(gè)節(jié)點(diǎn)內(nèi)存可能會出現(xiàn)不夠用的情況，這時(shí)可以將偏移分成多個(gè)作業(yè)進(jìn)行。

3 實(shí)際數(shù)據(jù)測試與分析

我們所有測試所用集群系統(tǒng)環(huán)境由34 個(gè)SMP節(jié)點(diǎn)組成，每個(gè)SMP節(jié)點(diǎn)有2個(gè)CPU（CPU型號為Intel Xeon X5650，主頻為2.67GHz）、48GB內(nèi)存、2個(gè)600GB 硬盤，集中存儲為Panasas并行集群存儲系統(tǒng)。測試數(shù)據(jù)為某工區(qū)實(shí)際疊前地震數(shù)據(jù)，數(shù)據(jù)大小70GB，共計(jì)5 945 570道，記錄道長度為6s，時(shí)間采樣間隔為2ms。偏移計(jì)算的參數(shù)如下：最小偏移距為0，最大偏移距為12 000m，偏移距間隔為400m，最大偏移孔徑為8 000m，成像時(shí)間6s，成像采樣間隔為2ms。

優(yōu)化前的算法測試使用了34 個(gè)節(jié)點(diǎn)，共計(jì)397個(gè)進(jìn)程，除了1個(gè)控制進(jìn)程外還包含396個(gè)計(jì)算進(jìn)程；優(yōu)化后的算法測試使用了34個(gè)節(jié)點(diǎn)，共計(jì)34個(gè)進(jìn)程，除了1個(gè)控制進(jìn)程外還包含33×12＝396個(gè)計(jì)算線程。圖7a和圖7b分別為算法優(yōu)化前、后偏移計(jì)算時(shí)某計(jì)算節(jié)點(diǎn)的監(jiān)控結(jié)果（暗綠色表示CPU 利用率，亮綠色表示有效浮點(diǎn)計(jì)算效率，棕色表示系統(tǒng)占用時(shí)間），從圖7a不難發(fā)現(xiàn)，算法優(yōu)化前計(jì)算節(jié)點(diǎn)出現(xiàn)了CPU 有效利用率不足的情況，體現(xiàn)在系統(tǒng)占用時(shí)間非常明顯（棕紅色），而圖7b顯示算法優(yōu)化后計(jì)算節(jié)點(diǎn)的CPU 資源已經(jīng)得到了充分利用，計(jì)算節(jié)點(diǎn)未監(jiān)控到系統(tǒng)占用時(shí)間，CPU 的實(shí)際性能得到了提高。

圖7 算法優(yōu)化前（a）、后（b）利用Paramon軟件監(jiān)控的某計(jì)算節(jié)點(diǎn)CPU 利用情況

圖8a和圖8b分別為算法優(yōu)化前、后主控節(jié)點(diǎn)的網(wǎng)絡(luò)通訊監(jiān)控結(jié)果，對比可見，算法優(yōu)化后主控節(jié)點(diǎn)的數(shù)據(jù)發(fā)送和數(shù)據(jù)接收量明顯降低。圖9a和圖9b分別為算法優(yōu)化前、后某計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)通訊監(jiān)控結(jié)果，算法優(yōu)化后網(wǎng)絡(luò)通訊頻率明顯降低，這是由于優(yōu)化前的算法只能以道粒度從主控節(jié)點(diǎn)獲得數(shù)據(jù)，而優(yōu)化后的算法通過數(shù)據(jù)緩沖池以數(shù)據(jù)塊粒度從硬盤直接讀取數(shù)據(jù)。

表2為算法優(yōu)化前后偏移計(jì)算的用時(shí)統(tǒng)計(jì)結(jié)果，多級并行優(yōu)化技術(shù)在提高算法大規(guī)模部署能力的同時(shí)，使算法運(yùn)行效率提高了12%左右，這種提高對于大規(guī)模集群系統(tǒng)將更加顯著。

圖10a和圖10b分別為算法優(yōu)化前后L620線的部分偏移剖面，為了方便對比，沒有對剖面進(jìn)行增益處理，從視覺上很難發(fā)現(xiàn)圖10a和圖10b的差異（兩個(gè)剖面的相似系數(shù)為0.998 92）。圖10c為圖10a和圖10b的差異剖面，產(chǎn)生差異的原因有兩個(gè)，一是算法優(yōu)化前后采用的工區(qū)定義方式不同，從而引入了工區(qū)定義精度誤差；二是多級并行優(yōu)化本身引入的精度誤差，優(yōu)化后的算法改變了輸入數(shù)據(jù)的處理順序，也就改變了成像結(jié)果的累加順序，而浮點(diǎn)數(shù)的累加順序會影響累加結(jié)果。

圖8 算法優(yōu)化前（a）、后（b）監(jiān)控的主控節(jié)點(diǎn)網(wǎng)絡(luò)流量

圖9 算法優(yōu)化前（a）、后（b）監(jiān)控的某計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)流量

表2 算法優(yōu)化前、后計(jì)算時(shí)間

圖10 算法優(yōu)化前（a）、后（b）的偏移剖面及差異剖面（c）

4 結(jié)束語

我們分析了起伏地表疊前時(shí)間偏移的基本原理及提高偏移精度的特色處理方法，重點(diǎn)針對原始算法實(shí)用化過程中影響計(jì)算效率和部署規(guī)?？蓴U(kuò)展性的關(guān)鍵問題，提出了一種適用于積分法偏移處理的多級并行計(jì)算架構(gòu)，并進(jìn)行了算法優(yōu)化和大規(guī)模測試，驗(yàn)證了三級并行計(jì)算架構(gòu)在計(jì)算效率提升和規(guī)?？蓴U(kuò)充性方面的有效性。

1）利用MPI多進(jìn)程技術(shù)進(jìn)行偏移距域的數(shù)據(jù)域并行，消除了成像域并行這一簡單并行模式帶來的地震數(shù)據(jù)廣播以及成像結(jié)果規(guī)約等通訊開銷，能提高算法大規(guī)模部署時(shí)的適應(yīng)能力，大大降低內(nèi)存資源消耗。在具體實(shí)現(xiàn)時(shí)，每個(gè)計(jì)算進(jìn)程并行進(jìn)行地震數(shù)據(jù)的I／O，有效發(fā)揮了并行文件系統(tǒng)的優(yōu)勢。

2）基于Pthread多線程技術(shù)，采用生產(chǎn)者－消費(fèi)者模型和雙緩沖零拷貝技術(shù)實(shí)現(xiàn)了數(shù)據(jù)I／O 與偏移計(jì)算的異步并行，降低了I／O 對計(jì)算性能的影響。

3）單個(gè)計(jì)算節(jié)點(diǎn)上只啟動一個(gè)計(jì)算進(jìn)程，進(jìn)程內(nèi)利用Pthread多線程技術(shù)實(shí)現(xiàn)的成像域任務(wù)級并行有效降低了偏移計(jì)算的總進(jìn)程數(shù)，多線程間共享內(nèi)存的機(jī)制提高了多核處理器的利用效率，同時(shí)也大大降低了內(nèi)存消耗。

［1］朱海波，林伯香，徐兆濤，等.起伏地表疊前時(shí)間偏移處理流程及其應(yīng)用研究［J］.石油物探，2012，51（5）：486－492 Zhu H B，Lin B X，Xu Z T，et al.Prestack time migration scheme from rugged topography and its application［J］.Geophysical Prospecting for Petroleum，2012，51（5）：486－492

［2］郝軍，楊瑞娟，吳靖，等.復(fù)雜地表地震資料靜校正問題的處理［J］.復(fù)雜油氣藏，2011，4（3）：34－37 Hao J，Yang R J，Wu J，et al.Processing of static correction problems of seismic data in the complex surface［J］.Complex Hydrocarbon Reservoirs，2011，4（3）：34－37

［3］程玖兵，馬在田，陶正喜，等.山前帶復(fù)雜構(gòu)造成像方法研究［J］.石油地球物理勘探，2006，41（5）：525－529 Cheng J B，Ma Z T，Tao Z X，et al.Imaging study of piedmont complex structures［J］.Oil Geophysical Prospecting，2006，41（5）：525－529

［4］趙改善.我們需要多大和多快的計(jì)算機(jī)？［J］.勘探地球物理進(jìn)展，2004，27（1）：22－28 Zhao G S.How big and fast computers can meet our needs？［J］.Progress in Exploration Geophysics，2004，27（1）：22－28

［5］諶艷春，李守濟(jì)，姚盛，等.高精度三維疊前時(shí)間偏移處理技術(shù)在四扣地區(qū)的應(yīng)用［J］.石油物探，2005，44（4）：370－373 Chen Y C，Li S J，Yao S，et al.Application of highprecision 3－D pre－stack time migration in Sikou area［J］.Geophysical Prospecting for Petroleum，2005，44（4）：370－373

［6］齊俊寧，朱敏，吳彥偉，等.海量數(shù)據(jù)疊前時(shí)間偏移方法［J］.天然氣工業(yè)，2008，28（11）：46－48 Qi J N，Zhu M，Wu Y W，et al.The method of prestack time migration in processing enormous data［J］.Natural Gas Industry，2008，28（11）：46－48

［7］李偉，顧乃杰，劉振寬，等.三維疊前Kirchhoff深度偏移軟件在并行計(jì)算機(jī)上的實(shí)現(xiàn)技術(shù)［J］.計(jì)算機(jī)工程與應(yīng)用，2002，20（4）：211－214 Li W，Gu N J，Liu Z K，et al.3－D pre－stack Kirchhoff depth migration and its parallel calculation technique［J］.Computer Engineering and Applications，2002，20（4）：211－214

［8］Bhardwaj D，Yerneni S，Phadke S.Efficient parallel I／O for seismic imaging in a distributed computing environment［J］.Proceedings of 3rdConference and Exposition on Petroleum Geophysics，2000，105－108

［9］王華忠，蔡杰雄，孔祥寧，等.適于大規(guī)模數(shù)據(jù)的三維Kirchhoff積分法體偏移實(shí)現(xiàn)方案［J］.地球物理學(xué)報(bào)，2010，53（7）：1699－1709 Wang H Z，Cai J X，Kong X N，et al.An implementation of Kirchhoff integral prestack migration for large－scale data［J］.Oil Geophysical Prospecting，2010，53（7）：1699－1709

［10］王華忠，劉少勇，孔祥寧，等.大規(guī)模三維地震數(shù)據(jù)Kirchhoff疊前深度偏移及其并行實(shí)現(xiàn)［J］.石油地球物理勘探，2012，47（3）：404－410 Wang H Z，Liu S Y，Kong X N，et al.3D Kirchhoff PSDM for large－scale seismic data and its parallel implementation strategy［J］.Oil Geophysical Prospecting，2012，47（3）：404－410

［11］王霖，晏海華.一種疊前時(shí)間偏移并行模式的流水線改進(jìn)方法［J］.微電子學(xué)與計(jì)算機(jī)，2008，25（10）：54－57 Wang L，Yan H H.Method of improving performance of Kirchhoff prestack time migration parallel pattern through pipelining［J］.Microelectronics ＆Computer，2008，25（10）：54－57

［12］Lumley D E，Claerbout J F，Bevc D.Anti－aliased Kirchhoff 3－D migration［J］.Expanded Abstracts of 64thAnnual Internat SEG Mtg，1994，1282－1285

［13］劉洪，劉國鋒，李博，等.基于橫向?qū)?shù)的走時(shí)計(jì)算方法及其在疊前時(shí)間偏移中的應(yīng)用［J］.石油物探，2009，48（1）：3－10 Liu H，Liu G F，Li B，et al.The travel time calculation method via lateral derivative of velocity and its application in pre－stack time migration［J］.Geophysical Prospecting for Petroleum，2009，48（1）：3－10

［14］朱海波，方伍寶，孔祥寧，等.擴(kuò)展的橫向變速疊前時(shí)間偏移技術(shù)［J］.石油物探，2009，48（2）：153－156 Zhu H B，F(xiàn)ang W B，Kong X N，et al.Extended prestack time migration for laterally variable velocity［J］.Geophysical Prospecting for Petroleum，2009，48（2）：153－156