基于超大內(nèi)存節(jié)點的波動方程逆時偏移高效實現(xiàn)

包紅林,李 敏,張 萌

(中國石油化工股份有限公司石油物探技術(shù)研究院,江蘇南京211103)

1 問題分析

波動方程逆時偏移成像主要由雙程波動方程延拓和波場成像兩步構(gòu)成,先對震源波場采用雙程波方程正向外推,并保存外推波場數(shù)據(jù);然后對接收波場采用雙程波方程反向外推,并在外推過程中讀取記錄的震源外推波場快照,應用成像條件獲取成像值,所有時間步求和得到單炮成像數(shù)據(jù)體。隨著油氣勘探向深層目標體和精細勘探方向發(fā)展,野外勘探普遍采用高精度與高密度地震采集技術(shù),地震數(shù)據(jù)規(guī)模不斷增大。對逆時偏移計算而言,地震數(shù)據(jù)規(guī)模增大,使得單炮數(shù)據(jù)成像空間規(guī)模增大,波場外推計算量與波場數(shù)據(jù)量增大。對大規(guī)模地震數(shù)據(jù)進行逆時偏移計算時,巨大的計算與存儲需求成為制約逆時偏移計算效率的主要因素[1-3]。

隨著GPU技術(shù)出現(xiàn),利用GPU強大并行計算能力進行逆時偏移波場有限差分延拓計算,節(jié)點內(nèi)采用CPU/GPU異構(gòu)協(xié)同平臺進行炮集逆時偏移計算[1-3],使用一定規(guī)模計算節(jié)點組成的集群進行多炮數(shù)據(jù)的并行計算,已成為大規(guī)模地震數(shù)據(jù)逆時偏移計算的標配模式,基本滿足了其對海量計算的需求。但逆時偏移的大數(shù)據(jù)量波場數(shù)據(jù)存儲需求一直沒有得到有效解決,嚴重影響了逆時偏移計算的效率提升。

逆時偏移集群計算節(jié)點,通常配置2個Intel多核CPU和2個GPU(硬件架構(gòu)見圖1),每個CPU采用6個高速內(nèi)存通道連接12個內(nèi)存插槽,GPU采用PCIe3.0×16通道連接CPU,GPU0讀寫CPU0直連內(nèi)存的速度可達12GB/s,構(gòu)成1個高帶寬、低延遲互聯(lián)的CPU/GPU計算單元。理想條件下,每個計算節(jié)點可由2個CPU/GPU計算單元同時進行兩炮數(shù)據(jù)的偏移計算。計算節(jié)點使用DRAM內(nèi)存,因DRAM內(nèi)存的密度及功耗受制造工藝限制,內(nèi)存條存在容量低、價格高與功耗大的問題,內(nèi)存條容量多為16GB或32GB,計算節(jié)點的24個內(nèi)存插槽最多可配置768GB內(nèi)存,內(nèi)存總價高,功耗也會變得更高,因此,集群計算節(jié)點一般最多配置為192GB或256GB內(nèi)存,需配置大容量的SAS或SSD硬盤來滿足應用數(shù)據(jù)存儲需求。

圖1 計算節(jié)點硬件架構(gòu)示意

單炮逆時偏移先進行震源波場正傳計算,需要存儲相關(guān)成像計算所需的震源波場數(shù)據(jù),數(shù)據(jù)存儲規(guī)模很大。以實際生產(chǎn)處理的某大規(guī)模地震數(shù)據(jù)為例,該地震數(shù)據(jù)共87838炮,成像范圍為2901(Nx)×2901(Ny)×1501(Nz)(Nx,Ny,Nz分別為x,y,z方向的成像網(wǎng)格點數(shù)),成像網(wǎng)格為20m×20m×10m,單炮7027道,成像計算網(wǎng)格數(shù)為563×487×1501,偏移最大外推時間為6s,采樣間隔為0.7ms,延拓總步數(shù)Nt為8285,每隔10步進行一次相關(guān)成像計算,因此震源波場數(shù)據(jù)需要存儲830步,每步波場數(shù)據(jù)存儲量約為1.533GB,單炮震源波場數(shù)據(jù)總存儲量約為1272.5GB。常用計算節(jié)點配置的256GB內(nèi)存,難以滿足波場數(shù)據(jù)存儲需求,為此逆時偏移計算通常使用以計算換存儲的震源波場重構(gòu)方法(或波場存儲策略)來降低波場數(shù)據(jù)存儲量。文獻[4]提出了基于邊界存儲和基于檢查點技術(shù)的有效邊界存儲策略,并測試對比了不同存儲策略的計算量與波場存儲量;文獻[5]對比了隨機邊界存儲、基于吸收邊界的全波場存儲、檢查點存儲、有效邊界存儲等4種存儲策略的計算成本與存儲量需求,討論分析了隨機邊界和有效邊界存儲策略的計算效率和成像精度;文獻[6]對比了隨機邊界法、有效邊界法和檢查點技術(shù)等波場重構(gòu)方法的優(yōu)缺點,提出了基于優(yōu)化檢查點技術(shù)的波場插值重構(gòu)方法。由此可知,在常用的波場重構(gòu)方法中,隨機邊界存儲策略無需存儲波場數(shù)據(jù),但在淺層邊界處會產(chǎn)生較為明顯的噪聲干擾,檢查點與有效邊界存儲策略則需要通過本地硬盤存儲波場數(shù)據(jù)[4-6]。

本文以采用檢查點技術(shù)的TTI介質(zhì)逆時偏移方法為例,此方法通過使用無損壓縮算法,進一步降低波場數(shù)據(jù)本地硬盤存儲量,其計算流程如圖2所示。主要步驟包括:①GPU震源波場正傳計算,CPU將檢查點震源波場數(shù)據(jù)壓縮后存儲到硬盤,從最后一個檢查點對應時間(Nc)開始至延拓計算最大時間,CPU將相關(guān)成像計算所需的震源波場數(shù)據(jù)存儲到內(nèi)存;②GPU檢波點波場反傳計算,從延拓計算最大時間至最后一個檢查點對應時間(Nc),CPU從內(nèi)存讀取其對應時間的震源波場數(shù)據(jù),傳送給GPU進行相關(guān)成像計算;③GPU檢波點反傳計算前,CPU先從硬盤讀取壓縮后的檢查點波場數(shù)據(jù)到內(nèi)存解壓,并傳送給GPU進行震源波場重構(gòu)計算,將重構(gòu)震源波場中相關(guān)成像計算所需的震源波場數(shù)據(jù)存儲到內(nèi)存;④GPU檢波點波場反傳計算,CPU從內(nèi)存讀取對應時間的震源波場數(shù)據(jù),傳送給GPU進行相關(guān)成像計算。重復進行步驟③與步驟④,最終獲得整個成像結(jié)果。由此可見,采用檢查點技術(shù)進行波場重構(gòu),使得總的偏移計算量由2Nt增加到接近3Nt(Nt為總的計算時間步),計算量約增加1/2,增加波場重構(gòu)計算是影響逆時偏移計算效率的一個主要因素。由于需要通過本地硬盤進行檢查點波場數(shù)據(jù)存取,以前面提到的大規(guī)模地震數(shù)據(jù)為例,單炮偏移計算時,因采用無損壓縮檢查點波場數(shù)據(jù)的方法,需本地硬盤存儲的所有檢查點波場數(shù)據(jù)中最大存儲量約為3.1GB,SSD磁盤寫入數(shù)據(jù)需要9s,讀取數(shù)據(jù)需要7s;SAS磁盤存儲讀或?qū)懭霐?shù)據(jù)需要22s,SAS磁盤讀寫時間約是SSD硬盤的3倍。通過采用GPU計算與CPU硬盤異步讀寫的優(yōu)化方法,可以部分隱藏硬盤讀寫時間。但是因本地硬盤低速讀寫性能引起的較長數(shù)據(jù)讀寫時間仍是影響逆時偏移計算效率的一個因素。

圖2 常規(guī)檢查點技術(shù)逆時偏移計算流程

2 解決方案

隨著IT技術(shù)的發(fā)展,研究新計算機技術(shù)用于逆時偏移,使其更加高效地進行大規(guī)模地震數(shù)據(jù)處理,一直是逆時偏移應用發(fā)展的一個重要研究方向。本文從逆時偏移目前存在的震源波場數(shù)據(jù)存儲問題出發(fā),通過研究分析存儲技術(shù)發(fā)展和新產(chǎn)品應用,提出計算節(jié)點超大內(nèi)存配置與波場數(shù)據(jù)內(nèi)存存儲方案,提升逆時偏移的計算效率。

2.1 混合內(nèi)存技術(shù)與性能分析

隨著大數(shù)據(jù)時代的來臨,處理數(shù)據(jù)量迅速增長,以Apache Spark為代表的大數(shù)據(jù)內(nèi)存計算正被廣泛部署應用,內(nèi)存計算是將處理數(shù)據(jù)全部存放在內(nèi)存中進行實時計算與處理的高性能并行計算,擺脫低速磁盤性能限制,大幅提升數(shù)據(jù)吞吐量與讀寫速度,成為海量數(shù)據(jù)分析的利器[7-8]?；赟park內(nèi)存計算框架的逆時偏移成像技術(shù)研究也已開展[9]。面對動態(tài)隨機存取存儲器(dynamic random access memory,DRAM)的存儲密度與功耗受制造工藝限制問題,近幾年一些新型非易失性隨機存儲(non-volatile memory,NVM)介質(zhì)相繼推出,具有存儲密度大、靜態(tài)能耗低、價格低廉等特性,但因存在寫性能低及寫壽命有限等問題,目前難以全面取代DRAM,因此利用DRAM與NVM各自性能優(yōu)點的混合內(nèi)存體系被廣泛關(guān)注。已有研究設(shè)計了線性統(tǒng)一編址混合內(nèi)存、DRAM作為NVM緩存的混合內(nèi)存、分層混合內(nèi)存等3種混合內(nèi)存硬件體系結(jié)構(gòu),并開展了體系結(jié)構(gòu)、操作系統(tǒng)、編程模型等軟件方面的研發(fā),來實現(xiàn)大幅提升服務(wù)器的內(nèi)存容量并降低成本,滿足內(nèi)存計算快速增長的內(nèi)存容量需求[7-8,10-11]。2015年推出了一種全新的非易失存儲技術(shù)3D Xpoint,采用多層次的三維交叉點陣列結(jié)構(gòu),相比DRAM存儲密度提高10倍,基于此技術(shù)的Intel Optane SSD硬盤能夠提供高達4GB/s的帶寬[10-11]。2018年推出了基于3D Xpoint技術(shù)的傲騰內(nèi)存,其與DDR4內(nèi)存插槽兼容,具有接近DDR4內(nèi)存的讀寫速度和延遲,提供128,256,512GB 3種規(guī)格內(nèi)存條;需要Intel第二代至強可擴展處理器支持,采用混合內(nèi)存架構(gòu),DDR4內(nèi)存用作三級高速緩存,傲騰內(nèi)存用作主內(nèi)存;1臺雙CPU服務(wù)器的24個內(nèi)存插槽通常采用12個DDR4與12個傲騰內(nèi)存條或12個DDR4與8個傲騰內(nèi)存條配置模式,最高可配置6TB傲騰內(nèi)存。傲騰內(nèi)存技術(shù)為大內(nèi)存計算及人工智能提供平臺基礎(chǔ)支撐,也為逆時偏移等大數(shù)據(jù)量存儲需求的地震數(shù)據(jù)處理方法研究及軟件研發(fā)提供了一個全新的內(nèi)存存儲解決方案。

2.2 計算節(jié)點超大內(nèi)存配置和波場數(shù)據(jù)內(nèi)存存儲方案設(shè)計

基于傲騰內(nèi)存配置,我們設(shè)計了超大內(nèi)存計算節(jié)點配置方案。計算節(jié)點配置2個支持傲騰內(nèi)存的Intel第二代至強可擴展處理器?；谀鏁r偏移存儲需求分析及性價比考慮,選用128GB傲騰內(nèi)存條及8GB DDR4內(nèi)存條,采用12×128GB傲騰內(nèi)存+12×8GB內(nèi)存配置模式,共配置96GB DDR4內(nèi)存+1536GB傲騰內(nèi)存,可滿足逆時偏移內(nèi)存存儲需求。節(jié)點安裝RedHat7.6及以上操作系統(tǒng),操作系統(tǒng)與應用程序無需修改就可運行。

基于超大內(nèi)存計算節(jié)點,可根據(jù)震源波場數(shù)據(jù)大小,采用內(nèi)存直接存取或內(nèi)存無損壓縮存取的方法,實現(xiàn)逆時偏移波場數(shù)據(jù)內(nèi)存存儲。以前面的大規(guī)模地震數(shù)據(jù)為例,單炮偏移計算時存儲的相關(guān)成像計算所需的震源波場數(shù)據(jù)量約為1272.5GB,無損壓縮后的存儲量約為626.8GB,此時單臺計算節(jié)點的內(nèi)存可滿足兩炮同時偏移計算的波場數(shù)據(jù)存儲需求。針對單計算節(jié)點單炮偏移計算而言,如果延拓計算總步數(shù)為10000,每隔10步進行一次相關(guān)成像計算,那么需要存儲1000步的震源波場數(shù)據(jù)。以1536GB傲騰內(nèi)存容量為例進行測算,可滿足不超過3110GB的震源波場數(shù)據(jù)無損壓縮后的存儲,每步震源波場的最大存儲量為3.11GB,由此推算出最大成像計算網(wǎng)格數(shù)可達913×913×1001或745×745×1501。在此情況下,單炮偏移計算采用計算節(jié)點內(nèi)2個CPU/GPU計算單位協(xié)同計算的方法,以滿足其對GPU顯存及GPU計算性能的需求,并通過GPU計算與邊界數(shù)據(jù)交換異步執(zhí)行的優(yōu)化方法實現(xiàn)邊界數(shù)據(jù)交換時間的隱藏[1-3]。

采用震源波場數(shù)據(jù)內(nèi)存存儲的逆時偏移計算流程見圖3。主要步驟包括:①GPU震源波場正傳計算,CPU將相關(guān)成像計算所需的震源波場數(shù)據(jù)直接或無損壓縮存放到內(nèi)存中;②GPU檢波點波場反傳計算,CPU從內(nèi)存直接或解壓讀取對應時間的震源波場數(shù)據(jù),傳送給GPU進行相關(guān)成像計算。重復進行步驟②,獲得最終成像結(jié)果。采用震源波場數(shù)據(jù)內(nèi)存存儲的方法,將單炮偏移總計算量從3Nt降到最小計算量2Nt,計算效率提升1/3。由于操作系統(tǒng)將96GB DDR4內(nèi)存用作三級緩存,CPU在DDR4內(nèi)存中進行波場數(shù)據(jù)的讀寫及壓縮或解壓存儲,操作系統(tǒng)根據(jù)混合內(nèi)存管理策略,在DDR4內(nèi)存與傲騰內(nèi)存間自動進行數(shù)據(jù)遷移,因此,CPU讀寫混合內(nèi)存數(shù)據(jù)的速度與僅使用DDR4內(nèi)存基本相當。利用DDR4內(nèi)存高速存取特性,擺脫了低速硬盤讀寫性能瓶頸。以每步1.533GB波場數(shù)據(jù)為例,其內(nèi)存讀寫時間僅需0.13s,這個讀寫時間可通過GPU計算與波場數(shù)據(jù)讀寫異步執(zhí)行的優(yōu)化方法完全隱藏掉。因此,采用震源波場數(shù)據(jù)內(nèi)存存儲的逆時偏移計算方法,避免了常規(guī)檢查點技術(shù)逆時偏移計算方法存在的低速硬盤

圖3 超大內(nèi)存逆時偏移計算流程

讀寫與震源波場重構(gòu)計算等影響計算效率的問題,通過降低計算量與隱藏波場數(shù)據(jù)讀寫時間,大幅提升了偏移計算效率。

3 測試分析

采用實際生產(chǎn)數(shù)據(jù)進行應用測試。從測試環(huán)境與測試數(shù)據(jù)選擇兩方面考慮測試方案。測試環(huán)境方面,現(xiàn)有100個節(jié)點的集群計算節(jié)點配置2個Intel 6132 CPU(第一代至強可擴展處理器)、256GB DDR4內(nèi)存、2塊16GB顯存的V100 GPU,由于該型號CPU不支持傲騰內(nèi)存,現(xiàn)有計算節(jié)點不能實施超大內(nèi)存方案,為此采用1臺配置2個Intel 6226R CPU(第二代至強可擴展處理器)、1.5TB傲騰內(nèi)存(12×16GB+12×128GB傲騰內(nèi)存)、2塊V100S GPU的節(jié)點作為測試計算節(jié)點,設(shè)計了不同平臺的單節(jié)點對比測試方案。測試計算節(jié)點采用震源波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算方法,與現(xiàn)有計算節(jié)點采用檢查點技術(shù)逆時偏移計算方法對比,分析震源波場數(shù)據(jù)內(nèi)存存儲的逆時偏移計算方法的應用成效。

3.1 不同平臺常規(guī)地震數(shù)據(jù)對比測試

選用了9864炮密度較低的常規(guī)地震數(shù)據(jù),成像范圍為561(Nx)×861(Ny)×1001(Nz),成像網(wǎng)格為25m×25m×10m。TTI介質(zhì)包含速度、ε、δ、地層方位角和傾角等5個參數(shù)模型,每個參數(shù)模型數(shù)據(jù)量為2GB。偏移計算最大頻率為70Hz,單炮1677道,成像計算網(wǎng)格數(shù)為282×259×1001,延拓計算總步數(shù)為8368,每隔10步進行一次相關(guān)成像計算,因此需要存儲837步相關(guān)成像計算所需的震源波場數(shù)據(jù)。采用檢查點技術(shù)逆時偏移方法計算時設(shè)置了6個檢查點,波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算采用波場數(shù)據(jù)內(nèi)存直接存取的方法。兩種偏移計算方法對比測試結(jié)果見表1,超大內(nèi)存單炮偏移計算用時縮短了37s。

表1 不同平臺單計算節(jié)點常規(guī)地震數(shù)據(jù)單炮偏移計算測試結(jié)果

3.2 不同平臺高密度地震數(shù)據(jù)對比測試

高密度地震數(shù)據(jù)選用前文所述大規(guī)模地震數(shù)據(jù),TTI介質(zhì)的5個參數(shù)模型數(shù)據(jù)量均為47GB。因偏移計算最大頻率為90Hz,現(xiàn)有計算節(jié)點的V100 GPU顯存為16GB,節(jié)點需采用一炮2個GPU協(xié)同計算模式,并將單炮成像網(wǎng)格Nz方向的值由1501減至770,成像計算網(wǎng)格數(shù)變?yōu)?63×487×770,需要存儲830步相關(guān)成像計算所需的震源波場數(shù)據(jù)。采用檢查點技術(shù)逆時偏移方法計算時設(shè)置了3個檢查點,波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算采用波場數(shù)據(jù)內(nèi)存壓縮存取的方法。兩種偏移計算方法對比測試結(jié)果見表2,超大內(nèi)存單炮偏移計算用時縮短了217s。

表2 不同平臺單計算節(jié)點高密度地震數(shù)據(jù)單炮偏移計算測試結(jié)果

3.3 相同平臺高密度地震數(shù)據(jù)對比測試

在測試計算節(jié)點上,選用前文所述大規(guī)模地震數(shù)據(jù),偏移計算最大頻率為70Hz,成像計算網(wǎng)格數(shù)為563×487×1501,延拓計算總步數(shù)為8285,需要存儲的相關(guān)成像計算所需震源波場數(shù)據(jù)步數(shù)為830。先后采用檢查點技術(shù)與波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算方法,進行相同平臺對比測試。采用檢查點技術(shù)逆時偏移方法計算時設(shè)置了6個檢查點,波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算采用波場數(shù)據(jù)內(nèi)存壓縮存取的方法。兩種偏移計算方法的測試結(jié)果見表3,超大內(nèi)存單炮偏移計算用時縮短了279s。

表3 相同平臺單節(jié)點高密度地震數(shù)據(jù)單炮偏移計算測試結(jié)果

3.4 計算效率分析

對偏移計算實測結(jié)果進行分析,得到波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算效率見表4。高密度炮數(shù)據(jù)相同平臺測試結(jié)果顯示,波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算效率提升了46.1%,其中約33%的效率提升為去除重構(gòu)波場計算的成效,剩余13%為高速內(nèi)存數(shù)據(jù)存取的成效,說明波場數(shù)據(jù)內(nèi)存存儲對計算效率提升顯著。不同平臺兩種數(shù)據(jù)對比測試結(jié)果顯示,波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算效率提升了57.8%(高密度數(shù)據(jù))～66.0%(常規(guī)數(shù)據(jù)),說明波場數(shù)據(jù)內(nèi)存存儲逆時偏移計算方法對于不同密度炮數(shù)據(jù)計算效率提升存在差別,此差別主要是由于檢查點存儲策略在對不同密度炮數(shù)據(jù)偏移計算時,其本地硬盤波場數(shù)據(jù)讀寫時間隱藏優(yōu)化方法成效不同所致。

表4 波場數(shù)據(jù)內(nèi)存存儲單炮逆時偏移計算效率

4 結(jié)論與討論

針對逆時偏移,利用傲騰內(nèi)存構(gòu)建計算節(jié)點超大內(nèi)存,通過波場數(shù)據(jù)內(nèi)存高速緩存,解決了大數(shù)據(jù)量波場數(shù)據(jù)存儲問題,實現(xiàn)了最小計算量的全波場數(shù)據(jù)內(nèi)存存儲策略,大幅提升了大規(guī)模地震數(shù)據(jù)逆時偏移計算效率。實際生產(chǎn)數(shù)據(jù)測試結(jié)果表明,對于大規(guī)模地震數(shù)據(jù),節(jié)點配置超大內(nèi)存,高密度地震數(shù)據(jù)單炮計算效率提升46.1%以上,顯著縮短了大規(guī)模地震數(shù)據(jù)逆時偏移計算時間,減少了計算能源消耗。該技術(shù)還可應用于其它大內(nèi)存需求的地震數(shù)據(jù)處理,如角度域處理,因此具有很好的實用性和經(jīng)濟效益。

隨著面向人工智能應用的全新Ampere架構(gòu)的A100 GPU推出,其單精度浮點FP32運算性能由V100S的16.4TFlops提升到19.5TFlops,性能提升幅度有限,但其單精度浮點TF32運算性能高達156TFlops,是V100S FP32運算性能的9.5倍,因此,將逆時偏移計算從使用現(xiàn)有的CUDA核遷移到新的Tensor Core,利用超高的TF32計算能力,實現(xiàn)偏移計算效率的飛躍,將成為偏移計算未來發(fā)展方向之一。隨著非易失性隨機存儲介質(zhì)、DDR5內(nèi)存及GPU Direct存儲等新技術(shù)不斷應用,構(gòu)建多個高速數(shù)據(jù)傳輸通道高效協(xié)同的數(shù)據(jù)存儲與傳輸模式,滿足GPU超高計算能力對高速數(shù)據(jù)存取性能需求,也是偏移計算未來發(fā)展的一個方向。

致謝:感謝H3C和Intel公司在本研究中給予的產(chǎn)品與技術(shù)支持！