海量地震數(shù)據(jù)實(shí)時(shí)傳輸技術(shù)研究

李建鋒，馮玉蘋

(1.中石化石油工程地球物理有限公司勝利分公司 山東 東營 257000；2. 中國石化勝利油田有限公司物探研究院 山東 東營 257000)

0 引 言

隨著地震勘探向著寬頻帶、寬方位、高密度方向發(fā)展，野外地震采集工程呈現(xiàn)高效施工和采集數(shù)據(jù)量劇增的特征。以勝利油田L(fēng)J2017工區(qū)為例，該工區(qū)觀測系統(tǒng)為36L5S620T，接收道數(shù)達(dá)22 320道，炮道密度為357.12萬，最大日效791炮，每炮數(shù)據(jù)量達(dá)601 MB之多。在這種海量數(shù)據(jù)高效采集模式下，依靠傳統(tǒng)紙質(zhì)監(jiān)視記錄進(jìn)行質(zhì)量監(jiān)控既不現(xiàn)實(shí)，也不科學(xué)。

目前，利用現(xiàn)代計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)，通過設(shè)計(jì)合理的傳輸與存儲模式，制定科學(xué)的評價(jià)模型，可以有效實(shí)現(xiàn)海量地震數(shù)據(jù)實(shí)時(shí)監(jiān)控，替代長期以來一直沿用的人工定性分析與紙質(zhì)監(jiān)視記錄評價(jià)模式，確保高密度地震采集的高質(zhì)與高效。地震采集實(shí)時(shí)監(jiān)控軟件[1-2]正是這種需求的產(chǎn)物，它安裝在儀器車的計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境中，實(shí)現(xiàn)對當(dāng)前激發(fā)的單炮地震記錄進(jìn)行質(zhì)量監(jiān)控。但是，在海量地震數(shù)據(jù)采集時(shí)，如何把地震采集系統(tǒng)中的大數(shù)據(jù)量單炮記錄高效傳輸?shù)奖O(jiān)控軟件是實(shí)時(shí)質(zhì)量監(jiān)控的前提和關(guān)鍵，按照目前采集工程需求，這種單炮記錄從傳輸?shù)浇饩帒?yīng)控制在數(shù)秒內(nèi)，否則，難以達(dá)到高效地震采集資料實(shí)時(shí)監(jiān)控目的。

法國Sercel公司400系列采集系統(tǒng)等是如今國內(nèi)地震隊(duì)使用廣泛的地震采集設(shè)備，不失一般性，本文主要基于Sercel 428XL采集系統(tǒng)展開討論。

1 傳統(tǒng)地震數(shù)據(jù)現(xiàn)場傳輸模型

1.1 模型構(gòu)成

按照現(xiàn)行行業(yè)標(biāo)準(zhǔn)[3]，在地震資料采集過程中，地震采集系統(tǒng)需要配置采集板、服務(wù)器、磁帶機(jī)、大容量外置硬盤、打印機(jī)和網(wǎng)絡(luò)交換機(jī)等設(shè)備，用于磁帶/磁盤轉(zhuǎn)儲和監(jiān)視記錄打印。一般還購置儀器公司配套的監(jiān)控軟件，例如Sercel公司的eSQC-Pro，用于常規(guī)單炮記錄回放和簡單的分析處理功能。

根據(jù)Sercel公司地震儀通訊理念[4]，將計(jì)算機(jī)網(wǎng)絡(luò)節(jié)點(diǎn)引入到遙測地震儀系統(tǒng)，排列中的電源站、交叉站等均可定義為網(wǎng)絡(luò)節(jié)點(diǎn)，構(gòu)建地震區(qū)域網(wǎng)絡(luò)，形成現(xiàn)場采集網(wǎng)絡(luò)系統(tǒng)，最終生成地震采樣數(shù)據(jù)(一般按SEG D或SEG Y規(guī)范記錄)。同時(shí)，利用Sercel配套工作站、數(shù)據(jù)備份設(shè)備、數(shù)字打印設(shè)備以及實(shí)時(shí)監(jiān)控設(shè)備等構(gòu)建獨(dú)立的輸出與監(jiān)控網(wǎng)絡(luò)。如圖1所示。

圖1 通用地震采集系統(tǒng)與輸出和監(jiān)控網(wǎng)絡(luò)系統(tǒng)

在圖1中，左側(cè)部分為地震采集系統(tǒng)(下簡稱網(wǎng)絡(luò)A)，構(gòu)成了現(xiàn)場地震數(shù)據(jù)生成的物理環(huán)境；右側(cè)部分為通用地震數(shù)據(jù)傳輸、存儲與監(jiān)控等網(wǎng)絡(luò)環(huán)境(下簡稱為網(wǎng)絡(luò)B)。服務(wù)器配置雙網(wǎng)卡，同時(shí)位于兩個(gè)網(wǎng)絡(luò)環(huán)境，因此，服務(wù)器的性能很大程度上決定了這套地震采集系統(tǒng)和監(jiān)控系統(tǒng)的性能。

大數(shù)據(jù)量的地震數(shù)據(jù)磁帶存儲采用光纜方式傳輸，網(wǎng)絡(luò)B中其它輸出與監(jiān)控設(shè)備的網(wǎng)絡(luò)負(fù)載瓶頸是服務(wù)器與交換機(jī)之間的網(wǎng)線帶寬。

目前，Sercel 400系列地震儀器采用千兆自適應(yīng)網(wǎng)絡(luò)，按照千兆網(wǎng)實(shí)際傳輸帶寬60～80 MB/s計(jì)，該服務(wù)器如果采用單一目標(biāo)輸出可達(dá)該傳輸速率，但是，如果多于1個(gè)目標(biāo)輸出，則多目標(biāo)共享該傳輸帶寬。

1.2 實(shí)驗(yàn)測試

為檢測施工效果，在勝利油田CGZ工區(qū)進(jìn)行環(huán)境噪聲錄制傳輸實(shí)驗(yàn)，該工區(qū)觀測系統(tǒng)為36L5S336T，記錄時(shí)長20 s，采樣率為1 ms，數(shù)據(jù)文件大小約948 MB。分別進(jìn)行了三種不同目標(biāo)傳輸實(shí)驗(yàn)，筆記本采用Sercel公司專用的FTP傳輸方式，同一實(shí)驗(yàn)在相同環(huán)境進(jìn)行了5次，耗時(shí)數(shù)據(jù)取平均，結(jié)果見表1。

由表1的傳輸速率可以看出，隨著傳輸目標(biāo)的增加，傳輸速率呈下降趨勢，不考慮磁盤寫入的差異(固態(tài)盤與機(jī)械盤)，N個(gè)目標(biāo)傳輸速率約是單目標(biāo)速率的1/N倍。

表1 CGZ工區(qū)數(shù)據(jù)傳輸實(shí)驗(yàn)

根據(jù)實(shí)驗(yàn)結(jié)果可推得：引言中LJ2017工區(qū)單炮記錄601 MB數(shù)據(jù)向兩個(gè)目標(biāo)傳輸時(shí)，大致需要16.58 s才能完成，如果再考慮數(shù)據(jù)解編、屬性提取及單炮評價(jià)時(shí)間，按照圖1構(gòu)建的傳輸模型，完全難以滿足海量地震采集實(shí)時(shí)監(jiān)控需求。

1.3 存在的弊端

針對海量地震數(shù)據(jù)采集實(shí)時(shí)監(jiān)控而言，Sercel地震采集儀器目前通用數(shù)據(jù)傳輸模型存在三個(gè)方面的弊端：

1)通過繪圖儀輸出監(jiān)視記錄是在小接收道時(shí)的產(chǎn)物，在多排列、大道數(shù)地震采集時(shí)，抽排列繪制監(jiān)視記錄進(jìn)行現(xiàn)場監(jiān)控既不全面，也不經(jīng)濟(jì)；

2)傳統(tǒng)的顯示回放記錄或只做簡單數(shù)據(jù)分析的軟件不能對海量地震數(shù)據(jù)進(jìn)行定量化的全面質(zhì)量監(jiān)控；

3)在高效采集時(shí)，大數(shù)據(jù)量單炮記錄采用現(xiàn)場記錄磁帶方式，耗時(shí)過長，影響生產(chǎn)效率，完全可以用磁盤存儲-室內(nèi)記錄磁帶的方式替代。

因此，研究海量地震數(shù)據(jù)實(shí)時(shí)傳輸技術(shù)，提出改善的數(shù)據(jù)傳輸模型，達(dá)成真正的海量數(shù)據(jù)實(shí)時(shí)、高效、全面質(zhì)量監(jiān)控是必要的。

2 海量地震數(shù)據(jù)高效傳輸模型

2.1 物理模型

海量地震采集資料質(zhì)量實(shí)時(shí)監(jiān)控傳輸模型離不開現(xiàn)有采集系統(tǒng)，需要對現(xiàn)有數(shù)據(jù)傳輸模型進(jìn)行改造，從提高監(jiān)控網(wǎng)絡(luò)帶寬、輸出目標(biāo)瘦身及面向未來應(yīng)用三個(gè)角度著手。

千兆網(wǎng)提升為萬兆網(wǎng)是首要之舉。用2臺臺式計(jì)算機(jī)在無其它負(fù)載情況下進(jìn)行網(wǎng)絡(luò)傳輸實(shí)驗(yàn)，包括萬兆網(wǎng)交換機(jī)在內(nèi)的整個(gè)網(wǎng)絡(luò)是萬兆網(wǎng)，在網(wǎng)絡(luò)映射硬盤方式下的傳輸速率為251.9～407.25 MB/s，F(xiàn)TP方式下的速率為366.55～555.75 MB/s。由此得出結(jié)論：萬兆網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)傳輸速度約為千兆網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)傳輸速度的4～6倍，前文提及的LJ2017單炮數(shù)據(jù)的傳輸時(shí)間僅為2～3 s，這樣,就從根本上保障了物理傳輸效率。

輸出目標(biāo)瘦身是指針對通用地震采集資料監(jiān)控模型，改造其輸出模式，將地震數(shù)據(jù)的目標(biāo)輸出限定在NAS盤和實(shí)時(shí)監(jiān)控設(shè)備。

未來，地上地下條件雙復(fù)雜、地質(zhì)目標(biāo)越發(fā)精細(xì)導(dǎo)致地震采集工程向大體量發(fā)展，資料實(shí)時(shí)監(jiān)控將遇到更多難題。單炮記錄快照及單炮資料地震屬性數(shù)據(jù)較單炮數(shù)據(jù)量小得多，結(jié)合5G技術(shù)，可將儀器車上的實(shí)時(shí)監(jiān)控結(jié)果快速反饋到異地，使得遠(yuǎn)程監(jiān)控與施工指導(dǎo)成為可能。

基于以上因素，構(gòu)建海量地震采集資料實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)傳輸物理模型如圖2所示。該模型將地震數(shù)據(jù)記錄到NAS盤；在服務(wù)器與監(jiān)控設(shè)備間實(shí)現(xiàn)點(diǎn)對點(diǎn)互聯(lián)；利用大型顯示器顯示單炮記錄、線性動(dòng)校正、各種地震屬性量化分析圖表、單炮記錄監(jiān)控與評價(jià)表以及各種統(tǒng)計(jì)圖表等；把每炮的屬性提取與分析結(jié)果通過現(xiàn)場網(wǎng)絡(luò)實(shí)時(shí)回傳到地震隊(duì)現(xiàn)場服務(wù)器或采用VPN回傳給基地服務(wù)器。

圖2 海量地震高效采集數(shù)據(jù)傳輸物理模型

該模型充分利用了萬兆網(wǎng)的傳輸速率，設(shè)置了大型顯示設(shè)備，兼顧了質(zhì)量監(jiān)控結(jié)果的共享。該模型既能滿足實(shí)時(shí)數(shù)據(jù)備份需求，又為單炮記錄實(shí)時(shí)監(jiān)控提供物理基礎(chǔ)，還把監(jiān)控相關(guān)信息實(shí)時(shí)同步到地震隊(duì)和基地服務(wù)器，便于遠(yuǎn)程分析與管理。

2.2 海量地震數(shù)據(jù)傳輸模式

地震數(shù)據(jù)傳輸模式建立在地震采集系統(tǒng)數(shù)據(jù)流傳輸機(jī)制基礎(chǔ)上，重點(diǎn)關(guān)注記錄與輸出兩個(gè)步驟。記錄是把經(jīng)過處理的信號轉(zhuǎn)換為SEG D格式的數(shù)據(jù)文件，并將SEG D數(shù)據(jù)文件存儲到服務(wù)器系統(tǒng)專門在硬盤上開辟的緩存目錄下的過程；輸出是把緩存目錄中的SEG D數(shù)據(jù)文件發(fā)送到不同輸出目標(biāo)的過程。為不影響下一炮激發(fā)，采集系統(tǒng)規(guī)定：在所有目標(biāo)輸出完畢后，緩沖區(qū)文件會立即自動(dòng)刪除。

結(jié)合地震數(shù)據(jù)傳輸物理模型，獲取現(xiàn)場單炮記錄文件有4種方式：緩存訪問、FTP、映射網(wǎng)絡(luò)磁盤和磁帶。

采集系統(tǒng)把最初形成的地震數(shù)據(jù)文件暫存在緩存中，因此，通過采取緩存訪問方式可快速獲取該數(shù)據(jù)。緩存中的文件是采集系統(tǒng)第一時(shí)間生成的，訪問該文件理論上操作效率最高，但是，整個(gè)地震采集系統(tǒng)是個(gè)系統(tǒng)工程，需要考慮其它因素的影響。Sercel采集服務(wù)器采用Linux操作系統(tǒng)，緩存文件管理由Linux系統(tǒng)控制，第三方軟件若要對緩存中的文件操作必然存在該文件不可控的風(fēng)險(xiǎn)，例如，可能正在讀取時(shí)，該文件已被刪除。

地震儀器廠商一般提供高效FTP(文件傳輸協(xié)議，F(xiàn)ile Transfer Protocol)服務(wù)，方便地震數(shù)據(jù)傳輸。FTP的良好運(yùn)行與其它輸出通道密切相關(guān)，輸出通道增多，F(xiàn)TP的傳輸速率必然下降；另外，F(xiàn)TP還與緩沖區(qū)的大小及服務(wù)器的內(nèi)存等有關(guān)。

網(wǎng)絡(luò)映射磁盤和磁帶轉(zhuǎn)儲模式是一種延遲傳輸方式，它是把地震數(shù)據(jù)從緩存中的文件先存儲到外置硬盤或磁帶后再獲取文件的一種方式。

表2反映了這4種不同傳輸方式的性能對比。緩存訪問和FTP是受限于采集系統(tǒng)的訪問方式，它們直接訪問緩沖區(qū)文件，效率高；緩存文件的不可控性決定了緩存訪問不可行性。FTP服務(wù)器一般由采集系統(tǒng)服務(wù)器兼任，F(xiàn)TP的啟用增加了采集系統(tǒng)的風(fēng)險(xiǎn)。映射網(wǎng)絡(luò)硬盤(表2中的NAS盤)和磁帶是兩種延遲訪問方式，對它們的訪問并不影響采集系統(tǒng)的正常運(yùn)轉(zhuǎn)，可靠度高；磁帶的記錄時(shí)間較長，現(xiàn)場訪問磁帶效率極低。

表2 幾種不同傳輸方式的性能對比

2.3 雙線程隨機(jī)炮隊(duì)列伺服模型

海量地震采集數(shù)據(jù)傳輸模型在關(guān)注單炮記錄傳輸效率的同時(shí)，針對單位時(shí)間內(nèi)出現(xiàn)多炮擁堵的問題，提出如下解決思路：

將生產(chǎn)炮激發(fā)視為隨機(jī)事件，構(gòu)建線程與隊(duì)列間的關(guān)系，形成隨機(jī)炮隊(duì)列伺服模型，如圖3所示。按照“先來先服務(wù)”規(guī)則，建立宏觀有效的數(shù)據(jù)傳輸與處理機(jī)制，避免多炮數(shù)據(jù)擁堵，確保采集服務(wù)器通訊暢通，不因?yàn)楸O(jiān)控影響生產(chǎn)。

圖3 隨機(jī)炮監(jiān)控隊(duì)列數(shù)學(xué)模型

高效數(shù)據(jù)傳輸模式方案設(shè)計(jì)如下：

Linux服務(wù)器上采集系統(tǒng)產(chǎn)生的地震數(shù)據(jù)SEG D在萬兆網(wǎng)環(huán)境下直接存儲到NAS盤上，監(jiān)控軟件將NAS盤作為網(wǎng)絡(luò)硬盤訪問，單炮記錄作為獨(dú)立事件隨機(jī)產(chǎn)生。

在圖3中，存在2個(gè)事件隊(duì)列：隊(duì)列A是采集系統(tǒng)把緩存中的文件輸出到NAS盤共享目錄的過程，該過程完全由地震采集系統(tǒng)自動(dòng)控制；隊(duì)列B是把NAS盤共享目錄下的文件利用映射網(wǎng)絡(luò)技術(shù)下載到監(jiān)控軟件本地的數(shù)據(jù)傳輸事件。

采用2個(gè)線程實(shí)時(shí)監(jiān)測這2個(gè)隊(duì)列并做相應(yīng)的處理：線程A監(jiān)測事件隊(duì)列A，并在隊(duì)列A不空且隊(duì)列B中的事件結(jié)束時(shí)，啟動(dòng)隊(duì)列B的下一個(gè)事件；線程B監(jiān)測隊(duì)列B中事件執(zhí)行，將事件隊(duì)列B的首炮送入空閑的監(jiān)控軟件進(jìn)行解編和處理，該過程完成后，反饋信號給線程A，啟動(dòng)下一個(gè)任務(wù)。

上述方案通過文件落盤模型和文件不落盤模型的設(shè)計(jì)與研究加以實(shí)現(xiàn)。

1)文件落盤模型 所謂文件落盤是指實(shí)時(shí)監(jiān)控軟件在監(jiān)控前把存放在NAS盤共享目錄下的文件傳輸?shù)奖镜卮疟P的過程。顯然，文件落盤方案采用兩次傳輸，地震數(shù)據(jù)首先從緩存中把文件傳輸?shù)絅AS盤，然后，監(jiān)控軟件讀取并轉(zhuǎn)存硬盤文件，再進(jìn)行解編、處理，這種操作比FTP模式增加了1次數(shù)據(jù)傳輸，造成了更多的時(shí)間消耗。但由于地震數(shù)據(jù)文件傳輸?shù)奖镜?，對該文件的任何操作都不影響采集系統(tǒng)，工程上的可行性和實(shí)用性程度顯著提高。

2)文件不落盤模型 監(jiān)控軟件利用線程A監(jiān)控NAS盤共享目錄，如果產(chǎn)生新的地震數(shù)據(jù)文件，不啟動(dòng)傳輸隊(duì)列B，而是建立待監(jiān)控?cái)?shù)據(jù)映射表，通過虛鏈接方式，在線程B反饋給空閑信號后，再從映射表中，提取第一個(gè)待處理文件，直接進(jìn)行解編處理。線程A和B盡管在時(shí)間上也有先后順序，都仍然是并行操作，因此，避免了兩個(gè)傳輸事件隊(duì)列由于隨機(jī)事件可能造成的隊(duì)列擁堵，有效減少了等待時(shí)間，同時(shí)由于減少了一次傳輸時(shí)間，總的實(shí)時(shí)監(jiān)控時(shí)間得到有效控制。

2.4 文件鎖

多個(gè)線程同時(shí)操作同一文件時(shí)，容易導(dǎo)致文件數(shù)據(jù)混亂，操作系統(tǒng)一般通過文件鎖保障數(shù)據(jù)的完整。文件鎖是一種文件讀寫機(jī)制，在任何時(shí)候，只允許一個(gè)線程訪問同一個(gè)文件，以確保文件安全，主要有共享鎖和排它鎖兩種類型[5-6]，如果文件被其它線程鎖住，線程會被阻塞直到鎖被釋放。關(guān)于文件鎖，有個(gè)基本規(guī)則[7]：多個(gè)線程在一個(gè)給定的字節(jié)上可以有一把共享的讀鎖，但是在一個(gè)給定字節(jié)上的寫鎖則只能由一個(gè)線程獨(dú)用；更進(jìn)一步，如果在一個(gè)給定字節(jié)上已經(jīng)有一把或多把讀鎖，則不能在該字節(jié)上再加寫鎖；如果在一個(gè)字節(jié)上已經(jīng)有一把獨(dú)占性的寫鎖，則不能再對它加任何讀鎖。

根據(jù)該規(guī)則，在Windows環(huán)境下，可以方便地檢測文件的結(jié)束時(shí)刻。遺憾地是，目前采集系統(tǒng)沒有對從緩存文件輸出到NAS盤共享目錄下的文件設(shè)置鎖標(biāo)記，因此，線程A對隊(duì)列A中某事件結(jié)束的監(jiān)測帶來困難，可采用算法檢測隊(duì)列A事件結(jié)束。

3 工程應(yīng)用及時(shí)效分析

根據(jù)以上技術(shù)方法，我們開發(fā)了相應(yīng)的軟件系統(tǒng)，組建了現(xiàn)場地震數(shù)據(jù)監(jiān)控網(wǎng)絡(luò)，實(shí)現(xiàn)了海量地震采集資料實(shí)時(shí)質(zhì)量監(jiān)控，如圖4所示為軟件監(jiān)控界面。

該成果分別在勝利油田NZH工區(qū)和YJ工區(qū)進(jìn)行了傳輸時(shí)效對比應(yīng)用。其中NZH工區(qū)采用的觀測系統(tǒng)為40L5S364T，單炮數(shù)據(jù)量為392 MB，使用FTP傳輸模式；YJ工區(qū)采用32L7S392T觀測系統(tǒng)，單炮數(shù)據(jù)量為350 MB，使用NAS盤方式傳輸數(shù)據(jù)。兩者均采用千兆網(wǎng)進(jìn)行數(shù)據(jù)傳輸，NZH單炮傳輸加監(jiān)控時(shí)間為6～9 s，YJ工區(qū)單炮傳輸加監(jiān)控時(shí)間為7～10 s。

這兩個(gè)工區(qū)采用千兆網(wǎng)限制了數(shù)據(jù)傳輸效率，按照2.1的測試，如果采用萬兆網(wǎng)，傳輸速率按最小提升4倍計(jì)，整個(gè)監(jiān)控時(shí)間可顯著縮短，完全可達(dá)到海量地震采集實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)傳輸目標(biāo)。

圖4 海量地震采集資料實(shí)時(shí)監(jiān)控界面

4 結(jié) 論

通過地震數(shù)據(jù)傳輸物理與邏輯模型研究，在技術(shù)可行性與工程實(shí)用性之間進(jìn)行了綜合對比研究，提供了多種可供選擇的解決方案，為海量地震采集實(shí)時(shí)監(jiān)控的數(shù)據(jù)傳輸提供了可借鑒的工程實(shí)施方案。

1)物理模型要求在萬兆網(wǎng)下，盡量減少輸出的多目標(biāo)性，并為自動(dòng)化和遠(yuǎn)程監(jiān)控增加新的設(shè)備和實(shí)施。

2)邏輯模型提供FTP和映射網(wǎng)絡(luò)硬盤技術(shù)之間的差異，前者效率更高而工程可行性低于后者，后者相對具有更高的工程可操作性。

3)單次數(shù)據(jù)傳輸?shù)牟宦浔P模型具有更高的傳輸效率，但由于數(shù)據(jù)不落盤，不具備數(shù)據(jù)的離線分析能力。