基于改進圖注意力網(wǎng)絡(luò)的油井產(chǎn)量預測模型

摘要： 針對圖注意力網(wǎng)絡(luò)處理噪聲和時序數(shù)據(jù)較弱， 并且在堆疊多層后出現(xiàn)梯度爆炸、 過平滑等問題， 提出一種改進圖注意力網(wǎng)絡(luò)模型.首先， 使用Squeeze-and-Excitation模塊對樣本輸入數(shù)據(jù)的特征信息進行不同程度關(guān)注， 增強模型處理噪聲的能力； 其次， 使用多頭注意力機制， 將序列數(shù)據(jù)中每個序列相對其他序列進行加權(quán)求和， 提取數(shù)據(jù)的時序性； 再次， 將圖注意力網(wǎng)絡(luò)提取的節(jié)點特征與節(jié)點的度中心性拼接， 獲取節(jié)點的局部特征， 并用全局平均池化的方式提取節(jié)點的全局特征； 最后， 將兩者進行融合得到節(jié)點的最終特征表示， 增強模型的表征能力. 為驗證改進圖注意力網(wǎng)絡(luò)的有效性， 將改進圖注意力網(wǎng)絡(luò)模型與LSTM，GRU和GGNN模型進行對比， 實驗結(jié)果表明， 該模型預測效果得到有效提升， 具有更高的預測精度.

關(guān)鍵詞： 圖注意力網(wǎng)絡(luò)； 多頭注意力； 節(jié)點度中心性； 全局平均池化

中圖分類號： TP18" 文獻標志碼： A" 文章編號： 1671-5489（2024）04-0933-10

Oil Well Production Prediction Model Based onImproved Graph Attention Network

ZHANG Qiang， PENG Gu， XUE Chenbin

（School of Computer and Information Technology， Northeast Petroleum University， Daqing 163318， Heilongjiang Province， China）

Abstract： Aiming at" the problems that graph attention networks were weak in handling noisy and temporal data， as well as gradient explosion and oversmoothing after stacking multiple layers， we proposed an improved graph attention network model. Firstly， we used" the Squeeze-and-Excitation module to pay different levels of attention to the feature information of the sample input data to enhance the model’s ability to handle noise. Secondly， the temporal sequence of the data was extracted by using the multi-head attention mechanism， which weighted and summed each sequence in the sequence data relative to the other sequences. Thirdly，" the node features extracted from the graph attention network were spliced with the degree centrality of the nodes to obtain the local features of the nodes， and the global features

of the nodes were extracted by using global average pooling. Finally， the two were fused to obtain the final feature representation of the nodes， which enhanced the representational ability of the model.

In order to verify the effectiveness of the improved graph attention network， the improved graph attention network model was compared with LSTM， GRU and GGNN models. The experimental results show that the prediction effect of the model has been effectively improved， with higher prediction accuracy.

Keywords： graph attention network; multi-head attention; node degree centrality; global average pooling

油井產(chǎn)量是油田開發(fā)的重要指標［1］， 準確預測產(chǎn)油量可優(yōu)化開采方案、 提高油田開發(fā)效率并降低開采成本. 近年來， 隨著人工神經(jīng)網(wǎng)絡(luò)理論的不斷發(fā)展， 越來越多的新型神經(jīng)網(wǎng)絡(luò)被應用在油田產(chǎn)量預測中［2-4］. 同時， 基于深度學習的神經(jīng)網(wǎng)絡(luò)模型也被應用于油田產(chǎn)量的預測. 例如： 任燕龍等［5］使用長短期記憶網(wǎng)絡(luò)建立了油田產(chǎn)量的預測模型； 潘少偉等［6］在長短期記憶網(wǎng)絡(luò)的基礎(chǔ)上使用注意力機制提取了數(shù)據(jù)的時序性， 增強了模型的可移植性； 張蕾等［7］提出了一種基于時域卷積網(wǎng)絡(luò)的方法， 分階段搭建產(chǎn)量預測模型， 并對該模型使用麻雀搜索算法優(yōu)化超參數(shù)， 提高了模型的訓練速度. 這些模型雖然都取得了較好的效果， 但都未考慮油田開采中井位布局的影響， 即未考慮油田井網(wǎng)拓撲結(jié)構(gòu)對產(chǎn)量的影響.

在水驅(qū)油田開發(fā)過程中， 由于油田地質(zhì)結(jié)構(gòu)復雜和地層非均勻的特性， 油田的井位布局采用節(jié)點型布局， 即油井和水井成交叉或分叉的布置方式， 這種布置方式是油田能持續(xù)增產(chǎn)的關(guān)鍵因素. 因此， 為有效挖掘并利用油田中油井和水井的關(guān)系和信息， 且體現(xiàn)出不同水井對油井的不同影響程度， 可以將油水井的動靜態(tài)數(shù)據(jù)的特征信息和井網(wǎng)的拓撲結(jié)構(gòu)抽象表現(xiàn)為圖數(shù)據(jù)， 并采用圖注意力網(wǎng)絡(luò)（graph attention network， GAT）進行處理. 相比傳統(tǒng)的機器學習， 圖注意力網(wǎng)絡(luò)能考慮到圖數(shù)據(jù)的拓撲結(jié)構(gòu)， 捕捉圖數(shù)據(jù)中節(jié)點與邊以及節(jié)點與節(jié)點之間的關(guān)系， 具有更強的表達和泛化能力. 但圖注意力網(wǎng)絡(luò)存在處理噪聲能力弱， 不能處理時序性數(shù)據(jù)以及在堆積多層后會出現(xiàn)梯度爆炸、 過平滑等問題， 為解決這些問題， 本文提出一種改進的圖注意力網(wǎng)絡(luò)搭建產(chǎn)量預測模型. 首先， 采用SE（squeeze-and-excitation）模塊調(diào)整輸入數(shù)據(jù)特征的重要性， 避免噪聲特征數(shù)據(jù)產(chǎn)生的影響， 改善模型的魯棒性； 其次， 采用多頭注意力機制， 使序列數(shù)據(jù)中每個序列占有不同的權(quán)重， 使時間軸上越近的序列所占的權(quán)重越大， 提高圖注意網(wǎng)絡(luò)處理時序數(shù)據(jù)的能力； 最后， 采用多尺度特征提取的方法， 分別獲取圖數(shù)據(jù)中節(jié)點的全局特征和局部特征， 并將兩者相融合得到節(jié)點的特征表示， 以提高模型的表征能力.

1 圖注意力網(wǎng)絡(luò)模型

圖神經(jīng)網(wǎng)絡(luò)［9］可使用圖模型處理復雜的系統(tǒng)建模問題， 其核心思想是通過鄰接矩陣的方式聚合節(jié)點和鄰居節(jié)點的特征， 得到節(jié)點的最終輸出表示［10-11］. 但這種聚合方式存在缺點， 不能很好地突出鄰居節(jié)點對中心節(jié)點的影響程度. 圖注意力網(wǎng)絡(luò)［12-14］則改變了節(jié)點與鄰居節(jié)點的聚合方式， 不再是簡單使用鄰接矩陣的方式聚合， 而是在迭代過程中用注意力機制方式計算每個鄰居節(jié)點的注意力權(quán)重， 即突出了不同鄰居節(jié)點對節(jié)點的影響程度. 節(jié)點與鄰居節(jié)點的權(quán)重系數(shù)計算公式為

αij=exp{LeakyReLU（βT（Whi‖Whj））}∑Nik=1exp{LeakyReLU（βT（Whi‖Whk））}，（1）

其中： hi表示中心節(jié)點； hj表示鄰居節(jié)點； W為可訓練參數(shù)， 使用拼接操作將變化后的hi和hj拼接； 用βT表示參數(shù)點積操作， 同時將得到結(jié)果進行歸一化即可得到權(quán)重系數(shù)； αij為歸一化后的結(jié)果， 表示hj對hi節(jié)點的影響程度. 定義h′i為hi節(jié)點更新后的輸出表示， 更新過程如圖1所示， 計算公式為

h′i=σ∑Nij=1αijWhj.（2）

2 改進圖注意力網(wǎng)絡(luò)預測模型

為提高GAT處理噪聲數(shù)據(jù)和時序數(shù)據(jù)的能力， 在網(wǎng)絡(luò)中引用SE模塊和多頭注意力機制. SE模塊會自適應調(diào)整輸入數(shù)據(jù)特征的重要性， 避免噪聲數(shù)據(jù)對模型產(chǎn)生影響. 多頭注意力機制會計算不同序列之間的權(quán)重， 然后使序列數(shù)據(jù)中的每個序列相對其他序列進行加權(quán)求和， 以此提取輸入數(shù)據(jù)的時序性. 同時為增強GAT網(wǎng)絡(luò)的表征能力， 對輸入數(shù)據(jù)的特征采用多尺度融合的方法. 即將經(jīng)過數(shù)據(jù)轉(zhuǎn)換模塊得到的圖數(shù)據(jù)輸入到特征提取模塊中， 分別提取圖數(shù)據(jù)中節(jié)點的局部特征和全局特征； 將獲取的局部特征和全局特征進行融合， 從而得到節(jié)點的最終表示. 模型的整體框架如圖2所示. 模型流程如下：

1） 將樣本特征張量X輸入SE模塊， 使SE模塊學習張量X中每個特征的重要性權(quán)重， 然后將權(quán)重與原始張量X相乘得到加權(quán)后的特征向量輸出；

2） 將SE模塊輸出的特征向量輸入到多頭注意力機制中， 利用多頭注意力機制學習特征向量中每個序列的權(quán)重， 使每個序列相對其他序列進行加權(quán)求和得到新的輸出向量；

3） 為提高模型的泛化性， 將經(jīng)過多頭注意力機制輸出后的特征向量輸入到數(shù)據(jù)轉(zhuǎn)換模塊， 通過數(shù)據(jù)轉(zhuǎn)換模塊將輸入數(shù)據(jù)轉(zhuǎn)換為圖結(jié)構(gòu)數(shù)據(jù)；

4） 為增強模型的表征能力， 將轉(zhuǎn)換的圖數(shù)據(jù)輸入到特征提取模塊， 分別提取圖數(shù)據(jù)的局部特征和全局特征， 再將兩者融合， 進而得到最終輸出張量X′.

2.1 噪聲處理

SE模塊可通過調(diào)整每個特征的相關(guān)性， 抑制不重要的特征， 加強模型處理噪聲的能力. SE模塊的結(jié)構(gòu)如圖3所示. 對于給定的張量

X∈瘙綆H×C（其中H表示樣本數(shù)量， C表示特征數(shù)）， 計算公式為

zi=1H∑Hj=1xi，j，（3）

其中zi表示第i個特征多個樣本取均值后的結(jié)果， 圖中激勵操作是將zi輸入兩層全連接中， 計算出每個特征的注意力權(quán)重. 定義si為張量X中第i個特征的注意力權(quán)重， 計算公式為

f（zi）=ReLU（W1zi+b1），（4）si=σ（W2f（zi）+b2）.（5）

2.2 時序特征提取

注意力機制是一種計算機視覺和自然語言處理等領(lǐng)域常用的技術(shù)［15-18］， 它可以在給定的輸入中自動找出有用的信息， 進而提高模型對重要信息的關(guān)注度. 其基本思想是為每個輸入元素分配一個權(quán)重， 然后將權(quán)重與原始輸入相乘得到加權(quán)后的輸出. 雖然注意力機制在很多任務上性能優(yōu)異， 但注意力機制仍存在計算開銷大和不能捕捉長距離依賴關(guān)系等缺點. 自注意力機制［19］則克服了這些缺點， 是注意力機制的一種特殊形式， 它采用并行計算的方式提高模型的計算效率， 并且能捕捉輸入序列之間的長距離依賴關(guān)系. 在自注意力機制中， 每個向量都會相對其他向量計算注意力權(quán)重， 然后進行加權(quán)求和獲得新的輸出向量. 圖4為時序數(shù)據(jù)中單個序列的自注意力機制計算過程.

將圖4中序列x1與權(quán)重矩陣WQ，WK，WV分別相乘即可得到q1，k1，v1， 將數(shù)據(jù)中其他序列與權(quán)重矩陣WQ，WK，WV分別相乘也會得到對應的q，k，v. 最終將這些結(jié)果相結(jié)合即可得到3個矩陣Q，K，V. 利用得到的Q，K，V即可計算出經(jīng)過自注意力機制后的輸出表示. 整體計算過程如圖5所示， 其中dk是標準化操作.

多頭注意力機制則是在自注意力機制基礎(chǔ)上， 將輸入向量映射到不同的子空間， 在每個子空間上進行自注意力機制的計算； 最后將多個子空間的注意力表示結(jié)果合并得到最終的輸出表示［20］. 因此， 相比自注意力機制， 多頭注意力機制能捕捉輸入的不同方面特征， 具有更好的表征能力. 給定一個輸入張量X∈瘙綆N×d， 多頭注意力機制包含h個頭， 對于自注意力頭i， Headi執(zhí)行如下運算：

Headi=SoftmaxQi（Ki）TdHead

Vi，（6）

Qi=XWQi， Ki=XW

Ki， Vi=XWVi，（7）

其中： WQi，WKi，WVi∈瘙綆d×dHead為自注意頭i的

權(quán)重矩陣； dHead為每個頭的維度， dHead=dh. 最后沿維度拼接各個注意力頭的輸出：

MultiHead（x）=Concat（Headi，…，Headh）.（8）

2.3 模型增強

特征提取模塊包含兩個模塊， 分別是全局特征提取模塊和局部特征提取模塊. 其中全局特征模塊中使用全局平均池化［21-22］提取節(jié)點的全局特征. 全局平均池化可對樣本的每個特征求平均值， 然后再連接成一個向量， 以此獲取樣本的全局信息， 計算公式為

global_feature=1N∑Ni=1Xi，（9）

其中： N表示節(jié)點總數(shù)； X表示節(jié)點的特征矩陣， X∈瘙綆N×D， D表示每個節(jié)點特征向量的維度; Xi表示節(jié)點i的特征向量; global_feature∈瘙綆

D表示節(jié)點的全局特征， 也可視為整個圖的全局特征表示.

在局部特征提取模塊中使用GAT網(wǎng)絡(luò)和節(jié)點度中心性相結(jié)合的方式提取節(jié)點的局部特征. 同時， 為避免在使用GAT網(wǎng)絡(luò)訓練時， 堆疊多層出現(xiàn)的模型退化、 梯度爆炸等問題，

在網(wǎng)絡(luò)中引用了殘差連接［23-24］， 如圖6所示. 圖6中h（x）表示由GAT組成的殘差塊， x表示前一層網(wǎng)絡(luò)的輸出. 整體過程就是將前一層的輸出輸入到殘差塊中得到新的輸出， 最后再將新的輸出輸入到后續(xù)網(wǎng)絡(luò)中. 殘差塊可以將模型的冗余層數(shù)變?yōu)楹愕扔成洌?從而避免產(chǎn)生模型退化現(xiàn)象.

為提高模型的表征能力， 將經(jīng)由GAT網(wǎng)絡(luò)后的輸出與節(jié)點度中心性［25-27］進行拼接， 以此表征節(jié)點的局部特征. 節(jié)點度中心性表示該節(jié)點在整個圖中的重要程度.

度中心性較高的節(jié)點表示它的鄰居節(jié)點更多， 同時也表示該節(jié)點的傳播能力較強. 如果刪除該節(jié)點， 則會對整個圖的連通性造成較大影響. 因此， 計算圖中節(jié)點的度中心性非常必要. 本文主要針對有向圖的處理， 有向圖的節(jié)點度中心性需要分別計算入度中心性和出度中心性， 然后再將兩者相加， 計算公式為

Cin（i）=din（i）n-1，（10）

Cout（i）=dout（i）n-1， （11）C（i）=Cin（i）+Cout（i），（12）

其中Cin（i）表示節(jié)點i的入度中心性， din（i）表示節(jié)點i的入度數(shù)， n表示節(jié)點總數(shù). 節(jié)點i的出度中心性Cout（i）與入度中心性計算過程相同.

最后將入度中心性與出度中心性相加即得出節(jié)點i的度中心性C（i）.

3 算法步驟

下面給出改進圖注意力網(wǎng)絡(luò)模型（SMF-GATs）算法.

算法1 SMF-GATs模型.

輸入： 采油井和注入井每月生產(chǎn)信息X=（x1，x2，…，xN）， 采油井和注入井的連通信息A=（α1，α2，…，αN）;

輸出： t時刻采油井的產(chǎn)量Xt;

步驟1） Wt←fc（globalAvgPool（X））

步驟2） X←cal（X，Wt）

步驟3） for i←1 to num do //num表示Head數(shù)

步驟4）"" WQi，WKi，WVi←linear（X）

步驟5）"" Qi←XWQi， Ki

←XWKi， Vi←XWVi

步驟6）"" Headi←SoftmaxQi（Ki）TdHeadVi

步驟7） end for

步驟8） Xatt←concat（Headi，…，Headnum）

步驟9） for i←1 to N do //N表示月份數(shù)

步驟10）"" gi←Graph（xi，αi）

步驟11） end for

步驟12） for G←（g1，g2，…，gN）， Xglobal←globalfeature（G）

步驟13） Xlocal←concat（resGAT（G），degreeC（G））

步驟14） Xt←fc（W1Xglobal+W2Xlocal）

步驟15） end for

步驟16） return Xt.

算法1的步驟如下：

1） 輸入生產(chǎn)信息X=（x1，x2，…，xN）后， 算法對X中的數(shù)據(jù)進行降噪處理， 即先對X進行平均池化壓縮得到權(quán)重矩陣Wt， 再與原始輸入信息X相乘得到新的輸入；

2） 計算降噪輸出后X的查詢（Q）、 鍵（K）和值（V）， 并將這三者相乘獲得新的輸出Xatt， 以此挖掘出生產(chǎn)信息間的長期依賴關(guān)系；

3） 將Xatt與采油井和注入井的連通信息A=（α1，α2，…，αN）抽象表現(xiàn)為圖數(shù)據(jù)集G；

4） 在圖數(shù)據(jù)集G中分別計算每個節(jié)點度中心性和節(jié)點聚合周圍鄰居節(jié)點后的新節(jié)點， 并將兩者融合， 得到節(jié)點的局部特征表示；

5） 采用全局平均池化的方式獲取圖數(shù)據(jù)集G的全局特征， 并將其與前一步的節(jié)點局部特征按不同權(quán)重融合， 得到節(jié)點的最終輸出表示， 再將其輸入到全連接中得出采油井在t時刻的產(chǎn)油量Xt.

算法1是對基礎(chǔ)GAT模型的改進， 涉及降噪、 融入注意力機制以及多尺度提取模塊等操作， 這些操作加強了GAT模型處理噪聲和時序數(shù)據(jù)的能力， 從而加快了GAT模型的訓練速度， 其時間復雜度低于基礎(chǔ)GAT模型； 但也由于該算法分別計算提取圖數(shù)據(jù)集的局部特征和全局特征， 使用了更多的矩陣運算， 使得該算法的空間復雜度較基礎(chǔ)GAT模型高.

4 實驗設(shè)計與分析

4.1 數(shù)據(jù)集及歸一化處理

本文實驗使用的數(shù)據(jù)集是某油田實際生產(chǎn)過程中產(chǎn)生的油水井月數(shù)據(jù)， 數(shù)據(jù)集信息列于表1. 由表1可見， 油井和水井共有月數(shù)據(jù)7 992條， 實驗時將數(shù)據(jù)按月份劃分比例.

使用24個月的數(shù)據(jù)作為訓練集， 3個月的數(shù)據(jù)作為測試集， 即將所有數(shù)據(jù)中的7 104條數(shù)據(jù)作為訓練集， 888條數(shù)據(jù)作為測試集進行實驗.

實驗前需對數(shù)據(jù)集進行歸一化處理. 本文采用最小最大歸一化方式， 其基本思想就是將原始數(shù)據(jù)映射到［0，1］內(nèi)， 計算公式為xnorm=x-xminxmax-xmin，（13）

其中x表示樣本中某個特征的值， xmin表示該特征在數(shù)據(jù)集中的最小值， xmax表示該特征在數(shù)據(jù)集中的最大值. 使用最小最大歸一化可消除每個特征的量綱影響， 有利于模型學習特征之間的隱藏關(guān)系.

4.2 數(shù)據(jù)轉(zhuǎn)換

本文提出的改進圖注意力網(wǎng)絡(luò)預測模型中包含數(shù)據(jù)轉(zhuǎn)換模塊， 其主要功能是將模型輸入的數(shù)據(jù)轉(zhuǎn)換為模型內(nèi)部需要處理的圖數(shù)據(jù). 對應油田數(shù)據(jù)集， 就是將油水井的月生產(chǎn)數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)， 方法如下： 將油井和水井視為圖數(shù)據(jù)中的節(jié)點， 注入井和采油井存在有向邊. 每個井的特征數(shù)據(jù)表現(xiàn)為圖數(shù)據(jù)節(jié)點的特征. 將井距信息作為節(jié)點與節(jié)點之間邊的屬性. 表2列出了某油田月數(shù)據(jù)中其中5個月份的數(shù)據(jù).

由表2可見， 節(jié)點之間的邊數(shù)不是一成不變的， 這是因為在油田實際開發(fā)過程中可能會存在措施或是調(diào)整等生產(chǎn)工況因素， 如注水井停用則表現(xiàn)為該注水井與其他采油井并不連通， 對應的邊數(shù)就會減少.

4.3 評價指標

本文實驗采用的評價指標有平方絕對誤差（MAE）、 均方誤差（MSE）和R2， 計算公式如下：

MAE=1n∑ni=1i-yi，（14）

MSE=1n∑ni=1（yi-i）2，（15）

R2（y，）=1-∑ni=1（yi-i）2∑ni=1（yi-y）2，（16）

其中yi為第i個樣本的真實值， i為第i個樣本的預測值， y為樣本真實值的均值， n為樣本的數(shù)量. 表3列出了改進圖注意力網(wǎng)絡(luò)模型在訓練集和測試集上的各項指標， MAE和MSE是模型在數(shù)據(jù)集上的平均誤差和均方誤差， R2體現(xiàn)了模型預測值與真實值的擬合程度.

4.4 實驗參數(shù)設(shè)置

本文實驗中， 設(shè)模型的特征輸入維度為21， 多頭注意力機制中頭數(shù)設(shè)為3， 局部特征提取模塊中GAT的層數(shù)設(shè)為3. 模型整體使用Adam優(yōu)化器作為模型的優(yōu)化器， 加快模型的訓練速度. 模型的初始學習率為0.002， 訓練周期數(shù)設(shè)為800， 使用均方誤差作為模型的損失函數(shù).

4.5 模型分部對比

為驗證SE模塊、 多頭注意力機制和特征提取模塊對圖注意力網(wǎng)絡(luò)模型的提升效果， 在相同的訓練集和測試集情況下， 使用同樣的初始學習率、 優(yōu)化器、 訓練周期等超參數(shù)， 對上述各部分進行實驗對比驗證， 實驗對比結(jié)果列于表4. 表4中的S-GATs表示SE模塊與GATs網(wǎng)絡(luò)的融合， 通過SE模塊自適應調(diào)整輸入數(shù)據(jù)各特征的權(quán)重， 避免了噪聲數(shù)據(jù)的影響， 使基礎(chǔ)GATs網(wǎng)絡(luò)擬合效果得到提升； SM-GATs表示在S-GATs網(wǎng)絡(luò)的基礎(chǔ)上融合了多頭注意力機制， 挖掘出輸入數(shù)據(jù)的時序特征， 提升了模型網(wǎng)絡(luò)的性能； SMF-GATs表示在SM-GATs的基礎(chǔ)上加入特征提取模塊， 提取圖數(shù)據(jù)中的節(jié)點局部特征和全局特征， 并將兩者進行融合， 增強了模型的表征能力， 加快了模型的訓練速度， 使模型的預測效果得到提升.

4.6 多種模型預測性能對比

為進一步驗證SMF-GATs模型的有效性， 將該模型與長短時記憶網(wǎng)絡(luò)（long short-term memory， LSTM）［28|29］、 門控循環(huán)單元（gated recurrent unit， GRU）和門控圖神經(jīng)網(wǎng)絡(luò)（gated graph sequence neural networks， GGNN）［32|33］模型進行對比. 為充分體現(xiàn)各模型的性能， 對每個模型的參數(shù)進行調(diào)優(yōu)， 選擇最佳的參數(shù)， 實驗結(jié)果列于表5. 由表5可見， SMF-GATs和GGNN模型的R2值均高于LSTM和GRU模型. 這是因為SMF-GATs和GGNN模型都屬于圖神經(jīng)網(wǎng)絡(luò)， 而圖神經(jīng)網(wǎng)絡(luò)對比其他經(jīng)典深度學習網(wǎng)絡(luò)會在訓練過程中捕捉數(shù)據(jù)中節(jié)點與節(jié)點之間的隱藏關(guān)系， 從而提高模型的準確性. SMF-GATs模型在訓練集和測試集的擬合程度比GGNN模型更高， 這是因為SMF-GATs模型引入了SE模塊， 利用SE模塊自適應調(diào)整特征的特性， 減少了噪聲數(shù)據(jù)對模型的影響， 提高了模型的準確性， 并且SMF-GATs模型從不同尺度提取數(shù)據(jù)特征進行融合， 增強了模型的自身表征能力.

綜上所述， 針對圖注意力網(wǎng)絡(luò)處理噪聲和時序數(shù)據(jù)較弱， 并且在堆疊多層后出現(xiàn)梯度爆炸、 過平滑等問題， 本文提出了一種改進圖注意力網(wǎng)絡(luò)模型.

該模型在數(shù)據(jù)輸入時使用SE模塊調(diào)整輸入數(shù)據(jù)的特征權(quán)重， 抑制了數(shù)據(jù)中不重要的特征， 避免噪聲數(shù)據(jù)的影響， 改善了模型的魯棒性. 多頭注意力機制的應用則使模型能更好地處理時序數(shù)據(jù). 為增強模型的表征能力， 在模型中使用殘差連接、 圖注意力網(wǎng)絡(luò)和節(jié)點度中心性相結(jié)合方式提取圖數(shù)據(jù)節(jié)點中的局部特征， 并使用全局平均池化的方式提取節(jié)點的全局特征， 最后將兩者融合得到圖數(shù)據(jù)節(jié)點的最終表示， 使模型預測準確性得到提升.

參考文獻

［1］ 計秉玉， 孟新. 基于儲量結(jié)構(gòu)變化的油田開發(fā)指標預測與優(yōu)化數(shù)學模型研究 ［J］. 運籌與管理， 2022， 31（9）： 135-139. （JI B Y， MENG X. Research on Forecasting and Optimizing Mathematical Model of Oilfield Development Indexes Based on Changes in Reserve Structure ［J］. Operations Research and Management Science， 2022， 31（9）： 135-139.）

［2］ 葉鋒. 多元線性回歸在經(jīng)濟技術(shù)產(chǎn)量預測中的應用 ［J］. 中外能源， 2015， 20（2）： 45-48. （YE F. Application of Multiple Linear Regression to Economic and Technical Oil Production Forecast ［J］. Sino-Global Energy， 2015， 20（2）： 45-48.）

［3］ 鐘儀華， 林旭旭， 劉雨鑫. 基于多元混沌時間序列的油田產(chǎn)量預測模型 ［J］. 數(shù)學的實踐與認識， 2016， 46（6）： 99-105. （ZHONG Y H， LIN X X， LIU Y X. The Oilfield Output Prediction Model Based on Multivariate Chaotic Time Series ［J］. Mathematics in Practice and Theory， 2016， 46（6）： 99-105.）

［4］ 李東昊， 王天柱. 基于灰色理論和遺傳算法的單井產(chǎn)油量預測方法 ［J］. 天津科技， 2017， 44（8）： 48-51. （LI D H， WANG T Z. Grey Theory and Genetic Algorithm for Single Well Oil Production Prediction ［J］. Tianjin Science amp; Technology， 2017， 44（8）： 48-51.）

［5］ 任燕龍， 谷建偉， 崔文富， 等. 基于改進果蠅算法和長短期記憶神經(jīng)網(wǎng)絡(luò)的油田產(chǎn)量預測模型 ［J］. 科學技術(shù)與工程， 2020， 20（18）： 7245-7251. （REN Y L， GU J W， CUI W F， et al. Oilfield Production Prediction Model Based on Improved Fruit Fly Algorithm and Long-Short Term Memory Neural Network ［J］. Science Technology and Engineering， 2020， 20（18）： 7245-7251.）

［6］ 潘少偉， 鄭澤晨， 王吉， 等. 基于長短期記憶網(wǎng)絡(luò)和注意力機制的油井產(chǎn)油量預測 ［J］. 科學技術(shù)與工程， 2021， 21（30）： 13010-13015. （PAN S W， ZHENG Z C， WANG J， et al. Oil Production Prediction of Oil Wells Based on Long Short-Term Memory Networks and Attention ［J］. Science Technology and Engineering， 2021， 21（30）： 13010-13015.）

［7］ 張蕾， 竇宏恩， 王天智， 等. 基于集成時域卷積神經(jīng)網(wǎng)絡(luò)模型的水驅(qū)油田單井產(chǎn)量預測方法 ［J］. 石油勘探與開發(fā)， 2022， 49（5）： 996-1004. （ZHANG L， DOU H E， WANG T Z， et al. A Production Prediction Method of Single Well in Water Flooding Oilfield Based on Integrated Temporal Convolutional Network Model ［J］. Petroleum Exploration and Development， 2022， 49（5）： 996-1004.）

［8］ 馬帥， 劉建偉， 左信. 圖神經(jīng)網(wǎng)絡(luò)綜述 ［J］. 計算機研究與發(fā)展， 2022， 59（1）： 47-80. （MA S， LIU J W， ZUO X. Survey on Graph Neural Network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［9］ JIANG B， ZHANG Z Y， LIN D D， et al. Semi-supervised Learning with Graph Learning-Convolutional Networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： 2019： 11313-11320.

［10］ 馬超， 熊順， 蔣丹妮. 圖卷積神經(jīng)網(wǎng)絡(luò)在道路網(wǎng)選取中的應用 ［J］. 測繪科學， 2022， 47（12）： 200-205. （MA C， XIONG S， JIANG D N. Application of the Graph Convolution Network in the Road Network Auto-selection ［J］. Science of Surveying and Mapping， 2022， 47（12）： 200-205.）

［11］ VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks ［EB/OL］. （2017-10-30）［2023-03-15］. https：//arxiv.org/abs/1710.10903.

［12］ 岳子巍， 方勇， 張磊. 基于圖注意力網(wǎng)絡(luò)的安卓惡意軟件檢測 ［J］. 四川大學學報（自然科學版）， 2022， 59（5）： 88-95. （YUE Z W， FANG Y， ZHANG L. Android Malware Detection Based on Graph Attention Networks ［J］. Journal of Sichuan University （Natural Science Edition）， 2022， 59（5）： 88-95.）

［13］ 劉淵， 趙紫娟， 楊凱. 基于節(jié)點相似性的圖注意力網(wǎng)絡(luò)表示學習模型 ［J］. 計算機應用研究， 2023， 40（3）： 822-827. （LIU Y， ZHAO Z J， YANG K. Graph Attention Network Representation Learning with Node Similarity ［J］. Application Research of Computers， 2023， 40（3）： 822-827.）

［14］ HU J， SHEN L， SUN G. Squeeze-and-Excitation Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 7132-7141.

［15］ 牛哲文， 余澤遠， 李波， 等. 基于深度門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的短期風功率預測模型 ［J］. 電力自動化設(shè)備， 2018， 38（5）： 36-42. （NIU Z W， YU Z Y， LI B， et al. Short-Term Wind Power Forecasting Model Based on Deep Gated Recurrent Unit Neural Network ［J］. Electric Power Automation Equipment， 2018， 38（5）： 36-42.）

［16］ CAO P， CHEN Y， LIU K， et al. Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-attention Mechanism ［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2018： 182-192.

［17］ 謝琪琦， 辛月蘭， 曾曦. 基于注意力機制的多視圖三維重建 ［J］. 激光雜志， 2023， 44（1）： 136-142. （XIE Q Q， XIN Y L， ZENG X. Multi-view 3D Reconstruction Based on Attention Mechanism ［J］. Laser Journal， 2023， 44（1）： 136-142.）

［18］ 付宏建， 白宏陽， 郭宏偉， 等. 融合多注意力機制的光學遙感圖像目標檢測方法 ［J］. 光子學報， 2022， 51（12）： 312-320. （FU H J， BAI H Y， GUO H W， et al. Object Detection Method of Optical Remote Sensing Image with Multi-attention Mechanism ［J］. Acta Photonica Sinica， 2022， 51（12）： 312-320.）

［19］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need ［J］. Advances in Neural Information Processing Systems， 2017， 30： 6000-6010.

［20］ 張振坤， 張冬梅， 李江， 等. 基于多頭自注意力機制的LSTM-MH-SA滑坡位移預測模型研究 ［J］. 巖土力學， 2022， 43（增刊2）： 477-486. （ZHANG Z K， ZHANG D M， LI J， et al. LSTM-MH-SA Landslide Displacement Prediction Model Based on Multi-head Self-attention Mechanism ［J］. Rock and Soil Mechanics， 2022， 43（Suppl 2）：" 477-486.）

［21］ 周飛燕， 金林鵬， 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述 ［J］. 計算機學報， 2017， 40（6）： 1229-1251. （ZHOU F Y， JIN L P， DONG J. Review of Convolutional Neural Network ［J］. Chinese Journal of Computeres， 2017， 40（6）： 1229-1251.）

［22］ CHEN Z Y， XU Q Q， CONG R M， et al. Global Context-Aware Progressive Aggregation Network for Salient Object Detection ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 10599-10606.

［23］ HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely Connected Convolutional Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 4700-4708.

［24］ 王進， 李穎， 蔣曉翠， 等. 基于層級殘差連接LSTM的命名實體識別 ［J］. 江蘇大學學報（自然科學版）， 2022， 43（4）： 446-452. （WANG J， LI Y， JIANG X C， et al. Named Entity Recognition of LSTM Based on Hierarchial Residual Connection ［J］. Journal of Jiangsu University （Natural Science Edition）， 2022， 43（4）： 446-452.）

［25］ DAS K， SAMANTA S， PAL M. Study on Centrality Measures in Social Networks： A Survey ［J］. Social Network Analysis and Mining， 2018， 8： 1-11.

［26］ 閆泓任， 馬國帥， 錢宇華. 基于節(jié)點度中心性的無監(jiān)督特征選擇 ［J］. 數(shù)據(jù)采集與處理， 2019， 34（2）： 312-321. （YAN H R， MA G S， QIAN Y H. Degree-Centrality Based Feature Selection ［J］. Journal of Data Acquisition and Processing， 2019， 34（2）： 312-321.）

［27］ 黃祖南， 鄭正喜. 復雜產(chǎn)業(yè)網(wǎng)絡(luò)度中心性研究 ［J］. 統(tǒng)計研究， 2021， 38（5）： 147-160. （HUANG Z N， ZHENG Z X. Research on the Degree Centrality of Complex Industry Network ［J］. Statistical Research， 2021， 38（5）： 147-160.）

［28］ SONG X Y， LIU Y T， XUE L， et al. Time-Series Well Performance Prediction Based on Long Short-Term Memory （LSTM） Neural Network Model ［J］. Journal of Petroleum Science and Engineering， 2020， 186： 106682-1-106682-11.

［29］ 王力， 金輝. 基于多頭自注意力機制的大氣數(shù)據(jù)系統(tǒng)多故障識別 . 江蘇大學學報（自然科學版）， 2023， 44（4）： 444|451.（WANG L， JIN H. Multi|fault Recognition of Air Data System Based on Multi|head Self|attention Mechanism . Journal of Jiangsu University （Natural Science Edition）， 2023， 44（4）： 444|451.）

［30］ 劉棟， 楊輝， 姬少培， 等. 基于多模型加權(quán)組合的文本相似度計算模型 . 計算機工程， 2023， 49（10）： 97|104. （LIU D， YANG H， JI S P， et al. Text Similarity Computing Model Based on Weighted Combination of Multiple Models . Computer Engineering， 2023， 49（10）： 97|104.）

［31］ 胡向東， 張婷. 基于時空融合深度學習的工業(yè)互聯(lián)網(wǎng)異常流量檢測方法 . 重慶郵電大學學報（自然科學版）， 2022， 34（6）： 1056|1064. （HU X D， ZHANG T. Abnormal Traffic Detection Method for Industrial Internet Based on Deep Learning with Time|Space Fusion . Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2022， 34（6）： 1056|1064.）

［32］ LI Y J， DANIEL T， MARC B， et al. Gated Graph Sequence Neural Networks ［EB/OL］. （2015-11-17）［2023-03-01］. https：//arxiv.org/abs/1511.05493.

［33］ 李盼， 解慶， 李琳， 等. 知識增強的圖神經(jīng)網(wǎng)絡(luò)序列推薦模型 . 計算機工程， 2023， 49（2）： 70|80. （LI P， XIE Q， LI L， et al. Knowledge|Enhanced Graph Neural Network Model for Sequential Recommendation . Computer Engineering， 2023， 49（2）： 70|80.）

（責任編輯： 韓 嘯）