基于卷積神經(jīng)網(wǎng)絡(luò)的抽油機(jī)故障診斷

杜 娟，劉志剛,*，宋考平，楊二龍

(1. 東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 黑龍江 大慶 163318；2. 東北石油大學(xué)石油與天然氣工程博士后工作站 黑龍江 大慶 163318；3. 中國(guó)石油大學(xué)非常規(guī)油氣研究院 北京 昌平區(qū) 102249)

由于井下地層因素復(fù)雜，抽油桿柱運(yùn)動(dòng)到井下抽油泵的過(guò)程中存在許多不明因素均易引發(fā)抽油機(jī)故障，降低生產(chǎn)抽油效率，甚至造成油井安全事故。載荷(P)和位移(S)是抽油機(jī)驢頭在上下往復(fù)運(yùn)動(dòng)時(shí)產(chǎn)生的參數(shù)，二者構(gòu)成的閉合曲線(xiàn)即為示功圖，它可實(shí)時(shí)反映氣、油、水、砂、蠟等井內(nèi)因素對(duì)抽油機(jī)工況的影響[1]，因此基于示功圖的抽油機(jī)故障診斷是數(shù)字化油田中一項(xiàng)重要研究?jī)?nèi)容。

抽油機(jī)狀態(tài)采集頻繁，傳統(tǒng)示功圖人工分析法需要消耗大量的人力、物力，且受專(zhuān)業(yè)經(jīng)驗(yàn)影響而難于推廣。人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)具有良好的非線(xiàn)性逼近能力，BP 神經(jīng)網(wǎng)絡(luò)[2-3]、RBF[4]、小波神經(jīng)網(wǎng)絡(luò)[5]、極限學(xué)習(xí)機(jī)[6]、自組織神經(jīng)網(wǎng)絡(luò)[7-8]等模型相繼被應(yīng)用到抽油機(jī)故障診斷中，正逐步取代傳統(tǒng)的人工分析。但受限于模型的內(nèi)部機(jī)制，這些方法存在以下不足：1) 特征提取時(shí)直接將示功圖的上百個(gè)位移?載荷數(shù)據(jù)對(duì)作為輸入，造成神經(jīng)網(wǎng)絡(luò)模型內(nèi)部映射結(jié)構(gòu)復(fù)雜，嚴(yán)重影響模型的診斷精度；2) 故障診斷是以示功圖輪廓特征為基礎(chǔ)，而位移?載荷的直接點(diǎn)對(duì)點(diǎn)的輸入神經(jīng)網(wǎng)絡(luò)模型，無(wú)法有效提取示功圖的輪廓特征。

近年來(lái)，隨著大規(guī)模數(shù)據(jù)集的不斷涌現(xiàn)和計(jì)算機(jī)GPU 計(jì)算能力的不斷提高，以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)為代表的深度學(xué)習(xí)模型，如VGG-16[9]、ResNet[10]、DenseNet[11]等，已成為模式識(shí)別、目標(biāo)檢測(cè)、語(yǔ)言處理等研究領(lǐng)域的研究熱點(diǎn)。自2018 年開(kāi)始，文獻(xiàn)[12-14]嘗試應(yīng)用CNN 進(jìn)行抽油機(jī)故障診斷的探索性研究，取得了較好的應(yīng)用效果。但直接應(yīng)用CNN 診斷工況存在如下問(wèn)題：1) CNN 模型計(jì)算密集、參數(shù)數(shù)量龐大，訓(xùn)練需耗費(fèi)極大的GPU 計(jì)算資源，需要較大的存儲(chǔ)和運(yùn)行內(nèi)存，而部分抽油機(jī)工況檢測(cè)設(shè)備的硬件性能和功耗較低，直接運(yùn)行此模型難度較大；2)部分工況示功圖輪廓特征區(qū)分度較低，如氣體影響、供液不足、固定漏失、游動(dòng)漏失等，直接卷積提取輪廓特征的診斷精度并不理想。

通過(guò)CNN 診斷抽油機(jī)故障需要重點(diǎn)研究的問(wèn)題：1) 有效提取示功圖的輪廓特征，并加強(qiáng)對(duì)區(qū)分度高的輪廓特征提取；2) 降低模型存儲(chǔ)，提高模型的適用性。為此，本文采用深度分離卷積作為CNN特征提取的基礎(chǔ)架構(gòu)，提出一種正則化注意力卷積模塊，該模塊可以嵌入到CNN 的任意兩個(gè)連續(xù)卷積層中，通過(guò)通道壓縮、注意力和通道失活，實(shí)現(xiàn)特征加強(qiáng)和抑制；其次，提出一種注意力損失函數(shù)使得模型訓(xùn)練關(guān)注難分的示功圖樣本，進(jìn)一步提高模型的診斷能力。為方便表述，將上述過(guò)程構(gòu)建的CNN 命名為輕量注意力卷積神經(jīng)網(wǎng)絡(luò)(lightweight attention convolutional neural network, LA-CNN)。仿真實(shí)驗(yàn)通過(guò)油田某礦的抽油機(jī)工況數(shù)據(jù)集對(duì)模型有效性進(jìn)行驗(yàn)證。

1 深度分離卷積

深度分離卷積[15]通過(guò)深度卷積和點(diǎn)卷積，將標(biāo)準(zhǔn)卷積通道和空間的聯(lián)合映射分離成二者單獨(dú)映射，有效減少模型參數(shù)數(shù)量和空間存儲(chǔ)。2017 年，Google 引入深度分離卷積，提出MobileNet-V1[16]，其模型參數(shù)僅為4.2 MB，存儲(chǔ)空間為17 MB，適用低功耗的嵌入式便攜設(shè)備。2018 年，Google 進(jìn)一步提出MobileNet-V2[17]。為方便描述，記卷積核為(DK,DK,C)，其中卷積核的寬、高一致，統(tǒng)一用DK表示， C為通道。深度分離卷積是將原有跨通道計(jì)算的 N個(gè)(DK,DK,M)標(biāo)準(zhǔn)卷積轉(zhuǎn)成轉(zhuǎn)換成 M個(gè)(DK,DK,1)的深度卷積和跨通道的 N個(gè)(1,1,M)的點(diǎn)卷積。記輸入特征圖為{DF,DF,M}，輸出特征圖為{DF,DF,N}，其中 DF為特征圖的寬和高，則各卷積計(jì)算量如下：

1) 標(biāo)準(zhǔn)卷積為：

count0=DKDKMNDFDF

2) 深度卷積為：

count1=DKDKMDFDF

3) 點(diǎn)卷積為：

count2=MNDFDF

2 輕量注意力卷積神經(jīng)網(wǎng)絡(luò)LA-CNN

近年來(lái)，仿照人類(lèi)感知系統(tǒng)的注意力機(jī)制可快速、有效地定位目標(biāo)信息，抑制無(wú)關(guān)信息和節(jié)省計(jì)算資源，是目前國(guó)內(nèi)外研究的熱點(diǎn)問(wèn)題，在細(xì)粒度識(shí)別[18-19]、目標(biāo)檢測(cè)[20-21]、圖像描述[22-23]等領(lǐng)域均有應(yīng)用。文獻(xiàn)[24]提出SENet，通過(guò)通道的壓縮、擴(kuò)展完成注意力的計(jì)算，雖然在ImageNet 大規(guī)模數(shù)據(jù)集上的分類(lèi)精度較高，但由于缺乏正則化機(jī)制，對(duì)于規(guī)模較小的抽油機(jī)工況數(shù)據(jù)集，卻容易出現(xiàn)過(guò)擬合。目前增強(qiáng)CNN 對(duì)小規(guī)模數(shù)據(jù)集泛化能力的重要方法是Dropout，隨機(jī)設(shè)置神經(jīng)元的輸出或者連接權(quán)值為零，但該方法僅限于在全連接層中使用。卷積層的基本信息單位是通道，不是神經(jīng)元，因此Dropout 并不適用于卷積層。

為此，為提高示功圖的輪廓特征提取，本文提出了一種可嵌入連續(xù)深度分離卷積層正則化注意力模塊，該模塊首先利用全局池化計(jì)算對(duì)上一個(gè)卷積層輸出特征圖中的每個(gè)通道進(jìn)行壓縮，并引入一個(gè)全連接層來(lái)構(gòu)建通道注意力向量；然后計(jì)算通道選擇掩碼，建立適用于通道的正則化機(jī)制，完成通道的失活。模塊的具體結(jié)構(gòu)如圖1 所示。

圖1 嵌入兩個(gè)連續(xù)深度分離卷積層的正則化注意力模塊

2.1 正則化注意力卷積模塊

1) 通道聚合

使用最大、平均和隨機(jī)3 種全局池化，沿通道方向壓縮特征圖的每個(gè)通道空間維度，從多個(gè)角度完成空間信息的聚。為方便描述，記上一個(gè)深度分離卷積輸出特征圖為U=[u1,u2,···,uC]，ui∈RH×W，C為通道數(shù)，H 和W 分別為特征圖的高和寬。按全局最大池化，將每個(gè) ui壓縮到通道注意力分量smax，具體定義為：

按全局平均和隨機(jī)池化的計(jì)算，分別壓縮每個(gè)ui到通道注意力分量smean和 ssto中，這兩個(gè)分量的具體定義為：

式中，pc(i,j)為通道中某元素的選擇概率：

2) 通道注意力

將通道注意力分量smax、 smean和 ssto作為全連接層的輸入，通過(guò)與權(quán)值參數(shù)的逐點(diǎn)相乘、累加和激活函數(shù)完成聚合，進(jìn)一步增加非線(xiàn)性，并通過(guò)模型訓(xùn)練不斷更新、計(jì)算每個(gè)通道對(duì)樣本的注意力。因此，通道注意力s=[s1,s2,···,sC]的定義如下：

式中， σ是sigmoid 函數(shù)； δ是ReLu 函數(shù)； w0和w1為全連接層的權(quán)值，這些參數(shù)對(duì)于3 個(gè)通道注意力分量是共享的。

3) 通道正則化

根據(jù)通道注意力構(gòu)建通道注意力掩碼m=[m1,m2,···,mC]，其中掩碼 mi標(biāo)識(shí)某通道是否被激活，第i個(gè)通道被選擇的概率定義為：

如果某通道選擇概率 pi大于隨機(jī)選擇概率，則通道被激活，否則失活。即通道的選擇概率越大，則通道越容易被激活。因此，掩碼 mi可定義為：

4) 正則化注意力特征圖

根據(jù)通道注意力s和 通道注意力掩碼 m，在原始特征圖 U的基礎(chǔ)上，構(gòu)建正則化注意力特征圖X ∈RC×H×W，具體定義為：

式中， ?代表逐點(diǎn)相乘。

2.2 注意力交叉熵?fù)p失函數(shù)

在抽油機(jī)工況數(shù)據(jù)集中，出砂、桿斷、活塞脫出、正常等工況的示功圖輪廓特征區(qū)分較為明顯，具體如圖2 所示。這些樣本在模型訓(xùn)練過(guò)程中較易識(shí)別正確，而氣體影響、供液不足的示功圖特征較為相近，診斷錯(cuò)誤率較高。由于易分樣本對(duì)模型的訓(xùn)練貢獻(xiàn)較小，難分樣本較大地影響著模型訓(xùn)練和后期的診斷精度，因此模型訓(xùn)練應(yīng)較多的關(guān)注此類(lèi)樣本。

標(biāo)準(zhǔn)CNN 訓(xùn)練使用的交叉熵?fù)p失函數(shù)為：式中， y 是樣本的實(shí)際類(lèi)別； y?是樣本在全連接層的Softmax 輸出； T是樣本的類(lèi)別數(shù)。

圖2 10 種常見(jiàn)的抽油機(jī)工況對(duì)應(yīng)的示功圖

根據(jù)式(8)，交叉熵?fù)p失函數(shù)無(wú)法有效區(qū)分難分樣本和易分樣本，所有樣本在訓(xùn)練中被等同對(duì)待，若易分樣本數(shù)量高于難分樣本，導(dǎo)致模型訓(xùn)練時(shí)難分負(fù)樣本被易分正樣本“淹沒(méi)”。本文受注意力機(jī)制啟發(fā)，提出了注意力損失函數(shù)，定義為：

3 仿真實(shí)驗(yàn)

3.1 工況數(shù)據(jù)集

本文實(shí)驗(yàn)對(duì)10 種常見(jiàn)的抽油機(jī)工況進(jìn)行診斷，具體包括：正常、固定凡爾漏失、游動(dòng)凡爾漏失、桿斷、出砂、結(jié)蠟、活塞碰泵、活塞脫出、氣體影響、供液不足，每種示功圖如圖2 所示。選取大慶油田某油礦40 臺(tái)抽油機(jī)的示功圖樣本25 963 個(gè)，每個(gè)樣本對(duì)應(yīng)工況已在生產(chǎn)過(guò)程中通過(guò)人工標(biāo)注完成。為保持樣本平衡，本文實(shí)驗(yàn)對(duì)故障工況的樣本進(jìn)行數(shù)據(jù)增強(qiáng)，方法包括位移載荷偏移、旋轉(zhuǎn)、平移，最后樣本集共包含工況樣本18 500 個(gè)。模型訓(xùn)練過(guò)程中，采用5-fold 交叉驗(yàn)證，即工況樣本集平均分成5 份，每次取其中4 份作為訓(xùn)練集，剩余1 份作為測(cè)試集。實(shí)驗(yàn)過(guò)程中將示功圖的載荷、位移繪制成示功圖，然后轉(zhuǎn)換為224×224 像素圖像。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文為驗(yàn)證LA-CNN 有效性，對(duì)比模型包括VGG-16[9]、ResNet-50[10]、MobileNet-V1[16]和MobileNet-V2[17]，其中前兩種是經(jīng)典CNN，后兩種是輕量CNN。此外還與其他示功圖工況診斷方法對(duì)比，包括文獻(xiàn)[3]的BP 網(wǎng)絡(luò)診斷法、文獻(xiàn)[25]的UKFRBF 診斷法。表1 為不同CNN 模型的訓(xùn)練時(shí)間和抽油機(jī)故障診斷精度對(duì)比。

實(shí)驗(yàn)結(jié)果表明：1) 在硬件資源和功耗較低的抽油機(jī)故障檢測(cè)設(shè)備上，很難直接運(yùn)行深度學(xué)習(xí)模型VGG-16 和ResNet-50；2) 在模型存儲(chǔ)上，使用深度分離卷積的MobileNet-V1，MobileNet-V2 和本文的LA-CNN 模型相對(duì)于深度學(xué)習(xí)模型VGG-16 均縮減了近50 倍左右，LA-CNN 相對(duì)于模型MobileNet-V1，幾乎沒(méi)有變化；3) 在模型精度上，MobileNet-V1 和MobileNet-V2 模型的故障診斷精度相對(duì)較低，分別為87.5%和88.8%，不能很好地滿(mǎn)足故障診斷實(shí)際要求。但引入注意力的機(jī)制后，LA-CNN 的診斷精度比MobileNet 模型有明顯的提高，達(dá)到95.1%，僅比VGG-16 的診斷精度低0.6 個(gè)百分點(diǎn)，滿(mǎn)足抽油機(jī)故障診斷的精度要求；4) 淺層神經(jīng)網(wǎng)絡(luò)診斷示功圖存在精度較低的不足，如文獻(xiàn)[3]和文獻(xiàn)[25]的BP和RBF，主要受限于模型輸入無(wú)法有效體現(xiàn)載荷和位移的映射關(guān)系，示功圖輪廓的表征特征魯棒性較差。

圖3 不同模型診斷抽油機(jī)故障的混淆矩陣對(duì)比

本文LA-CNN 模型在不同測(cè)試數(shù)據(jù)集上的每種工況的診斷結(jié)果如表2 所示，可明顯看出LACNN 在抽油機(jī)的大多數(shù)工況上都獲得了較高的診斷準(zhǔn)確率，其中正常、供液不足、結(jié)蠟、出砂、活塞碰泵、活塞脫出、桿斷的診斷精度均超過(guò)94%。圖3 為MobielNet-V1、MobielNet-V2、VGG-16 和LA-CNN 的抽油機(jī)故障診斷結(jié)果的混淆矩陣對(duì)比，其中坐標(biāo)軸0～9 依次代表正常、氣體影響、供液不足、固定凡爾漏失、雙凡爾漏失、結(jié)蠟、出砂、活塞碰泵、活塞脫出、桿斷，縱軸表示樣本的真實(shí)工況標(biāo)簽，水平軸表示樣本的預(yù)測(cè)標(biāo)簽，對(duì)角線(xiàn)則表示測(cè)試集中各種工況樣本診斷正確的數(shù)量。

表1 5 種深度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和診斷結(jié)果對(duì)比

表2 LA-CNN 模型的不同測(cè)試集的故障診斷準(zhǔn)確率%

為進(jìn)一步驗(yàn)證本文的正則化注意力模塊和注意力損失函數(shù)的有效性，通過(guò)融合實(shí)驗(yàn)進(jìn)行性能對(duì)比分析，包括深度分離卷積、正則化注意力和注意力損失函數(shù)間的不同組合，對(duì)比指標(biāo)是模型訓(xùn)練時(shí)間和故障診斷精度。表3 為L(zhǎng)A-CNN 的融合實(shí)驗(yàn)性能對(duì)比，實(shí)驗(yàn)結(jié)果表明：1) 在CNN 中嵌入正則化注意力模塊后，增加的訓(xùn)練時(shí)間可以忽略不計(jì)，但診斷精度明顯提高；2) 引入注意力損失函數(shù)，通過(guò)控制樣本損失權(quán)重調(diào)節(jié)樣本貢獻(xiàn)，使模型訓(xùn)練過(guò)程中較多地關(guān)注難分負(fù)樣本，比僅使用注意力機(jī)制又提高2.9 個(gè)百分點(diǎn)。

表3 LA-CNN 模型的融合實(shí)驗(yàn)對(duì)比

此外，為驗(yàn)證注意力損失函數(shù)中的調(diào)節(jié)因子k對(duì)模型性能的影響，將其分別作為L(zhǎng)A-CNN、VGG-16 和MobileNet 的損失函數(shù)，并給出各個(gè)取值時(shí)不同模型的故障診斷精度對(duì)比，從而從實(shí)驗(yàn)分析角度給出k 的最終取值。圖4 是k不同取值時(shí)不同模型的抽油機(jī)故障診斷準(zhǔn)確率對(duì)比。

圖4 調(diào)節(jié)因子對(duì)故障診斷性能的影響

實(shí)驗(yàn)結(jié)果表明k=3時(shí)，各個(gè)模型的故障診斷精度均達(dá)到理想狀態(tài)，其中LA-CNN 達(dá)到95.1%。主要原因如下：

1) k=0時(shí)，各個(gè)模型仍然使用的是交叉熵?fù)p失函數(shù)，所有樣本對(duì)損失的貢獻(xiàn)權(quán)重相等；

2) k ∈[1,3]時(shí)，易分樣本的損失權(quán)重逐步得到抑制，模型訓(xùn)練關(guān)注難分樣本；

3) k>3時(shí)，易分樣本對(duì)模型訓(xùn)練損失的貢獻(xiàn)基本被抑制到0，同時(shí)難分負(fù)樣本的數(shù)量較少，模型診斷能力下降。

4 結(jié) 束 語(yǔ)

本文介紹了一種輕量型卷積神經(jīng)網(wǎng)絡(luò)LA-CNN及抽油機(jī)故障診斷應(yīng)用，將位移?載荷的輪廓曲線(xiàn)轉(zhuǎn)換為圖像，直接使用卷積神經(jīng)網(wǎng)絡(luò)提取圖形的輪廓特征。在模型結(jié)構(gòu)上采用了深度分離卷積來(lái)降低模型存儲(chǔ)，為提高抽油機(jī)故障診斷精度，適應(yīng)小規(guī)模工況樣本集，提出正則化注意力模塊和注意力損失函數(shù)，對(duì)特征圖的通道特征進(jìn)行抑制或加強(qiáng)，建立適用于通道的失活機(jī)制，訓(xùn)練過(guò)程更多關(guān)注難分樣本。這種正則化注意力機(jī)制可有效提高模型的診斷精度。仿真結(jié)果表明，LA-CNN 導(dǎo)出后的模型參數(shù)僅占5.4 Mb，可滿(mǎn)足檢測(cè)設(shè)備硬件和功耗低的要求，并具有較高的故障診斷精度。最后通過(guò)融合實(shí)驗(yàn)進(jìn)一步驗(yàn)證所提正則化注意力模塊和注意力損失函數(shù)的有效性。該方法的研究為大數(shù)據(jù)環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)開(kāi)展基于示功圖的抽油機(jī)故障診斷提供了一種新的思路。

本文的研究工作得到了東北石油大學(xué)青年基金(2017PYZL-06, 2018YDL-22)和東北石油大學(xué)優(yōu)秀中青年科研創(chuàng)新團(tuán)隊(duì)(KYCXTD201903)的資助，在此表示感謝！