何自芬， 曹輝柱， 張印輝， 莊 宏

（昆明理工大學(xué) 機(jī)電工程學(xué)院，云南 昆明 650000）

1 引言

甲烷是天然氣與煤氣的主要成分，廣泛存在于煤炭化工、石油開采、石油化工等化工行業(yè)，同時(shí)也是日常生活中主要清潔能源［1］。另外，甲烷作為溫室氣體之一，其對(duì)全球變暖的影響遠(yuǎn)遠(yuǎn)超過二氧化碳［2］。盡管甲烷在大氣中壽命只有12年，但具有相較于二氧化碳28～34 倍的蓄熱能力，使得它成為全球變暖的主要來源［3］。甲烷具有無色無味且易燃易爆的的化學(xué)性質(zhì)，若無檢測(cè)設(shè)備其泄漏就很難被察覺。一旦接觸到熱源或者明火，就可能導(dǎo)致嚴(yán)重的安全事故，如火災(zāi)、爆炸和環(huán)境污染，對(duì)社會(huì)和人民的生命和財(cái)產(chǎn)構(gòu)成巨大威脅。因此，減少甲烷氣體泄漏事故已成為化工生產(chǎn)中日益關(guān)注的問題，發(fā)展針對(duì)甲烷氣體泄漏的高效安全檢測(cè)和分割技術(shù)用于實(shí)時(shí)監(jiān)測(cè)甲烷泄漏、快速定位甲烷泄漏源，以減少人民生命財(cái)產(chǎn)損失、保護(hù)環(huán)境，做到降本增效經(jīng)濟(jì)意義重大。

<1)，且各件產(chǎn)品是否為不合格品相互獨(dú)立．

傳統(tǒng)氣體泄漏檢測(cè)主要依靠接觸式氣體傳感器對(duì)管道中泄漏氣體進(jìn)行檢測(cè)，包括人工檢測(cè)、氣體采樣、土壤檢測(cè)等［4-6］。此類方法不僅耗費(fèi)大量的人力財(cái)力和時(shí)間，而且對(duì)管道、儲(chǔ)氣庫及周邊環(huán)境造成一定的破壞［7］，同時(shí)檢測(cè)結(jié)果易受安裝位置和外界環(huán)境風(fēng)向等因素影響，無法達(dá)到快速定位泄漏源的目的，且檢測(cè)范圍小、檢測(cè)效率低。近年來，非接觸式紅外熱成像探測(cè)技術(shù)，以其探測(cè)距離遠(yuǎn)、降低了檢測(cè)難度和風(fēng)險(xiǎn)因素，同時(shí)還有靈敏度高、動(dòng)態(tài)直觀等優(yōu)點(diǎn)，在石化裝置及工藝管線的氣體泄漏檢測(cè)領(lǐng)域得到廣泛應(yīng)用［8］。與可見光氣體成像不同，紅外成像利用有害氣體與背景之間的溫度差，將無法直接觀察到的紅外輻射轉(zhuǎn)換為灰度圖像，有效將有害氣體與周圍環(huán)境分開，從而實(shí)現(xiàn)對(duì)有害氣體進(jìn)行泄漏監(jiān)測(cè)。紅外熱成像技術(shù)可以更加直觀地檢測(cè)出某種氣體物質(zhì)的存在，并且能夠準(zhǔn)確地確定其位置，可以幫助我們更好理解和識(shí)別特定氣體。

由于紅外熱成像技術(shù)具有快速響應(yīng)、非接觸測(cè)量和快速定位氣敏傳感器難以感知到的微小泄漏源等優(yōu)勢(shì)，因此在氣體檢漏領(lǐng)域得到了廣泛應(yīng)用［9］。盡管紅外熱像儀可以手持或安裝在固定位置，但目前仍然依賴于人工進(jìn)行視檢使得人力成本增加［10］。近年來，由于人工智能技術(shù)飛速發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)算法已成為計(jì)算機(jī)視覺領(lǐng)域的重要技術(shù)手段，并且正被廣泛應(yīng)用于視覺檢測(cè)中以替代傳統(tǒng)的人工巡檢［11］。

研究人員近年在紅外氣體泄漏檢測(cè)方面投入了大量的工作，如基于目標(biāo)氣體紅外圖像進(jìn)行分類［12-14］和目標(biāo)檢測(cè)［15］取得了很好的效果，但此類檢測(cè)算法無法將泄漏氣體從背景中分割出來也無法給出泄漏氣體的輪廓邊界，不利于后續(xù)對(duì)各個(gè)點(diǎn)源的泄漏等級(jí)進(jìn)行量化以便制定維修方案。

實(shí)例分割是目標(biāo)檢測(cè)與語義分割在模型層面的統(tǒng)一，要求正確地檢測(cè)并分割圖像中每個(gè)對(duì)象實(shí)例，實(shí)現(xiàn)了像素維度的圖像目標(biāo)輪廓識(shí)別。目前廣泛使用的基于深度學(xué)習(xí)的實(shí)例分割方法可分為兩類。一類是雙階段實(shí)例分割算法，如Mask R-CNN［16］算法，采用深度卷積神經(jīng)網(wǎng)絡(luò)提取特征，在圖像實(shí)例分割領(lǐng)域取得了較好的結(jié)果，在此基礎(chǔ)上Mask Scoring R-CNN［17］，HTC［18］等方法相繼被提出。另一類是單階段實(shí)例分割方法，如Yolact 在RetinaNet［19］基礎(chǔ)上，對(duì)預(yù)測(cè)頭模塊放棄引入特征定位的步驟且增加一個(gè)掩碼分支達(dá)到實(shí)例分割的效果，是第一個(gè)實(shí)現(xiàn)實(shí)時(shí)實(shí)例分割的方法。與之類似的還有SOLOv1-v2［20-21］和CondInst［22］等方法。此類單階段實(shí)例分割算法不需要生成候選目標(biāo)，直接通過網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的位置和類別，在保證精度的同時(shí)具有更快的檢測(cè)速度。

綜上所述，為保證模型對(duì)紅外甲烷氣體準(zhǔn)確分割，利用紅外甲烷氣體圖像完成特征學(xué)習(xí)，并克服由于紅外甲烷氣體目標(biāo)實(shí)例尺度變化及拓?fù)湫巫儗?dǎo)致分割邊緣模糊和特征彌散丟失等問題，實(shí)現(xiàn)紅外甲烷泄漏有效分割。本文以Yolact［23］為基礎(chǔ)模型，提出一種空間信息自適應(yīng)調(diào)控和特征對(duì)齊的實(shí)例分割網(wǎng)絡(luò)模型（Adaptive spatial information regulation and Feature alignment Network，AFNet），在速度和準(zhǔn)確性之間實(shí)現(xiàn)了良好的平衡，改進(jìn)方法與目的如下：

（1）針對(duì)甲烷氣體泄漏擴(kuò)散區(qū)域形變復(fù)雜，模型采用ResNet［24］殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)提取紅外甲烷氣體特征，通過自適應(yīng)空間信息調(diào)控模塊豐富主干網(wǎng)絡(luò)中空間位置信息以及調(diào)控目標(biāo)特征區(qū)域語義特征。

（2）針對(duì)特征金字塔自頂而下單一特征傳播路徑和模型過深導(dǎo)致的目標(biāo)氣體特征空間細(xì)節(jié)信息彌散丟失問題構(gòu)建加權(quán)雙向金字塔［25］模塊豐富深層特征圖下目標(biāo)實(shí)例的邊緣紋理信息，完善細(xì)粒度像素級(jí)回歸任務(wù)以增強(qiáng)模型的目標(biāo)區(qū)域聚焦能力。

（3）針對(duì)原型掩碼分支利用全卷積網(wǎng)絡(luò)［26］網(wǎng)絡(luò)進(jìn)行特征提取時(shí)僅簡(jiǎn)單利用卷積層增大其感受野，忽略不同維度特征圖像之間的特征差異與不同特征對(duì)于目標(biāo)分割精度的重要性，提出特征對(duì)齊模塊捕獲長(zhǎng)距離范圍內(nèi)像素點(diǎn)之間的語義關(guān)系，對(duì)齊不同特征空間特征信息以生成高質(zhì)量掩碼提高分割精度。

2 網(wǎng)絡(luò)模型

2.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

由于環(huán)境溫度變化和氣流擾動(dòng)等外界因素導(dǎo)致甲烷氣體分子微觀上不停做無規(guī)則熱運(yùn)動(dòng)，宏觀上甲烷氣體在擴(kuò)散過程中擴(kuò)散區(qū)域呈現(xiàn)出不規(guī)則形狀變化，氣體邊緣輪廓始終呈現(xiàn)為模糊不清的混沌狀態(tài)，而且甲烷氣體在紅外成像下存在著缺少色彩信息，空間和紋理細(xì)節(jié)信息匱乏等問題，本文以Yolact 模型為基礎(chǔ)，構(gòu)建出一種精度高、掩碼質(zhì)量好的空間信息自適應(yīng)調(diào)控和原型特征對(duì)齊的紅外甲烷泄漏實(shí)例分割模型AFNet。AFNet 模型主要由兩個(gè)階段組成，分別為特征提取階段和特征后處理階段。特征提取階段由ResNet 主干網(wǎng)絡(luò)、加權(quán)雙向金字塔網(wǎng)絡(luò)和原型特征對(duì)齊模塊組成；特征后處理階段由預(yù)測(cè)頭分支組成。在特征提取階段，首先將紅外甲烷氣體圖像輸入ResNet 主干網(wǎng)絡(luò)中，通過自適應(yīng)空間信息調(diào)控模塊增強(qiáng)骨干網(wǎng)絡(luò)對(duì)目標(biāo)特征的自適應(yīng)聚合能力，豐富模型提取特征的信息量和增強(qiáng)上下文相關(guān)性，并對(duì)分割結(jié)果貢獻(xiàn)大的特征權(quán)重進(jìn)行自適應(yīng)校準(zhǔn)，調(diào)整模型關(guān)注區(qū)域，減小背景干擾。其次，引入加權(quán)雙向金字塔彌補(bǔ)特征金字塔自頂而下的特征傳播方式導(dǎo)致的低層特征空間位置和實(shí)例邊緣信息彌散丟失問題，以適應(yīng)甲烷氣體復(fù)雜輪廓變化下前景氣體目標(biāo)定位檢測(cè)和輪廓分割需求。最后設(shè)計(jì)原型特征對(duì)齊模塊捕獲長(zhǎng)距離范圍內(nèi)甲烷氣體像素點(diǎn)之間的語義關(guān)系，對(duì)齊不同特征空間特征信息從而豐富原型語義信息量以生成高質(zhì)量掩碼提高分割精度。在特征后處理階段，將加權(quán)雙向金字塔的多尺度特征圖作為預(yù)測(cè)頭網(wǎng)絡(luò)輸入，經(jīng)過分類分支頭、邊界框分支頭和掩碼分支頭三個(gè)并行分支頭得到輸出結(jié)果。AFNet 模型整體結(jié)構(gòu)如圖1 所示。

圖1 AFNet 網(wǎng)絡(luò)架構(gòu)Fig.1 AFNet network architecture

2.2 自適應(yīng)空間信息調(diào)控

由于紅外甲烷氣體圖像存在缺少色彩、紋理信息，輪廓復(fù)雜多變且邊緣模糊等問題，僅由主干網(wǎng)絡(luò)淺層或深層學(xué)習(xí)到的特征往往難以表征氣體全局特征。在特征提取網(wǎng)絡(luò)階段，ResNet 主干網(wǎng)絡(luò)分別由Block_1，Block_2，Block_3 和Block_4 個(gè)特征提取模塊組成，4 個(gè)模塊特征圖表征的語義信息依次由淺到深。淺層特征由于涉及的特征映射變換少，所以保留更多原始輸入紋理特征。因此，淺層特征更有助于定位目標(biāo)實(shí)例的邊緣紋理，從而更好地進(jìn)行分割。而深層特征經(jīng)過逐層抽象變換可以更好地捕捉目標(biāo)實(shí)例的語義要素，以指導(dǎo)模型的最終分割。針對(duì)上述問題，本文提出自適應(yīng)空間信息調(diào)控模塊（Adaptive Spatial Information Regulation Module，ASIR），在ResNet 主干網(wǎng)絡(luò)中嵌入自適應(yīng)空間信息調(diào)控模塊豐富模型提取的特征空間有效表征甲烷氣體特征，自適應(yīng)空間信息調(diào)控模塊結(jié)構(gòu)如圖2 所示。

圖2 自適應(yīng)空間信息調(diào)控模塊Fig.2 Adaptive spatial information regulation module

自適應(yīng)空間信息調(diào)控模塊首先對(duì)主干網(wǎng)絡(luò)Block_1，Block_2 和Block_3 分別采用卷積層進(jìn)行通道信息壓縮操作將三個(gè)特征圖通道壓縮至1維，分別與自適應(yīng)權(quán)重因子ω1，ω2和ω3相乘。在模型訓(xùn)練過程中，通過PyTorch 深度學(xué)習(xí)運(yùn)行庫生成一組尺寸等于調(diào)控模塊數(shù)量且初始值為一的全一張量，然后通過公式（1）所示的歸一化方式，分別將每個(gè)張量值轉(zhuǎn)化為所對(duì)應(yīng)的指數(shù)形式的權(quán)重相對(duì)于所有權(quán)重的比例值，從而得到初始權(quán)重因子ωi，其中i=1，2，3。

根據(jù)Block_1，Block_2 和Block_3 特征層所包含空間信息量貢獻(xiàn)程度大小差異，ω1，ω2和ω3在訓(xùn)練過程中依賴神經(jīng)網(wǎng)絡(luò)的反向傳播進(jìn)行梯度更新，達(dá)到自適應(yīng)調(diào)整目的。然后再將Block_1，Block_2 和Block_3 通道壓縮后的特征圖進(jìn)行通道拼接得到具有自適應(yīng)能力的特征Fconcate(H×W×3)；進(jìn)一步將特征Fconcate(H×W×3) 經(jīng)由卷積層使通道維度信息恢復(fù)到2 048，達(dá)到對(duì)特征空間信息壓縮和激勵(lì)目的。由于對(duì)特征空間信息進(jìn)行了壓縮與激勵(lì)，拼接后的特征張量每個(gè)像素點(diǎn)均包含了不同尺度下該位置所有通道信息，將其送入堆疊的卷積層進(jìn)行自適應(yīng)特征學(xué)習(xí)，有效實(shí)現(xiàn)不同尺度下特征張量之間空間信息的流動(dòng)，豐富模型提取特征細(xì)節(jié)信息量。最后將重編碼后的特征Fre-feature(H×W×2 048)與最具抽象語義信息的Block_4 模塊輸出特征圖進(jìn)行像素點(diǎn)乘最終得到自適應(yīng)多尺度空間信息特征圖Fadaptive(H×W×2 048)，實(shí)現(xiàn)低維空間信息在高級(jí)語義信息中自適應(yīng)調(diào)控，達(dá)到對(duì)空間信息權(quán)重的自適應(yīng)校準(zhǔn)。自適應(yīng)空間信息調(diào)控模塊如公式（1）所示：

其中：ωi表示自適應(yīng)權(quán)重，αi為初始化指數(shù)權(quán)重，αj為特征權(quán)重。Fconcate表示具有自適應(yīng)能力的融合特征，Conv3×3表示3×3 卷積操作，F(xiàn)adaptive表示最終輸出特征圖，Concate表示通道拼接操作，?表示像素點(diǎn)乘。

訓(xùn)練時(shí)主干網(wǎng)絡(luò)中四個(gè)殘差塊Block_1，Block_2，Block_3 和Block_4 特征圖進(jìn)行可視化如圖3 所示（彩圖見期刊電子版），第一行為原始ResNet 主干網(wǎng)絡(luò)特征圖，第二行為空間信息調(diào)控模塊輸出特征圖。從圖3 中紅色標(biāo)注部分可以看出經(jīng)過空間信息調(diào)控殘差塊特征圖中氣體目標(biāo)輪廓特征更為明顯，邊緣區(qū)分較好，紋理細(xì)節(jié)信息豐富，極大程度降低復(fù)雜背景對(duì)前景分割質(zhì)量的影響，對(duì)特征的擬合效果明顯優(yōu)于Yolact 原始模型，在Block_2，Block_3，Block_4 深度遞增特征圖上特征學(xué)習(xí)更為突出且在Block_4 特征圖背景抑制效果明顯。

圖3 空間信息調(diào)控模塊特征圖對(duì)比Fig.3 Comparison of feature maps of spatial information regulation module

2.3 加權(quán)雙向金字塔

Yolact 模型采用特征金字塔結(jié)構(gòu)［27］實(shí)現(xiàn)不同尺度特征圖的信息融合對(duì)氣體目標(biāo)進(jìn)行預(yù)測(cè)。特征金字塔通過自頂向下和特征橫向映射融合多尺度特征，但該特征映射傳播方式存在一定問題。由于紅外甲烷氣體圖像具有尺度差異大、紋理細(xì)節(jié)信息稀缺，不同深度特征經(jīng)過單一自頂向下的特征橫向映射和大量卷積操作會(huì)使得氣體目標(biāo)特征細(xì)節(jié)信息丟失，不利于精確識(shí)別氣體目標(biāo)。針對(duì)上述問題PANet［28］在特征金字塔的基礎(chǔ)上增加自底向上路徑，將淺層信息直接與高層信息融合，減少各網(wǎng)絡(luò)層聚合的特征信息經(jīng)過骨干網(wǎng)絡(luò)造成的信息丟失問題，從而達(dá)到豐富網(wǎng)絡(luò)提取的特征空間和使定位信息更為準(zhǔn)確的目的。PANet 增加的自底向上結(jié)構(gòu)在一定程度上使模型提取的特征信息更為豐富，但其所加分支也帶來了附加參數(shù)量，使網(wǎng)絡(luò)模型的時(shí)空復(fù)雜度增大，計(jì)算量有較大程度增加。BiFPN 即加權(quán)雙向金字塔在保留PANet 高精度的同時(shí)，對(duì)多尺度特征信息融合方式進(jìn)行調(diào)整，針對(duì)PANet 結(jié)構(gòu)中部分節(jié)點(diǎn)只有一個(gè)輸入，且沒有進(jìn)行特征融合操作的問題，在連接時(shí)將貢獻(xiàn)度較低的輸入節(jié)點(diǎn)刪除以減少網(wǎng)絡(luò)參數(shù)量使特征融合網(wǎng)絡(luò)更加高效。同時(shí)為緩解網(wǎng)絡(luò)鏈路較多造成特征損失問題，在輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)之間增加跳躍連接以實(shí)現(xiàn)特征的有效融合。因此本文引入加權(quán)雙向金字塔減少不同深度特征橫向映射過程中細(xì)節(jié)信息彌散丟失，豐富深層特征圖中氣體目標(biāo)實(shí)例邊緣紋理信息，完善細(xì)粒度像素級(jí)回歸任務(wù)以適應(yīng)甲烷氣體復(fù)雜輪廓變化下輪廓分割需求，其結(jié)構(gòu)如圖4 所示。

圖4 加權(quán)雙向金字塔Fig.4 Weighted bidirectional pyramid

加權(quán)雙向金字塔特征傳播過程如式（2）、式（3）所示：

其中：Piin(i=3，4，5，6，7)表示輸入到特征融合網(wǎng)絡(luò)中的特征圖，Pt i(i=4，5，6)表示加權(quán)雙向金字塔先經(jīng)過自頂向下上采樣操作得到的中間特征，Piout(i=3，4，5，6，7)表示經(jīng)過特征融合網(wǎng)絡(luò)處理后的輸出，Conv(·)表示對(duì)特征圖進(jìn)行卷積處理，R(·)表示對(duì)特征圖進(jìn)行匹配而進(jìn)行的上采樣和下采樣操作。

為清晰解釋加權(quán)雙向金字塔內(nèi)在工作機(jī)理對(duì)最終分割結(jié)果的有效性，在加權(quán)雙向金字塔五個(gè)輸出層特征圖Piout(i=3，4，5，6，7)的通道維度進(jìn)行最大池化，并與原圖疊加得到類激活熱力圖后進(jìn)行可視化對(duì)比分析。如圖5 所示（彩圖見期刊電子版），圖中氣體區(qū)域顏色越接近紅色說明模型對(duì)其激活程度越大且關(guān)注度越高。圖5 中第一行為原始特征金字塔的輸出特征熱力圖，第二行為加權(quán)雙向金字塔的輸出特征熱力圖，從P3out和P4out熱力圖可以看出，加權(quán)雙向金字塔輸出層特征圖熱力分布覆蓋了氣體輪廓主要范圍，比原始特征金字塔更能突出氣體目標(biāo)輪廓區(qū)域，從P6out和P7out熱力圖中可以看出加權(quán)雙向金字塔熱力分布相對(duì)于原始特征金字塔更集中在氣體目標(biāo)中，尤其在P7out表現(xiàn)更為顯著。

圖5 加權(quán)雙向金字塔熱力圖對(duì)比Fig.5 Comparison of weighted two-way pyramidal heat map

2.4 原型特征對(duì)齊模塊

Yolact 采用預(yù)測(cè)頭掩碼分支生成一組掩碼系數(shù)，同時(shí)將金字塔P3out輸出層作為與預(yù)測(cè)頭并行的原型掩碼分支輸入，經(jīng)由五層卷積組成的全卷積網(wǎng)絡(luò)作為原型掩碼分支生成通道維度為32的原型掩碼模板，該通道維度與掩碼系數(shù)個(gè)數(shù)相對(duì)應(yīng)，將原型掩碼模板和掩碼系數(shù)以線性組合方式得到實(shí)例掩碼。但Yolact 原型掩碼分支僅簡(jiǎn)單堆疊卷積層增大其感受野，忽略了不同維度特征圖像之間的語義特征差異與不同尺度特征對(duì)于甲烷氣體分割精度的重要性，而且甲烷氣體擴(kuò)散范圍各異，擴(kuò)散范圍在圖像中的尺度大小隨之發(fā)生變化，這將造成甲烷氣體邊緣分割結(jié)果精度低、氣體邊界定位不準(zhǔn)確等問題。同時(shí)考慮到單一特征表達(dá)能力的局限性，尤其是難以適應(yīng)甲烷氣體與背景環(huán)境低對(duì)比度和擴(kuò)散區(qū)域形變復(fù)雜的情況。本文需要在低對(duì)比度背景中對(duì)泄漏甲烷氣體進(jìn)行識(shí)別分割，同時(shí)甲烷氣體形狀、顏色、紋理特征與背景極為相似，故需要模型能捕獲長(zhǎng)距離范圍內(nèi)甲烷氣體像素點(diǎn)之間的語義關(guān)系，同時(shí)也需要準(zhǔn)確表征擴(kuò)散甲烷氣體的空間細(xì)節(jié)特征。為解決此問題，受文獻(xiàn)［29］啟發(fā)本文構(gòu)建了原型特征對(duì)齊模塊（Prototype Feature Alignment Module，PFAM）捕獲長(zhǎng)距離甲烷氣體特征之間的語義關(guān)系豐富原型語義信息量以提高生成的目標(biāo)掩碼質(zhì)量。原型特征對(duì)齊模塊如圖6 所示。

圖6 原型特征對(duì)齊模塊Fig.6 Prototype feature alignment module

為了充分利用不同維度特征圖之間的語義特征差異，使網(wǎng)絡(luò)訓(xùn)練時(shí)能獲得更多上下文信息，豐富各維度特征之間語義信息的關(guān)聯(lián)表達(dá)，本文將加權(quán)雙向金字塔Piout(i=3，4，5，6，7)中任意兩個(gè)輸出特征Piout和Pi+1out作為原型特征對(duì)齊模塊的輸入特征，以捕獲長(zhǎng)距離甲烷氣體特征之間的語義關(guān)系、豐富各尺度特征之間語義信息的關(guān)聯(lián)表達(dá)，其中Piout代表維度低尺度大的特征，Pi+1out代表維度高尺度小的特征。原型特征對(duì)齊模塊由兩個(gè)分支組成，首先將Piout(H×W×C)經(jīng)過第一分支全局平均池化操作將特征維度從(H×W×C)壓縮至(1×1×C)，從而得到特征聚合后的特征向量，然后將特征向量通過卷積層實(shí)現(xiàn)非線性跨通道交互，并且降低其卷積計(jì)算參數(shù)量，以控制模型復(fù)雜度。最后經(jīng)過Sigmoid 函數(shù)歸一化并與Piout(H×W×C)點(diǎn)乘映射到原輸入特征中，再與Piout(H×W×C)進(jìn)行元素相加操作實(shí)現(xiàn)特征二次映射，最后通過卷積層進(jìn)一步融合得到特征FS，實(shí)現(xiàn)特征選擇過程，第一分支如公式（4）所示：

其中：Conv3×3表示3×3 卷積操作，Sigmoid表示激活操作，Avgpool表示全局平均池化操作，?和⊕分別表示元素點(diǎn)乘和元素相加操作。

第二分支將特征FS與Pi+1out(H1×W1×C1)進(jìn)行通道拼接操作聚合通道信息，經(jīng)過卷積操作后與Pi+1out(H1×W1×C1)再次通道拼接實(shí)現(xiàn)兩個(gè)特征圖不同通道序列間的信息交互，然后經(jīng)由可變形卷積來學(xué)習(xí)特征FS和Pi+1out(H1×W1×C1) 派生的特征偏移得到特征Fa，最后將具有可變形學(xué)習(xí)能力的對(duì)齊的特征Fa與特征FS進(jìn)行元素相加得到融合特征Ffsm，實(shí)現(xiàn)捕獲長(zhǎng)距離特征之間的語義關(guān)系達(dá)到兩個(gè)不同維度特征之間特征對(duì)齊目的。第二分支如公式（5）所示，融合特征Ffsm如式（6）所示：

其中：Concate表示通道拼接操作，DCNconv表示可變形卷積。

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集

由于目前未有公開帶注釋文件的紅外甲烷圖像數(shù)據(jù)集，本文所采用的數(shù)據(jù)集源自GasVid［12］，GasVid 是一個(gè)由31 個(gè)視頻組成用于深度學(xué)習(xí)訓(xùn)練的大型甲烷視頻集。數(shù)據(jù)集視頻由FLIR GF-320 紅外熱像儀拍攝?？紤]到實(shí)驗(yàn)平臺(tái)硬件性能瓶頸，對(duì)視頻進(jìn)行時(shí)域下采樣稀疏處理得到2 188 張圖片作為本次的實(shí)驗(yàn)數(shù)據(jù)集用于訓(xùn)練和測(cè)試使用。本文使用圖像標(biāo)注工具Labelme 根據(jù)甲烷氣體泄漏區(qū)域與背景區(qū)域的像素差異性對(duì)訓(xùn)練集和測(cè)試集圖像中甲烷氣體泄漏區(qū)域進(jìn)行像素級(jí)精細(xì)標(biāo)注得到對(duì)應(yīng)圖像的真實(shí)值（Ground Truth， GT），保存為符合COCO 數(shù)據(jù)集標(biāo)準(zhǔn)格式的JSON 文件用于模型訓(xùn)練和測(cè)試。數(shù)據(jù)集圖像及真實(shí)值標(biāo)簽如圖7 所示。實(shí)驗(yàn)按照4∶1 的比例將數(shù)據(jù)集隨機(jī)分成訓(xùn)練集和測(cè)試集，分別用于訓(xùn)練模型和驗(yàn)證最終模型的泛化能力。

圖7 為數(shù)據(jù)集原圖與真實(shí)值掩碼，其中甲烷氣體掩碼邊緣輪廓形變復(fù)雜，為模型掩碼建模帶來巨大挑戰(zhàn)；圖8 為前景目標(biāo)氣體像素與背景像素占比情況，其中前景目標(biāo)氣體像素在圖像中占比遠(yuǎn)小于背景像素占比，導(dǎo)致在模型特征提取過程中帶來大量冗余干擾特征，加大了訓(xùn)練難度。

圖8 前景與背景像素占比Fig.8 Foreground to background pixel ratio

3.2 實(shí)驗(yàn)環(huán)境和超參數(shù)

實(shí)驗(yàn)環(huán)境為Ubuntu18.04 操作系統(tǒng)，Python版本為3.6，深度學(xué)習(xí)框架為Pytorch 1.6.0。CPU 為AMD R5-3600，16 GB 內(nèi)存，GPU 為RTX2080Ti 11 GB 顯卡，使用CUDA Toolkit 10.0 和CUDNN V7.6.5 加速模型訓(xùn)練，實(shí)驗(yàn)各項(xiàng)超參數(shù)如表1 所示。

表1 超參數(shù)配置Tab.1 Hyperparameter configuration

3.3 評(píng)價(jià)指標(biāo)

為驗(yàn)證本文算法優(yōu)越性及有效性，本文選取平均精度（mean Average Precision，mAP）、每秒檢測(cè)紅外圖像的張數(shù)（Frame Per Second，F(xiàn)PS）共兩種評(píng)價(jià)指標(biāo)來綜合評(píng)價(jià)算法模型?？紤]到實(shí)際工程應(yīng)用中對(duì)甲烷氣體泄漏檢測(cè)有一定誤報(bào)和漏報(bào)的要求，若使用AP@95 可能會(huì)導(dǎo)致甲烷泄漏的漏檢。綜合來看，本文使用AP50@95，AP50 來綜合衡量模型性能，該評(píng)價(jià)指標(biāo)能反映在不同置信度下的分割結(jié)果，是目前實(shí)例分割任務(wù)最普遍采用的評(píng)價(jià)指標(biāo)。

其中mAP 可以通過準(zhǔn)確率（Precision）、召回率（Recall）計(jì)算得出。在［0.50，0.95］區(qū)間內(nèi)以0.05 為增量取10 個(gè)交并比（Intersection over Union，IoU）作為閾值，對(duì)這10 個(gè)閾值下對(duì)應(yīng)的平均精度AP 取平均值則得到mAP，大小為［0，1］之間，mAP 越接近1 說明模型分割效果越好。

其中：m表示紅外甲烷氣體數(shù)據(jù)集中的甲烷氣體類別數(shù)量，Pij為真實(shí)類別為i而被預(yù)測(cè)為j的像素?cái)?shù)，Pii表示真實(shí)類別為i，被預(yù)測(cè)為i的像素?cái)?shù)，Pji表示真實(shí)類別為j，被預(yù)測(cè)為i的像素?cái)?shù)。

其中：TP（True Positive）為真正例，即真實(shí)值是目標(biāo)，預(yù)測(cè)也判別為目標(biāo)，F(xiàn)P（False Positive）為假正例，真實(shí)值是目標(biāo)，預(yù)測(cè)判別為不是目標(biāo)。

其中：FN（False Negative）為假負(fù)例，即真實(shí)值不是目標(biāo)，預(yù)測(cè)判別為不是目標(biāo)。mAP 計(jì)算公式可表示為公式（10）：

其中：m表示類別數(shù)量，n表示類別序號(hào)，J(P，R)為準(zhǔn)確率P與召回率R所構(gòu)成PR曲線與橫縱坐標(biāo)軸所圍成積分面積。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 自適應(yīng)空間信息調(diào)控實(shí)驗(yàn)

自適應(yīng)空間信息調(diào)控模塊對(duì)主干網(wǎng)絡(luò)中Block_1，Block_2 和Block_3 輸出特征根據(jù)其包含空間信息量貢獻(xiàn)程度大小差異賦予不同權(quán)重，實(shí)現(xiàn)低維空間信息在高級(jí)語義信息中的調(diào)控，達(dá)到對(duì)空間信息權(quán)重的自適應(yīng)校準(zhǔn)效果。為驗(yàn)證自適應(yīng)空間信息調(diào)控模塊的有效性，本組實(shí)驗(yàn)以Yolact 為框架，采用ResNet-50 和自適應(yīng)空間信息調(diào)控模塊作為特征提取網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)分析。其中Yolact-ASIR_1 表示自適應(yīng)空間信息調(diào)控模塊中采用單個(gè)自適應(yīng)因子同時(shí)賦予Block_1，Block_2 和Block_3 三個(gè)殘差塊；Yolact-ASIR_3表示自適應(yīng)空間信息調(diào)控模塊中采用3 個(gè)自適應(yīng)因子分別賦予Block_1，Block_2 和Block_3 三個(gè)殘差塊，實(shí)驗(yàn)結(jié)果如表2 所示，各層權(quán)重對(duì)比變化如圖9 所示，后續(xù)實(shí)驗(yàn)在本節(jié)實(shí)驗(yàn)的基礎(chǔ)上開展。

表2 自適應(yīng)空間信息調(diào)控模塊實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of adaptive spatial information regulation module

圖9 各層權(quán)重對(duì)比變化Fig.9 Comparison of weight changes of each layer

從表2 實(shí)驗(yàn)結(jié)果中可得出兩種結(jié)構(gòu)的自適應(yīng)空間信息調(diào)控模塊均能對(duì)分割精度產(chǎn)生積極影響。采用三個(gè)自適應(yīng)因子對(duì)Block_1，Block_2 和Block_3 特征進(jìn)行空間信息調(diào)控效果相對(duì)與采用一個(gè)因子的效果好，Yolact-ASIR_3 模型AP50 分割精度達(dá)到88.87%，較Yolact 提高了3%，分割速度FPS 達(dá)到36.94。本組實(shí)驗(yàn)驗(yàn)證了自適應(yīng)空間信息調(diào)控模塊能有效豐富模型提取的特征信息，自適應(yīng)校準(zhǔn)空間信息權(quán)重，并豐富當(dāng)前尺度下目標(biāo)實(shí)例的特征空間和細(xì)粒度信息，對(duì)實(shí)例目標(biāo)的邊緣輪廓信息量進(jìn)行加強(qiáng)，提高定位和分割精度。

由圖9 可知，Block_1，Block_2 自適應(yīng)因子在訓(xùn)練階段變化趨勢(shì)均為由大到小變化直至收斂，在訓(xùn)練階段中后期自適應(yīng)因子趨于收斂狀態(tài)，而Block_3 自適應(yīng)因子在訓(xùn)練階段則為小到大變化，到訓(xùn)練中后期亦趨于收斂狀態(tài)，實(shí)現(xiàn)對(duì)Block_1，Block_2 和Block_3 特征信息自適應(yīng)調(diào)控。

3.4.2 加權(quán)雙向金字塔實(shí)驗(yàn)

加權(quán)雙向金字塔模塊通過自頂而下和自底向上兩條特征傳播路徑實(shí)現(xiàn)不同維度特征融合，減少特征橫向映射過程中特征細(xì)節(jié)信息彌散丟失問題，豐富深層特征圖下氣體目標(biāo)實(shí)例的邊緣紋理信息，完善細(xì)粒度像素級(jí)回歸任務(wù)以適應(yīng)甲烷氣體復(fù)雜輪廓變化下輪廓分割需求。為驗(yàn)證加權(quán)雙向金字塔能夠有效彌補(bǔ)特征橫向映射過程中特征細(xì)節(jié)信息彌散丟失問題，本組實(shí)驗(yàn)選擇Yolact-ASIR_3 模型作為基準(zhǔn)模型，實(shí)驗(yàn)結(jié)果如表3 所示，后續(xù)實(shí)驗(yàn)在本節(jié)實(shí)驗(yàn)的基礎(chǔ)上開展。

表3 加權(quán)雙向金字塔實(shí)驗(yàn)結(jié)果Tab.3 Results of weighted two-way pyramid experiment

由表3 可知，在引入加權(quán)雙向金字塔模塊后有效將深層網(wǎng)絡(luò)的語義信息與淺層網(wǎng)絡(luò)的空間信息進(jìn)行特征融合，豐富模型提取的特征空間，帶來一定計(jì)算量的提升，犧牲有限計(jì)算資源成本下使得Yolact-ASIR_3-BiFPN 模型AP50 分割精度達(dá)到90.67%，在Yolact-ASIR_3 模型基礎(chǔ)上提升2.02%，分割速度達(dá)到36.03 FPS 僅下降0.91 FPS，本組實(shí)驗(yàn)驗(yàn)證了加權(quán)雙向金字塔模塊對(duì)于緩解自頂而下的特征傳播方式導(dǎo)致的低層特征空間位置和實(shí)例邊緣信息彌散丟失問題的有效性。

3.4.3 原型特征對(duì)齊模塊實(shí)驗(yàn)

原型特征對(duì)齊模塊通過對(duì)不同維度特征進(jìn)行特征選擇和對(duì)齊學(xué)習(xí)來捕獲長(zhǎng)距離氣體特征之間的語義關(guān)系，豐富原型語義信息量以提高生成目標(biāo)掩碼質(zhì)量，實(shí)現(xiàn)甲烷氣體分割精度提升。為驗(yàn)證原型特征對(duì)齊模塊能夠捕獲長(zhǎng)距離甲烷氣體特征之間的語義關(guān)系豐富原型語義信息量，本組實(shí)驗(yàn)選擇Yolact-ASIR_3-BiFPN 作為基準(zhǔn)模型，實(shí)驗(yàn)結(jié)果如表4 所示，后續(xù)實(shí)驗(yàn)在本節(jié)實(shí)驗(yàn)的基礎(chǔ)上開展。

由表4 可知原型特征對(duì)齊模塊的輸入特征對(duì)分割精度存在影響，其中將加權(quán)雙向金字塔P3out 和P4out 輸出層作為輸入特征效果最好，Yolact-ASIR_3-BiFPN-FAM-P3outP4out 模 型AP50 分割精度達(dá)到42.42%，較Yolact-ASIR_3-BiFPN 模型升3.36%，分割速度達(dá)到36.80 FPS。將P3out 和P4out 輸出層作為輸入特征對(duì)分割精度影響最顯著，究其原因，P3out 和P4out 作為相鄰輸出層特征間語義信息關(guān)聯(lián)大，訓(xùn)練過程中模型容易學(xué)習(xí)到兩者間特征偏移關(guān)系，反之P3out和P7out 特征間語義信息關(guān)聯(lián)小，訓(xùn)練過程中難以學(xué)習(xí)到兩者間特征偏移關(guān)系導(dǎo)致對(duì)分割精度的影響不明顯。本組實(shí)驗(yàn)驗(yàn)證了特征對(duì)齊模塊有效對(duì)不同維度特征進(jìn)行特征選擇和對(duì)齊學(xué)習(xí)來捕獲長(zhǎng)距離氣體特征之間的語義關(guān)系，豐富各尺度特征之間語義信息，提高原型掩碼質(zhì)量實(shí)現(xiàn)分割精度提升。

3.4.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證模型中自適應(yīng)空間信息調(diào)控模塊、加權(quán)雙向金字塔、原型特征對(duì)齊模塊對(duì)于提升模型分割性能的差異，本文在自建數(shù)據(jù)集上通過消融實(shí)驗(yàn)驗(yàn)證3 個(gè)模塊組合嵌入對(duì)模型分割精度的影響，六組消融實(shí)驗(yàn)是單一模塊或兩兩模塊的組合算法，最后一組是本文的完整算法，實(shí)驗(yàn)結(jié)果如表5 所示。實(shí)驗(yàn)結(jié)果表明，自適應(yīng)空間信息調(diào)控模塊、加權(quán)雙向金字塔、原型特征對(duì)齊模塊單一或組合模塊的嵌入在分割準(zhǔn)確度上均可以產(chǎn)生正向優(yōu)化效果，對(duì)甲烷氣體分割精度都有不同程度的提升，加權(quán)雙向金字塔模塊的分割精度提升相對(duì)較少。自適應(yīng)空間信息調(diào)控模塊和原型特征對(duì)齊模塊相較于Yolact 精度提升明顯，AP50@95分割精度分別達(dá)到37.58%和36.19%，在Yolact基礎(chǔ)上分別提升4.01%和2.62%。說明兩者都可以作為模型的主要模塊對(duì)特征進(jìn)行處理。最后將三個(gè)模塊同時(shí)嵌入模型，AP50@95 達(dá)到了42.42%，表明三個(gè)模塊同時(shí)使用對(duì)模型的提升作用更大，可以有效實(shí)現(xiàn)甲烷氣體準(zhǔn)確分割。

表5 消融實(shí)驗(yàn)結(jié)果Tab.5 Results of ablation experiments

3.4.5 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文所提算法在自建數(shù)據(jù)集上的優(yōu)越性及有效性，選擇目前先進(jìn)的實(shí)例分割算法SparseInst［30］，E2EC［31］，YolactEdge［32］，SOLOv1，SOLOv2，CondInst 和QueryInst［33］與本文模型AFNet 進(jìn)行對(duì)比實(shí)驗(yàn)。為保證驗(yàn)證結(jié)果的有效性，實(shí)驗(yàn)均在3.2 節(jié)介紹的實(shí)驗(yàn)平臺(tái)上開展，使用的訓(xùn)練集和測(cè)試集均為本文自建數(shù)據(jù)集，算法性能對(duì)比如表6 所示。從表6 中可以看出，與其他8種模型相比本文設(shè)計(jì)的AFNet 模型的AP50@95分割精度最高達(dá)到42.42%，比SparseInst、E2EC、YolactEdge 分別高出16.97%，8.21%和9.63%，但分割速度低于SparseInst 和E2EC。對(duì)于SOLOv1，SOLOv2，CondInst 和QueryInst 等模型在精度和速度上均能體現(xiàn)出優(yōu)勢(shì)。綜上所述，考慮到紅外甲烷泄漏分割需要同時(shí)權(quán)衡模型的平均精度和推理速度，本文所設(shè)計(jì)AFNet 模型分割性能更好，因此更適用于紅外甲烷泄漏分割任務(wù)。

表6 對(duì)比實(shí)驗(yàn)結(jié)果Tab.6 Comparison of experimental results

3.4.6 定性分析

為直觀對(duì)比本文AFNet 模型與Yolact，SparseInst、E2EC，YolactEdge，SOLOv1，SOLOv2，CondInst 和QueryInst 等模型分割紅外甲烷圖像性能的魯棒性，將以上9 種算法在同一測(cè)試集上對(duì)分割結(jié)果進(jìn)行可視化如圖10 所示。第1 行為原圖，第2～9 行分別為模型可視化結(jié)果圖，由可視化結(jié)果得知，在（a）列圖像中，YOLACT 模型將一個(gè)氣體實(shí)例誤檢為兩個(gè)氣體實(shí)例，而AFNet 模型分割準(zhǔn)確；在（c）列圖像中，YOLACT 模型將背景干擾因素誤檢為甲烷氣體。在（b）和（d）列中，對(duì)于輪廓邊緣相對(duì)模糊的紅外甲烷氣體，AFNet 經(jīng)過自適應(yīng)調(diào)控主干網(wǎng)絡(luò)空間信息，更有效的表征甲烷氣體特征，因此能有效分割出甲烷氣體泄漏區(qū)域，對(duì)于形變復(fù)雜的氣體輪廓能做到準(zhǔn)確擬合，排除背景和管道干擾，由此得出本文AFNet 模型分割細(xì)節(jié)更為完善，克服背景干擾能力更強(qiáng)，并且誤檢率明顯低于YOLACT 基準(zhǔn)模型，能夠適應(yīng)低對(duì)比度下甲烷氣體擴(kuò)散范圍的尺度形狀變化，整體分割結(jié)果有明顯提升。

4 結(jié) 論

本文針對(duì)紅外甲烷氣體泄漏實(shí)時(shí)分割需求提出空間信息自適應(yīng)調(diào)控和特征對(duì)齊模型AFNet，達(dá)到在低對(duì)比度背景中對(duì)尺度形變復(fù)雜的甲烷氣體進(jìn)行高性能分割的目的，實(shí)現(xiàn)在紅外成像環(huán)境中對(duì)甲烷氣體目標(biāo)實(shí)例泄漏擴(kuò)散區(qū)域準(zhǔn)確分割。針對(duì)主干網(wǎng)絡(luò)中高層語義特征圖的空間位置信息匱乏嚴(yán)重的問題，AFNet 模型以ResNet 為主干網(wǎng)絡(luò)，提出自適應(yīng)空間信息調(diào)控模塊自適應(yīng)調(diào)控主干網(wǎng)絡(luò)不同尺度殘差塊權(quán)重，增強(qiáng)骨干網(wǎng)絡(luò)對(duì)目標(biāo)特征的自適應(yīng)聚合能力豐富模型提取的空間特征信息；引入加權(quán)雙向金字塔彌補(bǔ)特征金字塔自頂而下的特征傳播方式導(dǎo)致的目標(biāo)信息逐層抽象后造成的信息彌散丟失問題，優(yōu)化模型預(yù)測(cè)層輸出結(jié)果；最后構(gòu)建原型特征對(duì)齊模塊捕獲長(zhǎng)距離范圍內(nèi)甲烷氣體像素點(diǎn)之間的語義關(guān)系，對(duì)齊不同尺度語義特征信息，豐富原型語義信息量，生成高質(zhì)量掩碼提高分割精度。

經(jīng)過實(shí)驗(yàn)驗(yàn)證，與Yolact 基礎(chǔ)模型相比，AFNet 對(duì)甲烷氣體分割精度有明顯提升，掩碼分割精度AP50@95 和AP50 分別提升9.79% 和6.18%，并且AFNet 最高推理速度可達(dá)36.80 FPS，滿足化工企業(yè)在生產(chǎn)過程中發(fā)生甲烷泄漏事故時(shí)要求及時(shí)準(zhǔn)確分割氣體的需求，為紅外甲烷氣體泄漏分割提供了一定的參考價(jià)值。在未來的工作中將進(jìn)一步提升精度，并且加快模型推理速度，實(shí)現(xiàn)在紅外場(chǎng)景下快速和精準(zhǔn)分割泄漏甲烷氣體目標(biāo)。