基于注意力機(jī)制與雙線性池化的銹蝕等級評估

陳法法，董海飛，潘瑞雪，楊蘊(yùn)鵬，陳保家*

(1.三峽大學(xué) 水電機(jī)械設(shè)備設(shè)計與維護(hù)湖北省重點實驗室，湖北 宜昌 443002；2.國家大壩安全工程技術(shù)研究中心，湖北 武漢 430010)

水工機(jī)械裝備（如閘門、攔污柵等）長期服役于水域環(huán)境，受水流沖擊、泥沙沖磨、水體浸泡、干濕交替、水生物侵蝕等水域特殊環(huán)境因素影響，其結(jié)構(gòu)表面會不可避免地產(chǎn)生銹蝕[1]。通常采用防護(hù)措施和定期維修制度來延長其使用壽命。美國材料與試驗學(xué)會（American Society of Testing Materials, ASTM）曾提出評定銹蝕性能并確定噴涂修復(fù)計劃的相關(guān)指南[2]；中國也制定了類似于ASTM的銹蝕等級評測標(biāo)準(zhǔn)[3]；其中，銹蝕程度是確定修復(fù)計劃的重要指標(biāo)因素[4]。

水工機(jī)械裝備的銹蝕程度輕微時，對其承載能力、剛度和穩(wěn)定性影響極??；但當(dāng)其銹蝕程度嚴(yán)重時，若不及時采取維修加固措施，則會縮短其使用壽命，威脅受損結(jié)構(gòu)周圍人員的生命安全。如：美國加利福尼亞州福爾瑟姆壩溢洪道弧形鋼閘門，由于閘門銹蝕嚴(yán)重，支臂不能有效承載扭曲彎矩，閘門在關(guān)閉時突然發(fā)生垮塌[5]；中國江西省某水電站運行30多年后發(fā)電主閘門因銹蝕嚴(yán)重而全部換新[6]。

傳統(tǒng)上，目視檢查是大型水工機(jī)械裝備常規(guī)的檢測方式，專業(yè)人員對銹蝕部位進(jìn)行外觀檢測，并結(jié)合國家標(biāo)準(zhǔn)樣圖完成綜合測評[7]。然而，實際操作中人們很難近距離接觸銹蝕區(qū)域并進(jìn)行目測評估，檢測結(jié)果具有很強(qiáng)的主觀性。近年來，數(shù)字圖像技術(shù)已開始應(yīng)用于大型金屬結(jié)構(gòu)的銹蝕特征檢測，如：Liao等[8]研究了非均勻光照條件下鐵橋表面銹蝕區(qū)域的檢測，使用灰度變異系數(shù)和HIS（hue intensity and saturation）色彩空間下的色相分量作為檢測時分組處理的判斷依據(jù)。宋偉等[9]結(jié)合直方圖均衡化、形態(tài)學(xué)處理和RGB色彩空間建立了基于圖像處理技術(shù)的防震錘銹蝕缺陷檢測方法；為了使數(shù)字圖像技術(shù)更加實用，還需要結(jié)合模式識別技術(shù)來實現(xiàn)銹蝕區(qū)域及銹蝕程度的智能檢測和評估。

深度學(xué)習(xí)通過逐層特征變換，將原樣本空間的特征表示變換到新特征空間，使得樣本數(shù)據(jù)的內(nèi)在規(guī)律和層次表示更易描述[10]。深度學(xué)習(xí)的特質(zhì)為銹蝕圖像的銹蝕嚴(yán)重程度智能評估提供了新的思路。韓冬等[11]采用改進(jìn)的輕量化網(wǎng)絡(luò)對岸橋表面的銹蝕進(jìn)行檢測，能夠分類識別高、中、低3種尺度的岸橋腐蝕；王達(dá)磊等[12]通過改進(jìn)的UNet網(wǎng)絡(luò)對銹蝕圖像進(jìn)行分割，通過銹蝕面積、銹蝕率等指標(biāo)實現(xiàn)了銹蝕的定量評估；Atha等[13]構(gòu)建CNN（convolutional neural networks）模型，使用滑動窗口法對裁剪后的圖像塊進(jìn)行訓(xùn)練，實現(xiàn)了銹蝕圖像區(qū)域的二值分類。上述方法針對大面積的銹蝕缺陷取得了一定效果，但對于時間跨度較小的細(xì)微銹蝕圖像特征，其識別準(zhǔn)確率很難滿足工程實用要求，且實時性較差，泛化性不強(qiáng)。在深度學(xué)習(xí)領(lǐng)域，LeNet-5[14]、ZFNet[15]和VGG[16]系列神經(jīng)網(wǎng)絡(luò)是較為經(jīng)典的網(wǎng)絡(luò)模型，ZFNet在AlexNet的基礎(chǔ)上發(fā)展而來，并在2013年大規(guī)模視覺挑戰(zhàn)賽（Imagenet Large Scale Visual Recognition Challenge，ILSVRC）獲得了優(yōu)異的成績[17]；VGG-16網(wǎng)絡(luò)是牛津大學(xué)和DeepMind公司共同研發(fā)的用于ImageNet數(shù)據(jù)集[18]分類的一種卷積神經(jīng)網(wǎng)絡(luò)，在2014年大規(guī)模視覺識別挑戰(zhàn)賽中獲得了優(yōu)異的分類性能[19]。為此，本文將VGG-16網(wǎng)絡(luò)的特征標(biāo)記模式進(jìn)行改進(jìn)并用于銹蝕圖像特征提取，采用RGB和HSV兩種銹蝕色彩空間作為輸入，以VGG-16作為規(guī)整網(wǎng)絡(luò)并嵌入注意力機(jī)制和雙線性池化模塊，通過注意力機(jī)制的可訓(xùn)練權(quán)重對銹蝕圖像特征進(jìn)行重新標(biāo)定，結(jié)合雙線性池化使網(wǎng)絡(luò)聚焦于最相關(guān)的細(xì)粒度圖像特征進(jìn)行深度學(xué)習(xí)，從而實現(xiàn)對時間跨度較小的細(xì)微銹蝕圖像特征銹蝕等級的準(zhǔn)確評估。

1 基礎(chǔ)理論

1.1 傳統(tǒng)VGG-16模型

研究者在經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上通過探索卷積神經(jīng)網(wǎng)絡(luò)的深度與網(wǎng)絡(luò)模型性能之間的關(guān)系，發(fā)現(xiàn)采用多個連續(xù)較小的卷積核替代大卷積核，以及采用更深的網(wǎng)絡(luò)層次（即VGGNet）可以在一定程度上提升模型的性能，從而大幅降低錯誤率[20]。因此，本文所提網(wǎng)絡(luò)模型將VGG-16作為骨干網(wǎng)絡(luò)并在此基礎(chǔ)上進(jìn)行改進(jìn)。

VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，它由13個卷積層、5個最大池化層和3個全連接層構(gòu)成，其中，卷積層和池化層可以劃分為不同的塊，從左到右依次編號為block1～5。block1和2均包括2個卷積層和1個最大池化層，block3～5均包含3個卷積層和1個最大池化層。該模型要求輸入的原始圖片矩陣大小為224×224×3；網(wǎng)絡(luò)結(jié)構(gòu)中所有卷積層的卷積核大小均為3×3，步長為1；最大池化層均采用2×2的池化核，步長為2；激活函數(shù)選用ReLU函數(shù)。3個全連接層依次布置在block5之后，前兩層對應(yīng)提取圖像中的高層特征信息，第3層的結(jié)果輸入Softmax分類器進(jìn)行概率輸出以便實現(xiàn)圖像的分類。

圖1 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of VGG-16

1.2 注意力機(jī)制

在圖像的識別與分類領(lǐng)域中，注意力機(jī)制使用可訓(xùn)練的權(quán)重對特征進(jìn)行重標(biāo)定，調(diào)整不同通道或者不同空間位置之間的權(quán)重，使得網(wǎng)絡(luò)模型聚焦于最相關(guān)特征進(jìn)行深度學(xué)習(xí)，抑制弱相關(guān)和不相關(guān)的特征信息[21-22]。本文引入了通道注意力模塊和空間注意力模塊，分別嵌入到兩路網(wǎng)絡(luò)block2和3之間，提高分類模型對銹蝕顏色和紋理特征的提取能力。

1.2.1 通道注意力機(jī)制

通道注意力需要對C個特征通道分配權(quán)重，本文將SENet（squeeze and excitation networks）的擠壓激勵模塊作為通道注意力的基礎(chǔ)模塊，并采用一個卷積核大小為1×1的卷積層替代全連接層以減少參數(shù)量。通道注意力機(jī)制分為壓縮、激勵和特征重標(biāo)定3個步驟[23]。

在壓縮步驟中，采用全局平均池化對輸入的特征圖進(jìn)行操作，從而將全局通道特征壓縮成一個通道描述符zc∈R1×1×C，如下式所示：

式中：uc為輸入通道c的特征圖，uc∈RH×W×C，其特征圖的高度和寬度分別為H和W；Fsq為壓縮函數(shù)；zc為通道c的壓縮輸出特征圖。

在激勵步驟中，對壓縮步驟之后的輸出特征圖zc使用卷積核大小為1×1的卷積和ReLU激活函數(shù)進(jìn)行非線性表達(dá)，再由Sigmoid函數(shù)生成通道注意力權(quán)重 ，從而對各個通道建立聯(lián)系，計算公式如下：

式中，Mc為 通道c的 注意力權(quán)重，F(xiàn)ex為 激勵函數(shù)，f1×1(zc)表示使用大小為1×1的卷積核對特征圖zc進(jìn)行卷積操作。

在特征重標(biāo)定步驟中，將原始的輸入特征圖uc與通道注意力權(quán)重Mc進(jìn)行逐元素相乘實現(xiàn)特征映射，從而得到通道注意力加權(quán)圖Fcout∈RH×W×C：

式中，F(xiàn)scale為變換函數(shù)。

本文采用的通道注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 通道注意力模塊Fig.2 Channel attention module

1.2.2 空間注意力機(jī)制

空間注意力模塊需要對H×W個特征點分配權(quán)重，本文采用大小為1×1的卷積核對輸入特征矩陣進(jìn)行特征提取，從而使網(wǎng)絡(luò)模型獲得不同區(qū)域銹蝕形貌的多樣化特征和關(guān)聯(lián)信息?？臻g注意力機(jī)制分為壓縮、激勵和特征重標(biāo)定3個步驟。

在壓縮步驟中，采用全局最大池化對輸入的特征圖進(jìn)行操作，從而將全局通道特征壓縮成一個通道描述符zs∈RH×W×1，計算方式如下所示：

式中：us為輸入通道序號為s的特征圖，us∈RH×W×C，s∈[1,C]，其特征圖的高度和寬度分別為H和W，通道數(shù)為C；Fsq為壓縮函數(shù)； MaxPool 為全局最大池化；zs為通道s的輸出特征圖。

在激勵步驟中，首先，對壓縮步驟之后的特征圖zs使用卷積核大小為1×1的卷積操作，以捕獲水平和垂直方向上的銹蝕圖像信息；然后，對該空間描述符進(jìn)行Sigmoid激活操作，將特征值壓縮至0～1，生成空間注意力權(quán)重圖Ms∈RH×W×1，Ms的計算公式如下：

式中：Fex為激勵函數(shù)；f1×1(zs)表示使用大小為1×1的卷積核對特征圖zs進(jìn)行卷積操作。

在特征重標(biāo)定步驟中，將原始的輸入特征圖us與空間注意力權(quán)重Ms進(jìn)行逐元素相乘實現(xiàn)特征映射，從而得到空間注意力加權(quán)圖Fsout∈RH×W×C：

式中，F(xiàn)scale為變換函數(shù)。

本文采用的空間注意力模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 空間注意力模塊Fig.3 Spatial attention module

1.3 雙線性池化

在銹蝕圖像分類任務(wù)中，相鄰銹蝕等級的圖像由于時間相隔較短而形貌差異小，相同銹蝕等級圖像由于時間跨度較長而形貌差異大。因此，可以將銹蝕圖像等級分類評估視為一種細(xì)粒度圖像分類任務(wù)[24]。本文引入細(xì)粒度圖像分類中常用的雙線性池化模塊，以提升網(wǎng)絡(luò)模型對于具有細(xì)微差異的銹蝕等級類別的分類效果。

雙線性池化模型采用兩個結(jié)構(gòu)相同的網(wǎng)絡(luò)分別提取特征，并對同一位置上的兩個特征采用雙線性池化進(jìn)行特征融合，其模型表達(dá)式為：

式中：M為雙線性模型；fA和fB為特征提取函數(shù)，分別對應(yīng)CNN網(wǎng)絡(luò)A和CNN網(wǎng)絡(luò)B；P為池化函數(shù)；E為分類函數(shù)。

特征提取函數(shù)f可以表示為一個函數(shù)映射：f:L×I→RC×D，將輸入圖像I和位置區(qū)域L映射成一個C×D維的特征，C為特征圖的通道數(shù)，D為深度。采用一個雙線性操作將兩個特征提取函數(shù)得到的兩組特征在每一空間位置l（l∈L）按照矩陣的外積進(jìn)行組合，得到一個雙線性特征Bk，其計算公式如下：

式中：k為大于等于1的自然數(shù)，其值的范圍由空間位置l的個數(shù)所確定；fA(l,I)為輸入圖像I至網(wǎng)絡(luò)A，在空間位置l輸出的特征圖；fB(l,I)為輸入圖像I至網(wǎng)絡(luò)B，在空間位置l輸出的特征圖。

池化函數(shù)P通過累加操作將所有位置的雙線性特征融合，得到原始圖像的一個全局特征。假設(shè)對于每個位置l，特征提取函數(shù)輸出的特征維度分別為a∈RC×X與b∈RC×Y，則池化的雙線性特征是x=aTb，池化函數(shù)P輸出的全局特征大小為X×Y，將其轉(zhuǎn)換成為一個XY×1 的雙線性向量 Φ(I)作為所提取的特征， Φ(I)計算公式如下：

本文采用的雙線性池化模型的框架如圖4所示。

圖4 雙線性池化模型Fig.4 Bilinear pooling model

2 銹蝕等級評估模型與流程

2.1 評估模型構(gòu)架

基于VGG-16設(shè)計了一種用于銹蝕圖像等級評估的分類模型，其基本網(wǎng)絡(luò)架構(gòu)如圖5所示，模型分為雙色彩空間圖像輸入、嵌入注意力機(jī)制的VGG-16特征提取網(wǎng)絡(luò)及雙線性池化分類3個部分。

圖5 銹蝕等級評估網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of rust grade evaluation

圖像輸入部分中，根據(jù)文獻(xiàn)[25]可知，RGB中的藍(lán)色分量可反映局部銹蝕亮度變化，HSV中的飽和度分量可反映整體銹蝕顏色變化。因此，選擇將銹蝕圖像分為RGB和HSV兩種色彩空間分別輸入到VGG-16網(wǎng)絡(luò)A、VGG-16網(wǎng)絡(luò)B中進(jìn)行特征提取，以充分利用原始圖像的信息。

特征提取部分中，將傳統(tǒng)VGG-16網(wǎng)絡(luò)去除全連接層后在block2和3之間拆分開，其中：前半部分每個block均含2個卷積，稱為VGG16-F；后半部分每個block均含3個卷積，稱為VGG16-L。本文在VGG-16網(wǎng)絡(luò)A的VGG16-F與VGG16-L之間嵌入空間注意力模塊，在RGB空間圖像中提升網(wǎng)絡(luò)對于局部銹蝕細(xì)節(jié)的學(xué)習(xí)；在VGG-16網(wǎng)絡(luò)B的VGG16-F與VGG16-L之間嵌入通道注意力模塊，在HSV空間圖像中提升網(wǎng)絡(luò)對于整體銹蝕顏色的學(xué)習(xí)。

雙線性池化分類中，采用雙線性池化模塊將兩路網(wǎng)絡(luò)輸出的網(wǎng)絡(luò)特征圖進(jìn)行融合，并將結(jié)果輸入到Softmax分類器進(jìn)行分類識別，完成銹蝕圖像等級分類評估。

2.2 銹蝕圖像等級評估流程

基于注意力機(jī)制和雙線性池化的銹蝕圖像等級分類評估總體流程如圖6所示，主要包含3個主要步驟：數(shù)據(jù)集的建立、深度神經(jīng)網(wǎng)絡(luò)的設(shè)計與訓(xùn)練、分類結(jié)果的評價與分析。首先，通過鹽霧箱加速鋼板產(chǎn)生銹蝕并采集圖像建立數(shù)據(jù)集，將其劃分為訓(xùn)練集和測試集；然后，采用訓(xùn)練集對設(shè)計的銹蝕等級分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并結(jié)合測試集對模型進(jìn)行調(diào)整；最后，通過測試集的分類精度對結(jié)果進(jìn)行分析，同時引入不同的網(wǎng)絡(luò)模型進(jìn)行對比，并對本文所提網(wǎng)絡(luò)進(jìn)行消融實驗。

圖6 銹蝕圖像等級評估流程Fig.6 Rust image grade evaluation process

2.3 評價指標(biāo)

為了客觀地評估本文所構(gòu)建的銹蝕等級分類評估模型，選擇準(zhǔn)確率SACC、精確率SPRE、召回率SREC、F1系數(shù)作為評價指標(biāo)，其計算公式如下：

式中，TP為預(yù)測結(jié)果為某個銹蝕、實際也為該銹蝕類別的樣本數(shù)，F(xiàn)P為預(yù)測結(jié)果為某個銹蝕、實際卻為其他銹蝕類別的樣本數(shù)，F(xiàn)N為預(yù)測結(jié)果為其他銹蝕、實際卻為該銹蝕類別的樣本數(shù)，TN為預(yù)測結(jié)果為其他銹蝕類別、實際也為其他銹蝕類別的樣本數(shù)。

3 實驗與結(jié)果驗證

3.1 實驗設(shè)置

實驗采用BS90C型鹽霧試驗箱對24塊長、寬、高分別為160 mm、120 mm、5 mm的Q235鋼板進(jìn)行加速銹蝕，采用分辨率為500萬像素的CCD（charge coupled device）相機(jī)采集鋼板表面圖像，實驗設(shè)備如圖7所示。實驗采用循環(huán)式交替噴霧方法，噴霧采用質(zhì)量分?jǐn)?shù)為5%的氯化鈉溶液。實驗持續(xù)66 d，總共得到1 584張大小為2 592像素×1 944像素的鋼板表面銹蝕圖像。

圖7 實驗設(shè)備Fig.7 Experimental equipments

以24 h為1個時間單位，對66 d的樣本圖片進(jìn)行切片，切片結(jié)果與國際樣圖對比如圖8所示。

圖8中，依據(jù)國際標(biāo)準(zhǔn)《GB/T 8923.1—2011/ISO 8501—1:2007》[26]，將銹蝕鋼板樣本劃分為4個等級：A級銹蝕，鋼材表面存在大量氧化皮，銹蝕銹跡較少且程度較輕；B級銹蝕，鋼材表面出現(xiàn)大面積銹漬，氧化皮已出現(xiàn)剝落情況；C級銹蝕，鋼材表面出現(xiàn)少量嚴(yán)重的點狀銹斑；D級銹蝕，鋼材表面點狀銹斑增多且表層出現(xiàn)大面積脫落。為了后續(xù)描述方便，將無銹、A級銹蝕、B級銹蝕、C級銹蝕、D級銹蝕分別定義為LV_0、LV_1、LV_2、LV_3、LV_4。

由圖8可以發(fā)現(xiàn)：早期階段（7月14日—7月24日）試樣表面逐漸失去光澤并出現(xiàn)局部銹跡，隨著時間推移局部銹跡越來越多；中期階段（7月25日—9月5日）試樣表面已經(jīng)完全失去光澤，銹蝕已基本覆蓋所有表面，呈現(xiàn)出橙紅色的氧化物，顏色逐漸加深；后期階段（9月6日—9月21日）鋼材試樣中疏松的銹蝕氧化物逐漸消失，試樣表面變得十分粗糙，局部位置銹斑突起且表層出現(xiàn)脫落。實驗現(xiàn)象與國標(biāo)描述完全一致，通過像素掃描對比發(fā)現(xiàn)，實驗項目中獲取的所有銹蝕樣本圖片與國標(biāo)中的標(biāo)準(zhǔn)樣圖像素重合度均高達(dá)95%以上，本文實驗中的銹蝕樣本圖片可以作為擴(kuò)容后的標(biāo)準(zhǔn)樣圖進(jìn)行模型訓(xùn)練。

3.2 構(gòu)建訓(xùn)練樣本

為了使深度學(xué)習(xí)模型的訓(xùn)練樣本更加聚焦于銹蝕等級（國家標(biāo)準(zhǔn)GB T8923.1—2011）[3]的典型樣圖，同時又盡可能完全覆蓋整個銹蝕歷程的所有樣圖，設(shè)置區(qū)間內(nèi)訓(xùn)練樣本的圖片數(shù)量與實驗時間近似服從正態(tài)分布，由此構(gòu)造出深度學(xué)習(xí)模型的訓(xùn)練樣本集。

以2級銹蝕（LV_2）為例，通過像素掃描對比發(fā)現(xiàn)，鹽霧銹蝕實驗歷程中第12天至第37天的銹蝕圖片其典型像素特征明顯高于國家標(biāo)準(zhǔn)GB T8923.1—2011銹蝕等級樣圖2級銹蝕像素特征。因此，將鹽霧銹蝕實驗歷程中第12天至第37天的銹蝕圖片作為2級銹蝕的訓(xùn)練樣本；為了聚焦國家標(biāo)準(zhǔn)中的2級銹蝕樣圖，設(shè)置第12天至第37天內(nèi)訓(xùn)練樣本的圖片數(shù)量近似服從正態(tài)分布。訓(xùn)練樣本數(shù)量設(shè)置如圖9所示。據(jù)此將原始數(shù)據(jù)集劃分為無銹蝕、A～D級銹蝕共5個類別，并依次對其綁定標(biāo)簽。

圖9 訓(xùn)練樣本數(shù)量設(shè)置Fig.9 Training sample number setting

將所有的圖像去除背景后按照256像素×256像素的大小分塊，共得到31 680張帶類別標(biāo)簽的小尺寸圖像。在每個類別中隨機(jī)選取400張圖像，總共得到2 000張銹蝕圖像樣本數(shù)據(jù)集，將其按照8∶2的比例劃分訓(xùn)練集（1 600張）和測試集（400張）。所有模型均在相同配置的計算機(jī)環(huán)境下運行（Windows10+Рython3.6 +Рytorch1.0），使用內(nèi)存為24 G的GeForce RTX 3090顯卡進(jìn)行加速。損失函數(shù)為多分類交叉熵函數(shù)，批大小為16，訓(xùn)練輪數(shù)為50，初始學(xué)習(xí)率為0.001，采用MultiStepLR動態(tài)學(xué)習(xí)率調(diào)整策略實現(xiàn)學(xué)習(xí)率的自動更新。

3.3 對比實驗

為驗證本文所提方法在銹蝕圖像等級分類中的有效性，選擇圖像處理中經(jīng)典網(wǎng)絡(luò)模型ZFNet[15]、LeNet-5[14]、VGG-16[16]進(jìn)行對比測試，對于相同測試集進(jìn)行分類評估，其評價指標(biāo)均值見表1。由表1可知，與ZFNet和LeNet-5等骨干網(wǎng)絡(luò)相比，VGG-16在準(zhǔn)確率、精確率、召回率、F1系數(shù)等指標(biāo)上均有明顯優(yōu)勢。

表1 不同網(wǎng)絡(luò)模型評價指標(biāo)均值對比Tab.1 Comparision of evaluation indicator mean of different network models

不同深度學(xué)習(xí)網(wǎng)絡(luò)模型在測試集上的準(zhǔn)確率和損失函數(shù)值變化如圖10所示。由圖10可以看出：前20個訓(xùn)練周期內(nèi)各模型的準(zhǔn)確率和損失函數(shù)值均存在一定程度的波動，經(jīng)過50輪訓(xùn)練周期后所有網(wǎng)絡(luò)均趨于穩(wěn)定。其中：ZFNet前期波動幅度大、收斂速度較慢，準(zhǔn)確率最低；LeNet-5雖然波動幅度小，但是收斂較慢且準(zhǔn)確率較低；VGG-16波動幅度大且波動時間長，在40輪訓(xùn)練后仍存在小幅波動；本文方法前期訓(xùn)練波動也較大，但在經(jīng)過10輪訓(xùn)練之后迅速收斂且后期波動幅度小，收斂后在準(zhǔn)確率與穩(wěn)定性上均有較大優(yōu)勢。

圖10 不同網(wǎng)絡(luò)模型測試結(jié)果Fig.10 Test results of different network models

為進(jìn)一步驗證本文方法的有效性，圖11繪制其在訓(xùn)練集和測試集上的準(zhǔn)確率和損失函數(shù)值。由圖11可以看出，模型在測試集第8個測試周期中的準(zhǔn)確率和損失函數(shù)均有大幅波動，隨后迅速回歸平穩(wěn)。分析可知，導(dǎo)致此次波動的主要原因是有部分測試樣本為銹蝕圖片的奇異樣本，奇異樣本和常規(guī)樣本對比示例如圖12所示。由圖12可知，奇異樣本與常規(guī)銹蝕樣本在特征上存在較明顯差異。由此可見，本文方法具有良好的泛化推廣能力。從整體上看，測試集的準(zhǔn)確率和損失函數(shù)值均優(yōu)于訓(xùn)練集，這是因為測試集的樣本數(shù)目遠(yuǎn)小于訓(xùn)練集。

圖11 本文方法的損失函數(shù)值和準(zhǔn)確率Fig.11 Loss function value and accuracy of the method in this paper

圖12 常規(guī)銹蝕樣本與奇異樣本對比Fig.12 Comparison of conventional rusted samples and odd samples

本文方法識別結(jié)果的混淆矩陣如圖13所示。由圖13可以看出：模型對未生銹圖像（LV_0）的識別效果最好，其識別準(zhǔn)確率達(dá)到1.000；模型對1級銹蝕（LV_1）和4級銹蝕（LV_4）的識別準(zhǔn)確率均達(dá)到0.959以上；對于工程中常見且目測難以區(qū)分的2級銹蝕（LV_2）和3級銹蝕（LV_3），識別準(zhǔn)確率也達(dá)到0.870以上；整體平均識別準(zhǔn)確率達(dá)到了0.953，具有良好的銹蝕識別能力。

圖13 本文方法的混淆矩陣Fig.13 Confusion matrix of the method in this paper

3.4 消融實驗

在消融實驗中對比以下7個網(wǎng)絡(luò)結(jié)構(gòu)：1）輸入為RGB圖像的VGG-16網(wǎng)絡(luò)；2）輸入為HSV圖像的VGG-16網(wǎng)絡(luò)，簡寫為VGG16_HSV；3）單個VGG-16網(wǎng)絡(luò)先后輸入RGB與HSV圖像，對兩個輸出采用雙線性池化特征融合，簡寫為BCNN_S；4）兩個VGG-16網(wǎng)絡(luò)分別輸入RGB與HSV圖像，對兩個輸出采用雙線性池化特征融合，簡寫為BCNN_D；5）單個VGG-16網(wǎng)絡(luò)block2和3之間嵌入混合注意力機(jī)制，先后輸入RGB與HSV圖像，對兩個輸出采用雙線性池化特征融合，簡寫為BACNN_M；6）在兩個VGG-16網(wǎng)絡(luò)的block5后分別融入空間注意力或通道注意力機(jī)制，隨后分別輸入RGB與HSV圖像，對兩個輸出采用雙線性池化特征融合，簡寫為BACNN_D；7）本文方法，雙線性池化和注意力機(jī)制卷積神經(jīng)網(wǎng)絡(luò)（bilinear pooling and attention mechanism convolutional neural network，BACNN）。

其中：VGG-16和VGG16_HSV用于對色彩空間的消融驗證；BCNN_S和BCNN_D用于對雙線性池化的消融驗證；BACNN_M和BACNN_D用于對注意力機(jī)制的消融驗證；BACNN融合了色彩空間模塊、雙線性池化模塊與注意力機(jī)制模塊。

消融對比實驗中，7個網(wǎng)絡(luò)結(jié)構(gòu)的模型在相同測試集上的測試準(zhǔn)確率如圖14所示，損失函數(shù)值如圖15所示。由圖14和15可以得出以下結(jié)論：

圖14 不同網(wǎng)絡(luò)結(jié)構(gòu)模型的準(zhǔn)確率對比Fig.14 Comparison of accuracy of models with different network structures

圖15 不同網(wǎng)絡(luò)結(jié)構(gòu)模型的損失函數(shù)值對比Fig.15 Comparison of loss function values of models with different network structures

1）對于色彩空間模塊，當(dāng)銹蝕圖像以RGB色彩空間作為輸入時，VGG-16網(wǎng)絡(luò)準(zhǔn)確率更高；而以HSV色彩空間為輸入時，VGG16_HSV網(wǎng)絡(luò)損失函數(shù)值下降更快，波動性更小。

2）對于雙線性池化模塊，當(dāng)雙線性網(wǎng)絡(luò)采用參數(shù)完全共享的VGG-16（BCNN_S）時，網(wǎng)絡(luò)出現(xiàn)異常，模型損失函數(shù)值在訓(xùn)練周期內(nèi)逐步上升，準(zhǔn)確率逐步下降；而當(dāng)采用參數(shù)完全不共享的兩個VGG-16（BCNN_D）時，其性能得到明顯改善。由此可見，兩種色彩空間特征并不兼容。

3）對于注意力機(jī)制模塊，BACNN_M網(wǎng)絡(luò)中采用混合注意力機(jī)制，其模型準(zhǔn)確率相較于上述4個模型顯著降低，并且訓(xùn)練周期內(nèi)未收斂；BACNN_D結(jié)構(gòu)中兩個網(wǎng)絡(luò)分別采用空間注意力和通道注意力機(jī)制，與上述5個模型進(jìn)行對比，BACNN_D網(wǎng)絡(luò)模型收斂速度和識別準(zhǔn)確率均得到改善。

本文構(gòu)建的BACNN網(wǎng)絡(luò)充分利用上述6種網(wǎng)絡(luò)特點，在BACNN_D的基礎(chǔ)上將注意力模塊嵌入于block2和3之間，其性能得到明顯提升，在10個訓(xùn)練周期后網(wǎng)絡(luò)迅速收斂并趨于平穩(wěn)，識別準(zhǔn)確率達(dá)到了0.953。

為進(jìn)一步驗證BACNN網(wǎng)絡(luò)中各模塊的作用，將其與VGG-16和BCNN_D進(jìn)行對比驗證。在3個網(wǎng)絡(luò)中分別輸入相同的400張測試集銹蝕圖像，采用精確率指標(biāo)、召回率指標(biāo)和F1系數(shù)評估不同網(wǎng)絡(luò)的識別性能，驗證結(jié)果見表2。

表2 不同網(wǎng)絡(luò)對不同銹蝕等級圖像的識別性能對比Tab.2 Comparison of the recognition performance of different networks for different rust grade images

由表2可以看出：傳統(tǒng)VGG-16網(wǎng)絡(luò)難以區(qū)分2級和3級銹蝕，其分類精確率不到0.800；當(dāng)單獨引入雙線性池化后，僅改善了2級銹蝕的精確率和3級銹蝕的召回率。在雙線性模塊中嵌入注意力機(jī)制構(gòu)成BACNN網(wǎng)絡(luò)，該網(wǎng)絡(luò)對2、3級細(xì)粒度銹蝕圖像進(jìn)行了深度學(xué)習(xí)，使得其識別精確率由0.710上升到0.840，召回率由0.780上升到0.870，F(xiàn)1系數(shù)由0.750上升到0.880，大大提高了2、3級細(xì)粒度銹蝕圖像的識別性能。

最后，驗證消融實驗中7個網(wǎng)絡(luò)的平均識別性能。在7個網(wǎng)絡(luò)中分別輸入相同的400張測試集銹蝕圖像，采用精確率指標(biāo)，召回率指標(biāo)、F1系數(shù)和準(zhǔn)確率評估不同網(wǎng)絡(luò)的識別性能，驗證結(jié)果見表3。

表3 不同網(wǎng)絡(luò)對銹蝕圖像的平均識別性能對比Tab.3 Comparison of the average recognition performance of rust images by different networks

由表3可以看出，本文方法準(zhǔn)確率達(dá)到0.953，精確率和召回率達(dá)到0.948，F(xiàn)1系數(shù)為0.946。相較于傳統(tǒng)VGG-16和單一模塊改進(jìn)網(wǎng)絡(luò)，本文構(gòu)建的融合雙線性池化和注意力機(jī)制的BACNN網(wǎng)絡(luò)，在銹蝕圖像的平均識別性能的各指標(biāo)提升方面均有明顯優(yōu)勢，有效提高了銹蝕圖像的分類識別性能。

4 結(jié) 論

本文針對目前細(xì)微銹蝕圖像特征識別準(zhǔn)確率較低，且以人工目視檢測為主的現(xiàn)狀，基于VGG-16網(wǎng)絡(luò)提出融合注意力機(jī)制與雙線性池化的銹蝕等級評估方法。以水工機(jī)械裝備的常用材料Q235鋼為樣本，通過鹽霧銹蝕實驗獲取銹蝕圖像數(shù)據(jù)集，并進(jìn)行消融和對比實驗，貢獻(xiàn)如下：

1）采用VGG-16作為規(guī)整網(wǎng)絡(luò)，以RGB和HSV兩種色彩空間特征作為輸入，通過嵌入注意力機(jī)制和雙線性池化模塊，使網(wǎng)絡(luò)聚焦于最相關(guān)的細(xì)粒度圖像特征進(jìn)行深度學(xué)習(xí)，由此加快了網(wǎng)絡(luò)模型的收斂速度，有效提升了網(wǎng)絡(luò)模型對細(xì)粒度銹蝕圖像銹蝕等級的評估指標(biāo)，并增強(qiáng)了模型的泛化性。

2）通過鹽霧銹蝕實驗獲取銹蝕圖像數(shù)據(jù)集，并進(jìn)行消融和對比實驗，從多個角度進(jìn)行綜合分析得出，相較于原模型及其他主流算法，改進(jìn)后網(wǎng)絡(luò)模型的分類準(zhǔn)確率達(dá)到了0.953，召回率和精確率達(dá)到了0.948，F(xiàn)1系數(shù)為0.946，多個評價指標(biāo)均顯示所提方法在銹蝕圖像等級評估中整體性能更優(yōu)。

本文實驗的光照條件、空間分辨率等區(qū)別很小，工程實際應(yīng)用中通過成像傳感器獲取的水工機(jī)械裝備銹蝕圖像的光照條件和圖像分辨率可能存在差異，如何進(jìn)一步提升網(wǎng)絡(luò)模型的泛化推廣能力，使其適用于不同數(shù)據(jù)來源是未來進(jìn)一步拓展研究的重點。