基于fast-Unet的補強膠膠體在線識別分割技術

薛金超，趙德安，李長峰，張 軍，陳 輝

（1.江蘇大學電氣信息工程學院，江蘇 鎮(zhèn)江 212013；2.常州銘賽機器人科技股份有限公司，江蘇常州 213164）

0 引言

隨著人們生活水平不斷提高，手機等電子產品的消費日益俱增，對電子產品質量提出了新的要求。電子產品零部件通常都采用補強膠加固，因此對補強膠進行分割提取，便成為質量檢測的關鍵。傳統(tǒng)圖像分割算法主要有閾值分割法［1］、邊緣分割法［2］等。張啟軒等［1］通過設定閾值，利用閾值分割算法將圖像中的像素值進行分類。該算法簡單、快速，但忽略了圖像的空間信息，且易受光照等因素影響分割效果。唐闖［2］通過邊緣分割法檢測ROI的邊界灰度變化，并以此作為分割依據。常用的邊緣檢測算子有：Roberts［3］，Prewitt［4］，Sobel［5］，Laplace［6］，Canny［7］等。Cherri［3］提出的Roberts 邊緣檢測算子，在處理陡峭的低噪聲圖像時效果較好，但只能提取圖像的粗邊緣，定位精度較低。安建堯等［4］使用Prewitt 算子處理灰度漸變和多噪聲圖像效果顯著。Shen 等［5］利用Sobel 算子處理灰度漸變和多噪聲的圖像效果好，且定位準確。孟小華等［6］利用Laplace 算子可準確定位階躍性邊緣點，對噪聲十分敏感，但容易丟失邊緣方向信息，造成邊緣不連續(xù)。Archana 等［7］使用Canny算子可支持同時利用兩種不同閾值分別檢測強邊緣和弱邊緣，但在實際檢測過程中，僅通過邊緣檢測仍難以實現高精度分割。

通過以上算法可知，傳統(tǒng)邊緣檢測算法可較為準確地定位邊緣，但易受光照等客觀因素影響，分割效果不佳。隨著深度學習技術不斷發(fā)展，Unet［8］在分割醫(yī)學圖像等細小等物體上優(yōu)勢明顯，被廣泛應用于生物醫(yī)學圖像方面，但Unet 和U2net［9］分割速度較慢?，F有實時分割網絡有ICnet［10］、Enet［11］、LEDnet［12］、CGnet［13］等。ICnet提出了級聯特征融合單元可獲取高質量的分割圖像，同時包含多重分辨率分支的級聯網絡實現實時分割。LEDnet 使用了不對稱“編碼—編碼”機制實現實時分割，并利用通道分割和融合技術提高分割效率。CGnet 主要由CG 塊組成，通過學習局部和上下文特征實現實時語義分割。

上述分割網絡算法相較于傳統(tǒng)算法，魯棒性更高，且支持實時分割，但相較于Unet 等網絡，分割精度仍然較低。因此，本文提出了一種基于改進Unet 實時分割的fast-Unet語義分割網絡模型。

1 網絡改進

根據ICnet 設計原理及Unet 自身結構，提出了一種適合分割補強膠的fast-Unet 網絡，該網絡模型結構如圖1 所示。

Fig.1 Fast-Unet structure圖1 fast-Unet 結構

1.1 注意力模塊

注意力模塊［14］（Convolutional Block Attention Module，CBAM）主要包含通道注意力模塊（Channel Attention Module，CAM）和空 間注意力模塊（Spatial Attention Module，SAM）。CBAM 依次通過CAM 和SAM 模塊推算通道和空間兩個不同維度的注意力特征圖，再將輸入特征圖與不同維度的注意力特征圖相乘，以細化特征。注意力模塊結構圖如圖2 所示。

Fig.2 Attention module structure圖2 注意力模塊結構

圖2 中所涉及計算公式如式（1）、式（2）所示：

其中，F為輸入特征圖，Mc(F)為一維通道注意力圖，Ms(F′) 為二維空間注意力圖，F′為通過通道注意力模塊得到的特征圖，F″為最終細化輸出。

Fig.3 Channel attention module structure圖3 通道注意力模塊結構

由圖3 可見，通過CAM 獲得通道注意力特征圖時，可使用平均池化方法聚合空間信息，但需要壓縮輸入特征圖的空間維度；或使用最大池化方法細化通道注意力。鑒于此，本文將兩種方法相結合。具體為：首先分別得到平均池化特征Fcavg和最大池化特征Fcmax；然后將它們分別通過多層感知機MLP 組成的共享網絡得到特征向量；接下來使用element-wise 進行合并；最后使用sigmoid 得到特征圖F′，計算公式如公式（3）所示：

其中，σ為sigmoid 激活函數，w代表使用element-wise進行求和合并，M為由MLP 組成的共享網絡。

SAM 主要對經過通道注意力后的特征圖進行補充，以尋找最具代表特征信息的空間部分。計算公式如公式（4）所示：

其中，σ為sigmoid 激活函數，f7×7c為7 × 7 卷積運算。

1.2 金字塔池化模塊

金字塔池化模塊（Pyramid Pooling Module，PPM）［15］分為1× 1、2 × 2、3 × 3、6 × 6 不同大小的4 層。先將輸入池化為4 個不同大小的池化層；然后分別使用4 個1× 1的卷積將通道數減少3/4；接著使用雙線性采樣得到4 個與原特征圖大小一致的特征圖，并將其與原特征圖按通道進行融合；最后使用1× 1 卷積改變通道數，使其與原特征圖通道數保持一致。金字塔池化模塊結構如圖4 所示。

Fig.4 Pyramid pooling module structure圖4 金字塔池化模塊結構

由圖4 可見，PPM 可充分利用全局信息，并保留全局上下文信息，以解決不匹配、類別混淆、易忽視類別等問題。

1.3 激活函數

常用的非線性激活函數有ReLU，該函數計算簡單，不但可加快收斂速度，還能緩解梯度爆炸、梯度消失等問題。數學表達式如式（5）所示：

由式（5）可見，一旦激活函數輸入值為負數時，激活函數輸出值為0。則使神經元失活，并且之后所有的神經元節(jié)點都將無法再被激活。

ELU［16］相較于ReLU，負值部分仍有輸出值，魯棒性更高。此外，ELU 激活函數輸出值的均值更逼近于0，收斂速度更快。然而為了有效去除噪聲的影響，本文使用一種自歸一化的激活函數SeLU［17］，該激活函數具有自歸一化特點，是對特征的高級抽象表示。數學表達式如公式（6）所示：

其中，通過實驗驗證當λselu≈1.673 263 242 354，αselu≈1.050 700 987 355 時，效果較好。

1.4 編碼器

目前FCN［18］、Unet、DeepLab［19］等系列的主流語義分割網絡，雖然分割性能較好，但無法實現實時快速分割。香港中文大學、騰訊優(yōu)圖及商湯科技聯合開發(fā)的ICnet 語義分割模型則實現了實時快速分割。ICnet 使用低分辨率圖像快速捕捉圖像的語義信息，再使用高分辨率圖像獲取圖像細節(jié)，并利用獲取的主要特征信息優(yōu)化調整低分辨率分割的語義信息，以提升分割速度和精度。

本文基于ICnet的3 分支輸入模式和Unet的特殊結構，提出了一種由3 個特征提取分支組成的編碼模塊，如圖5所示。

由圖5 可見，本文提出的編碼模塊由3 個特征提取分支構成。其中，3 個特征提取分支都使用VGG16［20］作為特征提取主體。ICnet 中3 種輸入分別是原圖大小、原圖1/2大小、原圖1/4 大小。輸出特征圖則分別為原圖1/8 大小、原圖1/16 大小和原圖1/32 大小。而本文編碼模塊的3 個特征提取分支的輸入都為原圖大小，僅共享一部分權重，輸出特征圖為原圖大小、原圖1/4 大小和原圖1/16 大小。

Fig.5 Fast-Unet coding module structure圖5 Fast-Unet 編碼模塊結構

ICnet的加速策略是采用低分辨率特征圖提取語義信息，從高分辨率特征圖提取特征細節(jié)。本文基于ICnet 設計策略進行改進，加入中分辨率特征圖，聯系高、低分辨率的語義信息和特征細節(jié)。

1.4.1 第一特征提取分支

第一特征提取分支由EncodeOne 模塊構成。Encode-One 模塊改變了VGG16 第一次下采樣前特征層結構的原始通道數，并使用SeLU 代替ReLU 激活函數，以提取原始圖片大小的特征圖。EncodeOne 模塊結構卷積參數如表1所示。

Table 1 EncodeOne module structure convolution parameters表1 EncodeOne 模塊結構卷積參數

1.4.2 第二特征提取分支

第二特征提取分支共享第一特征提取分支的權重，并加入了EncodeTwo 模塊、CBAM 和PPM。其中，EncodeTwo模塊也是由VGG16 改進而來。同樣先將通道數減半，再采用channl_split 操作進一步將輸入通道數減半，以此提高檢測速度。然而，由于EncodeTwo 使用了VGG16的基礎結構，通道分割后進行融合時會發(fā)生特征圖大小不一致的問題。為此，需要在另一個分支中引入一個卷積核為3 × 3、stride 為2的卷積層，使通道分割后的兩個分支可進行融合。通過該方法雖然可以提高檢測速度，但會導致特征提取能力下降。為此，本文引入SeLU 激活函數代替ReLU 函數，以提高檢測效率。EncodeTwo 模塊結構如圖6 所示。

Fig.6 EncodeTwo module structure圖6 EncodeTwo 模塊結構

由圖6 可見，由于第二特征提取分支得到的中分辨率特征圖，起到聯系高分辨率和中分辨率的語義信息和特征細節(jié)的作用。因此提高第二分辨率的特征提取能力至關重要，于是本文在EncodeTwo 模塊后引入注意力和金字塔池化模塊。

1.4.3 第三特征提取分支

第三特征提取分支主要為了快速獲取低分辨率的特征語義信息。這一分支共享了第二分支的網絡權重，并且經過兩次下采樣和一次3×3 卷積，得到原圖1/16 大小的特征圖，以獲取語義信息。

1.5 解碼器

解碼器采用了Unet的原有結構，并且根據提出的編碼器結構進行改進。解碼器結構如圖7 所示。

Fig.7 Decoder structure圖7 解碼器結構

由圖7 可見，原有Unet 解碼器是由一次上采樣加兩次卷積，堆疊4 次構成，將5 個不同大小的特征層進行融合。而本文將原本需進行4 次堆疊的解碼模塊進行改進，融合編碼網絡中的特征層，并將兩個解碼模塊堆疊，構成新的解碼器。

2 實驗與分析

2.1 實驗環(huán)境和參數

基于Pytorch 構建深度學習網絡，并使用C++、OpenCV、ibtorch 將模型部署到工程上。

本文訓練實驗參數如表2 所示，檢測參數如表3 所示。

Table 2 Training experiment parameter表2 訓練參數

Table 3 Test experiment parameter表3 檢測參數

2.2 實驗結果與分析

實驗評價指標采用平均像素精確度（Mean Pixel Accuracy，MPA）、平均交并比（Mean Intersection over Union，MIoU）、F1_score 及檢測速率FPS（包含預處理，前向推理及預測輸出）。其中，不同改進Unet 模型訓練和驗證過程的Train-F1-score如圖8所示。

圖8 中new_Unet 模型為未加入CBAM 和PPM 模塊的fast-Unet；new_Unet_original 為通道數未減半及未加入channel-split的new_Unet模型；new_Unet+CBAM 為加入了CBAM 模塊的fast-Unet 模型；new_Unet+PPM為加入了PPM模塊的fast-Unet模型；new_Unet+P-PM+CBAM 為先加入PPM模塊再加入CBAM 模塊的fast-Unet 模型；new_Unet+CBAM +PPM 為先加入CBAM 模塊，再加入了PPM 模塊的fast-Unet 模型。各改進Unet 模型的Train-F1-score、Val-F1-score 和FPS 如表4 所示。

Table 4 Train-F1-score、Val-F1-score and FPS of each improved Unet model表4 各改進Unet 模型的Train-F1-score、Val-F1-score 和FPS

Fig.8 F1-score of different improved Unet model training and verification processes圖8 不同改進Unet 模型訓練和驗證過程的F1-score

由圖8 和表4 可見，當new_Unet_original 模型通道數減半并引入channel-split 后，new_Unet 相較于new_Unet_originalFPS 提高了近一倍，但Train-F1-score 下降了0.005；當new_Unet 模型引入CBAM 后，new_Unet+CBAM 相較于new_Unet FPS 和Train_F1-score 變化不明顯，但Train-F1-score與Val-F1-score的差值從0.005降到了0.002 8；在new_Unet 基礎上引入了PPM 后，雖 然new_Unet+PPM 模型的Train-F1-score相較于new_Unet 提升了0.009，但FPS從106.01下降到82.45，Train-F1-score和Val-F1-score的差值從0.005增加到0.0053；在new_Unet上加入CBAM和PPM后，new_Unet+PPM+CBAM、new_Unet+CBAM+PPM相較于new_Unet，Train-F1-score提高了0.013左右，并且Train-F1-score和Val-F1-score的差值僅為0.003 5 左右，由表4 可見，new_Unet+CBAM+PPM 效果更佳，相較于Unet（VGG16）Train-F1-score 幾乎相同，但FPS 從34.98 提高到了78.33。各模型性能指標對比如圖9所示，具體數據見表5。

由 圖9和表5可見，new_Unet的MIoU和MPA分別為0.9495 和0.956 7，FPS 達到了106.01。fast-Unet（new_Unet+CBAM+PPM）的MIoU 和MPA 最高，相較于new_Unet 分別提高了0.021 1 與0.029 3，但FPS 從106.01 下降到78.33。接下來測試了不同激活函數對fast-Unet 模型性能的影響，結果如圖10 所示。訓練、驗證集上不同激活函數的F1-score 最大值如圖11 所示，具體數據見表6。

由圖11 和表6 可見，在訓練集和驗證集上使用ReLU6、LeakRelu、HardSwish 等激活函數的Train-F1-score、Val-F1-score 最大值，相較于使用ReLU 有所下降；使用CELU和SELU 激活函數相較于ReLU 激活函數略有提升。其中，不同的激活函數在測試集上的性能指標如圖12 所示，具體數據見表7。

Fig.9 Comparison of performance indexes of each model圖9 各模型性能指標對比

Table 5 Comparison data of performance indexes of each model表5 各模型性能指標對比數據

Fig.10 F1-score of fast-Unet under different activation functions圖10 Fast-Unet 在不同激活函數下的F1-score

Fig.11 F1-score maximum values of different activation functions on training and validation sets圖11 訓練、驗證集上不同激活函數的F1-score 最大值

Table 6 F1-score maximum values of different activation functions on training and validation sets表6 訓練、驗證集上不同激活函數的F1-score 最大值

由圖12 和表7 可見，使用SELU 激活函數相較于ReLU函數，MIoU 和MPA 分別從提升了0.000 5 和0.000 6，FPS 只下降了0.27。同時，本文比較了不同模型的性能指標，如表8 所示。

Fig.12 Comparison of performance indexes of different activation functions圖12 不同激活函數的性能指標比較

Table 7 Comparison of performance indexe data of different activation functions表7 不同激活函數的性能指標數據比較

Table 8 Comparison of performance index data of different models表8 不同模型性能指標數據比較

通過Pytorch 訓練得到的fast-Unet 網絡模型后，將其轉為支持libtorch 調用的模型。經過實驗證明，用P1000 顯卡進行在線識別分割單個樣本的耗時僅為25ms。實際測試界面如圖13 所示。

Fig.13 Reinforcing glue colloid on-line detection and segmentation experiment圖13 補強膠膠體在線檢測分割實驗

3 總結

本文針對手機電子零部件上補強膠的識別分割，提出了一種改進Unet的實時分割網絡fast-Unet，并引入CBAM和PPM 增強網絡的魯棒性。通過實驗表明，該網絡的識別精度和FPS 均高于Unet，取得了較好的識別分割效果，MIoU、MPA 和FPS 分別達到了0.971 1、0.986 6 和78.06。此外，當使用P1000 顯卡進行測試時，單個樣本識別分割耗時僅為25ms。但由于在識別分割后，仍需進行膠體測量，下一步將研究在識別分割后量化膠體長、寬等信息。