基于像素分類的圖像語義分割方法及其應(yīng)用研究

梁智宇，蘇彩紅，*林軍帆

（佛山科學(xué)技術(shù)學(xué)院 機(jī)電工程與自動化學(xué)院，廣東佛山 528000）

隨著醫(yī)藥行業(yè)的飛速發(fā)展，制藥工廠的機(jī)械生產(chǎn)自動化程度越來越高。在藥片生產(chǎn)過程中，經(jīng)過加工和包裝等程序后，藥片表面不可避免地會存在污點(diǎn)、裂痕等缺陷。然而人工檢測的方式存在效率低下、漏檢率高等缺點(diǎn)，無法滿足如今的工業(yè)自動化生產(chǎn)要求。雖然國內(nèi)在藥片外觀缺陷檢測上已有一定的研究，但大多數(shù)研究都是基于傳統(tǒng)方法的圖像分割來進(jìn)行的，在面對不規(guī)則和復(fù)雜的缺陷特征時(shí)，傳統(tǒng)方法圖像分割算法的魯棒性弱，檢測結(jié)果的精確度較低。因此，本文研究了基于全卷積神經(jīng)網(wǎng)絡(luò)的語義分割藥片外觀缺陷檢測方法，將深度學(xué)習(xí)的優(yōu)勢運(yùn)用在藥片外觀缺陷檢測中。該方法能夠?qū)λ幤瑯颖緢D像上的每個(gè)像素點(diǎn)進(jìn)行分類，推斷出每一個(gè)像素所屬的類別（背景、污點(diǎn)、裂痕），最終分割出藥片缺陷區(qū)域，實(shí)現(xiàn)對藥片的外觀缺陷檢測。

1 全卷積神經(jīng)網(wǎng)絡(luò)

語義分割的定義是對圖像中的每一個(gè)像素都定義一個(gè)表示其語義類別的描述標(biāo)簽。一般卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的結(jié)構(gòu)由卷積層、池化層、全連接層堆疊組成，它們由5 個(gè)卷積組和3 個(gè)全連接層組成，這種卷積神經(jīng)網(wǎng)絡(luò)是基于圖像局部的區(qū)域像素塊處理來進(jìn)行分類，而不是基于像素級別的分類。2015 年，LONG 等［1］提出了最早的全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN），F(xiàn)CN 在CNN的基礎(chǔ)上保留了前5 個(gè)卷積組，將后面的3 個(gè)全連接層全部替換為卷積層，使輸出結(jié)果變?yōu)槎S圖像，再通過反卷積的方法進(jìn)行上采樣，使得通過池化層后縮小的特征圖恢復(fù)原始的尺寸大小。為了彌補(bǔ)丟失的細(xì)節(jié)信息實(shí)現(xiàn)精細(xì)分割，F(xiàn)CN 增加了跳躍結(jié)構(gòu)，同時(shí)兼顧了深層卷積層提取的粗糙的語義信息和淺層卷積層提取的精細(xì)的圖像細(xì)節(jié)特征［2］。FCN的網(wǎng)絡(luò)框架結(jié)構(gòu)圖如圖1 所示，通過提取和學(xué)習(xí)樣本圖像的特征，可以對樣本圖像上的每一個(gè)像素點(diǎn)進(jìn)行分類，最終輸出一個(gè)精細(xì)的分割結(jié)果。

圖1 FCN 網(wǎng)絡(luò)框架結(jié)構(gòu)圖

2 藥片外觀缺陷檢測方案

本文使用HALCON 提供的機(jī)器視覺集成開發(fā)環(huán)境HDevelop 搭建藥片外觀缺陷檢測平臺，實(shí)驗(yàn)的硬件配置為Intel i7-8750H 處理器，NVIDIA GeForce GTX 1060 顯卡。藥片外觀缺陷檢測步驟為：

（1）利用全卷積神經(jīng)網(wǎng)絡(luò)對預(yù)處理后的數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練；

（2）對訓(xùn)練得到的模型性能進(jìn)行評估；

（3）使用該模型推斷新的樣本圖像。該方案的程序流程圖如圖2 所示。

圖2 檢測方案的程序流程圖

本文采用像素精度（pixel accuracy）和交并比（IoU）來評估模型對缺陷檢測的精確度［3］。像素精度表示某一類像素中預(yù)測正確的像素?cái)?shù)目占該類像素總數(shù)的比例，平均像素精度則表示所有類別的像素精度的平均值。交并比表示某一類像素實(shí)際標(biāo)注的真實(shí)值和模型推斷結(jié)果的預(yù)測值的交集和并集之比，而平均交并比則表示所有類別的交并比的平均值，交并比指標(biāo)可以直觀地判斷出真實(shí)值和預(yù)測值的重合程度。

假設(shè)樣本圖像中的像素類型可分為k 個(gè)類，將本屬于i 類的像素預(yù)測為j 類像素的像素總數(shù)表示為ΣiNij，而將本屬于i 類的像素預(yù)測為i 類像素的像素總數(shù)，即預(yù)測正確的i 類像素的像素總數(shù)表示為ΣiNii；設(shè)i 類像素的實(shí)際像素總數(shù)為Ti=ΣjNij，所有像素中被預(yù)測為i 類的像素總數(shù)為ΣjNji。

像素精度（pixel accuracy）PA的定義公式為

平均像素精度（mean accuracy）的定義公式為

交并比（IoU）的定義公式為

平均交并比（mean IoU）MIoU的定義公式為

2.1 原始數(shù)據(jù)集

本實(shí)驗(yàn)使用HALCON 提供的深度學(xué)習(xí)圖像集作為原始數(shù)據(jù)集，其中包括圓形藥片、橢圓藥片、柱狀藥片，共2 850 張，三種藥片合格品的原始圖像如圖3 所示，其中圓形藥片的圖像尺寸大小為300×300，橢圓藥片的圖像尺寸大小為429×300，柱狀藥片的圖像尺寸大小為632×300，且皆為3 通道的RGB圖像。圖像的樣本類型可分為三類，即合格品、污點(diǎn)缺陷樣本和裂痕缺陷樣本。柱狀藥片中的合格品322張，含污點(diǎn)缺陷的樣本325 張，含裂痕缺陷的樣本314 張；圓形藥片樣本中合格品298 張，含污點(diǎn)缺陷的樣本317 張，含裂痕缺陷的樣本324 張；橢圓藥片中合格品316 張，含污點(diǎn)缺陷的樣本326 張，含裂痕缺陷的樣本308 張。

圖3 三種藥片的合格品圖像

2.2 預(yù)處理

在預(yù)處理過程中需要完成數(shù)據(jù)集的制作，包括進(jìn)行人工缺陷標(biāo)注、數(shù)據(jù)劃分和統(tǒng)一圖像格式，預(yù)處理流程如圖4 所示。

圖4 預(yù)處理流程圖

在進(jìn)行樣本標(biāo)注時(shí)，須進(jìn)行保留背景的分割標(biāo)注，即樣本圖片中的非缺陷區(qū)域?yàn)楸尘埃糠謽颖镜臉?biāo)注效果如圖5 所示。原始數(shù)據(jù)一共2 850 張圖像，進(jìn)行數(shù)據(jù)劃分時(shí)需要隨機(jī)選取1 995 張圖像作為訓(xùn)練集，427 張圖像作為驗(yàn)證集，427 張圖像作為測試集。綜合考慮訓(xùn)練效率和最終的分割結(jié)果，預(yù)處理時(shí)需要把數(shù)據(jù)集圖像的格式統(tǒng)一設(shè)置成：圖像大小為400×400，圖像通道為3 通道，灰度值范圍在-127到128 之間。

圖5 標(biāo)注結(jié)果

2.3 模型訓(xùn)練

在進(jìn)行模型訓(xùn)練前還需進(jìn)行預(yù)訓(xùn)練，預(yù)訓(xùn)練的目的是對網(wǎng)絡(luò)模型進(jìn)行參數(shù)初始化。HALCON 中提供的預(yù)訓(xùn)練模型中已經(jīng)對網(wǎng)絡(luò)參數(shù)進(jìn)行了初步的初始化。在參數(shù)初始化過程中，還需要設(shè)置相關(guān)訓(xùn)練超參數(shù)，如初始學(xué)習(xí)率、訓(xùn)練批次大小、迭代次數(shù)和學(xué)習(xí)動量等。訓(xùn)練是一個(gè)將整個(gè)模型參數(shù)調(diào)整至使損失函數(shù)的loss 值最優(yōu)化的一個(gè)過程，通過迭代和學(xué)習(xí)來不斷更新網(wǎng)絡(luò)模型的參數(shù)，使得訓(xùn)練中的loss值不斷減小并進(jìn)入收斂。實(shí)驗(yàn)采用基于動量的隨機(jī)梯度下降算法（Momentum）作為優(yōu)化算法［4］，來得到最優(yōu)的損失函數(shù)值。Momentum 算法引入動量項(xiàng)，綜合歷史參數(shù)的改變量，能夠有效地抑制振蕩，加快收斂速度。Momentum 算法的更新公式為

其中，η 為學(xué)習(xí)率，ρ 為動量因子，E（wt）為關(guān)于第t 次迭代權(quán)重wt的損失函數(shù)，?tE（wt）為權(quán)重w 在t 時(shí)刻關(guān)于損失函數(shù)的一階梯度，Δwt為梯度算子，表示每次迭代的權(quán)重更新部分。

為了分析訓(xùn)練中設(shè)置不同迭代次數(shù)對模型性能的影響，實(shí)驗(yàn)中進(jìn)行了4 組不同迭代次數(shù)的模型訓(xùn)練，分別為10 次迭代、50 次迭代、100 次迭代和200 次迭代訓(xùn)練。訓(xùn)練過程中的初始學(xué)習(xí)率設(shè)置為0.000 1，動量設(shè)置為0.99。網(wǎng)絡(luò)在200 次迭代訓(xùn)練中的loss 值變換曲線如圖6 所示，loss 值隨著迭代訓(xùn)練次數(shù)增加而呈現(xiàn)不斷下降的趨勢，最后進(jìn)入收斂完成訓(xùn)練，訓(xùn)練的總時(shí)長為19 059 s。

圖6 200 次迭代訓(xùn)練中的loss 值變換曲線

3 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練結(jié)束后，使用測試集來對訓(xùn)練得到的分割模型進(jìn)行性能評估，評估結(jié)果使用像素精度和交并比來度量模型分割的精確度。表1 為不同的迭代次數(shù)下訓(xùn)練得到的模型對試集樣本圖像進(jìn)行推斷，推斷結(jié)果中預(yù)測不同類別像素（背景：good、污點(diǎn)：spot 和裂痕：crack）的像素精度（PA）以及平均像素精度（mean PA）。表2 為不同的迭代次數(shù)下訓(xùn)練得到的模型對試集樣本圖像進(jìn)行推斷，推斷結(jié)果中預(yù)測不同類別像素（背景：good、污點(diǎn)：spot 和裂痕：crack）的交并比（IoU）以及平均交并比（mean IoU）。

表1 像素精度變化表 %

表2 交并比變化表 %

從表1 和表2 可知：通過增加迭代次數(shù)，模型檢測的精確度得到一定的改善，其中迭代200 次訓(xùn)練都得到的模型分割測試集樣本圖像的平均像素精度達(dá)到95.3%，平均交并比達(dá)到85.3%。

圖7 給出使用迭代200 次訓(xùn)練后得到的分割模型對統(tǒng)一圖像格式后的新樣本圖像進(jìn)行藥片外觀缺陷檢測的部分實(shí)驗(yàn)結(jié)果展示，檢測結(jié)果中模型分割出了藥片表面的缺陷區(qū)域，描述出缺陷的類別并給出缺陷區(qū)域的像素總面積。實(shí)驗(yàn)中對100 張預(yù)處理后的新樣本圖像進(jìn)行推斷的總用時(shí)為5.7 s，說明該分割模型在藥片外觀缺陷檢測中的平均單張圖像推斷用時(shí)為0.057 s。

圖7 藥片外觀缺陷檢測結(jié)果

4 結(jié)語

本文提出一種基于像素分類的圖像語義分割方法，將其應(yīng)用于藥片外觀缺陷檢測，從性能評估結(jié)果和實(shí)驗(yàn)結(jié)果中均得出較好的精確度。該方法表現(xiàn)出良好的魯棒性，能夠快速準(zhǔn)確地分割出藥片外觀的缺陷區(qū)域，并對缺陷區(qū)域加以語義的描述，說明本方法具有很好的移植性，對其他產(chǎn)品的外觀缺陷檢測具有很好的參考作用。