基于知識(shí)蒸餾的低分辨率陶瓷基板圖像瑕疵檢測

郭 峰， 孫小棟， 朱啟兵*， 黃 敏， 徐曉祥

（1. 江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122；2. 無錫市創(chuàng)凱電氣控制設(shè)備有限公司，江蘇 無錫 214400）

1 引言

陶瓷基板是大功率電力電子電路結(jié)構(gòu)的基礎(chǔ)材料。在陶瓷基板的生產(chǎn)過程中，常出現(xiàn)鍍金層損傷、邊緣多金、缺瓷、油污、摻雜異物五種瑕疵，這些瑕疵會(huì)影響電子器件的壽命、性能以及穩(wěn)定性?？焖俣鴾?zhǔn)確地檢測并剔除這些瑕疵基板對(duì)于保證產(chǎn)品質(zhì)量具有重要意義［1］。目前，利用機(jī)器視覺技術(shù)結(jié)合深度神經(jīng)網(wǎng)絡(luò)進(jìn)行產(chǎn)品瑕疵檢測已成為主流方法。本研究團(tuán)隊(duì)針對(duì)陶瓷基板瑕疵形狀多變、尺寸跨度大，且多金和缺瓷瑕疵目標(biāo)較小，樣本量小，各類瑕疵數(shù)量分布不均勻等問題，提出了一種改進(jìn)的YOLOv4 算法，通過修改置信度損失函數(shù)，引入注意力機(jī)制，優(yōu)化錨框尺寸等策略，實(shí)現(xiàn)了五類瑕疵的準(zhǔn)確檢測（平均準(zhǔn)確率98.3%）［1］。這一精度是在單個(gè)陶瓷基板圖像分辨率為608×608 的條件下取得的。由于陶瓷基板尺寸較小，實(shí)際生產(chǎn)過程中，一個(gè)較大的基板片上需要制作多個(gè)行列排布的陶瓷基板，在保證上述圖像分辨率的條件下，要完成整個(gè)基板片上所有陶瓷基板的圖像采集，需要頻繁移動(dòng)圖像采集設(shè)備，從而導(dǎo)致較長的圖像采集時(shí)間，不利于檢測速度的提高。為了提高檢測速度，一個(gè)潛在的方法是擴(kuò)大圖像采集設(shè)備的視場（Field of View， FOV），實(shí)現(xiàn)多個(gè)陶瓷基板完整信息的同時(shí)采集；從而減少圖像采集設(shè)備的移動(dòng)頻次，達(dá)到節(jié)約圖像采集時(shí)間的目的。但FOV的增加，也導(dǎo)致了單個(gè)陶瓷基板的分辨率下降。陶瓷基板分辨率的下降（稱之為低分辨率陶瓷基板圖像）帶來了瑕疵像素尺寸的縮小，給瑕疵（特別是小尺寸瑕疵）檢測帶來困難，導(dǎo)致大量的漏檢和誤檢現(xiàn)象產(chǎn)生。因此，提高低分辨率陶瓷基板圖像上的瑕疵檢測精度對(duì)于滿足實(shí)際生產(chǎn)中對(duì)瑕疵檢測快速性的要求具有重要價(jià)值。

目前主要通過超分辨率重建方法［2］和知識(shí)蒸餾方法［3］來提高低分辨率圖像上的目標(biāo)檢測性能。超分辨率重建方法是指利用無監(jiān)督方法或者有監(jiān)督方法重建出高分辨率圖像，然后再利用目標(biāo)檢測網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行檢測，該方法雖然能通過還原出高分辨率圖像的特征信息從而提高檢測性能，但檢測高分辨率圖像的速度也會(huì)隨之降低，而在本文任務(wù)中，隨著FOV 的增加，相同時(shí)間內(nèi)需要檢測的圖像也隨之增加，因此該方法無法滿足本文檢測任務(wù)對(duì)實(shí)時(shí)性的要求。

知識(shí)蒸餾的基本思想是構(gòu)建教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)，基于神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的策略，利用教師網(wǎng)絡(luò)學(xué)習(xí)到的信息指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，從而使得學(xué)生網(wǎng)絡(luò)獲得更好的性能。目前知識(shí)蒸餾算法主要用于深度神經(jīng)網(wǎng)絡(luò)的模型壓縮，以獲得相對(duì)于教師網(wǎng)絡(luò)更加輕量化且性能良好的學(xué)生網(wǎng)絡(luò)［4-10］。最近，QI 等［3］為提高低分辨率圖像的目標(biāo)檢測性能，利用知識(shí)蒸餾策略將教師網(wǎng)絡(luò)學(xué)習(xí)到的高分辨率圖像特征信息用于指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。取得了較好的低分辨率圖像下的目標(biāo)檢測性能。

受QI［3］的工作啟發(fā)，本文將知識(shí)蒸餾思想引入到低分辨率陶瓷基板圖像的瑕疵檢測，基于YOLOv5 框架構(gòu)建由教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)組成的知識(shí)蒸餾模型YOLOv5-CSKD，利用教師網(wǎng)絡(luò)學(xué)到的高分辨率特征信息指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，從而使得學(xué)生模型能夠?qū)W習(xí)到低分辨率圖像特征在高分辨圖像中的特征分布，同時(shí)，在教師網(wǎng)絡(luò)中引入基于 Coordinate Attention （CA）［11］注意力思想的特征融合模塊，使得教師網(wǎng)絡(luò)學(xué)習(xí)到的特征同時(shí)適應(yīng)高分辨率圖像信息和低分辨率圖像信息，從而能較好的指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練；仿真結(jié)果表明，基于知識(shí)蒸餾的陶瓷基板瑕疵檢測模型YOLOv5-CSKD 能夠取得了96.80%的平均準(zhǔn)確率和90.01%的平均準(zhǔn)確率的檢測性能。

2 YOLOv5 算法介紹

YOLOv5 算法主要由主干網(wǎng)絡(luò)（backbone）、頸部網(wǎng)絡(luò)（neck）、以及頭部網(wǎng)絡(luò)（head）三部分組成。其中主干網(wǎng)絡(luò)與CSPDarknet53 類似，采用多層次結(jié)構(gòu)網(wǎng)絡(luò)，提取輸入圖像的不同尺度的特征圖，每一層均由卷積塊CBS（Conv+Batch-Norm+Silu）和殘差結(jié)構(gòu)組成殘差塊，在減少計(jì)算量，緩解梯度消失的同時(shí)保證了特征提取的完整性；頸部網(wǎng)絡(luò)為PANet［12］，利用從底到頂?shù)耐ǖ篮蛷捻數(shù)降椎耐ǖ?，將高層和低層的特征圖進(jìn)行融合編碼，以增強(qiáng)特征圖的信息表達(dá)；頭部網(wǎng)絡(luò)將融合之后的特征圖進(jìn)行解碼，得到最后的預(yù)測結(jié)果（目標(biāo)的種類及位置信息）。YOLOv5 的損失函數(shù)如式（1）～式（4）所示。

其中：LOSS 表示模型訓(xùn)練總的損失函數(shù)，LOSSreg為定位損失函數(shù)，LOSSconf為置信度損失函數(shù)，LOSScls為分類損失函數(shù)。1objij代表預(yù)測輸出中第i網(wǎng)格內(nèi)第j預(yù)測框內(nèi)有目標(biāo)；S2代表每個(gè)特征層上面有S×S個(gè)單元格；B=3，代表每個(gè)單元格內(nèi)有3 個(gè)預(yù)測框；bij，b?ij為預(yù)測框和真實(shí)框；IoU，ρ2，c2分別表示兩個(gè)框的交并比值，中心點(diǎn)歐氏距離和最小閉包區(qū)域的對(duì)角線距離；v為長寬比一致性；Cij，C?ij分別為置信度的真實(shí)值和預(yù)測值；α，λnoobj為權(quán)重系數(shù)；1noobjij代表第i網(wǎng)格內(nèi)第j預(yù)測框內(nèi)無目標(biāo)；P ij(c)，P?ij(c)表示目標(biāo)屬于每一類的概率的真實(shí)值和預(yù)測值。

最后，通過置信度閾值的設(shè)置來過濾掉得分較低的邊界框，對(duì)剩下的邊界框進(jìn)行非極大值抑制（Non-Maximum Suppression， NMS）操作來剔除重復(fù)的邊界框，從而實(shí)現(xiàn)目標(biāo)檢測。

3 基于知識(shí)蒸餾的YOLOv5 模型設(shè)計(jì)

知識(shí)蒸餾是指由教師-學(xué)生網(wǎng)絡(luò)組成的訓(xùn)練網(wǎng)絡(luò)，通常是已訓(xùn)練好的教師模型提供知識(shí)，學(xué)生模型通過蒸餾訓(xùn)練來獲取教師的知識(shí)。傳統(tǒng)的目標(biāo)分類或檢測任務(wù)中，一般采用“0”和“1”硬標(biāo)簽方式對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，但此標(biāo)注方式使得標(biāo)簽中包含較少的類間關(guān)系，而知識(shí)蒸餾則采用教師網(wǎng)絡(luò)的輸出概率作為標(biāo)簽，可以較好地表達(dá)類間的相關(guān)性。

高分辨率的大尺寸圖片包含著目標(biāo)更詳細(xì)的信息，因而可以使目標(biāo)檢測網(wǎng)絡(luò)獲得更好的性能。但是高分辨率圖片在深度學(xué)習(xí)網(wǎng)絡(luò)中的計(jì)算量和內(nèi)存量是巨大的，實(shí)際運(yùn)用時(shí)需要綜合考慮計(jì)算速度與計(jì)算量。同時(shí)，在高分辨率圖片上訓(xùn)練的網(wǎng)絡(luò)模型無法直接用于預(yù)測低分辨率的圖片。借助于知識(shí)蒸餾的方法，可以將高分辨率的復(fù)雜教師模型所學(xué)習(xí)到的知識(shí)遷移到低分辨率的高效學(xué)生模型中［13］。例如，F(xiàn)u 等人［14］將教師模型所學(xué)習(xí)的空間和時(shí)間知識(shí)遷移到低分辨率的輕量級(jí)時(shí)空網(wǎng)絡(luò)中來執(zhí)行視頻注意預(yù)測任務(wù)。

在利用知識(shí)蒸餾進(jìn)行模型壓縮時(shí)，輸入圖像為相同尺寸，模型無需考慮輸入尺寸帶來的特征尺寸不一致的問題，但在利用知識(shí)蒸餾提高低分辨率圖像檢測性能的方法中，由于許多網(wǎng)絡(luò)結(jié)構(gòu)采用多尺度的思想來檢測不同尺寸大小的目標(biāo)，使得學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)進(jìn)行蒸餾的特征圖來自于不同深度的特征層，因此需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)計(jì)使得進(jìn)行知識(shí)蒸餾的教師網(wǎng)絡(luò)特征與學(xué)生網(wǎng)絡(luò)特征的尺寸一致。

考慮到性能和實(shí)時(shí)性，本文以YOLOv5l 作為教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的主要網(wǎng)絡(luò)結(jié)構(gòu)，在此基礎(chǔ)上實(shí)現(xiàn)基于知識(shí)蒸餾的目標(biāo)檢測算法設(shè)計(jì)。

3.1 教師網(wǎng)絡(luò)設(shè)計(jì)

本文的知識(shí)蒸餾主要關(guān)注頸部特征層的知識(shí)蒸餾。YOLOv5 網(wǎng)絡(luò)的輸出由3 層預(yù)測支路組成，每一層的特征尺寸和通道數(shù)都不相同，因此，當(dāng)教師網(wǎng)絡(luò)采用高分辨率圖像進(jìn)行訓(xùn)練，而學(xué)生網(wǎng)絡(luò)采用低分辨率圖像進(jìn)行訓(xùn)練時(shí)，相同大小尺寸的特征層通道數(shù)不相同，而相同通道數(shù)的特征層則尺寸大小不同，使得無法有效進(jìn)行知識(shí)蒸餾訓(xùn)練。為了使教師網(wǎng)絡(luò)的特征信息能夠指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，需要采用卷積網(wǎng)絡(luò)將教師網(wǎng)絡(luò)或?qū)W生網(wǎng)絡(luò)的特征層進(jìn)行處理，使得進(jìn)行知識(shí)蒸餾兩個(gè)網(wǎng)絡(luò)的特征層的尺寸和通道數(shù)在同一層級(jí)上相同。

在教師網(wǎng)絡(luò)的訓(xùn)練過程中，若僅采用高分辨率圖像作為訓(xùn)練數(shù)據(jù)，會(huì)使得教師網(wǎng)絡(luò)學(xué)習(xí)到的特征偏向于高分辨率圖像的信息分布，導(dǎo)致學(xué)生網(wǎng)絡(luò)的性能提升有限，因此在教師網(wǎng)絡(luò)的訓(xùn)練過程中同時(shí)利用高分辨率圖像和低分辨率圖像作為輸入，使得教師網(wǎng)絡(luò)不僅能學(xué)習(xí)到高分辨率圖像下更精細(xì)的特征信息，也能適應(yīng)低分辨率圖像下的信息分布。

教師網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1 所示，左側(cè)為高分辨率圖像（448×448）輸入學(xué)習(xí)到的特征，右側(cè)為低分辨率圖像（224×224）輸入學(xué)習(xí)到的特征，二者采用同一網(wǎng)絡(luò)結(jié)構(gòu)，其中，CI，C'I(I=0，1，…，5) 為主干網(wǎng)絡(luò)的特征，PJ，P'J(J=2，3，…，5)為頸部網(wǎng)絡(luò)的中間特征，NS，N'S(S=2，3，…，5) 為頸部網(wǎng)絡(luò)的輸出特征，F(xiàn)S(S=2，3，…，5)為融合之后的特征。由于輸入圖像的分辨率相差一倍，因此NS的特征尺寸大小是N'S的兩倍，如果利用卷積對(duì)NS進(jìn)行尺寸縮小會(huì)使得NS包含的特征信息被壓縮，從而導(dǎo)致小目標(biāo)檢測能力變?nèi)?。因此，本文選擇將與NS特征尺寸相同的N'S-1進(jìn)行通道壓縮，使其通道數(shù)與NS一致，這樣就將可以來自不同分辨率的特征進(jìn)行融合。

在原始YOLOv5 模型中，當(dāng)輸入分辨率較小，且數(shù)據(jù)集中的目標(biāo)尺寸偏小時(shí)，較少的頂層特征信息會(huì)被激活去參與預(yù)測，即N5這一條支路較少參與預(yù)測，但若是直接去掉此支路則會(huì)導(dǎo)致性能下降，底層無法獲取從N5所在的層級(jí)傳遞的高維特征信息?；诖耍紤]到N'5沒有對(duì)應(yīng)的高分辨率圖像的特征尺寸與之對(duì)應(yīng)，在設(shè)計(jì)特征融合時(shí)，只利用N'4，N'3，N'2參與特征融合以及預(yù)測。由于N'2對(duì)應(yīng)的特征尺寸更大，有著更加精細(xì)化的特征，能在一定程度上提高小目標(biāo)檢測的能力。

教師網(wǎng)絡(luò)的損失函數(shù)如式（5）所示，其中LOSSh，LOSSl，LOSSf分別為高分辨率圖像的特征、低分辨率圖像的特征以及兩種分辨率圖像的融合特征經(jīng)過YOLOv5 頭部網(wǎng)絡(luò)所產(chǎn)生的預(yù)測損失（通過公式（1）計(jì)算得到）；λ為超參數(shù)，用來平衡損失中融合特征損失所占的比重。

3.2 特征融合模塊設(shè)計(jì)

為了使指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練的教師網(wǎng)絡(luò)特征同時(shí)能包含兩種分辨率圖像的信息，QI［3］設(shè)計(jì)了一個(gè)特征融合模塊，將來自不同分辨率圖像的特征進(jìn)行融合生成新的特征并參與教師網(wǎng)絡(luò)的損失函數(shù)計(jì)算，最后用這個(gè)融合特征指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，但QI 的特征融合方法僅給來自不同分辨率的特征賦予一個(gè)權(quán)重，無法從多維數(shù)據(jù)中選擇出更加全面有效的特征信息，因此本文基于CA 注意力的思想，提出了一個(gè)能夠同時(shí)關(guān)注通道和空間權(quán)重的輕量級(jí)特征融合模塊，即CAF（Coordinate Attention Fuse）模塊，模塊結(jié)構(gòu)圖如圖2 所示，其中，NS，NS-1'，F(xiàn)S(S=3，4，5)分別為教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)的頸部結(jié)構(gòu)輸出特征和二者的融合特征。

圖2 特征融合模塊結(jié)構(gòu)圖Fig.2 Structure of feature fusion module

假 設(shè) 輸 入 為NS，NS-1， 其 中{NS，NS-1}∈RC×H×W，C為特征通道數(shù)，H，W為特征尺寸的高和寬。首先，將NS，NS-1進(jìn)行通道拼接得到，然后分別沿著X，Y 方向 進(jìn) 行 Avg Pool 得 到分別反映了特征層在X，Y方向上的關(guān)聯(lián)性；將處理成同樣的維度并進(jìn)行通道拼接，然后經(jīng)過卷積操作，Non-linear 層之后，得到，使得特征層通道信息和空間信息發(fā)生了交互；將進(jìn)行分離并經(jīng)過卷積層以及Sigmoid 函數(shù)之后，得到，此時(shí)的融合了兩個(gè)特征之間的空間以及通道信息，然后將二者相乘得到權(quán)重矩陣hS∈R2C×H×W，分別將NS，NS-1與hS{0}，hS{1}進(jìn)行矩陣相乘，然后將得到的結(jié)果相加得到最終的融合特征FS，其中，hS{0}，hS{1}表示按hS的通道維度上的索引順序?qū)S分成維度為C×H×W的兩個(gè)特征塊。最后得到的融合特征FS不僅從高分辨率特征和低分辨率特征中選取了最合適的特征信息，而且同時(shí)考慮了通道和空間上的最優(yōu)特征信息。

3.3 學(xué)生網(wǎng)絡(luò)設(shè)計(jì)

學(xué)生網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖3 所示，學(xué)生網(wǎng)絡(luò)主要利用低分辨率圖像進(jìn)行檢測，其主體網(wǎng)絡(luò)結(jié)構(gòu)與教師網(wǎng)絡(luò)一致，無特征融合模塊，在訓(xùn)練時(shí)直接加載教師網(wǎng)絡(luò)的權(quán)重進(jìn)行訓(xùn)練。

圖3 學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of student network

學(xué)生網(wǎng)絡(luò)的損失函數(shù)如式（6）所示，學(xué)生網(wǎng)絡(luò)的損失主要包含兩部分，一部分是學(xué)生網(wǎng)絡(luò)自身低分辨率圖像輸入下的原始YOLOv5 損失，即LOSSl；另一部分是學(xué)生網(wǎng)絡(luò)頸部網(wǎng)絡(luò)輸出的特征NS-1與教師網(wǎng)絡(luò)的融合特征FS之間的知識(shí)蒸餾損失，即LOSSKD，其定義如式（7）所示，其中S∈[3，5]，LOSSKD采用L1 損失度量NS-1與FS之間的差距；γ為超參數(shù)，用來平衡學(xué)生網(wǎng)絡(luò)的損失函數(shù)中預(yù)測損失與知識(shí)蒸餾損失所占的比重。

3.4 基于GHM 機(jī)制的置信度損失函數(shù)設(shè)計(jì)

當(dāng)模型訓(xùn)練至穩(wěn)定時(shí)，一些類內(nèi)差距較大或者數(shù)量較少的難檢測瑕疵樣本，其損失會(huì)被其他同類的易檢測樣本或數(shù)量較多的其他類樣本所抑制，使得其特征在訓(xùn)練過程中難以被有效學(xué)習(xí)，從而導(dǎo)致模型對(duì)這些瑕疵的特征信息不敏感，造成漏檢。為了緩解這種情況，本文利用GHM 分類損失函數(shù)（gradient harmonizing mechanism-classification， GHM-C）［15］改進(jìn)了模型的置信度損失函數(shù)，學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的置信度損失函數(shù)均采用改函數(shù)。具體實(shí)現(xiàn)步驟為：

（1）對(duì)于模型輸出的第k個(gè)預(yù)測框（k=1，…N，N為預(yù)測框的總數(shù)），按公式（8）計(jì)算其梯度模gk，其中Ck，C?k分別代表第k個(gè)預(yù)測框的置信度預(yù)測值與真實(shí)值；

（2）將置信度的輸出區(qū)間［0，1］按步長劃分為若干等長子區(qū)間St（t=1，…M，M為子區(qū)間數(shù)量），統(tǒng)計(jì)預(yù)測框的梯度模落在子區(qū)間St的數(shù)量Nt；計(jì)算得到各樣本的梯度密度調(diào)和參數(shù)βk（如式（9）所示）；

（3）將原始模型計(jì)算的置信度交叉熵的梯度值分別乘上各自歸屬子區(qū)間的梯度密度調(diào)和參數(shù)βk，從而達(dá)到衰減其影響的目的（如式（10）所示）。

其中：LGHM-C表示最終的基于GHM-C 的置信度損失函數(shù)，LCE表示交叉熵?fù)p失。修改之后模型最終的損失函數(shù)如式（11）所示，LOSS 是總的損失函數(shù)，其中LOSSreg為定位損失函數(shù)，LOSScls為分類損失函數(shù)。最終的教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的損失函數(shù)LOSSh，LOSSl，LOSSf均由LOSS組成。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)的操作系統(tǒng)為Windows 10（64位），CPU 為英特爾Core i9-10900X@3.70GHz，內(nèi)存為64 GB，GPU 為兩個(gè)NVIDIA GeForce RTX 3090，總顯存為48 GB。深度學(xué)習(xí)框架實(shí)現(xiàn)為Python Pytorch， GPU 加速庫為CUDA11.0。

4.2 數(shù)據(jù)集介紹

本文需要檢測的陶瓷基板圖像如圖4（a）所示。其中方塊區(qū)域?yàn)殄兘饘?，本文所指的瑕疵都是指出現(xiàn)在鍍金層上的瑕疵。典型瑕疵主要有污漬、異物、多金、缺瓷以及損傷五類，部分瑕疵如圖4（b）所示。污漬瑕疵會(huì)出現(xiàn)鍍金層上任何一個(gè)區(qū)域，由于無法預(yù)測是何種物質(zhì)導(dǎo)致的污漬，因此無法定義一個(gè)通用的顏色信息或形狀信息去描述這種瑕疵，且污漬的尺寸跨度大、形狀多變；異物瑕疵大多來源于外界環(huán)境，因此形狀和顏色也具有多樣性及不定性，且由于陶瓷基板屬于高集成度的產(chǎn)品，圖像采集均是采用帶有顯微功能的相機(jī)完成，因此一些極細(xì)小的物質(zhì)也會(huì)被認(rèn)為是異物，并且很多異物的尺寸很小，給模型檢測帶來了很大的挑戰(zhàn)；缺瓷瑕疵主要分布在鍍金層邊緣，主要是由于生產(chǎn)工藝不良造成鍍金不全，其形狀較小，屬于小目標(biāo)瑕疵；損傷瑕疵主要是鍍金層的劃傷或者刮傷，尺寸跨度大且形狀（線狀或帶狀）分布多變；多金瑕疵主要是由于設(shè)備或生產(chǎn)工藝問題造成的鍍金層邊緣出現(xiàn)凸起，形狀較小，也屬于小目標(biāo)瑕疵，且分布區(qū)域多變。

圖4 陶瓷基板與部分瑕疵示意圖Fig.4 Schematic diagram of ceramic substrate and defects

采集的單張?zhí)沾苫逶紙D像經(jīng)過裁剪后分辨率約為1 637×1 175，按照生產(chǎn)需求，采集的圖像由原來的一次性采集1 個(gè)陶瓷基板到現(xiàn)在的一次性采集16 個(gè)陶瓷基板，如圖5 所示。裁剪后的單張?zhí)沾苫逶紙D像分辨率將降至410×294 左右，因此模型輸入分辨率需降至224×224左右。為了還原真實(shí)現(xiàn)場的低分辨率陶瓷基板瑕疵檢測，本文實(shí)驗(yàn)的數(shù)據(jù)集由裁剪后的原始圖片分別降采樣至224×224 分辨率與448×448 分辨率，其中224×224 為低分辨率輸入圖像，448×448 為高分辨率輸入圖像。

圖5 相機(jī)拍照視野示意圖Fig.5 Schematic diagram of camera field of view

4.3 數(shù)據(jù)集增強(qiáng)

本實(shí)驗(yàn)共采集到2 413 張?zhí)沾苫鍒D像，經(jīng)過目標(biāo)區(qū)域提取預(yù)處理之后得到陶瓷基板數(shù)據(jù)集。按照文獻(xiàn)［16］的方式對(duì)2 215 張訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)，具體步驟為：從2 215 張圖片中裁剪出50 張包含典型瑕疵（多為樣本數(shù)較少的瑕疵）的子區(qū)域（每個(gè)區(qū)域只包含一種典型缺陷）；并將這50 張子區(qū)域圖像進(jìn)行水平、垂直翻轉(zhuǎn)，尺度的縮放，引入高斯噪聲（標(biāo)準(zhǔn)差為1.2）以及銳化操作等；最后將這些增強(qiáng)后的裁剪圖像“粘貼”至無瑕疵陶瓷基板圖像中可能出現(xiàn)瑕疵的區(qū)域，從而獲得增強(qiáng)后的圖片2 386 張，用作訓(xùn)練，剩余198張未增強(qiáng)圖片用作測試。使用LabelImg 圖像標(biāo)注軟件進(jìn)行人工標(biāo)注，數(shù)據(jù)集格式為VOC2007，后轉(zhuǎn)為YOLO 數(shù)據(jù)集格式。

4.4 網(wǎng)絡(luò)訓(xùn)練

本文的網(wǎng)絡(luò)訓(xùn)練分為教師網(wǎng)絡(luò)訓(xùn)練和學(xué)生網(wǎng)絡(luò)訓(xùn)練。教師網(wǎng)絡(luò)訓(xùn)練階段，總訓(xùn)練Epoch 為200 次，批量大?。˙atch size）為32，初始學(xué)習(xí)率為0.01，warm_up 的Epoch 數(shù)為3、動(dòng)量為0.8、初始bias_lr 為0.1，權(quán)重衰減系數(shù)為0.000 5，使用隨機(jī)梯度下降法（SGD）進(jìn)行優(yōu)化，動(dòng)量等于0.937。本文將超參數(shù)λ設(shè)為0.8。

學(xué)生網(wǎng)絡(luò)訓(xùn)練階段，總訓(xùn)練Epoch為200次，批量大?。˙atch size）為64，初始學(xué)習(xí)率為0.01，warm_up 的Epoch 數(shù)為3、動(dòng)量為0.8、初始bias_lr為0.1，權(quán)重衰減系數(shù)為0.0005，使用隨機(jī)梯度下降法（SGD） 進(jìn)行優(yōu)化，動(dòng)量等于0.937，知識(shí)蒸餾采用的溫度系數(shù)為3.0。本文將超參數(shù)γ設(shè)為0.4。

4.5 實(shí)驗(yàn)結(jié)果

4.5.1 不同檢測算法的結(jié)果對(duì)比

本文選取準(zhǔn)確率、召回率作為評(píng)判模型性能的指標(biāo)，計(jì)算公式如式（12），式（13）所示：

其中：TP 表示將正例預(yù)測為正例的個(gè)數(shù)，F(xiàn)P 表示將反例預(yù)測為正例的個(gè)數(shù)，F(xiàn)N 表示將正例預(yù)測為反例的個(gè)數(shù)。

待檢測圖片數(shù)量共198 張，每張圖片包含1至5 種類別的瑕疵，污漬、異物、多金、損傷以及缺瓷五種瑕疵的檢測結(jié)果如表1 所示。

表1 瑕疵檢測結(jié)果Tab.1 Results of defect detection

由表1 可知，本文提出的算法對(duì)于陶瓷基板中污漬、異物、多金、損傷以及缺瓷五種不同種類瑕疵的檢測準(zhǔn)確率已基本達(dá)到87.88%以上，召回率均已基本達(dá)到85.29%以上。其中，多金和缺瓷的檢測效果較差，其原因可能為：一方面這兩種瑕疵的樣本數(shù)量較少，因此在訓(xùn)練時(shí)勢必會(huì)受到影響；另一方面，這兩種瑕疵尺寸相對(duì)較小，當(dāng)圖片分辨率降低時(shí)，模型能夠關(guān)注的像素變少，因此檢測性能較差。

為了進(jìn)一步驗(yàn)證本文算法在陶瓷基板瑕疵檢測上的有效性，將本文算法與常見的目標(biāo)檢測算法Faster R-CNN［17］，Cascade RCNN［18］，YOLOv4［19］，YOLOX［20］，YOLOv6［21］，YOLOv7［22］以及改進(jìn)前的YOLOv5 在本文數(shù)據(jù)集上進(jìn)行對(duì)比試驗(yàn)，采用原文作者的實(shí)驗(yàn)參數(shù)，未采用知識(shí)蒸餾的模型均訓(xùn)練400 Epoch，選取平均準(zhǔn)確率、平均召回率作為評(píng)價(jià)指標(biāo)，不同算法的性能如表2所示。表2 中的“-”表示該模型在給定的訓(xùn)練次數(shù)下實(shí)驗(yàn)未收斂。

表2 不同算法瑕疵檢測結(jié)果Tab.2 Defect detection results of different algorithms

根據(jù)表2，本為提出的YOLOv5-CSKD 算法對(duì)陶瓷基板瑕疵檢測平均準(zhǔn)確率和平均準(zhǔn)確率分別達(dá)到了96.80%和90.01%，相比于原始的YOLOv5 算法，分別提高了6.99%和8.81%，且相比于原始YOLOv5 模型，本文提出的YOLOv5-CSKD 算法在224×224 分辨率下的檢測時(shí)間相差較小。在224×224 分辨率下所有對(duì)比算法中，YOLOv5-CSKD 具有最好的性能，說明本文提出創(chuàng)新的有效性。

圖6 給出了陶瓷基板典型瑕疵輸入為224×224 分辨率的檢測結(jié)果（局部截圖）。圖6 中（a）～（e）的檢測結(jié)果依次為YOLOv4，YOLOv5，YOLOX，YOLOv6，YOLOv5-CKSD。

圖6 不同模型的局部檢測結(jié)果Fig.6 Local detection results of different models

從圖6 中可以看出，在(224×224)的輸入分辨率下，YOLOv4 的檢測結(jié)果相對(duì)較差。原始YOLOv5，YOLOX，YOLOv6 均存在不同程度的漏檢，其中，原始的YOLOv5 檢測結(jié)果明顯好于YOLOX，YOLOv6，所以本文采用YOLOv5 作為基準(zhǔn)研究模型。對(duì)比原始YOLOv5 以及YOLOv5-CKSD，可以得出，YOLOv5-CKSD 能有效檢測出原始YOLOv5 模型無法檢測出的瑕疵，因此可以證明本文提出的模型YOLOv5-CKSD 在低分辨率陶瓷基板輸入下的檢測性能較其他方法有明顯提升。

4.5.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文提出的特征融合模塊CFA 的有效性，本文針對(duì)該模塊進(jìn)行了對(duì)比實(shí)驗(yàn)。對(duì)比實(shí)驗(yàn)結(jié)果如表3 所示，其中，SUM 表示低分辨率特征和高分辨特征直接逐像素相加，C-FF 為QI［3］提出的特征融合方式，CAF 為本文提出的特征融合方式。三種融合特征融合方式的局部對(duì)比結(jié)果如圖7 所示。

表3 不同特征融合方式的實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of different feature fusion methods

從表3 中可以看出，在對(duì)YOLOv5 進(jìn)行知識(shí)蒸餾時(shí)，基于SUM 融合方式與基于C-FF 融合模塊的性能差距較小，本文提出CAF 模塊具有更好的結(jié)果，獲得了96.80%的平均準(zhǔn)確率和90.01%的平均準(zhǔn)確率。從圖7 中可以看出，在低分辨率輸入下，SUM 和C-FF 對(duì)小目標(biāo)信息的敏感度較低，無法準(zhǔn)確檢測出瑕疵，而本文提出的CAF 模塊則能準(zhǔn)確檢測出圖像中的瑕疵。

4.5.3 消融實(shí)驗(yàn)

為了驗(yàn)證在置信度損失函數(shù)中添加GHM-C對(duì)模型性能提升的有效性，本文分別進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)采用的模型使用不同置信度損失函數(shù)，其他設(shè)置以及參數(shù)相同，模型輸入分辨率為224×224，消融實(shí)驗(yàn)結(jié)果如表4 所示。

表4 采用不同置信度損失函數(shù)的對(duì)比實(shí)驗(yàn)結(jié)果Tab.4 Comparative experimental results using different confidence loss functions

從表中可以看出，只給教師網(wǎng)絡(luò)采用GHMC 會(huì)導(dǎo)致學(xué)生網(wǎng)絡(luò)的平均每準(zhǔn)確率和平均召回率略有降低，可能原因?yàn)榻處熅W(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)采用的置信度損失函數(shù)不同，因此使得知識(shí)蒸餾效果產(chǎn)生負(fù)面效果；只給學(xué)生網(wǎng)絡(luò)添加GHM-C 使得學(xué)生網(wǎng)絡(luò)學(xué)習(xí)的特征與教師網(wǎng)絡(luò)有所不同，從而導(dǎo)致學(xué)生網(wǎng)絡(luò)無法從教師網(wǎng)絡(luò)獲得正確的信息，因此學(xué)生網(wǎng)絡(luò)的平均召回率明顯提升，但是預(yù)測出許多錯(cuò)誤的結(jié)果，平均準(zhǔn)確率略有降低；同時(shí)給教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)使用GHM-C 不僅使得模型的召回率提升，同時(shí)準(zhǔn)確率也有提升，在之前組合中許多被誤檢的目標(biāo)在這個(gè)組合中能夠準(zhǔn)確地被檢測出。因此本文提出的YOLOv5-CSKD 在教師網(wǎng)絡(luò)中和學(xué)生網(wǎng)絡(luò)中均采用GHM-C 作為置信度損失函數(shù)訓(xùn)練。

5 結(jié) 論

針對(duì)目前陶瓷基板瑕疵檢測在低分辨率輸入圖像上不足之處，論文將知識(shí)蒸餾引入到陶瓷基板瑕疵檢測中，基于YOLOv5 網(wǎng)絡(luò)模型設(shè)計(jì)了教師網(wǎng)絡(luò)以及學(xué)生網(wǎng)絡(luò)，并設(shè)計(jì)了特征融合模塊同時(shí)融合高分率圖像特征和低分辨率圖像特征，用融合之后的特征對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾，可以使得學(xué)生網(wǎng)絡(luò)學(xué)習(xí)到更加全面的信息。實(shí)驗(yàn)結(jié)果表明，基于知識(shí)蒸餾的陶瓷基板瑕疵檢測算法對(duì)低分辨率陶瓷基板圖像的五種不同類型的瑕疵均取得更好地檢測效果，平均準(zhǔn)確率和平均準(zhǔn)確率分別達(dá)到了96.80%和90.01%。本文僅較多考慮了YOLOv5 網(wǎng)絡(luò)與知識(shí)蒸餾算法的結(jié)合，在后續(xù)的研究中，我們將對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化改進(jìn)，實(shí)現(xiàn)檢測性能更優(yōu)、模型更輕量化。