基于電子樣稿的柔印首件“粗-精”檢測方法

肖 盼 燕舒樂② 龍進(jìn)良② 肖 盟② 蔡 念*② 陳新度

①(廣東工業(yè)大學(xué)省部共建精密電子制造技術(shù)與裝備國家重點(diǎn)實驗室 廣州 510006)

②(廣東工業(yè)大學(xué)信息工程學(xué)院 廣州 510006)

1 引言

柔印工藝由于印刷質(zhì)量好、適用性廣、水墨毒性小、生產(chǎn)效率高且生產(chǎn)操作維護(hù)簡便等特性[1]，被廣泛應(yīng)用于包裝、標(biāo)簽和裝潢印刷等領(lǐng)域。在柔印標(biāo)簽批量生產(chǎn)前，工人每次換班、換產(chǎn)以及設(shè)備裝調(diào)后，都必須經(jīng)歷柔印首檢工藝，即印刷的第1件或前幾件柔印產(chǎn)品都必須與電子樣稿比對檢查，以盡早發(fā)現(xiàn)印刷質(zhì)量問題。當(dāng)前柔印首檢采用人工3檢制：自檢、互檢和專檢。可是，柔印標(biāo)簽上的印刷內(nèi)容涉及世界各地語言(超過5000多種文字)，且印刷字符內(nèi)容眾多，平均每個標(biāo)簽超過200多個字符。這導(dǎo)致人工質(zhì)檢勞動強(qiáng)度大，耗時耗力，極易漏檢，從而造成柔印標(biāo)簽成批超差、返修、報廢，引起嚴(yán)重的經(jīng)濟(jì)損失。因此，高精度的柔印首件自動檢測方法對于柔印工藝具有重要的現(xiàn)實意義。

雖然機(jī)器視覺已被廣泛應(yīng)用于織物印刷內(nèi)容檢測[2]，但是以往研究更多以印刷正品為模板，檢查批量印刷過程中所產(chǎn)生的印刷缺陷[3–8]。Qayum等人[3]采用窗口滑動思想分別提取參考樣品圖像子塊及待檢測樣品圖像子塊，采用歸一化互相關(guān)系數(shù)分析兩幅圖像各子塊之間的相關(guān)性，最終實現(xiàn)紡織輪轉(zhuǎn)印花圖像缺陷檢測。Alam等人[4]調(diào)用Halcon軟件里已有的圖像處理函數(shù)，經(jīng)過圖像分割、連通域提取、直方圖列和面積等特征分析、區(qū)域像素點(diǎn)數(shù)目計算等步驟完成印花織物缺陷檢測。Jing等人[5]通過RGB累積平均法求取計算印花織物的最小周期，以最小周期為滑動窗口對模板圖像和待測圖像構(gòu)造高斯金字塔。通過互相關(guān)系數(shù)和固定閾值設(shè)置對印刷品疵點(diǎn)進(jìn)行定位，并使用拉普拉斯金字塔重建原始圖像，得到實際缺陷位置。Ng等人[6]通過直方圖均衡對規(guī)則紋理的織物圖像進(jìn)行預(yù)處理，再以無缺陷的正品織物為參照將預(yù)處理后的待測織物圖分解為織物紋理圖像和缺陷圖像，最后通過硬閾值分割缺陷圖像完成檢測。Kang等人[7]提出了兩種檢驗印花織物的方法。一種使用無缺陷織物圖像與Gabor濾波器重建后的圖像差異為目標(biāo)函數(shù)，通過遺傳算法獲取目標(biāo)函數(shù)最小值時的Gabor濾波器參數(shù)，無缺陷圖和待測圖分別使用濾波器進(jìn)行處理，若待測圖灰度值大于無缺陷圖對應(yīng)7×7滑塊內(nèi)的最大值或小于最小值，即為疵點(diǎn)。另一種方法采用梯度下降的思想，通過距離匹配函數(shù)求取周期距離，得到印刷織物圖像的圖案單元，再使用規(guī)則條帶提取織物單元的特征，實現(xiàn)織物疵點(diǎn)分割。上述方法都是檢測重復(fù)性高、對稱性強(qiáng)的印花類圖案，顯然難以適用于檢測印刷字符種類繁多、重復(fù)性低、數(shù)目多的柔印首件標(biāo)簽。柔印首件檢測無法提供印刷正品，因此這些以標(biāo)準(zhǔn)印刷產(chǎn)品作為對照模板的檢測方法必然無法生效。

近年來，因為機(jī)器學(xué)習(xí)可規(guī)避人工啟發(fā)提取特征，已有研究將其應(yīng)用于織物缺陷檢測[9–12]。Hu等人[9]將測試圖像分割成若干個尺寸大小相同的圖像子塊，輸入到卷積去噪自編碼器網(wǎng)絡(luò)和哈希編碼器中，獲得特征向量和哈希碼，與樣本數(shù)據(jù)庫的哈希碼集比較以確定參考圖像在原始樣本圖像中的位置，再使用尺度不變特征變換(Scale-Invariant Feature Transform, SIFT)特征進(jìn)行匹配，通過灰度標(biāo)準(zhǔn)化、圖像差分以及計算Tsallis熵進(jìn)行閾值分割的方法完成缺陷檢測。Chakraborty等人[10]開發(fā)了印花織物數(shù)據(jù)庫并使用深度卷積神經(jīng)網(wǎng)絡(luò)解決斑點(diǎn)缺陷檢測和印刷配準(zhǔn)問題。Zhao等人[11]采用Inception-Resnet-V2網(wǎng)絡(luò)對輸入織物圖像進(jìn)行分類，根據(jù)分類結(jié)果確定待檢測區(qū)域尺寸和位置，采用Faster R-CNN對待檢測區(qū)域進(jìn)行檢測，最后得到織物缺陷檢測結(jié)果。Huang等人[12]首先將織物數(shù)據(jù)訓(xùn)練SegNet分割網(wǎng)絡(luò)，然后將其輸出作為決策網(wǎng)絡(luò)DecNet的輸入，從而得到織物缺陷檢測結(jié)果。為了確保模型泛化能力，機(jī)器學(xué)習(xí)方法需構(gòu)建樣本數(shù)量眾多且正負(fù)樣本分布均衡的織物圖像數(shù)據(jù)集。但是，柔印首件檢測工藝僅能提供1個或幾個柔印樣品，根本無法構(gòu)建數(shù)據(jù)集。

針對上述問題，本文提出一種基于電子樣稿的柔印首件“粗-精”檢測方法，主要包括粗匹配、精匹配和缺陷檢測3個階段。在粗匹配階段，為了解決電子樣稿與柔印首件內(nèi)容粗細(xì)不一、灰度特性差異大的問題，采用SuperPoint[13]構(gòu)建圖像特征，以潛在凸顯兩者之間的相似性；然后，采用Super-Glue[14]方法解決兩者在匹配時存在的柔印內(nèi)容重復(fù)率高、誤匹配點(diǎn)對多的難題。在精匹配階段，為了解決柔印過程中因版材伸縮、彎曲引發(fā)柔印內(nèi)容局部偏移而導(dǎo)致錯檢的現(xiàn)象，基于粗匹配結(jié)果采用歸一化互相關(guān)法[15](Normalized Cross Correlation,NCC)對電子樣稿的字符或圖案進(jìn)行位置微調(diào)尋優(yōu)。在缺陷檢測階段，以電子樣稿分割結(jié)果為約束條件，提出約束聚類方法將缺陷檢測問題轉(zhuǎn)化為電子樣稿與柔印首件差異最小化的優(yōu)化問題，優(yōu)化求解后即實現(xiàn)柔印首件自適應(yīng)檢測。

2 本文提出的方法

2.1 算法框架

本文所提柔印首件“粗-精”檢測算法框架如圖1所示，主要包括粗匹配、精匹配、缺陷檢測3個階段。在粗匹配階段，采用SuperPoint分別檢測電子樣稿和柔印首件的超點(diǎn)特征。然后，采用Super-Glue匹配電子樣稿和柔印首件的豐富超點(diǎn)。接著，設(shè)計基于NCC匹配方法微調(diào)電子樣稿，實現(xiàn)電子樣稿和柔印首件的精匹配。之后，以微調(diào)后電子樣稿的閾值化結(jié)果為約束條件，提出約束聚類方法將缺陷檢測問題轉(zhuǎn)化為電子樣稿與柔印首件差異最小化的問題，求解優(yōu)化問題即可實現(xiàn)柔印首件缺陷自適應(yīng)檢測。

圖1 本文算法框架

2.2 粗匹配

由于首件檢驗的特性，不存在印刷正品實物作為標(biāo)準(zhǔn)圖像，只能以電子樣稿作為參照模板。為了將電子樣稿與待測柔印首件匹配對齊，采用Super-Point 檢測提取興趣點(diǎn)，再采用強(qiáng)力匹配方法計算最優(yōu)匹配矩陣。

2.2.1 SuperPoint

由于電子樣稿與柔印首件內(nèi)容粗細(xì)不一、灰度特性差異大，傳統(tǒng)方法提取的特征無法準(zhǔn)確描述電子樣稿和柔印首件。而SuperPoint采用深度學(xué)習(xí)網(wǎng)絡(luò)、以位姿計算損失函數(shù)，所以能夠更好地表征兩幅圖像之間的共性特征，并且SuperPoint網(wǎng)絡(luò)輸入圖片尺寸無需歸一化或者分塊，即可處理不同尺寸的輸入圖像。因此，采用SuperPoint自監(jiān)督網(wǎng)絡(luò)提取電子樣稿和柔印首件的超點(diǎn)。為了提高泛化能力，在訓(xùn)練階段對圖片進(jìn)行了隨機(jī)的縮放和旋轉(zhuǎn)，以進(jìn)行數(shù)據(jù)增強(qiáng)。SuperPoint自監(jiān)督網(wǎng)絡(luò)訓(xùn)練共分為3個步驟(圖2)：

圖2 SuperPoint訓(xùn)練步驟

(1) 基礎(chǔ)檢測器預(yù)訓(xùn)練。因為虛擬幾何形狀的角點(diǎn)是可人工標(biāo)注的，將以標(biāo)注的集合形狀數(shù)據(jù)集(HPatches[16])作為監(jiān)督數(shù)據(jù)訓(xùn)練基礎(chǔ)檢測器。采用文獻(xiàn)[13]的訓(xùn)練策略，以類VGG16[17]作為基礎(chǔ)檢測器，訓(xùn)練網(wǎng)絡(luò)參數(shù)提取幾何形狀角點(diǎn)。

(2) 興趣點(diǎn)標(biāo)注。采用步驟(1)中預(yù)訓(xùn)練的基礎(chǔ)檢測網(wǎng)絡(luò)分別提取柔印首件和電子樣稿的角點(diǎn)，進(jìn)行興趣點(diǎn)標(biāo)注。

(3) 聯(lián)合訓(xùn)練。

(a)為了增強(qiáng)網(wǎng)絡(luò)的泛化能力，對步驟(2)中的柔印首件和電子樣稿分別進(jìn)行N次單應(yīng)性變換，并通過基礎(chǔ)檢測器分別標(biāo)注變換后各圖像的興趣點(diǎn)，構(gòu)建CN2組已知單應(yīng)性變換關(guān)系的圖像對，聯(lián)合訓(xùn)練的初始權(quán)重采用在MS-COCO[18]數(shù)據(jù)集上預(yù)訓(xùn)練過的模型參數(shù)。

(b)聯(lián)合訓(xùn)練。隨機(jī)取CN2次圖像對，每次由抽取的兩種不同姿態(tài)的興趣點(diǎn)構(gòu)建損失函數(shù)，以其中一種姿態(tài)的興趣點(diǎn)自標(biāo)注作為真值，另一種姿態(tài)作為觀察結(jié)果，構(gòu)建出興趣點(diǎn)損失函數(shù)和描述子損失函數(shù)，訓(xùn)練目標(biāo)需使得匹配點(diǎn)距離小，非匹配點(diǎn)距離大。聯(lián)合訓(xùn)練后得到SuperPoint檢測網(wǎng)絡(luò)。

最終的損失函數(shù)為

2.2.2 SuperGlue

由于電子樣稿和柔印首件之間存在大量重復(fù)的內(nèi)容信息，而傳統(tǒng)匹配方法僅依據(jù)各組特征描述子的相似度進(jìn)行匹配，因此可能造成大量的匹配冗余。因為SuperGlue使用圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制并結(jié)合分配優(yōu)化求解方式可以解決復(fù)雜的特征匹配問題，所以本文采用SuperGlue方法對電子樣稿和柔印首件進(jìn)行匹配。

如圖3所示，SuperGlue采用端到端的訓(xùn)練方式經(jīng)過以下步驟完成匹配。

圖3 SuperGlue網(wǎng)絡(luò)

(3)最佳匹配層：創(chuàng)建一個M×N初始分配矩陣，增加一層垃圾箱通道，即分配矩陣尺寸變?yōu)?M+1)×(N+1)，為了過濾出錯誤的匹配點(diǎn)，將不匹配的關(guān)鍵點(diǎn)分配給垃圾箱這個通道。通過Sinkhorn[19]算法迭代求解分配優(yōu)化問題，得到最優(yōu)的分配矩陣，再根據(jù)分配矩陣每列最大值橫、縱坐標(biāo)對應(yīng)的特征點(diǎn)對作為匹配點(diǎn)對，采用隨機(jī)抽樣一致性(RANdom SAmple Consensus, RANSAC)方法求仿射變換矩陣，對柔印首件圖進(jìn)行對應(yīng)仿射變換，完成電子樣稿和柔印首件的粗匹配。

2.3 精匹配

粗匹配后的電子樣稿與柔印首件圖像已基本對齊。但由于柔印過程中版材會發(fā)生局部相對偏移，導(dǎo)致柔印首件內(nèi)容與電子樣稿始終存在局部偏差，造成全局仿射變換或透視變換難以實現(xiàn)內(nèi)容完全對齊。因此，提出一種精匹配策略，通過微調(diào)子內(nèi)容塊的位置消除柔印首件內(nèi)容局部偏差帶來的影響，實現(xiàn)兩者圖像內(nèi)容的完全對齊。

電子樣稿內(nèi)容清晰、黑白分明，采用固定閾值(閾值為128)即可提取電子樣稿的不同文字或圖案的子內(nèi)容塊Fs， 設(shè)子內(nèi)容塊的中心點(diǎn)坐標(biāo)為(Xs,Ys)，尺寸為(Ws,Hs)。 以Fs為模板圖，在柔印首件圖像R中對應(yīng)的區(qū)域內(nèi)進(jìn)行NCC搜索匹配。設(shè)變量δ為搜索擴(kuò)展基數(shù)(δ與Fs無 關(guān)，本文δ=30)，則每個搜索點(diǎn)(x,y)對應(yīng)的NCC計算為

將Fs平 移?P，所有子塊按照式(14)—式(19)操作即可完成柔印首件與電子樣稿之間的精匹配。

2.4 缺陷檢測

2.4.1 約束聚類

織物版材的色彩、厚度不一會產(chǎn)生透底現(xiàn)象，導(dǎo)致柔印首件內(nèi)容分割可能存在錯誤，因此以微調(diào)后的電子樣稿閾值化結(jié)果為約束條件，提出一種約束聚類方法精準(zhǔn)提取柔印首件內(nèi)容。

將柔印首件圖像分割問題轉(zhuǎn)換為與樣稿文件分割圖差異最小的優(yōu)化問題，即

其中，F(xiàn)和R分別為“粗-精”匹配后的電子樣稿和柔印首件圖像，求解滿足式(20)的聚類圖像Rt即為柔印首件的最佳分割結(jié)果。為了減少優(yōu)化算法的求解時間，采用K均值聚類法(此處K=2)得到聚類中心c1,c2，完成柔印首件圖像分割的初始化，并且將(c1+c2)/2作為遺傳算法初始化的種子之一，采用遺傳算法[20]求解優(yōu)化問題式(20)。

2.4.2 缺陷評估

柔印首件可能因內(nèi)容筆畫斷開或油墨局部擴(kuò)散凸起造成毛刺現(xiàn)象，約束聚類分割難以抑制這種誤差，影響后續(xù)缺陷檢測，因此提出距離變換法進(jìn)行缺陷評估。

定義邊緣距離函數(shù)為

3 實驗和結(jié)果

3.1 數(shù)據(jù)集采集和實驗平臺

在實際工業(yè)生產(chǎn)中，本文僅需使用佳能LIDE400掃描儀柔印首件圖像，與電子樣稿進(jìn)行比對即可完成柔印首檢工作。視覺采集系統(tǒng)要求低，共采集了400張不同產(chǎn)品的柔印首件，其中黑底樣本40張，白底樣本360張，圖像尺寸范圍為191×595～2480×3570；正常樣品290張，印錯40張(錯碼錯字符)，印多40張(字符模糊和臟污)，印缺30張(字符缺失部分)。實驗在以下平臺進(jìn)行：Windows10 64位旗艦操作系統(tǒng)，6核Intel(R) Core(TM) i5-11400H @ 2.70 GHz@3.50 GHz, 16 G內(nèi)存，GPU:NVIDIA GeForce GTX 1650，以Python3為編程語言。

采用漏檢率、誤檢率、平均Dice系數(shù)、平均檢測時間(待測樣本檢測過程的平均用時)等4個指標(biāo)評價算法性能。為計算漏檢率與誤檢率，定義IoU大于0.5即為檢測成功，否則檢測失敗。

3.2 搜索擴(kuò)展基數(shù)δ的影響

搜索擴(kuò)展基數(shù)δ影響著NCC匹配的搜索區(qū)域大小，進(jìn)而影響柔印首檢性能。如表1所示，隨著δ增大，檢測效果首先有所提升，當(dāng)δ=30時達(dá)到最佳檢測效果，但是之后反而下降，而且檢測時間也隨δ增大而增大。這可能是因為柔印首件各子內(nèi)容的水平間距大致30個像素而垂直間距則遠(yuǎn)大于30個像素。因此，綜合考慮檢測效果和時間，本文選擇δ=30。

表1 搜索擴(kuò)展基數(shù)δ對檢測性能的影響

3.3 評估閾值參數(shù)Td的影響

由式(11)和式(12)可以看出，Td對本文方法的檢測性能有較大影響。如表2所示，誤檢率隨Td增大快速下降且趨向于0，而漏檢率隨Td增大而增加，Dice系數(shù)隨Td增大先快速增大又略微減低。綜合來看，當(dāng)Td為1.0時，檢測性能最佳。與實際印刷工藝中柔印首件與電子樣稿的內(nèi)容粗細(xì)差異約為一個像素點(diǎn)基本一致。

表2 評估閾值參數(shù)Td對缺陷檢測結(jié)果的影響

3.4 消融實驗

從表3可以看出，僅有粗匹配時，誤檢率高達(dá)63.4%，漏檢率為28.1%，Dice系數(shù)為0.192。因為全局的粗匹配未能解決柔印版材伸縮、彎曲引發(fā)的內(nèi)容局部偏移問題。采用“粗-精”匹配時，漏檢率和誤檢率降低為16.8%和5.5%，Dice系數(shù)為0.328，這說明精匹配已經(jīng)較好地解決了偏移問題?？墒?，柔印首件透底或背景與字符內(nèi)容接近可能會導(dǎo)致較多的誤檢，甚至一定程度的漏檢。為此，在融入約束聚類后，本文方法在增加極少檢測時間的前提下檢測性能大幅度地提升，漏檢率甚至降至0。

表3 消融實驗

3.5 與其他檢測方法的對比

為了驗證本文方法的有效性，將本文方法與4種織物缺陷檢測方法[21,22,11,12]進(jìn)行對比(表4)。其中，F(xiàn)aster R-CNN[11]和Seg+DecNet[12]按照訓(xùn)練集為130組、測試集270組進(jìn)行了數(shù)據(jù)集的拆分，并且重新進(jìn)行訓(xùn)練。

文獻(xiàn)[19]采用的Surf匹配方法無法解決柔印版材伸縮、彎曲引發(fā)柔印內(nèi)容局部偏移的問題，而且采用的差分法對灰度變換及噪聲較為敏感，因此該方法極易引起大量漏檢、誤檢。而結(jié)構(gòu)相似度(Multi-Scale Structural SIMilarity Index, MSSSIM)方法其匹配環(huán)節(jié)僅有全局匹配，也無法解決局部偏移問題，且檢測尺度過粗，細(xì)微缺陷無法檢出。因此也仍然存在大量誤檢。文獻(xiàn)[11]采用級聯(lián)的Faster R-CNN 網(wǎng)絡(luò)進(jìn)行缺陷檢測，目標(biāo)檢測方法的骨干網(wǎng)絡(luò)無法避免會經(jīng)過下采樣處理，而柔印首件缺陷尺寸細(xì)微，因此小目標(biāo)的感受野映射回原圖時會偏移缺陷的真實區(qū)域，造成一定程度的漏檢。在圖4中，臟污和印錯類標(biāo)簽出現(xiàn)大面積檢測為缺陷，這是由于電子樣稿設(shè)計文檔沒有邊框線，人工框選電子樣稿時截取邊距不一致，導(dǎo)致電子樣稿與柔印首件的邊距存在偏差。經(jīng)過“粗-精”匹配后，電子樣稿與柔印首件內(nèi)容已完全對齊，但四周仍存在不同顏色的填充像素。經(jīng)過此類樣本訓(xùn)練的網(wǎng)絡(luò)，容易出現(xiàn)大面積檢測為缺陷的檢測效果。實驗結(jié)果也表明，該方法誤檢率極高，且存在漏檢。文獻(xiàn)[12]因為采用了兩階段檢測，所以取得了優(yōu)于Faster R-CNN的效果，但其仍舊無法解決局部偏移及柔印首件和電子樣稿的表征差異問題，其誤檢率為62.3%，漏檢率為29.3%，Dice系數(shù)為0.443。最后，本文在SuperGlue匹配基礎(chǔ)上進(jìn)行了精匹配微調(diào)電子樣稿，抑制了局部偏移的影響，同時約束聚類使得本文方法能夠在電子樣稿的先驗分割前提下獲得最優(yōu)的柔印首件缺陷檢測效果。而且，本文方法檢測時間也僅為2.761 s/pcs。

圖4展示了4種典型柔印首件檢測效果示例。其中，紅色標(biāo)記為檢測出的缺陷。在實際操作過程中，為了便于工人快速定位到紅色標(biāo)記的缺陷，本文方法額外添加了黃色提示框。圖4的展示情況與表4中的指標(biāo)評價是一致的。

圖4 檢測效果對比

表4 不同缺陷檢測方法對比

4 結(jié)束語

由于柔印首件產(chǎn)品數(shù)量極少，且作為參照物的電子樣稿與之具有較大的差異性，因此目前人工三檢制耗時耗力且極易造成誤檢、漏檢。本文提出一種柔印首件“粗-精”檢測方法，采用Super-Point和SuperGlue將電子樣稿和柔印首件進(jìn)行粗匹配，基于NCC對電子樣稿進(jìn)行微調(diào)以抑制局部偏移影響，以微調(diào)后電子樣稿二值圖為約束條件提出約束聚類方法對柔性首件進(jìn)行最優(yōu)分割，最后以距離變換法進(jìn)行缺陷檢測。對比實驗表明，本文方法能夠在合理的時間內(nèi)高質(zhì)量地完成柔印首件檢測，檢測性能高達(dá)漏檢率為0、誤檢率1.3%、平均Dice系數(shù)為0.941，且檢測時間僅為2.761 s/pcs，滿足實際工程需求。

但是，本文的柔印首件檢測方法依賴于灰度和邊緣特征等時間及空間差異，由于柔印首件和電子樣稿差異大，仍舊不可避免的存在一定誤檢，未來的工作將主要針對降低誤檢率展開，考慮缺陷檢測部分采用深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)偽缺陷與真實缺件之間內(nèi)在模式差異，區(qū)分偽缺陷，減少誤檢，從而進(jìn)一步提升檢測性能。