基于視覺注意力融合的表面微小缺陷檢測

邵桂芳，盧 豪，蘇立權(quán)

(1.廈門大學(xué)航空航天學(xué)院，福建 廈門，361102；2.中國電信股份有限公司廈門分公司，福建 廈門，361003)

屏幕作為智能設(shè)備的人機(jī)交互界面，其表面質(zhì)量至關(guān)重要。生產(chǎn)過程中的加工誤差可能導(dǎo)致屏幕出現(xiàn)缺陷，由于灰塵等臟污的影響，微小缺陷通常難以識(shí)別。對(duì)于產(chǎn)品表面缺陷，傳統(tǒng)人工檢測方法的效率和精度較低，而基于特征提取的圖像識(shí)別方法是提高檢測準(zhǔn)確率的重要手段，其主要根據(jù)紋理、形狀及顏色等圖像特征差異進(jìn)行檢測。然而，由于某些生產(chǎn)環(huán)境下的成像質(zhì)量難以保證，僅根據(jù)某種特征無法成功區(qū)分圖像的噪聲與缺陷，特別是對(duì)微小缺陷，很容易造成漏檢或過檢，因此有必要探尋更為有效的檢測方法。

人類視覺具有顯著性檢測和選擇性注意機(jī)制，能快速有效地區(qū)分出目標(biāo)對(duì)象，在圖像檢測方法中融入視覺注意力機(jī)制是一個(gè)重要的研究方向。Itti等[1]結(jié)合顏色、強(qiáng)度及方向等多種特征生成顯著圖進(jìn)行圖像檢測，其方法具有較好的魯棒性。Rudinac等[2]利用顯著性檢測在室內(nèi)環(huán)境中取得了很好的目標(biāo)定位效果。Zhang等[3]提出了一種簡單、無需訓(xùn)練且計(jì)算效率高的基于布爾圖顯著性模型，在MIT、Toronto、Kootstra等5種眼球追蹤圖像數(shù)據(jù)集上表現(xiàn)優(yōu)異。隨著人們對(duì)視覺注意力機(jī)制的深入理解，相關(guān)改進(jìn)算法也越來越多。Wang等[4]利用感興趣區(qū)域提取與頻率調(diào)諧顯著性檢測對(duì)21種紗線筒子樣品進(jìn)行分類，獲得了100%的準(zhǔn)確率。Afsharirad等[5]利用相位信息及對(duì)象模型進(jìn)行顯著對(duì)象檢測，其效果良好。Du等[6]基于人眼視覺特征提出了改進(jìn)的灰度調(diào)整和頻率調(diào)整顯著性算法，在復(fù)雜曲面缺陷檢測上獲得令人滿意的結(jié)果。

1 本文方法設(shè)計(jì)

本文提出的檢測模型如圖1所示。為去除初始采集圖像中所包含的背景并提高檢測速度，首先引入差影法對(duì)圖像進(jìn)行初始檢測[13]，通過待檢圖像與基準(zhǔn)圖像的差分運(yùn)算，分割出差異值較大的像素點(diǎn)區(qū)域，從而提取出可能存在的缺陷區(qū)域；再對(duì)提取的缺陷區(qū)域圖像進(jìn)行角點(diǎn)檢測和伽馬變換，并通過Otsu方法對(duì)圖像進(jìn)行閾值操作，同時(shí)生成布爾映射顯著圖、譜殘差顯著圖和頻率調(diào)諧顯著圖，進(jìn)行融合后得到最終檢測效果。

圖1 檢測模型結(jié)構(gòu)

1.1 空間域預(yù)處理

在實(shí)際工業(yè)生產(chǎn)環(huán)境中，所采集的圖像通常分辨率較高并且含有噪聲，而缺陷或灰塵臟污通常只存在于屏幕的小部分區(qū)域，導(dǎo)致感興趣區(qū)域占整幅圖像的比例異常微小,因此，分割出感興趣區(qū)域?qū)⒂欣跍p少數(shù)據(jù)量及加快檢測速度。

鑒于缺陷或灰塵與背景像素的差異，可以將缺陷等視為待檢測邊緣的“角落”。本文利用Harris角點(diǎn)檢測來判斷當(dāng)前像素點(diǎn)與周圍像素點(diǎn)的差異，當(dāng)滿足要求時(shí)，認(rèn)定其為“角點(diǎn)”。然而，待檢測圖像上可能存在的缺陷往往很小，且灰塵與背景像素相對(duì)更難區(qū)分，為此引入伽馬變換進(jìn)行圖像灰度增強(qiáng)，如式(1)所示：

s=crγ

(1)

式中：s為輸出灰度值；r為原始灰度值；c和γ為系數(shù)。本文計(jì)算時(shí)將原始灰度值歸一化到[0,1]區(qū)間，c設(shè)為255.0，γ設(shè)為1.5。

1.2 基于布爾映射的顯著性提取

Huang等[14]在視覺注意布爾圖論中指出，觀察者對(duì)場景的瞬時(shí)意識(shí)可以用布爾圖表示。BMS模型精度高且復(fù)雜度低，是目前進(jìn)行顯著性檢測的典型模型之一。本文采用的BMS算法原理可以用式(2)表示：

(2)

圖2所示為屏幕圖像經(jīng)過BMS提取后的結(jié)果，可以發(fā)現(xiàn)，潛在的缺陷和灰塵臟污與背景的區(qū)別較大。

(a)缺陷

(b)臟污

1.3 譜殘差顯著性提取

由于BMS只使用圖像的顏色信息來形成特征空間，當(dāng)輸入圖像對(duì)比度不太明顯或有噪聲影響時(shí)，檢測結(jié)果受影響較大，因此本文引入譜殘差顯著性提取方法來進(jìn)一步提高檢測效果。譜殘差通過描述圖像中的異常區(qū)域來實(shí)現(xiàn)重要目標(biāo)檢測。該方法首先需要得到對(duì)數(shù)譜，將輸入圖像轉(zhuǎn)換到頻域并對(duì)其振幅取對(duì)數(shù)得到L(f)，而對(duì)數(shù)曲線可以進(jìn)行局部線性擬合，故進(jìn)一步利用局部平均濾波平滑得到V(f)，由此，輸出的顯著圖R(f)可由式(3)表示：

R(f)=L(f)-V(f)

(3)

其中，L(f)和V(f)的計(jì)算見式(4)和式(5)：

L(f)=log|F[I(x)]|

(4)

V(f)=L(f)·hn(f)

(5)

式中：I(x)為輸入圖像；hn(f)表示n階局部平均濾波器；|F[I(x)]|表示對(duì)輸入圖像進(jìn)行傅里葉變換得到的幅值。對(duì)于灰度圖像，二維傅里葉變換就可以滿足要求；在檢測需要考慮顏色特征的圖像時(shí)，可以采用四元數(shù)傅里葉變換[15]。

圖3顯示了含有缺陷和臟污的屏幕圖像的SR顯著圖，可以看出缺陷與臟污的像素灰度值分布區(qū)間不同。

(b)臟污

1.4 頻率調(diào)諧顯著性提取

圖像信息在頻域可分為低頻部分和高頻部分。低頻部分反映了圖像的整體信息，如物體的紋理、基本構(gòu)圖區(qū)域等，主要用于顯著區(qū)檢測；高頻部分更能顯示圖像邊緣或噪聲等信息。

為了避免顯著圖出現(xiàn)分辨率低、邊界模糊等問題，頻率調(diào)諧顯著性提取利用顏色和亮度特征來突出潛在的物體。該方法使用圖像的Lab顏色特征，實(shí)現(xiàn)起來較為簡單。對(duì)于輸入圖像 ，各像素的顯著值可以通過式(6)計(jì)算：

S(x,y)=‖Iμ-If(x,y)‖

(6)

式中：Iμ為圖像的平均特征；If(x,y)為高斯平滑后的Lab顏色特征；‖·‖表示L2范數(shù)，這里是Lab顏色空間中的歐幾里得距離。FT提取效果如圖4所示，可以看到，目標(biāo)的位置很容易找到。

(a)缺陷

(b)臟污

1.5 融合處理

本文研究目標(biāo)是有效識(shí)別微小缺陷和臟污，經(jīng)過多檢測模塊處理后得到了側(cè)重面不同的檢測圖，如何選擇合適的權(quán)值對(duì)獲得滿足檢測期望的結(jié)果很重要。缺陷和臟污雖然有一定的特征差異，但在空間域難以區(qū)分，如將其轉(zhuǎn)換到頻率域則可以顯示出更好的特征區(qū)分。

前述3種顯著性提取方法各有特點(diǎn)：通過譜殘差模型獲得的顯著圖ISR可以有效突出缺陷與臟污的區(qū)別，即ISR對(duì)最終的檢測結(jié)果影響更大；通過布爾顯著性模型得到的顯著圖IBMS可以有效避免對(duì)灰塵和缺陷檢測的遺漏；頻率調(diào)諧得到的顯著圖IFT突出塵埃與缺陷之間的亮度差異，有利于最終結(jié)果圖的生成。另外，角點(diǎn)檢測和伽馬變換分別得到的圖像ICD和IGT可以有效突出潛在的待檢目標(biāo)。從上述檢測模塊的檢測圖和密度圖可以發(fā)現(xiàn)，單一方法很難將缺陷與臟污嚴(yán)格區(qū)分出來，因此本文將多方法進(jìn)行融合，其公式為：

IOUT=(ICD+IGT)?IBMS?(IFT·α)?

(IOtsu+ISR)?(ISR·β)

(7)

式中：IOUT表示最終的融合輸出圖；IOtsu表示通過Otsu方法得到的圖像分割結(jié)果；?表示兩個(gè)矩陣對(duì)應(yīng)元素的乘積；α和β為參數(shù)。

圖5展示了融合公式的處理過程，其中不同的檢測算子對(duì)于缺陷的檢測有不同角度的突出，經(jīng)過傳統(tǒng)方法與顯著性提取方法的融合得到IOUT，再進(jìn)行圖像閾值分割，當(dāng)像素點(diǎn)灰度值高于閾值時(shí)則認(rèn)為該區(qū)域存在缺陷并進(jìn)行標(biāo)記。

圖5 融合模型的處理過程

圖6所示為融合檢測結(jié)果，從中可以看到缺陷與臟污的像素灰度值的顯著差異。

(a)缺陷

(b)臟污

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)方法

本文實(shí)驗(yàn)所用圖像數(shù)據(jù)集來源于實(shí)際工業(yè)生產(chǎn)中，對(duì)原始圖像分割后獲得缺陷圖73張、臟污圖214張，圖像尺寸不一。

2.2 結(jié)果與分析

2.2.1 缺陷與臟污的檢測對(duì)比

實(shí)際生產(chǎn)中，因?yàn)楫a(chǎn)品屏幕上的臟污與背景有明顯差異，傳統(tǒng)方法通常會(huì)將臟污也視為缺陷檢測出來，造成工業(yè)生產(chǎn)資源浪費(fèi)，而本文方法的優(yōu)勢在于能夠在灰塵等臟污干擾下準(zhǔn)確識(shí)別出缺陷。

圖7展示了本文方法對(duì)缺陷的檢測效果，其中缺陷種類不一，但相對(duì)于整張圖像，缺陷區(qū)域的尺寸都較小。圖7(a)為200像素×200像素的缺陷原圖，圖7(b)是經(jīng)過下采樣之后運(yùn)行檢測算法得到的融合圖，其實(shí)際尺寸為50像素×50像素，圖7(c)顯示出缺陷區(qū)域與背景在灰度值上的較大差異。

圖8展示了本文方法對(duì)臟污的檢測效果，為便于比較，其圖像尺寸與圖7中的一致。圖8(a)包括4種不同種類的臟污，這些在生產(chǎn)過程中產(chǎn)生的臟污與缺陷很相似，極易被識(shí)別為缺陷，但從圖8(b)的融合檢測結(jié)果可以看出，臟污沒有被當(dāng)作缺陷檢出，同時(shí)從圖8(c)可以看出，這些臟污并沒有被完全忽視，而是也被顯著增強(qiáng)了。由于臟污與背景的灰度值相差不大，因此可通過設(shè)定閾值的方式區(qū)分出缺陷與臟污，本文設(shè)置的灰度閾值為38。

(a)缺陷原圖(b)融合效果圖 (c)三維密度圖

(a)臟污原圖(b)融合效果圖 (c)三維密度圖

2.2.2 與其他檢測方法的比較

選取相同尺寸(200像素×200像素)的缺陷與臟污待檢圖各50張，分別采用本文方法和4種對(duì)比方法進(jìn)行檢測。圖9給出了部分實(shí)驗(yàn)結(jié)果，其中左側(cè)兩列為缺陷檢測結(jié)果，右側(cè)兩列為臟污檢測結(jié)果。5種方法對(duì)缺陷與臟污圖像的準(zhǔn)確分類統(tǒng)計(jì)結(jié)果見表1。

由表1可知，5種方法對(duì)缺陷的檢出率均能達(dá)到86%以上，其中Entropy-Otsu方法準(zhǔn)確率最高；但對(duì)于臟污圖像，4種對(duì)比方法的誤檢率極高，即絕大部分臟污被視作缺陷檢出，檢測準(zhǔn)確率不足20%，而本文方法的檢測準(zhǔn)確率達(dá)到78%。

圖9 不同方法的部分檢測結(jié)果對(duì)比

表1 不同方法的檢測結(jié)果統(tǒng)計(jì)

2.2.3 參數(shù)分析

本節(jié)實(shí)驗(yàn)首先將α和β分別設(shè)為2.2和0.8，對(duì)該批次測試數(shù)據(jù)(缺陷圖73張、臟污圖214張)進(jìn)行檢測，結(jié)果見表2，可以看出本文提出的融合模型能有效兼顧微小缺陷和臟污的檢測準(zhǔn)確率。

表2 本文方法檢測結(jié)果

值得一提的是，當(dāng)不同的顯著性模型在融合公式(7)中所占比重發(fā)生變化時(shí)，即改變?chǔ)梁挺轮禃r(shí)，缺陷和臟污的檢出率會(huì)發(fā)生改變，其中α影響缺陷與臟污的檢出程度，β對(duì)缺陷和臟污的區(qū)分有更大的影響。同樣選取缺陷圖與臟污圖各50張作為檢測對(duì)象，當(dāng)融合公式中刪去不同模塊時(shí)的實(shí)驗(yàn)結(jié)果如表3所示。由表3可見：當(dāng)融合公式中去掉(ICD+IGT)模塊時(shí)，臟污圖像的誤檢率大大上升，表明該模塊可以有效減少背景像素的干擾，突出潛在的缺陷區(qū)域；如果去掉待檢圖像的頻率域處理ISR顯著圖的融合，缺陷與臟污的區(qū)分度下降，臟污誤檢率上升；去掉IFT顯著圖的融合導(dǎo)致缺陷漏檢率上升。另外，對(duì)原始圖像自適應(yīng)閾值分割得到的IOtsu使得在潛在缺陷區(qū)域的劃分上更為全面。

表3 本文方法刪去不同模塊時(shí)的檢測結(jié)果統(tǒng)計(jì)

圖10所示為α固定時(shí)改變?chǔ)轮档玫降谋疚哪Ｐ偷腇1值，其為模型的精確度和召回率的加權(quán)調(diào)和指標(biāo)，值越大越好。由圖10可見，F(xiàn)1值最大為0.7305，此時(shí)α和β分別為1.6和0.9。

圖10 α取值不同時(shí)模型的F1值隨β的變化

當(dāng)β值固定為0.8時(shí)，改變?chǔ)林?，得到本文模型的F1值變化如圖11所示，其最大值也為0.7305，此時(shí)α和β分別為1.8和0.8。

圖11 模型的F1值隨α的變化(β=0.8)

本文模型綜合了不同顯著性檢測方法的優(yōu)勢，充分利用了圖像細(xì)節(jié)信息，能夠更加準(zhǔn)確地區(qū)分缺陷和臟污。結(jié)合表3、圖10和圖11不難發(fā)現(xiàn)，盡管在改變不同顯著性模型的比重時(shí)，F(xiàn)1值有所浮動(dòng)，但若能結(jié)合實(shí)際應(yīng)用場合，選擇最為合適的參數(shù)值，則本文模型具有很好的性能表現(xiàn)。

2.2.4 誤檢結(jié)果分析

本文方法在實(shí)際應(yīng)用中取得了較為滿意的檢測效果，但是由于原始數(shù)據(jù)圖像的不規(guī)則，難以保證所有的缺陷和臟污都被準(zhǔn)確區(qū)分。如圖12中的缺陷圖像被誤檢為臟污，而臟污圖像被誤檢為缺陷。進(jìn)一步分析可以發(fā)現(xiàn)，在出現(xiàn)誤檢情況時(shí)，確實(shí)是部分缺陷圖像難以辨認(rèn)，而有些臟污看上去類似于刮痕，被當(dāng)作缺陷檢出。

圖12 誤檢示例

3 結(jié)語

本文針對(duì)工業(yè)生產(chǎn)中產(chǎn)品表面上出現(xiàn)的微小缺陷與灰塵臟污的小樣本檢測問題，提出了一種基于視覺注意機(jī)制的融合檢測方法，將布爾映射、譜殘差和頻率調(diào)諧等3種顯著性提取模型與角點(diǎn)檢測、伽馬變換和Otsu自適應(yīng)閾值分割等方法結(jié)合起來應(yīng)用于圖像檢測。相對(duì)于傳統(tǒng)的檢測方法和經(jīng)典的顯著性模型，本文方法對(duì)難以嚴(yán)格區(qū)分的微小缺陷和臟污具有較好的辨別能力，可減少實(shí)際生產(chǎn)中的資源浪費(fèi)，基于OpenCV開源庫的工業(yè)實(shí)現(xiàn)有很好的應(yīng)用前景。