基于多視圖自編碼器及高斯模糊的缺陷檢測方法

應(yīng)小偉，周 樂

(浙江科技學(xué)院 a.機(jī)械與能源工程學(xué)院,b.自動化與電氣工程學(xué)院，浙江 杭州310023)

深度學(xué)習(xí)因具有強(qiáng)大的特征提取能力被廣泛的運(yùn)用于缺陷檢測領(lǐng)域。其中，自編碼器(Autoencoder, AE)已被用作無監(jiān)督模型的深度特征提取，特別是用于缺陷檢測。張宏偉等[1]提出一種多尺度卷積自編碼器模型，實(shí)現(xiàn)了對色織襯衫面料缺陷自動檢測與定位。景軍鋒等[2]提出了一種基于Fisher準(zhǔn)則的棧式降噪自編碼器算法，能夠有效提高織物疵點(diǎn)的檢測率。Tian等[3]提出了一種基于自編碼器的織物疵點(diǎn)檢測方法，通過對原始編碼的潛變量進(jìn)行修改，引入跨patch相似性來確定修改函數(shù)。唐善成等[4]利用深度卷積變分自編碼器實(shí)現(xiàn)了電阻表面缺陷的檢測。李珍珍[5]基于自編碼采用殘差編碼解碼網(wǎng)絡(luò)完成圖像重構(gòu)，實(shí)現(xiàn)了對產(chǎn)品表面缺陷進(jìn)行無監(jiān)督檢測。

傳統(tǒng)的自編碼器通常是全連接的。這意味著輸入數(shù)據(jù)的每個維度與所有隱層特征相連，每個隱層特征與重構(gòu)的每個維度相連，導(dǎo)致模型無法有效地分離缺陷、背景和噪聲信息。雖然AE已經(jīng)有了各種改進(jìn)，比如稀疏自編碼器[6]、降噪自編碼器[7]、堆棧降噪自編碼器[8]等，但都無法有效提取深層缺陷信息。

多視圖學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個分支，因其處理高維數(shù)據(jù)不會引起過擬合而受到歡迎[9-10]。Jia等[11]將多視圖學(xué)習(xí)的所有視圖(輸入數(shù)據(jù))映射到一個公共空間和幾個私有空間。在多視圖學(xué)習(xí)方法中，基于子空間學(xué)習(xí)的方法旨在獲取比輸入視圖維度更低的隱層空間，從而學(xué)習(xí)有效信息，消除視圖中的冗余信息。這些隱層空間包含的信息可以視為有效的特征，因此基于子空間學(xué)習(xí)的算法允許單視圖學(xué)習(xí)算法對多視圖數(shù)據(jù)進(jìn)行學(xué)習(xí)[12]。

在紅外熱圖數(shù)據(jù)中，可以將數(shù)據(jù)劃分成背景、缺陷和噪聲三部分，構(gòu)成不同視圖，每個視圖代表著不同的特征。本研究提出了一種基于多視圖自編碼器(Multi-view Autoencoder, MAE)及高斯模糊的缺陷檢測方法，并以一個具有亞表面缺陷的碳纖維試件為試驗(yàn)對象，對該算法的有效性進(jìn)行驗(yàn)證，旨在為缺陷檢測提供一種新方法。

1 數(shù)據(jù)采集與預(yù)處理

脈沖熱成像數(shù)據(jù)采集裝置如圖1所示。首先，脈沖信號對被測試件閃爍一次，進(jìn)行加熱。紅外攝像機(jī)記錄被測試件表面升溫和降溫2個變化過程，獲取原始熱圖數(shù)據(jù)。對應(yīng)位置的溫度變化過程由熱圖像的像素值大小表示。紅外攝像機(jī)是一種基于被測對象表面溫度變化而進(jìn)行成像的裝置，其成像基礎(chǔ)是被測試件存在缺陷或異常，缺陷的存在會使試件內(nèi)部熱傳導(dǎo)不均勻，從而導(dǎo)致熱圖像上缺陷區(qū)域與無缺陷區(qū)域像素值大小不一。

圖1 脈沖熱成像數(shù)據(jù)采集裝置

2 多視圖自編碼器及高斯模糊缺陷檢測算法設(shè)計

2.1 數(shù)據(jù)劃分及表示

2.2 多視圖自編碼器的特征提取模型

傳統(tǒng)的自編碼器是全連接網(wǎng)絡(luò)，即隱層神經(jīng)元與編碼層和解碼層的所有神經(jīng)元連接，這導(dǎo)致隱層數(shù)據(jù)特征是所有輸入的非線性組合。而在多視圖學(xué)習(xí)中，子空間學(xué)習(xí)模型依賴于明確地構(gòu)建一個公共的隱層空間和幾個私有的隱層空間，即一個私有的隱層空間對應(yīng)于一個視圖。因?yàn)榈?個視圖與第n個私有隱層空間(第n個隱層神經(jīng)元)是沒有交叉連接的，所以第n個私有隱層空間與第1個視圖是嚴(yán)格獨(dú)立的。同樣，第1個私有隱層空間獨(dú)立于其他輸入視圖。

hK=σ(ω1XK+b)

(1)

為了搭建這樣的網(wǎng)絡(luò)結(jié)構(gòu)，首先，搭建一個全連接自編碼器的網(wǎng)絡(luò)，根據(jù)輸入數(shù)據(jù)的維度依次設(shè)置輸入層神經(jīng)元個數(shù)N，隱層神經(jīng)元個數(shù)T,輸出層神經(jīng)元個數(shù)N，搭建一個輸入—隱層—輸出的簡單全連接自編碼網(wǎng)絡(luò)。

其次，引入權(quán)重限制矩陣L,L∈T×N，維度與權(quán)重矩陣ω1一樣。矩陣內(nèi)的元素人為設(shè)置值為1和0，通過限制矩陣內(nèi)的元素排列方式控制輸入層神經(jīng)元和隱層的連接方式，使每個視圖映射到公共空間和私有空間，從而實(shí)現(xiàn)局部連接，得到新的權(quán)重矩陣，定義為：

(2)

式(2)中，?表示將限制矩陣和權(quán)重矩陣逐元素相乘。

同理，輸出層權(quán)重矩陣乘以輸入層權(quán)重限制矩陣L的轉(zhuǎn)置即可控制隱層神經(jīng)元與輸出層的連接。

最后，為了保持隱層空間和輸出層視圖之間的相互獨(dú)立性，多視圖自編碼器模型不使用偏置項，則輸入到隱層的映射數(shù)學(xué)表達(dá)式為：

(3)

解碼階段隱層到輸出層的表達(dá)式為:

(4)

模型損失采用均方誤差，公式為：

(5)

此外，為了便于理解權(quán)重限制矩陣L，當(dāng)V和n等于2時，將輸入數(shù)據(jù)劃分成2個視圖，隱層公共空間是2個視圖的映射，則權(quán)重限制矩陣L∈3×5的第1行全部設(shè)置為1；輸入視圖只與隱層私有空間相連，則L第2行的前2個元素設(shè)置為1，后3個元素設(shè)置為0；同理得到第3行前2個元素為0，后3個元素為1。

2.3 高斯模糊

對熱圖數(shù)據(jù)分析的最終目的是為了提高缺陷區(qū)域與非缺陷區(qū)域的對比，采用高斯模糊算法可以很好地處理該問題。在一塊主要由大部分缺陷與少部分周圍背景組成的連接區(qū)域內(nèi)，缺陷區(qū)域的像素值通常大于或小于周圍無缺陷區(qū)域，通過高斯模糊算法計算缺陷區(qū)域與周圍背景的均值，可以使缺陷區(qū)域的像素值進(jìn)一步大于或小于周圍背景。同理，當(dāng)計算主要由大部分背景少部分缺陷組成的連通區(qū)域時，高斯模糊算法則把缺陷的像素值平均到與背景區(qū)域接近的像素值。

根據(jù)二維高斯函數(shù)獲得權(quán)重矩陣,二維高斯函數(shù)公式為：

(6)

在獲得隱層輸出hK∈HW×T后，將HW×1的列向量還原成二維矩陣生成T張圖像。此時已經(jīng)能夠大概分辨出缺陷的位置和形狀，但由于進(jìn)行數(shù)據(jù)特征提取的局限性，生成的圖像中不可避免地存在或多或少的噪聲和背景，降低了缺陷區(qū)域與無缺陷區(qū)域的對比。因此，使用高斯模糊算法對包含大部分缺陷信息的圖像進(jìn)一步降噪，提高對比。多視圖編碼器MAE模型算法流程如圖2所示。

圖2 多視圖編碼器MAE模型算法流程

步驟1：將N維輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，并劃分n個視圖，則每個視圖的維度為N/n。

步驟2：根據(jù)輸入視圖與隱層私有空間的映射關(guān)系設(shè)置權(quán)重限制矩陣。

步驟3：MAE模型編碼獲取隱層非線性特征。每個視圖嚴(yán)格映射到相應(yīng)的隱層空間，即將維度HW×N的輸入數(shù)據(jù)經(jīng)非線性特征提取后，降維得到隱層特征，維度為HW×T。

步驟4：模型解碼。根據(jù)隱層特征重構(gòu)模型輸出，每個隱層神經(jīng)元只映射到對應(yīng)的輸出神經(jīng)元，得到重構(gòu)輸出，維度為HW×T。

步驟5：計算模型輸入與輸出的誤差，采用梯度下降法更新權(quán)值矩陣參數(shù)，直到模型收斂。否則，返回步驟3。

步驟6：訓(xùn)練完成后，將維度為HW×T的隱層非線性特征還原成圖片，獲得T張大小為H×W大小的的圖片。

步驟7：從T張圖片中選取缺陷信息集中的圖片進(jìn)行高斯模糊。

2.4 局部信噪比

采用熱成像領(lǐng)域常用的信噪比(Signal Noise Ratio, SNR)作為檢測結(jié)果的評價指標(biāo)[14]。信噪比的絕對值近似計算為：

(7)

式(7)中，Mdef為缺陷區(qū)域像素均值；Mn為無缺陷區(qū)域像素均值；σn為無缺陷區(qū)域像素的標(biāo)準(zhǔn)差。

信噪比大小反映缺陷區(qū)域與非缺陷區(qū)域的對比關(guān)系，信噪比越大，缺陷越明顯。當(dāng)無缺陷區(qū)域像素值較小時，即無缺陷區(qū)域標(biāo)準(zhǔn)差較小，由式(7)可以看出，分母較小使得信噪比數(shù)值偏大，評價結(jié)果不夠客觀。

針對這個缺點(diǎn)，本研究采用局部信噪比作為評價指標(biāo)，即缺陷區(qū)域只與周圍區(qū)域?qū)Ρ?，并且每個缺陷都是規(guī)則的正方形，便于周邊區(qū)域的選擇。具體地做法是，取每一個缺陷2倍大小的區(qū)域進(jìn)行信噪比計算。通常，識別缺陷區(qū)域時只需缺陷與周圍區(qū)域的對比足夠明顯即可識別出缺陷。局部信噪比的引入減少了無缺陷區(qū)域像素值大小對評價指標(biāo)的影響。局部信噪比計算公式為：

(8)

3 實(shí)驗(yàn)

選取一個具有亞表面缺陷的碳纖維試件進(jìn)行缺陷檢測，驗(yàn)證MAE模型的性能。碳纖維試件采用樹脂傳遞模塑工藝制備，這種工藝在我國的工業(yè)生產(chǎn)中得到了廣泛地應(yīng)用。制作時首先將纖維增強(qiáng)材料或預(yù)成坯鋪放到閉模模腔內(nèi)，用壓力將樹脂液注入模腔浸透纖維或預(yù)成型坯，然后固化，脫模成型制品。在鋪層過程中，將幾個不同形狀的扁平特氟龍帶插入碳纖維板中，這樣在不同的位置就生成了不同的形狀和深度。

3.1 實(shí)驗(yàn)數(shù)據(jù)和裝置介紹

實(shí)驗(yàn)硬件平臺為Windows10,Intel i5-7500，CPU@3.4 GHz和16 GB RAM?；赥ensorFlow深度學(xué)習(xí)框架搭建多視圖降噪自編碼器模型，基于OpenCV庫實(shí)現(xiàn)高斯模糊算法。試件制作完成后，對試件進(jìn)行脈沖熱成像采集原始紅外熱圖數(shù)據(jù)。首先，使用2個閃光燈作為數(shù)據(jù)采集的熱源，3 ms內(nèi)傳遞3 200 J的能量脈沖加熱被測試件；然后使用分辨率為320×240和采樣頻率為30幀/s的紅外攝像機(jī)(TAS-G100EXD, NEC)記錄試件在冷卻階段表面的溫度變化。由于不均勻的加熱和材料屬性的不同，采集的原始熱圖包含了不均勻背景和噪聲。因此，需要對熱像數(shù)據(jù)進(jìn)一步處理，以提高缺陷識別的準(zhǔn)確性。

通常為了減少背景區(qū)域?qū)?shí)驗(yàn)結(jié)果的影響，將獲取的原始數(shù)據(jù)集進(jìn)行裁剪，得到缺陷區(qū)域集中的120×105子區(qū)域作為試驗(yàn)數(shù)據(jù)，獲得冷卻階段54張熱圖數(shù)據(jù)集。將獲取的54張三維數(shù)據(jù)集降維成二維輸入，維度為12 600×54，并將輸入劃分為3個視圖。隱層神經(jīng)元數(shù)目為4，1個公共空間和3個私有空間。TensorFlow框架神經(jīng)網(wǎng)絡(luò)矩陣運(yùn)算是輸入乘以權(quán)重矩陣，編碼層ω1∈54×4，權(quán)重限制矩陣L∈54×4。解碼層權(quán)重矩陣同樣由限制矩陣控制連接方式。采用leaky-relu作為編碼器層的激活函數(shù)，其中，解碼層是用類似的方式構(gòu)造，沒有使用激活函數(shù)。高斯濾波核大小為5×5。缺陷形狀及位置如圖3所示。圖3中，從左往右缺陷深度依次增加，同1列的3個缺陷深度一樣，J為表面缺陷。亞表面缺陷大小分別為1.6 mm×1.6 mm,0.8 mm×0.8 mm，和0.4 mm×0.4 mm。原始圖像缺陷展示如圖4所示。圖4展示了原始數(shù)據(jù)的第1，10，20，30，40，54張原始熱圖。由于不均勻背景和噪聲的存在，從原始熱圖中僅憑目測無法有效分辨缺陷的位置及形狀，尤其是深層缺陷。

圖3 缺陷形狀及位置

圖4 原始圖像缺陷展示

3.2 實(shí)驗(yàn)結(jié)果及分析

碳纖維復(fù)合板的表面缺陷及最淺層3個亞表面缺陷(A,B,C)僅憑目測即可，所以只統(tǒng)計剩余的6個亞表面缺陷。AE，MAE以及結(jié)合高斯模糊算法的檢測結(jié)果分別如圖5～圖7所示。

圖5展示了AE方法的4個隱層特征，將缺陷信息集中在第2個隱層神經(jīng)元。由于AE采用全連接網(wǎng)絡(luò)，每個隱層都是所有輸入的非線性組合，對深層缺陷檢測效果的提升有限。由圖5可以看出，AE方法對中間大正方形的處理結(jié)果有一定形狀輪廓顯現(xiàn)，但由于周邊背景和噪聲的嚴(yán)重干擾，效果并不直觀。

圖5 AE檢測結(jié)果

圖6展示了MAE方法的4個隱層特征，MAE1對應(yīng)于隱層公共空間的特征圖可視化，MAE2～MAE4對應(yīng)3個隱層私有空間的特征信息。從圖6可以看出，由于公共空間是所有輸入的映射，所以包含了缺陷、背景和噪聲信息。MAE2是視圖1的私有映射，缺陷的形狀及位置信息有較大的提升，缺陷區(qū)域與無缺陷區(qū)域的對比更為明顯。尤其是對最深層的2個較大缺陷，位置和輪廓信息提升效果較好。

經(jīng)過AE和MAE 2種方法特征提取后的數(shù)據(jù)雖然包含了大部分的缺陷信息，但由于缺陷區(qū)域周圍存在大量不均勻背景和噪聲，降低了缺陷區(qū)域和非缺陷區(qū)域的對比。圖7展示了AE與MAE模型結(jié)合高斯模糊算法后的檢測結(jié)果。從圖7中可以看出，高斯模糊算法的引入增加了缺陷區(qū)域與非缺陷區(qū)域的對比。對MAE模型降維后的深層缺陷提升效果最好；對AE的表面缺陷和最淺層亞表面缺陷提升效果明顯。這是由于高斯模糊算法的本質(zhì)特征決定的，即中心像素點(diǎn)是周圍像素點(diǎn)的均值。

圖6 MAE檢測結(jié)果

圖7 高斯模糊檢測結(jié)果

根據(jù)式(7)和式(8)分別計算求得全局信噪比和局部信噪比。信噪比計算結(jié)果見表1。從表1可以看出，多視圖自編碼器結(jié)合高斯模糊算法的全局信噪比計算結(jié)果并不好，但局部信噪比結(jié)果相較于另外3種方法有較大的提升，數(shù)值計算結(jié)果與圖6目測結(jié)果一致。缺陷區(qū)域的對比更加明顯，尤其深層且細(xì)小缺陷的提升效果較好。

表1 信噪比計算結(jié)果

4 結(jié)束語

本文提出了一種基于多視圖編碼器及高斯模糊的缺陷檢測方法，該方法結(jié)合自編碼器和多視圖的優(yōu)點(diǎn)，通過自編碼器的非線性特征提取和降維，將輸入劃分為多個視圖，針對每個視圖各自包含的特征有效地檢測出深層且細(xì)小的缺陷。本研究以一個具有亞表面缺陷的碳纖維復(fù)合材料為實(shí)驗(yàn)對象，分別采用AE,MAE以及結(jié)合高斯模糊算法的方式對其缺陷進(jìn)行檢測。實(shí)驗(yàn)結(jié)果表明，局部信噪比的引入降低了特征提取后無缺陷區(qū)域像素值大小對信噪比的影響。高斯模糊算法進(jìn)一步增加了缺陷區(qū)域和無缺陷區(qū)域的對比，尤其是對深層且細(xì)小缺陷的提升效果更好，驗(yàn)證了該算法的有效性和可行性。