織物瑕疵檢測(cè)方法研究進(jìn)展

田宸瑋，王雪純，楊嘉能，錢育蓉

1.新疆大學(xué) 軟件學(xué)院，烏魯木齊830000

2.中國(guó)石油吐哈油田分公司 勘探開發(fā)研究院，新疆 哈密839009

1 引言

織物是人們?cè)谌粘Ｉ钪袕V泛使用的材料，由紡織纖維制成。紡織纖維由天然纖維如亞麻或羊毛等制成，或尼龍、人造纖維等化學(xué)纖維制成?？椢镨Υ檬侵冈诠I(yè)化生產(chǎn)制造過程中織物表面出現(xiàn)的瑕疵缺陷。這些織物瑕疵主要由機(jī)器故障、紗線問題、不良加工、過度拉伸等問題引起的。嚴(yán)重的瑕疵問題會(huì)導(dǎo)致織物產(chǎn)品的滯銷和經(jīng)濟(jì)損失[1]，而織物瑕疵的檢測(cè)是一個(gè)旨在識(shí)別和定位這些瑕疵的質(zhì)量控制過程。目前，紡織業(yè)界定的織物瑕疵有76種[2]。

在以往的檢測(cè)方法中，人工檢測(cè)是確?？椢镔|(zhì)量的唯一手段。人工檢測(cè)的方法雖然可以做到即時(shí)糾正一些錯(cuò)誤，但是疲勞會(huì)導(dǎo)致不可避免的人為錯(cuò)誤，并且人工檢測(cè)通常不會(huì)檢測(cè)到較為微小的瑕疵。目前人工檢測(cè)成功率僅為60%～75%[3]。因此，使用高效和穩(wěn)定的計(jì)算機(jī)視覺來代替低效的人工視覺，實(shí)現(xiàn)織物瑕疵的自動(dòng)化實(shí)時(shí)檢測(cè)，具有重要的經(jīng)濟(jì)效益和現(xiàn)實(shí)意義。

目前實(shí)現(xiàn)織物瑕疵的實(shí)時(shí)在線檢測(cè)存在以下挑戰(zhàn)：（1）繁多的面料種類；（2）不同壁紙組的組合；（3）織物瑕疵與背景紋理相似；（4）整個(gè)檢測(cè)過程效率較低。

本文根據(jù)不同的檢測(cè)方法綜述了瑕疵檢測(cè)的研究進(jìn)展，總結(jié)各個(gè)方法的優(yōu)點(diǎn)與不足，并對(duì)未來的織物瑕疵檢測(cè)研究方向進(jìn)行了預(yù)測(cè)。

2 織物瑕疵檢測(cè)

2.1 織物紋理圖案放置規(guī)則

織物圖案可以被看作是二維的紋理圖案，但是并非所有的二維紋理都設(shè)計(jì)有圖案。二維圖案紋理由底層晶格確定，其規(guī)則由17個(gè)壁紙組控制[1]，如圖1。在數(shù)學(xué)代數(shù)中，壁紙組也稱為晶體組，是明確定義的。這樣，不同組的圖案紋理可以通過平移、旋轉(zhuǎn)、反射、滑動(dòng)鏡像反射構(gòu)成。這17組命名為p1、p2、pm、pg、cm、pmm、pmg、pgg、cmm、p4、p4m、p4g、p3、p3m1、p31m、p6和p6m，命名規(guī)則完整符號(hào)以p（Primitive cell）或c（Centred cell）開頭，接數(shù)字n表示旋轉(zhuǎn)對(duì)稱的最高階：1倍（none）、2倍、3倍、4倍或6倍。后兩個(gè)符號(hào)表示相對(duì)于該圖案的一個(gè)平移軸的對(duì)稱性；如果有一個(gè)垂直于平移軸的反射面，則選擇此軸為主軸（如果有兩個(gè)滿足條件的平移軸，則選擇其中一個(gè)軸）。符號(hào)m（mirror）代表鏡像，g（glide reflection）代表滑動(dòng)，1（none）則代表無操作。

2.2 織物紋理圖案放置規(guī)則

有兩種定義檢測(cè)成功率的方法，一種被定義為：

式中，樣本包括有瑕疵樣品和無瑕疵樣品。

可以進(jìn)一步定義檢測(cè)率和誤檢率：

另一種檢測(cè)成功率定義為：

式中，TP、FP、FN和TN的定義如表1所示。

表1 瑕疵檢測(cè)中真陽(yáng)性，假陽(yáng)性，真陰性，假陰性的定義

圖1 17個(gè)壁紙組

根據(jù)目前的織物瑕疵檢測(cè)方法分析，以下因素會(huì)影響檢測(cè)成功率：（1）瑕疵本身與紋理表面相似；（2）瑕疵檢測(cè)算法的復(fù)雜度；（3）照明：根據(jù)不同顏色的紡織品通過單色光照射可以更好地提取瑕疵特征；（4）圖像采集方法：在使用數(shù)碼相機(jī)采集的技術(shù)上使用紅外、X光照射以及采集熱成像后的織物圖像。這些方法可能會(huì)在瑕疵檢測(cè)中提高檢測(cè)效率或檢測(cè)率。

3 織物瑕疵檢測(cè)方法

根據(jù)對(duì)圖像處理原理的不同，分為以下四類：基于結(jié)構(gòu)的方法、基于統(tǒng)計(jì)的方法、基于頻譜的方法以及基于學(xué)習(xí)的方法，如圖2所示，其中混合方法為基于以上四種方法的組合，并行方法旨在加速整體過程。本文主要對(duì)近幾年織物瑕疵檢測(cè)算法的最新研究進(jìn)展進(jìn)行分類探究和分析，列舉各個(gè)方法與同類方法的不同之處，比較分析各種算法的優(yōu)劣勢(shì)。

3.1 織物紋理圖案放置規(guī)則

基于結(jié)構(gòu)的方法通常是將紋理視為紋理基元的組合，織物圖案的紋理通過紋理基元的一些簡(jiǎn)單的放置規(guī)則組合來實(shí)現(xiàn)。紋理的結(jié)構(gòu)分析主要由紋理放置規(guī)則的判斷以及紋理元素的提取。

針對(duì)單一方向單一尺度下特征提取不明顯的問題，Dhivya等[4]使用多方向多尺度的方法提取織物瑕疵的邊緣圖，輪廓特征由KNN分類器提取和分類，結(jié)果表明該方法較SVM、RBM和ELM產(chǎn)生了更好的性能結(jié)果。同樣是在輪廓提取的過程中，孫波[5]在圖像平滑處理時(shí)，通過迭代次數(shù)的增加，使得平滑圖像中的織物紋理逐漸變淡，同時(shí)織物圖像的細(xì)節(jié)得到較好的完整保留。顯著紋理背景下因灰度級(jí)有限、對(duì)比度不明顯導(dǎo)致織物圖像疵點(diǎn)檢測(cè)難度較大，針對(duì)此問題，石美紅等[6]基于顯著紋理特征進(jìn)行了疵點(diǎn)檢測(cè)，提出一種多尺度度量局部紋理粗糙度的自適應(yīng)算法，首先計(jì)算局部紋理粗糙度特征的顯著度(fc)：

式中，hn為灰度值n在圖像中出現(xiàn)的頻率。Sbest為最佳窗口的尺寸。

此算法的局部紋理粗糙度均值變化曲線是線性遞增的，結(jié)合織物圖像的視覺顯著性分析，瑕疵與背景間的紋理區(qū)域灰度對(duì)比度有著明顯的差異，根據(jù)局部紋理粗糙度定義對(duì)比度特征(fm)：

式中，g為最佳窗口下的灰度均值。

為進(jìn)一步提高局部紋理的顯著性特征，使用區(qū)域局部紋理最佳窗口的視覺顯著性度量方法，根據(jù)最佳窗口計(jì)算方向特征(fd)：

式中，χ2表示卡方統(tǒng)計(jì)；是對(duì)四個(gè)方向邊緣相應(yīng)的二進(jìn)制編碼D進(jìn)行灰度直方圖統(tǒng)計(jì)得到的特征向量，其定義為：

式中，fij表示以(i,j)的像素點(diǎn)為中心，以Sbest為窗口大小的子圖像；*為卷積運(yùn)算；Tk為同等窗口大小的算子模板；；為平均特征向量，其計(jì)算公式為：

對(duì)每個(gè)特征子圖進(jìn)行歸一化處理，然后據(jù)式（5）～式（7）按照式（10）加權(quán)融合得到視覺顯著性特征圖FR：

式中，ω1=(1-)2,為對(duì)應(yīng)每個(gè)特征子圖上除全局極值點(diǎn)后剩余點(diǎn)的平均值。

Zhu等[7]結(jié)合自相關(guān)函數(shù)的方法確定了織物圖像的圖案周期之后使用歐幾里德距離來辨別有無瑕疵。自相關(guān)函數(shù)是提取信號(hào)周期的重要方法，它描述了隨機(jī)信號(hào)在兩個(gè)不同時(shí)刻之間的自相關(guān)程度，由于色紗在經(jīng)紗和緯紗兩個(gè)方向上的密度和布局不同，在兩個(gè)方向上的周期也不同，定義緯紗方向(Cx,0)和經(jīng)紗方向(C0,y)的自相關(guān)函數(shù)如下：

圖2 織物瑕疵檢測(cè)方法分類

式中，x=1,2,…,M,y=1,2,…,N,M和N為圖像的寬度和高度，G(i,j)是像素坐標(biāo)(i,j)的灰度值。由式（13）可求出，R G和B代表RGB顏色模型中的三個(gè)組件。

GLCM的歐式距離D定義如下：

式中，f(x,y)表示待檢測(cè)圖像的GLCM，g(x,y)表示模板圖像的GLCM，N表示圖像的灰度，D值越小代表兩個(gè)圖像越相似。

自相關(guān)曲線的周期為紋理基元的大小，根據(jù)式（11）、（12）計(jì)算得到結(jié)果如圖3所示，可看到該圖像的紋理周期為26個(gè)像素（該圖像為256×256像素的圖像，通過人眼觀察每行有20個(gè)方格，256/20×2=25.6≈26）。

圖3 織物瑕疵圖像及其自相關(guān)函數(shù)周期

由于瑕疵會(huì)破壞染色織物的周期性，所以采用無瑕疵織物來提取織物的圖案周期。該方法用于組織周期較小的色織面料時(shí)得到了較高的檢測(cè)精度且擁有更好的適應(yīng)性。檢測(cè)出的目標(biāo)瑕疵具有較好的一致性和完整性，可用于具有顯著紋理背景的織物表面的瑕疵檢測(cè)?？椢镨Υ脠D像的顯著性檢測(cè)思想是將瑕疵區(qū)域定義為顯著區(qū)域，其余紋理圖案部分定義為低顯著性區(qū)域。同樣使用顯著性檢測(cè)的思想，李倩倩等[8]利用上下文的特點(diǎn)同時(shí)結(jié)合主成分分析法（PCA）對(duì)圖像信息進(jìn)行降維，結(jié)合Otsu閾值分割法分割瑕疵區(qū)域，能較好地抑制織物花紋背景對(duì)瑕疵檢測(cè)的影響，分割出斷頭疵、破洞、跳花、污漬和打結(jié)五種類型的瑕疵。根據(jù)織物表面的結(jié)構(gòu)性紋理特點(diǎn)，吳軍[9]在分割階段把采集圖像分成大小兩個(gè)窗口，在大窗口下將樣本圖像分解成經(jīng)向子圖和緯向子圖，若檢測(cè)無異常則進(jìn)行小窗口下小波分解，從而識(shí)別出各類含有瑕疵的圖像。

3.2 基于統(tǒng)計(jì)學(xué)方法的織物瑕疵檢測(cè)

統(tǒng)計(jì)方法使用統(tǒng)計(jì)量來提取紋理特征，使用該特征描述織物紋理之間的相異性以及織物紋理整體結(jié)構(gòu)的一致性?；诮y(tǒng)計(jì)方法的疵點(diǎn)檢測(cè)主要有：灰度共生矩陣、數(shù)學(xué)形態(tài)學(xué)、直方圖統(tǒng)計(jì)法等方法。

3.2.1 灰度圖像以及灰度共生矩陣

灰度圖像中灰度急劇變化的區(qū)域通常是圖像的邊緣信息，借此吳軍[10]基于灰度分布梯度，結(jié)合織物表面的結(jié)構(gòu)性紋理特點(diǎn)，使用直方圖均衡化增強(qiáng)灰度圖像的對(duì)比度，針對(duì)數(shù)據(jù)處理量較大的問題，采用全值閾值法將灰度圖像轉(zhuǎn)成二值圖像。該檢測(cè)方法能較好且快速判斷有無瑕疵，適應(yīng)瑕疵范圍廣，對(duì)于經(jīng)、緯向等方向類瑕疵、塊狀區(qū)域類瑕疵較明顯，但對(duì)于棉球等點(diǎn)狀類小瑕疵則檢測(cè)效果不理想。灰度共生矩陣（GLCM）是通過研究灰度的空間相關(guān)特性來描述紋理的常用方法，在紋理分析、圖像質(zhì)量評(píng)價(jià)方面都有很重要的作用，原理如圖4。

圖4 像素矩陣以及灰度共生矩陣

圖4 左側(cè)圖像為一個(gè)共有8個(gè)灰度級(jí)別的圖像，數(shù)字代表灰度級(jí)，右側(cè)是其對(duì)應(yīng)的灰度共生矩陣?；叶裙采仃囎鴺?biāo)(x,y)值為n表示在像素矩陣中，在水平方向上，灰度值x的像素右側(cè)相距一個(gè)像素值的像素灰度為y的個(gè)數(shù)有n個(gè)。

更改上述的方向以及距離可得到不同的灰度共生矩陣。總結(jié)來說，如圖5所示，有四種不同方向的灰度共生矩陣。

圖5 灰度共生矩陣方向

Arnia等[11]提出了一種檢測(cè)框架用于檢測(cè)使用離散余弦變換（DCT）壓縮后的圖像，不同的壓縮系數(shù)可以檢測(cè)出不同的瑕疵類型，檢測(cè)結(jié)果如圖6所示，由于減少了計(jì)算量，故此方法比較適合于織物瑕疵的實(shí)時(shí)檢測(cè)。

圖6 文獻(xiàn)[11]方法檢測(cè)效果圖

區(qū)別于傳統(tǒng)線性構(gòu)建GLCM的方式，董蓉等[12]根據(jù)灰度出現(xiàn)的概率進(jìn)行量化，通過最優(yōu)尺度方向?qū)W習(xí)獲得參考非線性GLCM特征向量和自適應(yīng)的二值化閾值，之后使用最優(yōu)尺度方向參數(shù)進(jìn)行非線性GLCM特征提取，并與參考特征向量匹配來定位瑕疵。該方法很大程度上凸顯了瑕疵區(qū)域和非瑕疵區(qū)域，同時(shí)GLCM本身對(duì)噪聲有很強(qiáng)的抗干擾能力，再結(jié)合自適應(yīng)的二值化閾值，使得圖像在未進(jìn)行形態(tài)學(xué)濾波的情況下，也能準(zhǔn)確地定位瑕疵區(qū)域。使用灰度圖像以及灰度共生矩陣的各個(gè)文獻(xiàn)所檢測(cè)的瑕疵類型以及實(shí)驗(yàn)結(jié)果如表2所示。

表2 灰度圖像以及灰度共生矩陣方法比較

使用灰度共生矩陣的方法依據(jù)其特性可以使用不同的統(tǒng)計(jì)特征來表示記錄各個(gè)像素之間的空間關(guān)系，不過多種的統(tǒng)計(jì)特征雖然可以保持較高的準(zhǔn)確率但是隨之的較大計(jì)算量不利于確定最優(yōu)的偏移向量。但是相較于小波特征或者局部二值模式來說，灰度共生矩陣基本不受噪聲影響，二值化后的結(jié)果不需要使用形態(tài)學(xué)濾波方法進(jìn)行濾波。

3.2.2 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)的操作有二值形態(tài)學(xué)和灰度形態(tài)學(xué)兩種。腐蝕和膨脹是數(shù)學(xué)形態(tài)學(xué)的兩個(gè)基本操作，二者通過結(jié)合又形成了開運(yùn)算和閉運(yùn)算?，F(xiàn)階段，基于形態(tài)學(xué)的圖像處理已經(jīng)成為圖像處理比較核心的領(lǐng)域。

相比于Gabor濾波器，數(shù)學(xué)形態(tài)學(xué)在參數(shù)設(shè)置方面沒有較高的要求，基于此特性，Jing等[13]根據(jù)形態(tài)成分的不同分離圖像符號(hào)，保持了每個(gè)成分的信息，確保更精準(zhǔn)的織物瑕疵定位。相同條件下，該方法檢測(cè)率高于Gabor濾波器的檢測(cè)算法。該方法不僅可以識(shí)別噪聲還能保留瑕疵的信息和形態(tài)特征。檢測(cè)結(jié)果如圖7所示。

Rebhi等[14]基于局部同質(zhì)性和數(shù)學(xué)形態(tài)學(xué)的方法設(shè)置以Ic(xc,yc)為中心，寬度為(2N+1)的方形窗口P，在窗口P中可以定義從中心像素到像素Pi的不同矢量：

圖7 文獻(xiàn)[13]方法檢測(cè)效果圖

式中，(xi,yi)是像素Pi的坐標(biāo)，(xc,yc)是中心像素Pc的坐標(biāo)，i是一個(gè)整數(shù)，范圍：

式中，N是一個(gè)整數(shù)，用來定義窗口P的大小。

圖8是當(dāng)N=2時(shí)，根據(jù)中心像素與周圍任意像素連接的矢量Pi,c，向量fi定義為：

圖8 用于計(jì)算5×5掩模的局部均勻性不同的矢量f i

首先使用開運(yùn)算和閉運(yùn)算盡可能消除織物圖像中的紋理背景，再結(jié)合方形結(jié)構(gòu)元素來提取織物瑕疵。因織物瑕疵種類繁多以及瑕疵尺寸的不確定造成檢測(cè)效果差的問題，張波等[15]使用一種基于相對(duì)總變差模型和灰度自適應(yīng)的數(shù)學(xué)形態(tài)學(xué)的方法，先通過相對(duì)總變差模型對(duì)紋理進(jìn)行去除以及紋理與瑕疵的分離，再使用灰度自適應(yīng)數(shù)學(xué)形態(tài)學(xué)對(duì)圖像進(jìn)行增強(qiáng)，針對(duì)瑕疵多樣性以及尺寸不一的問題，該方法提高了不同瑕疵提取以及檢測(cè)的通用性。區(qū)別于此，何峰等[16]使用一種窗口跳步形態(tài)學(xué)方法對(duì)織物圖像進(jìn)行腐蝕操作，通過瑕疵連通區(qū)域來確定瑕疵大小。檢測(cè)效率較快速傅里葉變換特征點(diǎn)算法以及傳統(tǒng)形態(tài)學(xué)算法相比有了很大的提高，實(shí)際工業(yè)生產(chǎn)環(huán)境下，實(shí)時(shí)檢測(cè)速度超過80 m/min，疵點(diǎn)檢測(cè)精度大小為0.1 mm，滿足實(shí)際生產(chǎn)需求。使用數(shù)學(xué)形態(tài)學(xué)的各個(gè)文獻(xiàn)所檢測(cè)的瑕疵類型以及實(shí)驗(yàn)結(jié)果如表3所示。

數(shù)學(xué)形態(tài)發(fā)雖然較一些基于頻譜分析的方法有較低的要求以及更好的效率，但是數(shù)學(xué)形態(tài)法的優(yōu)點(diǎn)只有在織物紋理圖案不具有周期性的前提下才能表現(xiàn)出來，也就說明了數(shù)學(xué)形態(tài)學(xué)的方法不適用于具有周期性紋理的織物圖像。

表3 數(shù)學(xué)形態(tài)學(xué)方法比較

3.2.3 直方圖統(tǒng)計(jì)法

2.學(xué)業(yè)成績(jī)測(cè)量。經(jīng)查閱大量文獻(xiàn)[1][2][3]，可知學(xué)生學(xué)業(yè)成績(jī)的測(cè)量都以月考、期中、期末等大型考試中的語(yǔ)文、數(shù)學(xué)、英語(yǔ)三科的總分加權(quán)平均，即可當(dāng)做學(xué)生的學(xué)業(yè)成績(jī)。本調(diào)查中也采取相同的學(xué)業(yè)成績(jī)認(rèn)定方法，以七、八、高一、高二四個(gè)年段于同一時(shí)間測(cè)試的第一次月考成績(jī)?yōu)閰⒄諛?biāo)準(zhǔn)。

直方圖是一種質(zhì)量分布圖，可以展現(xiàn)灰度圖像像素分布的情況。李春雷等[17]提出的應(yīng)用方向梯度直方圖（HOG）和低秩分解的織物瑕疵檢測(cè)算法，將疵點(diǎn)圖像均勻分塊后提取HOG特征，取每塊的這些特征作為該塊的特征向量，特征提取分為四個(gè)步驟：Gamma校正、計(jì)算圖像梯度、構(gòu)建梯度直方圖、組裝HOG特征，將所有的特征向量組合成特征矩陣進(jìn)行低秩分解，得到一個(gè)對(duì)應(yīng)于背景的低秩矩陣和對(duì)應(yīng)于瑕疵的稀疏矩陣，通過稀疏矩陣生成顯著圖?？梢暂^好地將瑕疵與背景分離開，檢測(cè)效果如圖9所示。

另外，此方法剛開始均勻分塊后的提取特征步驟如果是應(yīng)用在實(shí)時(shí)檢測(cè)方面可以考慮使用一些并行的方法來提高實(shí)時(shí)檢測(cè)的效率，該方法為進(jìn)一步研究在實(shí)時(shí)檢測(cè)中應(yīng)用提供了新的思路。

3.3 基于頻譜分析方法的織物瑕疵檢測(cè)

基于頻譜分析的織物瑕疵檢測(cè)方法是根據(jù)織物紋理基元的周期性與頻譜特性相似的原理，將織物圖像從空間域轉(zhuǎn)換到頻域后進(jìn)行檢測(cè)。

3.3.1 傅里葉變換

傅里葉變換具有較小計(jì)算量的特點(diǎn)。任何頻率和幅度的正弦和余弦信號(hào)可以由傅里葉變換的總和表示，當(dāng)傅里葉變換應(yīng)用于一維空間中的圖像時(shí)，空間方向相等，在連續(xù)形式中，傅里葉變換由二維給出：

式中，w1,w2是定義空間頻率的頻率變量，F(xiàn)是復(fù)值函數(shù)。

Yildiz等[18]在其實(shí)驗(yàn)中使用熱像儀獲取的圖像作為輸入圖像來檢測(cè)織物瑕疵并使用基于快速傅里葉變換（FFT）的算法，利用無瑕疵部分和瑕疵部分之間的熱差異使得瑕疵部分變得明顯這一特性來檢測(cè)織物瑕疵。

傅里葉變換最明顯的優(yōu)點(diǎn)就是在于其提取的圖像特征是頻率分量，而這些頻率分量在圖像的縮放旋轉(zhuǎn)等操作中不會(huì)改變。表明無法在空間域上定位織物瑕疵。

3.3.2 小波變換

小波變換的優(yōu)點(diǎn)在于其可以使用不同的子小波來識(shí)別不同的織物瑕疵類型，并且在對(duì)原始圖像進(jìn)行壓縮后也能保留較為完整的信息。較高的準(zhǔn)確率同時(shí)也意味著成本較高。

3.3.3 Gabor濾波器

Gabor濾波器是一種邊緣提取的線性濾波器，與人類視覺的頻率和方向表達(dá)很像，所以很適合紋理的表達(dá)和分離。

針對(duì)具有周期性紋理的織物，Zhang等[20]基于總距離匹配函數(shù)和最優(yōu)Gabor濾波器組的織物瑕疵檢測(cè)模型，濾波器參數(shù)θ采用二進(jìn)制粒子群算法（BPSO）進(jìn)行優(yōu)化，對(duì)于方向參數(shù)，目標(biāo)函數(shù)由兩個(gè)Gabor濾波器組成的濾波器組卷積的正常織物圖像的能量及均值和方差組成，最后精確地分割瑕疵圖像，獲得了較之前同類型方法更清晰的圖像，檢測(cè)效果如圖10所示。

圖10 文獻(xiàn)[20]方法檢測(cè)效果圖

Kang等[21]提出了兩種檢測(cè)印花織物的方法，一種是借助遺傳算法來選擇最佳Gabor濾波器的參數(shù)，另一種利用距離匹配來確定印花織物的單位。最優(yōu)Gabor濾波器可以去除織物背景噪聲并增強(qiáng)瑕疵信息，從而可以完成瑕疵分割。Gabor濾波器在檢測(cè)不規(guī)則織物方面具有更好的性能。距離匹配方法在測(cè)量織物周期方面有較好的效果，Zhang[22]使用頻率濾波將織物紋理和圖案紋理分離，根據(jù)距離匹配函數(shù)來確定紋理的周期。Qu等[23]在瑕疵檢測(cè)算法中主要包含訓(xùn)練和檢測(cè)兩個(gè)過程，根據(jù)圖像的紋理周期，設(shè)置Gabor濾波器參數(shù)，當(dāng)檢測(cè)時(shí)，檢測(cè)的織物圖像首先通過兩個(gè)不同尺度的Gabor濾波器進(jìn)行處理。然后通過下采樣處理進(jìn)行大規(guī)模圖像，再利用局部對(duì)比度歸一化操作獲得的特征，計(jì)算特征與標(biāo)準(zhǔn)的距離。通過融合兩個(gè)尺度的檢測(cè)距離，得到最終結(jié)果，相比于單一尺度檢測(cè)算法有更低的計(jì)算量。利用復(fù)合差分演化（CoDE）優(yōu)化Gabor濾波器參數(shù)，Tong等[24]對(duì)于給定的圖像i(x,y)和一個(gè)k×k的Gabor濾波器掩模，通過卷積運(yùn)算獲得Gabor濾波輸出，如式（18）所示：

式中，G(x,y)是特征圖像，是由平方非線性算子得到的，代表了濾波圖像的局部能量值，特征圖像在很大程度上依賴于參數(shù)，f0,σx,σy,θ的選擇，這些參數(shù)提供了足夠的自由度來設(shè)計(jì)具有各種形狀、方向和頻率特征的濾波器。

該優(yōu)化問題是根據(jù)織物瑕疵和標(biāo)準(zhǔn)織物的特點(diǎn)設(shè)計(jì)的，實(shí)現(xiàn)織物瑕疵的最優(yōu)特征提取。在Gabor濾波器優(yōu)化中，對(duì)于每種類型織物，都需要一個(gè)無瑕疵織物圖像if(x,y)和一個(gè)瑕疵圖像id(x,y)，使用式（18）獲得的特征圖像分別用If(x,y)和Id(x,y)，這兩個(gè)特征圖每一個(gè)都被劃分成p個(gè)不重疊的像素塊，然后得到每個(gè)塊的平均值和方差：

在這些像素塊中，確定最大平均值和最小平均值，當(dāng)輸入圖像被一個(gè)最佳的Gabor濾波器過濾時(shí)，瑕疵的響應(yīng)將得到增強(qiáng)。所以，在Id所有的像素塊中，umax對(duì)應(yīng)的像素塊是有瑕疵的，umin對(duì)應(yīng)的像素塊是無瑕疵的，為實(shí)現(xiàn)對(duì)瑕疵和無瑕疵區(qū)域的最佳區(qū)分，定義適應(yīng)度函數(shù)為：

式中，S源自Fisher距離，最大的值產(chǎn)生最佳的分割效果，為使濾波后的方差盡可能低，采用的最終目標(biāo)函數(shù)為：

結(jié)合閾值和融合操作，最優(yōu)Gabor濾波器可以成功地分割原始圖像背景中的瑕疵。使用最優(yōu)濾波器而不是濾波器組顯著降低了檢測(cè)模型的計(jì)算成本。由于采集設(shè)備的原因，導(dǎo)致某些微小的瑕疵檢測(cè)過程中會(huì)出現(xiàn)不連續(xù)的邊緣，之后的學(xué)者可關(guān)注此方面。同樣使用代替濾波器組的方法，為提高訓(xùn)練過程的性能，Li等[25]使用由隨機(jī)漂移粒子群優(yōu)化算法（RDPSO）確定的最優(yōu)橢圓濾波器（EGF）代替最優(yōu)濾波器。Jing等[26]使用兩種基于Gabor濾波器和黃金圖像相減法的方法。兩者主要差別在于Gabor濾波器的選擇上，第一種方法使用1 Hz中心頻率和90°的Gabor濾波器，而第二種方法使用遺傳算法自動(dòng)選擇最優(yōu)Gabor濾波器。加上小波變換的黃金圖像相減法。本文對(duì)比三種方法進(jìn)行了比較，同時(shí)，在真實(shí)機(jī)器視覺檢測(cè)系統(tǒng)中對(duì)上述三種方法的性能進(jìn)行了測(cè)試，所提出的使用基于遺傳算法確定Gabor濾波器和黃金圖像相減的方法可以滿足紡織行業(yè)的實(shí)際需求且較其余兩者有更好的準(zhǔn)確率。Chen等[27]將半峰值切線方法應(yīng)用于Gabor濾波器的設(shè)計(jì)中以盡可能地覆蓋瑕疵的頻率，通過方向掩模選擇兩個(gè)最佳取向，并根據(jù)信噪比確定每個(gè)最佳取向的最佳尺度。但是作者提出的方法在織物損壞或者瑕疵區(qū)域與正常紋理顏色相近時(shí)，不能完全檢測(cè)出瑕疵。王傳桐等[28]結(jié)合非線性降維的等距映射算法（Isomap）以保持?jǐn)?shù)據(jù)在空間中的幾何結(jié)構(gòu)，為了消除冗余信息以提高分類器的分類精度和瑕疵的檢測(cè)精度，并對(duì)高維特征向量進(jìn)行降維。使用Gabor濾波器的各個(gè)文獻(xiàn)所檢測(cè)的瑕疵類型以及實(shí)驗(yàn)結(jié)果如表4所示。

表4 Gabor濾波器方法比較

采用Gabor濾波器也是近期較多學(xué)者用來檢測(cè)織物瑕疵的方法，Gabor濾波器的頻率和方向決定了濾波器的大小和處理圖像的位置，比較適合對(duì)織物紋理結(jié)構(gòu)進(jìn)行描述和分析，并且提供最佳的瑕疵檢測(cè)空間域和頻域，擁有較強(qiáng)的實(shí)用性，但是以上所有方法的前提都需要在選取了最優(yōu)參數(shù)的最佳濾波器的基礎(chǔ)上，但是最優(yōu)濾波器的參數(shù)的選取較為困難且計(jì)算量較大。對(duì)于瑕疵區(qū)域與背景織物不同的織物有較好的檢測(cè)性能。

3.4 基于學(xué)習(xí)的織物瑕疵檢測(cè)

近年來隨著計(jì)算機(jī)技術(shù)的發(fā)展，大多數(shù)行業(yè)包括紡織業(yè)都向著智能化方向改變，因此，基于學(xué)習(xí)的一些自動(dòng)化方法也越來越受歡迎。并且，隨著近幾年深度學(xué)習(xí)的興起，在織物疵點(diǎn)檢測(cè)方面的應(yīng)用也是越來越多。

神經(jīng)網(wǎng)絡(luò)具有映射任意復(fù)雜非線性關(guān)系的能力，Li等[29]使用一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于檢測(cè)一些常見的織物瑕疵，所提出的架構(gòu)使用具有多層感知器的若干微架構(gòu)來優(yōu)化網(wǎng)絡(luò)。微架構(gòu)的主要組成部分使用多尺度分析、濾波器分解和減少參數(shù)的技術(shù)構(gòu)建，以提高緊湊模型中的檢測(cè)精度。所提出的網(wǎng)絡(luò)模型尺寸更小且在檢測(cè)精度方面取得了優(yōu)異的性能。同樣使用多尺度分析的方法，Yapi等[30]使用監(jiān)督學(xué)習(xí)利用多尺度輪廓波圖像分解的統(tǒng)計(jì)建模來獲取紋理特征，之后使用貝葉斯分類器（BC）進(jìn)行瑕疵檢測(cè)。該方法能夠在紡織品紋理中實(shí)現(xiàn)高度精確的瑕疵檢測(cè)和定位。Li等[31]使用基于Fisher準(zhǔn)則的堆疊去噪自動(dòng)編碼機(jī)（FSCDA）由四個(gè)隱含層和一個(gè)softmax分類器組成。訓(xùn)練分為預(yù)訓(xùn)練和精調(diào)兩階段的方式進(jìn)行。訓(xùn)練集是根據(jù)行業(yè)相機(jī)捕獲的圖像繪制構(gòu)建的。每個(gè)去噪自動(dòng)編碼機(jī)（DA）都以不受限制的方式進(jìn)行訓(xùn)練且DA的權(quán)重和偏差參數(shù)用于初始化FCSDA而非使用隨機(jī)值。Rebhi等[32]利用局部同質(zhì)性和神經(jīng)網(wǎng)絡(luò)檢測(cè)織物瑕疵。首先計(jì)算一個(gè)新的同質(zhì)性圖像，然后利用離散余弦變換（DCT）于此圖像并提取每個(gè)DCT塊的不同代表性能量特征，這些能量特征將用于反向傳播神經(jīng)網(wǎng)絡(luò)來檢測(cè)織物瑕疵，檢測(cè)效果如圖11所示。

圖11 文獻(xiàn)[32]方法檢測(cè)效果圖

使用同樣數(shù)據(jù)集的Abid等[33]使用織物紋理的多項(xiàng)式插值方法檢測(cè)織物瑕疵，利用適當(dāng)?shù)牟逯刀囗?xiàng)式逼近不同的有瑕疵和無瑕疵圖像區(qū)域，然后使用這些多項(xiàng)式的系數(shù)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以檢測(cè)和定位瑕疵區(qū)域。

Gao[34]研究了使用深度學(xué)習(xí)檢測(cè)織物瑕疵的問題。提出了一種具有多卷積和最大匯聚層的卷積神經(jīng)網(wǎng)絡(luò)，在此網(wǎng)絡(luò)中使用三個(gè)卷積層來提取不同的判別特征，為了減少參數(shù)規(guī)模，在池化層中激活功能后的特征映射被下采樣為較小的特征映射。Zhang等[35]使用基于YOLOV2的方法，對(duì)比YOLO9000、YOLO-VOC和Tiny YOLO構(gòu)建織物瑕疵檢測(cè)模型。通過對(duì)比研究，選擇YOLO-VOC，通過優(yōu)化網(wǎng)絡(luò)的超參數(shù)進(jìn)一步進(jìn)行模型改進(jìn)。Yapi等[36]使用學(xué)習(xí)的方法是使用冗余輪廓變換（RCT）的織物圖案統(tǒng)計(jì)表示。利用廣義高斯（MOGG）的有限混合模型模擬了RCT系數(shù)的分布，該混合模型構(gòu)成了區(qū)分有瑕疵和無瑕疵織物的統(tǒng)計(jì)特征。檢測(cè)瑕疵區(qū)域和無瑕疵區(qū)域使用標(biāo)記的織物樣本訓(xùn)練貝葉斯分類器（BC）。Shuang等[37]使用無監(jiān)督的基于學(xué)習(xí)的自動(dòng)檢測(cè)和定位織物瑕疵的方法，利用卷積去噪自編碼網(wǎng)絡(luò)在多個(gè)高斯金字塔層次上重建圖像塊，并從相應(yīng)的分辨率通道合成檢測(cè)結(jié)果。該方法只用少量無瑕疵樣品進(jìn)行培訓(xùn)，故利于無法收集大量織物圖像的情況。同樣使用無監(jiān)督學(xué)習(xí)的方法，Susan[38]重新定義熵的異常值，并用它成功地定位高精度的紋理中的瑕疵或異常。通過高斯混合熵建模，自動(dòng)化地找到瑕疵的最佳窗口大小。Tong[39]針對(duì)織物紋理復(fù)雜、瑕疵較小的織物，提出了一種由圖像預(yù)處理、圖像恢復(fù)和閾值操作組成的織物瑕疵檢測(cè)模型。圖像預(yù)處理提高了圖像對(duì)比度，使瑕疵細(xì)節(jié)更加突出。在學(xué)習(xí)子詞典的基礎(chǔ)上，采用非局部集中稀疏表示模型對(duì)輸入圖像的無瑕疵版本進(jìn)行估計(jì)，使可能的瑕疵可以通過閾值運(yùn)算從估計(jì)圖像的殘差圖像和輸入圖像中容易地分割出來。有瑕疵的織物圖像通常由一個(gè)相對(duì)一致的背景紋理和一些稀疏的瑕疵組成，Cao[40]在一定的特征空間中將這些瑕疵表示為一個(gè)低秩矩陣加上一個(gè)稀疏矩陣。提出一種求解效率較高切基于最小二乘回歸的子空間分割模型。吳瑩[41]采用K-奇異值分解 KSVD）的方法訓(xùn)練得到一個(gè)自適應(yīng)字典。利用該字典用于機(jī)織物紋理表征，重構(gòu)正常的機(jī)織物紋理圖像。在此基礎(chǔ)上，采用閾值法檢測(cè)織物瑕疵，其鑒別能力明顯優(yōu)于離散余弦變換（DCT）字典。使用基于學(xué)習(xí)的各個(gè)文獻(xiàn)所檢測(cè)的瑕疵類型以及實(shí)驗(yàn)結(jié)果如表5所示。

表5 基于學(xué)習(xí)方法比較

雖然學(xué)習(xí)的方法可以很好地?cái)M合大量具有輸入特征的非線性數(shù)據(jù)，但是多層的神經(jīng)網(wǎng)絡(luò)需要調(diào)整大量參數(shù)。即使擅長(zhǎng)圖像分類的深度學(xué)習(xí)，也并非是一個(gè)通用的分類技術(shù)。

3.5 混合方法

有色的織物采用相近的顏色光照射可以獲得更好的結(jié)果，Bandara等[42]結(jié)合形態(tài)學(xué)運(yùn)算和閾值的算法應(yīng)用于織物瑕疵的特征提取，結(jié)果表明根據(jù)織物顏色使用相近顏色光照射可以更好地提取瑕疵特征，最后作者提到使用紫外線照明在檢測(cè)油脂瑕疵時(shí)比其他照明更有效。所以，針對(duì)某些瑕疵使用一些非常規(guī)的圖像采集方法可以更容易地分割瑕疵區(qū)域。Zhang[43]使用結(jié)合局部二值模式（LBP）和灰度共生矩陣的方法，使用LBP提取圖像的局部特征信息，通過GLCM描述圖像的整體紋理信息。最后，將兩部分的特征信息作為BP神經(jīng)網(wǎng)絡(luò)的輸入對(duì)瑕疵進(jìn)行分類。Li等[44]采用金字塔小波算法對(duì)樣本圖像進(jìn)行處理，分割圖像使用基于最大期望的高斯混合模型獲得了較好的分割效果。

織物瑕疵檢測(cè)是一個(gè)多步驟的過程，針對(duì)每個(gè)步驟又有很多的方法可以使用，但是，在提高某些步驟準(zhǔn)確率的同時(shí)需要考慮整個(gè)過程的效率是否會(huì)受影響。

3.6 圖像處理中的并行方法

在織物瑕疵檢測(cè)過程中的一些并行的方法，如：織物瑕疵的邊緣檢測(cè)可以使用并行的算法提高檢測(cè)效率，王浩等[45]在GPU平臺(tái)上提出基于統(tǒng)一計(jì)算架構(gòu)（CUDA）的并行算法，實(shí)現(xiàn)了Retinex圖像增強(qiáng)算法的并行處理，較串行算法速度提高了40倍，同樣的平臺(tái)，張晗等[46]為提高地質(zhì)圖像邊緣檢測(cè)算法的計(jì)算速度，對(duì)大尺寸的圖像加速比可提高120倍以上。這為之后相關(guān)實(shí)驗(yàn)提高檢測(cè)效率方面提供了新的思路。

4 結(jié)束語(yǔ)

隨著科技不斷的更新迭代，新的理論與方法不斷被學(xué)者們提出來。本文總結(jié)了近年來織物瑕疵檢測(cè)的一些主流方法，這些方法對(duì)應(yīng)的文獻(xiàn)以及優(yōu)缺點(diǎn)如表6所示，但是，目前織物瑕疵檢測(cè)的實(shí)時(shí)在線檢測(cè)還面臨巨大的挑戰(zhàn)。結(jié)合目前的研究現(xiàn)狀，未來織物瑕疵檢測(cè)的問題將在以下幾個(gè)方面展開：

（1）瑕疵檢測(cè)算法的通用性。盡管不斷有新的理論與方法被應(yīng)用于織物瑕疵檢測(cè)，但是大多數(shù)的理論與方法都只被應(yīng)用于個(gè)別種類的瑕疵檢測(cè)。但是，所有種類的織物都被分類為17個(gè)壁紙組。無論織物圖案或紋理出現(xiàn)多么復(fù)雜，它都必須屬于17個(gè)圖案組中的一個(gè)。這大大降低了自動(dòng)化織物檢測(cè)方法的開發(fā)和驗(yàn)證的難度，為織物圖案組開發(fā)的方法和結(jié)果應(yīng)該具有共同的特征和屬性。這種分類有助于處理紡織工業(yè)和市場(chǎng)中可用的各種織物。

表6 織物瑕疵檢測(cè)方法優(yōu)缺點(diǎn)

大多數(shù)已發(fā)布的織物檢測(cè)方法只能用于某些壁紙組，最典型的就是p1組，但在其他壁紙組上相關(guān)的實(shí)驗(yàn)較少。未來需要提出一種盡可能適用于多個(gè)壁紙組的瑕疵檢測(cè)方法。還應(yīng)在大型樣本數(shù)據(jù)庫(kù)上廣泛評(píng)估該方法。

（2）覆蓋瑕疵類型更全的織物瑕疵數(shù)據(jù)庫(kù)。上一點(diǎn)也說到，大多數(shù)的算法只針對(duì)研究者手中的瑕疵數(shù)據(jù)庫(kù)，而這些數(shù)據(jù)庫(kù)在數(shù)量上和質(zhì)量上存在一定差異。希望以后能有一個(gè)覆蓋17個(gè)壁紙組的織物瑕疵數(shù)據(jù)庫(kù)以及評(píng)價(jià)指標(biāo)用來評(píng)估所提出方法的通用性以及可靠性。

（3）新的織物圖像采集技術(shù)。結(jié)合以上分析來看，織物瑕疵檢測(cè)的準(zhǔn)確率以及效率取決于很多的因素，其中，織物圖像的采集結(jié)果會(huì)影響織物檢測(cè)的準(zhǔn)確率與效率。例如使用特定的單色光照射，紫外線照射，紅外線照射，以及采集熱成像之后的圖像等都有可能會(huì)對(duì)織物瑕疵檢測(cè)效率帶來積極的影響。

（4）多種檢測(cè)方法的組合。使用混合方法的織物瑕疵檢測(cè)可以獲得更高的檢測(cè)效率。針對(duì)不同方法的優(yōu)缺點(diǎn)可以適當(dāng)使用能彌補(bǔ)該方法缺點(diǎn)的方法來提高整體的檢測(cè)效率。

（5）使用并行方法來提高織物瑕疵的實(shí)時(shí)檢測(cè)效率?，F(xiàn)階段，目標(biāo)識(shí)別的研究方向不再局限于提高準(zhǔn)確率，識(shí)別效率的提高同樣重要。目前，織物瑕疵檢測(cè)大多使用串行算法來檢測(cè)瑕疵，目前流行的CUDA可以為織物瑕疵的實(shí)時(shí)在線檢測(cè)提供更好的支撐。