基于子圖切割的織物缺陷在線檢測(cè)方法

曹國(guó)政林富生劉泠杉宋志峰余聯(lián)慶

（1.武漢紡織大學(xué)，湖北武漢，430200；2.湖北省數(shù)字化紡織裝備重點(diǎn)實(shí)驗(yàn)室，湖北武漢，430200；3.三維紡織湖北省工程研究中心，湖北武漢，430200）

我國(guó)是紡織產(chǎn)品的主要生產(chǎn)和消費(fèi)國(guó)，紡織產(chǎn)業(yè)的發(fā)展與大眾的日常生活息息相關(guān)。據(jù)統(tǒng)計(jì)，存在缺陷的織物價(jià)值將會(huì)在完好織物價(jià)值基礎(chǔ)上削減45%～65%［1］，因此織物缺陷檢測(cè)就顯得尤為重要。目前，織物缺陷檢測(cè)主要通過人工進(jìn)行識(shí)別，優(yōu)點(diǎn)是可以檢測(cè)出所有種類的缺陷，但是人工檢測(cè)效率低。一位熟練的質(zhì)檢工人檢測(cè)速度也只有15 m/min～20 m/min［2］，并且工人會(huì)受到天氣、環(huán)境、心情等一些因素的影響而出現(xiàn)漏檢和誤檢等情況。利用機(jī)器視覺技術(shù)對(duì)織物進(jìn)行缺陷檢測(cè)就成為了學(xué)者們研究的方向。MALEK A S等人［3］利用傅里葉變換對(duì)織物紋理規(guī)律特征進(jìn)行匹配，然后通過形態(tài)學(xué)分析對(duì)缺陷進(jìn)行檢測(cè)，但檢測(cè)結(jié)果不夠穩(wěn)定。狄嵐等人［4］利用Gabor濾波器對(duì)織物圖像進(jìn)行濾波處理并融合，通過特征提取出疵點(diǎn)，提取準(zhǔn)確率提高，但是該算法增加了許多不必要的計(jì)算，因此檢測(cè)速度較慢。沈晶等人［5］先對(duì)織物紋理進(jìn)行增強(qiáng)然后通過分水嶺算法進(jìn)行圖像分割得到疵點(diǎn)，但是存在過度分割的情況，檢測(cè)結(jié)果不穩(wěn)定并且時(shí)間較長(zhǎng)，無(wú)法滿足織物在線檢測(cè)。深度學(xué)習(xí)在織物疵點(diǎn)檢測(cè)實(shí)時(shí)性上有較大的提升，但檢測(cè)準(zhǔn)確性極大依賴于訓(xùn)練數(shù)據(jù)集的大小和多樣性［6］。

本研究在現(xiàn)有檢測(cè)算法的基礎(chǔ)上提出了一種新的檢測(cè)方法（以下簡(jiǎn)稱改進(jìn)算法），既保證了檢測(cè)的精度又提高了檢測(cè)速度，滿足了織物在線檢測(cè)的需求。該檢測(cè)方法具體過程：首先搭建在線檢測(cè)的試驗(yàn)平臺(tái)，并且對(duì)織物圖像進(jìn)行采集，然后通過預(yù)處理提高織物紋理與缺陷的對(duì)比度；再對(duì)圖像進(jìn)行分割得到大小相同的一系列子圖，然后對(duì)每張子圖的灰度進(jìn)行累計(jì)，通過累計(jì)灰度與平均灰度的差值快速尋找出存在缺陷的子圖；其次，對(duì)存在缺陷的子圖單獨(dú)使用快速傅里葉變換，在頻域內(nèi)創(chuàng)建合適的濾波器進(jìn)行卷積，接著利用傅里葉逆變換將頻域信號(hào)轉(zhuǎn)變到空域，同時(shí)消除噪聲并且獲得缺陷特征；最后經(jīng)過閾值分割和特征提取得到缺陷區(qū)域。改進(jìn)算法流程具體如圖1所示。

圖1 本研究改進(jìn)算法檢測(cè)流程圖

1 圖像采集試驗(yàn)平臺(tái)搭建

織物缺陷的在線檢測(cè)可以分為織物圖像的采集和缺陷識(shí)別處理兩部分。

將采集試驗(yàn)平臺(tái)搭建在織機(jī)與卷曲軸之間，采集試驗(yàn)平臺(tái)包括包膠輥、張緊機(jī)構(gòu)、光源、攝像頭、電控柜和計(jì)算機(jī)，如圖2所示。通過張緊機(jī)構(gòu)與包膠輥將織物完全展開放置在試驗(yàn)臺(tái)上，將光源設(shè)置在攝像頭的兩側(cè)，可以更好地展現(xiàn)出織物的紋理結(jié)構(gòu)［7］，并且在織機(jī)處安裝速度傳感器，根據(jù)傳感器的信號(hào)調(diào)整卷曲以及攝像頭采集圖片的速度，經(jīng)采集好的圖片傳輸?shù)接?jì)算機(jī)上進(jìn)行缺陷檢測(cè)，記錄疵點(diǎn)位置，并及時(shí)反饋給電控柜控制停車補(bǔ)救或打標(biāo)處理，減少織物下線后的二次檢測(cè)過程。

2 圖像預(yù)處理

由于車間環(huán)境復(fù)雜，采集到的圖像往往伴隨著大量的噪聲，直接對(duì)圖像進(jìn)行缺陷識(shí)別很容易出現(xiàn)誤檢和漏檢的情況，因此在進(jìn)行缺陷識(shí)別前先對(duì)圖片進(jìn)行反轉(zhuǎn)和圖像增強(qiáng)等預(yù)處理。

2.1 圖像灰度值反轉(zhuǎn)與增強(qiáng)

由于在黑色的織物中缺陷不夠明顯，如圖3（a）所示，在識(shí)別時(shí)不容易分辨，為此將原圖像上每個(gè)像素點(diǎn)的灰度值進(jìn)行反轉(zhuǎn)，得到新圖像的灰度值，如圖3（b）所示。

圖3 缺陷圖像預(yù)處理對(duì)比圖

圖像增強(qiáng)的優(yōu)勢(shì)在于舍棄一些不感興趣的信息，而強(qiáng)調(diào)感興趣的特征，使處理后的圖片缺陷與背景更加分明?；叶茸儞Q可以很好地調(diào)整圖像的對(duì)比度，是常用的圖像增強(qiáng)手段之一。采用分段線性變換的方法抑制不感興趣的區(qū)域，使感興趣的區(qū)域更加突出，圖像增強(qiáng)后的效果如圖3（c）所示?？梢钥闯鋈毕葸吘壿喞兊酶忧逦瑥亩鵀楹竺娴臑V波卷積做準(zhǔn)備。

2.2 圖像切割

織物具有紋理相似性，圖像的背景具有相同的紋理并且占據(jù)整張圖片的絕大部分，構(gòu)建濾波器對(duì)整張圖像進(jìn)行卷積處理，大量的背景將會(huì)極大地增加卷積的計(jì)算量從而導(dǎo)致運(yùn)算速度減慢，因此對(duì)圖像進(jìn)行切割得到大小相同的子圖，僅僅對(duì)存在缺陷的子圖進(jìn)行運(yùn)算，可極大減少計(jì)算量，節(jié)約時(shí)間。

本試驗(yàn)采用MZ2710型工業(yè)攝像頭，分辨率1 920 pixel×1 080 pixel，檢測(cè)速度30幀/s，并 且使用90°鏡頭。首先，攝像頭采集圖像，然后將圖像間重疊的部分進(jìn)行裁剪得到兩張像素為900 pixel×900 pixel的圖像，最后對(duì)每張圖像進(jìn)行圖像切割處理。疵點(diǎn)所占像素點(diǎn)數(shù)量和圖像切割方式是影響檢測(cè)結(jié)果的兩個(gè)重要因素。通過控制攝像頭與織物的距離來(lái)控制圖像上疵點(diǎn)所占的像素比例。將不同距離拍攝的圖像進(jìn)行識(shí)別并分析，當(dāng)距離為5 cm時(shí)，疵點(diǎn)所占像素占圖像總像素的10%～20%，可以較好反映出疵點(diǎn)。通過子圖切割分離疵點(diǎn)和背景，切割規(guī)律和數(shù)量是圖像切割的重點(diǎn)。分別對(duì)缺陷圖像進(jìn)行塊狀切割、條狀切割、異形切割，圖像效果分析如圖4所示?？梢钥闯?，異形切割復(fù)雜，并且像素點(diǎn)數(shù)量難以控制；條紋切割雖簡(jiǎn)單，但條紋過長(zhǎng)，背景占比過大；而塊狀切割簡(jiǎn)單，缺陷與背景占比均衡。因此，塊狀切割最適宜，能滿足實(shí)際需求。接著，將圖像切割成不同大小的n×n塊子圖，然后進(jìn)行判斷分析。當(dāng)n＜3時(shí)，疵點(diǎn)所占比例小分離閾值無(wú)法確定；當(dāng)n＞3時(shí)，子圖過多運(yùn)算時(shí)間增加，綜合考慮運(yùn)算時(shí)間和分離閾值選取難易程度，取n=3較為合適。

圖4 不同切割方法

2.3 灰度值累計(jì)判斷

圖像上每個(gè)像素都有一個(gè)特定的灰度值，灰度值的大小表示該像素點(diǎn)的亮暗程度。由于織物具有相同的紋理，完好的織物具有較為穩(wěn)定的灰度值，因此背景子圖總灰度值維持在一個(gè)較小的波動(dòng)范圍內(nèi)，但是當(dāng)織物出現(xiàn)疵點(diǎn)時(shí)，灰度會(huì)發(fā)生較大的突變，將切割后的每張子圖的所有像素點(diǎn)灰度值進(jìn)行累計(jì)，并計(jì)算出灰度值方差，將灰度值方差設(shè)置為閾值，將灰度值與均值之差超過該閾值的子圖設(shè)為懷疑子圖，最后通過傅里葉變換對(duì)懷疑子圖進(jìn)行二次識(shí)別，最終得到準(zhǔn)確的織物疵點(diǎn)信息。

3 缺陷檢測(cè)

經(jīng)過預(yù)處理后，缺陷相對(duì)背景更加明顯，但是噪聲還沒有完全消除。在保證缺陷特征信息不被消除的前提下，將圖像變換到頻域的范圍內(nèi)，使用正弦形狀的疊加帶阻濾波器對(duì)圖像進(jìn)行去噪處理，進(jìn)一步減小噪聲以及背景紋理對(duì)缺陷檢測(cè)的干擾。

3.1 構(gòu)建帶阻濾波器

首先通過快速傅里葉變換將懷疑子圖的數(shù)字圖像信號(hào)進(jìn)行空域到頻域的變換，如式（1）所示。

式中：h(r，c)為懷疑子圖的數(shù)值矩陣；r、c為數(shù)值矩陣的行、列坐標(biāo)；H(u，v)為懷疑子圖頻譜。

其次，在頻域范圍內(nèi)構(gòu)造兩個(gè)阻帶半徑不同的巴特沃斯高通濾波器［8-11］，如式（2）所示。

式中：D為濾波器的阻帶半徑；D(u，v)為點(diǎn)到濾波器中心的距離；B(u，v)為巴特沃斯高通濾波器；n為濾波器階數(shù)。

將兩個(gè)高通濾波器進(jìn)行差分形成帶阻濾波器，n越大，出現(xiàn)振鈴現(xiàn)象越明顯［12-15］；n越小，卷積運(yùn)算小，過渡性差，細(xì)小的干擾細(xì)節(jié)會(huì)被檢測(cè)到。根據(jù)試驗(yàn)，選擇n=3。與傳統(tǒng)傅里葉變換使用的高斯濾波器相比，巴特沃斯濾波器的濾波介于尖銳與平滑之間，既保證了濾波的平滑度又沒有失去邊緣性。

將構(gòu)建的濾波器在頻域內(nèi)進(jìn)行卷積運(yùn)算，如式（3）所示。其中G(u，v)為傅里葉卷積函數(shù)。

最后，進(jìn)行傅里葉逆變換，將圖像的頻域信號(hào)轉(zhuǎn)變到空間域中，見式（4）。

3.2 圖像分割

3.2.1 閾值分割

圖像經(jīng)過快速傅里葉變換和卷積后，缺陷特征已經(jīng)被保留，但是缺陷特征仍然與背景混合在一起，經(jīng)過閾值分割可以很簡(jiǎn)單地將背景與缺陷特征分離出來(lái)。閾值分割原理是將占據(jù)不同灰度級(jí)范圍的像素點(diǎn)分成若干類，極大壓縮了數(shù)據(jù)量，簡(jiǎn)化了分析與處理步驟，因此運(yùn)算速度快，實(shí)現(xiàn)簡(jiǎn)單。

首先通過Halcon軟件自帶的灰度直方圖觀察圖5中的灰度值分布，可以發(fā)現(xiàn)缺陷集中于波峰中，而背景相對(duì)平坦。使用binary_threshold算子即可由Halcon軟件自動(dòng)計(jì)算出合適的閾值將缺陷和背景分割出來(lái)，如圖6所示。

圖5 灰度直方圖

圖6 閾值分割圖

3.2.2 形態(tài)學(xué)變換

經(jīng)過閾值分割后，背景與缺陷特征被分割出來(lái)，但分割的區(qū)域與缺陷區(qū)域還存在著較大的形態(tài)誤差，將分割后的區(qū)域進(jìn)行形態(tài)學(xué)變換，使兩區(qū)域更加吻合。對(duì)區(qū)域進(jìn)行閉運(yùn)算即先膨脹運(yùn)算后腐蝕運(yùn)算，將較大的區(qū)域聯(lián)合在一起，并且利用填充運(yùn)算將區(qū)域中間的空洞進(jìn)行填補(bǔ)，形成一塊完整的區(qū)域，如圖7所示。

圖7 形態(tài)學(xué)變換

3.2.3 缺陷提取

織物在生產(chǎn)過程中主要會(huì)形成破洞、棉粒等缺陷，缺陷的形狀、長(zhǎng)、寬以及灰度特征都不具備一定的規(guī)律性，因此選擇面積作為篩選條件，在Halcon軟件中使用select_shape算子，將條件為area參數(shù)在30～9 999范圍內(nèi)的缺陷特征提取出來(lái)。

3.2.4 子圖合并

當(dāng)缺陷檢測(cè)完成后，為了更加直觀地顯示原圖像缺陷位置，因此將所有子圖按照原排列順序進(jìn)行合并，恢復(fù)原來(lái)的圖像，再顯示檢測(cè)結(jié)果，如圖8所示。

圖8 檢測(cè)結(jié)果顯示

4 對(duì)比分析與結(jié)果討論

4.1 試驗(yàn)對(duì)比與分析

為了驗(yàn)證改進(jìn)算法在準(zhǔn)確率和檢測(cè)速度上的優(yōu)勢(shì)，將同一批織物缺陷分別使用傳統(tǒng)傅里葉變換算法（以下簡(jiǎn)稱傳統(tǒng)算法）和改進(jìn)算法進(jìn)行檢測(cè)，對(duì)兩者的檢測(cè)結(jié)果和時(shí)間進(jìn)行比較分析。

圖9展示了兩組具有代表性的結(jié)果對(duì)比圖?？梢钥闯觯趯ふ胰毕輩^(qū)域上，改進(jìn)算法尋找到的區(qū)域輪廓與缺陷區(qū)域輪廓更加貼合；在檢測(cè)結(jié)果上，傳統(tǒng)傅里葉變換算法會(huì)受到噪聲的干擾，從而引起誤判和漏判等情況的發(fā)生。

表1是將檢測(cè)試驗(yàn)重復(fù)進(jìn)行10組，分別記錄兩種檢測(cè)算法的檢測(cè)準(zhǔn)確率和檢測(cè)時(shí)間。可以看出，傳統(tǒng)算法的平均準(zhǔn)確率為92.89%，平均檢測(cè)時(shí)間為219.01 ms；改進(jìn)算法的平均準(zhǔn)確率為97.66%，平均檢測(cè)時(shí)間為178.15 ms。改進(jìn)算法在準(zhǔn)確率和平均用時(shí)上都有明顯提高。

圖9 檢測(cè)結(jié)果對(duì)比

表1 檢測(cè)結(jié)果對(duì)比

4.2 檢測(cè)準(zhǔn)確率分析

為了進(jìn)一步分析改進(jìn)算法的檢測(cè)準(zhǔn)確率，利用相機(jī)在現(xiàn)場(chǎng)隨機(jī)采集500張圖像，其中帶有缺陷圖像和合格圖像各占250張，再將這500張圖像隨機(jī)等分成10組并進(jìn)行準(zhǔn)確率檢測(cè)，檢測(cè)結(jié)果如表2所示。可以看出，改進(jìn)算法的檢測(cè)準(zhǔn)確率較好，平均準(zhǔn)確率可達(dá)98.2%。

表2 試驗(yàn)圖像準(zhǔn)確率

4.3 穩(wěn)定性測(cè)試分析

在實(shí)際生產(chǎn)的過程中，由于工作現(xiàn)場(chǎng)的環(huán)境過于復(fù)雜，并且影響檢測(cè)結(jié)果的因素易于變化，因此算法的穩(wěn)定性是判別算法好壞的重要參數(shù)。將能夠準(zhǔn)確檢測(cè)的缺陷圖片和合格圖片各選50張并分成合格組與不合格組，再將試驗(yàn)環(huán)境進(jìn)行不同程度的改變，對(duì)兩組圖像進(jìn)行30次重復(fù)性試驗(yàn)，統(tǒng)計(jì)準(zhǔn)確率結(jié)果如表3所示?？梢钥闯?，改進(jìn)算法對(duì)不同環(huán)境的適應(yīng)性良好，具有較高的穩(wěn)定性。在不同環(huán)境下，合格組的檢測(cè)準(zhǔn)確率達(dá)到了98.80%，不合格組的準(zhǔn)確率也達(dá)到了98.93%。再將每組的平均檢測(cè)時(shí)間繪制成折線圖，如圖10所示?？梢钥闯?，合格圖像的平均檢測(cè)時(shí)間為105.91 ms，不合格圖像平均檢測(cè)時(shí)間為178.84 ms，滿足實(shí)時(shí)檢測(cè)的需求。

表3 穩(wěn)定性試驗(yàn)準(zhǔn)確性結(jié)果

圖10 試驗(yàn)檢測(cè)時(shí)間統(tǒng)計(jì)結(jié)果

4.4 適應(yīng)性測(cè)試分析

為了驗(yàn)證改進(jìn)算法所適應(yīng)的疵點(diǎn)類型，分別對(duì)破洞、油污、棉球、粗結(jié)、霉斑、雜物、缺經(jīng)、缺緯、雙經(jīng)、雙緯、經(jīng)縮、緯縮等10種常見織物缺陷進(jìn)行檢測(cè)，數(shù)據(jù)匯總?cè)绫?所示。

由表4可知，改進(jìn)算法對(duì)區(qū)域型缺陷如破洞、油污、霉斑和離散型缺陷如棉球、粗結(jié)、雜物的檢測(cè)準(zhǔn)確率較高，均在90%以上，但是在紋理型缺陷如缺經(jīng)、缺緯、經(jīng)縮、緯縮的檢測(cè)準(zhǔn)確率僅有50%～60%。

表4 缺陷檢測(cè)適應(yīng)性結(jié)果

5 結(jié)論

為了減輕質(zhì)檢工人的勞動(dòng)強(qiáng)度，提高檢測(cè)準(zhǔn)確性與效率，本研究基于機(jī)器視覺的傳統(tǒng)傅里葉變換檢測(cè)算法提出改進(jìn)，將完整的織物圖像進(jìn)行切割得到多張子圖，并對(duì)子圖進(jìn)行灰度累計(jì)并判斷，將灰度值相近的背景首先剔除，再對(duì)懷疑子圖使用巴特沃斯高通濾波器在頻域內(nèi)進(jìn)行卷積處理，并通過閾值分割和特征提取進(jìn)行缺陷識(shí)別。與傳統(tǒng)算法相比，改進(jìn)算法經(jīng)過兩次判斷首先剔除大量背景減少運(yùn)算時(shí)間，然后使用巴特沃斯高通濾波器進(jìn)行濾波，邊緣信息更加準(zhǔn)確明顯，因此檢測(cè)的準(zhǔn)確性和時(shí)效性得到較大提高。通過對(duì)實(shí)際生產(chǎn)過程中產(chǎn)生的區(qū)域型缺陷和離散型缺陷進(jìn)行檢測(cè)和結(jié)果分析，改進(jìn)算法的平均檢測(cè)時(shí)間為178.15 ms、平均準(zhǔn)確率為97.66%，而傳統(tǒng)算法平均檢測(cè)時(shí)間為219.01 ms、平均準(zhǔn)確率為92.89%。本研究改進(jìn)算法在檢測(cè)準(zhǔn)確率和檢測(cè)時(shí)間上都有明顯的改善，具備實(shí)時(shí)檢測(cè)的條件，且魯棒性良好。但是在紋理型缺陷的檢測(cè)上，與傳統(tǒng)算法相比，改進(jìn)算法的準(zhǔn)確率略有提高，仍有提升空間。