基于機器視覺的碳纖維預(yù)浸料表面缺陷檢測方法

路 浩， 陳 原

(山東大學(xué) 機電與信息工程學(xué)院， 山東 威海 264209)

碳纖維是含碳量高于90%的無機高分子纖維，既具有碳材料的固有本征特性，又兼具紡織纖維的柔軟可加工性，是目前已大量生產(chǎn)的高性能纖維中具有最高比強度和最高比模量的纖維[1]。碳纖維預(yù)浸料是碳纖維行業(yè)的下游產(chǎn)品，經(jīng)過再加工可被廣泛應(yīng)用于航空航天、汽車、體育器材等各個領(lǐng)域。據(jù)數(shù)據(jù)統(tǒng)計，2018—2022年全球航空航天碳纖維預(yù)浸料市場規(guī)模將保持在9.0%以上的增長速度，同時在汽車輕量化和新能源汽車的帶動下，2018—2022年全球汽車用碳纖維預(yù)浸料市場將保持30%以上的增速[2]。

隨著需求量的迅猛增長，市場對產(chǎn)品質(zhì)量的要求也更加嚴格。在生產(chǎn)過程中由于需要涂膜、熱壓、冷卻、覆膜、卷曲等多道工藝反復(fù)處理，碳纖維預(yù)浸料表面會出現(xiàn)裂縫、毛團和孔洞等缺陷。針對這些缺陷，目前主要采用人工檢測方法，效率低，工人長期工作易疲勞，易出現(xiàn)漏檢和誤檢。另外，也可采用紅外熱波、超聲和微波等檢測方法，但紅外熱波檢測速度慢，無法滿足快速生產(chǎn)線；超聲檢測在探頭處需要耦合劑，會對材料造成二次污染；微波檢測更適用于檢測碳纖維材料內(nèi)部的缺陷，對材料表面缺陷檢測并不理想[3]。以上檢測方法需要檢測對象保持靜止，檢測完一個區(qū)域后，再檢測另一個區(qū)域，額外地增加了檢測時間，降低了生產(chǎn)效率。

隨著機器視覺的不斷發(fā)展和完善，國外許多公司針對紡織物表面存在的缺陷，設(shè)計了多種機器視覺自動檢測系統(tǒng)。例如：美國Ingersoll Machine Tools公司開發(fā)了一套基于機器視覺的自動鋪絲在線檢測系統(tǒng)[4]；以色列EVS公司開發(fā)了I-TEX 2000織物檢測系統(tǒng)，該系統(tǒng)對單色織物具有良好的檢測效果[5]；瑞士Uster公司開發(fā)了Fabriscan自動驗布系統(tǒng)，可在實時檢測的同時對缺陷的數(shù)量類型進行統(tǒng)計和保存[6]。但以上檢測系統(tǒng)都只能檢測特定產(chǎn)品，不具有通用性，無法完全地將其應(yīng)用于碳纖維預(yù)浸料的表面缺陷檢測，且這些檢測系統(tǒng)大多是基于傳統(tǒng)的目標(biāo)檢測算法，在復(fù)雜光照條件下，檢測速度和精度還有待進一步提高。

近年來，卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展為圖像的識別提供了一種新途徑，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法迅猛發(fā)展，已在多個應(yīng)用領(lǐng)域取得成功。2016年Redmon等[7]發(fā)表了題名為“You only look once: unified, real-time object detection”的論文(簡稱YOLO)，開創(chuàng)了單階段目標(biāo)檢測算法。針對YOLO算法的不足，2017年Redmon等[8]提出了YOLOv2算法，其檢測速度要遠大于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast R-CNN)和最快區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster R-CNN)等雙階段目標(biāo)算法[9]，使用者可在速度和精度之間進行權(quán)衡。針對碳纖維預(yù)浸料的表面缺陷，本文采用YOLOv2目標(biāo)檢測算法，設(shè)計了一種基于機器視覺的碳纖維預(yù)浸料表面缺陷的自動檢測系統(tǒng)，可自動提取缺陷特征，大大提高了視覺檢測系統(tǒng)的精度和魯棒性。

1 系統(tǒng)組成與原理

圖1示出本文所開發(fā)的碳纖維預(yù)浸料表面缺陷檢測系統(tǒng)。該系統(tǒng)是基于機器視覺技術(shù)和圖像處理方法來實現(xiàn)的。該檢測系統(tǒng)由線掃描相機、光源、碳纖維預(yù)浸料、滾筒、工控機和編碼器等組成，可自動采集碳纖維預(yù)浸料的表面圖像，并通過圖像處理和YOLOv2目標(biāo)檢測算法判斷碳纖維預(yù)浸料表面是否存在缺陷。

1—工控機； 2—碳纖維預(yù)浸料； 3—線掃相機； 4—編碼器； 5—光源； 6—滾筒。圖1 碳纖維預(yù)浸料的表面缺陷檢測系統(tǒng)Fig.1 Surface defect detection system of carbon fiber prepreg

當(dāng)碳纖維預(yù)浸料開始生產(chǎn)時，會帶動編碼器上的滾輪滾動，此時編碼器會向線掃描相機輸入觸發(fā)信號，觸發(fā)相機開始拍照。線掃描相機通過連續(xù)掃描，每隔一段距離將掃描的像素信息合成一張圖像，完成圖像的連續(xù)采集。停止生產(chǎn)時，編碼器滾輪停止?jié)L動，則相機停止采集圖像。圖像采集完成后，采用相應(yīng)的算法對圖像進行處理，并判斷碳纖維預(yù)浸料表面是否存在缺陷并輸出結(jié)果。

2 圖像采集

獲取圖像數(shù)據(jù)是視覺系統(tǒng)檢測的第1步。碳纖維預(yù)浸料在生產(chǎn)時不斷向前運動，面陣工業(yè)相機會出現(xiàn)漏拍，且采集到的圖像會出現(xiàn)模糊，無法用于后期處理，所以，本文采用線掃描相機代替面陣相機來獲取圖像數(shù)據(jù)。實驗用碳纖維預(yù)浸料的幅寬為 1 300 mm，檢測精度要求不小于0.25 mm。由于碳纖維預(yù)浸料的幅寬較大，無法通過1個線掃描相機獲取整個幅寬的圖像數(shù)據(jù)，所以本文研究將幅寬分為2個部分，分別使用2臺線掃描相機采集圖像。由檢測精度推出相機的分辨率要求不小于 2 600像素(幅寬/檢測精度)，因此，選擇加拿大Dalsa P2-22-04K40 型線掃描工業(yè)相機，該相機的分辨率為 4 096 像素，相機像元為7.04 μm，行頻為18 kHz。鏡頭選用尼康A(chǔ)F35 mm，使用F型接口與相機相連，焦距為35 mm，最大光圈為f/1.4。光源采用美國Advanced illumination公司產(chǎn)的1 400 mm高亮條形LED光源，可為系統(tǒng)提供高亮度、高均勻、高穩(wěn)定的光照環(huán)境。

根據(jù)線掃描相機成像原理，按照式(1)計算出相機的標(biāo)準(zhǔn)工作距離[10]：

(1)

式中：μ為相機像元，mm；N為相機分辨率，像素；f為相機焦距，mm；w為相機拍攝區(qū)域碳纖維預(yù)浸料的幅寬，mm；d為相機標(biāo)準(zhǔn)工作距離，mm。

根據(jù)上述參數(shù)確定相機的安裝位置：相機安裝高度為800 mm。2個相機均勻分布，每個相機負責(zé)的預(yù)浸料幅寬為650 mm,安裝在負責(zé)區(qū)域的正中央，相機間距離為650 mm。光線須經(jīng)過一層磨砂亞克力板散射，所以選擇光源安裝高度為 20～30 mm，以保證每個區(qū)域內(nèi)的光照均勻。線掃描相機采集圖像存在的幾種主要缺陷如圖2所示。

圖2 碳纖維預(yù)浸料的表面缺陷Fig.2 Surface defects of carbon fiber prepreg.(a) Normal; (b) Crack; (c) Hairball; (d) Hole

3 圖像處理

3.1 圖像預(yù)處理

碳纖維預(yù)浸料表面缺陷檢測系統(tǒng)安裝在覆膜工序之前，冷卻工序之后。在冷卻過程中，由于樹脂涂抹不均勻和冷卻不完全，會使碳纖維預(yù)浸料表面蒙上一層白霧，嚴重影響缺陷目標(biāo)的檢測。

通過圖像數(shù)據(jù)的簡單灰度縮放可去除白色樹脂的影響，但同時會將缺陷目標(biāo)一同去除，圖像無法用于后期處理。碳纖維預(yù)浸料和其表面缺陷只有黑白 2種顏色，無其他雜色，因此，本文將采集到的RGB三通道圖像轉(zhuǎn)化為灰度圖像，簡化圖像的后期處理；然后，通過將白色樹脂轉(zhuǎn)化為白霧，基于暗通道先驗圖像去霧方法去除白霧；最后，通過灰度縮放對圖像進行增強。

暗通道先驗圖像去霧方法是基于大氣光散射模型所構(gòu)建的，主要由入射光衰減模型和環(huán)境光成像模型組成[11]。本文將白色樹脂對碳纖維預(yù)浸料的影響轉(zhuǎn)化為大氣中散射顆粒對相機成像的影響，通過求取光線透射率和大氣光值，由式(2)求取無霧圖像。

I(x)=J(x)t(x)+A(1-t(x))

(2)

式中：I(x)為采集到的有霧圖像；J(x)為要獲得的無霧圖像；t(x)為透射率，描述光線的透霧能力；A為圖像中無窮遠處的大氣光值。

通過去霧后獲得的圖像雖然沒有了干擾，但缺陷目標(biāo)灰度值較小，對比度較差，需通過灰度縮放進一步實現(xiàn)圖像的增強。圖像去霧增強前后的對比圖如圖3所示。

圖3 圖像預(yù)處理Fig.3 Image pre-processing.(a) Original image; (b) Dehazing image; (c) Enhanced image

3.2 圖像目標(biāo)識別

本文采用YOLOv2目標(biāo)檢測算法來識別碳纖維預(yù)浸料表面缺陷，算法基本架構(gòu)如圖4所示。與傳統(tǒng)的目標(biāo)檢測算法相比，YOLOv2算法不需要人工設(shè)計特征提取算子，檢測速度更快，應(yīng)用范圍更廣。與雙階段目標(biāo)檢測算法相比，YOLOv2算法不需要生成區(qū)域候選框，將對象檢測轉(zhuǎn)化為回歸問題，直接從輸入圖像確定圖像中對象的類別和位置，具有更好、更強、更快的檢測性能[12]。在世界級計算機視覺挑戰(zhàn)賽PASCAL(pattern analysis, statical modeling and computational learning)專用的視覺目標(biāo)分類數(shù)據(jù)集VOC(visual object classes)上，YOLOv2算法與其他目標(biāo)檢測算法的性能對比[8]得到：YOLOv2算法與其他算法平均精度均值接近，但圖像處理速度遠遠超過了其他算法；且其多尺度訓(xùn)練模式，實現(xiàn)了算法速度和準(zhǔn)確度之間的平衡。

1—圖像特征提取分類; 2—圖像識別(邊界框預(yù)測)； 3—非極大值抑制; 4—邊界框回歸。圖4 YOLOv2目標(biāo)檢測算法的框架Fig.4 Algorithm framework of YOLOv2

3.2.1 圖像特征提取分類

識別碳纖維預(yù)浸料表面圖像中的缺陷目標(biāo)，第1步需要提取圖像特征。本文采用Darknet-19卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，與牛津大學(xué)視覺組(visual geometry group)設(shè)計的VGG-16和Google公司設(shè)計的GoogleNet等卷積神經(jīng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)具有更快的訓(xùn)練速度，且在世界圖像識別最大數(shù)據(jù)庫ImageNet數(shù)據(jù)庫上，該網(wǎng)絡(luò)的top-1準(zhǔn)確率達到72.9%，top-5準(zhǔn)確率達到91.2%。Darknet-19網(wǎng)絡(luò)由19個卷積層和5個最大池化層組成。該神經(jīng)網(wǎng)絡(luò)使用了較多的3×3卷積核，在每次池化操作后將通道數(shù)翻倍，同時使網(wǎng)絡(luò)全局平均池化，將1×1卷積核置于3×3卷積核之間，用來壓縮特征[13]。Darknet-19網(wǎng)絡(luò)在每個卷積層后均加入一個批量標(biāo)準(zhǔn)化層，可穩(wěn)定模型訓(xùn)練，加速模型收斂，正則化模型[14]。Darknet-19卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如表1所示。將224 像素×224 像素分辨率的圖像輸入網(wǎng)絡(luò)后，經(jīng)過卷積和池化操作獲得圖像目標(biāo)特征，最終輸出目標(biāo)特征圖。

表1 Darknet-19卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)Tab.1 Architecture of convolutional neural network of Darknet-19

通過上述卷積神經(jīng)網(wǎng)絡(luò)提取了圖像特征，然后使用特征值對表面缺陷進行分類。本文采用Softmax分類器對碳纖維預(yù)浸料表面缺陷進行分類，與其他分類器相比，Softmax分類器收斂速度快，很少出現(xiàn)梯度消失，且更適用于多類別對象的分類。Softmax分類器位于卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的最后一層，其將多個神經(jīng)元的輸出映射到(0，1)區(qū)間內(nèi)，且這些映射值之和等于1。這樣就可將這些映射值理解為概率，最后選取輸出節(jié)點時，將概率較大的節(jié)點作為輸出節(jié)點，用來預(yù)測缺陷目標(biāo)[15]。Softmax函數(shù)計算公式為

(3)

式中，Si為第i個元素的Softmax值，i=1,2,…,j。

3.2.2 圖像標(biāo)識

完成圖像特征提取并分類后，下一步任務(wù)是標(biāo)記出圖像中的缺陷目標(biāo)。標(biāo)記圖像常用方法有 2種：一種是通過矩形邊界框?qū)⒛繕?biāo)圈出；另一種是沿目標(biāo)輪廓對其進行填充。沿目標(biāo)輪廓填充會導(dǎo)致目標(biāo)被覆蓋，不符合人眼觀察習(xí)慣。使用矩形邊界框標(biāo)記圖像缺陷目標(biāo)，首先應(yīng)去除卷積神經(jīng)網(wǎng)絡(luò)的全連接層和最后一個池化層，以保證最后卷積層的特征有更高的分辨率。由于大的目標(biāo)通常會占據(jù)圖像的中心，采用具有奇數(shù)寬和高的特征圖更易預(yù)測目標(biāo)。

將特征圖劃分為13×13網(wǎng)格，每個網(wǎng)格生成 9個錨框(Anchor boxes)，用于生成預(yù)測邊界框。為使算法能更加自動生成Anchor boxes，采用K-means方法對訓(xùn)練集的預(yù)測框做聚類分析，并通過定義距離函數(shù)消除預(yù)測邊界框和實際邊界框的誤差與邊界框尺寸存在的關(guān)聯(lián)。通過在VOC和微軟公司標(biāo)注的COCO(Miscrosoft Common Objects in Context)數(shù)據(jù)集上做聚類分析可發(fā)現(xiàn)，隨著聚類中心數(shù)目的增加，YOLOv2預(yù)測邊界框的AvgIOU值(AvgIOU為平均重疊度，即訓(xùn)練生成的邊界框與人工標(biāo)注的實際邊界框之間的重疊度)不斷增加，且采用5個Anchor boxes的YOLOv2算法的預(yù)測效果就可超過采用9個Anchor boxes的Faster R-CNN算法[6]。綜合考慮模型的復(fù)雜度和召回率，本文選取5個Anchor boxes來預(yù)測邊界框。

1張圖像經(jīng)過上述處理后，特征圖被劃分為 13×13 的網(wǎng)格，每個網(wǎng)格生成5個不同比例的Anchor boxes，每個Anchor boxes包含5個預(yù)測值(tx、ty、tw、th、t0)，用于計算預(yù)測邊界框的坐標(biāo)、寬高和置信度，計算公式為：

(4)

式中:(bx,by)為預(yù)測邊界框的坐標(biāo)；bw、bh分別為預(yù)測邊界框的寬和高；cx和cy為預(yù)測框中心坐標(biāo)所在的網(wǎng)格距離左上角第1個網(wǎng)格的橫向和縱向距離，單位為1；pw和ph為Anchor boxes的寬和高，tw和th經(jīng)指數(shù)化處理后，與pw和ph相乘即得到預(yù)測邊界框的寬和高；σ(t0)為預(yù)測框的置信度；σ()為sigmoid激活函數(shù)，tr和ty經(jīng)sigmoid函數(shù)處理后，得到數(shù)值在0～1之間；object為缺陷目標(biāo)，Pr(object)當(dāng)Anchor boxes包含目標(biāo)時為1，不包含目標(biāo)時為0；IOU為重疊度計算。

3.2.3 非極大值抑制

為解決一個目標(biāo)被多次檢測的問題，本文采用非極大值抑制方法。經(jīng)過以上步驟后，最可能包含目標(biāo)的邊界框會出現(xiàn)多個，每個邊界框的置信度不同，如圖5所示。本文所采用的非極大值抑制方法首先從所有的邊界框中找出置信度最大的框；然后依次計算其與剩余框的重疊度，如果重疊度大于設(shè)定的閾值，則剔除該框；重復(fù)以上步驟，直至處理完所有的邊界框[16]。

圖5 非極大值抑制過程Fig.5 Process of non-maximum suppression

3.2.4 邊界框回歸

1張圖像經(jīng)過上述步驟之后，算法會生成1個邊界框，如圖6所示。深色邊框為制作數(shù)據(jù)集時人工標(biāo)注的實際邊界框，白色邊框為算法模型生成的邊界框，2個邊界框中心沒有完全重合，大小也不一致。為使算法生成的邊界框定位更加精準(zhǔn)，對邊界框進行平移和縮放，使2個邊界框無限重合。

圖6 邊界框回歸Fig.6 Bounding box regression

3.3 網(wǎng)絡(luò)訓(xùn)練和圖像檢測

YOLOv2目標(biāo)檢測算法包含許多類型，如YOLO-VOC和Tiny-YOLO等，這些類型的檢測算法具有不同的卷積層、池化層和激活函數(shù)。Tiny-YOLO對算法進行了簡化，訓(xùn)練時占用內(nèi)存小，速度更快。本文采用YOLO-VOC和Tiny-YOLO這2種算法對圖像數(shù)據(jù)進行對比訓(xùn)練，確定最適合本文數(shù)據(jù)的算法類型[17]。

首先將預(yù)處理獲取的1 000張圖像分辨率調(diào)整為416 像素×416 像素，其中700張用于網(wǎng)絡(luò)訓(xùn)練，300張用于圖像檢測；然后用圖像標(biāo)注軟件LabelImg對圖像中的缺陷進行人工標(biāo)注，生成與圖像相對應(yīng)的XML文件；最后將圖像與對應(yīng)的標(biāo)注文件制作為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集[18]。

算法在具有Nvida Geforce GTX 1080 Ti E5-2680 GPU和Intel i7處理器的平臺上運行，平臺裝有Ubuntu 16.04操作系統(tǒng),GPU大小為4核 32 G,深度學(xué)習(xí)框架為Pytorch。根據(jù)實驗，迭代次數(shù)設(shè)置為 10 000 即可達到理想效果，平均重疊度曲線圖如圖7所示?？梢钥闯?，隨著訓(xùn)練迭代次數(shù)的增加，平均重疊度值逐步增加并趨于穩(wěn)定。同時平均重疊度等于50%時的召回率(評估算法的精度)和平均重疊度等于75%時的召回率也越來越接近1。

圖7 碳纖維預(yù)浸料表面缺陷的訓(xùn)練結(jié)果Fig.7 Training results of carbon fiber prepreg surface defect

為提高網(wǎng)絡(luò)的魯棒性，選擇YOLOv2算法的多尺度訓(xùn)練模式。在網(wǎng)絡(luò)訓(xùn)練時，每迭代10次，網(wǎng)絡(luò)會隨機選擇不同尺寸的圖像，可實現(xiàn)準(zhǔn)確率和速度之間較好的平衡。2類算法在本文訓(xùn)練數(shù)據(jù)集上訓(xùn)練的結(jié)果如表2所示，Tiny-YOLO算法多尺度訓(xùn)練的結(jié)果如表3所示。

表2 YOLOv2模型的訓(xùn)練結(jié)果對比Tab.2 YOLOv2 model training results comparison

注：mAP為算法平均精度均值。

表3 Tiny-YOLO多尺度訓(xùn)練結(jié)果Tab.3 Tiny-YOLO multi-scale training results

由訓(xùn)練結(jié)果可知，2個算法的mAP值非常接近，但YOLO-VOC的訓(xùn)練時間遠超過Tiny-YOLO，且通過對Tiny-YOLO多尺度訓(xùn)練，416 像素×416 像素分辨率的圖像具有更好的訓(xùn)練效果。

為檢測算法的檢測能力，使用測試數(shù)據(jù)集輸入訓(xùn)練好的Tiny-YOLO算法模型進行檢測。結(jié)果顯示，每幅圖像的檢測速度不超過0.1 s，最快達到 0.06 s/幅，檢測速度遠遠超過了人工。缺陷檢測結(jié)果如圖8所示。結(jié)果共分為5組，每組分別包含裂縫、毛團和孔洞3種缺陷的檢測精度。

圖8 碳纖維預(yù)浸料表面缺陷的檢測結(jié)果Fig.8 Detect results of carbon fiber prepreg surface defects. (a) Crack defect inspection results; (b) Hair mass defect detection results; (c) Hole defect detection results

4 結(jié)果分析

本文對碳纖維預(yù)浸料表面缺陷檢測系統(tǒng)的檢測結(jié)果進行統(tǒng)計可知：裂縫缺陷檢出率為96%，準(zhǔn)確率為100%；毛團缺陷檢出率為95%，準(zhǔn)確率為98%；孔洞缺陷檢出率為94%，準(zhǔn)確率為97%。通過觀察分析：裂縫缺陷為長條狀,極易與其他2種缺陷區(qū)分，不會出現(xiàn)誤檢現(xiàn)象，但對于較細的裂縫，會出現(xiàn)漏檢；毛團缺陷由于個別較模糊，對比度較小，導(dǎo)致檢出率沒有裂縫高，且會出現(xiàn)較小的毛團誤判為孔洞的現(xiàn)象；孔洞缺陷規(guī)則可分辨率高，但一般較小，導(dǎo)致檢出率低于毛團，且會出現(xiàn)較大孔洞誤判為毛團現(xiàn)象。針對以上現(xiàn)象，通過調(diào)整Tiny-YOLO算法的細粒度特征，在卷積神經(jīng)網(wǎng)絡(luò)中加入Passthrough layer層，將淺層特征圖連接到深層特征圖，提高模型對較小缺陷的檢測效果，系統(tǒng)的最終檢測效果如表4所示?？芍?，本文系統(tǒng)對3種缺陷的檢出率和誤檢率均達到了工業(yè)應(yīng)用標(biāo)準(zhǔn)。

表4 系統(tǒng)檢測效果Tab.4 System detect effect %

5 結(jié) 論

針對碳纖維預(yù)浸料表面存在的缺陷，本文采用YOLOv2目標(biāo)檢測算法，設(shè)計了一種基于機器視覺的碳纖維預(yù)浸料表面缺陷自動檢測系統(tǒng)。系統(tǒng)采用高分辨率線掃描相機采集圖像，采用暗通道先驗去霧的方法對圖像進行預(yù)處理，然后基于YOLOv2目標(biāo)檢測算法對圖像進行處理，識別圖像中的缺陷目標(biāo)。YOLOv2與其他目標(biāo)檢測算法相比，不僅具有較高的檢測精度，且具有較高的檢測速度。實驗顯示，該系統(tǒng)可很好地完成缺陷檢測任務(wù)，達到實時檢測的要求。在以后的工作中將不斷完善系統(tǒng)的功能，提高系統(tǒng)各方面的性能,為碳纖維預(yù)浸料表面缺陷自動檢測的研究提供幫助。