基于機(jī)器視覺的汽車漆面缺陷檢測技術(shù)

趙健 付琴

（1.上海蔚來汽車有限公司，上海 201805；2.赫比國際有限公司，上海 201313）

1 前言

隨著汽車消費(fèi)市場不斷升級，漆面外觀及質(zhì)量受到越來越多的關(guān)注。工藝水平及生產(chǎn)環(huán)境不確定性因素會造成涂層表面產(chǎn)生不同程度的缺陷。目前涂裝漆膜缺陷主要依靠人工檢測，勞動(dòng)成本高，主觀影響大，制約了涂裝的生產(chǎn)效率。此外，僅靠人工不能達(dá)到完全準(zhǔn)確的質(zhì)量判斷，增加了返工成本，限制了企業(yè)擴(kuò)大產(chǎn)能，甚至還可能會造成用戶抱怨，對企業(yè)聲譽(yù)造成影響。

近年來，隨著工業(yè)信息化和智能化的發(fā)展，涂裝漆面缺陷檢測對自動(dòng)化、智能化生產(chǎn)模式的需求日益增長。機(jī)器視覺作為1 種新興技術(shù)，具有高效、穩(wěn)定和自動(dòng)化程度高的特點(diǎn)，為漆面缺陷檢測系統(tǒng)的研發(fā)奠定了理論基礎(chǔ)。基于機(jī)器視覺的檢測方法可以較好地解決傳統(tǒng)人工檢測遇到的時(shí)間長、工作量大、效率低的問題。本文對汽車漆面缺陷檢測技術(shù)進(jìn)行了深入研究，旨在為有意向應(yīng)用該項(xiàng)技術(shù)的企業(yè)提供指導(dǎo)和幫助。

2 漆面缺陷檢測技術(shù)

汽車漆面缺陷主要有顆粒、流掛、劃痕，如圖1所示。漆面缺陷檢測系統(tǒng)是利用機(jī)器模擬人眼的視覺功能，輔助完成漆面缺陷的檢測和判斷工作。漆面缺陷檢測系統(tǒng)通常由前端采集傳輸和后端處理顯示2 部分組成。前端采集傳輸主要是通過工業(yè)相機(jī)完成整車漆面圖像的采集和傳輸，后端處理顯示主要是針對漆面缺陷圖像進(jìn)行數(shù)據(jù)處理、分析、分類和終端顯示。

圖1 漆面缺陷

系統(tǒng)硬件主要包括光源、工業(yè)相機(jī)、視覺處理器以及機(jī)器人等，系統(tǒng)軟件主要包括視覺分析系統(tǒng)和運(yùn)動(dòng)控制系統(tǒng)。系統(tǒng)對漆面缺陷檢測的過程和結(jié)果全程保存在本地電腦數(shù)據(jù)庫上，同時(shí)可以與車間管理系統(tǒng)對接，實(shí)現(xiàn)檢測結(jié)果的分類查詢、匯總分析功能[1]。

主流的漆面檢測技術(shù)路線分為2 類，一類是隧道式缺陷檢測系統(tǒng)，另一類是機(jī)器人式缺陷檢測系統(tǒng)。隧道式和機(jī)器人式缺陷檢測系統(tǒng)的共同點(diǎn)在于均為鏡面反射成像原理，支持顆粒、流掛、劃痕漆面缺陷的檢測，但受制于光學(xué)成像的局限性，車身遮擋區(qū)域及外板邊緣10 mm 無法檢測。

2.1 隧道式缺陷檢測系統(tǒng)

隧道式缺陷檢測系統(tǒng)采用門拱框架來布置光源和相機(jī)，如圖2 所示。該系統(tǒng)的檢測硬件由主檢測站、后蓋檢測站2 部分組成。主檢測站安裝在面漆存儲線，用于檢測前蓋、車頂和兩側(cè)面；后蓋檢測站安裝在烘房出口橫移機(jī)處，用于檢測后蓋，如圖3 所示。采用編碼器+激光測距儀方案來支持車身毫米級的定位，采用條紋光反射漆面瑕疵，采用高效布局的高清相機(jī)進(jìn)行高速拍攝，所獲取的圖片作為系統(tǒng)的輸入，如圖4 所示。通過后端視覺分析系統(tǒng)對圖像數(shù)據(jù)進(jìn)行清洗、識別后，生成漆面缺陷的坐標(biāo)、大小、類別和在車身上的投射圖，作為系統(tǒng)的輸出。

圖2 隧道式缺陷檢測系統(tǒng)門拱框架

圖3 隧道式缺陷檢測系統(tǒng)組成

圖4 在條紋光下漆面缺陷反射圖片

隧道式缺陷檢測系統(tǒng)可以實(shí)現(xiàn)最小0.3 mm 漆面缺陷的檢測，缺陷檢出率可以達(dá)到98%以上，單車檢測時(shí)間30～60 s，最大可實(shí)現(xiàn)單線120 JPH（每小時(shí)過車數(shù)）的檢測能力，單線投資600～800 萬元。隧道式缺陷檢測系統(tǒng)結(jié)構(gòu)簡單，可通過軟件設(shè)置來實(shí)現(xiàn)多車型覆蓋，投資維護(hù)成本較低，但受制于光源及相機(jī)的布置，僅支持2D 圖像檢測，對于凹凸、縮孔3D 缺陷識別效率不高。

2.2 機(jī)器人式缺陷檢測系統(tǒng)

機(jī)器人式缺陷檢測系統(tǒng)采用機(jī)器人來布置光源和相機(jī)。該系統(tǒng)的檢測硬件由4 臺搭載檢測單元的機(jī)器人組成，安裝在面漆烘房出口的在線檢查工位，如圖5 所示。檢測單元將光源和相機(jī)集成在一個(gè)單元中，亮點(diǎn)是一塊可顯示不同光源模式的LED 顯示屏，如圖6 所示。車身的每一處位置會通過不同的光源模式（單色光、條紋光）在不同方向上進(jìn)行多次檢測，通過疊加采樣實(shí)現(xiàn)2D 圖像+3D 輪廓的圖像識別方式，如圖7 所示。

圖5 機(jī)器人式缺陷檢測系統(tǒng)組成

圖6 檢測單元

圖7 不同光源不同方向漆面瑕疵反射

機(jī)器人式缺陷檢測系統(tǒng)可以實(shí)現(xiàn)最小0.1 mm漆面缺陷的檢測，缺陷檢出率可以達(dá)到95%以上，單車檢測時(shí)間60 s，最大可實(shí)現(xiàn)單線60 JPH 的檢測能力，單線投資1500～2000 萬元。機(jī)器人式缺陷檢測系統(tǒng)識別精度高，受益于其多次檢測+疊加采樣的圖像采集方式，對于凹凸、縮孔3D 缺陷識別效率較高。但整套系統(tǒng)結(jié)構(gòu)較復(fù)雜，1 個(gè)檢測站需要配置4 臺機(jī)器人，針對多車型需要分別進(jìn)行軌跡示教，投資維護(hù)成本較高。

3 漆面缺陷檢測算法

檢測算法識別漆面缺陷的過程分以下4 步：圖像采集、預(yù)處理、特征提取和分類決策。

圖像采集是指通過檢測系統(tǒng)獲取到的車身不同部位漆面的圖像信息。

預(yù)處理主要是指圖像處理中的灰度化處理、圖像濾波、裁剪分割、形態(tài)學(xué)處理操作，去除非必要檢測區(qū)域，加強(qiáng)圖像的重要特征，使缺陷特征更容易被提取出來。

特征提取是指采用某種度量法則，進(jìn)行缺陷特征的抽取和選擇，簡單的理解就是將圖像上的漆面缺陷與正常漆面，利用某種方法將它們區(qū)分開。

分類決策是指構(gòu)建某種識別規(guī)則，通過此識別規(guī)則可以將對應(yīng)的特征進(jìn)行歸類和判定，主要應(yīng)用于漆面缺陷的分類，以指導(dǎo)后續(xù)的打磨拋光操作[2]。

目前，常用的漆面缺陷檢測算法主要分為2類：傳統(tǒng)圖像算法和深度學(xué)習(xí)算法。這2 種算法的主要區(qū)別在于特征提取和分類決策的差異。

3.1 傳統(tǒng)圖像算法

傳統(tǒng)圖像算法中特征提取主要依賴人工設(shè)計(jì)的提取器，需要有專業(yè)知識及復(fù)雜的參數(shù)調(diào)整過程，分類決策也需要人工構(gòu)建規(guī)則引擎，每個(gè)方法和規(guī)則都是針對具體應(yīng)用的，泛化能力及魯棒性較差。具體到缺陷檢測的應(yīng)用場景，需要先對缺陷在包括但不限于顏色、灰度、形狀、長度等的一個(gè)或多個(gè)維度上進(jìn)行量化規(guī)定，再根據(jù)這些量化規(guī)定在圖像上尋找符合條件的特征區(qū)域，并進(jìn)行標(biāo)記。傳統(tǒng)圖像處理有很多算法庫，如Halcon、Vision Pro 和OpenCV 等，一般采用編程語言調(diào)用算法庫的形式來實(shí)現(xiàn)。常用的經(jīng)典檢測算法有Roberts 算子，Sobel 算 子，Prewitt 算 子，LOG 算子和Canny 算子。

Canny 算子是1 種邊緣檢測算法，設(shè)定了信噪比準(zhǔn)則、定位精度準(zhǔn)則、單一邊緣響應(yīng)準(zhǔn)則來提高邊緣檢測精度。為滿足這3 條準(zhǔn)則，CANNY J 在一階微分算子的基礎(chǔ)上，增加了2 項(xiàng)改進(jìn)，即非極大值抑制和雙閾值[3]。非極大值抑制能控制多邊緣響應(yīng)和邊緣定位精度；雙閾值能減少邊緣的漏檢率[4]。Canny 算子的檢測流程如圖8 所示。

圖8 Canny邊緣檢測算法流程

3.2 深度學(xué)習(xí)算法

深度學(xué)習(xí)算法主要是數(shù)據(jù)驅(qū)動(dòng)進(jìn)行特征提取和分類決策，根據(jù)大量樣本的學(xué)習(xí)能夠得到深層的、數(shù)據(jù)集特定的特征表示，其對數(shù)據(jù)集的表達(dá)更高效和準(zhǔn)確，所提取的抽象特征魯棒性更強(qiáng)，泛化能力更好，但檢測結(jié)果受樣本集的影響較大。深度學(xué)習(xí)通過大量的缺陷照片數(shù)據(jù)樣本訓(xùn)練而得到缺陷判別的模型參數(shù)，建立出一套缺陷判別模型，最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識別缺陷[5]。深度學(xué)習(xí)算法基于TensorFlow和Keras 框架，常用的深度學(xué)習(xí)算法有ResNet、MobileNet、Mask R-CNN 和Faster R-CNN。

Faster R-CNN 是以RPN（注意力網(wǎng)絡(luò)）和CNN（卷積神經(jīng)網(wǎng)絡(luò)）為算法框架，其中RPN用于生成可能存在目標(biāo)的候選區(qū)域（Proposal），CNN用于對候選區(qū)域內(nèi)的目標(biāo)進(jìn)行識別并分類，同時(shí)進(jìn)行邊界回歸調(diào)整候選區(qū)域邊框的大小和位置，使其更精準(zhǔn)地標(biāo)識缺陷目標(biāo)。Faster R-CNN 相比前代的R-CNN 和Fast R-CNN 最大的改進(jìn)是將卷積結(jié)果共享給RPN和Fast R-CNN網(wǎng)絡(luò)，在提高準(zhǔn)確率的同時(shí)提高了檢測速度[6]。Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)原理如圖9所示。

圖9 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)原理

總體來講，傳統(tǒng)圖像算法是人工認(rèn)知驅(qū)動(dòng)的方法，深度學(xué)習(xí)算法是數(shù)據(jù)驅(qū)動(dòng)的方法。深度學(xué)習(xí)算法一直在不斷拓展其應(yīng)用的場景，但傳統(tǒng)圖像方法因其成熟、穩(wěn)定特征仍具有應(yīng)用價(jià)值。目前，隧道式缺陷檢測系統(tǒng)既可以使用傳統(tǒng)2D 圖像算法，也可以使用深度學(xué)習(xí)算法。機(jī)器人式缺陷檢測系統(tǒng)則使用傳統(tǒng)3D 圖像識別算法。

4 應(yīng)用案例

上海某主機(jī)廠應(yīng)用了1 套隧道式漆面缺陷檢測系統(tǒng)，該系統(tǒng)安裝在1 條面漆存儲線上，可同時(shí)滿足2 條精修線車輛的漆面缺陷檢測，設(shè)計(jì)產(chǎn)能40 JPH，可檢測的最大車身尺寸為5000 mm×2000 mm×1800 mm，檢測速度6 m/min。系統(tǒng)采用紅色LED燈帶作為光源，主檢測站配備39個(gè)500萬像素高清相機(jī)，尾門檢測站配備9 個(gè)500 萬像素高清相機(jī)，每分鐘可采集近5萬張的車身照片，通過光纖傳輸給圖像處理計(jì)算機(jī)，采用傳統(tǒng)2D圖像算法進(jìn)行缺陷識別。系統(tǒng)的整體運(yùn)行狀態(tài)如表1所示。

表1 系統(tǒng)的整體運(yùn)行狀態(tài)

安裝缺陷檢測系統(tǒng)之前，每條精修線配備8 名員工，對漆面缺陷進(jìn)行人工檢查和打磨拋光。通過加裝缺陷檢測系統(tǒng)，每條精修線員工由8 人減少至6 人，這6 名員工重新分工，根據(jù)大屏幕顯示的缺陷檢測結(jié)果，只負(fù)責(zé)打磨、拋光操作，如圖10 所示。1套檢測系統(tǒng)可節(jié)省人工8人（2人/線×2線×2班）。

圖10 精修線崗位分布

5 結(jié)束語

在“中國制造2025”戰(zhàn)略目標(biāo)的指導(dǎo)下，兩化融合成為推動(dòng)制造業(yè)轉(zhuǎn)型升級的重要方式?；跈C(jī)器視覺的漆面缺陷檢測技術(shù)的應(yīng)用，有助于提升涂裝工藝質(zhì)量水平和勞動(dòng)生產(chǎn)率。后續(xù)會在本文研究的基礎(chǔ)之上，繼續(xù)探究自動(dòng)打磨拋光技術(shù)，將缺陷檢測和自動(dòng)打磨拋光進(jìn)行技術(shù)集成，解放生產(chǎn)力，實(shí)現(xiàn)涂裝精修線的全線自動(dòng)化。