基于機器人視覺的汽車零配件表面缺陷檢測算法研究與實現(xiàn)

李天建

（福建工程學(xué)院 信息科學(xué)與工程學(xué)院，福建 福州 350108）

隨著計算機技術(shù)和集成電子技術(shù)的發(fā)展，機器人視覺技術(shù)在現(xiàn)代工業(yè)中得到廣泛應(yīng)用.在一些用于汽車制造業(yè)的專用設(shè)備中，機器人視覺也已逐漸替代了傳統(tǒng)的檢測方式.如對汽車儀表盤加工精度的檢查、軸承生產(chǎn)中對滾珠數(shù)量和破損情況的檢查、食品包裝上面對生產(chǎn)日期的辨識和對標(biāo)簽貼放位置的檢查等［1-2］.德國康耐視在視覺傳感器中整合了PatMax軟件的視覺工具，不但能辨識出25種不同濾清器產(chǎn)品的個體形狀，還能判定目標(biāo)的精確位置，且目標(biāo)判定精確率可高達99.9%.在國內(nèi)，各行業(yè)的領(lǐng)先企業(yè)開始將目光轉(zhuǎn)向視覺測量自動化［3］.有些公司已將視覺系統(tǒng)成功應(yīng)用于汽車密封條涂層檢測、汽車零部件漏裝檢測和汽車零部件表面字符檢測等.

基于以上背景，本文通過對機器人視覺表面檢測算法的分析和研究，建立一種基于Siemens PLC平臺的表面檢測仿真系統(tǒng)，用于解決汽車零配件生產(chǎn)中存在的質(zhì)量控制問題.

1 視覺系統(tǒng)檢測算法分析

1.1 視覺系統(tǒng)檢測算法建模

機器人視覺（robot vision）是使機器人具有視覺感知功能的系統(tǒng)，是圖像技術(shù)在機器人系統(tǒng)中的應(yīng)用.其通過對某些信號進行運算來抽取目標(biāo)的特征，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作［4］.視覺計算理論創(chuàng)始人D.Marr認為對視覺的研究可分為三個層次：視覺的計算理論、算法和系統(tǒng)結(jié)構(gòu)［5-6］.

視覺信息處理可以看作是從三維環(huán)境的圖像中抽取、描述和解釋信息的過程.它可劃分為六個主要部分：傳感、預(yù)處理、分割、描述、識別及知識表達和解釋.其基本工作流程圖如圖1所示.

圖1 機器人視覺系統(tǒng)基本工作流程Fig.1 Basic workflow of robot vision system

本文建立的機器人視覺系統(tǒng)，主要用于汽車零配件的表面缺陷檢測，因此更關(guān)注“表面檢測”和”二維碼識別”.由于系統(tǒng)需同時滿足汽車零配件表面檢測及讀取二維碼兩個要求，文中通過“培訓(xùn)”對零配件建立一個較為完整的模板信息模型.通過對目標(biāo)零配件的目標(biāo)信息模型與模板信息模型進行匹配，根據(jù)不同的“匹配度”對零配件進行質(zhì)量的判斷和分級.視覺系統(tǒng)模型如圖2所示.

圖2 視覺系統(tǒng)檢測算法模型Fig.2 Model of visual system detection algorithm

1.2 零配件表面檢測算法分析

目前圖像缺陷檢測主要有三種方法：基于顏色直方和柱狀圖的檢測方法、模板匹配法、圖像相減匹配法［7］.考慮到零配件質(zhì)量檢測的特點，本文采用分塊圖像相減匹配檢測法進行零配件質(zhì)量檢測，“分塊”即將目標(biāo)圖像和模板圖像劃分成感興趣區(qū)域（ROI，Region of Interest）和不感興趣區(qū)域.在檢測過程中，其只對ROI進行比對操作，即將對應(yīng)的子區(qū)域圖像與數(shù)據(jù)庫中相應(yīng)模塊圖像進行相減匹配檢測，進而利用子區(qū)域的相關(guān)系數(shù)來判斷目標(biāo)圖像質(zhì)量是否滿足要求.其檢測流程如圖3所示.

圖3 分塊圖像相減匹配檢測法流程Fig.3 Process of block image subtraction coincidence detection method

假定感興趣區(qū)域（ROI）的模板為S（M×N），目標(biāo)圖像為G（I，Y）.將模板S放在目標(biāo)圖像G上以流水方式進行上下左右掃描，在目標(biāo)圖像G上被模板S覆蓋的區(qū)域為子圖G′（i，y）.匹配過程即是獲得達到一定匹配度的子圖G′（i，y）的過程，以目標(biāo)圖像G（I，Y）的左上角的像素點為基準(zhǔn)像素點G（0，0），此時可以獲得i與j的取值范圍為0≤i≤（I-M），0≤j≤（J-N）.這里使用模板S（M×N）和子圖G′（i，y）的方差σ2表示相差度.

當(dāng)σ2（i，j）＝0，則G′（i，y）與S（M×N）匹配，即認為找到滿足要求的子圖G′（i，y）.但實際上，由于目標(biāo)零配件圖像與模板圖像一般具有較大的相似度，同一區(qū)域中不同的像素點σ（i，j）的值變化較大.因此還需確定其他指標(biāo)，這里引入相關(guān)系數(shù)ρ來表示兩張圖的像素點線性相關(guān)的程度.定義模板S（i，j）和子圖G′（i，y）中的像素點是關(guān)于函數(shù)μ和ν的隨機變量，則可以得到其相關(guān)系數(shù)ρ（μ，ν）為

相關(guān)系數(shù)滿足ρ（μ，ν）≤1，在［-1，1］的絕對尺度范圍之間衡量二者的相似性.相關(guān)系數(shù)表示了兩圖像之間的相似程度的度量.如果將模板S作為1個絕對單位，可以將認為是目標(biāo)圖像的質(zhì)量，這個值也是零配件分級的重要依據(jù).

通過以上的計算，可以在目標(biāo)圖像上找到與ROI對應(yīng)的區(qū)域，如果在該區(qū)域中汽車零配件存在缺陷，那么相應(yīng)圖像至少有一個點的灰度與其他點存在差異，這些差異體現(xiàn)在像素灰度值與圖像灰度均值的差和該像素梯度值與圖像梯度均值的差.

由模板S（i，j）和子圖S（i，j）相應(yīng)像素點進行匹配相減后可以得到圖像（差別圖像）像素灰度值E（i，j）：

E（i，j）表示出了兩幅圖像對應(yīng)像素間的灰度差值，但是無法確認零配件是否具有缺陷，可以計算獲得差別圖像的特征圖像的面積A，當(dāng)A大于所設(shè)定的閾值時，認為該部分零配件存在缺陷.求面積的方法，根據(jù)直方圖的性質(zhì)，邊界是灰度級定義的輪廓線的物體的面積.

在實際中，還需進行圖像的邊緣跟蹤、細化、孤立點的剔除、膨脹與收縮等處理步驟，并且這些特征圖像可以進行歸一化處理，提取零配件的特征參數(shù)如周長、面積、質(zhì)心、圓形度、伸長度等，以此來進行缺陷檢測和分類.

2 機器人視覺仿真系統(tǒng)設(shè)計

2.1 系統(tǒng)的結(jié)構(gòu)組成

本文以檢測螺絲釘表面缺陷為例，建立一種以西門子S7-300PLC、視覺傳感器VS120和VS130-2、攝像頭、管理員站等硬件組成的仿真平臺.系統(tǒng)可與其他檢測單元聯(lián)機工作，也可以獨立運行.系統(tǒng)分控制單元和檢測單元，各單元間可以使用Profibus總線和Industrial Ethernet通信，滿足在不同總線通信的生產(chǎn)需要，其拓補結(jié)構(gòu)如圖4所示.

圖4中智能傳感器VS120可以和多種輸送設(shè)備協(xié)同工作.例如輸送帶和環(huán)形零件輸送系統(tǒng)、裝夾系統(tǒng)和生產(chǎn)機械.通過更換4種不同的鏡頭，SIMATIC VS120可以處理多種尺寸的目標(biāo).

圖4 系統(tǒng)拓補結(jié)構(gòu)Fig.4 Topology of the system

VS130-2視覺傳感器用于讀取符合ECC 200的二維碼數(shù)據(jù)，其矩陣的信息密度是相同大小條形碼的信息密度的100倍.同時，VS130-2對零配件的旋轉(zhuǎn)角度和平移位置要求不高，只需對傳感器頭粗略定位，使目標(biāo)代碼位于其圖像區(qū)域內(nèi).VS130-2可以讀取多種方式的ECC 200二維碼，可以滿足汽車零配件種類繁多的要求，如激光代碼、印刷代碼、觸針標(biāo)記代碼、打孔代碼，可在平面或略微彎曲的表面上被識別出來.

2.2 仿真系統(tǒng)PLC控制程序設(shè)計

文中PLC程序主要用于對視覺傳感器VS120和VS130-2的控制和讀取相應(yīng)圖像處理結(jié)果，同時包含兩個視覺傳感器相互控制程序與零配件品質(zhì)分級程序.

在主程序OB1中，根據(jù)工藝要求分別調(diào)用FC1、FC2和FC3等功能.其中，F(xiàn)C1為VS120的控制程序和零配件的分級程序，在FC1中調(diào)用圖像處理算法程序FB1功能塊和保存控制字和狀態(tài)字的DB1共享數(shù)據(jù)塊，通過匹配運算后，將結(jié)果保存到DB10中供上位機組態(tài)分析和報表使用.同理，使用FC2和FC3作為VS130-2的控制和讀碼程序，在FC3中編寫二維碼圖像讀取程序，而FC2則是作為二維碼代碼轉(zhuǎn)換的程序.用DB79和DB48作為保存二維碼處理結(jié)果的共享數(shù)據(jù)塊.

在編寫VS130-2的二維碼讀取程序時，將二維碼算法程序封裝在FB79功能塊中.在PLC控制程序中，由于涉及較多的數(shù)據(jù)傳送和轉(zhuǎn)換，文中使用STL語言與LAD語言混合編寫的方法.如圖5所示為FB79的程序.這里應(yīng)該注意，VS130-2硬件組態(tài)的I／O輸入輸出設(shè)置和FB79塊的輸入輸出地址應(yīng)與硬件組態(tài)一致.

圖5 FB79功能塊程序Fig.5 Program of FB79function block

文中視覺傳感器VS120可完成三種功能中的“正確性判斷”和“完整性判斷”兩種.本文將圖像處理程序封裝在FB1功能塊中，可以方便通過FC1調(diào)用.圖像處理的結(jié)果以ANY的數(shù)據(jù)類型“P＃DB10.DBX1.0BYTE 245”保存在 D B10中.這里注意VS120硬件組態(tài)的I／O輸入輸出設(shè)置，F(xiàn)B1塊的輸入輸出地址應(yīng)與硬件組態(tài)一致.

2.3 IFIX組態(tài)界面的建立

目前，常用的組態(tài)軟件有IFIX、RSView32［8］、intuch等.本文根據(jù)汽車零配件生產(chǎn)的需要，在IFIX上建立了包括“機器人視覺主界面”“零配件表面完整性控制界面”“二維碼控制界面”“表面完整率曲線圖”和“報表”等一系列的監(jiān)控界面.

首先，在IFIX上安裝S7A驅(qū)動，建立IFIX與西門子S7-300PLC的連接.并在IFIX數(shù)據(jù)庫管理中，通過建立變量表來讀取零配件表面圖片與模板圖片的匹配度.文中建立變量名為MAIN＿ROI＿RESULT的節(jié)點變量，并在I／O地址處填入S7：DB10.DBB 3.通過這些設(shè)置后，系統(tǒng)可將FB的背景DB塊數(shù)據(jù)讀取到IFIX上進行處理和保存到數(shù)據(jù)庫中.接著，在STEP 7上，將從視覺傳感器VS130-2所讀取的二維碼字符串按字符排列順序依次保存在DB48所定義的數(shù)組ARRAY［0..500］中，保存格式定義為 Char.在IFIX上，也按同樣的方式將字符串以字節(jié)的形式讀取到數(shù)據(jù)庫管理器中，然后根據(jù)字符串的長度使用Visual Basic語言對讀取到的所有字節(jié)進行組合，恢復(fù)為原有的字符串形式并顯示在Textbox中方便管理員查看并以完整的形式保存到數(shù)據(jù)庫中.

3 運行調(diào)試與檢測因素分析

3.1 機器人視覺仿真系統(tǒng)調(diào)試

文中設(shè)定被測目標(biāo)物（螺釘）的方形邊框為目標(biāo)檢測的區(qū)域.系統(tǒng)在讀取圖像信息后，進行匹配處理，如零配件偏轉(zhuǎn)角度、XY軸方向上位置與目標(biāo)零配件的匹配程度等，其結(jié)果可以在系統(tǒng)控制界面上顯示，并保存到歷史數(shù)據(jù)庫和Access數(shù)據(jù)庫中.圖6提供的兩張圖片信息，本文假設(shè)圖6a為完整的零配件模板，圖6b為具有缺陷的零配件（檢測區(qū)域被紙張掩蓋）.經(jīng)表面檢測后，其檢測結(jié)果在IFIX界面上顯示相似度只有73.2%.若系統(tǒng)設(shè)定不合格產(chǎn)品的閾值為90%，則系統(tǒng)自動判定圖6b為不合格產(chǎn)品，判定結(jié)果如圖7所示.

圖6 零配件判別圖Fig.6 Discriminatory diagrams of parts and accessories

圖7 仿真系統(tǒng)控制界面Fig.7 Control interface of simulation system

通過多次重復(fù)檢測，系統(tǒng)能自動將表面質(zhì)量數(shù)據(jù)寫入歷史數(shù)據(jù)庫和Access數(shù)據(jù)庫，并可將其檢測結(jié)果通過歷史曲線圖體現(xiàn)，如圖8所示.

圖8 零配件表面質(zhì)量歷史曲線圖Fig.8 Historical graphs of Parts surface quality

從圖8零配件表面質(zhì)量歷史曲線結(jié)果分析可以得出，系統(tǒng)若將閾值設(shè)定為90%時，其測試結(jié)果準(zhǔn)確率為100%.若將閾值設(shè)定為95%時，其測量結(jié)果的準(zhǔn)確率仍可達到90%以上.調(diào)試結(jié)果表明，該算法設(shè)計達到預(yù)期目標(biāo)，并滿足一定的精度要求.

3.2 視覺仿真系統(tǒng)精度影響因素分析

實驗表明，該仿真系統(tǒng)可以實現(xiàn)對螺絲、文字等缺陷識別，但在獲取清晰圖像的過程中，現(xiàn)有系統(tǒng)中仍存在一些影響最終精度的因素.對硬件部分的分析改進后，檢測過程可以獲得更為清晰的圖像，但這只是便于使用高斯濾波器對圖像進行平滑處理，要獲得準(zhǔn)確的結(jié)果，保持系統(tǒng)的穩(wěn)定性，圖像處理算子仍是一個很重要的影響因素.此外，由于零配件旋轉(zhuǎn)、角度變化等因素的存在.在檢測過程中，這些因素會影響到ROI尋找結(jié)果，特別對于M×N較大的模板，像素點之間易產(chǎn)生跳躍，從而無法很好地獲得目標(biāo)圖像ROI.這些問題都是在今后的算法改進中需要注意的.

4 結(jié) 語

本文基于分析分塊圖像相減法基本原理，從汽車零配件的特點出發(fā)，選擇相應(yīng)的硬件平臺建立仿真，使之與汽車零配件的生產(chǎn)場合相符.通過仿真平臺的調(diào)試，結(jié)果表明，該算法可以穩(wěn)定地檢測出缺陷目標(biāo).今后可以通過進一步改進算法和平臺，使之適應(yīng)工業(yè)化的需求.

［1］ 王健.機器視覺系統(tǒng)在現(xiàn)代包裝行業(yè)中的應(yīng)用［J］.包裝與食品機械，2004，22（5）：46-49.（Wang Jian.Introduction to Machine Vision System and its Applications in Modern Packaging Industry［J］.Packaging and Food Machinery，2004，22（5）：46-49.）

［2］ 周洋.玻璃質(zhì)量在線檢測算法研究與系統(tǒng)實現(xiàn)［D］.武漢：華中科技大學(xué)，2006.（Zhou Yang. Research on the Algorithm and Implementation of a Glass Quality On-line Detection System［D］. Wuhan： Huazhong University of Science and Technology，2006.）

［3］ 王思為，朱明.基于DM642機器視覺系統(tǒng)的設(shè)計與實現(xiàn)［J］.微計算機信息，2006，22（35）：175-177.（Wang Siwei，Zhu Ming.Design and Realization of a Machine Vision System Based on DM642［J］.Control ＆Automation，2006，22（35）：175-177.）

［4］ 祁廣利，武晉輝.機器人視覺的蘋果無損檢測技術(shù)［J］.陜西農(nóng)業(yè)科學(xué)，2007（5）：63-65.（Qi Guangli，Wu Jinhui.Detection on Apple with Visual of Robert［J］.Shanxi Journal of Agricultural Sciences，2007（5）：63-65.）

［5］ 周鵬.機器人及視覺系統(tǒng)在卷煙輔材配盤系統(tǒng)中的應(yīng)用研究［D］.合肥：合肥工業(yè)大學(xué)，2007.（Zhou Peng.Application and Study of the Robot Vision System for Tobacco Boxes Palletizing［D］.Hefei：Hefei University of Technology，2007.）

［6］ 陳延國.基于V3圖像處理板的機器人目標(biāo)跟蹤算法研究［D］.哈爾濱：哈爾濱工程大學(xué)，2003.（Chen Yanguo. The Research of Object Tracking Arithmetic of Robot Based on V3Image Processing Board［D］.Harbin：Harbin Engineering University，2003.）

［7］ 孫見青，汪榮貴，胡韋偉.基于EM-PCA和級聯(lián)分類器的人臉檢測［J］.中國科學(xué)院研究生院學(xué)報，2008，25（2）：216-223.（Sun Jianqing，Wang Ronggui，Hu Weiwei.Face Detection Based on EM-PCA and Hierarchical Classification［J］.Journal of the Graduate School of the Chinese Academy of Sciences，2008，25（2）：216-223.）

［8］ 朱原震，李彥平.RSView32在無水氯化鎂生產(chǎn)控制系統(tǒng)中的應(yīng)用［J］.沈陽大學(xué)學(xué)報：自然科學(xué)版，2013，25（1）：54-57.（Zhu Yuanzhen，Li Yanping.RSView32in Anhydrous Magnesium Chloride Production Control System ［J］.Journal of Shenyang University：Natural Science，2013，25（1）：54-57.）