智能標(biāo)貼視覺(jué)檢測(cè)系統(tǒng)設(shè)計(jì)及應(yīng)用

陳傳好 余和青 張 鉑

（中國(guó)電器科學(xué)研究院股份有限公司 廣州 510300）

引言

機(jī)器視覺(jué)技術(shù)在家電行業(yè)中的應(yīng)用主要包括幾個(gè)方面，第一，應(yīng)用于智能家電生產(chǎn)線中機(jī)器人自動(dòng)裝配系統(tǒng)的視覺(jué)定位，協(xié)助機(jī)器人對(duì)部件的識(shí)別、定位并完成產(chǎn)品的自動(dòng)裝配；第二，應(yīng)用于產(chǎn)品質(zhì)量的在線檢測(cè)和零部件生產(chǎn)的在線檢測(cè)，如空調(diào)器長(zhǎng)U管生產(chǎn)的銅管表面氧化變黑檢測(cè)、冰箱鈑金生產(chǎn)的PCM板厚度尺寸檢測(cè)、劃痕和黑污檢測(cè)、各種印刷質(zhì)量檢測(cè)、產(chǎn)品外觀檢測(cè)等；第三，檢測(cè)產(chǎn)品結(jié)構(gòu)特點(diǎn)，檢驗(yàn)產(chǎn)品是否漏裝或錯(cuò)裝零部件等。家電產(chǎn)品上常常有許多標(biāo)貼，如能效標(biāo)識(shí)、電路圖、警示標(biāo)識(shí)等，其大小、種類非常多，使用量大，標(biāo)貼的印刷部門需要檢查印刷質(zhì)量，在生產(chǎn)線上線使用標(biāo)貼前也必須檢測(cè)，以免誤用，影響產(chǎn)品質(zhì)量，但是，即便是知名的企業(yè)，仍然采用人工檢測(cè)標(biāo)貼的印刷錯(cuò)誤。因此，本文設(shè)計(jì)了由暗箱、白色光源和計(jì)算機(jī)組成的視覺(jué)標(biāo)貼智能檢測(cè)系統(tǒng)，實(shí)現(xiàn)了最大A3幅面的家電標(biāo)貼紙印刷質(zhì)量的自動(dòng)檢測(cè)。

1 機(jī)器視覺(jué)檢測(cè)系統(tǒng)設(shè)計(jì)

標(biāo)貼機(jī)器視覺(jué)檢測(cè)系統(tǒng)主要由工業(yè)相機(jī)、 光源和計(jì)算機(jī)系統(tǒng)組成。為了提高標(biāo)貼檢測(cè)的準(zhǔn)確度，屏蔽檢測(cè)系統(tǒng)現(xiàn)場(chǎng)周圍光線，避免環(huán)境光源給成像帶來(lái)的干擾，并且為了防止標(biāo)貼紙彎曲影響圖形采集效果，需要將標(biāo)貼紙固定。因此，設(shè)計(jì)了一種暗箱系統(tǒng)來(lái)獲得更好的圖形采集效果。暗箱的設(shè)計(jì)與光源系統(tǒng)和標(biāo)貼紙的最大尺寸有關(guān)，光源系統(tǒng)則設(shè)置在暗箱內(nèi)。由于無(wú)論標(biāo)貼由何種材料制作，都會(huì)有一定的反光特性，所以標(biāo)貼紙會(huì)有一個(gè)鏡面效應(yīng)。這樣,暗箱頂面必須大于鏡面范圍，暗箱頂面最小尺寸通過(guò)公式（1）來(lái)計(jì)算。

式中：

W—暗箱頂部在貼標(biāo)紙上能產(chǎn)生反光的最大寬度；

h—被測(cè)標(biāo)貼紙離距暗箱頂部的距離；

WD—相機(jī)鏡頭距離貼標(biāo)紙的距離，即物距；

FOV—被測(cè)貼標(biāo)紙的最大寬度。

在圖1中，暗箱中內(nèi)置光源的位置不能出現(xiàn)在倒梯形中，否則會(huì)在印刷品的成像上出現(xiàn)投影，同時(shí)，需要在暗箱頂部開(kāi)一個(gè)方形孔以便相機(jī)采集圖形，上方需要增加一個(gè)補(bǔ)充光源以去除開(kāi)孔處投射在標(biāo)貼上的陰影。根據(jù)標(biāo)貼最大尺寸420 mm * 297 mm及字體要求，選擇相機(jī)為德國(guó)巴斯勒2 000萬(wàn)像素相機(jī)acA5472-5gc；在物距設(shè)定為500 mm情況下，為平衡景深及圖形效果，選擇靶面尺寸為1” （12.8 mm * 9.6 mm），焦距為12 mm（可調(diào)），光學(xué)畸變?yōu)?.2 %的日本Computar V1228MPY鏡頭。 根據(jù)相似三角形原理，通過(guò)公式1計(jì)算出一系列參數(shù)，最終優(yōu)化設(shè)計(jì)的暗箱高度300 mm，頂面大小750 mm*500 mm，頂面開(kāi)孔長(zhǎng)*寬為183 mm *122 mm。

標(biāo)貼紙機(jī)器視覺(jué)檢測(cè)系統(tǒng)的結(jié)構(gòu)示意如圖2。

2 標(biāo)貼圖形采集處理及比對(duì)檢測(cè)

2.1 灰度空間

數(shù)字圖形在處理程序中的本質(zhì)就是一個(gè)矩陣陣，其長(zhǎng)度對(duì)應(yīng)圖片像素長(zhǎng)，寬度對(duì)應(yīng)圖片像素寬。陣列中的每一個(gè)元素，對(duì)應(yīng)該像素的色彩值。色彩值有多種定義空間，如灰度空間、彩色空間RGBA、HSV等。在灰度空間定義中，矩陣陣列的每一個(gè)元素為一個(gè)0～255的整數(shù)值，代表該像素的灰度。本設(shè)計(jì)主要解決圖形形狀比對(duì)問(wèn)題，所以只研究灰度空間。

在灰度空間比較兩個(gè)圖形的差異，采用兩個(gè)圖形矩陣的陣列相減，矩陣相減得到的差矩陣，即為兩個(gè)圖形之間的差異，見(jiàn)圖3和 圖4。

采用灰度空間比較兩個(gè)圖形，即使肉眼看上去兩幅一摸一樣的圖片，由于兩個(gè)圖形的灰度矩陣陣列因可能存在的細(xì)微位置、打光、鏡頭畸變、相機(jī)位姿區(qū)別，可能帶來(lái)較大的計(jì)算結(jié)果差異。在HALCON視覺(jué)平臺(tái)上，采用自動(dòng)控制拍攝光照度的一致性，位姿校正算法等確保對(duì)比灰度矩陣檢測(cè)的一致性和準(zhǔn)確性。

2.2 校正變換矩陣和仿射變換

圖1 標(biāo)貼成像與相機(jī)、暗箱的關(guān)系

圖2 標(biāo)貼紙機(jī)器視覺(jué)檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖

在確定標(biāo)貼紙機(jī)器視覺(jué)檢測(cè)系統(tǒng)暗箱機(jī)械結(jié)構(gòu)，光源位置和照射角度之后，還要保證相機(jī)位姿固定。如果相機(jī)位姿發(fā)生變動(dòng)，得到的圖形必定有所變化。為了校正相機(jī)位姿，采用相機(jī)及鏡頭校正程序，將相機(jī)固定好一個(gè)位姿，采用校正板，得到從該位姿狀態(tài)下標(biāo)貼視覺(jué)圖形到實(shí)際世界坐標(biāo)系標(biāo)準(zhǔn)圖形之間的變換矩陣。之后每次比對(duì)時(shí)，拍攝得到的圖形先由變換矩陣變換到實(shí)際尺寸，再與標(biāo)準(zhǔn)圖形進(jìn)行比對(duì)。

如果相機(jī)位姿因各種原因發(fā)生變化，可以使用校正板重新校正，重新得到新姿態(tài)到實(shí)際坐標(biāo)系下真實(shí)尺寸的變換矩陣，見(jiàn)圖5、圖7、圖9顯示采用校正變換矩陣將因相機(jī)位姿偏移而畸變的圖形象校正到實(shí)際尺寸，圖6、圖8、圖10顯示采用校正變換矩陣將因相機(jī)位姿偏移而改變的標(biāo)準(zhǔn)模型修正過(guò)來(lái)。

機(jī)器視覺(jué)圖形的仿射變換：標(biāo)貼紙?jiān)诿看螜z測(cè)時(shí)，需要操作員將標(biāo)貼紙放入暗箱，由于對(duì)檢測(cè)標(biāo)貼紙數(shù)量的要求，這樣不能保證操作員工每一次操作將標(biāo)貼紙完美地放到同一個(gè)位置。因此需要計(jì)算標(biāo)貼圖形的特征向量，將需要比對(duì)圖形的特征向量與標(biāo)準(zhǔn)圖形的特征向量相比，得到仿射變換矩陣，經(jīng)過(guò)仿射變換后，即可以保證比對(duì)圖形和標(biāo)準(zhǔn)圖形嚴(yán)格重疊。當(dāng)兩個(gè)圖形完全一致時(shí)，則可以用兩個(gè)圖形的矩陣相減，得到兩圖形之間的差異。仿射變換公式如下：

Tx，Ty—兩個(gè)圖形中心點(diǎn)相對(duì)距離坐標(biāo)差；

圖3 圖形的標(biāo)準(zhǔn)灰度矩陣

α—兩個(gè)圖形的矢量夾角。

圖11中未經(jīng)仿射變換前的標(biāo)注圖形傾斜且未居于中心位置，圖12 中將標(biāo)注圖形的中心位置和矢量角度經(jīng)過(guò)仿射變換后居于畫(huà)面的中心位置。

圖4 標(biāo)準(zhǔn)灰度矩陣和對(duì)比灰度矩陣的差異

圖5 相機(jī)姿態(tài)偏移，采集圖形變形

圖6 相機(jī)位置偏移，以往建立的標(biāo)準(zhǔn)模型會(huì)失效

圖7 使用校正板，調(diào)用校正算法得到校正變換矩陣

圖8 使用校正板，調(diào)用校正算法重新得到新的校正變換矩陣

圖9 校正變換矩陣進(jìn)行圖形變換后的真實(shí)尺寸

圖10 校正變換矩陣修正后新的標(biāo)準(zhǔn)模型

2.3 標(biāo)準(zhǔn)圖形建模

標(biāo)準(zhǔn)標(biāo)貼模型是其他標(biāo)貼需要檢測(cè)是否符合質(zhì)量要求的標(biāo)準(zhǔn)模板，檢測(cè)時(shí)只要采集視覺(jué)圖形并將經(jīng)過(guò)處理后的標(biāo)貼圖形與標(biāo)準(zhǔn)圖形模板比對(duì)一下，即可知道標(biāo)貼的印刷質(zhì)量是否合格，并在檢測(cè)不合格時(shí)標(biāo)示出錯(cuò)誤的地方。圖形建模有兩種方法：一鍵式人工操作建模和批量建模。

一鍵式人工操作建模：一般單獨(dú)采集某個(gè)標(biāo)貼的標(biāo)準(zhǔn)模板，可以使用人工建模操作。操作人員將作為標(biāo)準(zhǔn)的標(biāo)貼放入暗箱，標(biāo)貼會(huì)自動(dòng)被真空吸附和展平，按下“開(kāi)始建?！卑粹o，系統(tǒng)會(huì)自動(dòng)進(jìn)入標(biāo)準(zhǔn)模型的建模算法，最后輸出匹配模板、需檢測(cè)區(qū)域、對(duì)比模板3個(gè)文件。其建模流程如圖13。

批量建模：將客戶導(dǎo)出的標(biāo)準(zhǔn)設(shè)計(jì)文件放入指定文件夾，則找到標(biāo)準(zhǔn)圖形所在的位置，按客戶所指定的標(biāo)記作為圖形的邊界，最后輸出匹配模板、需檢測(cè)區(qū)域、對(duì)比模板3個(gè)文件。其建模流程如圖14。

2.4 比對(duì)檢測(cè)

圖11 仿射變換前的原圖形

圖12 仿射變換后將檢測(cè)區(qū)域圖形變換到畫(huà)面中心位置

圖13 標(biāo)準(zhǔn)圖形建模流程圖

在比對(duì)檢測(cè)標(biāo)貼印刷質(zhì)量的過(guò)程中，采集到的標(biāo)貼視覺(jué)圖形經(jīng)過(guò)矩陣變換和仿射變換后得到比對(duì)圖形，經(jīng)與標(biāo)準(zhǔn)圖形完成比對(duì)后獲得差異區(qū)域。然而此時(shí)的差異區(qū)域還是比較凌亂的，需要整理才能展示結(jié)果。首先利用特征直方圖篩選掉過(guò)細(xì)和過(guò)小的區(qū)域，排除噪音點(diǎn)。其次，需要經(jīng)過(guò)區(qū)域合并，合并掉相鄰太近的差異區(qū)域，才能得到美觀的差異圖形。最后，將標(biāo)準(zhǔn)圖形與比對(duì)圖形直接相減后得到差異圖形，經(jīng)過(guò)綜合處理相關(guān)差異，最后判斷在檢標(biāo)貼印刷質(zhì)量是否符合要求。比對(duì)過(guò)程見(jiàn)圖15。

圖14 批量建模流程圖

圖15 標(biāo)貼比對(duì)檢測(cè)流程圖

3 總結(jié)

本文設(shè)計(jì)的智能標(biāo)貼視覺(jué)檢測(cè)系統(tǒng)，能夠高精度檢測(cè)家電標(biāo)貼紙的印刷質(zhì)量問(wèn)題，能夠大大提高標(biāo)貼的檢測(cè)效率并減少檢測(cè)人員，已在某知名的家電企業(yè)推廣使用。