自動(dòng)鉆孔機(jī)視覺(jué)定位系統(tǒng)設(shè)計(jì)

李名

關(guān)鍵詞：圖像畸變;Canny邊緣檢測(cè);Hough變換

0引言

隨著人工智能的火熱，機(jī)器視覺(jué)作為人工智能的一個(gè)發(fā)展方向發(fā)展迅猛，機(jī)器視覺(jué)即用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)系統(tǒng)是通過(guò)機(jī)器視覺(jué)產(chǎn)品將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。本文設(shè)計(jì)相應(yīng)的機(jī)器視覺(jué)系統(tǒng)，應(yīng)用于自動(dòng)鉆孔機(jī)械手，對(duì)帶有標(biāo)記的目標(biāo)獲取的圖像，通過(guò)數(shù)據(jù)進(jìn)行處理，確定物體實(shí)際位置坐標(biāo)，經(jīng)處理轉(zhuǎn)換傳輸?shù)娇刂平K端，進(jìn)而控制機(jī)械進(jìn)行精確操作，以提高生產(chǎn)效率。

1系統(tǒng)原理

1.1相機(jī)成像原理

如圖1所示，點(diǎn)P所在平面為世界坐標(biāo)平面，點(diǎn)P和點(diǎn)P所在平面為圖像投影平面。相機(jī)成像的過(guò)程其實(shí)是4個(gè)坐標(biāo)系的轉(zhuǎn)換，首先空問(wèn)中的一點(diǎn)由“世界坐標(biāo)系”轉(zhuǎn)換到“攝像機(jī)坐標(biāo)系”，然后再將其投影到“圖像物理坐標(biāo)系”，最后再將成像平面上的數(shù)據(jù)轉(zhuǎn)換到“圖像像素坐標(biāo)系”。轉(zhuǎn)換關(guān)系為：

在轉(zhuǎn)換關(guān)系中.被稱為相機(jī)的內(nèi)參數(shù)，稱為相機(jī)的外參數(shù)。在成像過(guò)程中，首先需要確定內(nèi)參數(shù)中R矩陣和t矩陣，這2個(gè)矩陣與相機(jī)相關(guān)，與拍攝距離等其他因素?zé)o關(guān);相應(yīng)的，當(dāng)距離變化時(shí)，根據(jù)不同的變換關(guān)系確定外參數(shù)，最后得到轉(zhuǎn)換關(guān)系公式，對(duì)相應(yīng)像素點(diǎn)進(jìn)行坐標(biāo)變換。

1.2系統(tǒng)設(shè)計(jì)介紹

整個(gè)系統(tǒng)由相機(jī)作為輸入源，考慮到c++可以編寫(xiě)相應(yīng)的圖形界面和觸發(fā)按鍵，并生成相應(yīng)的可執(zhí)行文件，所以設(shè)計(jì)中選用c++語(yǔ)言作為編程語(yǔ)言。編寫(xiě)c++程序?qū)Λ@取的圖像數(shù)據(jù)進(jìn)行降噪和灰度處理并進(jìn)行圖像校正，再通過(guò)檢測(cè)算法得到標(biāo)記位置的世界坐標(biāo)偏差，系統(tǒng)工作流程如圖2所示。

首先，通過(guò)調(diào)用相機(jī)的API打開(kāi)連接到的相機(jī)設(shè)備，之后相機(jī)將采集到的實(shí)時(shí)圖像數(shù)據(jù)傳人數(shù)據(jù)緩沖區(qū)，當(dāng)?shù)竭_(dá)指定采集區(qū)域后將圖像進(jìn)行處理。處理過(guò)程中，要先將圖像進(jìn)行灰度處理、白平衡和降噪處理，再將處理后的圖像進(jìn)行矯正以消除相機(jī)畸變帶來(lái)的誤差。之后，針對(duì)選取的標(biāo)簽類型和位置進(jìn)行識(shí)別。最后將識(shí)別到的像素位置與世界坐標(biāo)位置進(jìn)行轉(zhuǎn)換，最終得到世界坐標(biāo)的位移偏差。傳輸至PLC控制終端，控制機(jī)械到達(dá)指定位置，進(jìn)行鉆孔作業(yè)。

2系統(tǒng)設(shè)計(jì)

2.1圖像獲取

在相機(jī)啟動(dòng)之后，通過(guò)調(diào)用相機(jī)API，將相機(jī)采集到的實(shí)時(shí)數(shù)據(jù)保存在數(shù)據(jù)緩沖區(qū)內(nèi)，當(dāng)觸發(fā)按鍵按下或內(nèi)置定時(shí)器觸發(fā)，相應(yīng)的RGB圖像信息將傳輸進(jìn)入c++處理程序，當(dāng)接收到圖像信息后，程序會(huì)先將圖像信息保存至硬盤(pán)存檔，之后再對(duì)原始圖像進(jìn)行相應(yīng)的圖像處理操作。

2.2圖像校正

如在相機(jī)成像原理中所介紹的，相機(jī)成像的過(guò)程其實(shí)是4個(gè)坐標(biāo)系的轉(zhuǎn)換，而在轉(zhuǎn)換過(guò)程中會(huì)產(chǎn)生畸變，其中以徑向畸變和切向畸變?yōu)橹?。徑向畸變主要是相機(jī)中透鏡的制造工藝造成的，成像時(shí)越靠近邊緣，相應(yīng)的徑向畸變?cè)絿?yán)重;切向畸變則是因?yàn)橄鄼C(jī)中的透鏡和CMOS的相對(duì)位置有偏差。無(wú)論是徑向畸變還是切向畸變都會(huì)對(duì)相機(jī)丞相和定位造成一定的影響，所以需要降低這方面的影響，進(jìn)行圖像校正。

校正中，根據(jù)相機(jī)成像原理中的轉(zhuǎn)換關(guān)系，通過(guò)對(duì)不同角度下所拍攝的標(biāo)定板中各個(gè)角點(diǎn)坐標(biāo)的計(jì)算，最終得到相機(jī)內(nèi)參數(shù)矩陣、畸變系數(shù)、旋轉(zhuǎn)變量、旋轉(zhuǎn)矩陣和平移變量。通過(guò)得到的內(nèi)參數(shù)矩陣和畸變系數(shù)代人式（2）中，得到畸變矯正后的圖像。

校正前圖像如圖3所示，校正后圖像如圖4所示。

比較圖像校正前后的圖像，可以發(fā)現(xiàn)在校正之后圖像的中心區(qū)域有“下陷”的現(xiàn)象，使得圖像中線條更平直，抵消了畸變所帶來(lái)的影響，所得圖像更接近實(shí)際情況;同時(shí)圖像四周的邊緣位置圖像會(huì)扭曲變形，這也是圖像畸變的一種體現(xiàn)。由校正前后的比較可以得出，圖像校正后中心區(qū)域的圖像更為真實(shí)可靠，而靠近邊緣的部分由于畸變過(guò)大不可采用，所以在采集和處理圖像時(shí)應(yīng)選用靠近中心區(qū)域的圖像，邊緣部分圖像數(shù)據(jù)應(yīng)舍棄。

2.3灰度處理

灰度處理主要是為了將相機(jī)獲取到的RGB三通道彩色圖像，經(jīng)過(guò)多通道融合操作處理成為更易于處理的灰度圖像，方便之后的圖像處理。

相機(jī)得到的圖像數(shù)據(jù)是彩色圖片，由RGB（紅綠藍(lán)）3個(gè)通道共同表示，為了簡(jiǎn)化后續(xù)的圖像操作，提高處理速度，避免不必要的干擾，把圖像中相同位置的3個(gè)通道的像素值進(jìn)行融合，常見(jiàn)的灰度處理方法有平均法、加權(quán)平均法、最大值法。

針對(duì)系統(tǒng)需求和實(shí)驗(yàn)結(jié)果比較，選用加權(quán)平均法，假設(shè)原始圖像大小為M×N，加權(quán)平均法為每個(gè)通道乘以一定的權(quán)重后求和，得到的結(jié)果就是該點(diǎn)的單通道灰度值。獲取圖像的像素大小，遍歷圖像中所有的像素點(diǎn)，對(duì)像素點(diǎn)進(jìn)行加權(quán)平均操作，得到各個(gè)點(diǎn)的單通道灰度值。

圖像灰度處理后，仍保留了圖像中的特征信息，但是灰度后的圖像大大降低了圖像處理的難度，提升了處理速度，所以后續(xù)處理中程序都會(huì)用灰度處理后得到的圖像進(jìn)行操作。

2.4 Canny邊緣檢測(cè)

Canny邊緣檢測(cè)是一種非常流行的邊緣檢測(cè)算法，是一個(gè)分階段的復(fù)雜圖像處理算法，具有較低的錯(cuò)誤率且邊緣定位準(zhǔn)確的優(yōu)點(diǎn)，主要由圖像二值化、圖像降噪、圖像梯度計(jì)算、非極大值抑制和閾值篩選等幾個(gè)部分組成。

2.4.1圖像二值化

Canny算法要求圖像一定是二值化圖像，圖像二值化是在灰度圖像的基礎(chǔ)上進(jìn)一步簡(jiǎn)化圖像的數(shù)據(jù)量，突出目標(biāo)圖像的輪廓以方便后續(xù)處理。

常見(jiàn)的二值化算法主要有平均值法、百分比閾值法、最大熵法等。本文采用百分比閾值法，通過(guò)計(jì)算整個(gè)圖像的閾值，將超過(guò)一定百分比的圖像設(shè)為0，其他圖像設(shè)為255。選用百分比閾值法是因?yàn)槠淇梢韵麥p因?yàn)槠毓夂土炼鹊牟煌鶐?lái)的灰度上的差別，減少因?yàn)檫吘壿喞R(shí)別不準(zhǔn)確、不清晰帶來(lái)的問(wèn)題。

因?yàn)橄到y(tǒng)工作環(huán)境昏暗，主要依靠外界補(bǔ)光，所以圖像的灰度比較一致，即使因?yàn)橛衅渌饩€干擾或光線不充足，通過(guò)灰度閾值法也可以將圖像有效地二值化。

2.4.2高斯濾波

高斯濾波主要作用就是去除噪聲干擾，任何邊緣檢測(cè)算法都不可能在未經(jīng)處理的原始數(shù)據(jù)上很好地處理，所以第一步是對(duì)原始數(shù)據(jù)與高斯濾波器做卷積，得到的圖像與原始圖像相比有些輕微的模糊。使得單獨(dú)的一個(gè)像素噪聲在經(jīng)過(guò)高斯平滑的圖像上變得幾乎沒(méi)有影響。根據(jù)公式可以得到大小為（2K+1）×（2K+1）的高斯濾波器的核為：

經(jīng)實(shí)驗(yàn)證明，高斯濾波作為一種線性平滑濾波方法，可以很好地消除圖像中的噪聲，高斯濾波中對(duì)像素進(jìn)行了加權(quán)平均并以新的像素值替代之前的像素值，最終消除各個(gè)噪聲點(diǎn)的影響。實(shí)驗(yàn)對(duì)比得出，選用3×3的卷積核可以達(dá)到降噪需求且降噪效果最好，最大程度上降低了噪聲的影響。

2.4.3梯度計(jì)算

在經(jīng)過(guò)了圖像二值化和高斯濾波去除噪聲以后，圖像中的相應(yīng)邊緣仍然可以指向任意方向，所以需要對(duì)圖像中的像素進(jìn)行幅值和方向上的計(jì)算。通過(guò)對(duì)水平、垂直和對(duì)角邊緣上各個(gè)算子的計(jì)算，確定像素點(diǎn)的梯度值和方向角，方便確定直線。

2.5標(biāo)簽檢測(cè)

在檢測(cè)中心時(shí)，通過(guò)對(duì)比常見(jiàn)的圓形標(biāo)簽、十字形標(biāo)簽和正方形標(biāo)簽，分別采用了Hough變換和二值圖像交叉點(diǎn)檢測(cè)等方法，最終選定圓形標(biāo)簽紙和Hough變換作為檢測(cè)目標(biāo)和檢測(cè)方法。

首先，Hough變換的檢測(cè)目標(biāo)是圓形物體，可以直接過(guò)濾掉實(shí)際環(huán)境中眾多非規(guī)則和非圓形的物體，大大降低了處理的復(fù)雜度;其次，Hough變換對(duì)噪聲點(diǎn)并不敏感，細(xì)小的噪聲點(diǎn)和不規(guī)則的物體不能影響到Hough變換的準(zhǔn)確度。但是Hough變換的整體計(jì)算量很大，Hough變換是通過(guò)投票選舉的方式，在一定的限制條件下尋找合適的圓心和半徑，所以從Canny邊緣檢測(cè)的結(jié)果中選取圓形物體的計(jì)算量是比較大的，適合沒(méi)有噪聲且物體一致性比較高的檢測(cè)模式。

Hough圓形檢測(cè)的原理是通過(guò)計(jì)算經(jīng)過(guò)Canny邊緣檢測(cè)得出的輪廓點(diǎn)處的梯度向量，然后根據(jù)搜索的半徑R在該梯度方向距離輪廓點(diǎn)距離R的兩邊各投一點(diǎn)，最后根據(jù)投票結(jié)果確定圓心位置，當(dāng)某一點(diǎn)的得票數(shù)超過(guò)設(shè)定的閾值，則認(rèn)為這一點(diǎn)是需要的圓心，并確定相應(yīng)的半徑。Hough圓形檢測(cè)原理示意圖如圖5所示。

Hough變換檢測(cè)圓心是以投票的形式獲得的，計(jì)算復(fù)雜度高，計(jì)算速度慢，但是對(duì)噪聲抑制性好，準(zhǔn)確度高，適合對(duì)一致性較高的圓形物體的重心進(jìn)行檢測(cè)。

3軟件設(shè)計(jì)

通過(guò)將圖像數(shù)據(jù)輸入系統(tǒng)，在計(jì)算確定了內(nèi)參數(shù)和外參數(shù)后，根據(jù)相機(jī)成像轉(zhuǎn)換關(guān)系的矩陣，把像素坐標(biāo)轉(zhuǎn)換成實(shí)際位置坐標(biāo)，輸出到日志和PLC終端中。程序?qū)ough變換檢測(cè)結(jié)果中圓心及找到的圓標(biāo)識(shí)在原圖中，Hough變換檢測(cè)結(jié)果如圖6所示。軟件日志中會(huì)顯示檢測(cè)到圓的半徑和圓心坐標(biāo)相應(yīng)的軟件日志輸出，如圖7所示。從圖中展示的結(jié)果來(lái)看，本文方法可以很好地對(duì)圓心和半徑進(jìn)行識(shí)別，準(zhǔn)確度很高。識(shí)別過(guò)程中，對(duì)噪聲的抑制性好，對(duì)不同顏色和不同大小的標(biāo)簽識(shí)別度良好，坐標(biāo)位置的識(shí)別準(zhǔn)確，誤差較小。

4結(jié)束語(yǔ)

本文設(shè)計(jì)了自動(dòng)鉆孔機(jī)視覺(jué)定位系統(tǒng)，針對(duì)圖像采集過(guò)程中圖像畸變和像素距離轉(zhuǎn)換的問(wèn)題，提出對(duì)圖像進(jìn)行白平衡、降噪、灰度處理、二值化、Canny邊緣檢測(cè)、Hough變換等一系列圖像處理方法，最終能準(zhǔn)確識(shí)別圖中圓心和半徑。系統(tǒng)的應(yīng)用效果表明本文提出的方法對(duì)噪聲具有較強(qiáng)的抗性，且識(shí)別性能良好。該系統(tǒng)通過(guò)確定物體實(shí)際位置坐標(biāo)，將位置信息傳輸?shù)娇刂平K端，進(jìn)而控制機(jī)械進(jìn)行精確操作，能提高生產(chǎn)效率，是一種可行的視覺(jué)定位系統(tǒng)。