基于機(jī)器視覺的工業(yè)機(jī)器人對圖像的獲取與預(yù)處理技術(shù)

李國鵬 程基彬

摘要：機(jī)器人集成了電子技術(shù)、傳感技術(shù)和智能控制技術(shù)等，是一種能夠自動執(zhí)行工作任務(wù)的機(jī)器裝置，在許多領(lǐng)域都得到了廣泛的應(yīng)用。在結(jié)合了視覺技術(shù)之后的工業(yè)機(jī)器人，其靈活性和適應(yīng)性大大提高，并在多品種、變批量的柔性生產(chǎn)中具有良好的適用性，結(jié)合視覺技術(shù)不僅可以提高產(chǎn)品質(zhì)量和效率，并且勞動條件也能夠得到改善。因此，為了最大限度地發(fā)揮工業(yè)機(jī)器人的功能和作用，工業(yè)機(jī)器人視覺技術(shù)的研究具有重要意義。

關(guān)鍵詞：機(jī)器視覺;抓取定位;圖像獲取;預(yù)處理

引言

隨著科技的不斷進(jìn)步和生產(chǎn)技術(shù)的發(fā)展，機(jī)器視覺技術(shù)與工業(yè)機(jī)器人在生產(chǎn)中的結(jié)合已成為人們越來越感興趣的領(lǐng)域。在不斷深入的研究工作下，國內(nèi)外誕生了許多引人注目的研究成果，在不同領(lǐng)域的實(shí)際應(yīng)用中也都取得了不錯的效益。當(dāng)下，中國制造業(yè)發(fā)展迅猛，鑒于機(jī)器視覺技術(shù)與工業(yè)制造聯(lián)合帶來的眾多好處，其需求量也將增加，隨之為其投入的研究經(jīng)費(fèi)也會增加，技術(shù)的提升將產(chǎn)生更多的成果以及更好的經(jīng)濟(jì)效益。

一、關(guān)鍵技術(shù)：

機(jī)器視覺技術(shù)是隨著機(jī)器人技術(shù)的發(fā)展而不斷發(fā)展的新課題。已經(jīng)在越來越多的行業(yè)和科學(xué)領(lǐng)域中得到了運(yùn)用，其基本原理是利用攝像機(jī)與計(jì)算機(jī)來替代人眼，實(shí)現(xiàn)更高程度的生產(chǎn)自動化。在對目標(biāo)的圖像進(jìn)行采集時，環(huán)境中光照強(qiáng)度的變化、大氣中浮動物體的遮擋以及攝像頭附近有可能出現(xiàn)的雜物等因素，都會影響到圖像采集的最終效果。原始圖像的預(yù)處理，是為了增強(qiáng)目標(biāo)區(qū)域，模糊干擾的噪聲區(qū)域，獲得方便計(jì)算分析的高質(zhì)量圖像。

（一）圖像采集

將圖像作為數(shù)字?jǐn)?shù)據(jù)收集到計(jì)算機(jī)中并儲存的過程實(shí)際就是圖像獲取。作為機(jī)器視覺技術(shù)中最重要的設(shè)備，工業(yè)相機(jī)決定了圖像采集的質(zhì)量和效率。

CCD（Charge Couple Device）傳感器具有分辨率高、響應(yīng)快、成像清晰等特點(diǎn)，這些使它成為了機(jī)器視覺領(lǐng)域最為常用的圖像采集硬件設(shè)備。但因其自身制造工藝復(fù)雜的原因，也使其具有了較昂貴的制造成本。相對與面陣CCD而言，線陣CCD具有成本較低，結(jié)構(gòu)較為簡單，實(shí)時性較好，反應(yīng)速度較快，對光照條件要求較低，可以在動態(tài)環(huán)境下進(jìn)行測量等優(yōu)點(diǎn)，這也正是傳感器在較為復(fù)雜的環(huán)境下進(jìn)行工作的要求。

（二）圖像灰度處理

圖像的灰度化處理就是處理具有多種顏色的彩色圖像，以便使圖像成為僅具有黑色和白色的灰度級的灰度圖像。我們通?？吹降牟噬珗D像由三種基本顏色組成：紅色、綠色和藍(lán)色，每種顏色都有256種灰度值可以取。將彩色圖像轉(zhuǎn)化為灰度圖像，不會丟失其中的數(shù)據(jù)信息，卻會大大的減少圖像處理的計(jì)算量，提高效率，這也就是圖像灰度化的原因。在用計(jì)算機(jī)進(jìn)行圖像處理時，黑白圖像要處理的信息非常少，因?yàn)樗话凇變煞N屬性，灰度圖像是不同與此的，除了黑色和白色的深度，還有許多其他級別的顏色深度。這些不同級別的顏色深度，使得灰度圖像比黑白圖像有更強(qiáng)的圖像特征描述能力，其與彩色圖像的描述能力基本無太大差別，所以可以描述圖像的整體和局部的亮度和色度特征。

由于采集到的數(shù)字圖像是彩色圖像，并且彩色圖像具有色彩豐富，包含大量信息，處理圖像速度較慢等特點(diǎn)，考慮到工業(yè)機(jī)器人不必使用彩色圖像來定位工件，定位識別的速度必須有一定的要求。因此，彩色圖像的灰度級在圖像處理中起重要作用?；叶然幚淼姆椒ㄖ饕校浩骄ā⒆畲笾捣?、加權(quán)平均法等。?加權(quán)平均值法有效地避免了在實(shí)現(xiàn)彩色圖像的灰度圖像的同時平均法和最大值灰度處理后圖像引起的圖像失真。不僅成功保存了圖像原有的信息，而且在經(jīng)過處理后的灰度圖像還具有邊緣亮度噪聲少，平滑效果好的特點(diǎn)。加權(quán)平均法有兩個優(yōu)點(diǎn)，不僅可以達(dá)到預(yù)期的效果，而且為后續(xù)的圖像處理提供了有利條件。

（三）圖像濾波

獲取到的圖像往往會有噪聲的存在，這些噪聲主要表現(xiàn)為圖像像素的一些極值，這些極值存在于正常像素點(diǎn)之中，會產(chǎn)生忽亮點(diǎn)、忽暗點(diǎn)的噪聲影響，圖像的質(zhì)量就會大打折扣，對接下來的圖像濾波、邊緣檢測、特征識別等處理工作的進(jìn)行干擾，造成處理結(jié)果精度不夠或是出現(xiàn)錯誤結(jié)果。

濾波在計(jì)算機(jī)視覺和圖像處理中屬于最基礎(chǔ)的操作，經(jīng)常會用到的高斯濾波原理就是在像素鄰域?qū)崿F(xiàn)加權(quán)平均。在像素的鄰域內(nèi)實(shí)現(xiàn)平均操作會使一些圖像的邊緣被消除掉，從而造成整個圖像出現(xiàn)模糊的現(xiàn)象。在工件矢量數(shù)據(jù)獲取的中，如果要求圖像邊緣輪廓盡可能清晰，則選擇雙邊濾波進(jìn)行處理成為解決邊緣模糊問題的極好方法。雙邊濾波能夠達(dá)到去掉噪聲并且還保留邊緣信息的效果，完全由構(gòu)成該濾波方法的兩個函數(shù)決定：一個濾波系數(shù)由幾何空間距離決定，另一個濾波系數(shù)則由像素之間的差決定。執(zhí)行圖像濾波以最小化圖像中的噪聲干擾，同時保留目標(biāo)圖像中的各種特征。圖像濾波后，對該結(jié)果進(jìn)行后續(xù)的圖像處理和分析，直接影響其有效性和可靠性。

（四）圖像二值化

圖像二值化的原理是通過設(shè)置閾值將圖像上的像素的灰度值設(shè)置為0或255，并且不再出現(xiàn)其他灰度值。處理后。整個圖像顯示為黑白效果，即，將原有的256個級別的灰度圖像，通過合理的方法確定閾值，將圖像進(jìn)行黑白處理，獲得二值化后的黑白圖像，此時圖像保留整體和局部的特征。圖像的二值化使得圖像更簡單，并且在二值化之后，進(jìn)一步處理圖像更加方便。圖像的特征屬性僅與兩個像素大小點(diǎn)的位置有關(guān)，并且不存在多個像素值對應(yīng)于一個特征屬性的情況，不但能突顯出感興趣目標(biāo)的輪廓特征等信息，還能在很大程度上減少數(shù)據(jù)處理的工作量。

常用的二值化方法有：固定值法、大津法等。固定值法圖像二值化是通過設(shè)定一個限定值，根據(jù)這個值把圖像不同級別的灰度值分為黑白兩個灰度值的二值化圖像。圖像二值化中的Otsu方法是自適應(yīng)閾值的方法，也稱為最大類間方差法，計(jì)算方法較為簡單，不受圖像對比度和亮度的影響。將圖像分成兩組不同灰度值像素集的模塊。兩個不同的灰度值集合之間的數(shù)學(xué)方差越大，說明這兩個灰度值集合之間的差異越明顯，找出差異最大的兩個部分正是這種方法的目的。在不同光照或者較為復(fù)雜的背景之下，大津法的二值化效果并不理想，與大津法做比較，固定值法具有高質(zhì)量高效率的優(yōu)點(diǎn)。

二、技術(shù)應(yīng)用：

（一）工件的識別與定位

工件識別與定位的主要操作是在背景中分離目標(biāo)圖像，提取目標(biāo)圖像的輪廓特征，并計(jì)算和標(biāo)記圖像的幾何質(zhì)心。而機(jī)器人能否到達(dá)指定位置并準(zhǔn)確抓取起物體與識別結(jié)果的準(zhǔn)確性和定位精度有密不可分的關(guān)系。對于以各種姿勢放置的多個目標(biāo)工件，工件的識別和定位是更為復(fù)雜的圖像處理過程。首先，需要處理多目標(biāo)子模塊，然后邊緣檢測每個組件以識別單個目標(biāo)工件。同時，還需要提取每個單獨(dú)目標(biāo)的質(zhì)心、長軸等特征，從而獲得像素坐標(biāo)，然后通過手眼變換獲得工件在世界坐標(biāo)系中的位置。工件的識別技術(shù)在很大程度上依賴于機(jī)器視覺圖像的匹配過程，通過選取灰度、形狀和邊緣輪廓等重要特征。運(yùn)用邊緣梯度匹配算法和圖像金字塔搜索策略，對原始圖像模塊化后的區(qū)域與標(biāo)準(zhǔn)的模版進(jìn)行對比，從而實(shí)現(xiàn)在不同幾何變換下的多目標(biāo)快速匹配。

（二）邊緣檢測

常用的邊緣檢測方法有?Robert、Prewitt、Sobel、Canny、Laplace等。Laplace算子為各向同性的點(diǎn)、線、邊界提取算子，尤其是對單獨(dú)孤立出來的像素的反應(yīng)非常強(qiáng)烈，因此Laplace算子常用在在沒有噪聲的圖像中或者用于改善因擴(kuò)展效應(yīng)在成像過程中引起的模糊。圖像中如果有明顯的噪聲存在，可以在應(yīng)用Laplace進(jìn)行邊緣檢測之前進(jìn)行低通濾波處理。Sobel算子的原理則是在高等數(shù)學(xué)中應(yīng)用快速卷積函數(shù)來達(dá)到提取邊緣的目的。并且對噪聲起一定的平滑作用，因其操作的簡便性，而得到廣泛的應(yīng)用。Sobel算子的缺點(diǎn)是目標(biāo)圖像與背景是不能清晰地分離，所以提取到圖像的輪廓不平滑。Canny算子的邊緣檢測的原理是通過計(jì)算信號函數(shù)的極大值來確定圖像的邊緣像素。為了獲得優(yōu)化的逼近算子，Canny算子是一種具有更好邊緣檢測性能的算法。

（三）輪廓檢測

輪廓檢測并加以提取的方法應(yīng)用較為廣泛的是邊緣檢測法，它們之中的絕大部分可以按兩類劃分：基于查找一類和基于零穿越的一類。首先，基于查找的方法，通過在圖像一階導(dǎo)數(shù)中找到最大和最小值來檢測邊界，并且邊界通常位于具有最大梯度的方向上。其次，基于零穿越的方法，通過找到圖像二階導(dǎo)數(shù)的零穿越來找到邊界，該二階導(dǎo)數(shù)通常是拉普拉斯零交叉或非線性差分表示的過零點(diǎn)。邊緣檢測法可以較好的實(shí)現(xiàn)物體的輪廓提，但也有一些如邊緣線出現(xiàn)斷點(diǎn)，圖像摻雜噪聲的缺陷存在。

經(jīng)典邊緣檢測方法包括局部算子法，例如梯度算子、Roberts算子、Sobel算子和Canny 算子。梯度算子的計(jì)算相對簡單，但存在精度低的缺點(diǎn)，因此只能檢測到一個圖像輪廓，并且可能會忽略掉一些細(xì)節(jié)的邊緣。Prewitt和Sobel算子比Roberts檢測效果要好一些，Canny算子的效果優(yōu)于梯度算子，并且能夠檢測出圖像中較為細(xì)節(jié)的邊緣部分。

（四）工件最小外接矩形檢測

主軸法找到目標(biāo)工件輪廓的最小外接矩形是一種有效的方法。主軸方法的原理是用均勻的密度片替換目標(biāo)圖像，同時確保圖像中目標(biāo)圖像的位置不變。利用重心原理確定水平主軸與垂直主軸的初始位置之間的關(guān)系，從原始外接矩形開始，根據(jù)需要旋轉(zhuǎn)外接矩形以查找最小區(qū)域的外接矩形。外接矩形的形狀相對規(guī)則，可以通過相對件方式對其進(jìn)行存儲和表達(dá)，具有運(yùn)算效率高的特點(diǎn)。另外由于限定了旋轉(zhuǎn)區(qū)間在水平主軸和垂直主軸所形成的銳角之間，與其他的旋轉(zhuǎn)法比較收縮了搜索的區(qū)間，找到最小外接矩形的過程中的轉(zhuǎn)數(shù)減少，并且操作速度進(jìn)一步提高。

（五）實(shí)時監(jiān)測與數(shù)據(jù)分析

（瀏覽器/服務(wù)器）網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)大大改善了工業(yè)機(jī)器人實(shí)時監(jiān)測與數(shù)據(jù)分析的應(yīng)用，僅在局域網(wǎng)的環(huán)境之下，輸入對應(yīng)服務(wù)器的域名于瀏覽器地址欄中，操作者即可實(shí)現(xiàn)遠(yuǎn)程訪問和控制該系統(tǒng)，如果有必要，還可以設(shè)置用戶名及密碼以提高系統(tǒng)的安全性。通過使用免費(fèi)的開源數(shù)據(jù)庫MySQL實(shí)現(xiàn)數(shù)據(jù)持久性。實(shí)時監(jiān)測與數(shù)據(jù)分析系統(tǒng)的組成部分主要包括系統(tǒng)管理、實(shí)時監(jiān)測、數(shù)據(jù)分析等功能板塊。

三、現(xiàn)存問題

（一）實(shí)時性

在機(jī)器視覺技術(shù)的不斷進(jìn)步的同時，其應(yīng)用的范圍也變的更加廣泛，同時也在很大程度上提高了生產(chǎn)率。但由于機(jī)器視覺技術(shù)自身存在一定的局限性，仍然會有與之相應(yīng)的技術(shù)難題不斷產(chǎn)生，同時硬件材料等方面的問題同樣需要我們加以重視。

在日常的工業(yè)生產(chǎn)中，實(shí)時性的問題成為了用機(jī)器視覺技術(shù)代替人工視的一個重要難題。在生產(chǎn)自動化程度不高時，人工檢測即可滿足需要，但在成功實(shí)現(xiàn)了一定的自動化生產(chǎn)后，視覺技術(shù)的實(shí)時性要求就會變得尤為重要。

在機(jī)器視覺技術(shù)的實(shí)時性要求中，可以同時從硬、軟件中克服它。在硬件方面，主要是生產(chǎn)工藝和材料的性能問題，現(xiàn)如今生產(chǎn)工藝發(fā)展飛快、新材料不斷得到運(yùn)用，實(shí)時性在硬件方向的問題都可以很好的解決。然而較為棘手的是實(shí)時性在軟件方面的問題，找到高效的處理算法是最能有效提高時間效率的方法。在不斷深入研究的基礎(chǔ)上，對現(xiàn)有算法的改進(jìn)以及新的處理算法也不斷涌現(xiàn)出來，但是它們中的很大一部分還處在理論階段，并沒有得到實(shí)際的應(yīng)用。然而在實(shí)際的生產(chǎn)環(huán)境中，存在有許多復(fù)雜的想不到的因素干擾，并對其方法的處理結(jié)果產(chǎn)生不同程度上的影響，因此給技術(shù)的實(shí)時性和結(jié)果的可靠性帶來了難題。

（二）重復(fù)定位較低

工業(yè)機(jī)器人在汽車生產(chǎn)、機(jī)床上下料、零部件搬運(yùn)等各種場合中都得到了的廣泛運(yùn)用，已成為現(xiàn)代工業(yè)自動化制造中不可或缺的裝備。現(xiàn)如今工業(yè)自動線上的機(jī)械手，大多仍采用示教再現(xiàn)的方式進(jìn)行工作，即在人工操作引導(dǎo)下，機(jī)器人末端按程序執(zhí)行機(jī)構(gòu)運(yùn)動，對機(jī)器手的抓放位置、運(yùn)動線路以及動作做一個提前的規(guī)劃和編程，由此，工業(yè)機(jī)器人記憶相關(guān)操作信息，從而實(shí)現(xiàn)再現(xiàn)示教的操作。當(dāng)工業(yè)機(jī)器人在以示教在線的方式抓取零件時，必須要求零件具有固定的位置和角度。工件位姿與理想位姿之間的任何輕微偏差都可能導(dǎo)致機(jī)器人失敗操作的結(jié)果，所以需要設(shè)計(jì)和制造對應(yīng)的定位設(shè)備來適應(yīng)不同尺寸和形狀的零件，以至于形成了高生產(chǎn)成本、低效率與自動化程度的缺點(diǎn)。

結(jié)語：

本文對圖像采集、圖像處理等一些為本文后續(xù)工作提供幫助的關(guān)鍵技術(shù)進(jìn)行了研究。首先，著重分析了在圖像獲取之后的一系列預(yù)處理操作，結(jié)合不同的實(shí)際情況，比較出更加高效率、高質(zhì)量且滿足實(shí)際需求的預(yù)處理方法，以便為之后獲取圖像數(shù)據(jù)打下基礎(chǔ)。在前面圖像預(yù)處理完成的基礎(chǔ)上，為實(shí)現(xiàn)獲取精確的目標(biāo)工件的矢量數(shù)據(jù)信息，分析了現(xiàn)有的輪廓檢測方法和最小外接矩形的采集方法，判斷其優(yōu)缺點(diǎn)，并結(jié)合各種研究需要，提出了不同需要的檢測方法，實(shí)現(xiàn)矢量數(shù)據(jù)的獲取。

參考文獻(xiàn)

[1]朱良.基于機(jī)器視覺的工業(yè)機(jī)器人工件定位[J].小型微型計(jì)算機(jī)系統(tǒng).2016（8）.

[2]李伯平.工業(yè)機(jī)器人視覺定位技術(shù)與應(yīng)用探討[J].現(xiàn)代信息科技. 2018（11）.

[3]羅炳軍，黃本法，郭聯(lián)金，等.搬運(yùn)機(jī)器人視覺引導(dǎo)定位技術(shù)的研究[J].新型工業(yè)化.2017（3）.

（作者單位：1.西南石油大學(xué)南充校區(qū);2.西南石油大學(xué)成都校區(qū)）