基于機(jī)器視覺的焊縫跟蹤系統(tǒng)研究與設(shè)計(jì)

葉家輝，史欣雨，鄭凱豪，鄭潔霽，李廷

（嘉興職業(yè)技術(shù)學(xué)院，浙江嘉興，314036）

0 引言

焊接技術(shù)是現(xiàn)代制造業(yè)的基礎(chǔ)技術(shù)，廣泛應(yīng)用于電子技術(shù)、機(jī)械制造、交通船舶、航空航天等領(lǐng)域[1]。自動(dòng)化與智能化是焊接技術(shù)的發(fā)展趨勢(shì)，也是當(dāng)前研究的熱點(diǎn)。傳統(tǒng)的人工焊接依靠人工識(shí)別焊縫，焊接質(zhì)量依賴于工人的技術(shù)水平與工作條件，影響了焊接的效率和效果[2]。焊接行業(yè)對(duì)焊接操作的可靠性、使用壽命及智能化提出了更高的要求。機(jī)器視覺技術(shù)、計(jì)算機(jī)技術(shù)、機(jī)器人技術(shù)的快速發(fā)展為焊接自動(dòng)化技術(shù)的發(fā)展提供了有利條件[3]。隨著我國(guó)勞動(dòng)力成本的逐漸提升，焊縫跟蹤技術(shù)受到了越來(lái)越多的關(guān)注。焊縫跟蹤技術(shù)通過(guò)工業(yè)相機(jī)、傳感器等獲取焊縫圖像，經(jīng)過(guò)進(jìn)一步處理后得到焊縫的形狀位置等特征，控制焊槍移動(dòng)調(diào)整到正確位置[4]。目前使用比較廣泛的焊縫跟蹤技術(shù)有電弧傳感技術(shù)、光電傳感技術(shù)、視覺傳感技術(shù)等[5]。電弧傳感技術(shù)與光電傳感器技術(shù)在行業(yè)中已有一定的應(yīng)用，但是難以解決自主尋找焊縫起始位置等問(wèn)題。視覺傳感技術(shù)具有非接觸、信息量大、抗干擾性強(qiáng)、處理精度高等特點(diǎn)，在焊縫跟蹤系統(tǒng)中的應(yīng)用越來(lái)越廣泛[6]。

本文采用低成本、小體積的機(jī)器視覺模塊，通過(guò)圖像處理算法提取焊縫特征信息，由高性能嵌入式處理器控制伺服電機(jī)對(duì)焊槍的位置進(jìn)行調(diào)整，實(shí)現(xiàn)焊縫自動(dòng)跟蹤功能。

1 系統(tǒng)硬件組成

圖2 UnitV2模塊

焊縫跟蹤系統(tǒng)由電源模塊、照明模塊、圖像采集處理模塊、上位機(jī)、控制模塊與執(zhí)行機(jī)構(gòu)組成，其系統(tǒng)組成框圖如圖1所示。電源模塊給系統(tǒng)提供穩(wěn)定的電源，照明模塊給被測(cè)焊縫提供足夠的光源照明，由圖像采集處理模塊采集焊縫圖像信息，經(jīng)過(guò)圖像處理算法處理之后將焊縫位置信息傳輸給控制模塊，從而驅(qū)動(dòng)焊槍到正確位置，實(shí)現(xiàn)焊縫跟蹤的功能。

圖1 系統(tǒng)組成框圖

照明模塊由LED燈構(gòu)成，通過(guò)燈光照明降低環(huán)境光源的影響，加強(qiáng)被測(cè)焊縫邊緣的特征，使圖像處理更為穩(wěn)定。

圖像采集處理模塊采用UnitV2視覺識(shí)別模塊。UnitV2是一款高效率的視覺識(shí)別模塊, 采用Sigmstar SSD202D雙核Cortex-A7 1.2Ghz處理器控制核心,集成512MB NAND Flash, 具有1080P高清攝像頭，支持USB及串口通信方式，能靈活配合其他模塊實(shí)現(xiàn)視覺識(shí)別功能。

控制模塊采用高性能微處理器STM32F407為主控芯片，芯片采用ARM Cortex-M4為內(nèi)核時(shí)鐘頻率可達(dá)168MHz，支持浮點(diǎn)運(yùn)算和DSP指令，通信接口包括6個(gè)高速USART、3個(gè)速SPI、3個(gè)I2C、2個(gè)CAN和1個(gè)SDIO接口。STM32F407使用自適應(yīng)實(shí)時(shí)存儲(chǔ)器加速器，能實(shí)現(xiàn)程序零等待執(zhí)行，提升了程序執(zhí)行的效率，可實(shí)現(xiàn)精確的計(jì)算和控制?？刂颇K根據(jù)上位機(jī)提供的焊縫信息控制焊槍的角度進(jìn)行跟蹤糾偏。

執(zhí)行機(jī)構(gòu)由伺服電機(jī)及傳動(dòng)結(jié)構(gòu)所組成，根據(jù)控制模塊的指令控制電機(jī)的運(yùn)動(dòng)從而調(diào)整焊槍的位置。伺服電機(jī)的位置精度較好，具有機(jī)電時(shí)間常數(shù)小、線性度高等特性，并且可以進(jìn)行閉環(huán)控制，適合作為焊縫跟蹤系統(tǒng)的執(zhí)行機(jī)構(gòu)。

電源模塊為整個(gè)系統(tǒng)提供電力供應(yīng)，為了減少干擾，采用了輸入、輸出濾波器。交流220V電源經(jīng)過(guò)輸入濾波器向執(zhí)行機(jī)構(gòu)供電，通過(guò)交直流轉(zhuǎn)換電路將220V交流電源轉(zhuǎn)換成5V直流電源供給照明、圖像采集處理與控制等模塊。伺服電機(jī)驅(qū)動(dòng)器在工作時(shí)會(huì)產(chǎn)生高次諧波，從而干擾現(xiàn)場(chǎng)附近的其他電氣設(shè)備，產(chǎn)生運(yùn)行失靈或者硬件損壞等故障。為了消除干擾，獲得純凈的電源環(huán)境，使用了專用屏蔽電纜以及3級(jí)電源濾波器。輸出濾波器與伺服驅(qū)動(dòng)器相連，通過(guò)濾波器構(gòu)成低阻抗回路，能夠有效降低高頻干擾，從而確保設(shè)備的正常工作。

2 系統(tǒng)軟件設(shè)計(jì)

圖像采集模塊將采集到的焊縫圖像傳輸?shù)缴衔粰C(jī)，由上位機(jī)采用OpenCV機(jī)器視覺庫(kù)進(jìn)行處理數(shù)字圖像處理，準(zhǔn)確識(shí)別出焊縫的特征點(diǎn)。OpenCV是一個(gè)基于Apache2.0許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫(kù)，可以運(yùn)行在Linux、Windows、Android和Mac OS操作系統(tǒng)上。它由一系列 C 函數(shù)和少量 C++ 類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。OpenCV用C++語(yǔ)言編寫，具有C ++，Python，Java和MATLAB接口，可用于實(shí)時(shí)視覺應(yīng)用開發(fā)，并提供對(duì)于C#、Ruby，GO的支持。OpenCV輕量級(jí)且高效，提供了豐富的視覺處理算法，由于其開源的特性并部分以C語(yǔ)言編寫，不需要添加新的外部支持也可以完整的編譯鏈接生成執(zhí)行程序，因此有很多算法移植的應(yīng)用。OpenCV擁有包括 300 多個(gè) C 函數(shù)的跨平臺(tái)的中、高層 API，代碼經(jīng)過(guò)適當(dāng)改寫可運(yùn)行在DSP系統(tǒng)和ARM嵌入式系統(tǒng)中。

上位機(jī)得到原始圖像后，需要對(duì)其進(jìn)行處理，處理流程為：圖像灰度化、降噪、圖像增強(qiáng)、二值化、圖像形態(tài)學(xué)處理、提取特征點(diǎn)，處理流程如圖3所示。

圖3 圖像處理流程

在采集焊縫圖像的過(guò)程中，不可避免地會(huì)受到噪聲的影響。噪聲的來(lái)源有兩類：一類是外部環(huán)境的因素，比如一些雜質(zhì)吸附在焊縫上，從而對(duì)成像產(chǎn)生了干擾。另外一類是由于采集圖像時(shí)內(nèi)部的電子元件、傳輸通道等引起干擾產(chǎn)生噪聲。噪聲會(huì)影響圖像的質(zhì)量，因此需要對(duì)焊縫圖像進(jìn)行相應(yīng)的預(yù)處理以改善圖像質(zhì)量突出目標(biāo)信息，在本系統(tǒng)中主要包括濾除噪聲、圖像增強(qiáng)、圖像形態(tài)化處理三個(gè)步驟。

在數(shù)字圖像處理中，常用的濾波方法有均值濾波、中值濾波等，目的是濾除噪聲改善圖像。均值濾波是一種低通濾波器，可以去除高頻噪聲。其基本原理是用若干像素的平均值代替原圖像的像素值。其具體過(guò)程是在原圖像上以目標(biāo)像素（x, y）選出一個(gè)掩膜，該掩膜包含了周圍臨近像素，將掩膜中的全體像素的平均值賦給當(dāng)前的目標(biāo)像素點(diǎn)（x, y），這樣依次在圖像上從左到右從上到下依次進(jìn)行卷積計(jì)算，直到圖像上所有像素點(diǎn)被重新賦值。中值濾波是先將圖像中某一像素點(diǎn)的灰度值及其固定鄰域的其他像素點(diǎn)的灰度值按照大小進(jìn)行排序，之后取其中間的灰度值作為該點(diǎn)新的灰度值如果像素點(diǎn)的個(gè)數(shù)為偶數(shù)，則取中間兩個(gè)灰度值的平均值作為待分配的灰度值。在OpenCV中用cvSmooth()函數(shù)實(shí)現(xiàn)濾波功能，由不同的參數(shù)選擇相應(yīng)的濾波方式。

由于采集圖像時(shí)，相機(jī)曝光不理想會(huì)造成焊縫圖像的對(duì)比度較低焊縫區(qū)域與焊縫背景無(wú)法分清，影響焊縫識(shí)別效果。圖像增強(qiáng)的目的就是通過(guò)變換關(guān)系來(lái)提高焊縫圖像的對(duì)比度，使焊縫區(qū)域能從焊縫圖像中清楚地被分辨出來(lái)，系統(tǒng)采用直方圖均衡法來(lái)進(jìn)行圖像增強(qiáng)。

直方圖均衡化是對(duì)原始圖像的像素進(jìn)行一種映射處理，把一個(gè)分布映射到另一個(gè)分布上，使每個(gè)灰度級(jí)的像素?cái)?shù)處于均勻分布狀態(tài)，達(dá)到對(duì)比度增強(qiáng)的效果。在OpenCV中用cvEqualizeHist()函數(shù)實(shí)現(xiàn)直方圖均衡化，輸入圖像和目標(biāo)圖像為大小相同的8位單通道圖像。

焊縫圖像中存在一些比較細(xì)小的裂縫或孔洞，就需要進(jìn)行圖像形態(tài)學(xué)處理以消除其干擾影響。圖像形態(tài)學(xué)處理是以數(shù)學(xué)形態(tài)學(xué)作為工具，通過(guò)某一特定形狀的結(jié)構(gòu)元素去遍歷待處理圖像的整個(gè)區(qū)域，衡量和提取出對(duì)應(yīng)的形態(tài)結(jié)構(gòu)，突出目標(biāo)對(duì)象最本質(zhì)的形狀特征。圖像腐蝕的作用是通過(guò)結(jié)構(gòu)元素去除圖像周圍的較小的物體，圖像膨脹則是將目標(biāo)物體周圍背景點(diǎn)合并到目標(biāo)物體中，通常用于填補(bǔ)物體中的空洞。在OpenCV中，用函數(shù)cvErode()實(shí)現(xiàn)腐蝕功能，用函數(shù)cvDilate()實(shí)現(xiàn)膨脹功能。在圖像處理中，膨脹和腐蝕是不可逆的兩種操作。先腐蝕后膨脹的操作稱為開運(yùn)算，圖像經(jīng)過(guò)開運(yùn)算后可以去除圖中毛刺、小顆粒噪聲以及平滑物體形狀邊界。

圖像二值化是基于閾值分割的圖像分割中的一種特例，可將圖像分為黑、白兩種狀態(tài)。閾值化分割計(jì)算迭代小速度快，廣泛應(yīng)用于圖像分割中。二值就是指圖像中只存在兩種灰度值，一般是指白色和黑色即灰度值分別為255和0。圖像二值化的基本思想是將輸入圖像中每個(gè)像素點(diǎn)的灰度值和指定的閾值進(jìn)行比較判斷輸出相應(yīng)的結(jié)果。在OpenCV中，通過(guò)函數(shù)cvThreshold()可實(shí)現(xiàn)圖像的二值化。為了達(dá)到最佳的分割效果，通過(guò)函數(shù)cvAdaptiveThreshold()使用自適應(yīng)閾值法實(shí)現(xiàn)閾值的自動(dòng)選擇。

為了減少運(yùn)算量和硬件資源的消耗，通常對(duì)指定區(qū)域的圖像進(jìn)行抓取分析，即進(jìn)行ROI空間的抓取。通過(guò)cvSetImageROI()函數(shù)來(lái)對(duì)給定的矩形設(shè)置感興趣區(qū)域，其中參數(shù)rect保存的是感興趣部位的矩形區(qū)域，參數(shù)image是輸入圖像。

邊緣和輪廓的檢測(cè)常用的方法有；Sobel邊緣檢測(cè)算子、Roberts邊緣檢測(cè)算子、Laplace邊緣檢測(cè)算子、Canny邊緣檢測(cè)算子等，通過(guò)其卷積算子模板與卷積因子計(jì)算來(lái)檢測(cè)圖像的邊緣像素。Sobel 算子是一個(gè)離散微分算子，結(jié)合了高斯平滑和微分求導(dǎo)，用來(lái)計(jì)算圖像灰度函數(shù)的近似梯度，它把圖像中每個(gè)像素的上下左右四領(lǐng)域的灰度值加權(quán)差，在邊緣處達(dá)到極值從而檢測(cè)邊緣。本系統(tǒng)中使用Sobel邊緣檢測(cè)算子，在OpenCV中使用cvSobel()函數(shù)可實(shí)現(xiàn)相應(yīng)的檢測(cè)功能。

本系統(tǒng)使用Harris 角點(diǎn)檢測(cè)算法進(jìn)行特征點(diǎn)提取，該算法通過(guò)窗口在圖像上移動(dòng)，當(dāng)窗口內(nèi)的像素灰度值沒(méi)有變化時(shí)，認(rèn)為不存在角點(diǎn)；當(dāng)窗口內(nèi)至少兩個(gè)方向上灰度值發(fā)生較大變化時(shí)，則認(rèn)為窗口內(nèi)的像素點(diǎn)為角點(diǎn)。在進(jìn)行檢測(cè)時(shí)需設(shè)置合適的閾值，根據(jù)波動(dòng)大小的不同角點(diǎn)響應(yīng)值也不同。先設(shè)定一個(gè)較小的閾值，通過(guò)試驗(yàn)不斷調(diào)整，直到只留下最后的角點(diǎn)。特征點(diǎn)的獲取是通過(guò)遍歷圖像中的響應(yīng)值，當(dāng)響應(yīng)值超過(guò)閾值時(shí)，該點(diǎn)對(duì)應(yīng)的坐標(biāo)就是特征點(diǎn)，流程如圖4所示。

圖4 提取特征點(diǎn)流程

3 實(shí)驗(yàn)結(jié)果

本系統(tǒng)實(shí)現(xiàn)焊縫的識(shí)別與跟蹤，工程中對(duì)于焊接誤差的要求是在0.6mm以內(nèi)。實(shí)驗(yàn)設(shè)定圖像采集20幀/s，分辨率為1920×1080，圖像采集模塊距離焊縫40cm, 焊接電弧電壓為 23V， 焊接電流為 150 A， 焊接速度30cm/min。連續(xù)30次運(yùn)行系統(tǒng)記錄下對(duì)應(yīng)的偏移量誤差值，測(cè)試結(jié)果如下圖所示，小于誤差要求。在常溫工作環(huán)境中，系統(tǒng)連續(xù)正常工作24小時(shí)無(wú)報(bào)警，實(shí)驗(yàn)表明本系統(tǒng)能滿足工程現(xiàn)場(chǎng)要求。

圖5 誤差測(cè)試

4 總結(jié)

本文設(shè)計(jì)了一種焊縫跟蹤系統(tǒng)，由電源模塊、照明模塊、圖像采集處理模塊、上位機(jī)、控制模塊與執(zhí)行機(jī)構(gòu)組成。由圖像采集處理模塊采集焊縫圖像，通過(guò)開源機(jī)器視覺庫(kù)OpenCV對(duì)圖像進(jìn)行圖像灰度化、降噪、圖像增強(qiáng)、二值化、圖像形態(tài)學(xué)處理、提取特征點(diǎn)等處理。對(duì)圖像進(jìn)行識(shí)別后，根據(jù)偏移信息調(diào)整焊槍的位置。經(jīng)試驗(yàn)證明，本系統(tǒng)工作穩(wěn)定、性能可靠，符合工程實(shí)際需要，為自動(dòng)化焊接打下了基礎(chǔ)。