一種采用改進(jìn)Canny算子的機(jī)械臂識(shí)別與定位算法設(shè)計(jì)

摘" 要： 為進(jìn)一步提高機(jī)械臂圖像處理的精確度，文中在改進(jìn)Canny算子的基礎(chǔ)上，提出一種適用于機(jī)械臂視覺(jué)伺服的圖像識(shí)別與定位算法。該算法利用張正友標(biāo)定法、灰度化、濾波及閾值分割等方法，完成了精確的相機(jī)標(biāo)定和圖像預(yù)處理，并在此基礎(chǔ)上通過(guò)改進(jìn)傳統(tǒng)的Canny算子，降低了圖像處理中邊緣檢測(cè)算法的檢測(cè)誤差，從而有效提高了機(jī)械臂的目標(biāo)識(shí)別與定位精度。仿真實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)算法相比，基于改進(jìn)Canny算子的識(shí)別及定位算法具有更高的處理精度和更快的執(zhí)行速度。

關(guān)鍵詞： 機(jī)械臂； 視覺(jué)伺服； 相機(jī)標(biāo)定； 灰度化； 圖像濾波； 邊緣檢測(cè)； 輪廓提取； Canny算子

中圖分類號(hào)： TN911.73?34； TP274+.51" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " 文章編號(hào)： 1004?373X（2024）13?0027?05

Design of robotic arm recognition and positioning algorithm

using improved Canny operator

LUO Xiaoqing1， HU Rong2

（1. Electromechanical Laboratory， Jiangxi Institute of Mechanical Science， Nanchang 330000， China;

2. Nanchang University College of Science and Technology， Jiujiang 332020， China）

Abstract： An image recognition and positioning algorithm suitable for manipulator visual servo is proposed based on the improved Canny operator to further improve the accuracy of manipulator image processing. In the algorithm， Zhang′s calibration method， grayscale， filtering and threshold segmentation are used to fulfill accurate camera calibration and image preprocessing. On this basis， by improving the traditional Canny operator， the detection error of edge detection algorithm in image processing is reduced， so as to effectively improve the object recognition and positioning accuracy of manipulator. The simulation results show that the recognition and positioning algorithm based on the improved Canny operator has higher processing accuracy and faster execution speed in comparison with the traditional algorithm.

Keywords： mechanical arm; visual servo; camera calibration; grayscale; image filtering; edge detection; contour extraction; Canny operator

0" 引" 言

隨著科學(xué)與技術(shù)的飛速發(fā)展，智能工廠逐漸成為研究熱點(diǎn)，機(jī)械臂技術(shù)也逐步被廣泛應(yīng)用于實(shí)際的工業(yè)生產(chǎn)過(guò)程中[1?3]。其中，汽車生產(chǎn)過(guò)程中的焊接噴涂、貨運(yùn)倉(cāng)庫(kù)的快速運(yùn)輸及快遞分揀已大規(guī)模地使用此項(xiàng)技術(shù)，并提高了汽車生產(chǎn)和物流運(yùn)輸?shù)犬a(chǎn)業(yè)的生產(chǎn)速度及效率[4?6]。通常而言，機(jī)械臂技術(shù)主要由視覺(jué)傳感器技術(shù)與自動(dòng)控制技術(shù)等組成。其中，視覺(jué)傳感器技術(shù)是機(jī)械臂的眼睛，其精準(zhǔn)的識(shí)別和定位技術(shù)令機(jī)械臂實(shí)現(xiàn)對(duì)目標(biāo)的自主識(shí)別、抓取、分揀及缺陷檢測(cè)等多項(xiàng)復(fù)雜任務(wù)，從而解決復(fù)雜環(huán)境中工業(yè)生產(chǎn)欠缺靈活性、自主性與智能化的問(wèn)題[7?9]。

針對(duì)機(jī)械臂中的識(shí)別與定位技術(shù)，國(guó)內(nèi)外學(xué)者進(jìn)行了大量的研究工作。在圖像處理的目標(biāo)檢測(cè)中，文獻(xiàn)[10?12]第一次引入神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，從而提出基于R?CNN（Region?based Convolutional Neural Network）的圖像檢測(cè)模型，同時(shí)利用RoI池化方法和選擇性搜索算法獲取具有更快速度的Faster R?CNN檢測(cè)模型；基于幾何不變性、形態(tài)學(xué)與圖像處理等多種算法，文獻(xiàn)[13]提出基于Canny算子的邊緣檢測(cè)算法，實(shí)現(xiàn)對(duì)異源圖像中各種事物的特征提取；綜合利用卷積運(yùn)算、聚類算法及特征提取網(wǎng)絡(luò)等多種算法，文獻(xiàn)[14]提出YOLO檢測(cè)模型，從而提高圖像檢測(cè)的準(zhǔn)確度；通過(guò)設(shè)定關(guān)鍵檢測(cè)點(diǎn)的方法，文獻(xiàn)[15]提出具有更高檢測(cè)精度的CornerNet方法。然而，這些圖像識(shí)別和定位算法仍然難以適應(yīng)機(jī)械臂的高速發(fā)展需求，即其處理精度與執(zhí)行速度仍較低。針對(duì)這一問(wèn)題，本文通過(guò)引入張正友標(biāo)定法、灰度化、圖像濾波和閾值分割等方法，提出了一種圖像識(shí)別及定位算法，以降低機(jī)械臂工作過(guò)程的邊緣檢測(cè)誤差，從而提高機(jī)械臂的目標(biāo)識(shí)別與定位精度。

1" 相機(jī)標(biāo)定原理

相機(jī)標(biāo)定法起源于攝影測(cè)量學(xué)，是指從二維圖像出發(fā)，確定三維空間中坐標(biāo)與點(diǎn)之間的關(guān)系，且其標(biāo)定內(nèi)容包括內(nèi)部參數(shù)和外部參數(shù)。其中：內(nèi)部參數(shù)主要由焦距、焦點(diǎn)、傾斜、橫縱比與失真度等多種參數(shù)組成；外部參數(shù)則主要由二維圖像及三維空間之間的旋轉(zhuǎn)角度和平移距離等運(yùn)行參數(shù)組成。

目前，相機(jī)標(biāo)定方法可分為三種，即傳統(tǒng)標(biāo)定、主動(dòng)式標(biāo)定及自標(biāo)定。為了提高機(jī)械臂的標(biāo)定精度，同時(shí)降低標(biāo)定方法的復(fù)雜性，文中選取基于單面棋盤(pán)的張正友標(biāo)定法。該標(biāo)定法采用針孔成像模型，其空間與圖像間的坐標(biāo)具有特定的線性關(guān)系。在相機(jī)標(biāo)定過(guò)程中，張正友標(biāo)定法分別需建立圖像像素、圖像物理、相機(jī)和世界坐標(biāo)系，這些坐標(biāo)系間的相互關(guān)系如圖1所示。

由圖1可知，在二維圖像空間中，對(duì)于圖像像素坐標(biāo)系[IO'J]與圖像物理坐標(biāo)系[POH]，設(shè)圖像物理坐標(biāo)系的原點(diǎn)[O]在像素坐標(biāo)系中的坐標(biāo)為[p0，h0]，像素點(diǎn)在物理坐標(biāo)系中的長(zhǎng)和寬分別是[lp]與[lh]，則圖像的物理坐標(biāo)[p，h]及像素坐標(biāo)[x，y]之間的關(guān)系為：

[x=plp+p0y=hlh+h0] （1）

設(shè)相機(jī)焦距為[f]，則像素坐標(biāo)[x，y]與相機(jī)坐標(biāo)系[Oc?XcYcZc]中的空間坐標(biāo)[xc，yc， zc]之間可進(jìn)行較為簡(jiǎn)單的轉(zhuǎn)換，其轉(zhuǎn)換方法如下：

[xc=zcxfyc=zcyf] （2）

在三維空間中，令[M3×3]表示三維的旋轉(zhuǎn)方陣，[T1×3]表示維度為[1×3]的平移列向量。在相機(jī)坐標(biāo)系中，[xc，yc， zc]表示某個(gè)像素的空間坐標(biāo)，在世界坐標(biāo)系中，[xd，yd， zd]表示某像素的坐標(biāo)，二者間的轉(zhuǎn)換關(guān)系為：

[xcyczc=M3×3xdydzd+T1×3] （3）

聯(lián)立式（1）～式（3），可得圖像像素坐標(biāo)系[x，y]與世界坐標(biāo)系[xd，yd， zd]間的轉(zhuǎn)換公式為：

[zcxy1=flp0p00flhh0001M3×3T1×301xdydzd1=R1R2xdydzd1] （4）

式中：[R1]和[R2]分別是相機(jī)的內(nèi)部參數(shù)和外部參數(shù)矩陣。根據(jù)上述相機(jī)標(biāo)定原理，利用邊長(zhǎng)為10 mm的單面棋盤(pán)打印結(jié)果。文中使用Matlab軟件完成機(jī)械臂相機(jī)的參數(shù)計(jì)算與標(biāo)定。需要說(shuō)明的是，由于不同相機(jī)攝像頭具有完全不同的屬性，所以其標(biāo)定內(nèi)外參數(shù)的計(jì)算結(jié)果也存在著較大差異。

2" 圖像預(yù)處理

針對(duì)現(xiàn)場(chǎng)環(huán)境的亮度、對(duì)比度與空氣質(zhì)量等因素的干擾，在圖像采集中增加灰度化、濾波及閾值分割等預(yù)處理步驟，從而提高圖像的處理精度與識(shí)別效率。

2.1" 灰度化

對(duì)于采集的原始圖像，機(jī)械臂的相機(jī)需要先將其轉(zhuǎn)化為灰度圖像，再提取圖像中的目標(biāo)特征。目前，圖像灰度化方法主要由最大值法、平均值法和OpenCV加權(quán)均值法組成。通過(guò)考慮機(jī)械臂的計(jì)算條件與圖像處理環(huán)境，文中選取性質(zhì)適中的OpenCV加權(quán)均值法，對(duì)彩色的原始圖像進(jìn)行必要的灰度化處理，其具體操作過(guò)程描述如下。

不妨設(shè)圖像的紅色、綠色和藍(lán)色的通道坐標(biāo)分別為[Rx，y]、[Gx，y]和[Bx，y]，則利用OpenCV加權(quán)均值法可得到灰度化之后的圖像[sx，y]，其計(jì)算過(guò)程如下：

[sx，y=0.299Rx，y+0.587Gx，y+0.114Bx，y] （5）

2.2" 高斯濾波

通常灰度化之后的圖像[sx，y]仍存在較多圖像噪點(diǎn)，其會(huì)影響機(jī)械臂的圖像識(shí)別及定位精確度。針對(duì)這一情況，需選取適當(dāng)?shù)膱D像濾波方法對(duì)灰度圖像進(jìn)行必要的濾波。常見(jiàn)的濾波方法有均值濾波、高斯濾波和中值濾波，而本次選取了高斯濾波作為處理的方法，原因在于：第一，均值濾波可以完整地保留圖像目標(biāo)的整體形狀，但其特征的邊緣信息較為模糊，輪廓的檢測(cè)難度也較高；第二，中值濾波能較優(yōu)地處理圖像的邊緣噪聲，但其整體的降噪效果仍低于高斯濾波。在具體濾波過(guò)程中，令[σ]表示高斯分布的標(biāo)準(zhǔn)差，[x，y]表示圖像像素坐標(biāo)系中的坐標(biāo)，則二維高斯函數(shù)[gx，y]為：

[gx，y=12πσ2e-x2+y22σ2] （6）

將灰度圖像[sx，y]與二維高斯函數(shù)[gx，y]執(zhí)行卷積運(yùn)算，能夠得到平滑之后的圖像[Ix，y]。

[Ix，y=gx，y*sx，y] （7）

2.3" 閾值分割

經(jīng)過(guò)灰度化及濾波處理之后，圖像[Ix，y]需按照一定的閾值進(jìn)行圖像分割，從而實(shí)現(xiàn)圖像檢測(cè)目標(biāo)與背景的分離。通常而言，圖像分割的核心在于計(jì)算目標(biāo)及背景的最佳閾值。而計(jì)算圖像閾值的算法有Otsu閾值分割法、最大熵閾值分割法和迭代閾值分割法。由于Otsu閾值分割法經(jīng)常忽略圖像的邊緣特征信息，造成檢測(cè)目標(biāo)信息的缺失；最大熵閾值分割法則容易混淆不同的圖像特征，導(dǎo)致圖像檢測(cè)目標(biāo)的混雜與模糊，而迭代閾值分割法可兼顧圖像檢測(cè)目標(biāo)的邊緣特征及目標(biāo)特征，故文中選取迭代閾值分割法作為圖像分割的算法。

在閾值分割過(guò)程中，對(duì)于平滑圖像[Ix，y]，首先需要統(tǒng)計(jì)其灰度直方圖，得到圖像[Ix，y]的最大灰度值[Gmax]和最小灰度值[Gmin]，并按照式（8）計(jì)算第一輪的初始閾值[H0]，則：

[H0=Gmax+Gmin2] （8）

其次，按照閾值[H0]將圖像[Ix，y]劃分為前景和背景，并計(jì)算小于[H0]的灰度均值[G0]與大于[H0]的灰度均值[G1]，按照式（9）中的均值計(jì)算方法，計(jì)算其新一輪的閾值[H1]，則有：

[H1=G0+G12] （9）

最后，若第[k]輪與第[k+1]輪的閾值相等，即[Hk=Hk+1]，則結(jié)束迭代，返回當(dāng)前閾值[Hk]；否則，繼續(xù)重復(fù)以上步驟進(jìn)行迭代閾值分割。

3" 邊緣檢測(cè)算法

在圖像處理領(lǐng)域，邊緣特征是檢測(cè)目標(biāo)的重要信息[16]，直接影響機(jī)械臂的識(shí)別與定位。為了提高機(jī)械臂的識(shí)別精度，降低圖像采集與檢測(cè)的誤判概率，引入了改進(jìn)Canny算子，以優(yōu)化機(jī)械臂中圖像的邊緣檢測(cè)算法，該算法流程如圖2所示。

由圖2可知，經(jīng)過(guò)預(yù)處理之后，需要計(jì)算圖像梯度的幅值和方向。對(duì)于待處理的圖像[Ix，y]，圖像梯度的水平分量[Grx]和垂直分量[Gry]的計(jì)算方法如下：

[Grx=-101-202-101*Ix，y] （10）

[Gry=121000-1-2-1*Ix，y] （11）

由水平分量[Grx]與垂直分量[Gry]得到圖像像素點(diǎn)的梯度幅值Gr和相位[?]的計(jì)算公式為：

[Gr=Gr2x+Gr2y] （12）

[?=arctanGryGrx] （13）

在獲取梯度幅值及相位之后，需要使用非極大值抑制法刪除假邊緣特征。首先，對(duì)圖像中所有的像素點(diǎn)進(jìn)行遍歷訪問(wèn)，以獲取此類像素點(diǎn)的梯度矢量；其次，若某像素點(diǎn)的梯度值大于相鄰像素點(diǎn)的梯度值，則該像素點(diǎn)是邊緣像素點(diǎn)，反之，該像素點(diǎn)不是邊緣像素點(diǎn)。

基于逼近思想和改進(jìn)Canny算子，文中結(jié)合迭代閾值分割法及雙閾值算法，提出具有較高實(shí)用性的閾值分割方法，具體實(shí)現(xiàn)步驟如下。

步驟1：設(shè)置迭代閾值差為[ε]；

步驟2：遍歷所有圖像像素點(diǎn)，計(jì)算其平均梯度值，并設(shè)置為初始閾值[H0]；

步驟3：按照初始閾值[H0]將圖像劃分為梯度值小于[H0]的像素點(diǎn)[P1]和梯度值大于[H0]的像素點(diǎn)[P2]；

步驟4：求解部分圖像[P1]及[P2]的平均灰度值[G1]和[G2]；

步驟5：計(jì)算[G1]和[G2]的平均值[Hnew]作為新閾值；

步驟6：若兩次相鄰迭代閾值[Hnew]和[H′new]之差小于[ε]，即[Hnew-H′newlt;ε]，重復(fù)運(yùn)行步驟3～步驟6；

步驟7：輸出最后一次迭代閾值[H′new]，作為算法最終輸出。

4" 實(shí)驗(yàn)仿真

為驗(yàn)證基于改進(jìn)Canny算子識(shí)別定位算法的有效性和可行性，利用現(xiàn)實(shí)生活中的真實(shí)數(shù)據(jù)，分別對(duì)基于經(jīng)典Canny算子與改進(jìn)Canny算子的圖像處理算法進(jìn)行必要的仿真及分析。實(shí)驗(yàn)中使用攝像頭拍攝實(shí)際生活中的多張圖像，并從中選取100張較為清晰的圖像進(jìn)行圖像邊緣檢測(cè)實(shí)驗(yàn)。這些物體包括螺絲釘、螺帽和牛奶盒等多種物體，部分實(shí)驗(yàn)圖像如圖3所示。

在所有算法執(zhí)行之前，設(shè)定相同的邊緣檢測(cè)初始條件和執(zhí)行環(huán)境。其中，邊緣檢測(cè)算法的初始閾值[H0=30]，閾值差[ε=0.001]，作為算法運(yùn)行的初始條件。算法運(yùn)行過(guò)程中，其外部執(zhí)行環(huán)境主要由主控制器、攝像頭和機(jī)械臂組成。主控制器是型號(hào)為4B的樹(shù)莓派，加載Linux操作系統(tǒng)及OpenCV圖像庫(kù)。在圖像采集中，選取具有小體積和低功耗等特點(diǎn)的HV3808攝像頭，其分辨率與幀率分別為[640×480]及30 f/s；在控制端，選取具有5個(gè)旋轉(zhuǎn)關(guān)節(jié)及1個(gè)夾子的ArmPi機(jī)械臂，其自由度為5，固定周期為20 ms，基準(zhǔn)脈寬為1.5 ms。

經(jīng)過(guò)兩種算法的重復(fù)運(yùn)行與統(tǒng)計(jì)，獲取上文兩種算法在不同檢測(cè)目標(biāo)特征數(shù)量情況下的邊緣檢測(cè)累計(jì)誤差及算法執(zhí)行時(shí)間，具體結(jié)果如圖4、圖5所示。

由圖4可知，在算法執(zhí)行過(guò)程中，基于經(jīng)典Canny算法的累計(jì)誤差均值遠(yuǎn)高于改進(jìn)Canny算子，且當(dāng)目標(biāo)檢測(cè)數(shù)量小于20時(shí)，基于經(jīng)典Canny算子和改進(jìn)Canny算子兩種圖像檢測(cè)算法的累計(jì)誤差均值都處于區(qū)間內(nèi)較高的水平，但隨著目標(biāo)檢測(cè)數(shù)量的增多，經(jīng)典Canny算子的累計(jì)誤差呈現(xiàn)緩慢升高的趨勢(shì)，而改進(jìn)Canny算子則呈現(xiàn)相對(duì)平穩(wěn)的波動(dòng)趨勢(shì)。該結(jié)果表明，基于改進(jìn)Canny算子的邊緣檢測(cè)算法具有更高的處理精度。而從圖5中可看出，隨著目標(biāo)檢測(cè)數(shù)量的增多，兩種算法的執(zhí)行時(shí)間均不斷增加，但基于經(jīng)典Canny算子檢測(cè)算法的執(zhí)行時(shí)間明顯多于改進(jìn)Canny算子。此外，當(dāng)目標(biāo)特征檢測(cè)數(shù)量大于40時(shí)，基于改進(jìn)Canny算子檢測(cè)算法的執(zhí)行時(shí)間增長(zhǎng)速度遠(yuǎn)低于經(jīng)典Canny算子，且兩種算法間的執(zhí)行時(shí)間之差也逐漸增大。這直接證明了基于改進(jìn)Canny算子的圖像檢測(cè)算法具有更快的執(zhí)行速度。由圖4、圖5的結(jié)果可知，與經(jīng)典Canny算子相比，基于改進(jìn)Canny算子的圖像處理算法具有更高的處理精度及更快的執(zhí)行速度。換言之，基于改進(jìn)Canny算子的圖像檢測(cè)算法優(yōu)于經(jīng)典Canny算子。

5" 結(jié)" 論

基于改進(jìn)Canny算子、張正友標(biāo)定法和多種圖像處理流程，本文提出具有更高檢測(cè)精確度及更少執(zhí)行時(shí)間的圖像檢測(cè)算法，從而直接優(yōu)化機(jī)械臂的識(shí)別與定位精度。但本文尚未對(duì)機(jī)械臂圖像檢測(cè)和控制過(guò)程之間的匹配方法加以研究，即機(jī)械臂邊緣檢測(cè)精度的提高并不意味著其控制精度的優(yōu)化。因此，如何以高精確度的圖像處理算法實(shí)現(xiàn)對(duì)機(jī)械臂的精確控制，仍需大量的研究及實(shí)踐，這也是未來(lái)的研究方向。

注：本文通訊作者為胡榮。

參考文獻(xiàn)

[1] 陳浩，李華峰.超聲電機(jī)驅(qū)動(dòng)的機(jī)械臂控制系統(tǒng)研究[J].國(guó)外電子測(cè)量技術(shù)，2021，40（9）：70?75.

[2] 王鑫，李偉，梁煒，等.單目相機(jī)?IMU?機(jī)械臂的空間聯(lián)合標(biāo)定方法[J].儀器儀表學(xué)報(bào)，2021，42（6）：221?231.

[3] 韓銳，隆晨海，馬國(guó)梁，等.基于特征建模的連續(xù)體機(jī)械臂自適應(yīng)魯棒控制技術(shù)研究[J].計(jì)算技術(shù)與自動(dòng)化，2023，42（3）：1?4.

[4] 黃艷，黃蓉.基于物聯(lián)網(wǎng)技術(shù)的工業(yè)機(jī)械臂抓取位姿快速檢測(cè)研究[J].制造業(yè)自動(dòng)化，2022，44（9）：189?192.

[5] 鄭雪楷，劉放，魏文清，等.接觸網(wǎng)雙機(jī)械臂作業(yè)車運(yùn)動(dòng)學(xué)分析及軌跡規(guī)劃[J].機(jī)床與液壓，2023，51（11）：34?39.

[6] 趙修琪，盧文豪，王珊.基于Arduino的自動(dòng)分揀機(jī)械臂控制系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2021，44（24）：163?166.

[7] 蘇賜民，李春杏.激光視覺(jué)傳感器的機(jī)器人焊縫高精度跟蹤系統(tǒng)[J].激光雜志，2023，44（1）：221?226.

[8] 趙以恒，周志峰.基于激光和視覺(jué)傳感器融合的定位與建圖[J].上海工程技術(shù)大學(xué)學(xué)報(bào)，2022，36（4）：392?397.

[9] 王樹(shù)強(qiáng)，賀久洲，高元德，等.基于視覺(jué)傳感器的相貫線焊縫特征提取方法[J].沈陽(yáng)化工大學(xué)學(xué)報(bào)，2022，36（4）：368?375.

[10] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2014： 580?587.

[11] GIRSHICK R. Fast R?CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2015： 1440?1448.

[12] REN S Q， HE K M， GIRSHICK R， et al. Faster R?CNN： Towards real?time object detection with region proposal networks [C]// Advances in Neural Information Progressing Systems 28： Annual Conference on Neural Information Processing Systems 2015. [S.l.： s.n.]， 2015： 91?99.

[13] 謝靜，庹先國(guó)，方曉.基于邊緣幾何不變性的特征提取算法研究[J].電子技術(shù)應(yīng)用，2015，41（3）：161?164.

[14] REDMON J， DIVVALA S K， GIRSHICK R， et al. You only look once： Unified， real?time object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 779?788.

[15] LAW H， DENG J. CornerNet： Detecting objects as paired keypoints [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 765?781.

[16] 童勝杰，江明，焦傳佳.一種改進(jìn)工件邊緣檢測(cè)方法的研究[J].電子測(cè)量與儀器學(xué)報(bào)，2021，35（1）：128?134.