基于機(jī)器視覺的細(xì)紗接頭機(jī)器人紗線斷頭定位方法

周其洪， 彭 軼， 岑均豪， 周申華， 李姝佳

(1. 東華大學(xué) 機(jī)械工程學(xué)院， 上海 201620； 2. 東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心， 上海 201620； 3. 廣州盛原成自動化科技有限公司， 廣東 廣州 511400)

紡紗是紡織產(chǎn)業(yè)鏈的重要工序之一，環(huán)錠紡紗以其生產(chǎn)品種范圍廣、紡紗質(zhì)量優(yōu)良等特點(diǎn)得到了廣泛應(yīng)用。據(jù)統(tǒng)計(jì)，我國紡紗總產(chǎn)量中，環(huán)錠紡紗產(chǎn)量占到了85%[1]。近年來，環(huán)錠細(xì)紗機(jī)技術(shù)正變得更加高速化、品種寬廣化、自動化和智能化[2]，但細(xì)紗斷頭問題仍然是目前制約細(xì)紗機(jī)生產(chǎn)效率的主要問題之一，在環(huán)錠紡紗行業(yè)，接頭工作大都由人工完成，存在效率低，勞動強(qiáng)度大等問題[3]。

2019年，立達(dá)公司公開首展適用于環(huán)錠細(xì)紗機(jī)的自動接頭機(jī)械手(ROBOspin)，該款接頭機(jī)械手在工作過程中盡量不與管紗發(fā)生接觸，防止外層紗線受到污染，從而保證紗線質(zhì)量[4]，目前相關(guān)技術(shù)仍然高度保密。國內(nèi)方面，唐火紅等[5]設(shè)計(jì)了一款針對環(huán)錠紡紗機(jī)的雙臂接頭機(jī)器人，通過動力學(xué)分析為機(jī)器人的參數(shù)選型提供依據(jù)。

近年來，圖像處理與機(jī)器人技術(shù)得到了極大的發(fā)展，相關(guān)的硬件性能也不斷提升，在各領(lǐng)域都得到了廣泛的應(yīng)用。Xiao等[6]提出針對焊縫的自適應(yīng)特征提取算法，并引導(dǎo)機(jī)械手進(jìn)行抓取，取得了滿意的魯棒性和精度。Yang等[7]針對茶葉采摘問題提出了相應(yīng)的茶葉識別算法以及利用蟻群算法規(guī)劃采摘路徑，實(shí)現(xiàn)機(jī)器人對茶葉的采摘。由于機(jī)器視覺技術(shù)無接觸測量、定位的特點(diǎn)，紡織領(lǐng)域也積極引入機(jī)器視覺技術(shù)，顯著提高了系統(tǒng)的智能化水平。張文昌等[8]將機(jī)器視覺技術(shù)與機(jī)器人結(jié)合，實(shí)現(xiàn)了對紗籠的定位并引導(dǎo)機(jī)器人進(jìn)行抓取，具有重要的實(shí)際應(yīng)用價值。張建新等[9]開發(fā)了一種利用機(jī)器視覺技術(shù)的筒子紗密度在線檢測系統(tǒng)，取得了較好的檢測精度和穩(wěn)定性。王雯雯等[10]研究利用機(jī)器視覺技術(shù)來實(shí)現(xiàn)對細(xì)紗機(jī)的斷頭檢測。

這些成功案例也為機(jī)器視覺技術(shù)應(yīng)用于細(xì)紗接頭機(jī)器人創(chuàng)造了技術(shù)和硬件條件。結(jié)合環(huán)錠紡紗機(jī)工作空間緊湊的特點(diǎn)及接線動作靈活性的需求，利用視覺技術(shù)配合工業(yè)機(jī)器人實(shí)現(xiàn)接線動作。首先利用機(jī)器視覺技術(shù)實(shí)現(xiàn)紗線斷頭的定位，定位完成后，再引導(dǎo)機(jī)械手進(jìn)行抓取，該方法不僅能夠減少紗線與設(shè)備產(chǎn)生的接觸摩擦，減少紗線被污染，同時也可以簡化裝置的機(jī)械結(jié)構(gòu)，提高系統(tǒng)的自動化、智能化水平，對接頭機(jī)器人的整機(jī)設(shè)計(jì)具有重要意義。

本文在前期研究的基礎(chǔ)上，提出了利用機(jī)器視覺技術(shù)進(jìn)行紗線斷頭的識別與夾取的方案。通過工業(yè)相機(jī)采集紗線圖像，開發(fā)了基于圖像處理的紗線識別及定位專用算法，可以準(zhǔn)確提取紗線的位置和角度信息，為機(jī)械手的夾取奠定基礎(chǔ)。

1 紗線斷頭定位裝置工作原理

1.1 主要硬件

接線過程中，接頭機(jī)將出現(xiàn)斷頭的紗筒從細(xì)紗機(jī)的錠子上取出之后，控制紗筒自轉(zhuǎn)，負(fù)載裝置工作產(chǎn)生負(fù)壓，通過吸嘴將紗線斷頭吸入，并控制紗筒移動至離吸嘴10 cm處，同時使紗線緊靠定位柱。實(shí)驗(yàn)裝置示意圖如圖1所示。相機(jī)位于紗線一側(cè)并正對紗線，機(jī)械手處于另一側(cè)。由于紗線斷頭在紗筒上的位置未知，紗線被吸入吸嘴后位置也并不固定，通過機(jī)器視覺技術(shù)實(shí)現(xiàn)對紗線的定位，機(jī)械手根據(jù)定位信息夾取紗線，之后進(jìn)行后續(xù)接線動作。

注：1—機(jī)械手； 2—黑色擋板； 3—紗筒； 4—相機(jī)；5—光源； 6—紗線； 7—定位柱； 8—吸嘴。圖1 裝置示意圖Fig.1 Schematic diagram of device

1.2 定位原理

本文系統(tǒng)引導(dǎo)機(jī)械手進(jìn)行抓取的方法為：通過相機(jī)采集目標(biāo)圖像，編寫圖像定位算法識別紗線在像素坐標(biāo)系下的位置(u，v)以及角度信息α，將(u，v)轉(zhuǎn)換到機(jī)器人基坐標(biāo)系下的坐標(biāo)(XW，YW，ZW)，引導(dǎo)機(jī)械手進(jìn)行夾取。像素坐標(biāo)與機(jī)器人基坐標(biāo)的轉(zhuǎn)換關(guān)系如下：

式中：M1為3×4矩陣，表示相機(jī)的內(nèi)部參數(shù)，可通過相機(jī)標(biāo)定獲得。M2為4×4矩陣，表示相機(jī)坐標(biāo)系到機(jī)械手基坐標(biāo)系的映射關(guān)系，可通過手眼標(biāo)定得到，ZC表示物距。由圖1可知，在定位柱的作用下，紗線被吸出后處于機(jī)械手基坐標(biāo)系Y方向上的固定平面，即YW已知。

圖2為機(jī)器人基坐標(biāo)系Y方向上的正視圖。令機(jī)械手末端執(zhí)行器的夾取點(diǎn)為ui與紗線的交點(diǎn)，利用圖像處理算法求出夾取點(diǎn)q(ui，vi)以及紗線與像素坐標(biāo)系U軸正方向的夾角α，通過公式可求得機(jī)械手的目標(biāo)位姿信息，傳入機(jī)械手的位置寄存器引導(dǎo)機(jī)械手進(jìn)行夾取。

圖2 定位原理圖Fig.2 Positioning principle

2 紗線識別與定位算法

被吸入吸嘴的紗線穩(wěn)定之后，通常情況下會趨于一條直線，但由于裝置工作過程中引起的紗筒以及吸嘴抖動、吸嘴與紗筒之間的風(fēng)場不穩(wěn)定等原因，紗線會出現(xiàn)抖動的現(xiàn)象，結(jié)果如圖3所示?？芍?，紗線在無抖動的情況下，特征較為明顯，易于識別，在圖3(b)所示紗線存在抖動的情況下，紗線特征不明顯，會出現(xiàn)弱邊緣特征。紗線的識別與定位精度對后續(xù)機(jī)械手的夾取至關(guān)重要。為保證算法的可靠性，本文以紗線抖動時的狀態(tài)來進(jìn)行紗線的識別與定位算法研究，該算法同樣適用于對無抖動的紗線的定位。

圖3 紗線狀態(tài)圖Fig.3 Yarn state. (a) No fluctuation of yarn;(b) Yarn fluctuates

2.1 紗線圖像灰度增強(qiáng)

在對圖像進(jìn)行處理前，提取感興趣區(qū)域(ROI)可有效減少圖像處理的復(fù)雜度。理論上，ROI的區(qū)域越小，圖像處理的速度越快，但也會導(dǎo)致關(guān)鍵特征信息的丟失[11]。相機(jī)的拍攝視野固定，同時考慮最大程度保留紗線有效信息，ROI的左右兩側(cè)分別選取左右定位柱的邊緣向中間偏移5像素，上下兩側(cè)分別選取紗筒的上下邊界，由此確定出ROI區(qū)域。

相機(jī)采集到的圖像為包含了R、G、B三通道的彩色圖像，處理時，需要對3個通道進(jìn)行運(yùn)算，時間消耗大。由于本文中紗線檢測只需要形態(tài)學(xué)信息，為提高圖像處理的效率，先將彩色圖像轉(zhuǎn)換為灰度圖，再進(jìn)行后續(xù)處理。由于紗線較細(xì)以及光照不勻等因素，背景為黑色時，部分紗線特征尤其是波動狀態(tài)下的紗線在圖像中會呈現(xiàn)出灰白色，不利于后續(xù)的邊緣檢測,因此需要對圖像進(jìn)行灰度增強(qiáng)，增大紗線與背景的對比度。系統(tǒng)在不同位置工作時，圖像的背景環(huán)境是存在變化的，本文采用可適用于不同背景環(huán)境的改進(jìn)灰度增強(qiáng)算法，以獲得更好的圖像增強(qiáng)效果[12]。改進(jìn)灰度增強(qiáng)算法如下：

1)從原圖中截取出背景圖b，計(jì)算背景圖中所有像素的平均灰度值g。

2)將原圖像I的圖像矩陣的每個元素減去平均灰度值g，若計(jì)算之后的像素值小于0，則截斷為0。

3)將得到的矩陣乘以系數(shù)k。若計(jì)算之后的像素值大于255，則截斷為255，得到增強(qiáng)后的圖像O。

改進(jìn)灰度增強(qiáng)算法的表達(dá)式表示如下：

O(x，y)=k(I(x，y)-gT)

式中：I(x，y)表示灰度增強(qiáng)前的圖像灰度矩陣;O(x，y)表示灰度增強(qiáng)后的圖像灰度矩陣;k為參數(shù);g為背景平均灰度值;T為與I相同大小的元素全為1的矩陣。若O(x，y)中元素大于255，則設(shè)置為255，若O(x，y)中元素小于0，則設(shè)置為0。

圖4示出改進(jìn)灰度增強(qiáng)過程圖?？煽闯觯?jīng)過改進(jìn)灰度增強(qiáng)算法處理后，紗線特征與背景的對比度明顯提高，紗線特征更加明顯，同時抑制了噪聲。

圖4 改進(jìn)灰度增強(qiáng)過程圖Fig.4 Improve the grayscale enhancement process diagram. (a) Original image I; (b) Background image b; (c) Improved grayscale enhancement image O

圖5示出原圖像和經(jīng)過灰度增強(qiáng)處理之后的紗線邊緣局部灰度值分布圖。可看出，圖5(b)中紗線的灰度值和背景灰度值的區(qū)分度相較于圖5(a)更加明顯，紗線更易于識別。

圖5 局部灰度值分布圖Fig.5 Local gray value distribution diagram. (a) Local gray value distribution diagram of image I; (b) Local gray value distribution diagram of image O

2.2 紗線特征邊緣檢測

圖6示出閾值分割和Canny檢測對比圖。閾值分割是常用的圖像分割方法，可有效去除圖像中的無效信息，但在處理圖6(a)紗線抖動圖像時，由于紗線抖動部分顏色較淺，屬于弱邊緣，難以與背景實(shí)現(xiàn)有效分離。經(jīng)過二值化分割之后，損失了大量紗線特征信息，因此采用Canny邊緣檢測來最大限度保留紗線信息，見圖6(c)。

圖6 閾值分割和Canny檢測對比圖Fig.6 Comparison diagram of threshold segmentation and Canny detection. (a) Original image; (b) Binary segmentation; (c) Canny detection

2.3 紗線特征提取

2.3.1 霍夫變換原理

經(jīng)過邊緣檢測后的紗線具有明顯的直線特征，霍夫變換是常用的直線檢測算法，具有很好的魯棒性，本文選擇霍夫直線檢測算法進(jìn)行紗線特征的提取，霍夫變換的原理如下。

圖7 霍夫變換示意圖Fig.7 Hough transform schematic

直線的檢測是一個投票的過程，首先遍歷圖像上的每個像素點(diǎn)并尋找邊緣像素點(diǎn)(x，y)，對θ在[0，π]內(nèi)按照步長離散化得到Qi，將(x，y，θ)代入方程r=xcosθ+ysinθ中，得到參數(shù)(r，θ)，將r值離散化，建立關(guān)于(r，θ)的矩形網(wǎng)格，將每次得到的(r，θ)在網(wǎng)格對應(yīng)位置累加1，當(dāng)所有的邊緣像素點(diǎn)都計(jì)算完成后，通過合理設(shè)置閾值，將篩選出的每組(r，θ)視為1條直線。

通過上述原理可知，霍夫直線檢測的缺點(diǎn)在于角度檢測范圍廣，并且需要將參數(shù)坐標(biāo)轉(zhuǎn)換到直角坐標(biāo)系下，計(jì)算量大。理論上進(jìn)行檢測的角度步長越小，檢測直線的精度越高，但會導(dǎo)致占用較多的資源，耗時長[13]。

2.3.2 優(yōu)化的霍夫變換直線檢測

如2.3.1節(jié)所述原理，本文結(jié)合實(shí)際圖像的特點(diǎn)，對霍夫變換直線提取進(jìn)行優(yōu)化。紗線被吸入吸嘴中，以吸嘴中心軸線為界，上側(cè)和下側(cè)的θ角是在有限范圍內(nèi)進(jìn)行變化的，如圖8所示。將圖像分為上下2個ROI區(qū)域，上側(cè)區(qū)域在θUmax和θUmin之間變化，下側(cè)區(qū)域在θDmax和θDmin之間變化，進(jìn)行霍夫變換直線檢測時，可通過不檢測這2個區(qū)間之外的角度來提高程序運(yùn)行效率，減少運(yùn)算時間。

圖8 上下ROI區(qū)域θ角極限位置示意圖Fig.8 Upper and lower ROI area Angle limit position

2.4 紗線定位

分別代入確定好的ui，得到y(tǒng)1、yn，記閾值為Tf，對紗線的波動幅度進(jìn)行判斷：

當(dāng)y1-yn≤Tf時，表明紗線波動幅度不大，機(jī)械手可正常夾取，則像素坐標(biāo)系下的vi：

紗線與U軸的夾角α為

當(dāng)y1-yn>Tf時，表明此時紗線波動幅度過大，已經(jīng)影響機(jī)械手的夾取，系統(tǒng)發(fā)出預(yù)警。

3 參數(shù)分析與實(shí)驗(yàn)結(jié)果

本文軟件測試平臺為PyCharm 2019，軟件運(yùn)行環(huán)境為Python3和Opencv3視覺庫，計(jì)算機(jī)配置為Intel Core i5-4210H，CPU為2.90 GHz，4 G內(nèi)存。

3.1 霍夫直線檢測角度范圍確定

本文實(shí)驗(yàn)根據(jù)圖8所示原理進(jìn)行擺放紗線斷頭的位置，收集紗線在極限位置和非極限位置下的圖像，通過處理圖像收集紗線特征在上下ROI區(qū)域內(nèi)的r和θ參數(shù)。上下ROI區(qū)域內(nèi)隨機(jī)選取7個圖像的r和θ參數(shù)，結(jié)果如表1所示。通過對所得數(shù)據(jù)進(jìn)行分析以及考慮容錯性，確定上ROI區(qū)域的θUmax和θUmin范圍為(35°，95°)，下ROI區(qū)域的θDmax和θDmin范圍為(85°，145°)。

表1 ROI區(qū)域r和θ參數(shù)表Tab.1 ROI section r and θ parameter table

3.2 坐標(biāo)提取結(jié)果分析

本文以感興趣區(qū)域圖像原點(diǎn)沿U軸偏移140像素作為ui求取坐標(biāo)點(diǎn)進(jìn)行實(shí)驗(yàn)，部分處理結(jié)果圖像如圖9所示，圖中白點(diǎn)表示坐標(biāo)點(diǎn)。

圖9 部分紗線圖像坐標(biāo)提取圖Fig.9 Partial yarn image coordinate extraction. (a) Image one; (b) Image two; (c) Image three; (d) Image four; (e) Image five; (f) Image six

通過在Photoshop軟件中手動標(biāo)注坐標(biāo)點(diǎn)以及求解紗線與U軸的夾角α與本文所用算法的結(jié)果進(jìn)行對比，如表2所示。將本文算法和手動標(biāo)注所得的結(jié)果對比，在圖像V軸方向上坐標(biāo)的平均絕對誤差為1.42像素。紗線與U軸正方向的夾角α的平均絕對誤差為0.60°，角度偏差較小，對機(jī)械手的夾取影響小。

表2 圖像定位結(jié)果Tab.2 Image location results

3.3 算法耗時分析

系統(tǒng)的實(shí)時性非常重要，由3.1節(jié)可知，與傳統(tǒng)算法每個邊緣點(diǎn)的檢測角度為0°～180°相比，基于本文的優(yōu)化紗線邊緣直線檢測算法(OHT)通過劃分上下2個ROI區(qū)域使得2個區(qū)域的檢測角度均減小到大小為60°的區(qū)間內(nèi)，降低了霍夫運(yùn)算的復(fù)雜度，程序運(yùn)行時間得到了縮短。OHT與傳統(tǒng)的直線擬合在完成預(yù)處理之后，進(jìn)行紗線定位步驟的耗時對比以及算法總耗時如表3所示?？芍琌HT在進(jìn)行紗線定位時平均耗時為23 ms，直線擬合平均耗時高達(dá)478.6 ms，本文提出的經(jīng)過優(yōu)化的直線提取算法平均耗時為63.1 ms，總耗時均在10-1s數(shù)量級上，具有較高的響應(yīng)速度，算法計(jì)算效率高。

表3 算法總耗時Tab.3 Total algorithm time

4 結(jié)束語

本文提出利用機(jī)器視覺技術(shù)對細(xì)紗接頭機(jī)器人的紗線斷頭進(jìn)行定位的方法，并給出了圖像識別與定位算法。首先基于改進(jìn)的灰度增強(qiáng)方法增強(qiáng)紗線與背景的對比度，然后利用Canny邊緣檢測算法提取紗線信息，最后利用優(yōu)化的霍夫直線檢測配合定位算法實(shí)現(xiàn)對目標(biāo)紗線的位置信息提取。實(shí)驗(yàn)證明，該算法能準(zhǔn)確提取所需紗線位置信息，與手動標(biāo)注的結(jié)果相比，坐標(biāo)點(diǎn)誤差為1.42像素，紗線與圖像U軸正方向的夾角α的誤差為0.60°，程序整體平均運(yùn)行時間在10-1s數(shù)量級上，實(shí)時性好，利用機(jī)器視覺技術(shù)實(shí)現(xiàn)紗線定位應(yīng)用于細(xì)紗接頭機(jī)器人以及為細(xì)紗接頭機(jī)器人的進(jìn)一步完善開發(fā)提供參考。

FZXB