基于單目視覺的多類型裝配基準(zhǔn)穩(wěn)健檢測(cè)方法

杜天宇，王珉，陳文亮

南京航空航天大學(xué) 機(jī)電學(xué)院，南京 210016

得益于圖像處理技術(shù)與機(jī)器人技術(shù)的快速發(fā)展，基于視覺檢測(cè)的自動(dòng)化裝配系統(tǒng)在航空航天領(lǐng)域得到了廣泛應(yīng)用［1-3］。在產(chǎn)品數(shù)字化制造過程中，機(jī)器人系統(tǒng)根據(jù)產(chǎn)品的理論數(shù)模進(jìn)行加工，由于加工制造、工裝定位等各方面誤差，被加工工件與數(shù)學(xué)模型存在一定的偏差，僅依靠數(shù)學(xué)模型進(jìn)行定位的方法難以滿足精度要求，因此采用機(jī)器人系統(tǒng)進(jìn)行制孔、鉚接等工作時(shí)需要對(duì)裝配基準(zhǔn)進(jìn)行檢測(cè)，從而實(shí)現(xiàn)末端執(zhí)行器的精確定位［4］。

相較于自然圖像中的特征檢測(cè)，針對(duì)裝配基準(zhǔn)的檢測(cè)往往存在更多的干擾因素。一方面裝配環(huán)節(jié)常通過安裝預(yù)裝配緊固件的方式以減少裝配初始間隙。緊固件的安裝既導(dǎo)致基準(zhǔn)輪廓的不連續(xù)，同時(shí)作為可重復(fù)使用零件，其表面污染嚴(yán)重；另一方面裝配中常采用航空密封膠嵌填接縫的方式，以防止結(jié)構(gòu)腐蝕與保證氣密性［5］?；鶞?zhǔn)周圍殘留的密封膠也加大了視覺檢測(cè)的難度。同時(shí)，現(xiàn)有設(shè)備多采用單一類型的基準(zhǔn)進(jìn)行識(shí)別，對(duì)鉚釘、含穿心夾基準(zhǔn)孔等多類型裝配基準(zhǔn)難以成功識(shí)別。因此快速魯棒地檢測(cè)多類型裝配基準(zhǔn)對(duì)自動(dòng)化裝配系統(tǒng)的開發(fā)具有重要意義。

在透視變換的作用下機(jī)械表面的鉚釘、孔等常見類型的裝配基準(zhǔn)在圖像中呈現(xiàn)橢圓特征［6］，因此裝配基準(zhǔn)檢測(cè)的實(shí)質(zhì)是對(duì)圖像橢圓特征的檢測(cè)。橢圓特征檢測(cè)問題的核心在于利用圖像邊緣信息求解橢圓的5 個(gè)參數(shù)［7］，目前橢圓檢測(cè)算法大致可以分為3 類：基于霍夫變換的方法、基于最小二乘的方法以及基于邊緣跟蹤的方法。

基于霍夫變換（Hough Transform， HT）的橢圓檢測(cè)算法通過將采樣像素由圖像空間轉(zhuǎn)換到參數(shù)空間，利用在五維參數(shù)空間的投票完成檢測(cè)。 標(biāo)準(zhǔn)霍夫變換（Standard Hough Transform， SHT）對(duì)噪聲與遮擋并不敏感，但過多的參數(shù)會(huì)導(dǎo)致算法消耗大量的內(nèi)存與時(shí)間［8］。為了提高算法的性能，后續(xù)學(xué)者提出了隨機(jī)HT［9］（Randomized Hough Transform， RHT）和概率HT［10］（Probabilistic Hough Transform， PHT）。這類算法通過減少采樣像素個(gè)數(shù)從而降低算法的復(fù)雜度。針對(duì)基于霍夫變換的第二種改進(jìn)主要借助參數(shù)降維的思想，這類方法利用橢圓的幾何特性率先計(jì)算部分參數(shù)，剩余參數(shù)利用基于霍夫變換的方法獲得［11］。

基于最小二乘的橢圓檢測(cè)算法則是將橢圓檢測(cè)問題轉(zhuǎn)換成約束矩陣方程的求解問題，通過最小化殘差平方和的方法完成檢測(cè)。此類方法在計(jì)算過程中無差別地使用邊緣像素，因此算法對(duì)噪聲與干擾敏感，通常結(jié)合其他方法使用［12-14］。

與基于霍夫變換的橢圓檢測(cè)算法相比，基于邊緣跟蹤的方法因具有更高的計(jì)算與內(nèi)存效率在近幾年得到了廣泛的關(guān)注。這類算法在分析橢圓數(shù)學(xué)模型的基礎(chǔ)上，結(jié)合了邊緣輪廓的連續(xù)性與像素間的連通性。該方法的核心問題在于弧段的篩選與聚類［15］。Prasad 等［16］借助自適應(yīng)的多邊形逼近算法提取圖像中的平滑邊緣輪廓，通過分析弧段間關(guān)聯(lián)凸性情況對(duì)弧段進(jìn)行聚類。在此基礎(chǔ)上，Chen 等［17］設(shè)計(jì)了一種應(yīng)用于工業(yè)圖像的橢圓檢測(cè)算法，該方法首先利用基于邊緣跟蹤的橢圓檢測(cè)算法提取工業(yè)圖像中的主要橢圓目標(biāo)，對(duì)于漏檢的小橢圓目標(biāo)，則是借助基于霍夫變換的方法進(jìn)行檢測(cè)，通過結(jié)合2 種方法的優(yōu)點(diǎn)，該算法能夠檢測(cè)圖像中的殘缺橢圓與小橢圓目標(biāo)。Fornaciari 等［18］利用幾何約束條件提出了一種新的弧段篩選策略，并利用霍夫變換來估計(jì)分解參數(shù)。Wu 等［19］針對(duì)計(jì)算性能與內(nèi)存受限的場(chǎng)景提出了一種適用于航天應(yīng)用的高性能嵌入式橢圓檢測(cè)方法，該方法利用邊緣跟蹤算法提取弧段，并通過梯度條件對(duì)弧段進(jìn)行分割與組合。盡管基于邊緣跟蹤的橢圓檢測(cè)算法雖然能夠有效地處理殘缺橢圓的檢測(cè)問題。但該方法對(duì)輪廓的曲率與擬合精度有較高的要求，在目標(biāo)橢圓附近存在大量圓弧邊界時(shí)，這類算法的有效性會(huì)大幅降低。

另一方面針對(duì)裝配基準(zhǔn)的檢測(cè)問題，多數(shù)設(shè)備采用工業(yè)相機(jī)或者線激光掃描的方法進(jìn)行檢測(cè)。譚小群等［20］提出了一種基于線激光掃描與圖像處理相結(jié)合的基準(zhǔn)孔檢測(cè)技術(shù)，通過將線激光測(cè)得的三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為二維灰度圖，并通過邊緣檢測(cè)算法提取其中的邊緣點(diǎn)，再將這些邊緣點(diǎn)轉(zhuǎn)換回三維點(diǎn)云中，最后通過最小二乘法擬合計(jì)算孔徑與中心位置。莊志煒等［21］提出了一種基于模板匹配算法的孔位與法矢檢測(cè)算法，該方法將三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成二維平面點(diǎn)云，通過模板匹配算法進(jìn)行孔的識(shí)別與定位，并驗(yàn)證了算法在傾斜平面與小曲率平面上的適用性。上述檢測(cè)方法只針對(duì)通孔的檢測(cè)進(jìn)行了討論，對(duì)于實(shí)際裝配場(chǎng)景中多類型基準(zhǔn)，其檢測(cè)有效性未能給出證明。另外，對(duì)于裝配環(huán)節(jié)可能造成的多種干擾因素，這類方法的檢測(cè)魯棒性難以得到保證。

盡管裝配基準(zhǔn)輪廓擬合精度差、可用邊緣信息不足，但針對(duì)裝配基準(zhǔn)檢測(cè)具有以下特點(diǎn)：借助工藝數(shù)據(jù)庫與多類型傳感器數(shù)據(jù)融合的方法，裝配基準(zhǔn)的尺寸范圍明確；單次檢測(cè)過程僅采用單一類型的基準(zhǔn)；為保證檢測(cè)精度，相機(jī)不在斜視角下采集圖像，因此基準(zhǔn)在圖像中呈現(xiàn)的橢圓離心率較小。

針對(duì)上述問題以及裝配基準(zhǔn)的特點(diǎn)，在基于邊緣跟蹤算法的基礎(chǔ)上將基于存在概率的圓檢測(cè)算法引入弧段聚類環(huán)節(jié)，通過擬合裝配基準(zhǔn)的近似圓解決了基準(zhǔn)輪廓擬合精度差以及基準(zhǔn)目標(biāo)附近存在較多圓弧邊界情況下的裝配基準(zhǔn)檢測(cè)，較好地消除了預(yù)裝配緊固件與殘留膠痕對(duì)檢測(cè)結(jié)果的影響。在此之前設(shè)計(jì)了基于最優(yōu)弧的弧段篩選方法，利用兩種約束條件減少干擾輪廓對(duì)后續(xù)圓檢測(cè)算法的影響，提高檢測(cè)的效率。

1 多類型裝配基準(zhǔn)檢測(cè)方法

1. 1 基準(zhǔn)檢測(cè)總體方案

圖1 為本文基準(zhǔn)檢測(cè)流程圖，主要包括以下步驟：①提取平滑邊緣輪廓；②弧段篩選，以最優(yōu)弧為種子弧，利用2 種約束條件對(duì)非橢圓特征弧段進(jìn)行篩除；③弧段聚類，通過計(jì)算弧段與近似圓的最小距離實(shí)現(xiàn)弧段的快速聚類；④橢圓擬合與去偽。

圖1 基準(zhǔn)檢測(cè)流程圖Fig.1 Flow chart of reference detection

輸入圖像為模板匹配算法定位的裝配基準(zhǔn)區(qū)域，圖像大小為130×140 像素，如圖2 所示。預(yù)處理過程包括對(duì)比度提升等，以突出邊界信息，預(yù)處理結(jié)果如圖3 所示。預(yù)裝配緊固件選用航空專用的4/32 inch 穿心夾。

圖2 輸入圖像Fig.2 Input image

圖3 預(yù)處理結(jié)果Fig.3 Result of pre-processing

圖4 為飛機(jī)蒙皮表面裝配基準(zhǔn)圖像。緊固件不同的安裝角度與伸出量造成了裝配基準(zhǔn)不同程度的遮擋，因此系統(tǒng)對(duì)于檢測(cè)算法的魯棒性以及遮擋情況下基準(zhǔn)檢測(cè)功能要求較高。鉚釘、通孔、含穿心夾基準(zhǔn)孔等多種類型的裝配基準(zhǔn)對(duì)系統(tǒng)針對(duì)多類型裝配基準(zhǔn)的檢測(cè)穩(wěn)定性提出了要求。

圖4 飛機(jī)蒙皮表面裝配基準(zhǔn)圖像Fig.4 Image of assembly reference on aircraft skin plane surface

1. 2 平滑邊緣輪廓提取

對(duì)于組成橢圓的弧段，其曲率變化在變化量與變化方向上都應(yīng)該是平滑連續(xù)的。利用邊緣跟蹤方法以“8-鄰域”聯(lián)通準(zhǔn)則，按照自上而下，從左至右的順序處理二值化邊緣圖，構(gòu)建邊緣輪廓集合{ei|i=1，2，…，n}。

如圖5 所示，記ei為{ei|i=1，2，…，n}中任意曲線，ei可用線段集合{l1，l2，…，l6}表示，定義所有 連 續(xù) 線 段 間 的 夾 角 為{ θ1，θ2，…，θ5}，θi∈[-π，π]。θi反映了曲線在該點(diǎn)處的曲率變化程度，θi越大，曲線在該點(diǎn)處的曲率變化越大，反之則越小。當(dāng)θi大于角度變化閾值δa時(shí)（本文中δa=45°），認(rèn)為該點(diǎn)為曲線ei的拐點(diǎn)。圖6 所示為平滑邊緣輪廓集合Arcs。

圖5 拐點(diǎn)示意圖Fig.5 Illustration of inflection points

圖6 平滑邊緣輪廓提取Fig.6 Extraction of smooth edge contours

1. 3 基于最優(yōu)弧的弧段篩選方法

1.3.1 最優(yōu)弧選取原則

圖6 中綠色弧段為殘余膠痕的邊緣輪廓，紅色弧段為穿心夾的邊緣輪廓以及油污污染導(dǎo)致的干擾輪廓，黑色輪廓為屬于裝配基準(zhǔn)的輪廓。在緊固件的遮擋下，裝配基準(zhǔn)輪廓被分割為多個(gè)弧段，部分弧段由于像素點(diǎn)個(gè)數(shù)不足，無法提供曲率信息，但存在至少一條擬合精度較好的弧段，該弧段具有足夠多的像素點(diǎn)以提供較為準(zhǔn)確的曲率信息。

根據(jù)幾何原理與裝配基準(zhǔn)特點(diǎn)，以圓弧的弓弦比與弦長(zhǎng)為依據(jù)，選取集合Arcs 中擬合精度最好的弧段作為最優(yōu)弧。最優(yōu)弧的選取原則：①圓弧各點(diǎn)曲率半徑應(yīng)與基準(zhǔn)半徑接近；②圓弧應(yīng)該具有足夠多的像素點(diǎn)。

如圖7 所示，定義a 為Arcs 中任一弧 段，r0為基準(zhǔn)半徑，lc為弧段a 的弦，d 為構(gòu)成弧段a 的點(diǎn)集與lc距離的最大值，定義d/lc為a 的弓弦比。

圖7 弓弦比示意圖Fig.7 Illustration of bow-string ratio

由于裝配基準(zhǔn)在圖像中近似于圓形，因此弧段弦長(zhǎng)可近似表示為

根據(jù)式（1），屬于裝配基準(zhǔn)的弧段，其弓弦比可表示為

由于穿心夾的分割，屬于裝配基準(zhǔn)的圓弧應(yīng)小于半圓。另一方面，為保證選取的最優(yōu)弧能夠提供一定的曲率信息，d 在小于基準(zhǔn)半徑的同時(shí)大于設(shè)定的最小閾值dmin，該最小閾值通過多次測(cè)試得到，取值范圍為

結(jié)合式（2）與式（3），為保證選取的最優(yōu)弧各點(diǎn)曲率半徑接近于基準(zhǔn)半徑，得到最優(yōu)弧選取的弓弦比范圍：

式中：Thl和Thh分別為最優(yōu)弧選取的較低閾值和較高閾值

1.3.2 基于最優(yōu)弧的弧段篩選方法

為減少緊固件、油污等干擾對(duì)后續(xù)裝配基準(zhǔn)近似圓擬合的影響，利用兩種約束條件對(duì)集合Arcs 中與最優(yōu)弧αm非同一橢圓弧段以及非橢圓特征的弧段進(jìn)行剔除。弧段篩選方法如下：

1）基于最優(yōu)弧的弧段關(guān)聯(lián)凸性分析

采用文獻(xiàn)［14］提出的弧段組合方法，剔除與最優(yōu)弧αm非同一橢圓弧段。圖8 所示為2 條弧段關(guān)聯(lián)凸性的4 種情況。顯然，僅有圖8（d）組合中的弧段可能屬于同一橢圓。

圖8 2 條弧段關(guān)聯(lián)凸性的4 種情況Fig.8 Four cases of associated convexity between two arcs

如圖9 所示，定義P1、P2分別為弧a1、a2的中點(diǎn)，l1、l2分別為弧a1、a2的弦所在直線，定義過點(diǎn)P1、P2的直線為l3，l3交直線l1、l2于′。

圖9 弧段關(guān)聯(lián)凸性示意圖Fig.9 Illustration of arcs associated convexity

則圖8 中可能屬于同一橢圓的弧段關(guān)聯(lián)凸性情況為

根據(jù)式（5）對(duì)集合Arcs 中與αm不屬于同一橢圓的弧段進(jìn)行剔除。

2）基于弓弦比的弧段篩選方法

如圖10 所示，由于裝配基準(zhǔn)尺寸較小且存在緊固件遮擋問題，集合Arcs 中可用邊緣信息不足，同時(shí)弧段分割后部分圓弧由于像素點(diǎn)個(gè)數(shù)不足，缺乏曲率信息。

圖10 平滑邊緣輪廓Fig.10 Smooth edge contours

如圖11 所示，綠色橢圓為僅采用集合Arcs中像素點(diǎn)個(gè)數(shù)大于20 弧段的擬合結(jié)果，紅色橢圓為實(shí)際基準(zhǔn)輪廓。由于擬合采樣像素點(diǎn)較少的原因，擬合的橢圓中心受噪聲干擾，偏離實(shí)際裝配基準(zhǔn)中心。

圖11 擬合結(jié)果對(duì)比Fig.11 Comparison of fitting results

因此為了充分利用邊緣信息，保證后續(xù)擬合過程采樣像素點(diǎn)充足，僅剔除集合Arcs 中較長(zhǎng)直線段，保留短輪廓，因?yàn)檩^長(zhǎng)直線可能來自于穿心夾的輪廓等干擾因素，不屬于基準(zhǔn)輪廓，而短輪廓?jiǎng)t可能是由基準(zhǔn)輪廓被分割導(dǎo)致。為提高算法效率，利用弧段的弓弦比剔除集合Arcs 中長(zhǎng)直線，對(duì)于任意弧段如果其弓弦比d/lc較小，且lc較大，則認(rèn)為該弧段為長(zhǎng)直線段。對(duì)于該類型的非橢圓特征輪廓可利用式（6）剔除。

式中：δ 為弓弦比閾值；Thcl為弦長(zhǎng)閾值；δ、Thcl的取值受到基準(zhǔn)在圖像中的尺寸影響，該數(shù)值的選取通過多次測(cè)試取得。對(duì)于含穿心夾基準(zhǔn)孔的檢測(cè)，δ 取值為0.01，Thcl取值為20?；《魏Y選結(jié)果如圖12 所示。

圖12 弧段篩選結(jié)果Fig.12 Results of arc segment filtering

1. 4 基于裝配基準(zhǔn)近似圓的弧段聚類方法

觀察圖12 所示的弧段篩選結(jié)果，2 種約束條件較好地消除不屬于裝配基準(zhǔn)的干擾弧段。對(duì)于裝配基準(zhǔn)附近的殘余膠痕輪廓，由于其與基準(zhǔn)輪廓接近，難以通過曲率與關(guān)聯(lián)凸性條件區(qū)分。

針對(duì)上述問題，通過融合已知的裝配基準(zhǔn)參數(shù)信息，提出了基于裝配基準(zhǔn)近似圓的弧段聚類方法。借助改進(jìn)的基于存在概率的圓檢測(cè)方法，利用邊緣點(diǎn)的共圓結(jié)構(gòu)信息擬合裝配基準(zhǔn)近似圓，并通過距離閾值實(shí)現(xiàn)對(duì)弧段的精確聚類。

1.4.1 基于存在概率的近似圓檢測(cè)方法

張運(yùn)楚等［22］提出了基于存在概率圖的圓檢測(cè)算法，其數(shù)學(xué)原理如下：

記E={(xi，yi)}為圖像I 中邊緣像素點(diǎn)集合，設(shè){ A((u，v)，(rmin，rmax))}為 一 維 累 加 器 數(shù)組。{ A((u，v)，(rmin，rmax))}的值表示集合E 中位于以(u，v)為圓心、r 為半徑的像素點(diǎn)個(gè)數(shù)（rmin≤r ≤rmax）。集合E 中各 點(diǎn)(xi，yi)到 圓 心(u，v)的歐氏距離ri計(jì)算公式為

當(dāng)rmin≤ri≤rmax時(shí)，累 加 器A((u，v)，ri)加1，遍 歷 E 中 所 有 邊 緣 像 素 點(diǎn) ，記A((u，v)，(rmin，rmax)) 的 最 大 值 為A((u，v)，rm)，表示位于以(u，v)為圓心，rm為半徑的圓上邊緣點(diǎn)個(gè)數(shù)最多。

定義存在概率（Probability of existence）Pe，表示圖像I 中以(u，v)為圓心，r 為半徑的假定圓的存在可能性大?。?/p>

根據(jù)式（8），計(jì)算圖像I 中每一個(gè)像素點(diǎn)(x，y)對(duì)應(yīng)的存在概率Pe，并將其保存在二維數(shù)組{ P(x，y)}對(duì)應(yīng)單元，半徑r 保存在二維數(shù)組{ R(x，y)}對(duì)應(yīng)單元，生成圖像I 的圓存在概率圖。存在概率圖中{ P(x，y)}的每一個(gè)峰值代表圖像I 中存在以(xp，yp)為圓心、rp為半徑的圓，P(xp，yp)給出該假定圓的存在可能性。

為提高算法對(duì)裝配基準(zhǔn)近似圓擬合的魯棒性，同時(shí)針對(duì)文獻(xiàn)算法在計(jì)算效率上的不足，對(duì)存在概率Pe的計(jì)算方法進(jìn)行了如下改進(jìn)：

1）加權(quán)存在概率計(jì)算方法

由于集合E 中的邊緣點(diǎn)并不完全滿足共圓特征，為增強(qiáng)算法在非完全共圓結(jié)構(gòu)點(diǎn)集情況下圓檢測(cè)的適應(yīng)性，通過以一定距離范圍內(nèi)像素點(diǎn)數(shù)量為依據(jù)計(jì)算存在概率Pe，代替原算法中對(duì)歐氏距離ri的硬性要求。根據(jù)式（9）對(duì)一維累加器{ A((u，v)，(rmin，rmax))}的計(jì)算方法做如下改進(jìn)：

式中：rb∈[0，rmax-rmin]為距離范圍，根據(jù)裝配基準(zhǔn)尺寸確定（本文取rb=3），S(xi，yi)為一維累加器A((u，v)，ri)的增量(0 ≤S(xi，yi)≤1)。計(jì)算E中所有點(diǎn)相應(yīng)的rd，對(duì)于0 ≤rd≤rb，A((u，v)，ri)加S(xi，yi)，根據(jù)式（9）生成圓存在概率圖。

另一方面，為防止干擾輪廓對(duì)擬合結(jié)果的影響，避免近似圓偏離最優(yōu)弧的情況。對(duì)弧段賦加不同權(quán)重，改進(jìn)的存在概率Pe的計(jì)算方法為

式中：δw為弧段權(quán)重系數(shù)（本文最優(yōu)弧權(quán)重系數(shù)為1.2，其余弧段權(quán)重系數(shù)取1）。圖13 為改進(jìn)后的圓存在概率圖。

圖13 改進(jìn)后的圓存在概率圖Fig.13 Improved probability map of circle existence

2）潛在圓心范圍約束

為保證裝配基準(zhǔn)在圖像中的完整性，裝配基準(zhǔn)應(yīng)位于圖像的中心區(qū)域，因此圖像I 中大部分像素點(diǎn)不可能成為圓心［23］。通過選取潛在圓心范圍的方式可以減少算法大量的計(jì)算。利用式（11）計(jì)算集合E 所有邊緣點(diǎn)的形心，并通過掩膜操作確定假定圓的潛在圓心范圍。

式中：Card(E)表示集合E 中像素點(diǎn)的個(gè)數(shù)，以O(shè)(x，y)為圓心、R 為半徑構(gòu)建潛在圓心范圍（R根據(jù)裝配基準(zhǔn)尺寸確定，本文R 取20）。圖14 為基于存在概率的近似圓擬合結(jié)果。

圖14 基準(zhǔn)近似圓擬合結(jié)果Fig.14 Fitting result of reference approximate circle

1.4.2 基于裝配基準(zhǔn)近似圓的弧段聚類方法

觀察圖14 所示的近似圓擬合結(jié)果，裝配基準(zhǔn)的近似圓與弧段之間的位置關(guān)系可以反映出該弧段是否屬于基準(zhǔn)輪廓，原因在于膠痕、穿心夾以及劃痕等干擾輪廓雖然處于孔周區(qū)域，但相較于基準(zhǔn)輪廓，組成弧段的各點(diǎn)距離裝配基準(zhǔn)近似圓的最小距離較大。

圖15 為弧段聚類示意圖。ra為近似圓半徑，δd為距離閾值，用于判斷該弧段是否為裝配基準(zhǔn)輪廓，弧段各點(diǎn)距離近似圓的最小距離di可用式（12）計(jì)算。

圖15 弧段聚類Fig.15 Grouping of arcs

式中：(xa，ya)為近似圓圓心，根據(jù)式（12），利用式（13）計(jì)算各弧段距離近似圓平均距離d(ηi，Oa)，即弧段各點(diǎn)到近似圓最小距離平均值：

式中：ηi為剩余弧段；Card(ηi)為ηi像素個(gè)數(shù)。

如圖15 所示，對(duì)于 滿足d(ηi，Oa)≤δd的 弧段η1，認(rèn)為其屬于裝配基準(zhǔn)的弧段，對(duì)于無法保證與近似圓的最小距離d(ηi，Oa)小于δd的弧段η2，則認(rèn)為該輪廓弧不屬于基準(zhǔn)孔（δd根據(jù)近似圓半徑ra確定，對(duì)含穿心夾基準(zhǔn)孔，δd取值為2）。

圖16為基于近似圓的弧段聚類結(jié)果。結(jié)果表明以弧段與目標(biāo)近似圓的平均最小距離為依據(jù)，能夠有效實(shí)現(xiàn)對(duì)基準(zhǔn)孔弧段的快速聚類，該方法對(duì)比基于邊緣跟蹤的橢圓檢測(cè)算法，能夠在孔周存在較多干擾的情況下，完成弧段的快速精確聚類，解決了基于邊緣跟蹤的橢圓檢測(cè)算法在該類型干擾下，算法有效性大幅降低的問題。

圖16 基于近似圓的弧段聚類Fig.16 Grouped arcs based on approximate circle

1. 5 直接最小二乘橢圓擬合與去偽

利用直接最小二乘法對(duì)目標(biāo)遮擋不敏感的性質(zhì)，對(duì)弧段聚類結(jié)果進(jìn)行橢圓擬合。

實(shí)際裝配中為保證基準(zhǔn)檢測(cè)定位精度，系統(tǒng)在檢測(cè)前利用離線數(shù)據(jù)移動(dòng)至基準(zhǔn)區(qū)域，相機(jī)不會(huì)在斜視角下采集基準(zhǔn)圖像，因此基準(zhǔn)輪廓擬合結(jié)果的橢圓離心率較小。同時(shí)由于基準(zhǔn)目標(biāo)尺寸可知。利用上述特點(diǎn)對(duì)輪廓擬合結(jié)果進(jìn)行去偽。通過式（14）判斷擬合結(jié)果是否為有效橢圓：

式中：a、b 分別為橢圓長(zhǎng)半軸與短半軸；Thob為橢圓扁率閾值；α1為橢圓離心率。圖17 為橢圓擬合結(jié)果。

圖17 橢圓擬合結(jié)果Fig.17 Result of ellipse fitting

2 實(shí)驗(yàn)結(jié)果與分析

采用Windows 7 操作系統(tǒng)，VS 2015 開發(fā)平臺(tái)，以柔性軌道制孔系統(tǒng)為實(shí)驗(yàn)平臺(tái)進(jìn)行檢測(cè)實(shí)驗(yàn)，圖18 為柔性軌道制孔系統(tǒng)。其視覺系統(tǒng)由工業(yè)相機(jī)、光源與鏡頭等組成。其中工業(yè)相機(jī)選用The Imaging Source 生產(chǎn)的工業(yè)CCD 相機(jī)，相機(jī)分辨率為1 280×960 像素，型號(hào)為DMK 33G445，光源選用紅色環(huán)形光源，鏡頭為RICOH鏡頭，焦距為25 mm 固定焦距。

圖18 柔性軌道制孔系統(tǒng)Fig.18 Flexible track drilling system

2. 1 多類型裝配基準(zhǔn)檢測(cè)有效性驗(yàn)證

2.1.1 多類型裝配基準(zhǔn)檢測(cè)過程

圖19 為本文算法針對(duì)鉚釘、靶標(biāo)點(diǎn)、通孔以及含穿心夾基準(zhǔn)孔檢測(cè)過程，從左至右依次為裝配基準(zhǔn)初始圖像，邊緣跟蹤算法結(jié)果，最優(yōu)弧選取結(jié)果，弧段聚類結(jié)果，基準(zhǔn)輪廓擬合結(jié)果。最優(yōu)弧選取結(jié)果中紅色弧段為根據(jù)弓弦比條件選取得到的最優(yōu)弧，藍(lán)色弧段為剩余弧段。最優(yōu)弧選取結(jié)果表明本文采用的選取方法能夠穩(wěn)定地篩選出各類型基準(zhǔn)擬合精度較好的弧段，并通過以該弧段為種子弧，借助其與其他弧段的關(guān)聯(lián)凸性組合情況，實(shí)現(xiàn)對(duì)剩余弧段的快速篩選。同時(shí)在后續(xù)的近似圓擬合，利用選取的最優(yōu)弧通過加權(quán)存在概率計(jì)算方法，實(shí)現(xiàn)對(duì)基準(zhǔn)輪廓近似圓的擬合。

圖19 鉚釘、靶標(biāo)點(diǎn)、通孔以及含穿心夾基準(zhǔn)孔檢測(cè)過程Fig.19 Detect process and result of rivet， target-point， through-hole and reference hole with piercing clamp

2.1.2 多類型裝配基準(zhǔn)檢測(cè)準(zhǔn)確率實(shí)驗(yàn)

算法的有效性驗(yàn)證主要是驗(yàn)證基準(zhǔn)檢測(cè)算法能否準(zhǔn)確檢測(cè)出圖像中裝配基準(zhǔn)。首先需要完成圖像的采集工作，利用柔性軌道制孔系統(tǒng)在模擬件上采集各類型裝配基準(zhǔn)圖像，共計(jì)4種類型裝配基準(zhǔn)。接著采用本文算法進(jìn)行檢測(cè)，對(duì)于非裝配基準(zhǔn)檢測(cè)為裝配基準(zhǔn)以及基準(zhǔn)定位結(jié)果與基準(zhǔn)孔的邊緣重合度差的情況記為誤檢；對(duì)于未檢測(cè)出裝配基準(zhǔn)的情況記為漏檢，誤檢與漏檢均記為錯(cuò)誤檢出；圖像中算法定位結(jié)果與基準(zhǔn)孔邊緣的重合度高則表明算法對(duì)于基準(zhǔn)的定位精度較高，記為正確檢出。最后，統(tǒng)計(jì)算法針對(duì)不同類型基準(zhǔn)的正確檢測(cè)與錯(cuò)誤檢測(cè)的數(shù)量。圖20 為算法有效性驗(yàn)證。結(jié)果表明，本文基準(zhǔn)檢測(cè)算法能夠有效識(shí)別出多種類型的裝配基準(zhǔn)。對(duì)鉚釘、靶標(biāo)點(diǎn)、通孔的檢測(cè)準(zhǔn)確率分別為97.9%、98.3%、99.1%；對(duì)含穿心夾基準(zhǔn)孔檢測(cè)準(zhǔn)確率可達(dá)91%，證實(shí)算法能夠滿足系統(tǒng)對(duì)于多類型裝配基準(zhǔn)檢測(cè)準(zhǔn)確率的需求。

圖20 算法有效性驗(yàn)證Fig.20 Verify effectiveness of algorithm

為進(jìn)一步驗(yàn)證本文算法針對(duì)各種類型干擾因素的抑制作用，通過改變曝光度、背景、污染程度等條件，針對(duì)多類型基準(zhǔn)進(jìn)行了進(jìn)一步實(shí)驗(yàn)。圖21 為常見干擾因素下基準(zhǔn)檢測(cè)結(jié)果。結(jié)果表明，本文算法在工業(yè)場(chǎng)景常見干擾下依舊能夠?qū)崿F(xiàn)對(duì)多類型裝配基準(zhǔn)的準(zhǔn)確檢測(cè)。

圖21 常見干擾因素下基準(zhǔn)檢測(cè)結(jié)果Fig.21 Detect results under common interference factors

2. 2 算法精度驗(yàn)證實(shí)驗(yàn)

2.2.1 機(jī)身模擬件精度驗(yàn)證實(shí)驗(yàn)

為驗(yàn)證本文算法對(duì)多類型裝配基準(zhǔn)的定位精度，以機(jī)身模擬件為實(shí)驗(yàn)平臺(tái)設(shè)計(jì)了曲面對(duì)象的精度驗(yàn)證實(shí)驗(yàn)。該模擬件與某型國產(chǎn)支線客機(jī)機(jī)身筒段尺寸一致，旨在模擬該型客機(jī)前機(jī)身與機(jī)頭環(huán)縫對(duì)接區(qū)域的蒙皮外形以及飛機(jī)蒙皮的弱剛性環(huán)境。圖22 為柔性軌道制孔系統(tǒng)結(jié)構(gòu)圖。

圖22 柔性軌道制孔系統(tǒng)結(jié)構(gòu)Fig.22 Structure of flexible track drilling system

由于系統(tǒng)制孔誤差、機(jī)身模擬件制孔區(qū)域不易測(cè)量、曲面測(cè)量誤差等因素，基準(zhǔn)孔的實(shí)際孔徑與孔距難以準(zhǔn)確獲取，因此實(shí)驗(yàn)中利用靶標(biāo)點(diǎn)替代孔在機(jī)身模擬件上進(jìn)行基準(zhǔn)檢測(cè)實(shí)驗(yàn)，所采用的靶標(biāo)點(diǎn)為直徑10 mm 的圓形，為裝配場(chǎng)景中常見的基準(zhǔn)類型。因此采用靶標(biāo)點(diǎn)進(jìn)行曲面基準(zhǔn)測(cè)量能夠處理制孔誤差對(duì)測(cè)量結(jié)果的影響以及機(jī)身模擬件無法重復(fù)制孔的不足，從而驗(yàn)證曲面對(duì)象上算法對(duì)圓形基準(zhǔn)的測(cè)量精度。具體實(shí)驗(yàn)步驟如下：

步驟1 將10 組靶標(biāo)點(diǎn)按照20 mm 的間距貼放至紙帶上，將帶有靶標(biāo)點(diǎn)的紙帶粘貼于機(jī)身模擬件上。

步驟2 驅(qū)動(dòng)柔性軌道制孔系統(tǒng)進(jìn)行檢測(cè)，得到基準(zhǔn)檢測(cè)的直徑與中心距。

步驟3 從機(jī)身模擬件上取下紙帶，并貼放在標(biāo)準(zhǔn)大理石臺(tái)上測(cè)量靶標(biāo)點(diǎn)的直徑與中心距。

圖23 為模擬件實(shí)驗(yàn)示意圖。圖24 為基準(zhǔn)檢測(cè)結(jié)果與測(cè)量值。結(jié)果顯示，基準(zhǔn)檢測(cè)與測(cè)量值結(jié)果偏差小于0.06 mm 和0.10 mm，由于制孔系統(tǒng)工作環(huán)境為機(jī)身對(duì)接區(qū)域，艙段曲率遠(yuǎn)大于系統(tǒng)的相機(jī)視野，該曲率對(duì)測(cè)量精度的影響可以忽略不計(jì)，因此本文算法的檢測(cè)與定位誤差能夠滿足系統(tǒng)要求。

圖23 模擬件實(shí)驗(yàn)示意圖Fig.23 Illustration of experiment on analogue workpiece

圖24 基準(zhǔn)檢測(cè)結(jié)果與測(cè)量值Fig.24 Results of reference detection and measurements

考慮手工測(cè)量誤差以及艙段曲率對(duì)實(shí)驗(yàn)結(jié)果的影響，通過柔性軌道制孔系統(tǒng)重復(fù)定位精度實(shí)驗(yàn)進(jìn)一步驗(yàn)證本文算法能否滿足系統(tǒng)要求，重復(fù)定位精度實(shí)驗(yàn)具體步驟如下：

步驟1 驅(qū)動(dòng)輕型移動(dòng)平臺(tái)至裝配基準(zhǔn)位置，將相機(jī)對(duì)準(zhǔn)基準(zhǔn)孔并執(zhí)行基準(zhǔn)檢測(cè)，從而準(zhǔn)確定位基準(zhǔn)孔位置P。

步驟2 驅(qū)動(dòng)設(shè)備移動(dòng)至其他位置。

步驟3 以P 點(diǎn)為目標(biāo)位置，重新驅(qū)動(dòng)輕型移動(dòng)平臺(tái)以及末端執(zhí)行器至第1 步基準(zhǔn)孔位置P，利用激光跟蹤儀測(cè)量此時(shí)TCP 點(diǎn)位數(shù)據(jù)。

步驟4 重復(fù)執(zhí)行步驟1、2、3，累計(jì)獲取6 組TCP 點(diǎn)位數(shù)據(jù)，對(duì)比6 組靶標(biāo)球的位置數(shù)據(jù)，驗(yàn)證系統(tǒng)的重復(fù)定位精度。

實(shí)驗(yàn)采用的激光跟蹤儀為L(zhǎng)aica 激光跟蹤儀，型號(hào)為AT901。圖25 為靶標(biāo)球位置偏差?？梢园l(fā)現(xiàn)，系統(tǒng)的重復(fù)定位結(jié)果距離偏差小于0.07 mm，表明本文算法的定位精度能夠滿足系統(tǒng)要求。

圖25 靶標(biāo)球位置偏差Fig.25 Positional deviation of target balls

2.2.2 試鉆臺(tái)基準(zhǔn)檢測(cè)實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文算法的檢測(cè)與定位精度，增加了試鉆臺(tái)制孔實(shí)驗(yàn)。該試驗(yàn)臺(tái)可加持平板樣件，以驗(yàn)證平面情況下算法基準(zhǔn)檢測(cè)精度。

圖26 所示為實(shí)驗(yàn)試片，為減少工件變形對(duì)結(jié)果的影響，選用剛性較好的6.4 mm 厚板為實(shí)驗(yàn)試片，實(shí)驗(yàn)試片的制作利用數(shù)控裝備，制孔間距為20 mm，孔徑為8 mm。數(shù)控裝備的精度誤差經(jīng)測(cè)定在0.005 mm，制孔加工誤差可以忽略。依次移動(dòng)設(shè)備進(jìn)行基準(zhǔn)檢測(cè)，得到相鄰2 個(gè)孔的理論中心距與孔徑。

圖26 實(shí)驗(yàn)試片F(xiàn)ig.26 Experimental workpiece

檢測(cè)與定位精度實(shí)驗(yàn)結(jié)果如圖27 所示，結(jié)果表明，本文檢測(cè)算法對(duì)基準(zhǔn)孔的檢測(cè)平均誤差為0.10 mm，定位平均誤差為0.09 mm，相對(duì)誤差分別為0.125%和0.045%，能夠滿足裝配系統(tǒng)對(duì)基準(zhǔn)檢測(cè)的精度要求。

圖27 檢測(cè)與定位精度實(shí)驗(yàn)結(jié)果Fig.27 Experimental results of detection and position accuracy

2. 3 不同檢測(cè)方法檢測(cè)比對(duì)

為進(jìn)一步驗(yàn)證本文算法針對(duì)多類型裝配基準(zhǔn) 檢 測(cè) 的 穩(wěn) 定 性，對(duì)RHT、AAMED［24］、文獻(xiàn)［25］算法以及本文算法裝配基準(zhǔn)檢測(cè)進(jìn)行比對(duì)實(shí)驗(yàn)。為確保比對(duì)結(jié)果的有效性，所有算法均采用相同預(yù)處理方法。圖28 所示為不同檢測(cè)方法檢測(cè)比對(duì)結(jié)果圖。根據(jù)實(shí)驗(yàn)結(jié)果得出結(jié)論，RHT 算法由于隨機(jī)采樣的原因，檢測(cè)穩(wěn)定性較差，橢圓輪廓的擬合結(jié)果受噪聲干擾與基準(zhǔn)孔邊緣的重合精度低，同時(shí)盡管降低用于判斷橢圓的誤差閾值，仍會(huì)出現(xiàn)漏檢情況。本文算法與AAMED 算法由于采用不同的方法優(yōu)化了弧段篩選與聚類環(huán)節(jié)，使得檢測(cè)效率明顯優(yōu)于RHT，AAMED 方法對(duì)遮擋（含穿心夾基準(zhǔn)孔）、多橢圓目標(biāo)的情況出現(xiàn)了漏檢，同時(shí)在個(gè)別測(cè)試中最終擬合結(jié)果與實(shí)際輪廓存在肉眼可見的偏差。文獻(xiàn)［25］算法與本文通過邊緣跟蹤的方法實(shí)現(xiàn)了對(duì)含穿心夾的基準(zhǔn)孔的檢測(cè)，但由于其未考慮膠痕與油污污染對(duì)檢測(cè)的影響，僅針對(duì)光滑無污染情況的含穿心夾基準(zhǔn)孔進(jìn)行檢測(cè)，對(duì)于實(shí)際裝配場(chǎng)景中存在油污污染與膠痕污染的穿心夾，該檢測(cè)方法經(jīng)測(cè)試難以適用。

圖28 不同檢測(cè)方法對(duì)比Fig.28 Comparison of different detection methods

2. 4 本文關(guān)鍵參數(shù)取值

表1 為本文算法參數(shù)選取。本文采用的最優(yōu)弧選取方法針對(duì)劣弧，因此對(duì)靶標(biāo)點(diǎn)、鉚釘、通孔類型的裝配基準(zhǔn)檢測(cè)時(shí)需對(duì)弧段進(jìn)行輪廓弧的打斷，以保證弧段集合中所有弧段均小于半圓。Thob為橢圓去偽環(huán)節(jié)涉及的參數(shù)，根據(jù)裝配基準(zhǔn)在圖像中的橢圓離心率確定，由于系統(tǒng)不在大斜視角下進(jìn)行基準(zhǔn)檢測(cè)檢測(cè)，因此Thob的取值較小。

表1 本文算法參數(shù)選取Table 1 Parameters selection in this paper

3 結(jié) 論

針對(duì)裝配環(huán)境常見因素對(duì)自動(dòng)化裝配系統(tǒng)基準(zhǔn)檢測(cè)的干擾問題以及系統(tǒng)對(duì)于多類型裝配基準(zhǔn)的檢測(cè)需求，提出了一種多類型裝配基準(zhǔn)橢圓特征穩(wěn)健檢測(cè)方法。該方法利用剩余弧段與最優(yōu)弧的關(guān)聯(lián)凸性以及弧段弓弦比的雙重約束條件實(shí)現(xiàn)對(duì)弧段的初步篩選；對(duì)于殘余膠痕等難剔除輪廓，通過基于基準(zhǔn)目標(biāo)近似圓的方法篩除；最后，利用直接最小二乘法擬合橢圓，并根據(jù)裝配基準(zhǔn)參數(shù)信息進(jìn)行去偽。通過有效性驗(yàn)證，該算法對(duì)裝配場(chǎng)景常見的干擾因素具有顯著的抑制效果，適用于多類型的裝配基準(zhǔn)檢測(cè)。通過分析孔徑、孔距誤差，證實(shí)算法的檢測(cè)精度與定位精度均能夠滿足系統(tǒng)對(duì)基準(zhǔn)檢測(cè)的需求。由于算法在檢測(cè)過程中利用裝配基準(zhǔn)尺寸信息，并具有嚴(yán)格的參數(shù)約束，因此本文算法對(duì)工業(yè)圖像中圓形目標(biāo)的檢測(cè)具有強(qiáng)魯棒性與高檢測(cè)效率，但不適用于自然圖像中的橢圓特征檢測(cè)。