基于深度判別的零件吸附位姿搜索

摘 要：重工機(jī)械設(shè)備組裝中定制化零件具有形狀復(fù)雜、尺寸跨度廣的特點，實際生產(chǎn)中，吸附零件的準(zhǔn)確性與實時性仍有較大的優(yōu)化空間。為此本文提出了基于深度判別的零件吸附位姿搜索算法。通過DenseNet-121模型對合成的圖像進(jìn)行判斷，并對判為非規(guī)則類型的零件使用GWO搜索吸附位姿，同時引入了基于重心點的高斯分布或均勻分布抽樣初始化種群。試驗表明，本文提出的判斷模型平均準(zhǔn)確率為99.3%，推理時間降低了487倍。而提出的改進(jìn)GWO在非規(guī)則型零件集上的吸附得分提升了7.7%，整體時間開銷降低了39.42%，證明了本文方法具有更好的快速性與準(zhǔn)確性。

關(guān)鍵詞：形狀分類；GWO；神經(jīng)網(wǎng)絡(luò)；吸附優(yōu)化

中圖分類號：TP 391" " " " " " " 文獻(xiàn)標(biāo)志碼：A

2022年我國工程機(jī)械產(chǎn)業(yè)規(guī)模突破9 000億元，位居全球第一。而隨著國際經(jīng)濟(jì)形勢的復(fù)雜化，加快產(chǎn)業(yè)轉(zhuǎn)型升級并構(gòu)建新的競爭優(yōu)勢尤為迫切[1]。在工程機(jī)械裝備組裝中，使用拼接式電磁吸盤吸附定制化零件是一個必要的程序，其本質(zhì)為在一定約束下不同圖像中目標(biāo)區(qū)域的重合面積最大化問題。然而目前的研究[2]對非規(guī)則型零件的吸附成功率低且吸附位姿搜索耗時。

值得注意的是，對非規(guī)則型零件的外形尚無明確的幾何定義。文獻(xiàn)[2]最早嘗試做出文字描述（參見1.2.1節(jié)），并進(jìn)一步對非規(guī)則型零件使用PSO搜索吸附位姿。然而其成果還不能完全勝任實際生產(chǎn)，原因主要有2點。1）識別非規(guī)則型零件過于耗時。2）PSO搜索耗時較高。目前基于深度學(xué)習(xí)的圖像分類模型取得了較好發(fā)展，且進(jìn)行模型前向推理時在計算速度上具有一定優(yōu)勢[3]。受此啟發(fā)，本文嘗試使用深度神經(jīng)網(wǎng)絡(luò)識別非規(guī)則型零件。為此，本文收集并建立了一批零件圖像數(shù)據(jù)集，提出的神經(jīng)網(wǎng)絡(luò)模型在測試集上的分類準(zhǔn)確率接近100%且推理速度快，提出的改進(jìn)型GWO搜索在試驗中也取得了更高的吸附得分。

1 本文算法

1.1 問題描述

機(jī)器人在工程機(jī)械場景中作業(yè)時，零件是相對靜止的，并通過端拾器與零件的貼合部分產(chǎn)生磁力。因此吸附位姿主要指吸盤貼合零件時的平面位置坐標(biāo)與自身旋轉(zhuǎn)角度，記為pose=[x，y，angle]。磁塊的開閉由貼合面積與磁塊面積的比值決定，在實際的工程經(jīng)驗中，比值一般設(shè)為0.9以上。上述優(yōu)化問題可形式化定義為公式（1）。

（1）

式中：i為端拾器中的第i個磁塊；I為指示函數(shù)，當(dāng)I為1，代表磁塊被打開，反之則代表磁塊關(guān)閉；Si為第i個磁塊的面積；Sr為第i個磁塊與零件的貼合面積；Fi為第i個磁塊的額定吸力；G為被搜索零件的重力。

優(yōu)化目標(biāo)為提高吸盤在指定吸附位姿下產(chǎn)生的吸力與零件重力的比值分?jǐn)?shù)。比值越大，代表吸附位姿越好，實際的吸附也會更穩(wěn)定、安全。

1.2 零件類別判斷

1.2.1 工業(yè)零件數(shù)據(jù)集標(biāo)注

文獻(xiàn)[2]將吸盤圖像與零件圖像在彼此重心點處水平重合后，按一定角度間隔進(jìn)行順時針旋轉(zhuǎn)。如果吸盤產(chǎn)生的最大吸力不小于零件重力的1.3倍，則零件為規(guī)則型，否則為非規(guī)則型。記此定義為Φ，其數(shù)學(xué)化定義如公式（2）所示。

（2）

式中：1為規(guī)則；0為非規(guī)則。

本文收集了一批工業(yè)零件的等比例圖像數(shù)據(jù)集，使用重心旋轉(zhuǎn)搜索法對零件圖像進(jìn)行判斷，并給予標(biāo)簽。最后通過隨機(jī)抽樣劃分訓(xùn)練集與測試集。

1.2.2 網(wǎng)絡(luò)模型與訓(xùn)練

將神經(jīng)網(wǎng)絡(luò)模型代表的函數(shù)定義為F'（θ），希望在網(wǎng)絡(luò)參數(shù)Φ的更新過程中將F'盡可能逼近Φ，如公式（3）所示。

（3）

式中：n為訓(xùn)練迭代的步數(shù)。

本文將DenseNet作為最后的零件類別判斷模型。考慮平衡精度與時間開銷，本文將DenseNet-121作為最終分類器，具體參見文獻(xiàn)[3]。為了進(jìn)一步提升網(wǎng)絡(luò)的分類表現(xiàn)，本文還使用遷移學(xué)習(xí)和圖像合成方法。其中遷移學(xué)習(xí)將基于ImageNet數(shù)據(jù)集預(yù)訓(xùn)練出的模型作為初始權(quán)重。輸入圖像合成方法如下：將零件的二值化圖像作為第一個通道，拼接式吸盤的二值化圖像作為第二個通道，第三個通道的構(gòu)建則包括優(yōu)化問題的相關(guān)關(guān)鍵信息，此處參考了文獻(xiàn)[4]的做法。但不同的是，本文為強(qiáng)化相關(guān)數(shù)據(jù)，將第三個通道中每行數(shù)據(jù)均設(shè)置相同，每列則為8個關(guān)鍵數(shù)據(jù)的重復(fù)循環(huán)，其中8個關(guān)鍵數(shù)據(jù)的排列與含義見表1。

1.3 位姿搜索加速與優(yōu)化

本文引入GWO算法對pose進(jìn)行搜索，同時為了對GWO搜索過程進(jìn)行加速，分別探索了高斯分布與均勻分布抽樣初始化技術(shù)。GWO模擬了自然界灰狼的社會層級和狩獵機(jī)制，狼群通過狩獵不斷逼近理想中的最優(yōu)位姿，具體細(xì)節(jié)參見文獻(xiàn)[5]。

GWO算法屬于迭代優(yōu)化，實時性不高，而理想的初始化群體有助于過程的快速收斂并獲得較好的結(jié)果，較差的初始化可能導(dǎo)致過程收斂較慢或陷入局部最優(yōu)。因此本文嘗試使用高斯分布抽樣初始化與均勻分布抽樣初始化技術(shù)對GWO的搜索過程進(jìn)行加速與優(yōu)化，具體描述如下。

1.3.1 基于重心的高斯分布抽樣初始化

本文嘗試使用高斯分布抽樣來初始化吸附位姿（灰狼）。同時鑒于重心旋轉(zhuǎn)搜索法可以較好地處理規(guī)則型零件，此處將零件的重心（記為（centerx，centery））與旋轉(zhuǎn)角水平0度作為位置參數(shù)的一部分。以吸附位姿的第一個分量抽樣為例進(jìn)行說明，其他分量的抽樣原理相同，僅位置參數(shù)有所變化。假設(shè)隨機(jī)變量Y服從一個位置參數(shù)為centerx、尺度參數(shù)為σ的高斯分布（試驗中設(shè)置σ2=100，為經(jīng)驗參數(shù)），如公式（4）所示，其概率密度函數(shù)如公式（5）所示，吸附位姿的第一個分量將從此分布中隨機(jī)抽樣獲得。

Y～N（centerx，σ2） （4）

（5）

1.3.2 基于均勻分布的抽樣初始化

本文嘗試使用均勻分布抽樣來初始化吸附位姿，同樣以吸附位姿的第一個分量抽樣為例進(jìn)行說明。假設(shè)隨機(jī)變量U服從均勻分布，如公式（6）所示，width為零件圖像的寬度，其概率密度函數(shù)如公式（7）所示，吸附位姿的第一個分量將從此分布中抽樣獲得。

U～（0，width） （6）

（7）

2 試驗

2.1 試驗說明

本文的硬件平臺為11th Gen Intel（R） Core（TM） i5-11300H@

3.10GHz 3.11GHz，運(yùn)行內(nèi)存16G，無GPU加速。操作系統(tǒng)為Windows 10，編程語言為Python 3.8，使用Pytorch框架實現(xiàn)零件圖像分類模型。在零件圖像分類數(shù)據(jù)集中，訓(xùn)練集包括2201張圖片，其中不規(guī)則型零件圖像731張；測試集包括549張圖片，其中不規(guī)則型零件圖像182張。

本試驗選擇9個具有代表性的神經(jīng)網(wǎng)絡(luò)分類模型進(jìn)行比較，包括DenseNet、VGGNet、ResNet、MobileNet_V2、ShuffleNet_V2、DenseNet、EfficientNet_V1、RegNet、Vit和GoogleNet。而在吸附位姿搜索中，比較了本文的算法與其他算法（PSO-Levy[2]與重心旋轉(zhuǎn)搜索）的平均吸附得分與時間開銷。

2.2 零件類別判斷

本文將平均準(zhǔn)確率作為模型的評價指標(biāo)，同時比較了DenseNet-121模型推理與重心旋轉(zhuǎn)搜索判斷的時間開銷。在原始的零件圖像訓(xùn)練集上，本文訓(xùn)練了9種神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行了測試，每個模型在訓(xùn)練中還使用了遷移學(xué)習(xí)，其中DenseNet-121取得了最高的平均準(zhǔn)確率95.6%。為進(jìn)一步提升模型表現(xiàn)，本文使用DenseNet-121在合成圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練。圖1（a）展示了DenseNet-121在合成圖像測試集上的混淆矩陣，由圖可知，準(zhǔn)確率為（182+363）/（182+4+363+0）≈99.3%，比未使用合成數(shù)據(jù)的最好表現(xiàn)提升了3.7%。由此可以推斷，在原始零件圖片的基礎(chǔ)上加入拼接吸盤、零件尺寸和問題實際約束等信息，有助于神經(jīng)網(wǎng)絡(luò)模型提升分類準(zhǔn)確率。此外，不規(guī)則型零件的召回率為182/（182+0）=100%，完全實現(xiàn)了精準(zhǔn)發(fā)現(xiàn)不規(guī)則型零件的目標(biāo)。

2.3 吸附位姿搜索

運(yùn)行GWO算法前，需要確定GWO算法中的關(guān)鍵超參數(shù)，即狼群數(shù)量與迭代總次數(shù)?；谛阅芘c時間開銷的平衡，并結(jié)合大量實際測試與結(jié)果，本文推薦在狼群數(shù)量為30，迭代次數(shù)為30。本節(jié)試驗比較了本文的位姿搜索算法和其他方法的優(yōu)劣。圖1（b）展示了對比試驗數(shù)據(jù)，包括平均吸附得分與時間開銷。由圖可知，重心旋轉(zhuǎn)搜索法平均吸附得分僅0.624，縱使其平均時間開銷僅為144.45s，但完全無法保障抓取的安全性。PSO-Levy[2]方法為1.11，可以對不規(guī)則零件進(jìn)行初步抓取。然而更高的吸附分?jǐn)?shù)1.196由均勻分布抽樣初始化的GWO獲得，提升了（1.196-1.11）/1.11≈7.7%，充分證明了本文算法的優(yōu)勢。而在時間開銷上，改進(jìn)GWO算法的平均搜索耗時為894.2s，也低于PSO-Levy[2]的1332.18s。因此，本文的搜索算法在性能與時間開銷取得了一定的平衡。

2.4 整體耗時分析

表2展示了本文方法（DenseNet-121判斷+改進(jìn)的GWO算法）與文獻(xiàn)[2]（使用重心旋轉(zhuǎn)搜索判斷+PSO-Levy）在時間開銷上的比較見表2。每個數(shù)據(jù)均為運(yùn)行10次后的平均值。由表2可知，由于DenseNet-121前向推理在時間開銷上僅為0.296s，比重心旋轉(zhuǎn)搜索的144.45s降低了487倍。而從整體時間開銷上來看，本文所提方法的時間開銷為894.496s，比文獻(xiàn)[2]的1476.63s降低了39.42%。

2.5 實例展示

不同非規(guī)則型零件在同一端拾器與不同算法下的抓取實例如圖2所示。由重合區(qū)域的對比可知，本文算法給出的吸附位姿能產(chǎn)生更大的重合面積與吸附磁力。

3 結(jié)論

本文提出的吸附位姿搜索算法使用DenseNet-121模型快速篩選非規(guī)則型零件，同時首創(chuàng)的圖像數(shù)據(jù)合成方法可使模型的平均準(zhǔn)確率接近100%，并使用改進(jìn)的GWO搜索非規(guī)則型零件的吸附位姿。零件圖像數(shù)據(jù)集上的試驗表明，本文算法的平均吸附得分比其他算法有明顯提升。綜上所述，本文吸附方法基本滿足了工程機(jī)械場景下的實時性要求，對智能化生產(chǎn)改造有一定的借鑒意義。

參考文獻(xiàn)

[1]袁振.世界級工程機(jī)械產(chǎn)業(yè)集群的發(fā)展探索[J].金屬加工：冷加工，2022（12）：4-6.

[2]Zeng D，Shi J，Zhan J，et al.A fast and global search method for grasping pose optimization in manufacturing[J].Journal of Intelligent amp; Fuzzy Systems， 2021，41（1）：1713-1726.

[3]高新聞，李帥青，金邦洋.基于DenseNet分類的隧道裂縫檢測研究[J].計算機(jī)測量與控制，2020，28（8）：58-61.

[4]李凱文，張濤，王銳，等.基于深度強(qiáng)化學(xué)習(xí)的組合優(yōu)化研究進(jìn)展[J].自動化學(xué)報，2021，47（11）：2521-2537.

[5]張曉鳳，王秀英.灰狼優(yōu)化算法研究綜述[J].計算機(jī)科學(xué)，2019，46（3）：30-38.