• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于元學(xué)習(xí)和關(guān)鍵點(diǎn)的實(shí)時(shí)抓取檢測(cè)算法

    2023-09-25 08:40:50彭吉飛吳清瀟
    自動(dòng)化與儀表 2023年9期
    關(guān)鍵詞:關(guān)鍵點(diǎn)特征提取物體

    彭吉飛,吳清瀟

    (1.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室,沈陽(yáng) 110016;2.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所,沈陽(yáng) 110016;3.中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院,沈陽(yáng) 110169;4.中國(guó)科學(xué)院大學(xué),北京 100049)

    機(jī)器人抓取在工業(yè)制造和生活場(chǎng)景中有著廣泛的應(yīng)用前景,成功抓取的前提是根據(jù)物體的觀測(cè)信息獲得合適的抓取位姿。針對(duì)抓取檢測(cè)任務(wù),目前大部分都是基于深度學(xué)習(xí)進(jìn)行研究。早期,文獻(xiàn)[1]提出級(jí)聯(lián)式網(wǎng)絡(luò)在Cornell 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),達(dá)到73.9%的準(zhǔn)確率。隨著更強(qiáng)大的特征提取網(wǎng)絡(luò)如AlexNet、ResNet 的出現(xiàn),文獻(xiàn)[2]、文獻(xiàn)[3]使用單階段網(wǎng)絡(luò)直接預(yù)測(cè)抓取配置參數(shù),抓取檢測(cè)更加精準(zhǔn)。同時(shí)目標(biāo)檢測(cè)技術(shù)得到越來越廣泛的應(yīng)用,文獻(xiàn)[4]借鑒雙階段目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster-RCNN,在Cornell數(shù)據(jù)集上準(zhǔn)確率達(dá)到96.0%,但設(shè)計(jì)了錨框作為先驗(yàn)信息,模型的參數(shù)量和計(jì)算量過大,實(shí)時(shí)性較低。為了能夠滿足實(shí)時(shí)抓取,文獻(xiàn)[5]采用像素級(jí)的抓取姿態(tài)預(yù)測(cè),每張圖片檢測(cè)速度達(dá)到4 ms,但準(zhǔn)確率僅有84.3%。

    為了平衡抓取檢測(cè)的實(shí)時(shí)性和準(zhǔn)確率,有研究借鑒單階段的關(guān)鍵點(diǎn)目標(biāo)檢測(cè)算法的思想,比如文獻(xiàn)[6]通過改進(jìn)CornerNet[7]將其應(yīng)用于抓取檢測(cè)。文獻(xiàn)[8-9]也成功將關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)CenterNet[10]應(yīng)用到抓取檢測(cè)中,準(zhǔn)確率和實(shí)時(shí)性得到進(jìn)一步提升?;陉P(guān)鍵點(diǎn)檢測(cè)無需錨框設(shè)計(jì),沒有過多的冗余計(jì)算能夠提高實(shí)時(shí)性,因此本文在CenterNet 思想基礎(chǔ)上進(jìn)行改進(jìn),設(shè)計(jì)了基于注意力機(jī)制的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型。由于實(shí)際場(chǎng)景中的物體往往更復(fù)雜,對(duì)于訓(xùn)練過程中未曾見過的物體或顏色大小形狀變化較大的物體,難以獲取其準(zhǔn)確的抓取位姿,這就需要算法能夠動(dòng)態(tài)更新學(xué)習(xí)到的知識(shí)。MAML[11]是一種少樣本元學(xué)習(xí)算法,利用梯度下降尋找合適的初始化方法,能夠有效學(xué)習(xí)未知知識(shí)。因此本文設(shè)計(jì)了兩階段的學(xué)習(xí)過程,使用MAML 元學(xué)習(xí)方法提升了對(duì)新類目標(biāo)的檢測(cè)效果。

    1 本文算法

    1.1 改進(jìn)的旋轉(zhuǎn)橢圓高斯熱力圖

    抓取檢測(cè)框通常表達(dá)方式是一個(gè)旋轉(zhuǎn)矩形框,如圖1 中的虛線矩形框所示。在實(shí)際的物體抓取中,兩指機(jī)械手的夾持器長(zhǎng)度h 本身固定,因此只需預(yù)測(cè)抓取框的中心點(diǎn)、抓取框?qū)挾葁 和抓取角度θ。

    圖1 抓取框的表達(dá)方式Fig.1 Grasping position representation

    抓取檢測(cè)框相比目標(biāo)檢測(cè)框在表達(dá)方式上增加旋轉(zhuǎn)角度,因此改用旋轉(zhuǎn)橢圓高斯熱力圖進(jìn)行映射。即對(duì)于抓取矩形標(biāo)簽的中心點(diǎn)真實(shí)位置p,執(zhí)行預(yù)測(cè)時(shí)所用的特征信息相當(dāng)于原尺度經(jīng)過T=4 倍的下采樣,標(biāo)簽中心點(diǎn)位置變?yōu)?,將其映射到高斯熱力圖Y,熱力圖Y 上的對(duì)應(yīng)像素點(diǎn)映射關(guān)系為

    圖2 Cornell 數(shù)據(jù)集中的物體和可視化熱力圖Fig.2 Objects in Cornell dataset and the visual heatmap

    1.2 抓取檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)

    1.2.1 基于注意力機(jī)制改進(jìn)的Ghost Bottleneck 模塊

    GhostNet[12]是為移動(dòng)端硬件設(shè)計(jì)的輕量化神經(jīng)網(wǎng)絡(luò),采取計(jì)算復(fù)雜度低的線性運(yùn)算代替普通卷積輸出特征圖,去除了部分彼此相似的冗余特征圖。對(duì)于給定輸入X∈Rc×h×w,其中c 為輸入特征通道數(shù),h和w 為特征圖的高和寬,若使用卷積核f∈對(duì)其進(jìn)行普通的卷積操作,輸出特征圖Y∈,所需計(jì)算量為

    Ghost Module 模塊在對(duì)輸入X 生成具有c′個(gè)通道的特征圖Y 時(shí),先用普通卷積核f∈Rc×k×k×m進(jìn)行卷積計(jì)算得到特征圖Y′∈,再進(jìn)一步使用低計(jì)算代價(jià)的cheap 操作對(duì)這m 個(gè)通道的每個(gè)特征都生成s 個(gè)Ghost 特征,即:

    式中:Φi,s是恒等映射以保留原始特征,其余Φi,j(j=1,…,s-1)為線性運(yùn)算,每個(gè)線性運(yùn)算的平均內(nèi)核大小為d×d(其大小與k×k 近似),由此得到具有m·s=c′個(gè)特征的特征圖Y。以上操作總共所需的計(jì)算量為

    因?yàn)閐≈k,m·s=c′,且s?c 可知Ghost Module模塊的參數(shù)量只有普通卷積的1/s。

    NAM[13]是一種輕量級(jí)的基于歸一化的注意力機(jī)制,不需要進(jìn)行卷積計(jì)算和全連接層的計(jì)算,而是利用歸一化后的權(quán)重作為加權(quán)因子。首先對(duì)輸入X批量標(biāo)準(zhǔn)化:B=BN(X)=+β,其中γ 和β是縮放因子和偏移因子,μb和是小批量的均值和方差。再將其與歸一化后的權(quán)重相乘,經(jīng)過sigmoid歸一化后與原始輸入X 相乘得到輸出特征Y,即Y=X·sigmoid(Wγ(BN(X))),計(jì)算如圖3 所示,其中Wγ=,利用縮放因子的大小反映不同通道的信息重要程度。

    圖3 NAM 注意力機(jī)制Fig.3 NAM attention

    利用上述Ghost Module 模塊和深度可分離卷積構(gòu)建基礎(chǔ)殘差模塊Ghost Bottleneck,并在Ghost Module 前后分別加入NAM 注意力機(jī)制,以進(jìn)一步加強(qiáng)特征提取能力,如圖4 所示。

    圖4 嵌入注意力機(jī)制的Ghost Bottleneck 模塊Fig.4 Ghost Bottleneck embedded with the NAM attention

    1.2.2 多尺度特征提取和特征融合模塊

    為了更有效地提取特征,且在不損失語(yǔ)義信息的前提下增大感受野,引入膨脹率不同的空洞卷積。為此設(shè)計(jì)了2 個(gè)并行的雙層金字塔結(jié)構(gòu),如圖5中的虛線框(a)和(b)所示,用于提取不同尺度的特征,每個(gè)金字塔由2 個(gè)串聯(lián)的空洞卷積組成。這種級(jí)聯(lián)結(jié)構(gòu)能夠在不減小感受野的同時(shí)提高信息利用率,而并行結(jié)構(gòu)能夠避免多尺度特征之間的冗余。其中(a)部分獲得的特征信息不包含邊緣信息,適合用來預(yù)測(cè)抓取框的中心關(guān)鍵點(diǎn)。(b)部分所獲得的特征信息包含邊緣信息,適合預(yù)測(cè)抓取檢測(cè)框的抓取寬度、抓取角度以及關(guān)鍵點(diǎn)的偏移信息。上采樣操作采用輕量化的CARAFE 算子[14],該算子參數(shù)量相比反卷積更少,也擁有更好的性能。

    圖5 多尺度特征提取和特征融合模塊Fig.5 Multi-scale feature extraction and feature fusion module

    1.3 兩階段學(xué)習(xí)過程

    模型的主要框架如圖6 所示,該框架可以被定義為O(F(·|θ)|w),其中F(·|θ)是帶有參數(shù)θ的特征提取器,O(·|w)是帶有參數(shù)w 的對(duì)象定位器。學(xué)習(xí)過程分為基礎(chǔ)訓(xùn)練階段和元學(xué)習(xí)階段。

    圖6 算法模型框架Fig.6 Overview of the proposed model

    圖7 元學(xué)習(xí)過程Fig.7 Meta-learning stage

    1.3.1 基礎(chǔ)訓(xùn)練階段

    在基礎(chǔ)訓(xùn)練階段使用基類樣本訓(xùn)練獲得通用的特征提取器F(·|θ)和對(duì)象定位器O(·|w),輸入圖像經(jīng)過特征提取器得到特征圖后再輸入到對(duì)象定位器,對(duì)象定位器部分都是二維卷積層,最終輸出相當(dāng)于原輸入圖像4 倍下采樣的特征圖,經(jīng)過解碼得到最終的抓取配置參數(shù)。

    由于正負(fù)樣本不均衡,非關(guān)鍵點(diǎn)的數(shù)量多于關(guān)鍵點(diǎn)數(shù)量,采用Focal Loss 計(jì)算關(guān)鍵點(diǎn)熱力圖的損失,計(jì)算公式如下:

    1.3.2 元學(xué)習(xí)階段

    基礎(chǔ)訓(xùn)練結(jié)束后,凍結(jié)特征提取器參數(shù),引入一個(gè)元學(xué)習(xí)器,元學(xué)習(xí)器的結(jié)構(gòu)和初始化參數(shù)與對(duì)象定位器相同。這一階段的學(xué)習(xí)目的是更新對(duì)象定位器的參數(shù),以使模型適應(yīng)新類樣本。

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 實(shí)驗(yàn)條件設(shè)置

    本文算法基于Pytorch 框架實(shí)現(xiàn),操作系統(tǒng)為Ubuntu 16.04.7,模型在GeForce RTX2080Ti 顯卡上訓(xùn)練,網(wǎng)絡(luò)輸入圖像分辨率為320×320。采用Cornell數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證,其中訓(xùn)練集和測(cè)試集按照?qǐng)D像分割和對(duì)象分割2 種方式進(jìn)行劃分[1]。

    2.2 評(píng)估方式

    其中式(7)表示預(yù)測(cè)矩形角度和真實(shí)抓取矩形角度相差小于30°,式(8)表示預(yù)測(cè)矩形和真實(shí)抓取矩形的Jaccard 相似系數(shù)大于25%,同時(shí)滿足式(7)和式(8)則代表預(yù)測(cè)抓取是合理抓取。

    2.3 性能分析

    本文算法分別按照?qǐng)D像分割和對(duì)象分割2 種方式在Cornell 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),在準(zhǔn)確率和檢測(cè)速度上和其他算法對(duì)比效果如表1 所示。

    表1 Cornell 數(shù)據(jù)集抓取檢測(cè)結(jié)果Tab.1 Grasping detection results on the Cornell dataset

    可以看到本文提出的算法在檢測(cè)準(zhǔn)確率和檢測(cè)速度上與當(dāng)前性能最好的一些算法相當(dāng),相比同樣基于關(guān)鍵點(diǎn)檢測(cè)的文獻(xiàn)[6,8,9]中的算法在精度和檢測(cè)速度上均有優(yōu)勢(shì),很好地兼顧了準(zhǔn)確率與實(shí)時(shí)性。尤其在對(duì)象分割實(shí)驗(yàn)中,測(cè)試集中物體都是訓(xùn)練集中未見過的類別,準(zhǔn)確率有明顯優(yōu)勢(shì),這得益于元學(xué)習(xí)方法增強(qiáng)了對(duì)未知物體的學(xué)習(xí)能力。在參數(shù)量和計(jì)算量上雖然不及文獻(xiàn)[5]的算法,如表2 所示,但是準(zhǔn)確率有明顯提高。而對(duì)比文獻(xiàn)[16]的算法,在準(zhǔn)確率相差不多的情況下,參數(shù)量和計(jì)算量得到明顯降低??梢姳疚乃惴ㄔ诒WC高準(zhǔn)確率的同時(shí)有更少的參數(shù)量和計(jì)算量,能夠更加適合低性能的硬件設(shè)備。

    表2 算法參數(shù)量和計(jì)算量對(duì)比Tab.2 Comparison of the parameters and FLOPs

    2.4 消融實(shí)驗(yàn)

    在Cornell 數(shù)據(jù)集上以對(duì)象分割的方式進(jìn)行消融實(shí)驗(yàn),結(jié)果如表3 所示??梢钥吹絅AM 注意力機(jī)制在使用2 種不同熱力圖的情況下準(zhǔn)確率分別提升0.53%和1.06%,能夠加強(qiáng)特征提取。多尺度的特征提取和特征融合模塊準(zhǔn)確率分別提升了1.58%和2.12%。最終融合這2 個(gè)模塊的網(wǎng)絡(luò)檢測(cè)準(zhǔn)確率分別提升了3.17%和3.71%,另外使用旋轉(zhuǎn)橢圓高斯熱力圖和原CenterNet 中的熱力圖相比,準(zhǔn)確率能夠提高約2.65%。最后再經(jīng)過元學(xué)習(xí)器的學(xué)習(xí)后,準(zhǔn)確率有2.17%的提升。綜上可知改進(jìn)的方法和模塊均能使模型性能得到提升。

    表3 消融實(shí)驗(yàn)Tab.3 Ablation experiment

    2.5 算法檢測(cè)效果

    對(duì)Cornell 數(shù)據(jù)集中的部分測(cè)試集圖片進(jìn)行測(cè)試,效果如圖8 所示??梢娝惴▽?duì)于不同形狀大小的物體漏檢率低,均有較好的抓取效果。

    圖8 Cornell 數(shù)據(jù)集上算法檢測(cè)效果Fig.8 Detection effect on the Cornell dataset

    選取真實(shí)場(chǎng)景中的常見物體進(jìn)行抓取實(shí)驗(yàn),結(jié)果如圖9 所示。實(shí)驗(yàn)結(jié)果表明,對(duì)于在訓(xùn)練數(shù)據(jù)集中從未見過的物體,算法依舊能夠得到合適的抓取角度和抓取位置。

    圖9 真實(shí)場(chǎng)景物體抓取檢測(cè)效果Fig.9 Detection effect on the objects in real scenes

    3 結(jié)語(yǔ)

    為了提升機(jī)器人抓取檢測(cè)的效果和效率,本文提出了基于元學(xué)習(xí)和關(guān)鍵點(diǎn)的實(shí)時(shí)抓取檢測(cè)算法。網(wǎng)絡(luò)模型基于關(guān)鍵點(diǎn)進(jìn)行輕量化設(shè)計(jì),并參考MAML 元學(xué)習(xí)方法優(yōu)化模型參數(shù)。實(shí)驗(yàn)結(jié)果表明算法擁有較少的參數(shù)量和計(jì)算量,兼顧抓取準(zhǔn)確率和實(shí)時(shí)性,同時(shí)對(duì)未知物體的抓取有很好的泛化性。

    猜你喜歡
    關(guān)鍵點(diǎn)特征提取物體
    聚焦金屬關(guān)鍵點(diǎn)
    肉兔育肥抓好七個(gè)關(guān)鍵點(diǎn)
    深刻理解物體的平衡
    我們是怎樣看到物體的
    基于Daubechies(dbN)的飛行器音頻特征提取
    電子制作(2018年19期)2018-11-14 02:37:08
    Bagging RCSP腦電特征提取算法
    為什么同一物體在世界各地重量不一樣?
    基于MED和循環(huán)域解調(diào)的多故障特征提取
    醫(yī)聯(lián)體要把握三個(gè)關(guān)鍵點(diǎn)
    鎖定兩個(gè)關(guān)鍵點(diǎn)——我這樣教《送考》
    沛县| 蒙阴县| 若羌县| 柳江县| 久治县| 广元市| 黄山市| 祁阳县| 天全县| 株洲县| 虹口区| 水富县| 独山县| 岐山县| 普洱| 泽普县| 扎囊县| 彭州市| 恩平市| 龙泉市| 崇礼县| 宁阳县| 友谊县| 玛纳斯县| 扶风县| 宁德市| 湟中县| 益阳市| 西丰县| 尚义县| 遂昌县| 南岸区| 大洼县| 砀山县| 光泽县| 江山市| 咸阳市| 镇沅| 鄄城县| 阿勒泰市| 九龙县|