一種20kg砝碼組智能檢定系統(tǒng)的設(shè)計(jì)

馬健 趙迪 郭琳琳 劉桂雄

摘 ?要：砝碼智能化檢定有助于提高砝碼檢定效率、增強(qiáng)檢測(cè)數(shù)據(jù)可溯源性。文章從20 kg砝碼組智能化檢定系統(tǒng)整體設(shè)計(jì)入手，提出依靠三維堆放20 kg砝碼組深度學(xué)習(xí)識(shí)別分割技術(shù)、多模態(tài)傳感定位技術(shù)配合設(shè)計(jì)的軟硬件平臺(tái)，實(shí)現(xiàn)日光燈照明下三維堆放20 kg砝碼組的智能檢定。通過(guò)模擬搭建三維堆放砝碼組開展系統(tǒng)測(cè)試試驗(yàn)，驗(yàn)證了智能檢定系統(tǒng)的有效性、準(zhǔn)確性，單個(gè)砝碼實(shí)例檢定時(shí)間約為42 s，可以滿足實(shí)際20 kg砝碼組檢定過(guò)程需要，實(shí)現(xiàn)“機(jī)器代人”，大幅提高20 kg砝碼組檢定效率。

關(guān)鍵詞：20 kg砝碼組;深度學(xué)習(xí);多模態(tài)傳感;智能化平臺(tái)

中圖分類號(hào)：TP391.4;TH715 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）12-0001-05

Abstract： The intelligent verification of weights is helpful to improve the verification efficiency of weights and enhance the traceability of test data. Starting with the overall design of the intelligent verification system of 20 kg weight set， this paper proposes a software and hardware platform based on the deep learning， identification and segmentation technology of three-dimensional stacking 20 kg weight set and the multi-modal sensing and positioning technology， so as to realize the intelligent verification of three-dimensional stacking 20 kg weight set under the illumination of fluorescent lamp. The validity and accuracy of the intelligent verification system are verified by simulating the construction of three-dimensional stacking weight set and carrying out system test. The verification time of a single weight example is about 42 s， which can meet the needs of the actual verification process of 20 kg weight set， realize "machine replace people" and greatly improve the verification efficiency of 20 kg weight group.

Keywords： 20 kg weight set; deep learning; multi-modal sensing; intelligent platform

0 ?引 ?言

砝碼是質(zhì)量量值傳遞、溯源的基準(zhǔn)，保證其量值精確意義重大[1]。目前部分計(jì)量檢測(cè)機(jī)構(gòu)實(shí)現(xiàn)了基于預(yù)設(shè)工位的砝碼自動(dòng)檢定[2]，檢定過(guò)程依舊需要人工干預(yù)，自動(dòng)化、智能化水平不高。為實(shí)現(xiàn)20 kg砝碼組智能檢定，須解決砝碼實(shí)例、砝碼提手這類低對(duì)比度、低飽和度遮擋對(duì)象圖像檢測(cè)問(wèn)題[3，4]，以及傳統(tǒng)單模態(tài)傳感定位技術(shù)無(wú)法實(shí)現(xiàn)三維堆放砝碼組空間定位為復(fù)雜環(huán)境多深度曲面測(cè)量問(wèn)題。

文獻(xiàn)[5]通過(guò)微調(diào)Mask R-CNN得到Pig Net，可對(duì)不同形態(tài)、粘連嚴(yán)重的群豬圖像準(zhǔn)確分割出獨(dú)立的個(gè)體目標(biāo)。文獻(xiàn)[6]基于Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)模型，分別對(duì)每組雙目圖像進(jìn)行目標(biāo)檢測(cè)和掩膜分割，匹配雙目圖像中相同目標(biāo)，以準(zhǔn)實(shí)時(shí)速度進(jìn)行物體識(shí)別、定位。文獻(xiàn)[7]基于Mask R-CNN網(wǎng)絡(luò)從高分辨率RGB無(wú)人機(jī)圖像中提取樹木，與常規(guī)、高成本遙感數(shù)據(jù)方法相比有更好效果。文獻(xiàn)[8]基于FPGA搭建立體計(jì)算RGBD動(dòng)態(tài)場(chǎng)景實(shí)時(shí)三維重建系統(tǒng)，實(shí)現(xiàn)對(duì)目標(biāo)場(chǎng)景數(shù)據(jù)同步采集，實(shí)時(shí)生成拍攝場(chǎng)景三維空間點(diǎn)云。文獻(xiàn)[9]將雙通道后融合網(wǎng)絡(luò)結(jié)構(gòu)用于卷積特征提取、單通道前融合網(wǎng)絡(luò)結(jié)構(gòu)用于道路檢測(cè)，可有效克服光照、陰影、路面類型變化等影響。文獻(xiàn)[10]基于RGBD圖像恢復(fù)室內(nèi)物體、布局面完整三維模型，依靠支持推理來(lái)輔助物體識(shí)別，并使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)區(qū)域進(jìn)行分類。文獻(xiàn)[11]整合Microsoft Kinect RGBD傳感器、YOLO算法與Nvidia Jetson TX2神經(jīng)網(wǎng)絡(luò)開發(fā)板以用于識(shí)別移動(dòng)機(jī)器人路徑障礙的靜態(tài)物體。

可以看出深度學(xué)習(xí)算法、RGBD多模態(tài)傳感在遮擋對(duì)象識(shí)別、測(cè)量方面相較傳統(tǒng)方法均有不小優(yōu)勢(shì)。故本文研究面向低對(duì)比度堆放砝碼識(shí)別的改進(jìn)Mask R-CNN算法、面向堆放砝碼的RGBD多模態(tài)傳感定位技術(shù)實(shí)現(xiàn)20 kg砝碼組智能檢定系統(tǒng)設(shè)計(jì)，對(duì)于促進(jìn)計(jì)量技術(shù)自動(dòng)化以及智能制造技術(shù)發(fā)展，具有重要學(xué)術(shù)價(jià)值與實(shí)際意義。

1 ?系統(tǒng)整體設(shè)計(jì)

圖1為20 kg砝碼組智能化檢定系統(tǒng)整體設(shè)計(jì)圖，主要包括五個(gè)模塊：

（1）圖像采集與處理模塊，負(fù)責(zé)圖像數(shù)據(jù)采集及預(yù)處理。

（2）20 kg砝碼組識(shí)別、分割模塊，負(fù)責(zé)20 kg砝碼組實(shí)例RGB圖像定位。

（3）20 kg砝碼組定位模塊，負(fù)責(zé)20 kg砝碼組實(shí)例三維空間定位。

（4）20 kg砝碼抓取模塊，負(fù)責(zé)智能化檢定過(guò)程20 kg砝碼抓取搬運(yùn)。

（5）檢定數(shù)據(jù)溯源模塊，負(fù)責(zé)20 kg砝碼智能化檢定過(guò)程數(shù)據(jù)溯源。

1.1 ?20 kg砝碼組深度學(xué)習(xí)識(shí)別分割技術(shù)

前期試驗(yàn)證明，經(jīng)典深度學(xué)習(xí)算法對(duì)三維堆放20 kg砝碼組提手、砝碼間重疊部分識(shí)別分割效果較差，主要原因在于20 kg砝碼組外表面常為黑、灰色，是典型低對(duì)比度物體。

為提升圖像中砝碼提手實(shí)例分割效果，獲取高精度砝碼組圖像坐標(biāo)信息，從提升圖像特征區(qū)分度、多算法融合方向入手，對(duì)采集原始圖像進(jìn)行Gamma增強(qiáng)、ACE自適應(yīng)對(duì)比度增強(qiáng)，以提升其輪廓特征便于深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí);增加Mask R-CNN頭部檢測(cè)分支，對(duì)掩膜分割效果不好的實(shí)例通過(guò)BBox回歸框分支連接Canny邊緣檢測(cè)算法代替原Mask掩膜分支輸出，以提升砝碼提手實(shí)例分割效果。

圖2為20 kg砝碼組深度學(xué)習(xí)識(shí)別分割網(wǎng)絡(luò)結(jié)構(gòu)圖，改進(jìn)Mask R-CNN模型由圖像對(duì)比度增強(qiáng)、Backbone骨干網(wǎng)絡(luò)、RPN（Region proposal network）候選區(qū)生成、RoI Align特征圖對(duì)齊和Head頭部網(wǎng)絡(luò)功能等模塊構(gòu)成，生成Mask掩膜、目標(biāo)分類、BBox回歸定位框結(jié)果。

1.2 ?20 kg砝碼組多模態(tài)傳感空間定位技術(shù)

為達(dá)到20 kg砝碼組智能檢定效果還須實(shí)現(xiàn)復(fù)雜光照環(huán)境下砝碼提手曲面深度測(cè)量。

圖3為20 kg砝碼組多模態(tài)傳感定位流程圖，RGBD相機(jī)采集4通道砝碼組圖像數(shù)據(jù)，生成對(duì)應(yīng)RGB圖像及D通道深度圖像，RGB圖像輸入改進(jìn)Mask R-CNN深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別、分割20 kg砝碼組提手，得砝碼提手掩膜與BBox回歸框輸出;砝碼提手掩膜與深度圖“求與”得各砝碼提手實(shí)例所有像素點(diǎn)深度數(shù)據(jù)，空間圓柱擬合生成對(duì)應(yīng)實(shí)例關(guān)鍵點(diǎn)坐標(biāo)及單位方向向量，用來(lái)描述20 kg砝碼提手空間姿態(tài)及位置;K-means聚類算法按照各實(shí)例關(guān)鍵點(diǎn)坐標(biāo)對(duì)空間坐標(biāo)組分層，層間計(jì)算提手關(guān)鍵點(diǎn)與預(yù)設(shè)原點(diǎn)曼哈頓距離規(guī)劃調(diào)度砝碼組檢定順序。

引入多模態(tài)傳感技術(shù)可有效提高20 kg砝碼提手空間定位準(zhǔn)確性，克服單模態(tài)傳感定位技術(shù)對(duì)檢定場(chǎng)景適用性差、難以滿足砝碼檢定動(dòng)態(tài)過(guò)程不同深度曲面定位精度要求的問(wèn)題，提高20 kg砝碼組智能化檢定效率。

1.3 ?20 kg砝碼組智能化檢定系統(tǒng)軟硬件平臺(tái)

20 kg砝碼組智能檢定集成系統(tǒng)由待檢砝碼抓取裝置、標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置、電氣控制系統(tǒng)、Intel RealSense D455深度相機(jī)、NVIDIA Jetson TX2邊緣計(jì)算機(jī)構(gòu)成。如圖4所示。

圖5為20 kg砝碼組智能檢定系統(tǒng)運(yùn)行邏輯流程圖，具體流程如下：

（1）PC上位機(jī)發(fā)送開始指令給PLC下位機(jī)。

（2）標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置將標(biāo)準(zhǔn)砝碼加載至檢定天平。

（3）檢定天平稱量數(shù)值反饋至上位機(jī)后標(biāo)準(zhǔn)砝碼轉(zhuǎn)運(yùn)裝置卸載標(biāo)準(zhǔn)砝碼。

（4）待檢砝碼轉(zhuǎn)運(yùn)裝置移動(dòng)至待定位置后Jetson TX2邊緣計(jì)算機(jī)獲取Intel D455 RGBD相機(jī)數(shù)據(jù)計(jì)算得到待檢砝碼提手空間定位坐標(biāo)。

（5）坐標(biāo)信息指導(dǎo)待檢砝碼轉(zhuǎn)運(yùn)裝置加載待檢砝碼至檢定天平后讀取檢定天平數(shù)據(jù)。

（6）檢定稱量完成后，將待檢砝碼從檢定天平轉(zhuǎn)運(yùn)碼放至完成區(qū)域。

（7）判斷檢定是否完成，完成即結(jié)束檢定、未完成則進(jìn)入下一次循環(huán)。

按上述結(jié)構(gòu)、邏輯搭建如圖6所示的20 kg砝碼組智能化檢定系統(tǒng)軟硬件平臺(tái)。軟件平臺(tái)用于20 kg砝碼組智能化檢定關(guān)鍵數(shù)據(jù)（如：測(cè)試項(xiàng)目、委托方、制造廠商、鑒定地點(diǎn)、鑒定時(shí)間、溫度、濕度、氣壓、標(biāo)準(zhǔn)值1、待檢值、標(biāo)準(zhǔn)值2、誤差、合格情況等）實(shí)時(shí)顯示、歷史數(shù)據(jù)溯源等。

2 ?試驗(yàn)

使用上述20 kg砝碼組智能化檢定系統(tǒng)對(duì)圖7系統(tǒng)級(jí)測(cè)試待檢砝碼試驗(yàn)堆開展自動(dòng)化檢定試驗(yàn)，待檢砝碼試驗(yàn)堆由2層共18個(gè)20 kg砝碼組模擬實(shí)際檢定過(guò)程中砝碼堆放情況搭建而成。

按圖7（a）中順序開展各砝碼實(shí)例檢定，得表1砝碼檢定數(shù)據(jù)，包含從20 kg砝碼組智能檢定系統(tǒng)軟件平臺(tái)獲取的各砝碼實(shí)例檢定過(guò)程的標(biāo)準(zhǔn)值1、待檢值、標(biāo)準(zhǔn)值2、合格情況、碼放位置、檢定用時(shí)等關(guān)鍵信息。

從表中數(shù)據(jù)可以看出，單個(gè)砝碼檢定時(shí)間平均在43 s左右，由于在第1、3個(gè)砝碼檢定前調(diào)用空間定位算法分別獲取上、下層砝碼提手空間位置信息，檢定時(shí)間較其他砝碼長(zhǎng)，又因檢定開始時(shí)需先執(zhí)行一次標(biāo)準(zhǔn)砝碼檢定，故第1個(gè)砝碼檢定用時(shí)比第3個(gè)長(zhǎng)11 s。

系統(tǒng)試驗(yàn)證明20 kg砝碼組智能檢定系統(tǒng)可以按設(shè)計(jì)功能要求實(shí)現(xiàn)“機(jī)器代人”，提升20 kg砝碼組檢定效率、準(zhǔn)確性。

3 ?結(jié) ?論

本文提出20 kg砝碼組智能檢定系統(tǒng)設(shè)計(jì)方案。通過(guò)深度學(xué)習(xí)算法、多模態(tài)傳感定位技術(shù)處理堆疊20 kg砝碼組RGBD圖像數(shù)據(jù)得到各砝碼實(shí)例空間坐標(biāo)，指導(dǎo)硬件系統(tǒng)抓取搬運(yùn)，最終實(shí)現(xiàn)三維堆放20 kg砝碼組智能檢定。單個(gè)砝碼檢定時(shí)間平均為43 s，檢定數(shù)據(jù)精確可靠，可實(shí)現(xiàn)“機(jī)器代人”、大幅提升20 kg砝碼組檢定效率。

參考文獻(xiàn)：

[1] 全國(guó)量和單位標(biāo)準(zhǔn)化技術(shù)委員會(huì).國(guó)際單位制及其應(yīng)用：GB 3100-1993 [S].北京：中國(guó)標(biāo)準(zhǔn)出版社，1993.

[2] 王益飛，楊圓圓.公斤組砝碼自動(dòng)檢定系統(tǒng) [J].計(jì)量技術(shù)，2017（7）：61-64.

[3] UIJLINGS J R R，SANDE K E A，GEVERS T，et al. Selective Search for Object Recognition [J]. International Journal of Computer Vision，2013，104（2）：154-171.

[4] JIANG J J，GUI X Q. Target Detection and Recognition Method of Farming Machine Based on Machine Vision [C]//Proceedings of the 2015 4th National Conference on Electrical，Electronics and Computer Engineering.Paris：Atlantis Press，2015：1385-1389.

[5] 高云，郭繼亮，黎煊，等.基于深度學(xué)習(xí)的群豬圖像實(shí)例分割方法 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（4）：179-187.

[6] 彭秋辰，宋亦旭.基于Mask R-CNN的物體識(shí)別和定位 [J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，59（2）：135-141.

[7] OCER N E，KAPLAN G，ERDEM F，et al. Tree extraction from multi-scale UAV images using Mask R-CNN with FPN [J].Remote Sensing Letters，2020，11（9）：847-856.

[8] 段勇，裴明濤.基于多RGBD攝像機(jī)的動(dòng)態(tài)場(chǎng)景實(shí)時(shí)三維重建系統(tǒng) [J].北京理工大學(xué)學(xué)報(bào)，2014，34（11）：1157-1162.

[9] 曲磊，王康如，陳利利，等.基于RGBD圖像和卷積神經(jīng)網(wǎng)絡(luò)的快速道路檢測(cè) [J].光學(xué)學(xué)報(bào)，2017，37（10）：124-132.

[10] ZOU C H，GUO R Q，LI Z Z，et al. Complete 3D Scene Parsing from an RGBD Image [J].International Journal of Computer Vision，2019，127（2）：143-162.

[11] REIS D，WELFER D，CUADROS D S L，et al. Mobile Robot Navigation Using an Object Recognition Software with RGBD Images and the YOLO Algorithm [J].Applied Artificial Intelligence，2019，33（14）：1290-1305.

作者簡(jiǎn)介：馬?。?980—），男，漢族，廣東廣州人，高級(jí)工程師，碩士，研究方向：衡器計(jì)量技術(shù)研究。