智能選矸機(jī)器人的煤矸石圖像識(shí)別系統(tǒng)設(shè)計(jì)

韓 龍，唐凌翔，王順葵，張仁斌

（黑龍江科技大學(xué) 電氣與控制工程學(xué)院，黑龍江 哈爾濱）

引言

目前，我國(guó)90%以上的塊煤選矸環(huán)節(jié)主要采用人工分選方式，人工選矸勞動(dòng)強(qiáng)度大，現(xiàn)場(chǎng)粉塵濃度高，嚴(yán)重影響選矸工人的身心健康。2019 年7 月，黑龍江省出臺(tái)《“數(shù)字龍江”發(fā)展規(guī)劃（2019-2025 年）》，提出推進(jìn)智慧礦山建設(shè)，著力推動(dòng)“機(jī)器換人”，大幅減少井下礦工數(shù)量，實(shí)現(xiàn)開采智能化、生產(chǎn)自動(dòng)化和管理信息化，提高礦山生產(chǎn)效率。

智能選矸機(jī)器人可替代人工選矸，有效提高選矸效率和分選質(zhì)量。煤矸石圖像識(shí)別是智能選矸機(jī)器人重要的組成部分，它設(shè)計(jì)好與壞關(guān)系著煤矸石動(dòng)態(tài)識(shí)別準(zhǔn)確率。國(guó)內(nèi)學(xué)者對(duì)煤矸石圖像識(shí)別方法和硬件實(shí)現(xiàn)做了大量的研究，馬憲民等在研究煤和矸石分選時(shí)，通過實(shí)際的煤矸石灰度圖像的均值和方差與標(biāo)準(zhǔn)閾值相比較，實(shí)現(xiàn)煤和矸石識(shí)別[1]。吳開興等結(jié)合了小波變換與灰度共生矩陣進(jìn)行煤矸石紋理特征的提取，采用支持向量機(jī)算法實(shí)現(xiàn)煤矸石分類[2-3]。但煤矸石圖像灰度和紋理特征的識(shí)別方法存在準(zhǔn)確度較低、提取參數(shù)多、實(shí)時(shí)處理效率不高等問題。隨著人工智能技術(shù)快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法取代了傳統(tǒng)圖像識(shí)別方法，并提升了圖像識(shí)別的精確度和魯棒性。趙學(xué)軍等采用YOLOv3 目標(biāo)檢測(cè)模型實(shí)時(shí)精準(zhǔn)地檢測(cè)出煤與矸石混合體中的矸石，為提高煤炭質(zhì)量改進(jìn)分揀效率提供有效保障[4]。蔡秀凡等利用改進(jìn)的YOLOv4 能夠?qū)πK煤矸石檢測(cè)，同時(shí)也能夠提高目標(biāo)檢測(cè)模型的整體檢測(cè)精度，準(zhǔn)確率可達(dá)94%以上[5]。王仁寶等采用高性能的TMS320DM642 作為煤矸石圖像識(shí)別系統(tǒng)的硬件核心，提高了運(yùn)算速度，并結(jié)合改進(jìn)的邊緣檢測(cè)算法，實(shí)現(xiàn)了煤塊和矸石的實(shí)時(shí)自動(dòng)分選[6]。

目前煤礦采用DSP 及STM32 等嵌入式設(shè)備的圖像處理能力較低，無法部署較大規(guī)模的圖像識(shí)別模型。為保證系統(tǒng)實(shí)用性和提高煤矸石圖像識(shí)別準(zhǔn)確率，本文采用圖像處理算力高的Jetson TX2 和YOLOX 模型設(shè)計(jì)了智能選矸機(jī)器人的煤矸石圖像識(shí)別系統(tǒng)。

1 系統(tǒng)的總體設(shè)計(jì)方案

煤矸石圖像識(shí)別系統(tǒng)由攝像頭、嵌入式設(shè)備、輸入設(shè)備、顯示屏和下位機(jī)5 部分組成，系統(tǒng)的結(jié)構(gòu)框圖見圖1。

圖1 煤矸石圖像識(shí)別系統(tǒng)結(jié)構(gòu)框圖

首先通過輸入設(shè)備設(shè)置系統(tǒng)參數(shù)，然后攝像頭對(duì)煤矸石圖像進(jìn)行采集并將信息傳遞給嵌入式設(shè)備，嵌入式設(shè)備對(duì)煤矸石圖像信息進(jìn)行識(shí)別處理，將標(biāo)注識(shí)別率的煤和矸石信息在顯示屏上顯示，最后通過串口通訊將矸石的粒度大小和位置等信息發(fā)送給下位機(jī)。

2 系統(tǒng)硬件及軟件設(shè)計(jì)

2.1 系統(tǒng)硬件電路

系統(tǒng)利用HD1313 攝像頭對(duì)煤矸石圖像進(jìn)行采集，攝像頭分辨率為1280*720P，幀率為30 幀，免驅(qū)協(xié)議為USB2.0 通訊協(xié)議；采集的煤矸石圖像傳送給英偉達(dá)公司Jetson TX2 嵌入式設(shè)備，Jetson TX2 上加載和運(yùn)行預(yù)先訓(xùn)練好的YOLOX 模型對(duì)信息進(jìn)行識(shí)別。識(shí)別結(jié)果通過HDMI 通訊接口在7 英寸顯示屏顯示，同時(shí)將矸石的粒度和位置信息通過RS232 串口通訊傳送給下位機(jī)的微處理器。系統(tǒng)硬件電路見圖2。

圖2 系統(tǒng)硬件電路

2.2 系統(tǒng)軟件設(shè)計(jì)

在Jetson Tx2 運(yùn)行YOLOX 模型并經(jīng)Tensorrt 加速，在Deepstream 框架下測(cè)試運(yùn)行，并適配ROS 操作系統(tǒng)話題消息接口。系統(tǒng)軟件設(shè)計(jì)分為預(yù)處理、模型訓(xùn)練、模型部署輸出和下位機(jī)處理4 個(gè)階段。煤矸石圖像識(shí)別軟件流程見圖3。

圖3 煤矸石圖像識(shí)別軟件流程

對(duì)煤與矸石圖像進(jìn)行篩選及整理得到可用的數(shù)據(jù)集，并按訓(xùn)練集、驗(yàn)證集和測(cè)試集進(jìn)行劃分，將最終的數(shù)據(jù)集整理后加載進(jìn)訓(xùn)練模型中。然后執(zhí)行訓(xùn)練模型腳本，在訓(xùn)練腳本內(nèi)部，測(cè)試集不斷地優(yōu)化訓(xùn)練得到的模型參數(shù)，并且訓(xùn)練完成后最終得到Pth 后綴的PyTorch 模型，為了進(jìn)一步增加視覺識(shí)別的幀率和準(zhǔn)確度，需要轉(zhuǎn)為TensorRT 模型。PyTorch 模型無法直接轉(zhuǎn)化為TensorRT 模型，先將PyTorch 模型轉(zhuǎn)化為Wts文件，再將Wts 文件轉(zhuǎn)化為TensorRT 模型。攝像頭獲取視頻送入Deepstream 的解析器，通過H264parse 插件對(duì)視頻進(jìn)行解析，并用Decoder 插件進(jìn)行加速解碼，用Streammux 插件進(jìn)行排隊(duì)合并，然后輸入目標(biāo)識(shí)別器。視頻信息經(jīng)YOLOX 模型識(shí)別后，將識(shí)別的煤與矸石信息在系統(tǒng)的顯示器上顯示。上位機(jī)Jetson Tx2 的ROS 通過串口通信將煤與矸石的信息發(fā)送給下位機(jī)STM32F103 RCt6，STM32F103 RCt6 對(duì)串口數(shù)據(jù)包進(jìn)行解析并執(zhí)行相應(yīng)動(dòng)作。

3 實(shí)驗(yàn)測(cè)試結(jié)果分析

在 PyTorch 框 架 下 將 YOLOX 與 YOLOv5、YOLOv4 模型進(jìn)行比較，根據(jù)mAP@0.5（平均準(zhǔn)確率均值）評(píng)價(jià)指標(biāo)判斷幾種模型對(duì)于煤矸石圖像的識(shí)別效果。矸石和煤的樣本圖像經(jīng)過預(yù)處理之后共5 000張圖片，其中煤樣本3 000 張，矸石樣本2 000 張。使用labelimg 標(biāo)注軟件對(duì)數(shù)據(jù)集內(nèi)圖片進(jìn)行標(biāo)注，實(shí)驗(yàn)的軟硬件環(huán)境見表1。

表1 實(shí)驗(yàn)的軟硬件環(huán)境

訓(xùn)練模型設(shè)置相關(guān)的網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率設(shè)為0.01，分辨率設(shè)為648*512，批處理尺寸設(shè)置為128，實(shí)驗(yàn)的Epoch 設(shè)置為100，記錄實(shí)驗(yàn)數(shù)據(jù)，整理得到各模型訓(xùn)練精度曲線變化情況見圖4。

圖4 三種模型訓(xùn)練精度對(duì)比圖

從圖4 訓(xùn)練結(jié)果可以看出，經(jīng)過100 個(gè)Epoch 的循環(huán)之后，三個(gè)模型的精度逐漸趨于穩(wěn)定，均達(dá)到了0.9 左右。其中YOLOX 精度最高，YOLOv4 精度最低?？梢奩OLOX 模型進(jìn)行煤矸石圖像識(shí)別總體效果好。

本文設(shè)計(jì)的煤矸石圖像識(shí)別系統(tǒng)實(shí)物見圖5，在Jetson TX2 上部署訓(xùn)練好的YOLOX 模型進(jìn)行測(cè)試，實(shí)時(shí)煤矸石識(shí)別結(jié)果見圖6。

圖5 煤矸石圖像識(shí)別系統(tǒng)

圖6 煤與矸石圖像識(shí)別結(jié)果

4 結(jié)論

本文采用英偉達(dá)公司Jetson TX2 嵌入式設(shè)備和YOLOX 模型設(shè)計(jì)了一種智能選矸機(jī)器人的煤矸石圖像識(shí)別系統(tǒng)，實(shí)現(xiàn)了圖像采集、實(shí)時(shí)數(shù)據(jù)處理和煤與矸石的識(shí)別功能。實(shí)驗(yàn)結(jié)果表明，本文采用的YOLOX模型對(duì)煤矸石識(shí)別精度高于YOLOv5 和YOLOv4 模型，提高了系統(tǒng)的識(shí)別準(zhǔn)確率；采用Jetson TX2 增強(qiáng)了系統(tǒng)的圖像處理能力，降低了系統(tǒng)成本，并滿足了工作的實(shí)時(shí)性要求，該系統(tǒng)在煤矸石圖像識(shí)別方面具有良好的性能。