基于機器視覺的有色金屬加工物料識別跟蹤技術(shù)研究

劉興剛，劉為超

(1.中色科技股份有限公司，河南 洛陽 471039；2.洛陽師范學(xué)院，河南 洛陽 471934 )

隨著智慧工廠的概念提出，提升工廠智能化水平成為重要任務(wù)。有色金屬加工企業(yè)已經(jīng)進入了數(shù)字化轉(zhuǎn)型的新階段，在工廠具有高度自動化和信息化以后，利用物聯(lián)網(wǎng)、深度學(xué)習(xí)、人工智能等高新技術(shù)，提高生產(chǎn)效率，降低運營成本，解放人力，已成為行業(yè)需求。工廠物料的運輸存儲過程是工廠物流的重要一環(huán)[1,2]，傳統(tǒng)的物料運輸和統(tǒng)計多采用人工紙質(zhì)統(tǒng)計的方式，日常統(tǒng)計比較繁雜，耗費大量人力。為了提升生產(chǎn)效率，我們提出一種基于機器視覺[3-5]的物料識別跟蹤方法，能夠自動識別物料數(shù)量、實現(xiàn)物料跟蹤和定位。圖像識別與跟蹤流程如圖1所示。

圖1 物料識別、跟蹤、定位流程Fig.1 Material identification, tracking, and positioning process

1 系統(tǒng)組成

該系統(tǒng)硬件由高分辨率攝像機、光源、服務(wù)器和顯示器組成，如圖2所示。通過攝像機采集現(xiàn)場圖像數(shù)據(jù)，通過server將camera1、camera2、camera3、camera4的視頻圖像合成為一張全景圖像，將合并后的圖像采用目標(biāo)識別、跟蹤算法，確定物料的個數(shù)和實時位置信息。

圖2 物料跟蹤系統(tǒng)組成Fig.2 Material tracking system composition

2 基于Yolov3的物料識別

傳統(tǒng)的數(shù)字圖像處理技術(shù)一般基于物料的顏色、紋理、形狀或相互融合的特征來進行識別。隨著時間的推移，機器學(xué)習(xí)技術(shù)發(fā)展，基于圖像分割和分類器的圖像識別技術(shù)應(yīng)用廣泛，包括基于K-means聚類、KNN聚類、支持向量機SVM等算法。同時，深度學(xué)習(xí)的識別方法也發(fā)展迅速，包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)、對抗神經(jīng)網(wǎng)絡(luò)、Yolo、Fast R-CNN等模型?；趐ython的tensorflow和pytorch兩種機器學(xué)習(xí)框架不斷發(fā)展，已經(jīng)能夠深入結(jié)合實際應(yīng)用，滿足工廠應(yīng)用程序開發(fā)。采用Yolov3進行物料識別[6]，能夠滿足物料識別的實時性和準(zhǔn)確性。通過Yolov3識別物料的流程如圖3所示。

圖3 Yolov3物料識別流程Fig.3 Yolov3 material identification process

3 基于DeepSort的物料跟蹤

該算法流程為，系統(tǒng)通過馬氏距離判定數(shù)據(jù)關(guān)聯(lián)是否成功。其中馬氏距離為：

當(dāng)馬氏距離小于指定閾值為9.4877時，則關(guān)聯(lián)成功。

為解決遮擋問題，引入表觀特征余弦距離來判定是否關(guān)聯(lián)。其中表觀特征余弦距離為：

當(dāng)該表觀特征余弦距離小于閾值時，則關(guān)聯(lián)成功。

圖4 Deepsort物料跟蹤流程Fig.4 Deepsort item tracking process

4 物料定位

物料定位的難點在于如何將二維圖像坐標(biāo)和三維世界坐標(biāo)一一對應(yīng)起來。涉及到攝像機成像原理。為確定空間物體表面的三維幾何位置信息與圖像中對應(yīng)點之間的相互關(guān)系，需要建立相機成像幾何模型，得到相機的內(nèi)參、外參和畸變參數(shù)，最終通過坐標(biāo)轉(zhuǎn)換得到實際物體三維坐標(biāo)信息。圖像坐標(biāo)系、相機坐標(biāo)系、世界坐標(biāo)系之間的相互轉(zhuǎn)換如圖5所示。

相機坐標(biāo)系是以光心為相機坐標(biāo)系的原點，以平行于圖像的x和y方向為Xc軸和Yc軸，Zc軸和光軸平行，Xc軸、Yc軸、Zc軸互相垂直，單位是長度單位。圖像物理坐標(biāo)系以主光軸和圖像平面交點為坐標(biāo)原點，x和y方向如圖5所示，單位是長度單位。圖像像素坐標(biāo)系，以圖像的頂點為坐標(biāo)原點，u和v方向平行于x和y方向，單位是以像素計。

圖5 坐標(biāo)轉(zhuǎn)換Fig.5 Coordinate transformation

從世界坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換過程為，世界坐標(biāo)系通過外參矩陣轉(zhuǎn)換到相機坐標(biāo)系，相機坐標(biāo)系通過內(nèi)參矩陣轉(zhuǎn)換到圖像像素坐標(biāo)系，轉(zhuǎn)換過程和公式如下：

5 試驗結(jié)果及分析

采用pycharm為IDE，pytorch深度學(xué)習(xí)框架，識別對象為鋁卷，試驗結(jié)果如圖6所示。通過試驗驗證，使用Yolov3能夠快速且準(zhǔn)確的識別鋁卷，采用deepsort算法能夠在無遮擋或半遮擋狀態(tài)下持續(xù)跟蹤鋁卷，建立物料平面庫，通過幾何標(biāo)定，最終能夠確定物料所處平面區(qū)域。

圖6 試驗現(xiàn)場圖片F(xiàn)ig.6 Test site pictures

6 結(jié)束語

機器視覺技術(shù)已經(jīng)在很多行業(yè)中得到應(yīng)用，識別車牌、人員、汽車等任務(wù)表現(xiàn)良好，為各行業(yè)帶來了價值。而有色金屬加工行業(yè)想要實現(xiàn)智能化倉儲、物流，需要結(jié)合現(xiàn)有的高新技術(shù)，通過深度學(xué)習(xí)和機器視覺實現(xiàn)物流跟蹤，能夠大幅度降低成本，并給物流智能化提供更多的技術(shù)支持。隨著工業(yè)互聯(lián)網(wǎng)的建立，廠區(qū)各個生產(chǎn)環(huán)境互聯(lián)互通，信息化與自動化高度結(jié)合，物料從來料、轉(zhuǎn)運到倉儲形成一整套的智能化管理流程，提升生產(chǎn)效率。