趙競遠(yuǎn) 竇 杰 劉云鵬 黃雅蓉 陳 潔 溫家偉 吳 舟 朱彥彬
(嘉興學(xué)院信息科學(xué)與工程學(xué)院 浙江嘉興 314001)
隨著“工業(yè)4.0”和《中國制造2025》的相繼提出,傳統(tǒng)制造業(yè)已經(jīng)不能滿足新時代制造需求,新一輪的科技革命即將到來。人工智能、先進(jìn)控制等關(guān)鍵技術(shù)不斷發(fā)展,智能制造必將是未來制造業(yè)發(fā)展的風(fēng)向標(biāo)[1]。隨著工業(yè)機(jī)器人、數(shù)控機(jī)床、人工智能等先進(jìn)技術(shù)的不斷發(fā)展,智能制造已進(jìn)入高速發(fā)展階段。智能制造是基于新一代信息通信技術(shù)與先進(jìn)制造技術(shù)深度融合,貫穿于設(shè)計、生產(chǎn)、管理、服務(wù)等制造活動的各個環(huán)節(jié)[2],具有自感知、自學(xué)習(xí)、自決策、自執(zhí)行、自適應(yīng)等功能的新型生產(chǎn)方式[3-4]。
在此背景下,近五年來在制造業(yè)已經(jīng)有很大規(guī)模的機(jī)器換人,但很多工作依然不能由機(jī)械臂獨(dú)立完成[5]。例如對生產(chǎn)線鑄件進(jìn)行細(xì)致打磨,因?yàn)橛捎谀P托桶宓钠秸?、是否在分型面有落砂或其它雜物、是否壓箱不好而漲箱或修型局部壓得太多等因素,每個鑄件的毛邊都各不相同,所以我提出結(jié)合數(shù)字孿生技術(shù),實(shí)現(xiàn)對鑄件的精準(zhǔn)測量識別后,利用孿生數(shù)據(jù)處理后引導(dǎo)打磨機(jī)器人實(shí)現(xiàn)鑄件打磨,構(gòu)成一個以鑄件打磨為核心的小型數(shù)字孿生系統(tǒng)。解放勞動力,提高工作效率,解決現(xiàn)在智能制造中迫切需要解決的問題[6-8]。
數(shù)字孿生(DT——Digital Twin)作為核心技術(shù)之一其實(shí)是負(fù)責(zé)建立一個整體的框架,通過數(shù)據(jù)在其中不斷的流通、處理、轉(zhuǎn)換來完成物理世界實(shí)體數(shù)據(jù)的虛擬空間映射。
本文計劃在融合數(shù)字孿生的五維模型即DT=PE+VE+CN+DD+Ss[9]的基礎(chǔ)上,構(gòu)建由物理實(shí)體層、孿生模型層、功能層構(gòu)成的三層結(jié)構(gòu)[10]。
首先是物理實(shí)體層,顧名思義,指生產(chǎn)線的主體、生產(chǎn)單元和產(chǎn)品等物理實(shí)體,是數(shù)字孿生五維模型中的物理實(shí)體[11](PE——Physical Entity);主要包括機(jī)器人、機(jī)械臂、打磨加工設(shè)備、自動導(dǎo)引運(yùn)輸車(AGV)、傳送帶、產(chǎn)品、零部件等實(shí)體。
孿生模型層是實(shí)體特征真實(shí)寫照,包括實(shí)體形狀、位置、動作及相互關(guān)系,是數(shù)字孿生五維模型中的虛擬實(shí)體(VE——Virtual Entity);利用連接(CN——Connection)模型將生產(chǎn)線上傳感器、打磨設(shè)備等物理設(shè)備和虛擬設(shè)備以及服務(wù)結(jié)合起來保持交互、一致與同步;所產(chǎn)生的孿生數(shù)據(jù)(DD——Digital Data)是物理設(shè)備、虛擬設(shè)備、服務(wù)運(yùn)行的“驅(qū)動”。主要是完成鑄件實(shí)體在計算機(jī)空間內(nèi)的虛擬映射,即鑄件的數(shù)據(jù)孿生過程。
功能層是將數(shù)據(jù)再次面向生產(chǎn)線,將孿生的數(shù)字模型回歸和造福生產(chǎn)線,是數(shù)字孿生五維模型中的服務(wù)(Ss——Services)。即利用上層產(chǎn)出的鑄件孿生數(shù)據(jù)進(jìn)行實(shí)際應(yīng)用,包括可視化以及機(jī)械臂的路徑規(guī)劃。
通過連接和孿生數(shù)據(jù)模型貫穿物理實(shí)體層、孿生模型層、功能層構(gòu)成的三層結(jié)構(gòu),構(gòu)成完整的數(shù)字孿生鑄件打磨系統(tǒng)以實(shí)現(xiàn)對現(xiàn)實(shí)世界更加精確的虛擬映射[3],從而完成對生產(chǎn)線鑄件的仿真、分析處理及打磨操作。
以簡單的球體鑄件為例,在給定實(shí)驗(yàn)場景內(nèi),模擬工業(yè)相機(jī)在封閉實(shí)驗(yàn)艙內(nèi)測量球型鑄件的過程,給予適當(dāng)角度的光源,送入球狀物體到待測距離,并安裝已完成內(nèi)參標(biāo)定和像素標(biāo)定[12]的工業(yè)單目攝像機(jī)后,開始測量。
工業(yè)攝像機(jī)固定角度拍攝一張RGB圖像,對圖像進(jìn)行白平衡、畸變矯正、二值化后提取鑄件顏色區(qū)域的部分,其中二值化是提取該區(qū)域的最關(guān)鍵一步,需要提取圖像的b通道和r通道的值,定義一個列表,用于存放所獲得的上下閾值,保留灰度值在上下閾值中間的像素,此時得到的二值化圖片,如圖1。
圖1 球體鑄件輪廓圖
使用OpenCV提供的“cv2.contourArea()”方法將計算二值化圖像中每個單獨(dú)的白色圖形的輪廓的面積,并給每個圖形一個輪廓索引號,再判斷面積在指定范圍內(nèi),就把該索引號的圖形輪廓畫出來,其他的不符合的都將“丟棄”。于是在現(xiàn)有所得條件下,使用“cv2.findContours()”方法檢測并繪制輪廓,這個輪廓一定是面積最大的圓形的邊長。此時使用獲取最小外接圓的“cv2.minEnclosingCircle()”方法,輸入2D點(diǎn)矢量,輸出的返回值是一個二元組,包括center——圓心(x,y)和radius——半徑r。由此得到了所拍攝的球體鑄件的二維圖形圓形的半徑,但該半徑的單位是像素,根據(jù)像素標(biāo)定所得的像素分辨率,二者相乘可以獲得所求圓形的實(shí)際半徑,單位是毫米,也就求得了待測球體鑄件的實(shí)際半徑,如圖2。
圖2 球體半徑測量值
球體鑄件只是最簡單的一種立體圖形構(gòu)成的鑄件,且所設(shè)計的待測尺寸信息只包含半徑這一個量,實(shí)際生產(chǎn)線上鑄件必定結(jié)構(gòu)更加復(fù)雜、環(huán)境影響因素更多、涉及的待測尺寸更多,所以可以將測量的相機(jī)換為雙目攝像機(jī),增加測量深度信息[13],或者在允許的情況下采用工業(yè)CT、雷達(dá)、多目攝像機(jī)等先進(jìn)技術(shù),提高精度的同時可以獲得鑄件更多的信息包括材料、顏色等。
利用鑄件的孿生數(shù)據(jù)可以構(gòu)成數(shù)字孿生模型的應(yīng)用層,已獲取到的尺寸數(shù)據(jù)首先進(jìn)行三維可視化,再進(jìn)行三維建模,如圖3。
圖3 球體鑄件三維可視化圖
然后利用鑄件的設(shè)計工藝數(shù)據(jù)進(jìn)行三維建模,此時利用算法將現(xiàn)實(shí)情況下鑄件的模型與工藝圖紙所構(gòu)建的模型進(jìn)行精細(xì)的比對,計算出鑄件的飛邊,最終結(jié)果模型轉(zhuǎn)化為機(jī)器語言,進(jìn)行路徑規(guī)劃引導(dǎo)機(jī)械臂帶動打磨機(jī)器人對鑄件進(jìn)行打磨,由此構(gòu)成完整的數(shù)字孿生鑄件打磨系統(tǒng)。
數(shù)字孿生技術(shù)在智能制造行業(yè)大展拳腳的時代指日可待。本論文只提出了一種利用數(shù)字孿生構(gòu)建的單個鑄件打磨的小型系統(tǒng),希望未來可以利用新技術(shù)不斷完善與提高,使系統(tǒng)功能更為強(qiáng)大、實(shí)用性更高,能夠真正利用在實(shí)際自動化生產(chǎn)線上,并且依照提出的方法可以向批量化的方向發(fā)展,可以結(jié)合其他多學(xué)科技術(shù)構(gòu)建大型的智能數(shù)字孿生車間,為更加智能的工業(yè)生產(chǎn)線系統(tǒng)增磚添瓦。