基于機(jī)器視覺(jué)的匣缽缺陷檢測(cè)系統(tǒng)

謝禮飛，段紅松，何易鵬，肖 路

(1.湖南爍科熱工智能裝備有限公司，湖南 長(zhǎng)沙 410111；2.中國(guó)電子科技集團(tuán)公司第四十八研究所，湖南 長(zhǎng)沙 410111)

在國(guó)家“碳達(dá)峰”、“碳中和”及“十四五”規(guī)劃等政策激勵(lì)下，新能源汽車(chē)發(fā)展迅猛，鋰電行業(yè)遠(yuǎn)景利好，智能化裝備也逐步更新?lián)Q代，滿(mǎn)足了生產(chǎn)需求。新能源汽車(chē)和動(dòng)力電池的飛速發(fā)展促使鋰電正極材料的需求量激增，人工成本越來(lái)越高，產(chǎn)品質(zhì)量難以保證，需要大量的智能化裝備滿(mǎn)足生產(chǎn)需求。因此，國(guó)內(nèi)的鋰電材料企業(yè)不僅對(duì)設(shè)備的自動(dòng)化、智能化、智慧化等要求越來(lái)越高，而且使用可靠穩(wěn)定的智能裝備替代人工更是大勢(shì)所趨。

1 總體架構(gòu)

1.1 缺陷種類(lèi)

匣缽是鋰電材料生產(chǎn)過(guò)程中的易損品，使用壽命約20~30次的循環(huán)周期，每次循環(huán)的時(shí)間約20 h。每次燒結(jié)過(guò)程由于高溫、氣體腐蝕、碰撞擠壓等影響，匣缽逐漸會(huì)產(chǎn)生裂紋、缺口等缺陷，有可能在燒結(jié)過(guò)程中碎裂，一旦發(fā)生破裂匣缽卡窯的情況，需要停止整條生產(chǎn)線(xiàn)的生產(chǎn)工作，等待窯爐冷卻大約20 h之后才能進(jìn)行維修，不僅浪費(fèi)原材料，還導(dǎo)致生產(chǎn)停滯。另外，原料對(duì)匣缽的腐蝕使得匣缽內(nèi)部分表面產(chǎn)生腐蝕（掉皮）缺陷，脫落的匣缽表皮混入鋰電材料原料中，導(dǎo)致成品材料的能量密度下降約4%。鋰電材料生產(chǎn)過(guò)程中需要及時(shí)在每次循環(huán)中檢測(cè)并剔除有缺陷的匣缽。

匣缽的缺陷主要有3種：缺口、裂紋、腐蝕，如圖1所示。

圖1 匣缽缺陷的種類(lèi)

1.2 缺陷檢測(cè)方法

經(jīng)調(diào)研，行業(yè)內(nèi)有使用固有頻率法、3D深度視覺(jué)法、X射線(xiàn)法以及密封充氣法等方法來(lái)檢測(cè)匣缽的裂縫、腐蝕、缺口等缺陷[1]。（1）固有頻率法是基于匣缽的正常與缺陷狀態(tài)下的固有頻率存在差異所提出的，通過(guò)測(cè)量使用中匣缽的固有頻率對(duì)比標(biāo)準(zhǔn)固有頻率可以檢測(cè)到有缺陷的匣缽，對(duì)于裂紋裂縫的檢測(cè)效果顯著，但是需要通過(guò)錘擊的方式獲取固有頻率，這本身就對(duì)匣缽有一定的損傷[2]。（2）3D深度視覺(jué)法是通過(guò)深度相機(jī)拍攝匣缽表面并重構(gòu)匣缽表面的三維模型，通過(guò)與標(biāo)準(zhǔn)匣缽模型的對(duì)比就能夠檢測(cè)出有缺陷的匣缽，優(yōu)點(diǎn)是識(shí)別準(zhǔn)確，缺點(diǎn)是需要高精度的深度相機(jī)，測(cè)量時(shí)間慢[3-5]。（3）X射線(xiàn)法是對(duì)匣缽的X光圖像進(jìn)行分析，對(duì)于裂紋裂縫等內(nèi)部缺陷效果顯著，但是對(duì)于表面的腐蝕等缺陷無(wú)法檢測(cè)，同時(shí)在車(chē)間中使用還存在射線(xiàn)照射對(duì)人體的傷害。（4）密封充氣法是使用特殊的密封機(jī)構(gòu)套住匣缽的開(kāi)口，形成封閉的腔體，再向該腔體內(nèi)充氣加壓。如果出現(xiàn)裂縫，氣壓則會(huì)快速下降，這種方法對(duì)于穿透匣缽的裂縫檢測(cè)效果明顯，但是對(duì)結(jié)構(gòu)的密封性要求較高，對(duì)于未穿透的裂紋和腐蝕等缺陷無(wú)法檢出。各方法特點(diǎn)總結(jié)如表1所示。

表1 各檢測(cè)方法特點(diǎn)

經(jīng)過(guò)以上多種方案的對(duì)比論證，最終決定采用單目視覺(jué)系統(tǒng)結(jié)合光度立體算法以及機(jī)器學(xué)習(xí)算法開(kāi)發(fā)了一套基于機(jī)器視覺(jué)的匣缽缺陷檢測(cè)設(shè)備?；跈C(jī)器視覺(jué)的匣缽缺陷檢測(cè)裝備的目標(biāo)是穩(wěn)定、快速、準(zhǔn)確地檢測(cè)有缺陷的匣缽并及時(shí)剔除，并計(jì)劃逐步替代人工檢測(cè)，提高鋰電材料生產(chǎn)過(guò)程的自動(dòng)化、智能化程度。

1.3 系統(tǒng)結(jié)構(gòu)

考慮到單目相機(jī)低成本的特點(diǎn)，采用單目相機(jī)作為測(cè)量傳感器，配合多臺(tái)光源設(shè)備使用。系統(tǒng)設(shè)置了匣缽內(nèi)底面和四周外表面2個(gè)工位的缺陷檢測(cè)，能夠壓縮系統(tǒng)檢測(cè)節(jié)拍周期，使得檢測(cè)時(shí)間滿(mǎn)足節(jié)拍要求。在檢測(cè)的工位之后還設(shè)置了相應(yīng)的缺陷匣缽剔除補(bǔ)充裝置，用于維持生產(chǎn)線(xiàn)匣缽數(shù)量的統(tǒng)一。

系統(tǒng)結(jié)構(gòu)如圖2所示。系統(tǒng)主要包含部分：（1）匣缽輸送定位系統(tǒng)：包括輸送匣缽的傳輸、夾持、阻擋、頂升、旋轉(zhuǎn)、升降等裝置，從機(jī)械結(jié)構(gòu)上實(shí)現(xiàn)兩個(gè)工位上匣缽的輸送、定位、旋轉(zhuǎn)、剔除補(bǔ)充、過(guò)渡、儲(chǔ)存等功能；（2）電氣控制系統(tǒng)：包括對(duì)上述匣缽輸送定位系統(tǒng)的控制等，實(shí)現(xiàn)匣缽的輸送控制以及?？吭谡_的位置以方便視覺(jué)系統(tǒng)的檢測(cè)，同時(shí)能夠在輸送/旋轉(zhuǎn)?？康轿恢蟀l(fā)送到位指令給視覺(jué)檢測(cè)系統(tǒng)，并根據(jù)視覺(jué)檢測(cè)系統(tǒng)的信號(hào)對(duì)異常的匣缽進(jìn)行分揀；（3）視覺(jué)檢測(cè)系統(tǒng)：包括中央處理單元、圖像處理單元、單目工業(yè)相機(jī)系統(tǒng)、光源系統(tǒng)等，在接受到控制系統(tǒng)的到位信號(hào)之后，對(duì)匣缽進(jìn)行實(shí)時(shí)在線(xiàn)的檢測(cè)表面裂紋的位置和寬度、腐蝕面積的百分比以及缺口形態(tài)和大小的檢測(cè)。檢測(cè)到有缺陷不符合使用要求的匣缽之后發(fā)送信號(hào)到電氣控制系統(tǒng)，操作匣缽輸送系統(tǒng)中的執(zhí)行機(jī)構(gòu)進(jìn)行對(duì)應(yīng)的操作。整個(gè)過(guò)程完全由裝備自主感知、決策并執(zhí)行，并且在匣缽表面存在各種各樣不同干擾的情況下還能夠良好的運(yùn)行，具有良好的自適應(yīng)能力。

圖2 系統(tǒng)結(jié)構(gòu)示意圖

2 系統(tǒng)原理

該檢測(cè)系統(tǒng)結(jié)合了光度立體算法以及機(jī)器學(xué)習(xí)算法，使用光度立體算法檢測(cè)匣缽的腐蝕和裂紋，使用機(jī)器學(xué)習(xí)算法檢測(cè)匣缽的缺口。

由視覺(jué)系統(tǒng)采集的多角度光照二維圖像恢復(fù)出匣缽表面的輪廓紋理信息，相比于傳統(tǒng)的3D視覺(jué)設(shè)備該技術(shù)路線(xiàn)具有低成本、測(cè)量速度較快的優(yōu)勢(shì)。該算法原理如下。

由成像原理，每張圖像中像素的亮度值為：

而像素值與光照向量、反射率及匣缽表面法向量均有關(guān)，則根據(jù)4張不同角度下拍攝的圖片對(duì)某個(gè)像素坐標(biāo)為(x，y)處有：

由式(2)計(jì)算得到匣缽表面單位法向量為：

此方向向量為某一像素點(diǎn)的方向，擴(kuò)展至整幅圖像后得到該圖像的“法向量圖”，即圖像中各像素的方向向量。然而僅需針對(duì)前景匣缽區(qū)域的圖像進(jìn)行處理，因此有必要實(shí)施前景濾波提取出匣缽。

本系統(tǒng)采用幀間差法提取匣缽圖像。其具體方法為：匣缽輸送至檢測(cè)工位前拍攝一張圖像，得到無(wú)匣缽存在時(shí)的背景，待匣缽進(jìn)入工位并停下來(lái)后再拍攝一張圖片，兩張圖片對(duì)應(yīng)的場(chǎng)景的差別在于有無(wú)匣缽，因此對(duì)這兩張圖片求差得到的圖像中僅在前景像素處其亮度不為0，而在其余位置（背景）處亮度為0或者略大于0。使用二值化方法將該圖像分為2部分，其原理為，設(shè)置一個(gè)閾值，亮度低于該閾值的像素標(biāo)記為0，而亮度高于該閾值的像素標(biāo)記為255，由于幀間差算法處理過(guò)后圖像的背景亮度差較小，故此閾值設(shè)為10，可以提取出前景圖像，即匣缽圖像。

將前景圖像區(qū)域作為掩膜，對(duì)得到的法向量圖運(yùn)行高斯濾波及邊緣檢測(cè)算法。由于圖片拍攝時(shí)存在噪聲，該噪聲信號(hào)由相機(jī)的光耦合器件帶來(lái)，反應(yīng)在圖像上則為隨機(jī)分布的細(xì)小光點(diǎn)。在頻譜中該類(lèi)噪聲為高頻信號(hào)，將會(huì)對(duì)圖像的邊緣檢測(cè)等后續(xù)處理造成干擾，因此需要采用濾波器將該噪聲濾去。使用高斯濾波器對(duì)這些噪聲信號(hào)進(jìn)行過(guò)濾，其二維分布函數(shù)為：

在離散化數(shù)字圖像處理中其原理為使用一個(gè)3×3的掩膜矩陣對(duì)圖像進(jìn)行卷積，該掩膜即高斯分布的離散化形式：

經(jīng)過(guò)圖像的濾波去噪以及光度立體算法測(cè)算表面朝向后，可以得到匣缽的表面法向量分布的朝向圖。在該圖像中各像素點(diǎn)的值不再是亮度值，而是物體表面各點(diǎn)法向量中平行于相機(jī)光軸（z向）的分量的值。在該圖像中，匣缽的裂紋位置處由于表面的朝向發(fā)生突變，導(dǎo)致在朝向圖中表面紋理位置處法向量的z向分量存在不連續(xù)，因此使用了Laplace梯度檢測(cè)算子對(duì)該圖像進(jìn)行處理，在裂紋位置處的像素對(duì)該算子產(chǎn)生極大值響應(yīng)，而匣缽表面的其他位置則對(duì)該算子產(chǎn)生響應(yīng)較小。統(tǒng)計(jì)一塊區(qū)域內(nèi)所有響應(yīng)較大的像素點(diǎn)，即可得到該裂紋的像素尺寸，將像素尺寸大于一定閾值的區(qū)域判定為裂紋，且輸出該裂紋的像素尺寸[6]。

裂紋與腐蝕脫皮缺陷的缺陷本質(zhì)相同，均為表面不平整出現(xiàn)法向量的突變。對(duì)于腐蝕而言，其表面向量不連貫表現(xiàn)為區(qū)域狀凹坑，而裂紋的表面向量的不連貫表現(xiàn)為線(xiàn)狀，因此使用斑點(diǎn)特征檢測(cè)算法對(duì)底面的朝向圖進(jìn)行處理，得到的結(jié)果中響應(yīng)最大處即腐蝕脫皮形成的凹坑所在位置。統(tǒng)計(jì)圖像中所有斑點(diǎn)特征檢測(cè)結(jié)果的像素?cái)?shù)量，即可計(jì)算出腐蝕面積占比。

針對(duì)匣缽的缺口缺陷，由于其與匣缽的火槽具有相似性，因此使用機(jī)器學(xué)習(xí)的方法對(duì)該類(lèi)缺陷進(jìn)行判別。前期搜集了大量正常形態(tài)和存在缺口的匣缽圖像作為訓(xùn)練的數(shù)據(jù)集，并采用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到模型結(jié)果后使用該神經(jīng)網(wǎng)絡(luò)進(jìn)行缺口判別，以區(qū)別于正常形態(tài)匣缽的火槽。

識(shí)別出裂紋、腐蝕脫皮以及缺口這三類(lèi)缺陷的其中一種或者多種之后（根據(jù)需要設(shè)定報(bào)警情況），系統(tǒng)將自動(dòng)記錄缺陷類(lèi)型，并將存在缺陷匣缽的控制信號(hào)發(fā)送給電氣控制系統(tǒng)，隨后控制機(jī)械執(zhí)行機(jī)構(gòu)剔除缺陷的匣缽。

3 系統(tǒng)測(cè)試與分析

系統(tǒng)軟件采用Visual Studio 2018進(jìn)行開(kāi)發(fā)和測(cè)試，分別測(cè)試了帶火槽匣缽和不帶火槽匣缽缺陷檢測(cè)情況，如圖3所示。

圖3 匣缽缺陷檢測(cè)系統(tǒng)界面

利用該系統(tǒng)針對(duì)常見(jiàn)的3種匣缽缺陷，對(duì)100個(gè)樣例匣缽進(jìn)行測(cè)試，其中有20個(gè)缺口匣缽，20個(gè)裂紋匣缽，20個(gè)腐蝕匣缽和40個(gè)正常匣缽。其測(cè)試結(jié)構(gòu)如表2所示。

表2 匣缽缺陷測(cè)試結(jié)果

從表2測(cè)試結(jié)果對(duì)比可以看出，該系統(tǒng)缺口檢測(cè)正確率為100%，匣缽出現(xiàn)缺口檢測(cè)效果較好；腐蝕檢測(cè)正確率為90%，匣缽出現(xiàn)腐蝕檢測(cè)效果還有待加強(qiáng)。匣缽缺陷檢測(cè)綜合正確率大于95%，系統(tǒng)的檢測(cè)正確率和人工識(shí)別相比正確率相差無(wú)幾，但檢測(cè)效率遠(yuǎn)遠(yuǎn)優(yōu)于人工。

4 結(jié)束語(yǔ)

匣缽缺陷檢測(cè)系統(tǒng)采用機(jī)器學(xué)習(xí)算法和光度立體算法判別匣缽缺陷，通過(guò)大量包含缺陷的匣缽圖像樣本以及包含干擾的正常匣缽圖像樣本進(jìn)行訓(xùn)練，訓(xùn)練得到的視覺(jué)檢測(cè)模型，能夠?qū)⑵渌蓴_與缺陷區(qū)別開(kāi)來(lái)，避免誤檢；結(jié)合光度立體算法，能夠由二維圖像計(jì)算三維深度信息，計(jì)算裂紋位置和匣缽的腐蝕率，能夠排除匣缽表面污濁物帶來(lái)的干擾。

因該系統(tǒng)在較好工況下進(jìn)行實(shí)驗(yàn)，在工業(yè)現(xiàn)場(chǎng)高溫粉塵環(huán)境還需進(jìn)一步測(cè)試，同時(shí)對(duì)匣缽腐蝕檢測(cè)進(jìn)行深入研究，提高檢測(cè)正確率。