基于語義分割的軸承缺陷檢測系統(tǒng)研究

尹振漢 任亞飛 張寶池 張帥兵 石義彬

摘? 要：為解決當(dāng)前軸承質(zhì)檢人工成本高，效率低的問題，在對現(xiàn)有軸承缺陷檢測算法方案進(jìn)行研究后，提出了一種基于語義分割的實(shí)時在線軸承缺陷識別系統(tǒng)。在六面體黑室中配合高精度電動轉(zhuǎn)臺采集高質(zhì)量軸承照片，利用小波SURE自適應(yīng)閾值去噪法對圖像進(jìn)行預(yù)處理。選用語義分割的方法進(jìn)行缺陷檢測，在傳統(tǒng)FCN算法的基礎(chǔ)上，提出采用PSPNet分割算法，該算法可以融合更多的全局信息以解決誤分割、漏分割的問題。并對模型進(jìn)行不斷評估，優(yōu)化進(jìn)程。經(jīng)實(shí)驗(yàn)測得識別準(zhǔn)確率高達(dá)97.75%，符合工業(yè)質(zhì)檢需求。

關(guān)鍵詞：缺陷檢測;語義分割;六面體黑室;小波閾值去噪;PSPNet

中圖分類號：TP273+.4? ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2022）03-0145-04

Research on Bearing Defect Detection System Based on Semantic Segmentation

YIN Zhenhan， REN Yafei， ZHANG Baochi， ZHANG Shuaibing， SHI Yibin

（Luoyang Institute of Science and Technology， Luoyang? 471023， China）

Abstract： In order to solve the problems of high labor cost and low efficiency of bearing quality inspection， after studying the existing bearing defect detection algorithm scheme， a real-time online bearing defect recognition system based on semantic segmentation is proposed. In the hexahedral black chamber， high quality bearing photos are collected with high-precision electric turntable， and the images are preprocessed by wavelet SURE adaptive threshold denoising method. The semantic segmentation method is selected for defect detection. Based on the traditional FCN algorithm， the PSPNet segmentation algorithm is proposed， which can fuse more global information to solve the problem of false segmentation and missing segmentation. The model is continuously evaluated to optimize the process. The experimental results show that the recognition accuracy is as high as 97.75%， which meets the needs of industrial quality inspection.

Keywords： defect detection; semantic segmentation; hexahedral black chamber; wavelet threshold denoising; PSPNet

0? 引? 言

軸承作為工業(yè)裝置中常用的零部件，在機(jī)件與機(jī)件的相對運(yùn)動中起到了舉足輕重的作用。軸承套圈的制作工序復(fù)雜，包含鍛造、退火、車削、淬火、回火、磨削等工序。近年來，隨著高端制造的快速發(fā)展，對軸承產(chǎn)品質(zhì)量的要求也大為提高。要求軸承套圈表面不能有凹坑、燒傷、裂紋、倒角等缺陷。因?yàn)槿毕莸拇嬖诓粌H影響到軸承外觀，更重要的是，在一些高精度器械中，若缺陷嚴(yán)重，則可能導(dǎo)致精度不達(dá)標(biāo)，影響與其他零件間的配合，使其性能大大下降，埋下安全隱患。經(jīng)過實(shí)地調(diào)研發(fā)現(xiàn)，目前國內(nèi)對于軸承的無損檢測大多使用人工觀察、磁粉檢測、渦流探傷的方式?，F(xiàn)場調(diào)研表明，人工檢測不但用工量大、效率低，而且由于長時間的工作容易出現(xiàn)漏檢的情況。磁粉檢測法雖然準(zhǔn)確率較高，但是檢測前需要對待檢測件進(jìn)行磁化，檢測結(jié)束后還要進(jìn)行去磁處理，檢測效率相對較低，只適用于產(chǎn)品的抽樣檢測。而常用的渦流探傷檢測技術(shù)，雖然是非接觸式的，但是其檢測速度較慢。且不適用于端面倒角大小邊、過車缺陷的檢測。因此，利用機(jī)器視覺技術(shù)研制出一套能實(shí)現(xiàn)在線、實(shí)時、準(zhǔn)確的檢測軸承套圈外觀缺陷的非接觸式自動化檢測系統(tǒng)是企業(yè)迫切需要的。

在對現(xiàn)有軸承缺陷檢測算法方案的研究中發(fā)現(xiàn)，識別方法主要有以下兩種，一種是基于圖像處理，另一種是基于機(jī)器學(xué)習(xí)。由于金屬表面反光的問題，利用普通基于圖像處理的算法檢測的準(zhǔn)確率受環(huán)境的影響較大，且對于語義復(fù)雜易混淆的圖像識別效果有待提高。在基于機(jī)器學(xué)習(xí)的算法中，大多神經(jīng)網(wǎng)絡(luò)模型只關(guān)注局部的語義信息，而忽視全局信息導(dǎo)致識別準(zhǔn)確率不高，無法滿足企業(yè)實(shí)際的質(zhì)檢所要求的精度與魯棒性。鑒于以上問題，在硬件方面，本文選擇自主設(shè)計(jì)檢測系統(tǒng)的機(jī)械結(jié)構(gòu)，通過搭建六面體黑室來解決金屬表面反光問題，利用高精度電動旋轉(zhuǎn)臺配合高清工業(yè)相機(jī)來拍攝軸承全方位照片，獲得高質(zhì)量數(shù)據(jù)集。軟件方面，利用小波SURE自適應(yīng)閾值去噪法對圖像進(jìn)行預(yù)處理。選用語義分割的方法來進(jìn)行缺陷檢測，在傳統(tǒng)FCN算法的基礎(chǔ)上采用PSPNet分割算法，可以融合更多的全局信息以解決誤分割、漏分割的問題。通過對模型進(jìn)行不斷評估，優(yōu)化進(jìn)程，最終得到滿足理想預(yù)期的識別效果。并在軸承廠中進(jìn)行大量測試，得到系統(tǒng)檢測軸承缺陷的準(zhǔn)確率高達(dá)97.75%。在目前現(xiàn)有的識別算法的基礎(chǔ)上有了很大的提高。

1? 圖像獲取與預(yù)處理

1.1? 機(jī)械結(jié)構(gòu)設(shè)計(jì)

基于語義分割的軸承在線實(shí)時缺陷檢測系統(tǒng)的機(jī)器結(jié)構(gòu)，包括照明裝置、工業(yè)相機(jī)、鏡頭、電動轉(zhuǎn)盤、框架等，具體配置型號如表1所示。所述照明裝置由相連的面板方燈、柔光布、黑色幕布組成，3個方燈并聯(lián)位于正六面體的1、2、3面，燈面敷有柔光布解決因光源太強(qiáng)而出現(xiàn)的曝光和光線不均勻的問題，軸承放置于正六面體黑室最下方第6面的電動轉(zhuǎn)盤上，通過第5面放置的工業(yè)相機(jī)對軸承進(jìn)行拍照，其后第4面采用黑色遮光布做底面使圖像更清晰。整個黑室以黑色遮光布為拍攝底面，周圍附著方燈使光線充滿整個黑室從而解決金屬曲面反光問題。正六面體黑室外套遮光布避免外來陽光的干擾影響整體拍攝效果。結(jié)構(gòu)示意圖如圖1所示。

1.2? 圖像采集

為了獲得高質(zhì)量圖片，本文選用2 000萬像素、最大幀率5.9 fps的?？礛V-CE200-10GM工業(yè)相機(jī)，并與電動旋轉(zhuǎn)轉(zhuǎn)臺配合獲得軸承全方位的圖像。Y200RA60電動轉(zhuǎn)臺采用緊密軸系，蝸輪，蝸桿傳動模式，旋臺基座采用高精度軸系來保障中心通孔與轉(zhuǎn)臺旋轉(zhuǎn)中心的同軸度，轉(zhuǎn)動穩(wěn)定性高。在工業(yè)視覺圖像處理軟件Halcon19中讀取的軸承圖像，如圖2所示。

1.3? 小波去噪

在圖像的采集、傳輸、接收和處理過程中，不可避免的會產(chǎn)生外部干擾和內(nèi)部干擾。首先對帶有噪聲的信號進(jìn)行小波變換，小波變換將傅立葉變換的基換成了有限長的會衰減的小波基?？朔硕虝r傅立葉變換、窗口大小不隨頻率變化等缺點(diǎn)。選擇合適的基本小波，使a（τ）在時域的支撐有限，而a（w）相對集中在頻域，小波變換有能力表征時域頻域的信號的局部特性，這有利于檢測圖像中奇異突出的信號，因此可以更有效地去除噪點(diǎn)。小波去噪公式為：

（1）

小波去噪的原理即將原二維圖像數(shù)值信號，用分別在水平和垂直方向進(jìn)行濾波的方法實(shí)現(xiàn)二維小波多尺度分解。經(jīng)過伸縮和平移等功能提取各尺度的小波系數(shù)，將噪聲所產(chǎn)生的小波系數(shù)清零，最后通過小波逆變換重構(gòu)信號得到去噪后圖像。原理流程圖如圖3所示。

本文采用小波閾值去噪的方法去除噪聲，基本思想是將原始信號進(jìn)行小波變換，得到的信號的小波系數(shù)遠(yuǎn)大于噪聲的小波系數(shù)，通過選取合適的閾值，將高于此閾值的信號產(chǎn)生的小波系數(shù)保留，并消除低于此閾值的噪聲產(chǎn)生的小波系數(shù)，再經(jīng)過小波逆變換重構(gòu)信號即可達(dá)到去噪的功能。其中閾值的選擇直接影響去噪的效果。本文分別采用了VisuShink閾值、Minimax閾值、SURE閾值進(jìn)行去噪實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示。最后本文選擇了SURE無偏估計(jì)的自適應(yīng)閾值，該方法能在最小均方差上快速收斂。相比于其他幾種閾值，其均方差最小，信噪比最大，去噪效果最顯著。

2? 分割網(wǎng)絡(luò)設(shè)計(jì)

2.1? 構(gòu)建數(shù)據(jù)集

為了解決特定問題，更好的讓Arduino指令與企業(yè)生產(chǎn)實(shí)際需求相結(jié)合，本文選擇附近軸承廠的30個優(yōu)質(zhì)軸承和30個具有不同缺陷的軸承作為樣本，在六面體黑室里，電動轉(zhuǎn)臺每轉(zhuǎn)動90°，相機(jī)拍攝照片一次。得到總共240張照片作為基礎(chǔ)數(shù)據(jù)集。為了避免數(shù)據(jù)集過少而造成分類過度擬合，模型魯棒性低的問題。本文選擇將原有基礎(chǔ)數(shù)據(jù)集的照片通過[-30°，30°]范圍內(nèi)任意旋轉(zhuǎn)的方式，進(jìn)行數(shù)據(jù)集的擴(kuò)充，最后將得到了880張圖片。由于數(shù)據(jù)量較小，按照6：2：2的比例劃分訓(xùn)練集、驗(yàn)證集和測試集。

2.2? 語義分割模型

語義分割算法可以對圖像進(jìn)行像素級別上的分類，標(biāo)注出圖像中屬于同一像素類別的對象，在圖像分割和元素檢測上有著很大的應(yīng)用。為了避免FCN算法因?yàn)槿狈Y(jié)合全局信息的能力而導(dǎo)致了增加了在復(fù)雜語境中錯誤分類的可能性。本文采用PSPNet（金字塔場景解析網(wǎng)絡(luò)）作為語義分割模型，模型示意圖如圖5所示，它是在FCN的像素預(yù)測框架的基礎(chǔ)上加入了全局均值池化操作和局部全局特征融合。模型首先經(jīng)過預(yù)訓(xùn)練的模型和空洞卷積策略得到圖像的特征圖，然后將其映射到金字塔池化（SPP）模塊中，為了表示不同區(qū)域關(guān)系，SPP模塊分為四個尺度層級，池化內(nèi)核覆蓋了圖像的全部、一半和小部分，將每個尺度的語境信息融合。最后將融合發(fā)展得到的全局特征與原始數(shù)據(jù)特征圖連接建立起來，作為最終的金字塔池化全局特性。最后，由一個卷積圖層生成最終的預(yù)測圖。該模型最大的優(yōu)點(diǎn)是其具備理解全局語境信息的能力，可以對不同區(qū)域的語境進(jìn)行聚合。局部和全局的特征的結(jié)合可使最終的識別研究結(jié)果進(jìn)行更加安全可靠。此外，在端到端學(xué)習(xí)中，能夠同時訓(xùn)練和優(yōu)化全局金字塔模塊和局部FCN特征，大大降低了計(jì)算成本。對于軸承檢測，場景解析可以將圖片中的各種缺陷分門別類，并進(jìn)行定位，準(zhǔn)確率和實(shí)用價值高。

2.3? 損失函數(shù)設(shè)計(jì)

本文在損失函數(shù)的設(shè)計(jì)上，考慮到由于所拍攝的軸承的照片中，有缺陷的照片占較小數(shù)量。為了解決正負(fù)樣本不平衡的問題，常用的方法是在二值交叉熵?fù)p失函數(shù)前增加權(quán)重系數(shù)。表達(dá)公式為：

（2）

雖然可以通過改變權(quán)重系數(shù)來改變平衡正負(fù)樣本的數(shù)量，但在實(shí)際拍攝的軸承照片中，大多的照片都是較明顯可分的，而這些樣本的損失很低，最終占據(jù)了損失函數(shù)的主導(dǎo)地位。而損失函數(shù)應(yīng)該偏向那些易混淆的樣本，像帶有垂直紋理的劃痕、外圈滾道粗磨痕、細(xì)小的凹坑等缺陷的軸承樣本?；谝陨蠁栴}，本文采用了RetinaNet提出的Focal Loss損失函數(shù)模型，通過添加調(diào)制因子的方式來降低易分模型所占據(jù)損失函數(shù)的主導(dǎo)地位，公式表示為：

（3）

式（2）解決了正負(fù)樣本不平衡的問題，式（3）解決了樣本難易劃分問題。將兩者結(jié)合就得到帶權(quán)重系數(shù)的Focal損失函數(shù)，公式為：

（4）

Focal Loss是動態(tài)縮放的交叉熵?fù)p失函數(shù)，隨著對正確分類的置信增加，縮放因子逐漸趨向與0，效果如圖6所示。

3? 實(shí)驗(yàn)結(jié)果與分析

3.1? C#交互界面設(shè)計(jì)

為了方便操作人員對系統(tǒng)的使用，本文選擇采用Visual Studio（VS）和Halcon進(jìn)行聯(lián)合開發(fā)，將Halcon的程序以C#的形式導(dǎo)出，然后在VS里利用C#編寫人機(jī)交互界面。該界面中的圖形窗口中直接顯示檢測結(jié)果。并在文本框中顯示識別結(jié)果和單個識別耗時，若有缺陷則顯示缺陷的類型。另外可以選擇批量導(dǎo)入圖片，自動識別模式。記錄含有缺陷的軸承和無缺陷軸承的數(shù)量。并將含有缺陷的軸承照片進(jìn)行記錄并保存，完成對軸承的批量檢測工作。清楚明了，易于操作，大大提升了質(zhì)檢效率。在交互界面上呈現(xiàn)的識別結(jié)果如圖7所示。

3.2? 測試結(jié)果及分析

為了進(jìn)一步驗(yàn)證本方案的優(yōu)越性和系統(tǒng)的穩(wěn)定性，在處理器為11th GenIntel（R） Core （TM） i5-1135 G7 @2.40 GHz機(jī)帶RAM為16 GB、64位Windows10操作系統(tǒng)的計(jì)算機(jī)上運(yùn)行Visual Studio2017平臺上系統(tǒng)程序，與附近的軸承廠合作分別在中午和晚上進(jìn)行了大量的測試。

實(shí)驗(yàn)結(jié)果表明，通過自主設(shè)計(jì)的六面體黑室結(jié)構(gòu)能夠有效地解決外界光線的問題，基于PSPNet的語義分割算法識別的準(zhǔn)確率較傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)有了很大的提高。本文設(shè)計(jì)的軸承缺陷檢測系統(tǒng)的平均識別成功率為97.75%。能夠?qū)S承上的劃痕、燒傷、凹坑、磕碰傷等常見缺陷進(jìn)行準(zhǔn)確識別。該方案可以滿足企業(yè)對軸承缺陷進(jìn)行實(shí)時在線檢測的預(yù)期。

4? 結(jié)? 論

針對軸承缺陷檢測問題，在對現(xiàn)有檢測方案進(jìn)行研究和實(shí)驗(yàn)分析后，本文選擇自主搭建六面體黑室來解決金屬表面容易出現(xiàn)的反光問題。利用小波SURE自適應(yīng)閾值去噪法對輸入圖像進(jìn)行預(yù)處理。在語義分割模型的選擇方面，提出了能夠理解全局語境信息的PSPNet網(wǎng)絡(luò)模型作為識別方案，采用帶權(quán)重系數(shù)的Focal損失函數(shù)來解決正負(fù)樣本不平衡和樣本難易劃分的問題。經(jīng)過大量的實(shí)驗(yàn)測試得出該系統(tǒng)與現(xiàn)有識別方案相比，在魯棒性和準(zhǔn)確率方面都有了很大的提升。其檢測時間和準(zhǔn)確率均能夠滿足軸承生產(chǎn)企業(yè)的質(zhì)檢需求。另外設(shè)計(jì)了智能化易于操作的人機(jī)交互界面，應(yīng)用方便，可以極大地提升質(zhì)檢效率，具有很強(qiáng)的現(xiàn)實(shí)意義。

參考文獻(xiàn)：

[1] 鄧耀力.基于機(jī)器視覺的輪轂軸承缺陷檢測方法研究 [J].中國設(shè)備工程，2019（13）：106-108.

[2] 左羽，陶倩，吳戀，等.基于卷積神經(jīng)網(wǎng)絡(luò)的植物圖像分類方法研究 [J].物聯(lián)網(wǎng)技術(shù)，2020，10（3）：72-75.

[3] 王嫣然，陳清亮，吳俊君.面向復(fù)雜環(huán)境的圖像語義分割方法綜述 [J].計(jì)算機(jī)科學(xué)，2019，46（9）：36-46.

[4] 梁格穎，王文琪，汪文，等.基于空洞卷積的語義圖像分割算法研究 [J].信息通信，2019（6）：33-36.

[5] 杜柳青，余永維.磁瓦表面缺陷機(jī)器視覺檢測與識別方法 [J].圖學(xué)學(xué)報(bào)，2014，35（4）：590-594.

[6] 李超，孫俊.基于機(jī)器視覺方法的焊縫缺陷檢測及分類算法 [J].計(jì)算機(jī)工程與應(yīng)用，2018，54（6）：264-270.

[7] KRIZHEVSKY A，SUTSKEVER L，HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：84-90.

作者簡介：尹振漢（2000—），男，漢族，河南信陽人，本科在讀，研究方向：機(jī)器視覺。