基于3D圖像分割的深度學(xué)習(xí)摩輪類(lèi)型識(shí)別方法

滕麗娟

（浙江同濟(jì)科技職業(yè)學(xué)院 浙江省杭州市 311200）

1 引言

我國(guó)是摩托車(chē)輪轂產(chǎn)銷(xiāo)大國(guó)，隨著人民生活水平日益提高，人們對(duì)輪轂產(chǎn)品的品質(zhì)要求越來(lái)越高，產(chǎn)品更新?lián)Q代的周期越來(lái)越短，產(chǎn)品的復(fù)雜程度也隨之增高。在摩托車(chē)輪轂生產(chǎn)行業(yè)，面向柔性自動(dòng)化生產(chǎn)線(xiàn)的摩輪識(shí)別系統(tǒng)利用計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)等技術(shù)方法，在生產(chǎn)中對(duì)摩輪進(jìn)行類(lèi)型識(shí)別、分揀、計(jì)數(shù)等工作。從鑄造爐出來(lái)的不同類(lèi)型摩輪流入生產(chǎn)線(xiàn)，需要對(duì)摩輪進(jìn)行類(lèi)型識(shí)別，選擇不同加工路線(xiàn)、加工工藝和機(jī)加工車(chē)床，進(jìn)行精加工處理。

目前的輪轂識(shí)別主要采用特征值識(shí)別和深度學(xué)習(xí)識(shí)別算法。文獻(xiàn)[1]提出特征值比較方法，通過(guò)提取輪轂的內(nèi)徑、外徑、輻條數(shù)目、輻窗的周長(zhǎng)等特征參數(shù)，使用邊緣檢測(cè)和圓擬合等方法建立輪轂?zāi)０鍘?kù)，通過(guò)在線(xiàn)拍攝的輪轂圖片和模板比較，得到輪轂的類(lèi)型。但是在實(shí)際檢測(cè)過(guò)程中，輪轂的樣式設(shè)計(jì)越來(lái)越復(fù)雜，特別是對(duì)于非對(duì)稱(chēng)和非規(guī)則的輻條，很難用固定的形狀模型來(lái)描繪輪轂，對(duì)于復(fù)雜輪轂識(shí)別率較低。另外，輪轂在生產(chǎn)線(xiàn)上拍攝的照片，會(huì)把輪轂下面的輥道也拍出，輥道由于是不銹鋼材質(zhì)，對(duì)光照特別敏感，如果對(duì)輪轂圖像直接進(jìn)行圖像分析會(huì)存在很大困難，比如在使用Canny 算子的時(shí)候，會(huì)把輥道歸于輻條。文獻(xiàn)[2]提出使用深度學(xué)習(xí)識(shí)別輪轂缺陷，依據(jù)輪轂X 射線(xiàn)圖形，利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練輪轂缺陷分類(lèi)模型，達(dá)到了較高的缺陷識(shí)別率。文獻(xiàn)[3]提出使用BP 神經(jīng)網(wǎng)絡(luò)模型識(shí)別輪轂，這個(gè)算法缺陷對(duì)于輻條面積大的輪轂，有較高的識(shí)別率。但是摩輪輻條面積小，圖像會(huì)包含大量輥道信息，造成識(shí)別率低。目前深度學(xué)習(xí)已被應(yīng)用于各種工業(yè)生產(chǎn)領(lǐng)域[4]，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)識(shí)別[4][8]、缺陷識(shí)別[5]、圖像分類(lèi)[6]的應(yīng)用上取得了巨大的成功[10][11][12]。本文提出使用摩輪的3D 圖像處理全局摩輪照片，去除輥道等干擾，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)EfficientNet 模型訓(xùn)練和識(shí)別摩輪特征獲得摩輪輪廓信息，縮短了訓(xùn)練時(shí)間，減少了訓(xùn)練照片數(shù)量，在實(shí)踐中，識(shí)別準(zhǔn)確率提高到99.8%。

2 圖像采集和預(yù)處理

2.1 圖像采集

圖1：摩輪圖像預(yù)處理

圖2：卷積神經(jīng)網(wǎng)絡(luò)性能對(duì)比

圖3：八類(lèi)摩輪

摩輪圖片由CCD 全局工業(yè)相機(jī)拍攝，相機(jī)采用500 萬(wàn)相機(jī)，拍攝的照片像素為2448*2040，相機(jī)安裝在機(jī)柜上，通過(guò)工控機(jī)上的相機(jī)軟件調(diào)整曝光、增益、焦距等參數(shù)。在工業(yè)相機(jī)旁邊安裝3D 激光位移傳感器，摩輪在輥道的帶動(dòng)下，勻速進(jìn)入機(jī)柜，觸發(fā)光電傳感器，3D 激光位移傳感器拍攝摩輪的三維輪廓，同時(shí)工業(yè)相機(jī)拍攝摩輪全局照片。

2.2 圖像預(yù)處理

圖4：測(cè)試結(jié)果

在摩輪圖片的處理過(guò)程中，由于光照差異、拍攝設(shè)備不同、輥道影響，會(huì)對(duì)圖片產(chǎn)生一定程度的干擾，特別是摩托車(chē)輪轂由于輻條間距大，需要在背景圖中去掉輥道，文獻(xiàn)[7]提出使用原始圖和背景圖片的相減方法，由于關(guān)照不均勻和反光的影響產(chǎn)生的色差都不一致，并且摩輪輻條細(xì)，而且輥道上的輪轂在攝像頭下沒(méi)有中心定位，圖像中的背景很難去除。本文使用了3D線(xiàn)掃描得到摩輪的輪廓，在原始圖中去掉全部背景信息，包括去掉輻條中間的部分，得到摩輪輪廓圖片，如圖1 所示。

圖像預(yù)處理過(guò)程主要流程如下：

步驟1：工業(yè)相機(jī)拍攝的摩輪圖片經(jīng)過(guò)二值化處理和形態(tài)學(xué)處理，并去噪；

步驟2：使用Opencv 中的方法HoughCircles 找到摩輪圓心，通過(guò)findContours 函數(shù)找到整個(gè)輪廓，得到摩輪圖片；

步驟3：通過(guò)3D 線(xiàn)掃描數(shù)據(jù)，還原摩輪模型；

步驟4：結(jié)合摩輪的二維圖像和三維數(shù)據(jù)，把高度為輥道的點(diǎn)全部設(shè)置為黑色，去除輥道背景。

3 基于EfficientNet的摩輪分類(lèi)方法

3.1 EfficientNet網(wǎng)絡(luò)簡(jiǎn)介

深度學(xué)習(xí)近十年在人工智能領(lǐng)域取得了重大的突破。它在自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖形圖像與視頻分析、多媒體等諸多領(lǐng)域都取得了巨大成功。深度學(xué)習(xí)主要使用在圖像分類(lèi)和目標(biāo)識(shí)別領(lǐng)域，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)上改進(jìn)和發(fā)展得到許多新型神經(jīng)網(wǎng)絡(luò)，如AlexNet、ShuffleNet、ResNet 和MobileNet 等，這些先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型降低了訓(xùn)練集的數(shù)量，縮短了訓(xùn)練時(shí)間。其中EfficientNet網(wǎng)絡(luò)模型，使用了一種多維度混合的模型縮放方法，區(qū)別于Resnet-18 通過(guò)增加網(wǎng)絡(luò)深度提高準(zhǔn)確率，使用復(fù)合系數(shù)φ 統(tǒng)一縮放模型的網(wǎng)絡(luò)深度、網(wǎng)絡(luò)寬度、圖像分辨率，如公式（1）所示[9]。

表1：訓(xùn)練參數(shù)

表2：對(duì)比實(shí)驗(yàn)

EfficientNet 是一種新的模型縮放方法，具有模型小、效率高、參數(shù)的數(shù)量少的特點(diǎn)，通過(guò)復(fù)合縮放的方法，使這種深層模型的top-1 等準(zhǔn)確率上表現(xiàn)優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型。特別是EfficientNet-B7 在top-1 上達(dá)到84.3%的精度，比同類(lèi)的神經(jīng)網(wǎng)絡(luò)尺寸小8.4 倍，推理速度快6.1 倍。EfficientNet 和其他網(wǎng)絡(luò)性能的對(duì)比如圖2 所示。

圖2 中，橫軸為模型參數(shù)數(shù)量，縱軸為準(zhǔn)確率。相同參數(shù)數(shù)量下EfficientNet 的準(zhǔn)確率高于ResNet、Inception、NASNet 等模型。比如相同的Top1 準(zhǔn)確率，ResNet-152 參數(shù)數(shù)量是EfficientNet-B1的7.6 倍。

3.2 模型構(gòu)建和訓(xùn)練

測(cè)試樣本為八類(lèi)輪轂，型號(hào)和款式如圖3 所示。

每類(lèi)輪轂300 張圖片，按照訓(xùn)練圖片和驗(yàn)證圖片采用8:2 的數(shù)量分成訓(xùn)練集和驗(yàn)證集。為了減少輪轂反光對(duì)系統(tǒng)干擾，訓(xùn)練的圖片采用圖像增強(qiáng)算法，對(duì)圖像的亮度、對(duì)比度、旋轉(zhuǎn)等進(jìn)行增強(qiáng)操作。模型采用EfficientNet-B4 算法。訓(xùn)練參數(shù)，如表1 所示。

為了縮短訓(xùn)練時(shí)間，采用GPU NVIDIA GeForce RTX2060 Super 8G 顯卡訓(xùn)練。

3.3 測(cè)試結(jié)果

使用EfficientNet-B4 模型訓(xùn)練圖片，測(cè)試結(jié)果如圖4 所示。

圖4 中，X 軸為Epoch 模型經(jīng)過(guò)20 輪訓(xùn)練，經(jīng)歷了120 分鐘， Loss 達(dá)到0.0593，Top1 準(zhǔn)確度為99.89%，模型在迭代7 輪之后，訓(xùn)練損失趨于平衡，同時(shí)準(zhǔn)確率也趨于平衡。說(shuō)明模型在識(shí)別摩輪上具有較好的效果。本系統(tǒng)在生產(chǎn)線(xiàn)上應(yīng)用，采用置信度95%作為判斷的依據(jù)，結(jié)果判別10000 個(gè)輪轂，達(dá)到99.8%的準(zhǔn)確度。

3.4 分類(lèi)檢測(cè)模型對(duì)比

本部分采用了EfficientNet 的模型B0、B4 和B7 進(jìn)行對(duì)比，結(jié)果如表2 所示。

通過(guò)對(duì)比可知，EfficientNet-B7 雖然精度最高，但是訓(xùn)練時(shí)間最長(zhǎng)，需要更高的顯卡支持才能縮短訓(xùn)練時(shí)間。

4 結(jié)語(yǔ)

本文構(gòu)造了基于深度學(xué)習(xí)的摩輪型號(hào)分類(lèi)系統(tǒng)，通過(guò)3D 線(xiàn)激光位移傳感器，對(duì)圖像進(jìn)行了分割，減少了輥道對(duì)原始圖片的干擾，從而減少了深度學(xué)習(xí)圖片訓(xùn)練的張數(shù)，加快了深度學(xué)習(xí)訓(xùn)練的速度，提高了識(shí)別率，降低了產(chǎn)線(xiàn)工人增加新類(lèi)別輪轂的等待時(shí)間。由于EfficientNet-B7 模型大、訓(xùn)練時(shí)間長(zhǎng)，需要更高的硬件資源，在實(shí)際中采用EfficientNet-B4 算法完全能保證摩輪分類(lèi)識(shí)別上準(zhǔn)確率，通過(guò)系統(tǒng)在產(chǎn)線(xiàn)上長(zhǎng)時(shí)間運(yùn)行，測(cè)試了10000 多張圖片，判別識(shí)別率到達(dá)99.82%，沒(méi)有產(chǎn)生一張誤判，由于輪轂反光不一樣，產(chǎn)生了幾張置信度低的圖片。實(shí)驗(yàn)結(jié)果表明，EfficientNet 算法在分類(lèi)問(wèn)題上有良好的性能，本文構(gòu)建的分類(lèi)系統(tǒng)可行，為摩輪的分類(lèi)提供了參考。