基于環(huán)形特征的卷積神經(jīng)網(wǎng)絡(luò)輪轂識(shí)別

程淑紅， 蘆嘉鑫， 張典范， 徐 南

(1.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004；2.燕山大學(xué) 河北省特種運(yùn)載裝備重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；3.秦皇島職業(yè)技術(shù)學(xué)院，河北 秦皇島 066100)

1 引 言

基于機(jī)器視覺的輪轂自動(dòng)分類系統(tǒng)是輪轂生產(chǎn)線中關(guān)鍵組成部分，傳統(tǒng)的識(shí)別方法主要是提取輪轂特征并匹配，然而在實(shí)際生產(chǎn)中，輪轂的識(shí)別速度、準(zhǔn)確率往往會(huì)受到各種因素的影響。程淑紅等[1]以輪輻邊緣輪廓為模板在待識(shí)別輪轂圖像中隨機(jī)游走進(jìn)行匹配，并用紋理偏差度作為識(shí)別標(biāo)準(zhǔn)；這種方法抗復(fù)雜背景能力強(qiáng)，但對(duì)于紋理復(fù)雜的輪轂識(shí)別精度不高。朱焜等[2]對(duì)輪輻區(qū)域進(jìn)行多邊形簡(jiǎn)化，并選取了輪轂外徑、螺栓孔個(gè)數(shù)和輪輻條數(shù)等7個(gè)具有旋轉(zhuǎn)不變性的特征與輪轂?zāi)０逡来纹ヅ?，提高了?fù)雜形狀輪轂的識(shí)別準(zhǔn)確率，但沒有考慮到實(shí)際生產(chǎn)中輪轂生產(chǎn)線的背景干擾。郭智杰等[3]用差分方法去除生產(chǎn)線背景并利用開閉運(yùn)算對(duì)輪轂圖像進(jìn)行降噪處理，提取車輪外徑、輪輻條數(shù)、輪心直徑等參數(shù)生成序列號(hào)，作為輪轂的特征參數(shù)與標(biāo)準(zhǔn)模板對(duì)比匹配；此法降低了輪轂識(shí)別的誤判率，但識(shí)別速率較低。張典范等[4]提取輪轂局部特征并用K-means聚類算法[5,6]將其量化到中心,計(jì)算輪轂特征到中心的殘差之和得到局部聚合描述符(vector of locally aggregated descriptors,VLAD)特征向量，為了提升計(jì)算速度對(duì)VLAD向量進(jìn)行主成分分析(principal component analysis,PCA)降維處理,對(duì)比特征向量從而識(shí)別輪轂型號(hào)[7,8]；識(shí)別效果在輪轂數(shù)量少時(shí)較好，但是對(duì)于種類復(fù)雜、規(guī)模較大的輪轂數(shù)據(jù)庫會(huì)不可避免地下降。為了實(shí)現(xiàn)實(shí)際生產(chǎn)中任意角度的輪轂自動(dòng)識(shí)別，劉巖松等[9]通過計(jì)算待識(shí)別輪轂與模板之間環(huán)投影特征向量、外徑和圓心的相似度進(jìn)行粗略匹配，再利用徑向投影進(jìn)行精確匹配；該方法具有旋轉(zhuǎn)不變性，提高了計(jì)算速度，但此方法仍需人工提取特征。

傳統(tǒng)的識(shí)別方法依賴于人工設(shè)計(jì)幾何特征、紋理特征等來匹配型號(hào)，但輪轂外形越來越復(fù)雜，僅通過有限的特征來判斷類型會(huì)出現(xiàn)特征重合、準(zhǔn)確率低等問題。隨著工業(yè)大數(shù)據(jù)的興起，使得深度學(xué)習(xí)[10,11]技術(shù)逐漸應(yīng)用到工業(yè)生產(chǎn)中。以卷積神經(jīng)網(wǎng)絡(luò)[12～14]為代表的深度學(xué)習(xí)技術(shù)在圖像識(shí)別應(yīng)用中尤為突出。

本文提出了一種基于環(huán)形特征的卷積神經(jīng)網(wǎng)絡(luò)輪轂識(shí)別方法，該算法計(jì)算量小，識(shí)別精度高。利用霍夫圓檢測(cè)將輪轂定位，將環(huán)形輪轂歸一化為矩形，搭建基于改進(jìn)VGGNet(Visual Geometry Group Network)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)，將環(huán)形特征輪轂圖片輸入到網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練以及性能評(píng)估，為實(shí)際生產(chǎn)中輪轂的自適應(yīng)分類提供了一種可行方案。

2 輪轂識(shí)別方法

首先，借助霍夫圓檢測(cè)提取輪轂外輪緣半徑、輪心縱坐標(biāo)和橫坐標(biāo)等參數(shù)并將直角坐標(biāo)下的環(huán)形輪轂映射到極坐標(biāo)，將輪轂展開成矩形；然后，搭建輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)作為輪轂識(shí)別模型并進(jìn)行訓(xùn)練；最后，對(duì)輪轂型號(hào)做出判定。本文提出的輪轂型號(hào)識(shí)別總體方案主要分為展開環(huán)面圖像特征提取、基于改進(jìn)VGG的展開輪轂圖像識(shí)別和實(shí)驗(yàn)結(jié)果與分析3個(gè)部分。具體輪轂識(shí)別方案如圖1所示。

圖1 輪轂識(shí)別方案Fig.1 Scheme of wheel model identificatio

2.1 展開環(huán)面圖像特征提取

2.1.1 輪轂定位

確定一個(gè)輪轂的位置需要確定3個(gè)參數(shù)：輪轂外邊緣半徑，輪轂圓心橫坐標(biāo)和縱坐標(biāo)。輪轂定位如圖2所示，先將原輪轂圖像轉(zhuǎn)化為灰度圖像(見圖2a)；用canny算子提取輪轂邊緣(見圖2b)；遍歷輪轂圖像上所有像素點(diǎn),進(jìn)行霍夫圓檢測(cè)[15]，將原坐標(biāo)圖像映射成參數(shù)空間，參數(shù)空間的一個(gè)點(diǎn)對(duì)應(yīng)圖像坐標(biāo)空間中的一個(gè)圓；最后，選取參數(shù)平面上滿足閾值的點(diǎn)，得到輪轂的圓心坐標(biāo)以及外邊緣半徑。

2.1.2 輪轂圖像歸一化

采用輪轂歸一化模型，如圖3所示。將直角坐標(biāo)I(Ox,Oy)下的環(huán)形輪轂圖像映射到極坐標(biāo)IExpan(r,θ)中。

圖3 歸一化模型示意圖Fig.3 Scheme of the normalization model

轉(zhuǎn)換公式如下：

I(Ox,Oy)→IExpan(r,θ)

(1)

I(Ox(l,θ),Oy(l,θ))→IExpan(r,θ)

(2)

Ox(l,θ)=(1-l)×Ox_out(θ)+Ox_in(θ)

(3)

Oy(l,θ)=(1-l)×Oy_out(θ)+Oy_in(θ)

(4)

式中：l∈[0,1]為輪轂環(huán)形半徑，θ∈[0,2π]是映射弧度，(Ox_out，Oy_out(θ))為輪轂外邊緣像素坐標(biāo)，(Ox_in(θ)，Oy_in(θ))為輪心像素坐標(biāo)。

輪轂歸一化時(shí)只保留圓環(huán)狀的輪轂部分，消除在圖像采集時(shí)帶來的噪聲影響。通過輪轂歸一化模型，將輪轂展開成51×264 pixels的矩形圖像，將環(huán)形輪轂圖像展開為矩形圖像更有利于特征的提取。歸一化的結(jié)果如圖4所示。

圖4 歸一化結(jié)果圖Fig.4 Normalized result diagram

2.1.3 展開環(huán)面圖像特征提取

輪轂是一個(gè)以輪心為對(duì)稱中心的圓環(huán)，由于環(huán)形輪轂圖像中心對(duì)稱的特性，在提取輪轂特征信息時(shí)只有1/4的區(qū)域是有效的，其余部分是以輪心為對(duì)稱中心的全等形，利用卷積神經(jīng)網(wǎng)絡(luò)提取特征有2種特征提取方式,見圖5。順序提取方式提取出的很多特征是冗余的(見圖5a)，且卷積核通常為矩形，矩形框劃過環(huán)形輪轂邊緣處會(huì)產(chǎn)生許多噪點(diǎn)，增加了卷積運(yùn)算的計(jì)算量；故本文提出了一種旋轉(zhuǎn)提取輪轂特征的方法(見圖5b)，環(huán)形輪轂經(jīng)過一系列的變換，歸一化成標(biāo)準(zhǔn)形式的矩形，找出輪轂圖像中的不變量，減少幾何變換的影響，使本輪轂識(shí)別算法具有平移、縮放和旋轉(zhuǎn)不變性。旋轉(zhuǎn)提取特征信息可以減少卷積運(yùn)算的計(jì)算量，加快卷積神經(jīng)網(wǎng)絡(luò)的收斂。

圖5 2種特征提取方式Fig.5 Two kinds of feature extraction

2.2 基于改進(jìn)VGG的展開輪轂圖像識(shí)別

2.2.1 改進(jìn)的VGG網(wǎng)絡(luò)

為了追求更高的準(zhǔn)確率，卷積神經(jīng)網(wǎng)絡(luò)傾向于更深、更復(fù)雜的結(jié)構(gòu)設(shè)計(jì)來獲取詳細(xì)的特征，這需要更多的卷積計(jì)算，參數(shù)量和計(jì)算量也隨之加大，使得網(wǎng)絡(luò)的速度有所限制。在實(shí)際生產(chǎn)中，輪轂識(shí)別任務(wù)需要在有限的計(jì)算環(huán)境下實(shí)時(shí)進(jìn)行，這對(duì)于網(wǎng)絡(luò)的結(jié)構(gòu)有更高的要求。本文設(shè)計(jì)了一種改進(jìn)的VGG網(wǎng)絡(luò)架構(gòu)，以更高效的網(wǎng)絡(luò)計(jì)算方式，在網(wǎng)絡(luò)參數(shù)減少的同時(shí)，不損失網(wǎng)絡(luò)的性能。該模型使用深度可分離卷積[16]，圖6為深度可分離卷積與普通卷積對(duì)比圖。

圖6 深度可分離卷積與普通卷積對(duì)比圖Fig.6 Depth separable convolution and standard convolution

深度可分離卷積分為兩部分，深度卷積和逐點(diǎn)卷積。深度卷積為通道數(shù)都為1的卷積核，負(fù)責(zé)各通道之間的信息；逐點(diǎn)卷積的卷積核都為1×1，將深度卷積的特征圖在維度上進(jìn)行加權(quán)組合并生成新的特征圖。這種設(shè)計(jì)打破了輸出通道維度和卷積核大小的聯(lián)系，實(shí)現(xiàn)了準(zhǔn)確率和延時(shí)性之間的平衡。

改進(jìn)的VGGNet使用3×3的濾波器提取特征，在每個(gè)深度可分離卷積層(Separable Conv)后連接激活函數(shù)ReLu和數(shù)據(jù)歸一化(Batch Normalization)處理，組成一個(gè)卷積塊，網(wǎng)絡(luò)由6個(gè)卷積塊組成。利用最大池化(Maxpool)進(jìn)行降采樣，Dropout減少參數(shù)量，加快收斂速度，數(shù)值取0.25或0.5。Flatten層將輸入的參數(shù)一維化。最后，所有的特征參數(shù)經(jīng)過全連接層，通過Softmax進(jìn)行分類。網(wǎng)絡(luò)參數(shù)結(jié)構(gòu)如圖7所示。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)圖Fig.7 Network structure parameter

2.2.2 輪轂識(shí)別算法

對(duì)輸入的輪轂圖像二值化得到灰度圖像，用Canny算子提取輪轂邊緣，確定輪轂外邊緣半徑、輪轂圓心橫坐標(biāo)和縱坐標(biāo)，根據(jù)圖3的輪轂歸一化模型，將環(huán)形輪轂圖像展開成矩形。將展開輪轂圖像送入改進(jìn)的VGG網(wǎng)絡(luò)提取特征。最后用Softmax分類，識(shí)別出輪轂型號(hào)，圖8為輪轂識(shí)別算法框架。

圖8 輪轂識(shí)別算法框架Fig.8 Wheel identification algorithm framework

3 實(shí)驗(yàn)結(jié)果與分析

3.1 檢測(cè)結(jié)果與分析

電腦配置：CPU為Intel Core i5-9400頻率 2.9 GHz，8 G運(yùn)行內(nèi)存；GPU為NVIDIA GeForce GTX 1660； 操作系統(tǒng)為Ubuntu 18； 仿真實(shí)驗(yàn)基于tensorflow1.13.1，OpenCV3.4.4。

實(shí)驗(yàn)采集10種輪轂圖片，型號(hào)為A01～A10, 如圖9所示, 將采集到的圖片進(jìn)行數(shù)據(jù)增強(qiáng)，每種輪轂圖像擴(kuò)增到100張，數(shù)據(jù)集由1 000幅輪轂圖組成，采用的輪轂圖均為1616×1236 pixels。

圖9 輪轂樣本示例Fig.9 Samples of wheel hub dataset

將數(shù)據(jù)增強(qiáng)后的輪轂數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集3個(gè)互斥的子集，樣本容量比例為7:2:1，使用輪轂數(shù)據(jù)集中的訓(xùn)練集訓(xùn)練模型，然后用測(cè)試集評(píng)估模型的泛化能力，驗(yàn)證集用于模型的參數(shù)選擇和配置。經(jīng)過多次網(wǎng)絡(luò)訓(xùn)練和參數(shù)調(diào)節(jié)，選用環(huán)形特征輪轂圖進(jìn)行測(cè)試，初始學(xué)習(xí)率為0.001，采用隨機(jī)下降法批量訓(xùn)練，訓(xùn)練輪次為100。

使用識(shí)別率Ri和誤檢率Fi作為輪轂識(shí)別算法的性能度量指標(biāo)，i為某類輪轂型號(hào)，i={1,2,…,10}，如圖10所示。圖10中：FT為正確識(shí)別第i類型號(hào)的圖數(shù)量；FA為識(shí)別成第i類輪轂的圖總數(shù)；FN為將第i類輪轂識(shí)別為其他種類輪轂的圖數(shù)量；A為將輪轂型號(hào)錯(cuò)誤識(shí)別為第i類的圖數(shù)量。

Ri=FT/FA

(5)

Fi=FN/(FT+FN)

(6)

圖10 識(shí)別率與誤檢率示意圖Fig.10 Recognition and false detection rate

為了論證本論文算法可以識(shí)別多類輪轂型號(hào)，選擇了3種紋理較為復(fù)雜的輪轂，表1中分別列出了輪轂邊緣檢測(cè)圖、環(huán)形特征輪轂圖像以及Ri和Fi。圖中的識(shí)別率都維持在較高水平且沒有誤檢輪轂型號(hào)，可以看出基于環(huán)形特征的卷積神經(jīng)網(wǎng)絡(luò)對(duì)各種型號(hào)的輪轂識(shí)別都有較好的效果。

3.2 算法有效性和實(shí)時(shí)性

改進(jìn)的VGG網(wǎng)絡(luò)在不同型號(hào)輪轂的訓(xùn)練過程中，通過大量的學(xué)習(xí)和參數(shù)優(yōu)化，使輪轂型號(hào)識(shí)別得以泛化。在實(shí)際生產(chǎn)中，輪轂識(shí)別任務(wù)需要在有限的計(jì)算環(huán)境下實(shí)時(shí)進(jìn)行，因此本文從有效性和實(shí)時(shí)性兩個(gè)不同角度加以詳細(xì)說明。

3.2.1 有效性

針對(duì)輪轂型號(hào)的識(shí)別效果主要體現(xiàn)在兩方面，一方面是旋轉(zhuǎn)提取輪轂特征，另一方面是改進(jìn)的VGG網(wǎng)絡(luò)。用測(cè)試集來驗(yàn)證基于環(huán)形特征融合的卷積神經(jīng)網(wǎng)絡(luò)輪轂識(shí)別算法效果， 同時(shí)使用3種深度學(xué)習(xí)方法和3種機(jī)器學(xué)習(xí)方法分別對(duì)基于環(huán)性特征的輪轂圖和普通輪轂圖識(shí)別來對(duì)比驗(yàn)證。3種機(jī)器學(xué)習(xí)方法均采用Hog提取特征。

表1 3種輪轂識(shí)別Tab.1 Identification of three wheel models (%)

根據(jù)表2所示的檢測(cè)效果可知：對(duì)于A04、A05和A06這3種型號(hào)的輪轂，SVM的Ri高于K近鄰和決策樹，但Fi較高，總體來說SVM的分類效果較好，但3種傳統(tǒng)機(jī)器學(xué)習(xí)方法Ri普遍比卷積神經(jīng)網(wǎng)絡(luò)低。VGG_16的識(shí)別率普遍在較高的水平，但錯(cuò)誤識(shí)別的輪轂較多，Inception V3和本文算法的識(shí)別效果較好，且改進(jìn)的VGG網(wǎng)絡(luò)識(shí)別率最佳。模型中的深度可分離卷積在減少計(jì)算量的同時(shí)，不會(huì)損失網(wǎng)絡(luò)的性能，進(jìn)而論證了改進(jìn)的VGG網(wǎng)絡(luò)可以準(zhǔn)確識(shí)別輪轂型號(hào)。

表2 普通輪轂識(shí)別率和誤檢率Tab.2 Ordinary wheel recognition rate and false detection rate (%)

表3為基于環(huán)形特征的輪轂識(shí)別率和誤檢率。

表3 基于環(huán)形特征的輪轂識(shí)別率和誤檢率Tab.3 Ring wheel recognition rate and false detection rate (%)

由表3可知，用Hog提取環(huán)形輪轂特征與普通輪轂特征相比，3種機(jī)器學(xué)習(xí)方法的識(shí)別率都有所提升，但還是低于深度學(xué)習(xí)方法?；谏疃葘W(xué)習(xí)方法識(shí)別環(huán)形特征輪轂圖片比普通輪轂圖片的識(shí)別效果更佳，且改進(jìn)的VGG網(wǎng)絡(luò)優(yōu)于VGG_16和Inception V3。由此可得對(duì)比順序提取輪轂特征，旋轉(zhuǎn)提取環(huán)形輪轂特征更加有效，且具有平移不變性、縮放不變性和旋轉(zhuǎn)不變性。

為了更直觀地論證本文算法的有效性，本文設(shè)計(jì)了4組交叉驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)1為基于改進(jìn)VGG的環(huán)形特征輪轂型號(hào)識(shí)別；實(shí)驗(yàn)2為基于改進(jìn)VGG的普通輪轂型號(hào)識(shí)別；實(shí)驗(yàn)3為基于VGG_16的環(huán)形特征輪轂型號(hào)識(shí)別；實(shí)驗(yàn)4為基于VGG_16的普通輪轂型號(hào)識(shí)別。

圖11為4組驗(yàn)證實(shí)驗(yàn)的分類識(shí)別率，即訓(xùn)練模型驗(yàn)證A07型號(hào)輪轂的正確概率，可知旋轉(zhuǎn)提取環(huán)面輪轂特征可以加快卷積神經(jīng)網(wǎng)絡(luò)的收斂。由于環(huán)形輪轂的中心對(duì)稱性，將環(huán)形輪轂展開使特征利用率更高，從而提高識(shí)別準(zhǔn)確率。改進(jìn)VGG模型識(shí)別率總體維持在較高的評(píng)價(jià)，其中實(shí)驗(yàn)3的分類最高精度為96.53%，實(shí)驗(yàn)1的分類精度最高為99.6%。改進(jìn)后的VGG網(wǎng)絡(luò)相較于以往的算法來說，其結(jié)構(gòu)更加簡(jiǎn)潔，解決復(fù)雜特征的能力更強(qiáng)。

圖11 4組實(shí)驗(yàn)識(shí)別率Fig.11 Classification recognition rate of experiments

3.2.2 實(shí)時(shí)性

4組實(shí)驗(yàn)識(shí)別時(shí)間如圖12所示，實(shí)驗(yàn)1的平均推理耗時(shí)為11.78 ms;實(shí)驗(yàn)2的耗時(shí)為35.86 ms;實(shí)驗(yàn)3為54.12 ms;實(shí)驗(yàn)4的耗時(shí)達(dá)到71 ms。改進(jìn)VGG網(wǎng)絡(luò)識(shí)別輪轂圖像的推理耗時(shí)普遍低于VGG_16，本文模型通過深度可分離卷積層和Dropout層減少參數(shù)量，在不損失網(wǎng)絡(luò)性能的同時(shí)降低了計(jì)算量，為工業(yè)生產(chǎn)中輪轂型號(hào)的實(shí)時(shí)檢測(cè)提供了可行的方法。

圖12 4組實(shí)驗(yàn)識(shí)別時(shí)間Fig.12 Recognition speed of four groups of experiments

4 結(jié) 論

本文針對(duì)在實(shí)際生產(chǎn)中輪轂的混流生產(chǎn)，設(shè)計(jì)了一種基于環(huán)形特征融合的卷積神經(jīng)網(wǎng)絡(luò)輪轂識(shí)別算法。利用展開環(huán)形輪轂圖片旋轉(zhuǎn)提取特征，與傳統(tǒng)的順序提取特征方法相比，削弱了冗余特征的影響，加快卷積神經(jīng)網(wǎng)絡(luò)的收斂，并且使本識(shí)別算法具有平移、旋轉(zhuǎn)和縮放不變性?；诟倪M(jìn)VGG的卷積神經(jīng)網(wǎng)絡(luò)模型，解決了實(shí)際生產(chǎn)中輪轂識(shí)別任務(wù)計(jì)算環(huán)境有限的問題，利用深度可分離卷積打破了輸出通道維度和卷積核大小的聯(lián)系，在不損失模型性能的同時(shí)提高了識(shí)別速率。利用多種卷積神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)算法對(duì)比驗(yàn)證了本文輪轂識(shí)別模型的優(yōu)越性。運(yùn)用自定義的4種交叉驗(yàn)證實(shí)驗(yàn)進(jìn)行分析，結(jié)果表明，該方法能夠?qū)崟r(shí)并且準(zhǔn)確地識(shí)別輪轂型號(hào)。