一種零件綜合質(zhì)量評(píng)定方法研究

李 夢(mèng)，尹宗軍

（安徽信息工程學(xué)院機(jī)械工程學(xué)院，安徽 蕪湖 241000）

零件的質(zhì)量評(píng)定與分揀是工業(yè)生產(chǎn)過程中十分重要的環(huán)節(jié)。隨著大數(shù)據(jù)信息處理技術(shù)的廣泛應(yīng)用，逐漸開始利用人工智能算法，如支持向量機(jī)［1］、多層感知層［2］、卷積神經(jīng)網(wǎng)絡(luò)［3-4］和其余機(jī)器學(xué)習(xí)算法［5-10］等，來實(shí)現(xiàn)零件圖像數(shù)據(jù)集的訓(xùn)練與測(cè)試，完成其質(zhì)量預(yù)測(cè)。但利用人工智能算法處理圖像的速度受計(jì)算機(jī)處理器硬件水平的影響較大，一般僅用于數(shù)據(jù)集的離線處理。

零件的關(guān)鍵尺寸是否符合加工圖紙的要求是判斷其質(zhì)量的重要依據(jù)。對(duì)于某些輪廓復(fù)雜的零件，須求解多個(gè)重要位置處的尺寸誤差以進(jìn)行精度分析，圖像處理工作量較大。有些學(xué)者通過圖像模板匹配直接得到零件圖像與其CAD（computer aided design，計(jì)算機(jī)輔助設(shè)計(jì)）機(jī)械加工圖不匹配所產(chǎn)生的誤差。例如：Sun等［11］提出了基于相對(duì)熵的小樣本特征區(qū)域匹配的零件識(shí)別方法。Ucev等［12］提出了用等分面積法對(duì)圖像形狀進(jìn)行歸一化描述的方法，其可自動(dòng)識(shí)別并提取零件的輪廓。Bohlool等［13］通過采用尺度不變特征變換（scale-invariant feature transform,SIFT）來獲取良好的模板匹配精度，以適用于樣本大小、位置和照明條件不同的情況。Piccinini等［14］通過分割目標(biāo)物體圖像與模型對(duì)應(yīng)點(diǎn)來進(jìn)行匹配，較為準(zhǔn)確地獲得了目標(biāo)物體的輪廓特征，但該方法的分類準(zhǔn)確性在一定程度上受目標(biāo)物體表面質(zhì)量的影響。

除零件的幾何尺寸外，表面缺陷也是衡量其質(zhì)量的重要指標(biāo)。不少學(xué)者針對(duì)零件表面缺陷對(duì)其質(zhì)量的影響展開了研究。例如：Rashad等［15］、Alamoudi等［16］、劉麗等［17］和李暉等［18］基于被測(cè)零件表面的紋理特征，展開了零件的分類識(shí)別。Yang等［19］提出了一種多尺度傅里葉描述符，基于其可以準(zhǔn)確地提取零件表面的局部特征。Lee等［20］提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)的圖像局部特征學(xué)習(xí)與訓(xùn)練算法，該算法可借助零件表面的紋理特征完成分類識(shí)別，但其實(shí)現(xiàn)過程較復(fù)雜，易受周圍光線與環(huán)境變化的影響。

基于此，筆者擬提出一種結(jié)合幾何特征和表面缺陷特征的零件綜合質(zhì)量評(píng)定方法，以進(jìn)一步提高零件分類識(shí)別的準(zhǔn)確性。

1 零件綜合質(zhì)量評(píng)定方法構(gòu)建

零件綜合質(zhì)量評(píng)定方法的總體框架如圖1所示，其包括機(jī)器視覺與機(jī)器學(xué)習(xí)兩個(gè)模塊。首先，利用機(jī)器視覺技術(shù)完成待測(cè)零件圖像的實(shí)時(shí)采集與處理，用于獲得其幾何特征和表面缺陷特征，并形成四維特征數(shù)據(jù)集，作為后續(xù)展開機(jī)器學(xué)習(xí)訓(xùn)練的數(shù)據(jù)來源。其中，零件的幾何特征由圖像灰度匹配算法與幾何匹配算法求解獲得，即通過比較被測(cè)零件圖像與其CAD機(jī)械加工圖，計(jì)算得到灰度匹配分?jǐn)?shù)與幾何匹配分?jǐn)?shù)；零件的表面缺陷特征則是針對(duì)其表面的常見缺陷（如劃傷、磨損、邊緣缺料以及銹蝕等），通過圖像預(yù)處理（灰度化、圖像增強(qiáng)、高斯降噪和二值化）獲得零件圖像灰度的均值與標(biāo)準(zhǔn)差。然后，在機(jī)器學(xué)習(xí)模塊中，利用主成分分析（principal component analysis，PCA）對(duì)獲得的零件四維特征數(shù)據(jù)集進(jìn)行降維處理，并利用K最近鄰（K-nearest neighbor，KNN）算法對(duì)降維后的數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)，實(shí)現(xiàn)零件綜合質(zhì)量評(píng)定。

圖1 零件綜合質(zhì)量評(píng)定方法總體框架Fig.1 Overall framework of comprehensive quality assessment method for parts

2 零件圖像處理與質(zhì)量分類方法

2.1 基于機(jī)器視覺的零件圖像處理

2.1.1 幾何特征提取

零件的幾何特征用于評(píng)判其尺寸參數(shù)是否符合加工精度。本文借助模板匹配處理算法來求解被測(cè)零件圖像與其CAD機(jī)械加工圖的灰度匹配分?jǐn)?shù)和幾何匹配分?jǐn)?shù)，作為零件的幾何特征參數(shù)。其中：圖像的灰度匹配具有平移不變性，能夠?qū)⑿D(zhuǎn)不變性與實(shí)時(shí)性提升到較高程度，但其不具備尺度不變性；圖像幾何匹配是以被測(cè)目標(biāo)的幾何外形（綜合角點(diǎn)、直線段和曲線段等描述）為特征，比較其圖像模板與標(biāo)準(zhǔn)模板的形狀差異，幾何匹配彌補(bǔ)了灰度匹配的不足。因此，本文選擇這2種匹配方式對(duì)被測(cè)零件圖像進(jìn)行處理，獲得相應(yīng)的匹配分?jǐn)?shù)。

1）圖像灰度匹配。

灰度匹配以像素灰度或灰度梯度為特征，通過計(jì)算零件圖像模板與其CAD機(jī)械加工圖標(biāo)準(zhǔn)模板（下文簡稱標(biāo)準(zhǔn)模板）的歸一化互相關(guān)值來確定匹配區(qū)域。本文采用金字塔匹配法對(duì)零件圖像進(jìn)行灰度匹配處理，獲得其與標(biāo)準(zhǔn)模板的灰度匹配分?jǐn)?shù)。令I(lǐng)表示原始圖像的灰度，Imax和Imin表示原始圖像灰度的最大值和最小值，Inewmax和Inewmin表示線性歸一化圖像灰度的最大值和最小值，由此可以計(jì)算得到線性歸一化圖像的灰度Inormalized：

尺寸為K×L的零件圖像模板t(xn，yn)在尺寸為M×N的標(biāo)準(zhǔn)模板s(xn，yn)中從左到右、從上到下移動(dòng)時(shí)（K≤M且L≤N），當(dāng)t(xn，yn)移動(dòng)到點(diǎn)(a，b)處時(shí)，t(xn，yn)與其所覆蓋的s(xn，yn)區(qū)域的互相關(guān)值C（a，b）可表示為：

通過計(jì)算零件圖像模板與標(biāo)準(zhǔn)模板的互相關(guān)值R來確定灰度匹配分?jǐn)?shù)。鑒于互相關(guān)值對(duì)圖像灰度幅值的變化極為敏感，對(duì)其進(jìn)行歸一化處理：

歸一化互相關(guān)值對(duì)零件圖像模板和其標(biāo)準(zhǔn)模板的幅度變換均保持不變性。由此可知，歸一化互相關(guān)值越大，零件圖像模板與標(biāo)準(zhǔn)模板越相似［21］。

2）圖像幾何匹配。

幾何匹配采用廣義霍夫匹配，即提取零件圖像的邊緣曲線后，計(jì)算邊緣曲線上各點(diǎn)的灰度梯度方向角，如圖2所示。

圖2 邊緣點(diǎn)灰度梯度方向角示意Fig.2 Diagram of gray gradient direction angle of edge point

在圖2所示的極坐標(biāo)系中，已知零件圖像的幾何中心為（xc，yc），某邊緣點(diǎn)(xi，yi)的坐標(biāo)可表示為：

式中：θ為邊緣點(diǎn)(xi，yi)與幾何中心(xc，yc)連線與水平方向的夾角。

令邊緣點(diǎn)(xi,yi)的灰度為f(xi,yi)，則其灰度梯度方向角φi為：

基于此，以邊緣點(diǎn)的灰度梯度方向角為索引，將邊緣曲線上具有相同灰度梯度方向角的點(diǎn)歸為一組，構(gòu)成描述零件圖像的模板特征。若零件圖像模板中包含與標(biāo)準(zhǔn)模板匹配的區(qū)域，則該區(qū)域邊緣曲線上的點(diǎn)具有與標(biāo)準(zhǔn)模板相同的幾何特征。故在圖像幾何匹配階段，先獲得零件標(biāo)準(zhǔn)模板邊緣曲線上各點(diǎn)的灰度梯度方向角，再從零件圖像模板特征中檢索得到具有相同灰度梯度方向角的邊緣點(diǎn)，并反求匹配中心的坐標(biāo)。最后通過累加器記錄各匹配中心坐標(biāo)被重復(fù)計(jì)算的次數(shù)，取計(jì)算次數(shù)最多的為最佳匹配結(jié)果［21］，進(jìn)而可獲得幾何匹配分?jǐn)?shù)。

2.1.2 表面缺陷特征提取

在零件的實(shí)際生產(chǎn)與裝配中，除幾何特征外，其表面缺陷特征的提取與量化也尤為重要。針對(duì)表面存在劃傷、缺損、邊緣缺料以及銹蝕等缺陷的零件，對(duì)采集的彩色圖像進(jìn)行預(yù)處理，即完成灰度化、圖像增強(qiáng)、高斯降噪和二值化處理。將零件表面存在缺陷的區(qū)域設(shè)置為白色（灰度為255），無缺陷區(qū)域設(shè)置為黑色（灰度為0），計(jì)算零件圖像灰度的均值和標(biāo)準(zhǔn)差，以對(duì)其表面缺陷特征進(jìn)行量化。對(duì)于尺寸為K×L的零件圖像，經(jīng)預(yù)處理后圖像中某點(diǎn)的灰度為f(xn，yn)，則圖像灰度的均值μ和標(biāo)準(zhǔn)差σ分別為：

2.2 基于機(jī)器學(xué)習(xí)的零件質(zhì)量分類

利用基于機(jī)器視覺的圖像處理技術(shù)獲得了由灰度匹配系數(shù)、幾何匹配系數(shù)，灰度均值和灰度標(biāo)準(zhǔn)差組成的零件四維特征數(shù)據(jù)集。

為提高數(shù)據(jù)處理效率，利用PCA對(duì)原始的特征數(shù)據(jù)集進(jìn)行降維處理。PCA是一種應(yīng)用最為廣泛的數(shù)據(jù)降維方法，以m維樣本數(shù)據(jù)集降至k維為例，說明PCA降維處理的原理，其主要過程如下。

2）計(jì)算樣本數(shù)據(jù)集的協(xié)方差矩陣。

3）對(duì)協(xié)方差矩陣作特征值分解。

4）對(duì)所得的特征值按從大到小進(jìn)行排序，取降維后k個(gè)特征值所對(duì)應(yīng)的特征向量w1，w2，…，wk，將其組成特征向量矩陣W?=[w1w2…wk]。

通過PCA降維處理可獲得相關(guān)的主成分，從而減少數(shù)據(jù)集中的變量個(gè)數(shù)，提高了數(shù)據(jù)處理效率［22］。

利用PCA對(duì)獲得的零件四維特征數(shù)據(jù)集進(jìn)行降維處理，形成二維特征數(shù)據(jù)集。而后，借助KNN算法對(duì)二維特征數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)，完成零件綜合質(zhì)量分類。KNN算法是最常用的分類算法之一，通過比較各待分類樣本最近的K個(gè)樣本所屬的類別來完成分類識(shí)別，其具體步驟為：

1）確定K值；

2）計(jì)算待分類樣本與訓(xùn)練樣本的歐式距離；

3）選擇離待分類樣本最近的K個(gè)訓(xùn)練樣本；

4）將獲得的K個(gè)訓(xùn)練樣本中出現(xiàn)次數(shù)最多的類別作為待分類樣本的類別。

KNN算法簡單且效率高，結(jié)合PCA降維處理可進(jìn)一步提高零件綜合質(zhì)量評(píng)定效率。

3 零件綜合質(zhì)量評(píng)定實(shí)驗(yàn)

3.1 光學(xué)檢測(cè)與處理系統(tǒng)搭建

根據(jù)所提出的零件綜合質(zhì)量評(píng)定方法，在工業(yè)現(xiàn)場(chǎng)搭建如圖3所示的光學(xué)檢測(cè)與處理系統(tǒng)。該系統(tǒng)的硬件主要包括MER2-2000-19U3C相機(jī)（2 000萬像素，幀速率為17～19幀/s，卷簾快門，USB 3.0接口，可拍攝彩色圖像）、VISIONHOMESHI-C3514 GFL光學(xué)鏡頭（300萬像素，焦距為5～55 mm）和ES400300500S可調(diào)支架。

圖3 光學(xué)檢測(cè)與處理系統(tǒng)Fig.3 Optical detection and processing system

3.2 質(zhì)量評(píng)定實(shí)驗(yàn)與結(jié)果分析

借助搭建的光學(xué)檢測(cè)和處理系統(tǒng)對(duì)被測(cè)零件的圖像進(jìn)行實(shí)時(shí)采集。以某待加工零件為例，結(jié)合工業(yè)現(xiàn)場(chǎng)作業(yè)環(huán)境和零件質(zhì)量評(píng)定的要求：光源照度為200～500 lx，質(zhì)量評(píng)定的準(zhǔn)確率達(dá)到95%以上，光學(xué)檢測(cè)與處理系統(tǒng)的運(yùn)行速度高于42幀/s，展開其綜合質(zhì)量評(píng)定實(shí)驗(yàn)。

該零件的CAD機(jī)械加工圖如圖4所示，對(duì)其進(jìn)行灰度化、圖像增強(qiáng)、高斯降噪和二值化處理后，對(duì)采集的零件圖像（作上述相同處理）進(jìn)行灰度匹配和幾何匹配，結(jié)果分別如圖5（a）和圖5（b）所示。

圖4 零件的CAD機(jī)械加工圖Fig.4 CAD machining drawing of part

圖5 零件圖像的模板匹配結(jié)果Fig.5 Template matching results of part images

由于實(shí)際生產(chǎn)中作業(yè)環(huán)境比較復(fù)雜，不可避免地存在一定光線干擾，影響光學(xué)檢測(cè)與處理系統(tǒng)對(duì)零件圖像高質(zhì)量采集的穩(wěn)定性。由圖5所示的匹配結(jié)果可知，本文所提出的零件綜合質(zhì)量評(píng)定方法中的機(jī)器視覺模塊對(duì)處于不同光源環(huán)境、呈不同放置狀態(tài)的零件均具有較好的魯棒性與適應(yīng)性。

針對(duì)常見的劃傷、磨損、邊緣缺料以及銹蝕等零件表面缺陷，借助灰度化、圖像增強(qiáng)、高斯降噪和二值化處理等，求解得到零件圖像的灰度直方圖并提取圖像灰度的均值與標(biāo)準(zhǔn)差，作為衡量零件表面質(zhì)量的指標(biāo)。存在不同表面缺陷的零件的原始圖像（左）及其預(yù)處理結(jié)果（右）如圖6所示。

圖6 存在不同表面缺陷的零件圖像預(yù)處理結(jié)果Fig.6 Image preprocessing results of parts with different surface defects

通過對(duì)零件幾何特征和表面缺陷特征的提取，形成了每個(gè)零件的四維特征數(shù)據(jù)集，部分結(jié)果如圖7所示。其中：上方的5列數(shù)據(jù)分別為零件圖像的序號(hào)、幾何匹配分?jǐn)?shù)、灰度匹配分?jǐn)?shù)、灰度均值和灰度標(biāo)準(zhǔn)差；下方的3列數(shù)據(jù)分別為零件圖像序號(hào)、零件質(zhì)量等級(jí)（target）及其對(duì)應(yīng)標(biāo)簽（label）。標(biāo)簽為0表示質(zhì)量等級(jí)為“NG”，即零件綜合質(zhì)量不合格；標(biāo)簽為1表示質(zhì)量等級(jí)為“First level”，即零件綜合質(zhì)量較好；標(biāo)簽為2表示質(zhì)量等級(jí)為“Second level”，即零件綜合質(zhì)量一般。

圖7 零件的四維特征數(shù)據(jù)集及其綜合質(zhì)量評(píng)定結(jié)果（部分）Fig.7 Four-dimensional feature data set of part and its comprehensive quality assessment results(part)

利用PCA對(duì)零件的四維特征數(shù)據(jù)集進(jìn)行降維處理。將原始四維特征數(shù)據(jù)集在新空間超平面上的投影記為PC1～PC4，其方差比如圖8（a）所示。選擇方差比較大的2個(gè)主成分組成二維特征數(shù)據(jù)集，并利用KNN算法進(jìn)行訓(xùn)練和預(yù)測(cè)，得到的零件綜合質(zhì)量分類結(jié)果，如圖8（b）所示。

圖8 基于PCA+KNN算法的零件綜合質(zhì)量分類結(jié)果Fig.8 Comprehensive quality classification results of part based on PCA and KNN algorithm

為了驗(yàn)證本文選用的KNN算法的優(yōu)越性，選取文獻(xiàn)［4-9］中的其他機(jī)器學(xué)習(xí)算法（K均值聚類算法、異常點(diǎn)檢測(cè)算法和決策樹）進(jìn)行比較。為方便比較，對(duì)本文零件的四維特征數(shù)據(jù)依次兩兩組合，得到幾何匹配分?jǐn)?shù)—灰度匹配分?jǐn)?shù)、幾何匹配分?jǐn)?shù)—灰度均值和幾何匹配分?jǐn)?shù)—灰度標(biāo)準(zhǔn)差等共計(jì)6組二維特征數(shù)據(jù)集，分別利用K均值聚類算法與異常點(diǎn)檢測(cè)算法對(duì)該數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)，部分分類結(jié)果如圖9和圖10所示。其中圖9是基于幾何匹配分?jǐn)?shù)—灰度匹配分?jǐn)?shù)獲得的，圖10是基于灰度匹配分?jǐn)?shù)—灰度標(biāo)準(zhǔn)差獲得的。需要注意的是，異常點(diǎn)檢測(cè)算法僅可對(duì)零件質(zhì)量不合格與否進(jìn)行判定，而無法對(duì)合格零件的質(zhì)量進(jìn)一步分類。

圖9 基于不同算法的零件綜合質(zhì)量分類結(jié)果對(duì)比（幾何匹配分?jǐn)?shù)—灰度匹配分?jǐn)?shù)）Fig.9 Comparison of part comprehensive quality classification results based on different algorithms(geometric matching score-gray matching score)

圖10 基于不同算法的零件綜合質(zhì)量分類結(jié)果對(duì)比（灰度匹配分?jǐn)?shù)—灰度標(biāo)準(zhǔn)差）Fig.10 Comparison of part comprehensive quality classification results based on different algorithms(gray matching score-gray standard difference)

同理，利用決策樹對(duì)零件的二維特征數(shù)據(jù)集進(jìn)行訓(xùn)練與預(yù)測(cè)，利用不同顏色的分枝來表示零件綜合質(zhì)量的不同等級(jí)：紫色的表示零件質(zhì)量不合格；綠色的表示零件質(zhì)量一般；其他顏色的表示零件質(zhì)量較好。當(dāng)決策樹的最小樣本葉取值不同時(shí)，零件綜合質(zhì)量的分類結(jié)果有所不同，結(jié)果如圖11和表1所示。由圖11和表1可以看出，隨著最小樣本葉的增大，決策樹的分類準(zhǔn)確率逐漸降低，但最小樣本葉取值過小會(huì)加大處理系統(tǒng)的工作量和增加運(yùn)行時(shí)間。對(duì)于本文所評(píng)定的零件而言，宜選擇最小樣本葉為3。

表1 基于決策樹的零件綜合質(zhì)量分類準(zhǔn)確率對(duì)比Table 1 Comparison of accuracy of part comprehensive quality classification based on decision tree

圖11 基于決策樹的零件綜合質(zhì)量分類結(jié)果Fig.11 Comprehensive quality classification results of parts based on decision tree

為進(jìn)一步驗(yàn)證KNN算法的優(yōu)越性，對(duì)基于KNN算法、K均值聚類算法、異常點(diǎn)檢測(cè)算法和決策樹的零件綜合質(zhì)量分類結(jié)果進(jìn)行比較，主要對(duì)準(zhǔn)確率、召回率、特異度、精準(zhǔn)率和F1分?jǐn)?shù)等指標(biāo)進(jìn)行分析，結(jié)果如表2所示。

由表2可知，在光學(xué)檢測(cè)與處理系統(tǒng)硬件條件（相機(jī)、鏡頭、光圈等）不變的前提下，利用PCA與KNN算法相結(jié)合的方法來預(yù)測(cè)零件的綜合質(zhì)量時(shí)，其在準(zhǔn)確率、召回率等指標(biāo)上均具有更好的表現(xiàn)。

表2 基于不同算法的零件綜合質(zhì)量分類結(jié)果比較Table 2 Comparison of part comprehensive quality classification results based on different algorithms %

此外，由于PCA與KNN算法在不同光源照度、快門時(shí)間和圖像處理速度下對(duì)零件綜合質(zhì)量的預(yù)測(cè)準(zhǔn)確率也有所不同，利用所搭建的光學(xué)檢測(cè)與處理系統(tǒng)采集不同光源條件下的零件圖像并進(jìn)行處理，同時(shí)利用PCA與KNN算法進(jìn)行綜合質(zhì)量分類預(yù)測(cè)，結(jié)果如表3所示。

由表3可以發(fā)現(xiàn)，當(dāng)光源照度為500 lx時(shí)，所搭建的光學(xué)檢測(cè)與處理系統(tǒng)的圖像處理速度達(dá)到45.2幀/s，質(zhì)量分類準(zhǔn)確率達(dá)到96.15%以上。

表3 不同光源條件下基于PCA+KNN算法的零件綜合質(zhì)量分類準(zhǔn)確率Table 3 Accuracy of part comprehensive quality classification based on PCA and KNN algorithm under different lighting conditions

4 結(jié)論

本文提出了一種基于機(jī)器視覺和機(jī)器學(xué)習(xí)的零件綜合質(zhì)量評(píng)定方法。通過對(duì)生產(chǎn)線上已加工零件的圖像進(jìn)行采集與處理，獲得其幾何特征與表面缺陷特征，即幾何匹配分?jǐn)?shù)、灰度匹配分?jǐn)?shù)、灰度平均值與灰度標(biāo)準(zhǔn)差，可作為其綜合質(zhì)量評(píng)估的依據(jù)。同時(shí)，利用PCA降維處理提取所獲得的零件四維特征數(shù)據(jù)集的關(guān)鍵信息，提高了KNN算法的分類預(yù)測(cè)效率。

相較于傳統(tǒng)零件質(zhì)量評(píng)定方法僅能針對(duì)不合格品進(jìn)行剔除，本文所提出的方法優(yōu)化了零件質(zhì)量分類的輸出形式，能夠識(shí)別更多的質(zhì)量等級(jí)，這可為合格零件的進(jìn)一步再加工提供參考依據(jù)。實(shí)驗(yàn)結(jié)果表明，基于所提出方法搭建的光學(xué)檢測(cè)與處理系統(tǒng)在不同環(huán)境下具有良好的運(yùn)行效率，對(duì)零件綜合質(zhì)量的分類準(zhǔn)確率較高，能夠較好地滿足工業(yè)現(xiàn)場(chǎng)高速、實(shí)時(shí)的性能要求。