基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量數(shù)字化檢測系統(tǒng)

郝博,閆俊偉,王杰,郭嵩,尹興超

(1.東北大學(xué)機(jī)械工程與自動化學(xué)院,遼寧沈陽 110819；2.東北大學(xué)航空動力裝備振動及控制教育部重點(diǎn)實(shí)驗(yàn)室,遼寧沈陽 110819)

0 前言

隨著機(jī)器視覺、模式識別、深度學(xué)習(xí)等技術(shù)的發(fā)展以及計(jì)算機(jī)技術(shù)與傳統(tǒng)制造業(yè)的結(jié)合，機(jī)械制造業(yè)迎來了新的發(fā)展機(jī)遇。中國全面推進(jìn)實(shí)施制造強(qiáng)國戰(zhàn)略，要求機(jī)械制造業(yè)智能化發(fā)展。如何實(shí)現(xiàn)機(jī)械裝配質(zhì)量診斷更高效、準(zhǔn)確，對工業(yè)生產(chǎn)的經(jīng)濟(jì)性、安全性和可靠性具有十分重要的意義。機(jī)器學(xué)習(xí)算法與機(jī)器視覺技術(shù)在質(zhì)量檢測領(lǐng)域擁有廣闊前景。利用CCD相機(jī)采集圖像，經(jīng)圖像預(yù)處理、相關(guān)性搜索、特征邊緣提取等操作可以很好地應(yīng)用于質(zhì)量檢測領(lǐng)域。除此之外，機(jī)器學(xué)習(xí)中的-近鄰(-NN)算法、決策樹(Decision Tree)算法、樸素貝葉斯(Naive Bayes)算法、支持向量機(jī)(SVM)算法、隨機(jī)森林(Random Forest)算法等都可以用于機(jī)械設(shè)備故障診斷，其中支持向量機(jī)算法的診斷效果較好。

鉚接工藝在航空制造業(yè)領(lǐng)域應(yīng)用廣泛，飛機(jī)裝配過程中大量使用鉚接連接。飛機(jī)在飛行過程中一旦鉚接部位出現(xiàn)質(zhì)量問題，很可能導(dǎo)致飛機(jī)故障甚至解體，造成巨大的經(jīng)濟(jì)損失和人員傷亡。在實(shí)際檢測中，鉚接質(zhì)量檢測大多采用傳統(tǒng)人工檢測，檢測效率低、對工人經(jīng)驗(yàn)要求高、質(zhì)量信息難追溯。近年來，很多研究者對鉚接質(zhì)量檢測進(jìn)行了研究。胥俊敏、楊賓峰等對遠(yuǎn)場渦流傳感器進(jìn)行優(yōu)化設(shè)計(jì)，并將它應(yīng)用于鉚接檢測。蔣滔等人將改進(jìn)遺傳算法與OSTU方法相結(jié)合，對飛機(jī)蒙皮圖像進(jìn)行分割，采用視覺檢測方法檢測鉚接質(zhì)量。黃華斌等采用聲發(fā)射參數(shù)濾波和空間濾波的方法，在強(qiáng)噪聲環(huán)境下獲取有效聲發(fā)射信號,通過對信號的特征參數(shù)進(jìn)行趨勢分析、空間定位分析和組合濾波分析,檢測鉚接壁板上裂紋的萌生和擴(kuò)展情況。MUELLER等通過扭矩傳感器、激光傳感器等實(shí)時(shí)監(jiān)控鉚接過程，利用人工智能算法執(zhí)行檢測任務(wù)。上述檢測方法對機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，大多是采用機(jī)器視覺對信息進(jìn)行采集、整理，應(yīng)用機(jī)器學(xué)習(xí)算法進(jìn)行檢測的研究較少，在質(zhì)量追溯方面也涉及較少。

本文作者針對目前傳統(tǒng)鉚接檢測效率低、工人勞動強(qiáng)度大等問題，提出基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量檢測方法。在應(yīng)用機(jī)器視覺的基礎(chǔ)上，采用IPSO-LSSVM算法進(jìn)行質(zhì)量檢測，使用專家系統(tǒng)進(jìn)行質(zhì)量追溯和缺陷分析。在沈陽飛機(jī)工業(yè)集團(tuán)某型號飛機(jī)裝配車間對原型系統(tǒng)進(jìn)行驗(yàn)證，該系統(tǒng)可以為鉚接質(zhì)量數(shù)字化檢測提供技術(shù)支持。

1 鉚接工藝及鉚接常見缺陷

測試使用的鉚釘為抽芯鉚釘，使用氣動鉚槍進(jìn)行鉚接，如圖1所示。

圖1 鉚接工具及鉚接示意

影響鉚接壽命的工藝參數(shù)有拉鉚力、鉚釘尺寸、鉚釘與被鉚接件的材料特性、锪孔的尺寸等。根據(jù)檢測經(jīng)驗(yàn)，常見鉚接缺陷如表1所示。

表1 常見鉚接缺陷及成因

若鉚釘壓縮不充分，會使釘頭與四周產(chǎn)生縫隙；若鉚釘壓縮過量則會使鐓頭高度過小或刻傷壁板。為防止鉚接失效、保證鉚接壽命，在裝配過程中應(yīng)選取適當(dāng)?shù)你T釘及合理的鉚接參數(shù)。

2 鉚接質(zhì)量檢測系統(tǒng)組成

基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量檢測系統(tǒng)包含4個(gè)部分，即圖像采集部分、圖像處理部分、質(zhì)量檢測部分、質(zhì)量追溯部分。

(1)圖像采集部分由CCD攝像機(jī)、圖像采集卡、照明系統(tǒng)、控制機(jī)構(gòu)、計(jì)算機(jī)組成，保證采集的圖像清晰、特征鮮明；

(2)圖像處理部分對圖像進(jìn)行二值化處理、中值濾波處理、Canny邊緣提取、特征測量等操作；

(3)質(zhì)量檢測部分通過機(jī)器學(xué)習(xí)算法構(gòu)建模型，對圖像進(jìn)行分類，是鉚接檢測系統(tǒng)的核心；

(4)質(zhì)量追溯部分反饋檢測結(jié)果，對不合格鉚接進(jìn)行分析，得出產(chǎn)生鉚接缺陷的原因。

3 鉚接質(zhì)量檢測系統(tǒng)工作流程

基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量檢測系統(tǒng)的工作流程如圖2所示。

圖2 鉚接檢測系統(tǒng)工作流程

3.1 圖像采集及預(yù)處理

對采集到的圖像進(jìn)行二值處理，把鉚接部位從圖像中提取出來。如公式(1)，對于輸入圖像的像素，其閾值與設(shè)置的閾值進(jìn)行比較，賦予輸出圖像白色(255)或黑色(0)的像素。

(1)

傳統(tǒng)灰度處理難以突出圖片特征，因此選擇使用Imadjust函數(shù)對圖像進(jìn)行灰度調(diào)整。根據(jù)圖像背景,為突出鉚接部分特征，去除0.2×255至0.5×255之間的值，其余部分的值在0～255之間按比例重新映射。如圖3中(a)、(b)所示分別為原圖、Imadjust函數(shù)調(diào)整的灰度圖。圖4所示為Imadjust函數(shù)調(diào)整的直方圖。

圖3 調(diào)整前后的灰度圖對比

圖4 Imadjust函數(shù)調(diào)整的灰度直方圖

對調(diào)整后的灰度圖進(jìn)行中值濾波[圖5(a)]，減少脈沖噪聲、椒鹽噪聲對圖像特征的影響，為后續(xù)邊緣特征提取做準(zhǔn)備。

如公式(2)所示，(,)、(,)分別為原始圖像和輸出圖像，、為圖像三階矩陣區(qū)域中位置的對應(yīng)變量。

(,)=med{(-,-)}

(2)

由于形態(tài)學(xué)分析會淡化裂紋，導(dǎo)致裂紋難以檢出，中值濾波后的圖像在形態(tài)學(xué)操作前應(yīng)優(yōu)先進(jìn)行裂紋檢測。對圖像使用Canny邊緣檢測算法，并對圖像中鉚接處裂紋進(jìn)行識別，邊緣檢測結(jié)果如圖5(b)所示。

圖5 中值濾波及邊緣檢測結(jié)果

Canny邊緣檢測首先對圖像進(jìn)行高斯濾波，高斯核如公式(3)所示：

(3)

式中：為平滑度參數(shù)，當(dāng)=1.5時(shí)，計(jì)算公式如式(4)所示。

(4)

圖像高斯濾波像素如公式(5)，式中為圖像的三階像素矩陣，求得的像素為矩陣的中心點(diǎn)像素。

(5)

使用Sobel算子依次計(jì)算每個(gè)像素點(diǎn)的梯度，得出邊緣所指方向。此時(shí)得到的邊緣比較模糊，需要進(jìn)行非極大值抑制，確保邊緣只有一個(gè)準(zhǔn)確響應(yīng)。采用雙閾值檢測將邊緣像素區(qū)分為強(qiáng)邊緣或弱邊緣。強(qiáng)邊緣判定為真實(shí)邊緣，弱邊緣通過抑制孤立低閾值點(diǎn)進(jìn)行判斷，得出邊緣檢測結(jié)果圖。

對于邊緣檢測結(jié)果圖,使用SSD(Single Shot Multibox Detector)算法對裂紋進(jìn)行檢測，將檢測出裂紋的部位直接定義為不合格。通過裂紋檢測的圖像進(jìn)入之后的檢測環(huán)節(jié)。

使用中值濾波的圖像進(jìn)行形態(tài)學(xué)操作，對圖像進(jìn)行腐蝕、膨脹來消除鉚接部位周圍灰塵、顆粒對圖像的影響，如圖6所示。這種處理使圖像邊緣趨于平滑，且不會明顯改變圖像中其他特征信息。

圖6 形態(tài)學(xué)操作結(jié)果

對經(jīng)過處理的圖像應(yīng)用Regionprops函數(shù)，得到特征部位的像素點(diǎn)總數(shù)、特征部位邊緣像素點(diǎn)數(shù)、特征部位在圖像中占比、特征部位圓度。根據(jù)上述數(shù)據(jù),應(yīng)用公式(6)求得具體特征參數(shù)。

(6)

式中：為圖像面積;為特征部位面積;為特征部位周長。

3.2 機(jī)器學(xué)習(xí)算法在鉚接檢測系統(tǒng)中的應(yīng)用

3.2.1 粒子群優(yōu)化算法

PSO算法處理鉚接檢測模型參數(shù)可以提升檢測準(zhǔn)確率。設(shè)在維空間中有個(gè)粒子組成粒子群，粒子的位置=(1,2,3,…,)，粒子的飛行速度=(1,2,3,…,)，粒子的最好位置=(1,2,3,…,)，其中=1,2,3,…,，粒子群中所有粒子經(jīng)歷的最好位置為()。根據(jù)上述定義，可以得出粒子群算法的進(jìn)化方程如公式(7)(8)所示：

(+1)=()+[()-()]+[g()-()]

(7)

(+1)=()+(+1)

(8)

式中：表示粒子；表示維度；表示進(jìn)化次數(shù)；、為加速常數(shù),常取2;、為[0,1]內(nèi)隨機(jī)數(shù)。

3.2.2 最小二乘支持向量機(jī)算法

為防止檢測結(jié)果陷入局部最優(yōu)，使用回歸擬合能力較強(qiáng)的LSSVM算法構(gòu)建鉚接檢測模型。

(9)

s.t.[()+]=1-，=1,2,3,…,

式中：為權(quán)向量；為擬合誤差，是實(shí)際訓(xùn)練輸出與估計(jì)輸出的誤差值；為懲罰參數(shù)，用于懲罰超出誤差的樣本；()為非線性函數(shù)，把原始空間的輸入向量映射為高維空間向量；為偏差量。為解決上述問題引入拉格朗日函數(shù)，如公式(10)所示:

]-1+}

(10)

s.t.≥0=1,2,3,…,

式中：為拉格朗日乘子。根據(jù)KKT最優(yōu)條件，對、、、求偏導(dǎo)數(shù)，并令它們等于0，得出公式(11)：

(11)

聯(lián)立上述公式消去、，經(jīng)過整理得出公式(12)：

(12)

式中：=[,,,…,];=[1,1,1,…,1]，=[,,,…,];為×的單位矩陣;=[()()]×。根據(jù)上述公式可以得出LSSVM的最優(yōu)分類函數(shù)如公式(13)所示:

(13)

式中：(,)=()()為核函數(shù)，它應(yīng)滿足Mercer定理，文中選用徑向基核函數(shù)，如公式(14)所示：

(,)=e-(|-|)/(2)

(14)

3.2.3 算法的改進(jìn)與應(yīng)用

傳統(tǒng)PSO算法具有鉚接檢測模型樣本較少、數(shù)據(jù)集中等特點(diǎn)，需進(jìn)行改進(jìn)。在PSO算法中增加慣性權(quán)重，前期選擇較小增強(qiáng)搜索精度、減少發(fā)散、提高搜索能力，可有效提高檢測準(zhǔn)確性。具體改進(jìn)如公式(15)(16)(17)所示：

(+1)=()+[()-()]+

[g()-()]

(15)

(+1)=()+(+1)

(16)

(17)

其中:、分別為權(quán)重的最大、最小值；、分別為當(dāng)前迭代次數(shù)、最大迭代次數(shù)。

使用IPSO算法對LSSVM算法構(gòu)建的模型進(jìn)行參數(shù)優(yōu)化，初選參數(shù)如下：=20，=2，=2，=0.95，=0.4，=100。經(jīng)過IPSO優(yōu)化得出=58.536、=5.633。將上述參數(shù)代入檢測模型，并使用300張鉚接部位圖像對模型進(jìn)行訓(xùn)練，并用60張進(jìn)行測試，得出測試結(jié)果如表2所示。

表2 模型測試結(jié)果

3.3 鉚接質(zhì)量追溯

檢測系統(tǒng)的質(zhì)量追溯模塊應(yīng)用智能制造技術(shù)。對于不合格的鉚接，檢測系統(tǒng)會將其特征信息保存至數(shù)據(jù)庫并輸入鉚接質(zhì)量在線分析系統(tǒng)。該系統(tǒng)會對不合格的鉚接進(jìn)行推理決策，列出缺陷種類和原因并指導(dǎo)工人對缺陷進(jìn)行修正。分析系統(tǒng)界面如圖7所示。

圖7 鉚接質(zhì)量在線分析系統(tǒng)

鉚接質(zhì)量在線分析系統(tǒng)具有自學(xué)習(xí)能力，通過人機(jī)交互和質(zhì)量問題決策案例進(jìn)行自我學(xué)習(xí)，將技術(shù)人員的經(jīng)驗(yàn)知識和新捕捉的特征存入知識庫，提高系統(tǒng)決策能力。這些知識也可用于圖像預(yù)處理部分，將更多重要特征信息納入需要提取的部分，提高鉚接質(zhì)量檢測系統(tǒng)的檢測準(zhǔn)確率。

4 鉚接質(zhì)量檢測系統(tǒng)在某飛機(jī)裝配車間實(shí)踐

提高裝配效率和裝配質(zhì)量是車間高效生產(chǎn)的基礎(chǔ)，提高裝配質(zhì)量檢測效率是提高生產(chǎn)效率的重要途經(jīng)。鉚接質(zhì)量檢測系統(tǒng)相比傳統(tǒng)人工檢測在效率上有明顯優(yōu)勢。

為驗(yàn)證系統(tǒng)有效性，在沈陽飛機(jī)工業(yè)集團(tuán)某型號飛機(jī)座艙蓋及風(fēng)擋裝配車間應(yīng)用鉚接質(zhì)量數(shù)字化檢測系統(tǒng)進(jìn)行測試。隨機(jī)選取50個(gè)鉚接部位進(jìn)行檢測，測試系統(tǒng)實(shí)用性和檢測精度。經(jīng)過圖像采集處理，得出如表3所示的結(jié)果。

表3 圖像特征信息提取結(jié)果

將特征信息導(dǎo)入鉚接檢測系統(tǒng)進(jìn)行檢測，結(jié)果如圖8所示。

圖8 鉚接檢測結(jié)果

對比、分析鉚接質(zhì)量檢測系統(tǒng)檢測結(jié)果與傳統(tǒng)人工檢測結(jié)果，結(jié)論如表4所示。

表4 鉚接檢測系統(tǒng)結(jié)果分析

由表4可知：鉚接檢測系統(tǒng)鉚接質(zhì)量檢測準(zhǔn)確率為96%，基本可以完成檢測任務(wù)。將檢測為不合格的鉚接數(shù)據(jù)輸入專家系統(tǒng)，可分析鉚接缺陷產(chǎn)生原因，方便工人修正。

經(jīng)過驗(yàn)證，可以得出鉚接質(zhì)量檢測系統(tǒng)對提高裝配質(zhì)量檢測效率、減少人工勞動強(qiáng)度、提高檢測精度具有較好的應(yīng)用效果。

5 結(jié)論

本文作者針對傳統(tǒng)鉚接質(zhì)量檢測效率低等問題，提出基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量數(shù)字化檢測系統(tǒng)。通過驗(yàn)證得出以下結(jié)論：

(1)借助CCD攝像機(jī)采集鉚接部位圖像，應(yīng)用圖像處理技術(shù)可以有效提取鉚接部位特征數(shù)據(jù)；

(2)利用經(jīng)過訓(xùn)練的鉚接質(zhì)量檢測模型，可以有效判斷鉚接質(zhì)量，并且準(zhǔn)確率較高；

(3)利用鉚接質(zhì)量在線分析系統(tǒng)可以分析鉚接缺陷的產(chǎn)生原因并給出解決方案。

基于機(jī)器學(xué)習(xí)的鉚接質(zhì)量數(shù)字化檢測系統(tǒng)能夠有效提高鉚接檢測效率、減少工人勞動且具有較高準(zhǔn)確率。但是，目前將該系統(tǒng)應(yīng)用于曲面鉚接檢測仍處于探索階段，還需進(jìn)一步研究和驗(yàn)證。