一種基于深度學(xué)習(xí)的地鐵車(chē)體螺栓松動(dòng)檢測(cè)方法

楊培盛 王華軍 張 用 楊 凱 高春良

(1.濟(jì)南軌道交通集團(tuán)建設(shè)投資有限公司 山東 濟(jì)南 250000；2.北京主導(dǎo)時(shí)代科技有限公司 四川 成都 610000)

0 引言

螺栓緊固件具有能拆卸且能重復(fù)使用的優(yōu)勢(shì)，在地鐵領(lǐng)域得到了大量應(yīng)用。然而，由于地鐵車(chē)體螺栓長(zhǎng)期受到交變力作用的影響，易造成不同程度的松動(dòng)或丟失故障，若不及時(shí)發(fā)現(xiàn)并處理，將直接影響行車(chē)安全。而傳統(tǒng)的通過(guò)人工排查螺栓故障的方式不僅效率低下，且極易產(chǎn)生視覺(jué)疲勞，發(fā)生誤檢、漏檢等情況。

為解決上述問(wèn)題，本文根據(jù)部署在軌旁的面陣相機(jī)采集到的地鐵車(chē)體的圖像，引入YOLOv3網(wǎng)絡(luò)對(duì)車(chē)體各關(guān)鍵部位螺栓區(qū)域進(jìn)行粗定位和精定位；引入U(xiǎn)-net[1]語(yǔ)義分割模型并改進(jìn)訓(xùn)練方式，對(duì)定位到的螺栓防松標(biāo)記線進(jìn)行分割，在此基礎(chǔ)上利用RANSAC[2]算法對(duì)標(biāo)記線進(jìn)行直線擬合并根據(jù)直線傾斜角度來(lái)判定螺栓是否存在松動(dòng)故障；最后，對(duì)所提出方法的各部分分別進(jìn)行試驗(yàn)，結(jié)果證明了方法的有效性。

1 螺栓區(qū)域定位

部署在軌旁的多只面陣相機(jī)能夠?qū)Φ罔F車(chē)體進(jìn)行360°拍攝，圖1展示了部署在軌旁的相機(jī)分布，以此采集到的圖像均為高清圖像。從原始高清車(chē)體圖像中對(duì)螺栓區(qū)域準(zhǔn)確定位是螺栓松動(dòng)檢測(cè)的前提，若直接對(duì)螺栓定位不僅對(duì)硬件要求極高，定位準(zhǔn)確度也難以保障。因此，提出對(duì)螺栓區(qū)域的定位分為兩個(gè)步驟：(1)首先對(duì)車(chē)體圖像中螺栓所在的關(guān)鍵區(qū)域進(jìn)行定位；(2)在關(guān)鍵區(qū)域的基礎(chǔ)上對(duì)螺栓區(qū)域進(jìn)行精確定位。

圖1 部署在軌旁的面陣相機(jī)分布

1.1 關(guān)鍵區(qū)域定位

將車(chē)體左右側(cè)面、車(chē)體底部圖像的相關(guān)待檢測(cè)關(guān)鍵區(qū)域按照所在區(qū)域特征進(jìn)行劃分，不同關(guān)鍵區(qū)域包含螺栓的數(shù)量、類(lèi)型不等(見(jiàn)圖2)。在對(duì)車(chē)體關(guān)鍵區(qū)域進(jìn)行劃分的基礎(chǔ)上，利用軌旁面陣相機(jī)采集到不同時(shí)段、不同光照條件下的地鐵車(chē)體高清圖像200張。利用labelImg圖像標(biāo)注工具對(duì)縮放后的車(chē)體圖像關(guān)鍵區(qū)域進(jìn)行標(biāo)注，以此作為輸入訓(xùn)練YOLOv3網(wǎng)絡(luò)對(duì)車(chē)體待檢測(cè)的關(guān)鍵區(qū)域進(jìn)行定位。

圖2 地鐵車(chē)體關(guān)鍵區(qū)域示例圖

1.2 構(gòu)建螺栓區(qū)域定位數(shù)據(jù)集

在此基礎(chǔ)上，利用輸出定位框的相對(duì)坐標(biāo)信息從原始高清圖像中截取定位到的所有關(guān)鍵區(qū)域，再次利用labelImg圖像標(biāo)注工具對(duì)關(guān)鍵區(qū)域中的螺栓區(qū)域進(jìn)行標(biāo)注，以構(gòu)建螺栓區(qū)域定位數(shù)據(jù)集。利用該數(shù)據(jù)集訓(xùn)練YOLOv3螺栓區(qū)域定位網(wǎng)絡(luò)對(duì)關(guān)鍵區(qū)域內(nèi)的所有螺栓進(jìn)行定位[3-4]。表1為數(shù)據(jù)集中包含需要進(jìn)行螺栓檢測(cè)的關(guān)鍵區(qū)域的分布及螺栓分布。

表1 地鐵車(chē)廂關(guān)鍵區(qū)域的分布及螺栓數(shù)量 /個(gè)

2 螺栓松動(dòng)檢測(cè)

在對(duì)車(chē)廂各關(guān)鍵區(qū)域螺栓進(jìn)行準(zhǔn)確定位的基礎(chǔ)上，判定每一個(gè)螺栓是否存在松動(dòng)的故障是地鐵車(chē)體螺栓松動(dòng)檢測(cè)的關(guān)鍵。

2.1 標(biāo)記線分割

(1)分割模型

為便于檢修中對(duì)螺栓松動(dòng)情況進(jìn)行判斷，地鐵維修人員在車(chē)輛螺栓緊固完成后會(huì)對(duì)車(chē)體每個(gè)關(guān)鍵區(qū)域內(nèi)的螺栓表面涂畫(huà)防松標(biāo)記線。若后期檢修中發(fā)現(xiàn)螺栓標(biāo)記線傾斜，則認(rèn)定該螺栓存在松動(dòng)故障。車(chē)體螺栓區(qū)域圖像具有目標(biāo)小、背景復(fù)雜、邊緣模糊等特點(diǎn)，此外，標(biāo)記線的粗細(xì)、長(zhǎng)度、色度等任一特征的變化都可能導(dǎo)致標(biāo)記提取的誤差，從而影響螺栓松動(dòng)的判定。為準(zhǔn)確地從螺栓區(qū)域圖像中提取標(biāo)記線，引入了圖像分割網(wǎng)絡(luò)U-net。

(2)訓(xùn)練優(yōu)化

利用labelImg圖像標(biāo)注工具對(duì)螺栓標(biāo)記線區(qū)域進(jìn)行標(biāo)注并組成螺栓標(biāo)記線分割數(shù)據(jù)集，并以此對(duì)U-net標(biāo)記線分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。為提升標(biāo)記線分割模型的泛化能力，避免模型過(guò)擬合，采用隨機(jī)旋轉(zhuǎn)、平移、亮度調(diào)整、灰度變換等方式對(duì)螺栓數(shù)據(jù)進(jìn)行擴(kuò)展；同時(shí)，對(duì)輸入圖像進(jìn)行mixup混類(lèi)增強(qiáng)，即將不同圖像按照一定的比例進(jìn)行混合，以此對(duì)訓(xùn)練數(shù)據(jù)進(jìn)一步增強(qiáng)。該過(guò)程可以表示為式(1)和式(2)。

λ=Beta(α,β)

(1)

g(x)=λ×f0(x)+(1-λ)×f1(x)

(2)

式中：α，β表示兩個(gè)0～1的小數(shù)；Beta表示貝塔分布；f0(x)和f1(x)分別表示待混合的圖像樣本；g(x)為混合后的圖像樣本。

2.2 標(biāo)記線直線擬合及松動(dòng)判定

螺栓標(biāo)記線分割的結(jié)果并非標(biāo)準(zhǔn)的直線，無(wú)法直接用于松動(dòng)的判定。RANSAC算法首先在二值圖像的點(diǎn)集{(x1,y1)，(x2,y2)}，…，(xn,yn)中隨機(jī)選擇兩個(gè)點(diǎn)，求解它們構(gòu)成的直線對(duì)應(yīng)的參數(shù)a、b和d，由式(3)和式(4)表示。然后計(jì)算點(diǎn)集中剩余點(diǎn)到該直線的距離E，當(dāng)E小于距離閾值，則設(shè)置該點(diǎn)為內(nèi)點(diǎn)，統(tǒng)計(jì)當(dāng)前內(nèi)點(diǎn)的個(gè)數(shù)并重復(fù)上述過(guò)程直到點(diǎn)集中的所有點(diǎn)均參與該過(guò)程。其次，選擇內(nèi)點(diǎn)個(gè)數(shù)最多的點(diǎn)集為最大一致集。最后，將該最大一致集里面的點(diǎn)利用最小二乘法求出直線參數(shù)，從而得到直線方程。

ax+by=d

(3)

E=|axi+byi-d|

(4)

式(4)中：k=-a/b可以用來(lái)表示該直線的斜率，當(dāng)斜率k=0時(shí)，直線水平，即提取到的螺栓標(biāo)記線處于水平狀態(tài)，此時(shí)螺栓處于非松動(dòng)狀態(tài)。

在實(shí)際應(yīng)用中，為了避免標(biāo)記線提取過(guò)程中微小的誤差導(dǎo)致的松動(dòng)誤判，一般取k<λ時(shí)(λ表示一個(gè)接近0的正數(shù)，則判定當(dāng)前標(biāo)記線所在螺栓無(wú)松動(dòng)故障，否則存在松動(dòng)故障)。

3 試驗(yàn)與分析

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

采用一致的量化評(píng)價(jià)標(biāo)準(zhǔn)有助于對(duì)同類(lèi)算法的性能進(jìn)行分析和比較。本文螺栓松動(dòng)判定算法采用召回率(Recall)和精確率(Precision)兩個(gè)評(píng)價(jià)指標(biāo)，分別由式(5)和式(6)表示。

(5)

(6)

目標(biāo)檢測(cè)算法采用mAP評(píng)價(jià)指標(biāo)[5]，可以由式(7)和式(8)表示。

(7)

(8)

圖像分割算法一般采用平均交并比(mIoU)評(píng)價(jià)指標(biāo)[6]，可以由式(9)定義。

(9)

式中：TP(True Positive)表示被正確分類(lèi)到正樣本的個(gè)體數(shù)量，TN(True Negative)表示被正確分類(lèi)到負(fù)樣本的個(gè)體數(shù)量，F(xiàn)P(False Positive)表示被錯(cuò)誤分類(lèi)到正樣本的個(gè)體數(shù)量，F(xiàn)N(False Negative)表示被錯(cuò)誤分類(lèi)到負(fù)樣本的個(gè)體數(shù)量。

3.2 螺栓區(qū)域定位方法分析

將前述采集得到的地鐵車(chē)體圖像數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。其中80%作為訓(xùn)練集，20%作為測(cè)試集，對(duì)所提出的螺栓區(qū)域定位方法進(jìn)行驗(yàn)證。

首先利用訓(xùn)練集中完成關(guān)鍵區(qū)域標(biāo)注的圖像數(shù)據(jù)訓(xùn)練YOLOv3區(qū)域定位模型，隨著訓(xùn)練迭代次數(shù)的增加，模型逐漸達(dá)到最優(yōu)。將訓(xùn)練完成的關(guān)鍵區(qū)域定位模型在測(cè)試集上進(jìn)行測(cè)試，表2展示了訓(xùn)練完成的模型在測(cè)試集上的定位效果。結(jié)果表明，利用本文方法訓(xùn)練完成的YOLOv3模型能夠準(zhǔn)確地對(duì)車(chē)體圖像中的關(guān)鍵區(qū)域進(jìn)行定位。

表2 關(guān)鍵區(qū)域定位模型的測(cè)試效果

利用上述訓(xùn)練完成的模型對(duì)訓(xùn)練集中的所有車(chē)體圖像進(jìn)行關(guān)鍵區(qū)域定位，并根據(jù)定位信息從原始高清圖像中截取該區(qū)域圖像。對(duì)定位到的關(guān)鍵區(qū)域進(jìn)行螺栓區(qū)域標(biāo)注及數(shù)據(jù)集劃分，表3展示了螺栓區(qū)域定位數(shù)據(jù)集的分布。利用螺栓區(qū)域定位數(shù)據(jù)集中的訓(xùn)練集對(duì)YOLOv3螺栓區(qū)域定位模型進(jìn)行訓(xùn)練，直到模型達(dá)到最優(yōu)。

將訓(xùn)練完成的螺栓區(qū)域定位模型在螺栓區(qū)域數(shù)據(jù)集中的測(cè)試集上進(jìn)行測(cè)試，表4展示了訓(xùn)練完成的模型在螺栓區(qū)域定位數(shù)據(jù)集上的效果。結(jié)果表明，利用當(dāng)前螺栓區(qū)域定位方法能夠準(zhǔn)確完成螺栓區(qū)域的定位。

表3 螺栓區(qū)域數(shù)據(jù)集分布 /個(gè)

表4 螺栓區(qū)域定位模型的測(cè)試效果

3.3 螺栓松動(dòng)判定方法分析

(1)螺栓標(biāo)記線分割

利用訓(xùn)練完成的螺栓區(qū)域定位模型對(duì)螺栓區(qū)域定位數(shù)據(jù)集中所有螺栓區(qū)域進(jìn)行定位并截取螺栓圖像的ROI區(qū)域。在此基礎(chǔ)上利用labelme圖像標(biāo)注工具標(biāo)注每個(gè)螺栓區(qū)域圖像對(duì)應(yīng)的標(biāo)記線區(qū)域，如圖3所示。將標(biāo)注完成的螺栓標(biāo)記線圖像進(jìn)行再次劃分，其中80%作為標(biāo)記線分割模型的訓(xùn)練集，其余作為測(cè)試集。

圖3 螺栓標(biāo)記線分割標(biāo)注圖例

利用上述標(biāo)注完成的訓(xùn)練集對(duì)基于U-net的螺栓標(biāo)記線分割模型采用傳統(tǒng)訓(xùn)練方法和本文提出的訓(xùn)練方法在條件下分別進(jìn)行訓(xùn)練。隨著迭代次數(shù)的增加，訓(xùn)練損失逐漸趨于穩(wěn)定，模型逐漸達(dá)到最優(yōu)。利用上述測(cè)試集對(duì)兩種訓(xùn)練方法得到的訓(xùn)練模型進(jìn)行測(cè)試。表5展示了兩種不同的訓(xùn)練方法訓(xùn)練得到的模型在測(cè)試集上的效果。結(jié)果證明，本文提出的訓(xùn)練方法能夠提升標(biāo)記線分割模型的分割性能。

(2)螺栓松動(dòng)判定

將本文提出的螺栓松動(dòng)判定方法在測(cè)試集上進(jìn)行驗(yàn)證，首先利用訓(xùn)練完成的關(guān)鍵區(qū)域定位模型對(duì)測(cè)試數(shù)據(jù)中的關(guān)鍵區(qū)域進(jìn)行粗定位，并利用訓(xùn)練完成的螺栓區(qū)域定位模型對(duì)關(guān)鍵區(qū)域中的螺栓區(qū)域進(jìn)行精定位。最后在螺栓區(qū)域定位的基礎(chǔ)上對(duì)螺栓標(biāo)記線進(jìn)行分割試驗(yàn)。在利用兩種不同的訓(xùn)練方式對(duì)螺栓標(biāo)記線分割的基礎(chǔ)上，利用RANSAC算法對(duì)分割得到的標(biāo)記線分別進(jìn)行直線擬合(見(jiàn)圖4)，當(dāng)直線斜率大于λ(λ取0.1)時(shí)，認(rèn)為當(dāng)前螺栓標(biāo)記線處于非水平狀態(tài)，存在松動(dòng)故障，否則無(wú)松動(dòng)。

表5 不同訓(xùn)練方法得到的模型在測(cè)試集上的性能比較

圖4 RANSAC算法直線擬合結(jié)果

表6展示了所提出的方法在測(cè)試集上的螺栓松動(dòng)檢測(cè)效果。結(jié)果表明，文中提出的基于標(biāo)記線的螺栓松動(dòng)檢測(cè)方法能夠較為準(zhǔn)確地對(duì)地鐵車(chē)體關(guān)鍵區(qū)域的螺栓松動(dòng)進(jìn)行檢測(cè)。

表6 螺栓松動(dòng)檢測(cè)在測(cè)試集上的測(cè)試結(jié)果

4 結(jié)論

針對(duì)現(xiàn)有螺栓松動(dòng)檢測(cè)算法準(zhǔn)確性低、 難以適應(yīng)復(fù)雜場(chǎng)景變化的問(wèn)題， 文中利用部署在軌旁的面陣相機(jī)采集并分階段標(biāo)注了大量不同環(huán)境條件下的車(chē)側(cè)和車(chē)底原始高清圖像，并組成螺栓松動(dòng)訓(xùn)練數(shù)據(jù)集； 訓(xùn)練YOLOv3目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)螺栓所在的關(guān)鍵區(qū)域和螺栓區(qū)域進(jìn)行粗定位和精定位； 為了能夠準(zhǔn)確地從螺栓區(qū)域圖像中分割出螺栓標(biāo)記線， 引入經(jīng)典的U-net圖像分割網(wǎng)絡(luò)并優(yōu)化其訓(xùn)練方式； 在此基礎(chǔ)上利用RANSAC直線擬合算法， 對(duì)標(biāo)記線分割結(jié)果進(jìn)行直線擬合并根據(jù)直線斜率判斷螺栓是否存在松動(dòng)故障； 最后，將所提出的方法在不同測(cè)試數(shù)據(jù)集上進(jìn)行分別驗(yàn)證， 結(jié)果表明， 所提出的方法能夠準(zhǔn)確地對(duì)地鐵車(chē)體螺栓松動(dòng)故障進(jìn)行檢測(cè)。