基于Transformer與局部特征融合的軌道緊固件缺陷檢測(cè)方法

喬彥涵，陳 文，鄒勁柏，季國(guó)一

（上海應(yīng)用技術(shù)大學(xué) 軌道交通學(xué)院，上海 201418）

近年來(lái)，我國(guó)鐵路營(yíng)業(yè)里程不斷增加，線路覆蓋范圍持續(xù)擴(kuò)大，鐵路成為促進(jìn)各地區(qū)經(jīng)濟(jì)發(fā)展的重要交通運(yùn)輸工具[1]。鐵路運(yùn)輸高度依賴軌道線路，軌道線路直接關(guān)系到列車行駛的安全和穩(wěn)定，因此，有必要對(duì)軌道線路進(jìn)行定期檢測(cè)。

軌道緊固件作為軌道線路的重要組成部分，是保障軌道線路運(yùn)營(yíng)安全的重要一環(huán)。傳統(tǒng)的軌道緊固件檢查方式是人工巡檢，雖然精度較高，但效率低下，且存在安全隱患[2]。為解決該類問(wèn)題，主要有基于計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)結(jié)合的方法，以及利用卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolutional Neural Networks）的方法。前者對(duì)不同軌道緊固件的故障類型檢測(cè)效果較差，普適性不強(qiáng)[3-4]；后者計(jì)算量較大，且受限于傳統(tǒng)感受野，在捕獲全局特征表示方面有一定的局限性[5-6]。目前，基于自注意力機(jī)制的Transformer從自然語(yǔ)言處理領(lǐng)域到計(jì)算機(jī)視覺(jué)領(lǐng)域都取得了成功，成為繼CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN ，Recurrent Neural Network）之后又一個(gè)高效的特征提取器，其優(yōu)點(diǎn)是能夠直接捕捉到全局的聯(lián)系，因?yàn)樗苯影研蛄凶鲀蓛杀容^（代價(jià)是計(jì)算量變?yōu)镺（n2））；相比之下，RNN需要進(jìn)行一步步遞推才能捕捉到全局的聯(lián)系，而CNN則需要通過(guò)層疊來(lái)擴(kuò)大感受野[7]。與RNN和CNN相比，Transformer的訓(xùn)練效率更加顯著，因此，可使用Transformer來(lái)完成視覺(jué)任務(wù)，以降低結(jié)構(gòu)的復(fù)雜性，探索可擴(kuò)展性。

常見(jiàn)的軌道緊固件缺陷有缺失和損壞兩種情況。其中，軌道緊固件缺失包括鋼軌扣壓件缺失和螺栓缺失，鋼軌扣壓件缺失后會(huì)遺留軌下墊層，螺栓缺失后會(huì)遺留下螺孔，遺留物的背景信息復(fù)雜多樣且會(huì)帶來(lái)干擾，導(dǎo)致常規(guī)目標(biāo)檢測(cè)算法產(chǎn)生誤檢[8]；軌道緊固件損壞指鋼軌扣件損壞、凸出或凹陷，由于鋼軌扣件整體型材相近，裂紋或裂縫難以被常規(guī)目標(biāo)檢測(cè)算法識(shí)別，導(dǎo)致發(fā)生漏檢情況[9]。

綜上，本文提出一種基于Transformer與局部特征融合的方法來(lái)識(shí)別軌道緊固件缺陷，建立軌道緊固件缺陷檢測(cè)模型，通過(guò)卷積獲取局部特征信息，結(jié)合Transformer提取全局特征，從而減少缺失誤識(shí)別和損壞漏識(shí)別情況的發(fā)生。

1 軌道緊固件缺陷檢測(cè)模型

軌道緊固件缺陷檢測(cè)模型架構(gòu)如圖1所示。該模型由基于CNN的淺層局部特征提取模塊、基于Transformer的全局特征提取模塊和基于多層感知機(jī)（MLP，Multilayer Perceptron）的分類模塊組成。

圖1 軌道緊固件缺陷檢測(cè)模型架構(gòu)

1.1 基于CNN的淺層局部特征提取模塊

由于本文使用的數(shù)據(jù)集規(guī)模較小，易出現(xiàn)過(guò)擬合的情況[10]，故本模塊由3個(gè)大小為3×3的卷積、1個(gè)ReLU激活函數(shù)及最大池化層組成。

局部特征提取過(guò)程為：（1）利用卷積函數(shù)Conv提取圖像的淺層特征，獲取局部信息，為防止下采樣過(guò)程中的圖像信息丟失，設(shè)置步長(zhǎng)為2，保留圖片完整信息；（2）通過(guò)ReLU激活函數(shù)進(jìn)行非線性增強(qiáng)；（3）利用MaxPool的特征不變性對(duì)圖像進(jìn)行降維，壓縮圖像的空間冗余信息，避免了梯度爆炸和消失問(wèn)題。將局部特征圖輸出結(jié)果g(x)用公式表示為

1.2 基于Transformer的全局特征提取模塊

1.2.1 Patch Embedding

ViT（Vision Transformer）是將Transformer應(yīng)用在圖像分類的模型[11]，將輸入圖片分為多個(gè)大小相同的塊，再將每個(gè)塊投影為固定長(zhǎng)度的向量輸入Transformer，同時(shí)，在輸入序列中加入Token，實(shí)現(xiàn)對(duì)圖片的分類， Token對(duì)應(yīng)的輸出即為類別預(yù)測(cè)。當(dāng)訓(xùn)練數(shù)據(jù)足夠多時(shí)，ViT的表現(xiàn)可超過(guò)CNN，突破Transformer缺少歸納偏置的限制，在下游任務(wù)中可獲得較好的遷移效果，但當(dāng)訓(xùn)練數(shù)據(jù)集不夠大時(shí)，其表現(xiàn)通常比同等大小的ResNets要差一些。

Patch Embedding過(guò)程中，ViT將輸入圖像切分成大小相同的塊，然后線性映射為 Token向量作為輸入，但這些Token無(wú)法直接適用于不同尺寸圖像輸入，當(dāng)圖像大小改變時(shí)，序列長(zhǎng)度也隨之改變，造成邊緣信息丟失[12]。因此，本文將ViT模型中圖像Token 化的Patch Embedding 過(guò)程替換為利用CNN提取底層特征的過(guò)程來(lái)進(jìn)行 Patch Embedding，每一階段的Token序列由上一階段的Token序列卷積而來(lái)，這樣進(jìn)行卷積操作不會(huì)丟失圖像的邊緣信息。

具體操作為：（1）設(shè)定用卷積核大小為7×7的卷積對(duì)輸入的特征圖像塊進(jìn)行卷積操作，映射結(jié)果輸入到新的Token map中；（2）利用全局平均池化將Token map展平，得到最終的Token序列；（3）通過(guò) Transformer 的多頭注意力機(jī)制（MHA ，Multi-Head Attention），獲取對(duì)全局的理解。

1.2.2 Transformer block

Transformer 利用注意力機(jī)制建立起序列間的遠(yuǎn)距離依賴關(guān)系，能夠提高缺陷識(shí)別的準(zhǔn)確率。Token序列進(jìn)入到Transformer block中，為防止模型過(guò)擬合和輸入數(shù)據(jù)特征分布的不斷變化，通過(guò)Layer Norm實(shí)現(xiàn)歸一化，使數(shù)據(jù)分布更加穩(wěn)定，對(duì)Token序列進(jìn)行標(biāo)準(zhǔn)化處理，保留不同特征間的大小關(guān)系。

圖1中Transformer block的具體結(jié)構(gòu)如圖2所示，其功能主要由多頭注意力（MHA，Multi-Head Attention）和MLP實(shí)現(xiàn)，層與層之間使用ResNet中的殘差結(jié)構(gòu)進(jìn)行連接。每一層的MHA塊和 MLP 塊中的殘余連接之前都使用層歸一化處理[13]。

圖2 Transformer block具體結(jié)構(gòu)

MHA是Transformer架構(gòu)的核心。其計(jì)算過(guò)程為

式（2）、式（3）中,XA為上層輸入的Token特征序列，矩陣WQ、WK、WV∈R，Q（query）、K（key）、V（value）分別為T(mén)oken特征序列投影到不同的權(quán)重矩陣所對(duì)應(yīng)的查詢向量、鍵值向量和值向量；為得到不同特征位置的概率分?jǐn)?shù)，將Q與K相乘，計(jì)算出不同輸入矩陣間的注意力分?jǐn)?shù)，同時(shí)引入比例因子保障數(shù)據(jù)穩(wěn)定性，dk為K向量的維度；引入Softmax函數(shù)將各特征位置上的注意力分?jǐn)?shù)轉(zhuǎn)為概率，再與V矩陣相乘，得到加權(quán)后的特征圖矩陣[14]，Attention（Q,K,V）表示單頭注意力機(jī)制的輸出結(jié)果。

與單頭注意力機(jī)制相比，MHA能夠計(jì)算整張?zhí)卣鲌D的所有特征間的相關(guān)性，從而獲得全局視野和充足的上下文信息，因此需將多個(gè)獨(dú)立的自注意力頭拼接成多頭自注意力機(jī)制（MHSA，Multi-Head Self-Attention），計(jì)算過(guò)程為

最后，通過(guò)reshape操作改變張量維度和形狀，將包含特征信息的圖像特征整合，輸入到基于MLP的分類模塊中。

1.3 基于MLP的分類模塊

將圖像特征輸入到分類模塊中，用于實(shí)現(xiàn)軌道緊固件缺陷的分類識(shí)別。在分類模塊中搭建MLP模型，模型輸出層采用Sigmoid函數(shù)，優(yōu)化器采用Adam，通過(guò)對(duì)擴(kuò)增數(shù)據(jù)集的訓(xùn)練與測(cè)試，得到缺陷所屬類別，同時(shí)，引入Softmax函數(shù)，將各類別的注意力分?jǐn)?shù)轉(zhuǎn)為概率，最終得到缺陷所屬類別及其概率。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集的制作

因軌道緊固件沒(méi)有公開(kāi)的數(shù)據(jù)集，所以本文收集了大量軌道緊固件近景圖，通過(guò)修改圖片亮度和對(duì)比度來(lái)模擬不同光照和不同天氣情況下的軌道情況。由于異常緊固件在實(shí)際軌道上出現(xiàn)較少，因而通過(guò)樣本擴(kuò)增的策略對(duì)損壞、缺失的軌道緊固件圖像采用平移、旋轉(zhuǎn)、縮放、裁剪、鏡像等方式來(lái)擴(kuò)充訓(xùn)練集，最終得到1 800張圖像，并按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。使用LabelMe標(biāo)注軟件進(jìn)行標(biāo)注，標(biāo)注類型分為正常緊固件（Normal）、損壞緊固件（Damage）、丟失緊固件（Lost），共3類。

2.2 實(shí)驗(yàn)準(zhǔn)備

本文實(shí)驗(yàn)環(huán)境如表1所示，模型參數(shù)設(shè)置如表2所示。

表1 實(shí)驗(yàn)環(huán)境

表2 模型參數(shù)設(shè)置

2.3 實(shí)驗(yàn)分析

2.3.1 模型對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文軌道緊固件缺陷檢測(cè)模型的缺陷檢測(cè)能力，選擇傳統(tǒng)的CNN模型（ResNet-50）、經(jīng)典的YOLO（You Only Look Once）模型（YOLOv3）和原始的Transformer模型（ViT）與本文模型進(jìn)行對(duì)比實(shí)驗(yàn)。評(píng)價(jià)內(nèi)容為Normal、Damage和Lost，共3類，采用的評(píng)價(jià)指標(biāo)為準(zhǔn)確率P、召回率R和平均準(zhǔn)確率均值mAP。3者的計(jì)算公式為

式（7）～式（9）中，TP表示檢測(cè)正確的數(shù)量；FN表示未檢測(cè)出的數(shù)量；FP表示誤檢測(cè)的數(shù)量；AP表示某一類別缺陷檢測(cè)的平均準(zhǔn)確率，即P和R積分的結(jié)果。i表示評(píng)價(jià)內(nèi)容的類別，本文共有3種類別，故i=3。

4種方法的檢測(cè)結(jié)果對(duì)比如表3所示。由表3可知，相對(duì)于傳統(tǒng)的CNN、YOLO及Transformer模型，本文方法的準(zhǔn)確率、召回率及平均準(zhǔn)確率均值均有所提升，準(zhǔn)確率達(dá)到了90%以上，相較于ResNet-50、YOLOv3、ViT 模型分別提升了6.6%、3.6%、1.9%，mAP值相對(duì)于次好的ViT模型也提升了1.4%。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在軌道緊固件缺陷檢測(cè)效果上具有良好表現(xiàn)。

表3 4種方法的檢測(cè)結(jié)果對(duì)比

2.3.2 可視化分析

為驗(yàn)證模型在真實(shí)場(chǎng)景下的缺陷檢測(cè)效果，從測(cè)試集中隨機(jī)選取圖片，使用本文的模型進(jìn)行缺陷檢測(cè)，并將輸出結(jié)果可視化。4 種方法對(duì)軌道緊固件缺陷檢測(cè)效果定性對(duì)比，如圖3和圖4所示。

圖3 軌道緊固件缺失檢測(cè)

圖4 軌道緊固件損壞檢測(cè)

圖3展示了 4 種方法對(duì)軌道緊固件缺失的檢測(cè)效果。 ResNet-50 模型對(duì)于近距離的緊固件檢測(cè)效果較好, 但是對(duì)于遠(yuǎn)距離的軌道緊固件存在漏檢；YOLOv3 模型與 ViT模型相對(duì)于ResNet-50 模型遠(yuǎn)距離檢測(cè)的置信度更高，但對(duì)于部分遮擋下的軌道緊固件存在誤檢；本文方法的檢測(cè)效果最佳, 無(wú)論軌道緊固件的距離遠(yuǎn)近，均能有效檢測(cè)出缺失情況, 部分遮擋下的軌道緊固件也不存在誤檢測(cè)。

圖4展示了 4 種方法對(duì)軌道緊固件損壞的檢測(cè)效果。 ResNet-50 模型未能識(shí)別圖中的緊固件損壞情況；YOLOv3 模型將軌道緊固件損壞誤檢為軌道緊固件缺失；ViT模型雖然識(shí)別到軌道緊固件損壞的情況，但檢測(cè)的置信度偏低；本文方法不僅能夠檢測(cè)到軌道緊固件損壞的情況，同時(shí)檢測(cè)的置信度值也較高。

由圖3、圖4可看出，本文提出的方法可在鐵路軌道復(fù)雜環(huán)境下更準(zhǔn)確地檢測(cè)到軌道緊固件缺失及損壞的情況。

3 結(jié)束語(yǔ)

為提升軌道緊固件的巡檢效率和準(zhǔn)確率，本文提出一種基于Transformer與局部特征融合的軌道緊固件缺陷檢測(cè)方法。構(gòu)建軌道緊固件缺陷檢測(cè)模型，在擴(kuò)充數(shù)據(jù)集上進(jìn)行的模型對(duì)比實(shí)驗(yàn)及可視化實(shí)驗(yàn)表明，該方法檢測(cè)精確率達(dá)91.4%，平均準(zhǔn)確率均值達(dá)86.1%，高于原始的 CNN和Transformer模型，證明本文方法在軌道緊固件缺陷檢測(cè)方面的有效性，對(duì)軌道線路的安全檢測(cè)具有參考意義。同時(shí)，由于軌道線路環(huán)境的不確定性，在檢測(cè)過(guò)程中仍存在誤檢或漏檢等現(xiàn)象，因此，需要進(jìn)一步克服不確定環(huán)境對(duì)檢測(cè)結(jié)果造成的影響，研究更高準(zhǔn)確率的檢測(cè)方法。