基于前景分割的扣件狀態(tài)識別算法

申瑞超，柴曉冬，李立明，鐘倩文

(上海工程技術(shù)大學城市軌道交通學院，上海 201620)

鐵路扣件是鋼軌和軌枕的連接部件，起到固定鋼軌、傳導鋼軌所受外力的作用[1]。鐵路扣件處于失效狀態(tài)可能會造成列車脫軌等重大事故[2]。因此，在鐵路安全中對扣件狀態(tài)的檢測尤為重要。近年來圖像處理技術(shù)發(fā)展迅速，使用機器視覺實現(xiàn)鐵路扣件狀態(tài)自動化檢測已得到大量應用[3]，如通過對現(xiàn)有圖像特征算子的改進[4]、利用[5]，或?qū)?shù)學原理[6-7]應用到圖像領(lǐng)域中檢測扣件。但真實場景中的扣件圖像背景更為復雜多樣，如圖1(a)、圖1(b)、圖1(d)因線路施工和維護原因造成扣件圖像中包含電纜、鋼板和油污，鐵路沿線的居民和列車乘客丟棄的垃圾可能會造成圖1(c)的情況。傳統(tǒng)方法利用扣件圖像的邊緣特征或梯度特征檢測扣件狀態(tài)，圖像背景中的異物會對檢測結(jié)果造成較大影響。為消除背景，Hsieh[8]等運用形態(tài)學、目標搜索方法找到合適的閾值分割扣件圖像，并將分割特征運用到檢測扣件狀態(tài)中。這種利用傳統(tǒng)圖像分割方法去除扣件背景的方法雖然提高了扣件檢測的識別率，但閾值分割的效果受環(huán)境光照影響較大，如圖1真實場景中各扣件圖像因天氣或隧道內(nèi)外光照不同等原因造成圖像亮度變化較大。李永波等[9]提出一種基于機器視覺和模式識別的扣件檢測方法，利用經(jīng)典特征算子梯度直方特征提取感興趣區(qū)域特征，再將特征壓縮后用支持向量機分類扣件圖像。特征算子的應用使得該算法在光照變化較大的情況下具有魯棒性，但其選擇固定感興趣區(qū)域提取特征檢測扣件狀態(tài)的方法極易受到環(huán)境中干擾物的影響，在檢測復雜環(huán)境下扣件狀態(tài)時有較大偏差。

圖1 復雜場景中的扣件圖像

計算機硬件的發(fā)展使得對運算有較大要求的深度學習也應用到扣件狀態(tài)檢測中。如趙鑫欣[10]使用AlexNet實現(xiàn)了光照差異和油污環(huán)境下的扣件狀態(tài)；林菲等[11]利用VGG網(wǎng)絡(luò)檢測扣件狀態(tài)，提高了扣件檢測精度。但這些均基于扣件圖像的全局特征，容易受到復雜環(huán)境的影響。為去除扣件圖像的復雜背景，在此基礎(chǔ)上提高扣件檢測的精度，代先星[12]使用先驗知識將彈條從圖像中分割出來，程思柳[13]利用超像素分割得到扣件區(qū)域。

提出一種基于前景分割的方法對扣件狀態(tài)進行檢測。如圖2所示，為消除環(huán)境因素中背景的影響，將扣件彈條和軌道邊緣部分從圖像中分割出來。全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)[14]是最早應用于圖像分割的深度學習網(wǎng)絡(luò)，基于FCN改進的圖像分割算法已大量應用到醫(yī)學[15]、農(nóng)業(yè)[16]、工業(yè)[17]等方面，金字塔場景分析網(wǎng)絡(luò)(Pyramid Scene Parsing Network，PSPNet)[18]是其中較為優(yōu)秀的圖像分割網(wǎng)絡(luò)之一，本次改進了PSPNet的特征提取層，提高了算法的運行速度和分割正確率。為消除環(huán)境因素中的光照影響，通過局部二值模式(Local Binary Pattern，LBP)[19]算法計算扣件前景圖的局部紋理特征。最后，將提取的特征輸入支持向量機(Support Vector Machine， SVM)分類。實驗證明，使用提出的方法檢測復雜場景下的鐵路扣件可得到較好效果。

圖2 算法流程

1 基于改進的PSPNet前景分割

選取扣件前景如圖3所示，扣件圖像中的彈條和鋼軌邊沿作為前景，其余為背景。在前景中彈條是面積較大的不規(guī)則連續(xù)區(qū)域，在進行圖像分割時需給圖像中的每個像素指定一個類別標注。全卷積網(wǎng)絡(luò)可以分割圖像中的動態(tài)對象，實現(xiàn)逐像素分類，但其單一的直線型結(jié)構(gòu)使得對大片連續(xù)區(qū)域的對象在語義理解上有所缺陷[20]。PSPNet 通過特征提取層和金字塔池化層信息的融合，包含了圖像中的上下文信息，使其在分割較大連續(xù)不規(guī)則動態(tài)對象時更有優(yōu)勢。

圖3 扣件前景

改進的PSPNet模型的結(jié)構(gòu)如圖4所示，PSPNet可分為特征提取模塊、金字塔池化模塊和輸出模塊。原始PSPNet中使用ResNet提取圖像特征，ResNet可以有較大的深度，能更好的提取圖像深層特征，但冗贅卷積操作使得網(wǎng)絡(luò)計算量變大，影響算法效率。為此，采用圖5中的VGG[21]作改進的PSPNet為特征提取層。其中，Conv表示卷積操作，在卷積神經(jīng)網(wǎng)絡(luò)中，通過一定大小的卷積核作用于圖像的一部分區(qū)域，獲取這個區(qū)域的特征信息，這是卷積神經(jīng)網(wǎng)絡(luò)最具代表的特征。卷積核以特征圖的左上角為起點，以規(guī)定步長“滑動”，每次滑動都會做一次卷積操作，最終得到本層的特征圖，這樣會使本層卷積得到的特征圖與上一層的多個特征圖關(guān)聯(lián)起來。每個卷積核都能提取到圖像信息的一種特征，形成計算機可以識別的特征圖，一個卷積層可以有多個形狀相同的卷積核，這樣可以提取到圖像的多個特征。在進行卷積操作時，同一卷積核在輸入層的同一特征圖中權(quán)值相同，這種權(quán)值共享方式減少了網(wǎng)絡(luò)中的參數(shù)，在一定程度上防止網(wǎng)絡(luò)的過擬合，減少網(wǎng)絡(luò)訓練時間。用三維張量xl∈RHlWlDl表示網(wǎng)絡(luò)第l層的輸入，Hl、Wl、Dl分別為該張量的長度、寬度和高度,yi，j，d為該張量第i行，第j列，第d通道的元素。假設(shè)該層卷積核的數(shù)量為D個，用fl表示，H和W為卷積核大小，卷積操作的公式為

圖4 改進的PSPNet模型結(jié)構(gòu)

圖5 改進的PSPNet特征提取層

(1)

式中，0≤il+1≤Hl， 0≤jl+1≤Wl，0≤d≤D。

ReLU為激活函數(shù)，其公式如下

rectifier(x)=max{0，x}

(2)

可知，ReLU函數(shù)在x≥0導數(shù)為1，x<0導數(shù)為0。激活函數(shù)是一種非線性映射，可以增強模型的非線性表達能力。在模型利用反饋運算更新參數(shù)時，加入激活函數(shù)可防止因參數(shù)數(shù)值過小而導致的梯度消失問題。

Max polling是池化操作，設(shè)池化核大小為H×W，池化操作公式為

0≤i≤H，0≤j≤W

(3)

最大池化操作選擇池化核范圍內(nèi)最大值代表這個區(qū)域的特征輸出，因此，池化操作無需學習參數(shù)。使用池化層時只需指定池化類型、池化操作的核大小和池化操作的步長。池化層使模型更關(guān)注特征本身而不是特征位置；池化層還能有效降低特征維度，進而減小計算量和參數(shù)；池化操作在一定程度上也可防止模型過擬合的現(xiàn)象出現(xiàn)。

(4)

改進的PSPNet使用式(4)作為損失函數(shù)。式(4)為交叉熵損失，在訓練過程中通過最小化損失函數(shù)求解模型。K為像素的種類；y為標簽，若該像素類別為i則yi為1，否則yi為0；pi為網(wǎng)絡(luò)輸出，代表該像素點為第i類的概率。

金字塔池化模塊將不同尺寸的特征圖經(jīng)過金字塔池化后都會轉(zhuǎn)換為相同大小。將特征圖劃分為n×n個區(qū)域，對每個塊用平均池化。為獲得不同尺寸物體的特征，選用4個等級的金字塔。為減小計算量，使用1×1的卷積核對通過金字塔池化得到的特征圖進行降維，一般情況下，若有N級金字塔，則把特征圖的維數(shù)降為原來的1/N。

對不同尺度的特征圖通過公式(5)雙線性差值(上采樣或反卷積)使其具有圖4(b)中特征圖的大小，并把這些特征圖連接在一起，這些特征融合為全局先驗。

f(x，y)≈[1-x]×

(5)

式中，x和y為坐標值；f(x，y)為要求的點值，其余為已知坐標點的像素值。

按圖4中改進的PSPNet提取扣件前景流程，輸入鐵路扣件的原始圖像，經(jīng)過一系列的卷積池化后提取4種尺度的金字塔特征，經(jīng)過特征融合最后輸出扣件的前景部分。

2 LBP特征提取

LBP是一種用來描述圖像局部紋理特征的算子，它具有旋轉(zhuǎn)不變性和灰度不變性的優(yōu)點[21]。設(shè)中心坐標為(xC，yC)，以中心坐標為圓心，半徑為R(R>0)的區(qū)域稱為中心坐標的鄰域，在其圓周上均勻取Q(Q>0)個采樣點， 則這個半徑為R的鄰域局部紋理特征可表示為

(6)

(7)

式中，tC為中心像素值，tk為第k個采樣點的像素值。每個局部紋理特征M共有2Q種可能。

圖6為半徑為3，取12個采樣點圓形鄰域情況，若采用點的坐標不為整數(shù)，則用線性插值法計算該采用點的像素值；若該采樣點超出圖像范圍，則該采樣點的數(shù)值為0。圖7(c)、圖7(d)為LBP算法的可視化結(jié)果。LBP算法在不同亮度下對鐵路扣件前景圖像的特征提取具有很好的魯棒性。

圖6 Q=12，R=3的圓形鄰域

圖7 LBP算法對不同光照環(huán)境下扣件前景處理效果

3 SVM分類

非線性支持向量可以將訓練樣本的特征從原始空間映射到一個更高維的空間，使得樣本在這個空間中線性可分，如果樣本特征在原始空間維數(shù)是有限的，即屬性是有限的，那么一定存在一個高維特征空間是樣本可分。令?(x)表示將x映射后的特征向量，WT為參數(shù)矩陣的轉(zhuǎn)置，于是在特征空間中，劃分超平面所對應的模型可表示為

f(x)=WT?(x)+b

(8)

該超平面模型對應的最小化函數(shù)為

(9)

其約束條件為

yi=f(Hi)≥1 (i=1，2，…，m)

(10)

式中，Hi為正樣本，共m個特征，在保證正樣本分類正確的前提下使得超平面模型系數(shù)的模最小。利用拉格朗日乘子法(Lagrange Multiplier)求解其對偶問題

(11)

求解時，會計算?(xi)T·?(xj)，這是樣本映射到特征空間之后的內(nèi)積，由于特征空間的維數(shù)可能很高，因此直接計算難度很大，這用到高斯核函數(shù)

(12)

將LBP算法提取到的扣件前景特征用SVM進行分類，最終實現(xiàn)了扣件狀態(tài)的檢測。

4 實驗及分析

實驗涉及的軟硬件平臺及版本信息如表1所示。

表1 實驗軟硬件平臺及版本信息

4.1 前景分割算法實驗分析

前景分割數(shù)據(jù)集中的所用圖像采集自石家莊鐵路段的SFC型扣件，在前景分割階段選用LabelMe開源圖像標注工具對數(shù)據(jù)集進行標注。如圖8所示，軌道邊緣由矩形框出輪廓，該矩形框的4個頂點是圖像上軌道區(qū)域的邊緣點，用rail表示。彈條部分用密集的點勾勒出輪廓，圖中每個閉合輪廓區(qū)域由平均51個點組成，用stripe表示。圖像其余部分為背景。

圖8 數(shù)據(jù)集樣例

前景分割數(shù)據(jù)集圖像大小為473pixel×473pixel，共600張，其中，訓練集400張，測試集200張。

文中對扣件前景分割效果使用總體精度(Overall Accuracy，OA)、F1度量(F1-Score)和kappa系數(shù)來評估算法。這些評價指標都與混淆矩陣相關(guān)?？傮w精度計算公式為

(13)

式中，tp為測試數(shù)據(jù)中被正確分類的像素總數(shù)；n為測試數(shù)據(jù)像素的總數(shù)；OA為總體精度，即被正確分類的像素占總測試數(shù)據(jù)像素的比例。

F1度量的計算公式為

(14)

(15)

(16)

式中，Pi為第i類的查準率；Ri為第i類別的查全率；tpi為模型預測的第i類的真正例的像素數(shù)；Ki為模型預測的第i類真正例與假正例的和；Ci為測試數(shù)據(jù)中第i類像素的數(shù)量；Cclass為總類別。F1度量結(jié)合查準率與查全率，對算法進行整體評價。0≤F1≤1，且F1越接近1，算法效果越好。

kappa系數(shù)用來衡量預測結(jié)果與標注數(shù)據(jù)的一致性，計算公式為

(17)

(18)

式中，ni1為標注數(shù)據(jù)中第i類像素總數(shù)；ni2為模型預測的真正例像素數(shù)。標注數(shù)據(jù)和預測結(jié)果是兩個評價者，其中，OA為評價者之間相對觀察一致性，pe為偶然一致性的假設(shè)概率。如評分者完全一致，則kappa=1，如評分者之間除偶然之外沒有達成一致，kappa=0。

通過本文方法與FCN和原生PSPNet的對比，驗證了本文所用前景分割方法的優(yōu)越性。其中，F(xiàn)CN的特征提取層為VGG16，PSPNet的特征提取層選用Resnet101，各算法的評價指標如表2所示。

表2 分割算法實驗結(jié)果

從實驗結(jié)果可知，在整體正確率、F1度量、kappa系數(shù)等評價指標中，改進后的PSP算法都取得了較好的效果。這是因為，扣件圖像語義分類相對簡單，且前景為較大連續(xù)區(qū)域，PSPNet特征提取層較多，學習到了較多噪聲信息，F(xiàn)CN沒有金字塔池化模塊，不能很好地理解較大連續(xù)區(qū)域的語義信息，而本文方法的特征提取層較為適用這種情況。因為精簡了特征提取層，改進方法的運行速度比原始PSPNet的運行速度有明顯提升，但因本文方法增加了金字塔池化層，所用速度略慢于FCN網(wǎng)絡(luò)。

4.2 扣件狀態(tài)檢測實驗分析

將扣件分為正常狀態(tài)和異常狀態(tài)兩類，如圖9所示，異常狀態(tài)扣件包括斷裂、彈出等情況。數(shù)據(jù)集中圖像共600張，其中，正常狀態(tài)扣件430張，異常狀態(tài)扣件170張。隨機選取400張圖像作為訓練集，200張作為測試集。測試集中正常狀態(tài)扣件142張，異常狀態(tài)扣件58張。

圖9 扣件狀態(tài)

使用式(13)總體精度、式(19)精確率(Precision)、式(20)虛警率(False alarm，F(xiàn)PR)和式(21)漏警率(Missing alarm，F(xiàn)NR)評估扣件狀態(tài)檢測算法。

(19)

(20)

(21)

式中，NTP為數(shù)據(jù)集中正樣本數(shù)量；NFP為負樣本被檢測為正樣本的數(shù)量；NTN為數(shù)據(jù)集中負樣本的數(shù)量；NFN為正樣本被檢測為負樣本的數(shù)量。相同的軟硬件條件和數(shù)據(jù)集下，將文獻[9]和文獻[11]的算法與本文方法對比。實驗結(jié)果如表3所示。

表3 算法分類實驗結(jié)果

由實驗數(shù)據(jù)可知，傳統(tǒng)方法識別復雜環(huán)境下扣件狀態(tài)有所不足，不能保證很高的正確率；VGG神經(jīng)網(wǎng)絡(luò)相對于傳統(tǒng)方法評價指標得到較大改善，但其基于全局特征的識別方式會受到環(huán)境因素的影響；綜合各個評價指標，本文提出的扣件檢測算法精度最高。

表4是對算法魯棒性檢測的可視化效果。可以看出，在環(huán)境復雜、亮度變化大的情況下，本文提出的方法仍能正確檢測扣件狀態(tài)，具有較強的魯棒性。

表4 魯棒性檢驗

5 結(jié)論

通過改進PSPNet的特征提取層，使其在分割圖像中的彈條和鋼軌邊緣等前景部分時性能得到提升，總體精度達97.53%，F(xiàn)1度量為0.973 9，kappa系數(shù)為0.967 8，分割200張扣件圖像耗時14.983 5 s。使用改進的PSPNet分割扣件圖像，提取扣件前景，消除了復雜背景對扣件狀態(tài)檢測的影響；再通過LBP算法提取前景特征，去除了光照對扣件檢測的影響；最后，使用支持向量機分類，為扣件狀態(tài)檢測問題提供了一個新的解決思路。

實驗表明，在測試集中該方法的總體精度為98.50%，精確度為98.60，F(xiàn)PR為3.51%，F(xiàn)PN為0.70%，比其他方法表現(xiàn)更優(yōu)異；本文方法具有較好的魯棒性，解決了復雜環(huán)境下扣件檢測精度不足的問題。