基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的鐵軌傷損圖像識(shí)別

(安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232000)

鐵軌的傷損檢測(cè)在鐵路安全運(yùn)營中意義重大，國內(nèi)由于鐵路客貨混跑、行車密度大、客運(yùn)提速等因素，導(dǎo)致鐵軌表面易造成傷損，如果發(fā)現(xiàn)不及時(shí)，會(huì)使缺陷進(jìn)一步加大，從而引起嚴(yán)重的交通安全事故[1]。截至2016年，通過分析統(tǒng)計(jì)的全球鐵路里程數(shù)據(jù)，國內(nèi)鐵路總里程數(shù)據(jù)排名世界第二，其中高速鐵路總里程數(shù)據(jù)排名世界第一。若對(duì)提速后的火車線路完全依靠人工巡檢，不僅耗費(fèi)巨大的人力物力，而且增加鐵路巡檢工作的危險(xiǎn)性。在鐵軌傷損方面研制快速自動(dòng)檢測(cè)技術(shù)對(duì)鐵軌安全運(yùn)行變得極為重要。目前，在鐵軌表面?zhèn)麚p檢測(cè)中，大多都是運(yùn)用機(jī)器視覺方法對(duì)鐵軌樣本圖像進(jìn)行判別[2-4]，如西南交通大學(xué)官鑫的學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)算法、江南大學(xué)茅正沖的圖像增強(qiáng)與分割的算法等。但這些算法前期都要對(duì)樣圖進(jìn)行煩瑣的圖像預(yù)處理或特征提取工作，且鐵軌樣本圖像的分類精度嚴(yán)重依賴預(yù)處理和特征提取的合適與否。

深度學(xué)習(xí)中在探究模式識(shí)別時(shí)引用卷積神經(jīng)網(wǎng)絡(luò)，且應(yīng)用卷積網(wǎng)絡(luò)的效果明顯，因此學(xué)術(shù)界對(duì)于卷積網(wǎng)絡(luò)很關(guān)注[5]。卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像在前期可省略復(fù)雜的特征提取工作，再對(duì)圖片進(jìn)行識(shí)別。卷積網(wǎng)絡(luò)具有網(wǎng)絡(luò)學(xué)習(xí)特點(diǎn)，經(jīng)學(xué)習(xí)后得到的圖片特征相對(duì)于人工方法提取的特征，更能反映樣本背后的規(guī)律，對(duì)于復(fù)雜度高的圖像也能實(shí)現(xiàn)高精度分類[6-8]。

卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練過程和BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程類同[9]，其中相關(guān)參數(shù)的計(jì)算為參數(shù)的前向過程傳遞和誤差的反向過程回饋。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練在每次迭代過程中包含對(duì)多層卷積層計(jì)算過程與池化層池化計(jì)算過程，這極為耗費(fèi)時(shí)間。因此提出一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型，用于鐵軌傷損與非傷損樣本圖像的識(shí)別。改進(jìn)算法在保證識(shí)別準(zhǔn)確率下減少了卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練時(shí)間，在鐵軌探傷方面提高了檢測(cè)速度。

1 相關(guān)算法介紹

1.1 卷積神經(jīng)網(wǎng)絡(luò)

20世紀(jì)60年代，Hubel和Wiesel在研究神經(jīng)網(wǎng)絡(luò)時(shí)針對(duì)貓腦皮層的局部敏感和方向選擇的神經(jīng)元，得出卷積網(wǎng)絡(luò)具有獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)，可以有效降低網(wǎng)絡(luò)反饋方面存在的復(fù)雜性問題。在構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)中直接輸入圖像，網(wǎng)絡(luò)訓(xùn)練過程對(duì)參數(shù)進(jìn)行前向傳遞并對(duì)誤差進(jìn)行反向傳播回饋，不斷重復(fù)計(jì)算、修正參數(shù)使輸出值達(dá)到期望值。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖

在圖1中，卷積網(wǎng)絡(luò)結(jié)構(gòu)包含輸入層、一層卷積層、一層池化層和一層全連接層。建立的卷積神經(jīng)網(wǎng)絡(luò)中輸入60像素×60像素的圖片，實(shí)現(xiàn)卷積計(jì)算作用的卷積層選擇卷積核的大小為5×5，卷積計(jì)算過程中采取的步長為1，卷積層中卷積計(jì)算使用的激活函數(shù)類型有Sigmoid、Relu函數(shù)，選擇Relu函數(shù)時(shí)不需要再進(jìn)行引入稀疏性工作；池化作用的池化層選擇池化核的大小為2×2，池化計(jì)算的步長為2，采用最大池化法計(jì)算后得到的值作為池化層輸出值，能減少采樣過擬合問題。最后一層全連接層可以將圖片樣本學(xué)習(xí)后得到的分布式特征與建立的樣本標(biāo)記空間通過映射建立關(guān)系。

卷積神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)結(jié)構(gòu)上可以建立多卷積層，卷積層在功能上實(shí)現(xiàn)特征提取，數(shù)學(xué)表達(dá)式為

(1)

式中，αj-1+l,k+m為卷積神經(jīng)網(wǎng)絡(luò)卷積計(jì)算中第j個(gè)卷積層所在的第k個(gè)神經(jīng)元相對(duì)應(yīng)的輸入表示；αj,k為卷積神經(jīng)網(wǎng)絡(luò)卷積計(jì)算中第j個(gè)卷積層所在的第k個(gè)神經(jīng)元的輸出表示；f為卷積神經(jīng)網(wǎng)絡(luò)卷積計(jì)算中卷積層使用的激活函數(shù)；ω為在卷積神經(jīng)網(wǎng)絡(luò)卷積計(jì)算中卷積層使用卷積核5×5大小的共享矩陣；b為共享偏置。

池化層在降低過擬合問題時(shí)利用局部平均計(jì)算和子抽樣計(jì)算來實(shí)現(xiàn)，通過降低樣本的輸出來簡(jiǎn)化輸出特征量的大小。池化作用可獲得有映射關(guān)系的樣本特征，特征通過平移形式或者其他形式變形后，特征敏感度能夠降低，數(shù)學(xué)表達(dá)式為

αj+1=β·Pool(αj)

(2)

式中，β為下采樣層的權(quán)重系數(shù)；Pool為池化作用的函數(shù)，有max-pooling函數(shù)。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上有進(jìn)行數(shù)據(jù)學(xué)習(xí)的輸入層、包含多個(gè)隱含節(jié)點(diǎn)的隱含層與輸出網(wǎng)絡(luò)學(xué)習(xí)結(jié)果的輸出層，其中隱含層學(xué)習(xí)可以由多層結(jié)構(gòu)構(gòu)成。BP神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過程中使用的是一種多層網(wǎng)絡(luò)學(xué)習(xí)算法，計(jì)算內(nèi)容包括對(duì)參數(shù)進(jìn)行前向傳遞和對(duì)誤差進(jìn)行反向傳播回饋。對(duì)于實(shí)際輸出量的計(jì)算，計(jì)算方向是從輸入到輸出的方向。其中隱含層和輸出層包含的神經(jīng)元節(jié)點(diǎn)相關(guān)的輸入輸出計(jì)算數(shù)學(xué)表達(dá)式[10]如下：

隱含層第m個(gè)節(jié)點(diǎn)的輸入

(3)

隱含層第m個(gè)節(jié)點(diǎn)的輸出

(4)

輸出層第k個(gè)節(jié)點(diǎn)的輸入

(5)

輸出層第k個(gè)節(jié)點(diǎn)的輸出

(6)

式中，Wmn為在BP網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該隱含層所在的第m個(gè)隱含神經(jīng)元節(jié)點(diǎn)與到相鄰輸入層包含的第n個(gè)神經(jīng)元節(jié)點(diǎn)連接的權(quán)值參數(shù)；Wkm為在網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該輸出層所在的第k個(gè)輸出神經(jīng)元節(jié)點(diǎn)與到相鄰輸入層所包含的第m個(gè)節(jié)點(diǎn)連接的權(quán)值參數(shù)；xn為在BP網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該輸入層所在的第n個(gè)神經(jīng)元節(jié)點(diǎn)的輸入；θm為在網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該隱含層第m個(gè)神經(jīng)元節(jié)點(diǎn)的閾值參數(shù)；αk為在BP網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該輸出層第k個(gè)神經(jīng)元節(jié)點(diǎn)的閾值參數(shù)；φ為在網(wǎng)絡(luò)學(xué)習(xí)計(jì)算中該隱含層選擇的激勵(lì)函數(shù)。訓(xùn)練網(wǎng)絡(luò)的權(quán)值與閾值通過梯度下降反向調(diào)整誤差，從輸出到輸入反轉(zhuǎn)修正隱含層，其中權(quán)值的誤差函數(shù)為[10]

(7)

訓(xùn)練學(xué)習(xí)過程中由選擇的訓(xùn)練樣本構(gòu)成一個(gè)訓(xùn)練集，訓(xùn)練集的樣本數(shù)量為T個(gè)。式中，Tk為輸出層第k個(gè)神經(jīng)元節(jié)點(diǎn)要求的期望輸出，Ok為輸出層包含的第k個(gè)神經(jīng)元節(jié)點(diǎn)的實(shí)際輸出。通過相關(guān)誤差公式計(jì)算，反向調(diào)整相應(yīng)權(quán)值和閾值，使用的計(jì)算數(shù)學(xué)表達(dá)式[10]為

(8)

通過式(7)與式(8)式來計(jì)算期望輸出與實(shí)際輸出的誤差量，使用誤差梯度下降法反饋調(diào)整該輸出層包含的各層神經(jīng)元的權(quán)值與閾值大小，重復(fù)訓(xùn)練直到期望輸出與設(shè)定期望值接近。

2 鐵軌傷損識(shí)別算法

2.1 改進(jìn)卷積算法

構(gòu)建了卷積、BP網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，結(jié)果分析得出：卷積網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率高但訓(xùn)練時(shí)間過長，BP網(wǎng)絡(luò)的識(shí)別效果不理想但訓(xùn)練時(shí)間短。設(shè)計(jì)一種改進(jìn)的鐵軌傷損圖片識(shí)別算法用于鐵軌傷損與非傷損圖片的分類識(shí)別。改進(jìn)后的算法結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)算法的結(jié)構(gòu)簡(jiǎn)圖

2.2 改進(jìn)算法訓(xùn)練網(wǎng)絡(luò)

改進(jìn)算法在網(wǎng)絡(luò)模型上由卷積神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)組成，其中設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是用于初步提取鐵軌圖像的特征，設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是用于訓(xùn)練卷積提取后的低維度鐵軌圖像特征。

改進(jìn)算法中，對(duì)用于特征提取的卷積網(wǎng)絡(luò)設(shè)計(jì)了3層卷積-池化層。每層卷積-池化層中，進(jìn)行卷積計(jì)算的卷積核大小為5×5，卷積的計(jì)算步長為1，實(shí)現(xiàn)該卷積層卷積功能的激活函數(shù)選擇Sigmoid激活函數(shù)；池化層通過池化計(jì)算來簡(jiǎn)化特征量，采用的池化核大小為2×2，池化作用的計(jì)算步長為2，池化函數(shù)類型選擇max-pooling；最后一層是全連接層，它的作用是將經(jīng)卷積-池化學(xué)習(xí)得到的4像素×4像素的圖片轉(zhuǎn)變?yōu)橐痪S向量形式的16個(gè)特征。

改進(jìn)算法中，BP網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為16，是經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)一次前向運(yùn)算得到的低維度鐵軌特征圖的特征數(shù)。改進(jìn)算法中BP網(wǎng)絡(luò)結(jié)構(gòu)包含的隱含層神經(jīng)元節(jié)點(diǎn)數(shù)目選擇，第一層隱含層神經(jīng)元節(jié)點(diǎn)數(shù)目為24，第二層隱含層神經(jīng)元節(jié)點(diǎn)數(shù)目為8。輸出層的神經(jīng)元節(jié)點(diǎn)數(shù)目是2(二分類問題，識(shí)別傷損與非傷損圖片)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)對(duì)象

鐵軌在其使用過程中，會(huì)發(fā)生鐵軌面壓潰、壓裂等傷損現(xiàn)象，這會(huì)影響和限制著鐵軌的使用性能，即鐵軌的傷損。實(shí)驗(yàn)中鐵軌表面圖片是利用超聲波獲取鐵軌表面狀態(tài)信息，經(jīng)專用軟件處理后而獲得的。經(jīng)軟件處理后獲取的鐵軌表面圖片包括傷損點(diǎn)、焊接點(diǎn)和磨損點(diǎn)，如圖3所示。

圖3 鐵軌超聲波探測(cè)圖

圖片中出現(xiàn)的“X、Y、V、W、八”形狀是傷損部位，需要被識(shí)別出來，磨損點(diǎn)和焊接點(diǎn)視為正常部位，不需檢測(cè)出來。實(shí)驗(yàn)中，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的輸入鐵軌表面圖片是從圖3中獲取的60像素×60像素的圖片，包括傷損點(diǎn)圖片、焊接點(diǎn)圖片、磨損點(diǎn)圖片如圖4所示。

圖4 鐵軌超聲波探測(cè)局部圖

鐵軌表面?zhèn)麚p與否在超聲波圖片里表現(xiàn)為不同的形狀，與色彩無關(guān)，為減少圖片里的冗余信息，將其轉(zhuǎn)換成灰度圖片作為改進(jìn)算法的輸入數(shù)據(jù)。其中，傷損圖片組和非傷損圖片組各200張，從兩組中隨機(jī)各選取320張圖片用于算法的模型訓(xùn)練，樣本剩余的80張傷損圖與非傷損圖用于測(cè)試已訓(xùn)練好的模型、分析識(shí)別性能。

3.2 改進(jìn)算法傷損識(shí)別分析

由改進(jìn)算法構(gòu)建的網(wǎng)絡(luò)模型訓(xùn)練學(xué)習(xí)中，得到的鐵軌傷損與非傷損圖片識(shí)別的訓(xùn)練誤差曲線和誤差變化率曲線(即error(i+1)-error(i))如圖5所示。實(shí)驗(yàn)中，改進(jìn)算法的網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)為4000次，圖中只畫出網(wǎng)絡(luò)訓(xùn)練初期迭代前3000次的誤差和誤差變化曲線。

由圖5可知，改進(jìn)算法在鐵軌表面樣圖識(shí)別的模型訓(xùn)練階段，誤差變化大約在第600次迭代時(shí)達(dá)到最大后慢慢減小。經(jīng)歷1000次迭代，網(wǎng)絡(luò)誤差就已小于0.05，網(wǎng)絡(luò)誤差的收斂速度效果好，且網(wǎng)絡(luò)的誤差變化較平滑。改進(jìn)算法測(cè)試結(jié)果如表1所示。

表1中訓(xùn)練誤差是指在訓(xùn)練過程中每次迭代計(jì)算得到的期望值與實(shí)際值的差值；測(cè)試精度是指測(cè)試分類效果時(shí)正確識(shí)別圖片數(shù)量與總體數(shù)量的百分比。由表1可知改進(jìn)算法在迭代4000次后訓(xùn)練誤差達(dá)到0.0049，訓(xùn)練好的模型用于待測(cè)數(shù)據(jù)測(cè)試結(jié)果精度達(dá)到95%，可以達(dá)到較好的識(shí)別效果。鐵軌傷損圖片識(shí)別實(shí)驗(yàn)結(jié)果表明，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)用于鐵軌探傷圖像的特征提取識(shí)別具有可行性，能應(yīng)用于鐵軌探傷檢測(cè)作業(yè)。

3.3 改進(jìn)算法訓(xùn)練性能比較

用改進(jìn)算法、BP算法與卷積神經(jīng)網(wǎng)絡(luò)算法在相同學(xué)習(xí)因子等參數(shù)下對(duì)320張圖片進(jìn)行模型訓(xùn)練。實(shí)驗(yàn)中，BP神經(jīng)網(wǎng)絡(luò)算法建模采用三層網(wǎng)絡(luò)結(jié)構(gòu)，第一層由數(shù)目為3600個(gè)神經(jīng)元構(gòu)成的輸入層(像素大小60×60=3600)；第二層由數(shù)目為96個(gè)神經(jīng)元構(gòu)成的隱含層；最后一層由數(shù)目為2個(gè)神經(jīng)元構(gòu)成的輸出層(二分類問題，傷損與非傷損圖片)。卷積網(wǎng)絡(luò)在建模中設(shè)計(jì)三層卷積-池化結(jié)構(gòu)，每個(gè)卷積層后連接一個(gè)池化層，三層卷積-池化層由相應(yīng)的卷積層、池化層連接。三層卷積-池化層具有的卷積層的卷積核大小都為5×5，卷積計(jì)算步長為1，在每層卷積層后連接實(shí)現(xiàn)壓縮簡(jiǎn)化特征作用的池化層的池化核大小都為2×2，池化作用計(jì)算的步長為1。其中關(guān)于卷積層、全連接層中神經(jīng)元數(shù)具體數(shù)目選擇，對(duì)于第一層卷積層的神經(jīng)元數(shù)目為6，第二、三層卷積層的神經(jīng)元數(shù)目為12，在卷積網(wǎng)絡(luò)算法中設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)所包含全連接層神經(jīng)元數(shù)目為192，網(wǎng)絡(luò)的輸出層神經(jīng)元數(shù)目為2(二分類，傷損與非傷損圖片)。改進(jìn)算法、BP算法與卷積神經(jīng)網(wǎng)絡(luò)三種神經(jīng)網(wǎng)絡(luò)算法等同學(xué)習(xí)條件下的的網(wǎng)絡(luò)訓(xùn)練誤差曲線如圖6所示。

圖6 3種算法誤差曲線比較圖

在圖6中包含了3種算法在進(jìn)行4000次迭代計(jì)算后得到的網(wǎng)絡(luò)訓(xùn)練誤差曲線。分析3種神經(jīng)網(wǎng)絡(luò)算法誤差曲線可知，在大概200次迭代前BP網(wǎng)絡(luò)訓(xùn)練變化誤差下降最快；在200～700次迭代中，卷積神經(jīng)網(wǎng)絡(luò)誤差下降最快；大約在經(jīng)歷750次迭代后，改進(jìn)算法的訓(xùn)練誤差先達(dá)到最小。3種算法中CNN、BP訓(xùn)練誤差曲線收斂效果不太理想，改進(jìn)算法的誤差曲線收斂效果較好，誤差變化較平滑。采用改進(jìn)算法、BP算法與卷積神經(jīng)網(wǎng)絡(luò)算法在相同學(xué)習(xí)因子等參數(shù)下對(duì)相同鐵軌樣本圖片進(jìn)行訓(xùn)練與測(cè)試，實(shí)驗(yàn)結(jié)果如表2所示。

由表2可知，改進(jìn)算法在圖片識(shí)別實(shí)驗(yàn)中測(cè)試精度最高，為95.00%，BP算法的測(cè)試精度最低，為76.25%，CNN算法居中，為93.75%；改進(jìn)算法的訓(xùn)練時(shí)間最少，為22.46 s，CNN的訓(xùn)練時(shí)間最多，為1012.87 s，BP算法居中，為307.16 s。此外，BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差約為0.0499，而測(cè)試精度只有

76.25%，表明BP網(wǎng)絡(luò)訓(xùn)練已過擬合。綜合鐵軌圖片在3種算法下的識(shí)別實(shí)驗(yàn)數(shù)據(jù)分析，可得改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合BP神經(jīng)網(wǎng)絡(luò)新算法在鐵軌傷損圖片識(shí)別中性能最好。

表2 三種算法實(shí)驗(yàn)數(shù)據(jù)結(jié)果

4 結(jié)束語

鐵軌表面?zhèn)麚p的快速識(shí)別，在鐵路安全運(yùn)營中意義重大。本文設(shè)計(jì)的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別傷損圖像，不僅減少了傳統(tǒng)模式識(shí)別中存在的預(yù)處理和特征處理工作量，而且提高了卷積神經(jīng)網(wǎng)絡(luò)對(duì)鐵軌表面?zhèn)麚p圖片的識(shí)別性能。并將該算法與BP算法、卷積算法進(jìn)行性能比較，通過對(duì)訓(xùn)練時(shí)間、測(cè)試誤差與測(cè)試精度3個(gè)方面的比較，得出改進(jìn)算法在鐵軌探傷識(shí)別性能上有較高的識(shí)別速率與識(shí)別精度。實(shí)驗(yàn)結(jié)果表明，基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)算法在鐵軌傷損檢測(cè)識(shí)別上具有很好的應(yīng)用前景。