高速鐵路軌道板圖像智能比對技術(shù)

張萼輝

（中國鐵路上海局集團有限公司 科學(xué)技術(shù)研究所，上海 200071）

1 研究背景

隨著我國高速鐵路里程的日益增長，線路巡檢工作量持續(xù)增加，對線路精細化管理的要求也日益提高，因此高精度自動化巡檢工作正在全面鋪開。中國鐵路上海局集團有限公司應(yīng)用軌道巡檢車采集高鐵線路原始圖像［1］，經(jīng)切割和重新拼接后形成軌道板圖像［2］。根據(jù)軌道車運行控制設(shè)備（GYK）的里程數(shù)據(jù)，每塊軌道板圖像被賦予唯一的里程編號。采集的軌道板圖像分左、右兩側(cè)，分別進行處理。

目前，軌道板圖像的后處理有2種模式。一是人工查看。因數(shù)據(jù)量巨大，且外觀變化點非常稀疏，在海量數(shù)據(jù)中尋找變化點困難，看圖人員也會因視覺和心理疲勞出現(xiàn)漏檢，精度不高。二是采用深度學(xué)習(xí)算法進行目標(biāo)檢測。王喜春等［3］提出一種基于圖像識別的軌道缺陷檢測系統(tǒng)及方法，該方法需要大量的樣本訓(xùn)練，才能得到較好效果。但由于我國高鐵運營維護質(zhì)量很高，缺陷樣本極少，因此很難訓(xùn)練出理想模型。而且，因軌道板故障缺陷種類繁多，深度學(xué)習(xí)必須有明確的類別才能找到故障目標(biāo)，每個類別收集到足夠的正負樣本極難實現(xiàn)。因此，僅采用目標(biāo)檢測方法，很難實現(xiàn)軌道板的故障檢測與外觀狀態(tài)持續(xù)跟蹤。賈強［4］提出一種基于圖像邊緣檢測的軌道傷損識別算法，將邊緣信息檢測及特征提取相結(jié)合，實現(xiàn)軌道傷損判別。由于軌道板上還存在引接線、導(dǎo)接線、卡扣、應(yīng)答器等設(shè)備，以及水漬、污漬等紋理，這些干擾不可避免會增加誤檢，難以達到理想的檢測效果。

在此，提出一種結(jié)合深度學(xué)習(xí)與經(jīng)典圖像處理技術(shù)的軌道板外觀狀態(tài)變化智能比對方法，利用同一塊軌道板的歷史圖像數(shù)據(jù)與新采集的數(shù)據(jù)自動進行比對，尋找外觀差異，從而在無需預(yù)先定義故障類型的情況下篩出軌道板異物、設(shè)備形位變化及破損等故障，提高檢測效率和檢測精度。

2 技術(shù)路線

首先利用目標(biāo)檢測方法，檢出軌道板歷史圖像和待檢圖像中每個扣件的精確位置，以這些定位作為錨點，對局部圖像進行豎直方向上的伸縮使之對齊。其次對圖像進行網(wǎng)格化，提取每個網(wǎng)格區(qū)域圖像的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征［5］，將HOG 特征轉(zhuǎn)成一維向量進行相關(guān)性計算，相關(guān)性低于閾值者為顯著差異點。外觀差異包括設(shè)備缺陷、遺留污漬、軌道板破損、裂紋、前次檢測缺陷的修復(fù)等，為軌道狀態(tài)跟蹤提供完備的資料。軌道板外觀狀態(tài)變化智能比對流程見圖1。

圖1 軌道板外觀狀態(tài)變化智能比對流程

3 技術(shù)方案

3.1 扣件錨點確定

圖像比對最重要的工作是圖像對齊。雖然歷史圖像與待檢圖像均為同一原理的軌道巡檢車搭載的線陣列相機采集，但車輛在行駛過程中不可避免會產(chǎn)生蠕滑［6］，在同一采集位置，編碼器觸發(fā)線陣列相機的采集頻率可能會有較大差別，導(dǎo)致圖像在列車行進方向上產(chǎn)生壓縮或拉伸。因此，圖像比對前的區(qū)域分步對齊是必要工作。

首先需要開發(fā)扣件目標(biāo)檢測算法，對歷史圖像和待檢圖像中的扣件位置進行提取?？奂擒壍腊鍣z測中最重要的目標(biāo)之一，而扣件的大小基本一致，在軌道板中的分布也呈對稱和等間距排列，根據(jù)這些特征可直接判斷由于扣件變化引起的軌道板圖像伸縮變化；另外，每塊軌道板上均有較多扣件，將其定位信息作為錨點，對歷史圖像與待檢圖像進行區(qū)域分步對齊，可達到最佳對齊效果。

選取深度學(xué)習(xí)算法YOLOV5 訓(xùn)練扣件目標(biāo)檢測算法［7］。（1）精標(biāo)大量歷史軌道板圖片，緊貼邊緣框出扣件，并制作數(shù)據(jù)集索引文件；（2）對YOLOV5 模型進行改造。該模型用于紅綠藍（RGB）三通道圖像不同尺寸物體的檢測效果優(yōu)良，但軌道板扣件尺寸基本固定，且采集的軌道板圖像雖為三通道，但軌道上一般沒有多色物體，視覺感受與灰度圖像無異。因此可將捕捉圖像特征的三通道卷積核變?yōu)閱瓮ǖ?；?）進行扣件檢測的目標(biāo)是為了取得區(qū)域分步對齊的錨點，定位精度要求高，因此需修改損失函數(shù)，加大豎直方向上定位部分的權(quán)重，以提高定位精度，損失函數(shù)與定位有關(guān)的部分修改如下：

式中：λcoord為損失函數(shù)中定位部分的權(quán)重，不予改動；S2為預(yù)先設(shè)置的網(wǎng)格數(shù)量；B為每個網(wǎng)格產(chǎn)生的候選框數(shù)量；表示如果第i個網(wǎng)格的第j個候選框中有目標(biāo)其值為1，否則為0；x，y，w，h分別為標(biāo)注數(shù)據(jù)集中定位框的坐標(biāo)和寬、高；x?，y?，w?，h?分別為訓(xùn)練過程中推理得出的定位框坐標(biāo)和寬、高。

上述數(shù)據(jù)根據(jù)整張圖像的寬和高進行歸一化處理。每訓(xùn)練1 步，求取真實框與推理框的歐式距離即為式（1）的結(jié)果，訓(xùn)練的過程就是使該公式最小的過程。因此，該方案將縱坐標(biāo)與框高乘以大于1 的系數(shù)1 +hi，以放大垂直空間上的位置差距，使訓(xùn)練過程中有更大空間壓縮此差距，以提高垂直方向上的位置精度。

算法訓(xùn)練好以后，對歷史圖像和待檢圖像進行扣件目標(biāo)檢測，將圖像中所有扣件檢出，并確定位置。根據(jù)扣件尺寸、軌道左右對稱和間距較為均勻的特征，確定待檢圖像中是否有異常扣件或扣件缺失。若在待檢圖片中，扣件目標(biāo)框的大小失去對稱性與等間距性，則判斷為非理想軌道板，交由人工進一步核實。扣件錨點自動標(biāo)注見圖2。

圖2 扣件錨點自動標(biāo)注

3.2 圖像對齊

扣件目標(biāo)框通過對稱性、等間距性驗證后，根據(jù)框的上、下邊緣2個位置進行對齊。軌道板單側(cè)扣件數(shù)量為5～9 個，可以取到10～18 個較為均勻的錨點。具體方法如下：

計算歷史圖像的頂部到第1個扣件上端的高度，如果待檢圖像的對應(yīng)高度不一致，則將待檢圖像中此段子圖像的高度伸縮至歷史圖像對應(yīng)高度，接著對齊從第1 個扣件上端到下端的高度、從第1 個扣件下端到第2個扣件下端的高度，依次類推，完成全部對齊。將待檢圖像中所有經(jīng)過伸縮對齊的子圖像進行拼接，形成與歷史圖像高度完全一致、內(nèi)部像素在豎直方向上基本對齊的新待檢圖像。

利用邊緣檢測算法確定軌道板邊緣并裁剪掉非軌道板區(qū)域的圖像，進行水平方向的對齊。用Canny邊緣檢測算法［8］提取軌道板邊緣，并將邊緣檢測圖像二值化，突出非軌道板部分和軌道板的分界線，然后通過尋找圖像列像素值總和最大值的方式確定分界線。分界線對齊后對圖像進行水平縮放即可。自動定位軌道板邊緣見圖3。

圖3 自動定位軌道板邊緣

3.3 網(wǎng)格劃分

對歷史圖像和待檢圖像描畫全域網(wǎng)格［9］，網(wǎng)格覆蓋全圖。網(wǎng)格尺寸確定方法如下：收集大量歷史軌道板圖像，緊貼邊緣框出其狀態(tài)變化區(qū)域，同一壓縮比下框的長、寬為1組數(shù)據(jù)。利用K鄰近算法對數(shù)據(jù)進行2 分類，以此確定2 類網(wǎng)格尺寸，其目的是可以更真實地捕捉到差異位置。網(wǎng)格尺寸不能過大也不能過小，網(wǎng)格過小時，一些微小的無害變化在網(wǎng)格中占比過大，容易導(dǎo)致后續(xù)置信度計算中超出閾值形成誤檢；網(wǎng)格過大時，需檢出的變化因在網(wǎng)格中占比小，因其未超出閾值而發(fā)生漏檢。因此采用真實的變化區(qū)域作為網(wǎng)格尺寸是合適的。

每個尺寸的網(wǎng)格進行2 次檢測，第1 次網(wǎng)格左上角與圖像左上角重合，進行網(wǎng)格描畫，第2次將網(wǎng)格整體移動，將網(wǎng)格的每個頂點移動到第1次每個網(wǎng)格的中央位置。網(wǎng)格移動的考量如下：由于網(wǎng)格是隨機張開的，1 個需要檢出的變化區(qū)域可能會分布在2 個甚至4 個網(wǎng)格中。對于單個網(wǎng)格，變化區(qū)域會因占比過小無法觸發(fā)閾值報警，造成漏檢。網(wǎng)格移動后，在上次檢測時網(wǎng)格位置中很分散的變化區(qū)域，在這次檢測時很可能集中體現(xiàn)在1個網(wǎng)格中并檢出，可降低漏檢概率。網(wǎng)格劃分示意見圖4，對于同一尺寸的網(wǎng)格，紅色網(wǎng)格和黃色網(wǎng)格位置需分別計算1次。

圖4 網(wǎng)格劃分示意圖

3.4 分區(qū)域比對

確定網(wǎng)格后，對每個網(wǎng)格區(qū)域進行如下操作：分別求取歷史圖像和待檢圖像對應(yīng)網(wǎng)格的HOG 特征，并將HOG 特征向量化。計算X、Y兩個向量的相關(guān)系數(shù)。相關(guān)系數(shù)公式如下：

式中：Cov（X，Y）為X與Y的協(xié)方差；Var［X］為X的方差；Var［Y］為Y的方差。

若2個網(wǎng)格中的子圖像基本一致，其像素空間變化的方向和大小也基本一致，相關(guān)性較高，若2個網(wǎng)格中圖像有差異，則其像素的空間變化將失去協(xié)同性，相關(guān)系數(shù)低。對應(yīng)網(wǎng)格中圖像差異性越大，其相關(guān)系數(shù)越低。因相關(guān)系數(shù)是考慮向量變化的協(xié)同性，只與變化的相對性有關(guān)，因此對整體圖像的明暗不敏感，比結(jié)構(gòu)相似性（SSIM）算法［10］更適用于軌道板場景的檢測。

利用HOG 特征而非圖像原始像素進行向量化，是因圖像不是完全對齊，可能存在上下左右1～2 個像素的偏差，而HOG 特征對于像素小范圍偏差具有較強的魯棒性。通過對2類尺寸×2類位置的4類網(wǎng)格進行相關(guān)系數(shù)的計算，并求出最小的相關(guān)系數(shù)，如果該數(shù)據(jù)小于預(yù)先設(shè)定的閾值，則判定此圖像有顯著外觀變化，交由人工復(fù)核。自動比對效果見圖5。

圖5 自動比對效果

4 檢測效果

相關(guān)軟件開發(fā)完成后，對近期采集的滬寧城際鐵路全線軌道板圖像數(shù)據(jù)進行檢測。該批次數(shù)據(jù)左、右線陣列相機拍攝軌道板10.8萬張，經(jīng)檢測，確認10.5萬張軌道板圖像不存在顯著外觀變化，為正常服役狀態(tài)。為統(tǒng)計漏檢，對這些圖像進行了人工抽樣復(fù)核，未發(fā)現(xiàn)漏檢。其余2 926 張圖像需人工確認狀態(tài)，經(jīng)復(fù)核，發(fā)現(xiàn)其中10%左右的軌道板存在破損、污損、引接線卡扣脫落、引接線移位等異常情況。

利用軌道板圖像智能比對技術(shù)開發(fā)的軟件，可確認并過濾正常軌道板，降低人工查看工作量。因此在保證無較大缺陷漏檢的基礎(chǔ)上，正常軌道板確認率為其重要考核指標(biāo)。經(jīng)上述統(tǒng)計分析，軟件的正常軌道板確認率為97.2%，人工僅需復(fù)核2.8%的圖像，大幅提高了工作效率，并節(jié)約了人工成本。

5 結(jié)束語

上述高速鐵路軌道板圖像智能比對技術(shù)的應(yīng)用，改變了以人工為主的鐵路線路圖像檢測方式，減輕了圖像分析人員的工作量和工作壓力，提高了鐵路基礎(chǔ)設(shè)施精細化管理水平，提升了高鐵運營的安全性和可靠性；管理部門可直觀地掌握線路上每塊軌道板及其附屬設(shè)備設(shè)施的服役狀態(tài)和變化趨勢，為科學(xué)制定養(yǎng)護維修計劃和標(biāo)準提供科學(xué)依據(jù)，具有良好的經(jīng)濟和社會效益。