王寧 李健超 王智超 柴雪松 暴學(xué)志 劉艷芬
1.中國鐵道科學(xué)研究院集團有限公司 鐵道建筑研究所, 北京 100081;2.中國鐵道科學(xué)研究院集團有限公司 高速鐵路軌道系統(tǒng)全國重點實驗室, 北京 100081
隨著服役時間增長,高速鐵路基礎(chǔ)設(shè)施缺陷逐漸顯現(xiàn),出現(xiàn)表面裂縫、離縫、破損掉塊等多種典型傷損,對高速行車造成威脅。
對于混凝土結(jié)構(gòu)裂縫的檢測,主要有基于機器視覺和超聲的檢測技術(shù)。視覺檢測中包括傳統(tǒng)圖像處理和深度學(xué)習(xí)方法。薛峰等[1]通過預(yù)處理增強、裂縫合并、噪聲剔除等步驟,準確定位裂縫所在的位置。馬躍坤等[2]提出結(jié)合形態(tài)學(xué)處理與k-means 聚類實現(xiàn)紅外熱圖像多尺度閾值增強的裂縫檢測算法。戰(zhàn)友等[3]基于三維激光掃描技術(shù),通過融合自適應(yīng)閾值分割、PGM(Probabilistic Graphical Model)概率圖模型建立軌道板裂縫集成學(xué)習(xí)識別算法。Zheng 等[4]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的多目標檢測方法,通過Mask R-CNN(Region-Convolutional Neural Networks)缺陷檢測模型對表面缺陷進行檢測。汪晨曦等[5]提出基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的混凝土軌枕裂紋識別算法,利用裂紋顯著性分割網(wǎng)絡(luò)實現(xiàn)對軌枕裂紋的精確分割。劉奇鋒[6]提出基于Dense Net 的軌道板裂縫分割檢測方法,實現(xiàn)對細小裂縫精準分割。
對于無砟軌道板離縫檢測,有紅外成像、可見光成像、線激光三維掃描等多種方法。Hiasa 等[7]通過紅外相機獲取結(jié)構(gòu)表面的溫度圖像,通過分析潛在分層區(qū)域來檢測層間離縫傷損??軚|華[8]通過線結(jié)構(gòu)激光傳感器掃描軌道板獲取三維激光點云,利用三維建模和特征識別方法測量得到軌道板高度及離縫大小。馬臣希等[9]提出了利用圖像智能處理技術(shù)自動識別無砟軌道板裂縫以及通過線結(jié)構(gòu)光測量和點云建模技術(shù)分析軌道板離縫的技術(shù)思路。
目前相關(guān)成熟應(yīng)用主要集中在無砟軌道鋼軌、扣件、軌道板裂縫檢測等方面。與無砟軌道實際需求相比還存在以下不足:
1)既有綜合巡檢車、軌道板裂縫及離縫檢測儀不能準確檢測裂縫、離縫等傷損,不滿足Q/CR 803—2020《高速鐵路無砟道床傷損評定》和TG/GW—2023《高速鐵路無砟軌道線路維修規(guī)則(試行)》的要求。目前無砟軌道檢測主要還是依靠人工巡檢,對于隱蔽裂縫、離縫類傷損人工定量檢查較為困難,無法做到全面有效檢查;
2)現(xiàn)有研究效果大多驗證不充分,大多數(shù)文獻用少量樣本進行測試,數(shù)量偏少且代表性不足。檢測系統(tǒng)和算法的檢測精度和識別率需要通過大量現(xiàn)場樣本來測試驗證,方可提升現(xiàn)場應(yīng)用的準確率和效率。
針對高速鐵路無砟軌道結(jié)構(gòu)隱蔽缺陷檢測與辨識速度、精度同步提升困難,智能化程度低的難題,本文通過研究基于相機激光一體化自適應(yīng)成像技術(shù),實現(xiàn)無砟軌道軌道板及層間離縫全斷面高清圖像的快速采集,研發(fā)基于多模協(xié)同無砟軌道表觀圖像傷損混合缺陷智能識別算法,并融合現(xiàn)行維修規(guī)則及檢測數(shù)據(jù)識別結(jié)果實現(xiàn)傷損自動評估,最終形成無砟軌道表觀傷損智能檢測裝置。
無砟軌道表觀傷損智能檢測裝置包括無砟軌道巡檢平臺和傷損智能識別系統(tǒng),框架見圖1。
圖1 系統(tǒng)框架
無砟軌道巡檢平臺通過機械硬件和軟件程序設(shè)計,在軌道上實現(xiàn)移動連續(xù)檢測,可實現(xiàn)無砟軌道表觀狀態(tài)的全斷面高清晰圖像采集識別及精準定位。
傷損智能識別系統(tǒng)實現(xiàn)對采集的海量無砟軌道表觀圖像數(shù)據(jù)的存儲、拼接處理、智能識別、人工復(fù)核、傷損評估,并同步生成多種檢測結(jié)果。
為了突破識別準確率難題,在無砟軌道傷損圖像采集基礎(chǔ)上,建立無砟軌道傷損圖像典型樣本庫,在Encoder-Decoder 的語義分割核心結(jié)構(gòu)下引入了Transformer 模塊,探索模型輕量化構(gòu)建技術(shù),提升并行快速識別處理能力,實現(xiàn)無砟軌道傷損的快速精準識別和自動評估分級。
軌道小車分為手推式軌道小車和電驅(qū)動自運行小車,以滿足對不同使用效率及檢測速度的需求。
手推式軌道小車(圖2)由三段式可拼裝車體橫梁、走行輪和推桿組成,具有強度高、耐腐蝕、重量輕、儲運便攜及作業(yè)靈活的特點。車體橫梁采用鋁合金材料,走行輪采用絕緣性好、耐磨性好的增韌尼龍材料,走行輪與車架橫梁之間設(shè)計二次絕緣,避免軌道小車與鋼軌之間發(fā)生軌道線路短路。
圖2 手推式軌道小車
電驅(qū)動自運行軌道小車(圖3)由機械支撐結(jié)構(gòu)、走行輪、傳動裝置、制動裝置、駐車裝置、電源等組成。采用拆分式鈦合金結(jié)構(gòu),增加車體強度的同時減輕車體重量,方便上下道搬運。車體拆卸安裝方便,2人可在5 min 內(nèi)拆卸或安裝并完成上下道。檢測人員乘坐在小車上,檢測速度可達20 km/h,高效便捷。
圖像采集單元由高功率密度的半導(dǎo)體激光器、線性發(fā)生器鏡頭、高精度激光驅(qū)動電源和高速線陣相機四部分核心器件構(gòu)成。為了滿足檢測速度和采集圖像精度的要求,提出多通道線陣相機-激光一體化成像模塊分體式布局的相機布置方案,分別采用線陣千兆網(wǎng)口及CamLink 接口相機,通過合理設(shè)置相機的角度、鏡頭焦距,在移動過程中連續(xù)采集無砟軌道全斷面高清圖像信息。手推式巡檢平臺、電驅(qū)動巡檢平臺搭載線陣千兆網(wǎng)口、CamLink 接口相機組成多通道高速圖像采集單元,對稱布置在平臺兩端,可實現(xiàn)整車快速通過道岔,全覆蓋檢測軌間道床狀態(tài)、軌道板上表面、側(cè)邊離縫狀態(tài)及鋼軌扣件狀態(tài)。
主控計算機及交互系統(tǒng)包括采集主機和人機交互模塊。采集主機選擇小尺寸、搭載GPU 顯卡以及適合戶外使用的工業(yè)計算機。人機交互模塊包括線陣相機圖像采集存儲程序、里程同步定位程序、傷損智能邊緣識別算法及激光照明控制程序,通過主控計算機及交互系統(tǒng)控制圖像采集單元激光開閉、圖像采集、數(shù)據(jù)存儲、圖像數(shù)據(jù)定位和校正、識別、分析等功能,并提供軌道板號,最大限度實現(xiàn)自動化檢測,方便用戶操作。
同步及定位模塊由編碼器、信號調(diào)節(jié)器、信號分割器等構(gòu)成。編碼器在車體走行過程中隨輪軸轉(zhuǎn)動,產(chǎn)生等間距脈沖觸發(fā)信號,通過信號處理設(shè)備調(diào)理為多通道同步信號,以觸發(fā)多個線陣相機同步采集圖像。在車體連續(xù)走行狀態(tài)下,可持續(xù)穩(wěn)定、均勻地采集高清圖像,同時通過計算脈沖數(shù)量實現(xiàn)里程定位。
本項目開發(fā)了一套數(shù)據(jù)模型雙驅(qū)動無砟軌道表觀傷損自動識別算法,包括無砟軌道表觀傷損樣本庫建立、分割網(wǎng)絡(luò)模型設(shè)計、模型加速部署以及傷損評估定級。
為了提升無砟軌道表觀傷損的精準檢測和識別精度,首次建立大規(guī)模無砟軌道表觀傷損數(shù)據(jù)樣本集,通過標注工具使用不同類別索引和顏色對圖像進行像素級分割標注,構(gòu)成無砟軌道表觀傷損樣本庫CRTS-v3。目前積累的無砟軌道典型傷損樣本數(shù)量已超過40 000,還在持續(xù)收集傷損樣本進行擴充。樣本庫傷損標注方式和內(nèi)容見表1。
表1 無砟軌道傷損樣本庫傷損標注方式及內(nèi)容
將深度神經(jīng)網(wǎng)絡(luò)技術(shù)與傳統(tǒng)的圖像檢測識別技術(shù)結(jié)合起來,應(yīng)用于無砟軌道傷損檢測領(lǐng)域,可以克服傳統(tǒng)傷損探測技術(shù)的不足,推動無砟軌道表觀傷損檢測智能化的發(fā)展。為了突破識別準確率難題,采用Encoder-Decoder(編碼-解碼)的語義分割核心結(jié)構(gòu)。模型詳細網(wǎng)絡(luò)結(jié)構(gòu)見圖4。
圖4 分割網(wǎng)絡(luò)
1)主干網(wǎng)絡(luò)(Backbone)。主要用于初始圖像特征的提取。針對序列的每一幀輸入圖像,首先利用卷積神 經(jīng) 網(wǎng) 絡(luò)(Convolutional Neural Network,CNN)的Backbone 進行初始圖像特征的提取,提取的多幀圖像特征沿時序和空間維度序列化為多幀特征序列。
2)編碼網(wǎng)絡(luò)(Encoder)。主要用于對多幀特征序列進行整體建模和更新,會輸出高分辨率的粗粒度特征和低分辨率的細粒度特征,使像素分類更準確,邊緣等細節(jié)的分割效果更精細。對于CNN Encoder 來說,有效感受野是比較小且局部的,所以引入Transformer 模塊,利用自注意力機制和前饋神經(jīng)網(wǎng)絡(luò)有效增大感受野,捕捉傷損圖像數(shù)據(jù)特征的內(nèi)部相關(guān)性,減少了背景信息權(quán)重。通過點和點之間相似度的學(xué)習(xí),進行序列中所有特征的融合和更新。該模塊通過對時序和空間特征的整體建模,能夠更好地對屬于同一個目標的特征進行學(xué)習(xí)和增強。
3)解碼網(wǎng)絡(luò)(Decoder)。主要用于解碼輸出預(yù)測的實例特征序列,采用掩碼多頭注意力機制(Mask Multi-Head Attention)和多頭注意力機制(Multi-Head Attention)進行解碼,從密集的像素特征序列解碼出稀疏的實例特征,得到每個實例的預(yù)測序列
4)線性變換和分類層(Linear & Softmax)。線性變換層是把解碼網(wǎng)絡(luò)輸出的向量投射到更大的向量里的全連接神經(jīng)網(wǎng)絡(luò)層,之后特征向量經(jīng)過一層softmax層便獲取最終的分割結(jié)果。
為了使模型達到更高的精度和準確性,引入了Transform 模型,因自注意力機制問題存在高計算量、高參數(shù)量、高存儲空間顯存占用問題,這對于移動端模型是無法承受的。為了降低計算復(fù)雜度,提升并行能力,將采用GPU 加速,引入TensorRT 實現(xiàn)優(yōu)化模型部署以及加速推理預(yù)測。
TensorRT 8.0 使用量化感知訓(xùn)練,支持INT8 和FP16 的計算,在網(wǎng)絡(luò)推理時選用不太高的精度,達到加速推斷的目的。TensorRT 在運行過程中使用動態(tài)張量內(nèi)存,高效實現(xiàn)內(nèi)存的復(fù)用,降低模型的內(nèi)存占用,使部分大模型能夠在GPU 下高效運行,同時小模型可以使用多batch 的方式,提升GPU 的利用率。TensorRT 加速支持大量推理模型,采用稀疏性技術(shù),提升 Ampere GPU 性能,將吞吐量提高50%,加速2∶4細粒度結(jié)構(gòu)。通過消除神經(jīng)網(wǎng)絡(luò)中不必要的計算,可獲得超過30%的性能增長。
根據(jù)TG/GW—2023 的相關(guān)規(guī)定,建立評估準則。確定無砟軌道類型及傷損部位,然后判定傷損類型及幾何特征,最終根據(jù)其幾何特征評定傷損等級。檢測平臺所采集的無砟軌道表觀劣化圖像經(jīng)特征提取、識別及分析計算后,得出最終的劣化數(shù)據(jù)結(jié)果。整體評估流程見圖5。
圖5 評估流程
無砟軌道表觀傷損檢測裝置已在北京局、武漢局、太原局、上海局等開展了檢測試用,驗證巡檢平臺的適用性能及圖像采集性能。對獲取的圖像進行分析、識別,提取表觀裂縫、破損等傷損信息,與人工檢查結(jié)果進行對比,分析智能檢測系統(tǒng)的檢測精度、識別準確性等性能指標。
為了測試無砟軌道智能識別算法模型的準確率,識別服務(wù)器采用多GPU 混合并行計算架構(gòu),配備8 塊NVIDIA GeForce RTX 3090 顯卡,以TensorRT-FP16 方式部署在識別服務(wù)器上。
測試集由京津城際鐵路、京廣高鐵、京滬高鐵等部分線路區(qū)間現(xiàn)場采集的5 000 個圖像樣本組成,包含典型傷損的樣本(負樣本)4 500 個和無傷損的樣本(正樣本)500 個。其中,裂縫樣本2 400 個,離縫樣本1 780個,掉塊樣本320個,樣本尺寸均為1 024×1 024。將建立好的測試集用無砟軌道表觀傷損檢測識別模型進行測試,識別結(jié)果見表2。
表2 無砟軌道測試集樣本測試結(jié)果
由表2 可知,本文算法有效提高了裂縫、離縫、掉塊的識別效率,病害識別率達95.84%。其中的誤判大多由離縫和裂縫圖像特征相似且雨水污漬干擾導(dǎo)致。掉塊類傷損的誤判主要由于采集訓(xùn)練的樣本數(shù)量偏少,模型訓(xùn)練學(xué)習(xí)不足。
在多次現(xiàn)場檢測中,無砟軌道表觀傷損檢測裝置采集車速在5 km/h 左右時,采集設(shè)備工作正常,實現(xiàn)了多通道無砟軌道高清圖像的快速采集和存儲。相機分辨率為4 096 × 4 096,結(jié)合布置方案進行計算,采集二進制數(shù)據(jù)經(jīng)過拼接預(yù)處理后圖像縱向按板切分,一板一圖,使得病害邊界的表達更合理。檢測像素精度優(yōu)于0.1 mm,里程精度0.1 km,傷損定位到軌枕,方便歷史圖像對比,處理效率更高。
以京滬高鐵CRTSⅡ型無砟軌道板200 m 長的區(qū)段作為驗證區(qū)間,涵蓋橋梁及路基區(qū)段。將現(xiàn)場作業(yè)人員踏勘檢測結(jié)果與無砟軌道表觀傷損檢測裝置的檢測結(jié)果對比。人工檢出裂縫、離縫及掉塊傷損共227 處,標注裂縫、掉塊、離縫總計28 處。利用識別模型對采集圖像進行自動識別,部分識別效果見圖6。結(jié)果表明,對于人工檢查186 m 長的區(qū)段,無砟軌道表觀傷損檢測裝置檢出裂縫、離縫及掉塊傷損270 處(0.1 mm 以上),對人工標記的28 處傷損正確檢測出27 處,并彌補了人工檢測遺漏的43 處。其中,丟失的標注處由于裂縫細小(0.05 mm),且表面存在污漬遮擋,導(dǎo)致未正確識別。最終識別模型對無砟軌道表觀傷損的檢出率為96.4%。
圖6 識別傷損示例
本文針對高速鐵路無砟軌道結(jié)構(gòu)隱蔽缺陷檢測與辨識速度、精度同步提升困難,智能化程度低的難題,基于無砟軌道表觀傷損相機激光一體化成像檢測技術(shù)、多相機自適應(yīng)控制和多圖像自動拼接技術(shù),形成無砟軌道表觀傷損智能檢測裝置,實現(xiàn)無砟軌道軌道板及層間離縫全斷面高清圖像的快速采集。此外提出了多模協(xié)同表觀圖像傷損混合缺陷智能識別技術(shù),在Encoder-Decoder 的語義分割核心結(jié)構(gòu)下引入Transformer 模塊,并探索模型輕量化部署和加速技術(shù),提升并行快速識別處理能力。最后融合現(xiàn)行維修規(guī)則及檢測數(shù)據(jù)識別結(jié)果實現(xiàn)無砟軌道傷損的快速精準識別和評估分級。試驗結(jié)果表明,本文所提出的方法能夠進行無砟軌道表觀傷損的高效準確檢測,檢測方法穩(wěn)定性、泛化性好,可為高速鐵路無砟軌道隱蔽缺陷的高效精準檢測和識別提供有力支撐。
后續(xù)將繼續(xù)開展示范應(yīng)用,建立特征多樣和數(shù)據(jù)充足的樣本庫,更深入地研究算法理論和網(wǎng)絡(luò)結(jié)構(gòu),來提高復(fù)雜惡劣圖像中傷損的識別率和處理效率,實現(xiàn)傷損在線識別。