基于受電弓采集圖像的智能識(shí)別技術(shù)應(yīng)用研究

宋國良 ,王 剛 ,任廣強(qiáng)

(1.中國國家鐵路集團(tuán)有限公司,北京 100844;2.青島四方阿爾斯通鐵路運(yùn)輸設(shè)備有限公司,山東 青島 266000)

受電弓是動(dòng)車組取流受流的關(guān)鍵部件,也是整車的動(dòng)力來源,其工作狀態(tài)直接影響列車運(yùn)行的安全性和可靠性。目前在動(dòng)車組批量運(yùn)用的受電弓視頻監(jiān)控系統(tǒng)僅具備視頻實(shí)時(shí)觀看、記錄、查看功能,無法監(jiān)測(cè)受電弓工作狀態(tài),也無故障報(bào)警機(jī)制,僅可在受電弓監(jiān)控屏觀看受電弓的實(shí)時(shí)工作狀態(tài)。

近年來,基于視頻分析的智能監(jiān)控已廣泛應(yīng)用于鐵路部件的安全檢測(cè),其中受電弓在運(yùn)行時(shí)可能會(huì)出現(xiàn)弓網(wǎng)電弧、弓頭缺損、碳滑板變形以及懸掛異物等異常狀態(tài),危害列車安全運(yùn)行,因此受電弓狀態(tài)檢測(cè)一直是安全檢測(cè)的重點(diǎn)。為了保證列車運(yùn)行安全,需要一種實(shí)時(shí)檢測(cè)的方法來監(jiān)控受電弓狀態(tài),并將受電弓狀態(tài)及時(shí)反饋給列車機(jī)械師,由其進(jìn)行相應(yīng)操作,避免受電弓異常狀態(tài)進(jìn)一步劣化。

為了及時(shí)發(fā)現(xiàn)并降低受電弓狀態(tài)異常故障對(duì)車輛引起的次生災(zāi)害,本文結(jié)合智能識(shí)別算法,利用受電弓視頻監(jiān)控圖像分析了受電弓工作狀態(tài),實(shí)現(xiàn)了智能識(shí)別預(yù)警功能,便于隨車機(jī)械師及時(shí)發(fā)現(xiàn)并處理受電弓異常狀態(tài)?？紤]既有動(dòng)車組實(shí)際情況,為充分利用現(xiàn)有受電弓視頻監(jiān)控資源,通過增加一臺(tái)智能分析主機(jī)并在監(jiān)控屏中增加智能分析人機(jī)交互界面,實(shí)現(xiàn)了在既有動(dòng)車組中增加受電弓視頻智能分析功能,提高了行車安全性,同時(shí)具有較好的改造便利性和經(jīng)濟(jì)性。

1 系統(tǒng)結(jié)構(gòu)

動(dòng)車組現(xiàn)有受電弓視頻監(jiān)控系統(tǒng)由受電弓視頻監(jiān)控服務(wù)器、攝像機(jī)、監(jiān)控屏和相應(yīng)連接電纜組成,在該系統(tǒng)中增加一臺(tái)智能分析主機(jī),通過以太網(wǎng)抓取弓網(wǎng)實(shí)時(shí)視頻進(jìn)行智能分析,將智能分析結(jié)果經(jīng)以太網(wǎng)推送至監(jiān)控屏顯示,可以實(shí)時(shí)幫助機(jī)械師獲得受電弓異常狀態(tài),從而進(jìn)行相應(yīng)操作,系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

2 圖像處理過程

智能分析技術(shù)主要通過機(jī)器視覺,利用統(tǒng)計(jì)識(shí)別、結(jié)構(gòu)識(shí)別及人工智能處理模型對(duì)受電弓每幀圖像的顏色特征、形狀特征、紋理特征等進(jìn)行處理、分析比較與異常報(bào)警,并將各類報(bào)警信息進(jìn)行歸類,然后有序地在監(jiān)控屏中依次呈現(xiàn),其圖像處理過程主要分為以下三部分:

(1) 圖像信息獲取。從受電弓視頻畫面中識(shí)別弓形,捕捉碳滑板與接觸網(wǎng)的交點(diǎn)并分離出背景信息。

(2) 信息加工與處理。把識(shí)別、捕捉及分離出的數(shù)據(jù)材料進(jìn)行加工、整理、分析、歸納以及去偽存真,抽取出反映受電弓形態(tài)的特征數(shù)據(jù)。

(3) 判決或分類?；谔卣魈崛?、統(tǒng)計(jì)識(shí)別從數(shù)據(jù)認(rèn)知到評(píng)價(jià)的過程。

目前,針對(duì)受電弓運(yùn)營故障診斷與檢測(cè),已形成受電弓結(jié)構(gòu)異常識(shí)別、懸掛異物識(shí)別、受電弓傾斜識(shí)別、弓網(wǎng)燃弧識(shí)別和畫面臟污識(shí)別5種具體功能。

3 智能識(shí)別模型建模和設(shè)計(jì)要素

3.1 受電弓結(jié)構(gòu)異常識(shí)別

智能分析主機(jī)啟動(dòng)后,將提取的受電弓每幀圖像劃分為左側(cè)弓角、碳滑板和右側(cè)弓角3個(gè)子區(qū)域(圖2)。智能識(shí)別模型對(duì)每個(gè)子區(qū)域進(jìn)行邊緣檢測(cè),分析其特征分布情況,排除各類背景干擾后對(duì)數(shù)據(jù)進(jìn)行擬合,提取邊緣特征值,同時(shí),將此特征值與閾值進(jìn)行匹配并計(jì)算相似度。當(dāng)相似度低于閾值時(shí),判定此幀圖像存在受電弓弓體畸變,當(dāng)異常圖像數(shù)量累計(jì)到一定程度時(shí),智能識(shí)別模型即刻判斷為受電弓結(jié)構(gòu)異常,并觸發(fā)報(bào)警,記錄故障數(shù)據(jù),并同步推送故障照片、故障前后1 min視頻以及故障后1 min視頻至監(jiān)控屏。

圖2 受電弓弓頭區(qū)分區(qū)

圖3中受電弓碳滑板被打斷,圖像智能識(shí)別時(shí)首先要精確定位受電弓在圖像中的位置,確定圖像的感興趣區(qū)域(Region Of Interest,ROI),如圖3 中的藍(lán)色矩形框。在精確定位到受電弓位置后,使用大津閾值分割方法對(duì)受電弓的ROI區(qū)域進(jìn)行受電弓結(jié)構(gòu)分割,分割后的結(jié)果如圖4所示。

圖3 受電弓碳滑板被打斷故障

圖4 受電弓分割結(jié)果圖像

對(duì)圖4進(jìn)行二值化,并對(duì)二值化后的圖像每行的像素值進(jìn)行累加,將累加后的值作為特征值形成特征曲線圖,如圖5所示,其中圖5(a)為正常的受電弓特征曲線圖,圖5(b)為被打斷后的受電弓特征曲線圖。在特征曲線圖的2個(gè)峰值之間,2個(gè)曲線圖有著明顯的區(qū)別,使用相關(guān)性計(jì)算方法計(jì)算兩者的相關(guān)性為0.73,即通過設(shè)定合適的相關(guān)性閾值即可判斷受電弓結(jié)構(gòu)的異常。

圖5 每行累加后的特征曲線圖

3.2 受電弓懸掛異物識(shí)別

通過深度學(xué)習(xí)算法對(duì)受電弓可能懸掛的異物樣本模型進(jìn)行學(xué)習(xí)、馴服,這些樣本包括不同顏色、不同大小,不同材質(zhì)的塑料袋、氣球、繩索等,智能識(shí)別模型在每幀弓頭有效區(qū)域內(nèi)提取類似異物并計(jì)算面積,綜合考慮時(shí)間周期、異物大小以及異常狀態(tài)持續(xù)時(shí)間等因素設(shè)定報(bào)警閾值,達(dá)到報(bào)警閾值時(shí)觸發(fā)報(bào)警,記錄故障數(shù)據(jù),并同步推送故障照片、故障前后1 min視頻以及故障后1 min視頻至監(jiān)控屏。

圖6為列車運(yùn)行過程中受電弓弓頭區(qū)域的橫梁懸掛了塑料袋碎片,對(duì)圖6中的受電弓弓頭區(qū)域使用大津閾值進(jìn)行分割,受電弓弓頭區(qū)域的分割圖如圖7所示。圖7中塑料袋碎片異物被清晰地分割出來,最好對(duì)分割圖像使用分塊檢測(cè)的方法計(jì)算每個(gè)分塊的輪廓大小,當(dāng)輪廓大小在閾值范圍內(nèi)時(shí)認(rèn)定為正常,當(dāng)超出閾值范圍時(shí)認(rèn)定為異常。

圖6 受電弓懸掛異物圖像

圖7 弓頭區(qū)域分割結(jié)果

3.3 受電弓傾斜超限識(shí)別

根據(jù)每幀圖像提取受電弓碳滑板輪廓,得到邊緣特征空間并進(jìn)行霍夫變換從而獲取碳滑板的擬合直線,以此計(jì)算出斜率并轉(zhuǎn)換成角度,即受電弓碳滑板傾斜角度,從而判斷是否出現(xiàn)受電弓傾斜故障。當(dāng)某一連續(xù)周期內(nèi)累計(jì)超過一定數(shù)量的畫面出現(xiàn)受電弓傾斜角度時(shí),判別為受電弓傾斜故障。

圖8(a)為正常圖像,其碳滑板相對(duì)水平位置僅有2°的傾斜,圖8(b)為受電弓碳滑板相對(duì)正常圖像的受電弓碳滑板有了一定角度的傾斜,圖像中的受電弓碳滑板相對(duì)水平位置的傾斜角度為12°。

圖8 受電弓碳滑板傾斜

計(jì)算受電弓碳滑板傾斜角度的預(yù)處理方式與檢測(cè)受電弓結(jié)構(gòu)異常的診斷邏輯相同,同樣先要確定受電弓的精確位置,然后使用圖像分割算法分割出受電弓弓頭的結(jié)構(gòu),再進(jìn)一步定位到受電弓的碳滑板位置,然后根據(jù)圖像中碳滑板的大小確定霍夫變換所需參數(shù),通過霍夫變換求得直線的傾斜角度。

3.4 受電弓火花識(shí)別

智能分析主機(jī)通過網(wǎng)絡(luò)提取受電弓碳滑板區(qū)域每幀圖像,捕捉碳滑板與接觸網(wǎng)的交點(diǎn),在交點(diǎn)附近通過機(jī)器視覺檢測(cè)、邊緣檢測(cè)提取類似燃弧輪廓,利用圖像的顏色特征、形狀特征、紋理特征等對(duì)燃弧輪廓進(jìn)行比對(duì),甄別出火花并計(jì)算火花輪廓面積占比大小。根據(jù)弓頭區(qū)域內(nèi)檢測(cè)到的火花特征,判斷是否存在受電弓火花頻繁故障或受電弓大火花故障。

圖9為受電弓與接觸網(wǎng)之間產(chǎn)生了離線火花的圖像,火花在圖像中最明顯的特征是其亮度很高,用圖像軟件打開后查看火花的像素值,發(fā)現(xiàn)在8位圖像中像素值均在250以上。

圖9 受電弓火花

檢測(cè)受電弓火花前,仍需要對(duì)受電弓進(jìn)行精確定位,排除干擾因素,降低系統(tǒng)誤報(bào)。在定位到受電弓位置后進(jìn)一步定位到受電弓弓頭區(qū)域,對(duì)弓頭區(qū)域使用固定閾值250進(jìn)行圖像分割,計(jì)算分割后圖像中的輪廓位置,分割結(jié)果有如下幾種情況:

(1) 分割結(jié)果沒有輪廓,則受電弓沒有火花;

(2) 分割結(jié)果有1個(gè)輪廓,如果碳滑板和接觸網(wǎng)之間的交點(diǎn)不在輪廓范圍內(nèi),則認(rèn)為該輪廓不是火花輪廓;

(3) 分割結(jié)果有多個(gè)輪廓,這種情況比較少見,處理這種情況時(shí)取最大的輪廓作為火花可能性最大的輪廓,再計(jì)算碳滑板與接觸網(wǎng)的交點(diǎn)是否在最大輪廓的范圍內(nèi),判斷方法同第(2)種情況。

3.5 畫面臟污識(shí)別

列車全天候在不確定的地域、時(shí)域、自然環(huán)境中高速運(yùn)行,受電弓攝像機(jī)前擋風(fēng)玻璃極易出現(xiàn)蒙塵、納污、殘留水漬現(xiàn)象,進(jìn)而對(duì)攝像機(jī)拍攝弓形畫面產(chǎn)生干擾,引起智能分析誤判。為此研究臟污濾除算法、模糊程度分析技術(shù),并通過圖像差分法實(shí)現(xiàn)靜態(tài)臟污干擾濾除,使用實(shí)時(shí)迭代動(dòng)態(tài)臟污濾波算法實(shí)現(xiàn)準(zhǔn)動(dòng)態(tài)的臟污干擾濾除;當(dāng)遇到暴雨雪、大面積臟污等情況,嚴(yán)重影響視頻正常采集、視覺分析時(shí),則暫停結(jié)構(gòu)異常、懸掛異物等其他智能識(shí)別功能,一旦系統(tǒng)能正常識(shí)別受電弓形狀,應(yīng)立即恢復(fù)所有智能識(shí)別功能。

識(shí)別畫面臟污前,仍需要先定位受電弓在圖像中的位置。當(dāng)定位到受電弓的精確位置后,進(jìn)一步定位受電弓的弓頭區(qū)域,提取到受電弓的弓頭位置后使用sobel算子提取受電弓結(jié)構(gòu)的邊緣。圖像越清晰,提取到的受電弓結(jié)構(gòu)邊緣越多。圖10為正常圖像與臟污圖像對(duì)比,如圖11所示,正常圖像提取的邊緣特征明顯多于圖10中受雨水干擾的臟污圖像提取的邊緣特征。通過設(shè)置合適的閾值將正常圖像與受環(huán)境干擾造成的臟污圖像區(qū)分開。

圖10 正常圖像與臟污圖像對(duì)比圖

圖11 Sobel算子邊緣提取結(jié)果圖

4 降低誤報(bào)率機(jī)制

智能識(shí)別系統(tǒng)預(yù)設(shè)了防誤報(bào)機(jī)制,通過算法邏輯過濾或屏蔽不利于受電弓結(jié)構(gòu)特征提取或分割效果較差時(shí)所產(chǎn)生的誤報(bào),在實(shí)際運(yùn)用中主要有如下誤報(bào)場(chǎng)景。

4.1 隧道場(chǎng)景

列車進(jìn)出隧道時(shí),由于隧道內(nèi)光線原因?qū)е屡臄z到的受電弓弓形、弓角模糊,從而易引起受電弓結(jié)構(gòu)異常誤報(bào)。圖12為列車進(jìn)出隧道的受電弓圖像,因隧道內(nèi)外光線變換大導(dǎo)致攝像機(jī)成像質(zhì)量較差,受電弓的邊緣輪廓模糊不清,此時(shí)使用大津閾值對(duì)圖像進(jìn)行分割無法準(zhǔn)確分割出受電弓的結(jié)構(gòu),容易使系統(tǒng)誤報(bào)結(jié)構(gòu)異常。

圖12 列車進(jìn)出隧道的受電弓圖像

在車輛駛出隧道時(shí)通常存在連續(xù)十幾幀甚至幾十幀圖像過曝的情況,當(dāng)圖像過曝時(shí),整圖的像素平均值很大且方差很小,因此通過判斷連續(xù)多幀圖像的像素平均值及方差來判斷當(dāng)前車輛是否處于進(jìn)出隧道。

4.2 復(fù)雜背景場(chǎng)景

處于橋梁、進(jìn)出車站、建筑物遮擋時(shí),由于背景與受電弓形態(tài)相似,且在畫面中可能存在重疊的情況,導(dǎo)致系統(tǒng)誤報(bào)受電弓整體結(jié)構(gòu)異常。圖13為列車進(jìn)出車站時(shí)的受電弓圖像,受車站頂棚的干擾,受電弓圖像部分弓模糊不可見,此時(shí)使用圖像分割無法準(zhǔn)確分割出受電弓的各個(gè)結(jié)構(gòu),容易導(dǎo)致系統(tǒng)誤報(bào)結(jié)構(gòu)異常。此時(shí)大津閾值分割出的受電弓輪廓數(shù)目較少,通過計(jì)算受電弓的輪廓大小和數(shù)目就能區(qū)分此時(shí)受電弓圖像是否存在背景干擾的情況。

圖13 車輛進(jìn)出車站受電弓圖像

4.3 光線干擾

在檢測(cè)火花過程中,容易受到太陽光、軌旁燈光、隧道內(nèi)或站頂燈光、出隧道口時(shí)自然光線的影響,易導(dǎo)致燃弧檢測(cè)誤報(bào)。圖14為受太陽逆光干擾的受電弓圖像,圖中在接觸網(wǎng)與受電弓碳滑板交點(diǎn)處所形成的圖像特征與燃弧非常相似,容易導(dǎo)致系統(tǒng)誤報(bào)受電弓燃弧。

圖14 受太陽逆光干擾的受電弓圖像

太陽逆光所形成的高亮像素塊在圖像中的位置基本不變,且停留時(shí)間明顯長于燃弧持續(xù)時(shí)間,太陽逆光一般會(huì)持續(xù)幾分鐘甚至幾十分鐘,因此可以利用圖像中高亮像素塊位置連續(xù)多幀不變的特征,過濾太陽光的干擾。

5 試驗(yàn)驗(yàn)證

為驗(yàn)證受電弓智能識(shí)別模型的識(shí)別準(zhǔn)確性,進(jìn)行了地面人工模擬試驗(yàn),模擬受電弓運(yùn)行過程中出現(xiàn)的各類故障,主要有受電弓弓角缺失、弓頭變形等結(jié)構(gòu)類異常及受電弓懸掛異物和攝像機(jī)畫面模糊等。圖15(a)為左右弓角缺失時(shí)的智能識(shí)別照片,圖15(b)為受電弓上分別懸掛塑料袋和繩子的智能識(shí)別照片,圖15(c)為攝像機(jī)存在大面積污染時(shí)的智能識(shí)別照片,圖15(d)為受電弓攝像機(jī)出現(xiàn)火花的智能識(shí)別照片。

圖15 智能識(shí)別結(jié)果

地面人工模擬試驗(yàn)共模擬各類受電弓異常狀態(tài)103種,結(jié)果表明,結(jié)構(gòu)異常和大型火花類故障識(shí)別率基本可以達(dá)到100%,懸掛異物類故障識(shí)別率可以達(dá)到90%,鏡頭污染類故障識(shí)別率可達(dá)到85%。

6 應(yīng)用案例

受電弓視頻智能識(shí)別功能經(jīng)過充分試驗(yàn)和驗(yàn)證后,于2021年6月在復(fù)興號(hào)智能動(dòng)車組上陸續(xù)裝車運(yùn)用,目前共93列上線運(yùn)營,在過去近20個(gè)月的運(yùn)用中全面檢驗(yàn)了智能識(shí)別模型的各項(xiàng)功能,總體效果良好,運(yùn)用中及時(shí)識(shí)別并報(bào)出了大型火花、臟污等故障,同時(shí)也暴露出長時(shí)間處于橋梁、隧道等復(fù)雜背景時(shí)易產(chǎn)生的誤報(bào)問題。針對(duì)運(yùn)用中發(fā)現(xiàn)的問題,及時(shí)對(duì)診斷邏輯和報(bào)警策略進(jìn)行了相應(yīng)優(yōu)化,優(yōu)化后未再發(fā)生同類問題。通過批量裝車運(yùn)用,不斷積累運(yùn)用經(jīng)驗(yàn),基于機(jī)器深度學(xué)習(xí),持續(xù)提高智能識(shí)別性能。

7 總結(jié)

本文介紹的基于多種智能識(shí)別算法的動(dòng)車組受電弓智能分析系統(tǒng),實(shí)現(xiàn)了對(duì)動(dòng)車組受電弓運(yùn)行狀態(tài)的實(shí)時(shí)檢測(cè)和實(shí)時(shí)報(bào)警,經(jīng)人工和實(shí)車驗(yàn)證,該系統(tǒng)可有效地識(shí)別出各類受電弓異常狀態(tài),為隨車機(jī)械師及時(shí)處理受電弓異常提供了輔助判斷手段。目前已在智能配置動(dòng)車組中運(yùn)用,對(duì)提高列車運(yùn)行的安全性和可靠性具有重要意義。