熊麒,張孟軒,黃楠興,曹金,謝勇君
(1.暨南大學(xué) 軌道交通研究院,廣東 珠海 519000;2.暨南大學(xué) 國(guó)際能源學(xué)院,廣東 珠海 519000)
隨著城市交通擁堵、環(huán)境污染、能源短缺等問(wèn)題日益突出,許多城市選擇修建地鐵、輕軌等軌道交通來(lái)緩解城市交通壓力,同時(shí)減少尾氣的排放量。但是由于地鐵項(xiàng)目普遍投資高、審批相對(duì)困難,而現(xiàn)代有軌電車憑借高速度、高舒適性、安全可靠低造假、低污染、短工期等優(yōu)點(diǎn),重新煥發(fā)生機(jī),在中小型城市中被廣泛投入使用。
由于現(xiàn)代有軌電車槽型軌采用埋入式設(shè)計(jì),槽型軌內(nèi)很容易積聚如樹葉、石子、污泥等各類垃圾,容易腐蝕軌道及車輛元件,嚴(yán)重時(shí)更會(huì)影響到現(xiàn)代有軌電車的行車安全,因此,槽型軌的清潔工作是保障現(xiàn)代有軌電車安全運(yùn)營(yíng)的重要環(huán)節(jié),為了保障有軌電車的運(yùn)行安全,本團(tuán)隊(duì)在珠海市協(xié)同創(chuàng)新項(xiàng)目的支持下研發(fā)的現(xiàn)代有軌電車槽型軌道自動(dòng)清潔車,車體搭載一套自動(dòng)清潔系統(tǒng),用于槽型軌上垃圾的自動(dòng)清潔,可實(shí)現(xiàn)全天候有效清除有軌電車第三軌上的導(dǎo)電物、樹葉、沙子、灰塵等,同時(shí)可清除軌面及軌道槽內(nèi)渣土、砂石、油泥等沉積物,推進(jìn)了軌道清潔車向全自動(dòng)化的發(fā)展程度,并間接推動(dòng)了現(xiàn)代有軌電車的發(fā)展。
由于現(xiàn)代電車槽型軌道具有槽型軌道岔,我們發(fā)現(xiàn)清潔車經(jīng)過(guò)道岔時(shí),清潔工具容易受到撞擊,從而使清潔工具受到損壞。與鋼軌結(jié)合的道岔設(shè)備是線路的關(guān)鍵設(shè)備,供列車轉(zhuǎn)入或越過(guò)另一股軌道,在軌道網(wǎng)絡(luò)連接中起著關(guān)鍵作用。清潔工具遭受撞擊具體體現(xiàn)為:車輛尾部裝載的高壓射流與軌道清潔集成裝置,其真空吸嘴在運(yùn)行時(shí)須部分伸入軌道槽中,盡可能離垃圾離些,才能發(fā)揮效用,車上操作人員在遭遇道岔之前需手動(dòng)通過(guò)控制面板提起清潔集成裝置。因此,對(duì)軌道道岔進(jìn)行迅速識(shí)別的算法研究,對(duì)實(shí)現(xiàn)更自動(dòng)化、更高效的軌道清潔顯得十分重要。
圖像識(shí)別技術(shù)是現(xiàn)在研究領(lǐng)域中的熱點(diǎn)技術(shù),通過(guò)圖像識(shí)別能夠解決以往難以解決的問(wèn)題。為了實(shí)現(xiàn)對(duì)軌道道岔的識(shí)別,本文提出一種利用道岔特征要素進(jìn)行識(shí)別的軌道清潔車保護(hù)系統(tǒng),并將其搭載于本項(xiàng)目組前期研制的現(xiàn)代有軌電車軌道清潔車上,從而保證軌道清潔車工作過(guò)程的有效性和安全性。
本團(tuán)隊(duì)在珠海市協(xié)同創(chuàng)新項(xiàng)目的支持下研發(fā)的現(xiàn)代有軌電車槽型軌道自動(dòng)清潔車結(jié)構(gòu)圖如圖1所示;本文設(shè)計(jì)的軌道道岔識(shí)別系統(tǒng)的整體構(gòu)成示意圖如圖2所示,主要包括圖像采集模塊和上位機(jī)模塊。圖像采集模塊為安裝在清潔車車頭定點(diǎn)位置的高速攝像頭,高速攝像頭采用WP-UC500工業(yè)相機(jī),采集速度快,500萬(wàn)像素下可達(dá)每秒37.5幀,符合動(dòng)態(tài)測(cè)量的要求。上位機(jī)模塊為安裝于清潔車駕駛室內(nèi)的上位機(jī),上位機(jī)中安裝有軌道道岔檢測(cè)的軟件,可以對(duì)高速攝像頭采集到的軌道圖像進(jìn)行一系列預(yù)處理,圖像提取,得到軌道輪廓的二值圖,并根據(jù)道岔特征條件對(duì)軌道輪廓進(jìn)行判斷,推斷前方是否存在道岔。當(dāng)檢測(cè)出前方存在道岔時(shí),工控機(jī)將自動(dòng)向PLC發(fā)出控制指令,利用液壓系統(tǒng)控制向上抬起高壓水槍等清潔工具,避免與道岔碰撞摩擦,造成清潔工具的損壞。若抬起清潔工具的操作失敗,PLC會(huì)向工控機(jī)模塊發(fā)送警報(bào)信息,提醒操作人員注意。
圖1 現(xiàn)代有軌電車槽型軌道自動(dòng)清潔車基本結(jié)構(gòu)及部件圖
圖2 道岔識(shí)別系統(tǒng)的整體構(gòu)成
圖3為道岔自動(dòng)檢測(cè)算法原理圖,主要包括圖像采集、圖像預(yù)處理、特征提取以及特征處理四個(gè)過(guò)程。
由于軌道環(huán)境復(fù)雜,噪聲過(guò)多,噪聲源復(fù)雜,本環(huán)節(jié)主要利用高斯噪聲模擬真實(shí)環(huán)境的噪聲進(jìn)行降噪處理,便于分析設(shè)計(jì)算法、量化評(píng)估算法效果,主要方法為:
2.1.1 灰度處理
從雙軌高速攝像頭采取到的軌道圖像是RGB組成的三通道圖像。由于三通道圖像中存在的色彩信息等冗余信息對(duì)本算法無(wú)關(guān),同時(shí)會(huì)導(dǎo)致圖像的細(xì)節(jié)復(fù)雜、噪點(diǎn)更多、銳度更高,影響檢測(cè)的正確度與系統(tǒng)工作效率,因此,首先對(duì)輸入的圖像進(jìn)行灰度處理,降為單通道圖像,以此降低計(jì)算的復(fù)雜度,提高計(jì)算速度。
本文采用加權(quán)平均法對(duì)圖像進(jìn)行灰度化處理,將三個(gè)分量以不同的權(quán)值進(jìn)行加權(quán)平均。由于人眼對(duì)綠色的敏感最高,對(duì)藍(lán)色敏感最低,因此,按下式對(duì)RGB三分量進(jìn)行加權(quán)平均,得到合理的灰度圖像,簡(jiǎn)化后續(xù)降噪處理的計(jì)算難度,如式(1)所示:
其中,、、分別表示圖像中紅、綠、藍(lán)通道的像素值大小。
圖3 道岔自動(dòng)檢測(cè)總體算法流程圖
2.1.2 設(shè)置ROI區(qū)域
為了減少計(jì)算量,提高運(yùn)算速度,本文在圖像上設(shè)置ROI區(qū)域,只關(guān)注軌道區(qū)域,并進(jìn)行裁剪,提取ROI區(qū)域圖像并存放于一張新的圖像,減小圖像處理的范圍。結(jié)合從軌道清潔車上搭載的定點(diǎn)攝像頭采集到的圖像,由于軌道清潔車沿軌道行駛,路線和視角較為固定,軌道所占圖像中的位置絕大部分為圖像中間梯形區(qū)域位置,因此,設(shè)置固定的ROI區(qū)域,使后續(xù)圖像處理的區(qū)域只覆蓋軌道及軌道前方畫面,去除兩旁畫面的影響。一方面可以減小圖像分析的計(jì)算量,使計(jì)算完成的速度更快,另一方面可以有效去除非重點(diǎn)區(qū)域的噪聲處理過(guò)程,使噪聲處理更加具有針對(duì)性,從而得到更為顯著的效果。
2.1.3 逆透視(IPM)
由于現(xiàn)實(shí)中存在透視原理,即現(xiàn)實(shí)中的平行線在拍攝畫面中會(huì)呈現(xiàn)相交的狀態(tài),這對(duì)本文軌道提取將造成影響。因此本文通過(guò)對(duì)上一步驟中提取到的ROI圖像進(jìn)行逆透視變換,消除這種圖像畸變對(duì)后續(xù)分析處理的影響。本文運(yùn)用OpenCV函數(shù)庫(kù)中的獲取透視變換矩陣函數(shù)GetPerspectiveTransform以及透視變換函數(shù)warpPerspective實(shí)現(xiàn)逆透視變換,獲取軌道線的正射影像,便于后續(xù)軌道線的提取。
2.1.4 雙邊濾波
傳統(tǒng)的高斯濾波,會(huì)對(duì)物體邊緣造成一定量的模糊,即對(duì)高頻細(xì)節(jié)保護(hù)不足,在對(duì)軌道圖像處理時(shí),考慮到軌道呈線形,邊緣模糊對(duì)軌道形狀產(chǎn)生的影響較大,所以需要保留軌道邊緣信息,因此不能使用傳統(tǒng)的濾波方式,而是采用能夠較好保留邊緣信息的雙邊濾波。
雙邊濾波是一種邊緣保護(hù)濾波的方法,結(jié)合圖像的空間鄰近度和像素值相似度,考慮像素點(diǎn)的空域特性和值域特性,在高斯濾波的基礎(chǔ)上添加了高斯方差,依據(jù)像素值對(duì)濾波的區(qū)域進(jìn)行區(qū)分,利用鄰域像素值的加權(quán)值組合輸出像素的值,加權(quán)系數(shù)取決于定義域核和值域核的乘積,即為下式雙邊濾波權(quán)重函數(shù),如式(2)所示:
其中,(,),(,)分別指兩個(gè)像素點(diǎn)的坐標(biāo)。
雙邊濾波在有效去除高斯噪聲的同時(shí),保證與邊緣點(diǎn)相離較遠(yuǎn)的點(diǎn)不會(huì)對(duì)邊緣附近的點(diǎn)產(chǎn)生影響,較好地保存了軌道圖像的邊緣信息。
本文運(yùn)用bilateralFilter函數(shù)實(shí)現(xiàn)雙邊濾波得到降噪后的圖像。將經(jīng)過(guò)ROI裁剪出的源圖像src輸出為目標(biāo)圖像dst,設(shè)置參數(shù),像素鄰域的直徑=為非正數(shù),正比于sigmaSpace,從sigmaSpace中計(jì)算出它的值。為保證去噪效果最佳且圖像清晰平滑不模糊,調(diào)整顏色空間和坐標(biāo)空間的sigma參數(shù),使得影響像素的顏色范圍和區(qū)域大小更加合適,選取參數(shù)為:sigmaColor=100,sigmaSpace=15。
實(shí)現(xiàn)對(duì)降噪后的圖像中的軌道輪廓的提取。其主要方法為:
采用閾值法對(duì)圖像進(jìn)行二值化,大于所設(shè)置的閾值就將圖像上的像素點(diǎn)的灰度值設(shè)置為255,小于閾值就將圖像上的像素點(diǎn)的灰度值設(shè)置為0。通過(guò)二值圖像,能更好地分析物體的形狀和輪廓,用來(lái)強(qiáng)化軌道的邊緣輪廓信息。對(duì)于降噪模糊處理后的軌道單通道圖像,通過(guò)設(shè)置閾值,將單通道圖像轉(zhuǎn)變?yōu)槎祱D,從而實(shí)現(xiàn)去除模糊點(diǎn)集,增強(qiáng)目標(biāo)點(diǎn)集的作用。
采用形態(tài)學(xué)基本梯度,即膨脹減腐蝕,將膨脹后的圖和腐蝕圖相減,得到軌道的輪廓特征。同時(shí)通過(guò)開運(yùn)算,即先腐蝕后膨脹,平滑物體的輪廓,斷開較窄的狹頸并消除細(xì)的突出物,以消除黑色背景中的白點(diǎn)雜質(zhì),去除在圖像中存在的孤立小物體,同時(shí)有效地平滑圖像中較大物體的邊緣,消除雜散噪聲的影響,使圖像形狀更準(zhǔn)確光滑。
根據(jù)經(jīng)過(guò)二值化和特征提取得到的軌道輪廓的二值圖,判斷軌道的交叉情況,如圖4所示。
通過(guò)觀察歸納可知,當(dāng)軌道不存在道岔或轉(zhuǎn)彎時(shí),軌道應(yīng)當(dāng)保持平行狀態(tài)。以最常見的單開道岔為例,當(dāng)圖像選定的ROI區(qū)域有道岔出現(xiàn)時(shí),出現(xiàn)的最突出的特征就是軌道數(shù)量的增加,可以通過(guò)對(duì)二值圖像中軌道距離信息進(jìn)行特征檢測(cè),當(dāng)軌道之間距離出現(xiàn)變化時(shí),則有可能是軌道數(shù)量增加導(dǎo)致的,經(jīng)過(guò)進(jìn)一步判斷,排除轉(zhuǎn)彎軌道造成的軌道距離變化的情形,確定軌道數(shù)量增加,即可實(shí)現(xiàn)道岔的識(shí)別。具體操作為:
圖4 軌道特征圖
2.3.1 等距抽樣
在提取出的軌道邊緣信息二值圖中從下往上等間距抽取行像素,得到每一行中存在軌道像素點(diǎn)的坐標(biāo)值。
2.3.2 坐標(biāo)差分
對(duì)抽取出來(lái)的每行軌道像素點(diǎn)的橫坐標(biāo)進(jìn)行差分,得到彼此之間的以像素為單位的距離信息。
2.3.3 軌道輪廓信息剔除
形態(tài)學(xué)處理過(guò)程可能會(huì)導(dǎo)致軌道輪廓的存在,因此在進(jìn)行同一行像素點(diǎn)橫向坐標(biāo)差分時(shí),除了會(huì)得到不同軌道間距離信息,還會(huì)有同一條軌道線上像素距離的干擾信息;考慮到軌道輪廓的像素距離遠(yuǎn)小于軌道間的像素距離,本文采用設(shè)置閾值的方式,對(duì)每一行差分后數(shù)值過(guò)小的軌道輪廓距離值進(jìn)行剔除,從而得到該行軌道間距的信息集。
2.3.4 運(yùn)用道岔特征規(guī)律進(jìn)行判斷
(1)選定基準(zhǔn)值:軌道清潔車在運(yùn)行過(guò)程中獲取的軌道輪廓提取的二值圖像,假設(shè)清潔車一開始運(yùn)行在平行直軌上,取ROI區(qū)域左軌距離左邊界的距離平均值為基準(zhǔn)值,右軌距離右邊界的距離平均值為基準(zhǔn)值,取為△為左軌距左邊界最大距離減最小距離的絕對(duì)值,為△為右軌距右邊界最大距離減最小距離的絕對(duì)值,設(shè)置相應(yīng)閾值[-△,+△],[-△,+△]作為判斷的依據(jù)。
(2)依據(jù)判別條件進(jìn)行軌道場(chǎng)景的判斷。當(dāng)軌道清潔車在軌道上正常工作時(shí),高速攝像頭在車頭定點(diǎn)位置正對(duì)著車輛前方將要經(jīng)過(guò)的軌道進(jìn)行拍攝,從高速攝像頭中采集圖像中的軌道場(chǎng)景可分為以下三種情景:
1)直軌情形。直軌情形下如圖4(a)所示,選定的ROI區(qū)域內(nèi)只有兩條軌道,左右軌道與相鄰最近的ROI左右邊界像素間距幾乎不變,保持在閾值[-△,+△],[-△,+△]之內(nèi)。
2)轉(zhuǎn)彎軌道情形。轉(zhuǎn)彎軌道情形下如圖4(b)所示,選定的ROI區(qū)域內(nèi)只有兩條軌道,以左轉(zhuǎn)軌道為例,此時(shí)由于軌道從直軌轉(zhuǎn)變?yōu)樽筠D(zhuǎn)彎軌,左邊軌道與ROI區(qū)域左邊界像素間距減小,右邊軌道與ROI區(qū)域邊界像素間距增加,兩者均脫離閾值[-△,+△Sa],[-△,+△]。
3)道岔情形。在運(yùn)行過(guò)程中,高速攝像頭采集的道岔情形,從清潔車前方路徑來(lái)看,可分為主道進(jìn)入分叉口型(含單開道岔、雙開道岔、三開道岔),分叉口匯入主道型兩種。
主道進(jìn)入分叉口型道岔的識(shí)別:?jiǎn)伍_道岔:以左拐道岔為例,如圖4(c)所示,此時(shí)由于軌道從直軌轉(zhuǎn)變?yōu)樽蠊盏啦恚琑OI區(qū)域內(nèi)的道岔處應(yīng)出現(xiàn)四條軌道,從左到右依次命名為軌1、2、3、4,由左轉(zhuǎn)道岔示意圖可知,軌4為原本直行軌道的右軌,其與ROI區(qū)域右邊界像素間距應(yīng)與直行軌道時(shí)一致,保持在閾值[-△,+△]內(nèi),而軌1為分支軌道的左軌,與ROI區(qū)域左邊界像素間距應(yīng)脫離閾值并呈遞減趨勢(shì),此時(shí)可判斷前方存在左拐單開道岔。右拐單開道岔判斷方法同理。
雙開道岔與三開道岔:雙開道岔也稱Y型道岔,如圖4(e)所示;三開道岔也稱為Ψ型道岔,如圖4(f)所示。與單開道岔不同,Y型道岔相銜接的兩股道向兩側(cè)分岔,Ψ型道岔同時(shí)銜接三股道,最外側(cè)的兩條軌道也向兩側(cè)分叉,此時(shí)軌1與ROI區(qū)域左邊界,軌4(三開道岔為軌6)與ROI區(qū)域右邊界的像素間距都脫離閾值并呈遞減趨勢(shì),通過(guò)以上特征可判斷前方存在Y型道岔。
分叉口匯入主道型道岔的識(shí)別:與主道進(jìn)入分叉口型道岔不同的是,匯入型道岔軌道交叉點(diǎn)不是平行的。以清潔車碰到第一個(gè)軌道交叉點(diǎn)前的軌道命名,從左到右依次命名為軌1、2、3,以左轉(zhuǎn)匯入道岔為例,如圖4(h)所示,離清潔車最近的是軌2和軌3相交點(diǎn),位于ROI區(qū)域的右側(cè),在軌1和軌2相交點(diǎn)前,即碰到第二個(gè)軌道交叉點(diǎn)之前,軌1與ROI區(qū)域左邊界像素間距依然保持在閾值[-△,+△]內(nèi),而軌3與ROI區(qū)域右邊界像素間距從零開始呈遞增趨勢(shì),在第一個(gè)軌道相交點(diǎn)處回到閾值。通過(guò)以上特征可以判斷前方為分叉口匯入主道型道岔。單開道岔、雙開道岔、三開道岔的分叉口匯入主道型道岔都滿足以上判斷條件。
本文基于Python3.8以及OpenCV4.5.5.64圖像庫(kù)的環(huán)境下,以單開道岔為例,對(duì)樣本進(jìn)行處理分析如圖5所示,所得樣本處理流程圖以及軌道輪廓提取的像素散點(diǎn)圖如圖6所示。
對(duì)樣本道岔圖像進(jìn)行檢測(cè)時(shí),對(duì)軌道中提取的若干行像素點(diǎn)間距信息進(jìn)行擬合,所得結(jié)果如圖7所示。
圖5 道岔識(shí)別過(guò)程處理效果圖
圖6 單開軌道輪廓像素散點(diǎn)圖
圖7 間距信息擬合圖
本例樣本中,對(duì)單開左拐道岔提取輪廓的間距信息進(jìn)行提取,取80行以前的像素間距可以看出,獲得的最左邊軌道與ROI左邊界之間軌道距離呈遞減趨勢(shì),最右邊軌道與ROI右邊界之間軌道距離保持在閾值之內(nèi),符合單開左拐道岔特征,故判斷ROI區(qū)域內(nèi)存在道岔,符合本文中對(duì)道岔是否存在的設(shè)計(jì)思路。
本文克服了在軌道清潔車正常工作情況下,清潔工具遇到道岔路口由于不能及時(shí)躲避,會(huì)對(duì)軌道清潔集成裝置,其真空吸嘴等運(yùn)行時(shí)須部分伸入軌道槽中的清潔工具造成損壞的問(wèn)題。提出了一種現(xiàn)代有軌電車槽型軌軌道道岔自動(dòng)檢測(cè)系統(tǒng),通過(guò)對(duì)圖像進(jìn)行灰度處理,設(shè)置ROI區(qū)域,逆透視,雙邊濾波完成圖像的預(yù)處理,通過(guò)圖像閾值處理,形態(tài)學(xué)梯度,開運(yùn)算對(duì)降噪后圖像進(jìn)行軌道輪廓提取,最后利用道岔存在特征條件對(duì)軌道輪廓二值圖進(jìn)行識(shí)別,實(shí)現(xiàn)了對(duì)采集圖像中有無(wú)道岔的識(shí)別判斷。仿真實(shí)驗(yàn)結(jié)果證明,算法可以對(duì)單開道岔及雙開道岔等清潔車運(yùn)行中出現(xiàn)的道岔類型進(jìn)行有效的識(shí)別。在識(shí)別出采集圖像中出現(xiàn)道岔后,道岔自動(dòng)檢測(cè)系統(tǒng)將自動(dòng)向PLC發(fā)出控制指令,利用液壓系統(tǒng)控制向上抬起清潔工具以避免與道岔碰撞摩擦,保證清潔車工作的安全性和有效性。該系統(tǒng)對(duì)軌道自動(dòng)清潔車的保護(hù)和行駛的安全具有指導(dǎo)意義及理論基礎(chǔ)。