(上海工程技術(shù)大學(xué) 城市軌道交通學(xué)院,上海 201620)
軌道近景攝影測(cè)量技術(shù)能夠?qū)崿F(xiàn)對(duì)各軌道部件幾何狀態(tài)的檢測(cè)及軌道空間線形的測(cè)量,是軌道無(wú)接觸、動(dòng)態(tài)實(shí)時(shí)檢測(cè)的發(fā)展趨勢(shì)。然而軌道近景攝影技術(shù)由于拍攝角度及拍攝距離的影響,單幅圖像中包含的軌道區(qū)段長(zhǎng)度有限,此時(shí)需要將多幅軌道圖像進(jìn)行匹配拼接,獲得完整的軌道圖像以提高檢測(cè)效率[1-2]。由于有渣軌道圖像具有圖像色彩信息單一,圖像背景復(fù)雜,特征分布多變的特點(diǎn),使得軌道圖像在匹配過(guò)程中容易造成誤匹配,檢測(cè)速度難以提高[3-5]。對(duì)軌道圖像特征分布規(guī)律的研究,有利于對(duì)確定的軌道圖像特征建立針對(duì)性的檢測(cè)模型,提高圖像匹配的快速性和準(zhǔn)確性,對(duì)用圖像實(shí)現(xiàn)軌道空間線形建模具有重要意義。
目前,國(guó)內(nèi)外對(duì)軌道圖像特征的研究主要集中在扣件區(qū)域,根據(jù)hough變換提取扣件直線特征進(jìn)行圖像匹配,但是少有涉及根據(jù)扣件細(xì)分及鋼軌軌枕區(qū)域點(diǎn)特征的分布規(guī)律,利用更易獲得的、數(shù)量較少的幾個(gè)幾何特征點(diǎn)進(jìn)行圖像匹配。
本文提出使用尺度不變的Harris特征點(diǎn)檢測(cè)算法提取軌道圖像的幾何特征點(diǎn),對(duì)得到的特征點(diǎn)用sift描述子計(jì)算其特征向量,在分析軌道圖像部件特征及布設(shè)規(guī)律的基礎(chǔ)上,運(yùn)用分析統(tǒng)計(jì)的方法獲得軌道圖像間出現(xiàn)頻率最高的同名點(diǎn),實(shí)現(xiàn)軌道特征點(diǎn)分布規(guī)律的研究。
軌道結(jié)構(gòu)主要由鋼軌、軌枕、扣件等部件連接組成。如圖1所示,鋼軌、扣件及枕木分布密集、排列規(guī)律、均勻且?guī)缀翁卣髅黠@,適宜作為軌道特征規(guī)律研究的有效部件;其他軌道部件由于布置間隔距離過(guò)長(zhǎng)或分布不均勻,不適合作為軌道特征規(guī)律研究的有效部件[6-7]。
圖1 軌道部件示意圖
扣件相比于軌枕、鋼軌結(jié)構(gòu)更加復(fù)雜。主要由螺母、平墊圈、彈條、軌距擋板、擋板座等部分構(gòu)成,且各個(gè)部分幾何特征明顯[8]。彈條Ⅱ型扣件結(jié)構(gòu)如圖2所示。
圖2 彈條Ⅱ型扣件結(jié)構(gòu)示意圖
根據(jù)以上分析,螺母、彈條、擋板座、鋼軌軌枕交叉處具有明顯幾何特征,可以推測(cè)出現(xiàn)幾何特征點(diǎn)的頻率較高。因此,將軌道圖像劃分為4個(gè)區(qū)域進(jìn)行特征點(diǎn)分布規(guī)律研究:螺母區(qū)域、彈條區(qū)域,擋板座區(qū)域,鋼軌軌枕交叉區(qū)域。
Harris算子是Harris C和Stephens MJ提出的一種基于信號(hào)的特征提取算子[9],該算子檢測(cè)圖像中每一個(gè)像素的興趣值,通過(guò)分塊選擇可以使特征點(diǎn)分布均勻;并且檢驗(yàn)到的特征點(diǎn)能夠反映圖形的結(jié)構(gòu)。SIFT(scale invariant feature transform,SIFT)是GLowe D在2004年提出的基于不變量描述子的特征點(diǎn)匹配算法。SIFT檢測(cè)算子具有良好的尺度、旋轉(zhuǎn)、視角及光照不變性,特征描述子所含信息量豐富,并且匹配數(shù)量可控,精度高[10-11]。但是算法本身需要對(duì)圖像進(jìn)行多次分層卷積平滑操作,使得提取過(guò)程復(fù)雜且運(yùn)算時(shí)間長(zhǎng),對(duì)像素量少的興趣區(qū)域響應(yīng)弱;并且獲得的特征點(diǎn)無(wú)法反映圖像的幾何結(jié)構(gòu),即不是人眼可辯的特征點(diǎn)。
根據(jù)軌道圖像部件的幾何特征及布設(shè)規(guī)律,本文結(jié)合harris與sift算法,先對(duì)圖像指定區(qū)域進(jìn)行尺度不變的Harris特征點(diǎn)檢測(cè),再用sift描述子對(duì)特征點(diǎn)建立特征向量,根據(jù)合適的點(diǎn)確定同名點(diǎn),完成匹配。
2.1.1 Harris特征檢測(cè)算子對(duì)特征點(diǎn)的定義分析
受morvaec算子的影響,harris算子認(rèn)為特征點(diǎn)是區(qū)域像素在灰度值上的變化。所不同的是,harris不再局限于對(duì)鄰域內(nèi)水平、垂直、對(duì)角和反對(duì)角四個(gè)方向灰度變化的考察,而是考慮窗口沿任意方向移動(dòng)時(shí)灰度的變化情況:在平坦區(qū)域,窗口沿任意方向移動(dòng),區(qū)域內(nèi)圖像灰度保持恒定;在邊沿區(qū)域,窗口沿垂直邊緣方向移動(dòng),區(qū)域內(nèi)圖像灰度差異性顯著;在兩條邊緣相交的角點(diǎn)區(qū)域,窗口沿任意方向移動(dòng),區(qū)域內(nèi)圖像灰度差異性均表現(xiàn)明顯。
Harris對(duì)特征點(diǎn)的定義符合本文要查找的人眼可見(jiàn)的軌道幾何特征點(diǎn)特征。例如,軌道檔板肩幾何上是一個(gè)矩形長(zhǎng)條,其有效的結(jié)構(gòu)特征點(diǎn)為矩形的四個(gè)頂點(diǎn),一階微分后harris窗口在角點(diǎn)區(qū)域沿各個(gè)方向移動(dòng)的響應(yīng)均較大。
2.1.2 Harris檢測(cè)算子原理分析
傳統(tǒng)的Harris特征點(diǎn)檢測(cè)算法受信號(hào)處理中自相關(guān)函數(shù)的啟發(fā),檢測(cè)算子只涉及圖像的一階導(dǎo)數(shù)。建立M矩陣如下:
(1)
其中:Ix和Iy分別是圖像I在x方向和y方向的梯度;G是高斯模板;?表示高斯模型和函數(shù)進(jìn)行卷積運(yùn)算。
為避免求解M的特征值,定義harris的特征點(diǎn)響應(yīng)函數(shù)為:
R(x,y)=Det(M)-cTr(M)2
(2)
(3)
(4)
其中:det為矩陣行列式;tr為矩陣的跡(即矩陣對(duì)角線之和);c為經(jīng)驗(yàn)值,通常取0.04~0.06[12]。
2.1.3 尺度不變的harris檢測(cè)算子
傳統(tǒng)的harris檢測(cè)算子對(duì)旋轉(zhuǎn)平移等變換具有良好的穩(wěn)定性,但是受圖像尺度變化影響較大,較小的尺度變化會(huì)帶來(lái)大量的錯(cuò)誤檢測(cè)。軌檢車運(yùn)行過(guò)程中由于鋼軌踏面不平滑等原因產(chǎn)生震動(dòng),進(jìn)而使檢測(cè)相機(jī)抖動(dòng),由此攝影得到圖像會(huì)有少許尺度變化。為克服檢測(cè)過(guò)程中圖像的尺度變化,找到不受尺度變化影響的幾何特征點(diǎn),本文引入尺度不變的harris檢測(cè)算子。
借鑒mikolajczyk等人對(duì)傳統(tǒng)harris特征檢測(cè)算子的改進(jìn),現(xiàn)定義具有尺度適應(yīng)性的harris二階矩陣μ(x,y,δI,δD)為:
?
(5)
其中:(x,y)為像素點(diǎn)坐標(biāo),Ix和Iy分別為圖像沿水平和豎直方向的一階微分,δI為用于平滑圖像的高斯核函數(shù)的積分尺度,δD為用于計(jì)算圖像梯度的高斯核函數(shù)的微分尺度。并且δI=SδD,s為常數(shù)且s小于1。
將軌道圖像按部件組成及分布情況分成不同小區(qū)域,對(duì)不同區(qū)域設(shè)定不同的閾值。以尺度空間為基礎(chǔ),分別在尺度域和空間域中搜索響應(yīng)極值點(diǎn)。其具體步驟為:
1)預(yù)先定義一組積分尺度:
δ1…δn=δ0…knδ0
其中:k取1.4。通過(guò)確定積分和微分尺度,生成一組μ(x,y,δI,δD)。
2)進(jìn)行位置空間搜索:
(1)對(duì)于給定的尺度空間,計(jì)算特征點(diǎn)響應(yīng)函數(shù),判斷響應(yīng)值是否大于閾值。
(2)對(duì)像素點(diǎn)進(jìn)行8鄰域最大值搜索,保留鄰域內(nèi)響應(yīng)值最大的候選點(diǎn)。
3)進(jìn)行尺度空間搜索:
(1)計(jì)算候選點(diǎn)的拉普拉斯函數(shù)響應(yīng),保留函數(shù)絕對(duì)值大于閾值的點(diǎn)為新的候選點(diǎn)。
(2)在相鄰兩個(gè)尺度空間中,將候選點(diǎn)與其鄰域共26個(gè)點(diǎn)作比較,判斷拉普拉斯響應(yīng)是否為鄰域內(nèi)的最值點(diǎn)。
本文以彈條Ⅱ型軌道扣件為研究對(duì)象,典型的扣件圖像如圖2所示。由于軌道圖像像素的單一性和背景的復(fù)雜性,使得軌道部件幾何頂點(diǎn)及其交叉點(diǎn)成為穩(wěn)定特征點(diǎn)可能出現(xiàn)的區(qū)域。分別用尺度不變的harris檢測(cè)算子對(duì)扣件、螺母進(jìn)行特征點(diǎn)檢測(cè),結(jié)果如圖3所示。
圖3 扣件、螺母特征點(diǎn)檢測(cè)結(jié)果
對(duì)用尺度不變的harris檢測(cè)算子得到的特征點(diǎn),用sift描述子計(jì)算其特征向量。
2.2.1 特征點(diǎn)方向分配
利用圖像的局部特征給每一個(gè)關(guān)鍵點(diǎn)分配一個(gè)基準(zhǔn)方向,采用特征點(diǎn)的3σ鄰域窗口內(nèi)像素的梯度和方向分布特征進(jìn)行描述。梯度的模值和方向如下:
(6)
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/
(L(x+1,y)-L(x-1,y)))
(7)
其中:L表示特征點(diǎn)的尺度空間,梯度的模值m(x,y)按1.5σ的高斯分布加成,按尺度采樣的3σ原則,鄰域窗口半徑為3×1.5σ[13]。
建立方向直方圖,統(tǒng)計(jì)特征點(diǎn)鄰域范圍各像素的梯度和方向,直方圖的峰值表示該點(diǎn)鄰域梯度的方向,定義此關(guān)鍵點(diǎn)的主方向?yàn)橹狈綀D最大值所對(duì)應(yīng)的方向,并定義該點(diǎn)的輔方向?yàn)榉逯荡笥谥鞣较蚍逯?0%的方向。
2.2.2 特征點(diǎn)特征描述
sift描述子是用一個(gè)128維向量表示,記錄了關(guān)鍵點(diǎn)鄰域8個(gè)方向的梯度信息。具體計(jì)算步驟如下:
1)對(duì)關(guān)鍵點(diǎn)所在尺度空間的鄰域進(jìn)行區(qū)域劃分,將其分成d*d個(gè)子區(qū)域(本文設(shè)置d=4),每個(gè)子區(qū)域有8個(gè)方向。
2)為保證圖像的旋轉(zhuǎn)不變性,旋轉(zhuǎn)坐標(biāo)軸到關(guān)鍵點(diǎn)的方向。關(guān)鍵點(diǎn)領(lǐng)域內(nèi)各采樣點(diǎn)旋轉(zhuǎn)前與旋轉(zhuǎn)后的坐標(biāo)關(guān)系為:
(8)
(x,y∈[-radius,radius])
3)計(jì)算領(lǐng)域內(nèi)各子區(qū)域全部像素的梯度值,將所有梯度值歸并到8個(gè)方向上,并計(jì)算其權(quán)值。
4)確定每個(gè)特征點(diǎn)的特征向量。計(jì)算各子區(qū)域8個(gè)方向的梯度值,得到一個(gè)128維的梯度向量,此向量即為特征向量。
如前文所述采用尺度不變的harris角點(diǎn)檢測(cè)提取軌道幾何特征點(diǎn),用sift描述子計(jì)算已知特征點(diǎn)的特征向量,則特征匹配的一般流程如圖4所示。
圖4 特征匹配的一般步驟
本文采用歐氏距離作為特征向量的相似性度量準(zhǔn)則。
(9)
其中:D值表示特征點(diǎn)之間的相對(duì)距離,值越小,表明兩個(gè)特征點(diǎn)越相似。搜索策略:以待匹配圖像A中的特征點(diǎn)為定點(diǎn),采用鄰近搜索法在待匹配圖像B中搜索,找到距離最近和次近的兩個(gè)特征點(diǎn),計(jì)算他們之間的比值,若比值小于預(yù)先設(shè)定的閾值,則認(rèn)為他們是同名點(diǎn)。運(yùn)用隨機(jī)抽樣一致性算法對(duì)得到的同名點(diǎn)進(jìn)行篩選,去除誤匹配的點(diǎn)[14]。
在不同光照條件下對(duì)有渣軌道進(jìn)行大量多角度攝影,根據(jù)軌道部件幾何結(jié)構(gòu)及其布設(shè)特點(diǎn)將軌道劃分為不同興趣區(qū)域。分別對(duì)每一區(qū)域進(jìn)行harris-sift特征點(diǎn)匹配,統(tǒng)計(jì)具有物理幾何意義的同名點(diǎn)出現(xiàn)頻率,分析不同區(qū)域特征點(diǎn)分布頻率高或者低的原因。
本文主要在matlab2016a版本上實(shí)現(xiàn)改進(jìn)的harris-sift 軌道幾何特征點(diǎn)的分布規(guī)律研究,實(shí)驗(yàn)數(shù)據(jù)均為實(shí)拍有渣軌道圖像。
實(shí)驗(yàn)根據(jù)軌道布設(shè)及部件特點(diǎn),將軌道圖像劃分為螺母區(qū)域,彈條區(qū)域,擋板座區(qū)域,鋼軌軌枕交叉區(qū)域。分別對(duì)每一區(qū)域進(jìn)行尺度不變harris特征點(diǎn)檢測(cè),用sift描述子計(jì)算特征點(diǎn)的特征向量并匹配,根據(jù)實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)具有明顯幾何特征的同名點(diǎn)出現(xiàn)頻率。
其中,為保證檢測(cè)的幾何特征點(diǎn)有效并且準(zhǔn)確,在特征點(diǎn)檢測(cè)過(guò)程中采用如下幾條實(shí)驗(yàn)策略:
1)經(jīng)驗(yàn)閾值k的選取影響候選特征點(diǎn)的個(gè)數(shù)及可靠性,不同區(qū)塊選區(qū)的k值不同。
2)將harris候選點(diǎn)的興趣值從大到小排列選取前50個(gè)點(diǎn)作為特征點(diǎn)(我們認(rèn)為總能被檢測(cè)到的特征點(diǎn),其興趣值應(yīng)顯著大于其他特征點(diǎn))。
3)為避免不同區(qū)塊內(nèi)特征點(diǎn)聚簇現(xiàn)象,采用n*n窗口掃描圖像,僅保留每次移動(dòng)窗口內(nèi)響應(yīng)值最大的候選點(diǎn)為特征點(diǎn)。
對(duì)不同軌道圖像區(qū)域檢測(cè)及匹配結(jié)果如圖5~8所示。
圖5 擋板座塊匹配結(jié)果圖
圖6 螺母塊匹配結(jié)果圖
圖7 交叉塊匹配結(jié)果圖
圖8 彈條塊匹配結(jié)果圖
對(duì)1000幅軌道實(shí)拍圖像進(jìn)行檢測(cè),特征點(diǎn)統(tǒng)計(jì)結(jié)果如表1所示。
表1 特征點(diǎn)統(tǒng)計(jì)結(jié)果
由表1分析可知,選取前50個(gè)興趣值最高的特征點(diǎn)作為考察點(diǎn),擋板座頂點(diǎn)被檢測(cè)到的次數(shù)最高,出現(xiàn)頻率達(dá)到97.8%。螺母邊角和彈條拐點(diǎn)被檢測(cè)到的頻率相近,由于兩者灰度值相近且有陰影影響,使幾何特征點(diǎn)的識(shí)別率較低。鋼軌軌枕的邊緣交叉點(diǎn)由于周圍存在大量雜點(diǎn)使得特征點(diǎn)識(shí)別率低。
1)通過(guò)對(duì)軌道圖像統(tǒng)計(jì)分析,擋板座頂點(diǎn)被檢測(cè)到的頻率最高,達(dá)到97.8%。由于擋板座幾何形態(tài)簡(jiǎn)單且規(guī)則(矩形長(zhǎng)條),適宜運(yùn)用harris特征點(diǎn)檢測(cè)方法選取特征點(diǎn),并且其灰度值顯著大于周圍部件灰度值,微分結(jié)果顯著。檢測(cè)算子的旋轉(zhuǎn)不變性讓圖像適應(yīng)多角度攝影。
2)由于彈條以及螺母與軌距擋板灰度值相近,幾何特征相對(duì)復(fù)雜,并且,由于部件間的相對(duì)位置,攝影光照必定產(chǎn)生圖像陰影,使得此區(qū)域的幾何特征點(diǎn)檢測(cè)率低。
3)邊緣交叉處圖像背景復(fù)雜,軌枕處雜點(diǎn)像素較多,并且鋼軌灰度值與軌距擋板相近,直接用harris檢測(cè)特征點(diǎn),前50個(gè)興趣點(diǎn)難以觀測(cè)到有用的幾何特征點(diǎn)。
針對(duì)軌道圖像色彩單一、背景復(fù)雜,單幅圖像特征點(diǎn)多變且不準(zhǔn)確的問(wèn)題。本文提出結(jié)合尺度不變的harris特征點(diǎn)檢測(cè)算子和sift檢測(cè)算子的方法,將harris特征點(diǎn)反映物體幾何特征的特點(diǎn)與sift描述子的旋轉(zhuǎn)不變性、精度高的特點(diǎn)相結(jié)合。通過(guò)大量采樣攝影和統(tǒng)計(jì)分析,確定軌道圖像中出現(xiàn)頻率最高的同名點(diǎn),實(shí)現(xiàn)軌道圖像特征點(diǎn)分布規(guī)律的研究,得出結(jié)論:擋板座頂點(diǎn)出現(xiàn)頻率明顯高于其他區(qū)域幾何特征點(diǎn)。