基于雙目立體視覺的列車目標(biāo)識別和測距技術(shù)

原培新, 蔡 炟, 曹文偉, 陳 超

(東北大學(xué) 機械工程與自動化學(xué)院, 遼寧 沈陽 110819)

隨著世界流通領(lǐng)域的高速發(fā)展,以及鐵路運輸?shù)臉I(yè)務(wù)量大幅度增長,諸多因素對我國鐵路貨物運輸提出了嚴峻考驗.由于鐵路貨運到達的目的地不同,列車的編組解體作業(yè)成為不可缺少的環(huán)節(jié),編組站便成為重要的樞紐.編組站的主要任務(wù)是貨物列車的解體與編組作業(yè),駝峰是編組站的主要特征.駝峰的形狀和駱駝背類似,因此而得名.在駝峰上鋪設(shè)鐵軌,當(dāng)列車經(jīng)過駝峰時,利用列車自身的重力和駝峰坡度產(chǎn)生的勢能使兩個車鉤的拉力為零,工作人員提起連接車鉤的把手,將車鉤分解.此時分解后的列車順坡自動溜放到編組場的預(yù)定線路上,根據(jù)要求進行最后的編組.現(xiàn)今,列車在編組站上的溜車調(diào)度、信息接收等操作均已實現(xiàn)自動化,但是人工操作仍然是駝峰處列車摘鉤的唯一方式,這不僅增加工作人員的勞動強度,也威脅其人身安全.

早在20世紀70年代,德國的KB公司就開始進行鐵路運輸自動摘鉤相關(guān)技術(shù)的研究.該公司研發(fā)了摘鉤機械手,并在列車旁鋪設(shè)軌道,機械手在軌道上根據(jù)自動化綜合系統(tǒng)對目標(biāo)車廂進行追蹤,利用雷達測出列車此時的運行速度并傳輸給機械臂,機械臂根據(jù)之前得到的位置信息感知車鉤目標(biāo)的距離,對車鉤手柄進行抓取,完成摘鉤作業(yè).但是,由于當(dāng)時的實驗環(huán)境困難和技術(shù)落后等因素,造成對目標(biāo)的識別和測距結(jié)果偏差嚴重,無法抓取,最后放棄了這項研究.

沈陽市裕國站實驗基地設(shè)計了一種代替工作人員進行摘鉤作業(yè)的機器人:在貨車駝峰線旁鋪設(shè)一條軌道,工作人員在后臺通過機器人上的攝像頭觀測現(xiàn)場,找到適當(dāng)位置時,控制機械手的進給量進行車鉤抓取,從而實現(xiàn)車廂分解.雖然此方法可以保障工作人員的人身安全,但依舊存在不足:1)沒有實現(xiàn)節(jié)約人力物力,由于需要人工觀測和控制機械臂,從某種程度來說此方法使摘鉤作業(yè)變得更加復(fù)雜;2)人工觀測存在一系列不穩(wěn)定因素,如注意力不集中、光線強烈無法準確識別等原因,會造成抓取失敗或抓取錯誤等,影響工作效率.

為實現(xiàn)完全的摘鉤自動化,解放人力,提高摘鉤工作效率,本次研究以與裕國站共同合作的項目為支撐,在自動摘鉤機器人的基礎(chǔ)上,為其植入“眼睛和大腦”,使用雙目立體視覺技術(shù)進行目標(biāo)識別和測距,為機器人摘鉤提供數(shù)據(jù)基礎(chǔ).通過實際現(xiàn)場考察和實驗研究,本課題的難點如下:

1) 摘鉤作業(yè)時間短,需要在機器人和車廂同步時準確識別目標(biāo)把手和測量距離;

2) 和單目視覺技術(shù)相比,雙目立體視覺一直都是研究的難點.由于左右相機存在光照不均勻或者遮擋現(xiàn)象,會給立體匹配算法的應(yīng)用帶來困難.

針對實際工程背景和研究的難點,本次研究首先通過模板匹配對攝像機拍攝雙目圖像中的車鉤把手進行匹配與識別;其次,對攝像機進行標(biāo)定獲得系統(tǒng)成像模型參數(shù),恢復(fù)雙目相機間的位姿,即旋轉(zhuǎn)矩陣R和平移向量T,從而實現(xiàn)立體校正;最后,通過立體匹配技術(shù)獲得雙目相機的視差d,利用三角測量恢復(fù)場景的深度Z，它可以控制機械手的進給量,從而進行準確的摘鉤作業(yè).此方法可代替人工后臺觀測,得到摘鉤環(huán)境的三維信息,為機器人建立“大腦”,實現(xiàn)真正的自動摘鉤.

1 機器人摘鉤動作

雖然本文主要研究的是機器視覺部分,但為了便于分析,需要對機器人自動摘鉤的過程進行介紹.在駝峰處進行摘鉤時,并不是每一節(jié)車廂都要摘鉤分解,因此在摘鉤之前需要確定目標(biāo)車廂.現(xiàn)今,編組站大部分裝置已實現(xiàn)自動化,可利用計數(shù)傳感器系統(tǒng)對車廂數(shù)量依次計數(shù),當(dāng)?shù)玫侥繕?biāo)車廂的數(shù)字信息時,機器人底座開始在鋪設(shè)好的軌道上運行.如圖1所示,雷達測速傳感器可以測量此時列車速度,反饋給機器人達到共速.當(dāng)機器人和列車處于相對靜止?fàn)顟B(tài)時,便可以通過雙目攝像機采集車廂、手柄和車鉤組成的實時雙目圖像,如圖2所示,用視覺算法對目標(biāo)把手進行識別和測距,此距離為目標(biāo)點到視覺系統(tǒng)的物理距離(mm).最后將信息反饋給機器人的執(zhí)行裝置,進行自動抓取.

圖1 自動摘鉤過程示意圖

圖2 列車雙目圖像

2 系統(tǒng)成像模型

在機器視覺中,相機成像會涉及以下4種坐標(biāo)系:圖像像素坐標(biāo)系(uOpv)、圖像物理坐標(biāo)系(xOy)、攝像機坐標(biāo)系(XcOcYcZc)、世界坐標(biāo)系(XwOwYwZw).如圖3所示,世界坐標(biāo)系(XwOwYwZw)通過一系列矩陣變換得到圖像像素坐標(biāo)系(uOpv).

圖3 攝像機成像模型

由此可得

(1)

式中:M為3×4的投影矩陣;fx,fy,u0,v0均與攝像機的內(nèi)部結(jié)構(gòu)有關(guān),故M1為相機內(nèi)參數(shù)矩陣，M2為相機外參數(shù)矩陣,由旋轉(zhuǎn)矩陣R和平移向量T組成.下文的左、右單目攝像機標(biāo)定其實就是對攝像機內(nèi)、外參數(shù)求解的過程.

3 目標(biāo)把手的識別和測距方法

3.1 目標(biāo)把手識別技術(shù)研究

當(dāng)機器人與列車在行進間共速時,為了測量目標(biāo)把手的距離,需要對把手進行識別并確定該區(qū)域在整個圖像的位置.本文使用圖像預(yù)處理和模板匹配算法,首先通過圖像算法增強圖像質(zhì)量,使圖像細節(jié)豐富,紋理清晰.最后選擇一個把手區(qū)域圖像作為模板,根據(jù)模板與雙目圖像之間的相似度來確定目標(biāo)把手在圖像的位置并識別.通過圖像預(yù)處理和模板匹配算法進行目標(biāo)識別的步驟為:①圖像邊緣檢測;②圖像銳化;③模板匹配識別.

3.1.1 圖像邊緣檢測

在圖像處理技術(shù)中,圖像的邊緣是灰度變化明顯的像素連接而成的集合,它是圖像特征的基本體現(xiàn),Sobel算子是常用的邊緣檢測算法.在數(shù)學(xué)中,函數(shù)的導(dǎo)數(shù)往往表征著函數(shù)的極值,而圖像的邊緣灰度相對于周圍像素具有突變的性質(zhì),因此計算圖像灰度值的導(dǎo)數(shù)可以有效地提取圖像的邊緣特征.二維梯度可近似圖像的一階導(dǎo)數(shù),其表達式為

(2)

由向量分析可知,梯度向量是導(dǎo)數(shù)方向上的最大變化率.式(2)表示的梯度向量中,梯度幅值和方向如下:

(3)

Sobel算子不僅用到差分方法還將差分與局部相結(jié)合,當(dāng)鄰域像素與當(dāng)前選定的像素距離越大時,其產(chǎn)生的影響越小,結(jié)果如圖4所示.

圖4 Laplacian邊緣檢測圖像

3.1.2 圖像銳化

模板匹配是利用模板圖像和原始圖像進行對比,根據(jù)相似度識別目標(biāo).因此,得到高質(zhì)量、特征細節(jié)清晰的雙目圖像是模板匹配的重要前提.圖像銳化突出圖像的高頻部分,使圖像邊緣清晰,特征明顯.圖像銳化將原圖像與邊緣圖像進行權(quán)重融合,經(jīng)對比,原始灰度圖像和銳化結(jié)果如圖5和圖6所示.

圖5 原始灰度圖像

圖6 圖像銳化效果圖

3.1.3 模板匹配識別

模板匹配就是利用已知模板對原始圖像進行搜索找到對應(yīng)區(qū)域的過程.為了保證匹配的精度,本文選用了基于圖像灰度的模板匹配方法.該方法通過計算模板與原圖像灰度值差的平方和S(x,y)來確定匹配程度,如式(4)所示:

(4)

式中:n是模板圖像的像素個數(shù);t(u,v)是模板像素灰度值;f(x+u,y+v)是原始圖像與模板對應(yīng)區(qū)域處的像素灰度值.

截取圖像的目標(biāo)把手作為模板,尺寸為64×355像素,對其進行灰度變換、圖像邊緣檢測和圖像銳化操作,結(jié)果如圖7所示.

圖7 模板圖像預(yù)處理

利用模板圖像與銳化后的雙目圖像進行模板匹配,結(jié)果如圖8所示,紅框標(biāo)注的區(qū)域為目標(biāo)把手.

圖8 左、右圖像目標(biāo)把手識別

3.2 圖像特征點檢測與匹配

特征點體現(xiàn)圖像的重要特征,它對圖像的理解和分析有著很重要的作用.特征點在保留圖像重要特征的同時可以有效地減少信息的數(shù)據(jù)量,提高了計算速度,為實時處理提供了可能.SIFT(scale-invariant feature transform)[1-2]特征檢測是提取特征點的常用算法,它對旋轉(zhuǎn)、尺度縮放、亮度變化保持魯棒性,對視角的變化、仿射變換和噪聲也保持一定程度的穩(wěn)定性,并適用于在海量特征中進行快速、精準匹配.SIFT特征檢測結(jié)果見圖9.

圖9 雙目圖像SIFT特征檢測

特征匹配[3-5]是雙目立體視覺技術(shù)中極為重要的一步,它解決了數(shù)據(jù)關(guān)聯(lián)性問題,經(jīng)過匹配,可知2幅圖像特征點之間的關(guān)系,進一步得出相機之間的位姿關(guān)系.根據(jù)2幅圖像的匹配特征點的描述進行排序,取最近距離的點對作為匹配點,SIFT匹配結(jié)果如圖10所示.

圖10 SIFT特征點匹配

3.3 攝像機標(biāo)定技術(shù)

3.3.1 單目攝像機標(biāo)定

實驗的標(biāo)定板是8×11的黑白棋盤格,每個小正方形的邊長為20 mm,如圖11所示.

圖11 棋盤格標(biāo)定板

如圖12所示,使用雙目相機從不同距離和角度各拍攝16張標(biāo)定板圖像.Harris角點檢測得到棋盤格標(biāo)定板的角點坐標(biāo),通過平面單應(yīng)性原理和張正友標(biāo)定技術(shù)[6-7]進行單目攝像機標(biāo)定,標(biāo)定所得的單目攝像機的參數(shù)如表1和表2所示.

圖12 左右攝像機拍攝的標(biāo)定板圖像

表1 左攝像機標(biāo)定結(jié)果

表2 右攝像機標(biāo)定結(jié)果

3.3.2 雙目攝像機標(biāo)定

(5)

令f=[F11F12F13F21F22F23F31F32F33]T,由式(5)得

[u1u2u1v2u1v1u1v1v2v1u2v21]f=0 .

(6)

當(dāng)有n對匹配點時可得

(7)

由于未知向量f中有9個未知數(shù),若要保證有唯一解至少需要8對匹配點.

求解本質(zhì)矩陣E[10]:Ml和Mr分別為左、右相機的內(nèi)參數(shù)矩陣,令三維點的世界坐標(biāo)系與左相機坐標(biāo)系重合,右相機相對于三維點的位姿就是兩相機間的位姿,由本質(zhì)矩陣E的奇異值分解得到雙目相機的位姿信息R和T,E的奇異值分解為

E=UΣVT.

(8)

經(jīng)計算,基礎(chǔ)矩陣為

(9)

本質(zhì)矩陣為

(10)

旋轉(zhuǎn)矩陣為

(11)

平移向量為

T=[-66.1 1.29 -0.13]T.

(12)

3.4 立體校正

立體校正[11-13]是根據(jù)標(biāo)定后的左、右單目攝像機參數(shù)和雙目相機的位姿關(guān)系(R,T)使左、右2幅圖像平面原點坐標(biāo)相同,左、右投影面共面和行對齊,如圖13所示.

設(shè)定2幅圖像的旋轉(zhuǎn)矩陣R和平移向量T,為了使圖像重投影畸變最小化,將右側(cè)攝像機的圖像平面旋轉(zhuǎn)至左側(cè)攝像機的旋轉(zhuǎn)平面的旋轉(zhuǎn)矩陣R在2臺攝像機之間被分為兩半,左右攝像機的合成旋轉(zhuǎn)矩陣分別為r1和r2,r1和r2的關(guān)系為

(13)

圖13 立體校正示意圖

為了將左攝像機的極點變換到無窮遠處并使極線水平對準矩陣Rrect,構(gòu)造一個旋轉(zhuǎn)矩陣.該旋轉(zhuǎn)矩陣由極點e1方向開始,將主點(cx,cy) 作為左攝像機成像平面的原點,極點方向就是2臺攝像機投影中心之間的平移矢量方向，

(14)

下一個矢量e2與e1正交,e2通過e1與主光線方向的叉乘來得到,并進行歸一化:

(15)

第三個矢量e3通過e1與e2交叉相乘得到.故將左側(cè)攝像機中極點轉(zhuǎn)換到無窮遠處的矩陣為Rl,綜上所述,2臺攝像機可以通過式(16)實現(xiàn)共面和行對齊,式(16)為

(16)

圖14a和14b為立體校正前后雙目圖像,校正前的雙目圖像存在畸變且左右圖像未實現(xiàn)行對齊,校正后的圖像消除了鏡頭畸變,并實現(xiàn)了行對齊.圖14c為特征匹配的點云,其中橙色線表示左

圖14 立體校正

攝像機匹配點連接的折線,藍色線表示右攝像機對應(yīng)匹配點連接的折線.在圖中取部分匹配點對標(biāo)注其坐標(biāo),從中可以看出經(jīng)過立體校正后的匹配點的縱坐標(biāo)誤差在1個像素之內(nèi).

3.5 立體匹配

在立體視覺中,立體匹配[14-16]一直是一個關(guān)鍵的問題,它是在立體校正的基礎(chǔ)上計算視差d.根據(jù)計算像素區(qū)域的不同,立體匹配算法大致可分為:基于局部區(qū)域的立體匹配算法和全局立體匹配算法.根據(jù)實驗現(xiàn)場的環(huán)境可知,所檢測的手柄和車鉤周圍環(huán)境組成了一個紋理豐富的場景,故本文選擇基于局部的立體匹配算法.

SAD(sum of absolute difference)[17]是一種基于局部區(qū)域的立體匹配算法,計算的是像素鄰域內(nèi)對應(yīng)位置的像素灰度差的絕對值之和,其表達式為

Ir(u+i+d,v+j)| .

(17)

式中:Il(u+i,v+j),Ir(u+i+d,v+j)為左右圖像的像素灰度;W是像素Il(u+i,v+j)為中心的鄰域窗口;d為視差.

SAD算法在速度和匹配質(zhì)量方面較其他算法更具有優(yōu)勢,但其易受光照影響.

Census變換[18]也是一種常用的基于局部區(qū)域的立體匹配算法,它是在圖像區(qū)域定義一個矩形窗口,用該窗口遍歷整幅圖像.選取中心像素為參考像素,將矩形窗口中的每個像素灰度值與參考像素灰度值進行比較,灰度值小于或等于參考值 的像素記為0,大于參考值的像素記為1,最后將它們按位連接,得到變換結(jié)果.其表達式如下:

(18)

Census變換對光照變化不敏感,且能夠容忍一定的噪聲,但其對弱紋理區(qū)域和重復(fù)場景匹配效果不好.

為了提高匹配的效率和魯棒性,現(xiàn)將上述兩種算法進行加權(quán)融合,其匹配步驟如下:

1) 匹配代價計算.以左視圖為基準圖像,選擇1個參考匹配點為中心像素建立一個大小為m×n的矩形窗口.以右視圖為匹配圖像,沿著校正后的水平線進行搜索.將SAD算法和Census變換通過加權(quán)的方式進行相加融合,其表達式為

(19)

該算法將SAD算法和Census進行權(quán)值相加,當(dāng)光照變換不均勻可增加Census的權(quán)重(減小α值),當(dāng)要求實時性可增加SAD算法的權(quán)重.

2) 視差計算.當(dāng)代價函數(shù)確定后,取使代價函數(shù)最小的視差dmin為所求視差.

3) 視差優(yōu)化.計算出的視差為離散的數(shù)值.可通過亞像素插值等方法進行視差精確化.由于實驗環(huán)境的影響,所得的視差圖會存在大量噪聲,可采用平滑濾波等方法進行去噪優(yōu)化.

3.6 雙目測距與三維重建

雙目立體視覺就是用2臺相同的工業(yè)攝像機模擬人的雙眼,通過視差和三角測量等一系列算法感知物體的距離,從而恢復(fù)出物體的深度信息[19-20].如圖15所示,令世界坐標(biāo)系為XO1YZ,其與左相機的坐標(biāo)系重合.基線b是2臺攝像機光心間的距離.空間三維點P的坐標(biāo)為(X,Y,Z),由于世界坐標(biāo)系和左相機坐標(biāo)系重合,所以點P在左相機坐標(biāo)系下的坐標(biāo)為(X,Y,Z).當(dāng)使用雙目相機觀察同一點時,會存在視差d,因此點P在右相機坐標(biāo)系下的坐標(biāo)為(X-b,Y,Z).定義點P在左、右攝像機成像平面下的坐標(biāo)為p1(x1,y1)和p2(x2,y2),令y1=y2=y,通過上述關(guān)系,可以求出

(20)

式中f是焦距.

圖15 三角測量示意圖

得到視差圖和圖像深度信息,便可以進行全局的三維重建,對式(1)進行逆變換,得

(21)

4 實驗設(shè)計與分析

實驗使用2臺相同型號的CMOS彩色工業(yè)攝像機,其參數(shù)如表3所示,將2臺攝像機固定在雙目云臺上,通過USB2.0數(shù)據(jù)線與計算機相連進行供電并配有可變焦鏡頭,從而完成雙目立體視覺系統(tǒng)的搭建.在雙目立體視覺系統(tǒng)中,2臺工業(yè)攝像機的光心在同一條水平線上,其連線(基線)長度為66 mm.

以蘇家屯編組站的兩節(jié)連接車廂為研究區(qū)域,C++為主要編程語言,通過VS2017配置OpenCV庫為編程環(huán)境進行雙目圖像的采集、圖像預(yù)處理、立體校正和立體匹配等操作,利用雙目立體視覺系統(tǒng)采集帶有車鉤和把手的圖像.若想實現(xiàn)機械臂對車鉤的自動摘取,需對車廂、車鉤和最重要的目標(biāo)把手進行測距.

表3 攝像機參數(shù)

圖16是通過立體匹配算法得到的列車分解區(qū)域的視差圖,灰度值較大的部分表示距離拍攝像機的垂直距離較小,根據(jù)灰度圖的灰度值分布可知列車各部分的距離.為了便于實驗分析將其轉(zhuǎn)化為三通道的RGB圖像,在彩色圖像中,藍色表示距離攝像機較近的部分,綠色則表示較遠.為了更直觀地表示深度圖與原圖像的關(guān)系,將左攝像機拍攝的矯正圖像和深度圖的灰度圖進行融合.其中藍色部分是左攝像機經(jīng)過立體校正后的拍攝圖像,紅色部分是視差圖.可以看出,場景中的車廂、車鉤和把手均被深度圖表示,在藍色的原始圖像的強紋理區(qū)域?qū)崿F(xiàn)了立體匹配與視差計算,進而驗證了算法和實驗的準確性.

將立體匹配算法得到的三通道RGB視差圖像與原始列車圖像進行對比,如圖17所示,列車的車鉤、 車廂和目標(biāo)把手各自的區(qū)域在視差圖中清晰可見.通過三角測量算法,公式(21)計算列車的車廂、車鉤和把手三部分物理距離,測距結(jié)果如表4至表6所示.深度Z表示雙目立體視覺系統(tǒng)的光心和三維場景各個部分的垂直距離,根據(jù)前文機器人摘鉤過程,該距離是一個物理量,其單位為mm.機器人在識別到目標(biāo)把手后,可根據(jù)把手的距離進行伸縮,當(dāng)抓取到把手時,執(zhí)行機構(gòu)可模仿人工摘鉤動作,實現(xiàn)自動摘鉤.實驗中三部分的深度計算值和利用激光測距儀檢測出的實際距離的誤差如表4至表6所示,經(jīng)過比較可知車鉤處紋理豐富,故匹配精確,即其距離測量結(jié)果較為理想;反觀目標(biāo)把手,由于把手處表面紋理較少,且目標(biāo)較小,因此存在誤匹配,影響測量精度,但總體誤差不大,可以在后續(xù)研究中繼續(xù)優(yōu)化.

圖16 列車視差圖像

圖17 視差圖像區(qū)域標(biāo)注

表4 目標(biāo)把手處測距結(jié)果

表5 車廂處測距結(jié)果

表6 車鉤處測距結(jié)果

為了更加直觀地觀測列車分解的操作場景,重建出的場景三維稀疏點云如圖18所示.

圖18 列車場景三維重建結(jié)果

5 結(jié) 論

1) 對復(fù)雜背景下的雙目圖像進行邊緣檢測和圖像銳化等圖像預(yù)處理操作,增強圖像質(zhì)量.使用模板匹配算法搜索圖像上目標(biāo)區(qū)域并進行識別.

2) 利用匹配點和單目攝像機的標(biāo)定參數(shù)恢復(fù)了雙目相機的位姿關(guān)系,并進一步實現(xiàn)了立體校正,其校正效果良好,驗證了雙目攝像機參數(shù)和位姿信息的準確性.

3) 通過SAD加權(quán)Census的立體匹配算法得到了區(qū)域明顯的視差圖,測量了場景的深度信息,并與激光測距儀的實際深度信息對比進行驗證.

4) 經(jīng)對比,目標(biāo)把手處目標(biāo)較小且紋理信息單一,所以測得的距離誤差較大,但誤差在規(guī)定范圍內(nèi).實驗結(jié)果表明,該方法穩(wěn)定可靠,測量目標(biāo)精準.