融合距離圖像和彩色圖像的圓位姿測量方法

陳　欣　高　雋　張旭東　張　駿

(合肥工業(yè)大學計算機與信息學院　安徽 合肥 230009)

?

融合距離圖像和彩色圖像的圓位姿測量方法

陳欣高雋張旭東張駿

(合肥工業(yè)大學計算機與信息學院安徽 合肥 230009)

摘要針對基于單目視覺的單個圓位姿測量解的二義性問題，提出一種融合距離圖像和彩色圖像消除二義性的方法。該方法首先用RGB相機獲取的高分辨率彩色圖像計算圓位姿，獲得圓位姿的一組歧義解。然后將彩色圖像和飛行時間TOF(time-of-Flight)相機獲取的距離圖像融合，形成一個高分辨率的距離圖像。最后，根據(jù)距離圖像恢復圓在RGB相機下的三維信息，剔除圓位姿中的虛假解，從而得到圓的真實位姿。實驗結果表明，該方法能夠有效地解決基于單目視覺的單個圓位姿測量的二義性問題，且能夠準確獲得較高精度的圓位姿。

關鍵詞圓位姿測量二義性距離圖像彩色圖像融合

0引言

隨著計算機技術的飛速發(fā)展，基于計算機視覺的位姿測量在航天、軍事、智能交通、醫(yī)療、多媒體等領域有著廣泛的應用[1,2]。在航天領域，多數(shù)在軌服務航天器為非合作目標，即沒有預先安裝合作標志器(如發(fā)光標志器、角反射鏡等裝置)。因此，對于非合作目標位姿測量，只能利用目標航天器本身的特征(如對接環(huán)和發(fā)動機噴嘴)來實現(xiàn)目標的識別和定位[3]。航天器的對接環(huán)和發(fā)動機噴嘴具有圓形結構，使利用圓特征求解非合作目標的位姿成為可能。

相對于其他點線特征，圓代表的是個對稱矩陣，在數(shù)學上比較容易計算，對于抗遮擋和圖像定位精度來說，圓也有很大的優(yōu)勢。然而，在沒有任何約束條件下，基于單個圓的單目視覺位姿估計的解具有二義性[4,5]，難以應用于實際中。因此，如何剔除位姿估計中的虛假解引起眾多學者研究。

Velasquez等[6]給定目標一個初始化位姿，利用擴展卡爾曼濾波器EKF(ExtendedKalmanfilter)估計下一時刻的位姿信息，將接近預測值的解作為圓目標真實位姿信息。但是若目標的初始位姿不確定，該方法就不能獲得圓目標的位姿信息。Xu等[7]利用雙目相機分別計算獲得圓目標在兩個相機下的位姿解，將兩相機獲得的位姿解轉換到世界坐標系下，對于同一圓，在世界坐標系下，根據(jù)左右兩相機獲取的法向量的正確解間的夾角小于某一閾值，從而獲得圓的正確位姿信息。但是實際中，若是閾值選擇得不合適的話，該方法就不再適用。Du等[8]將目標航天器上的對接環(huán)和矩形底座邊緣作為識別對象，采用矩形底座邊緣的消隱點求解正確圓的法向量，從而剔除虛假解。但是當矩形底座的其中一條邊被遮擋時，該方法將不再適用。苗錫奎等[9]根據(jù)圓平面外一參考點到圓心距離的歐氏不變性，剔除虛假解。但是該方法需要已知在目標本體坐標系下參考點到圓心的距離信息，且必須保證參考點在圖像平面上成像。魏振忠等[10]根據(jù)圓所在平面上的一對相交直線角度在歐式空間中保持不變，對圓目標正確定位。若圓所在的平面找不到角度約束的輔助信息，該方法就不再適用。

上述解決二義性的圓位姿測量方法皆存在著不同的約束條件。鑒于此，本文采用一種新型的、小型化的基于飛行時間原理的三維立體成像設備飛行時間TOF相機[11]。它無需掃描便可同時獲取目標的幅度圖像、距離圖像和灰度圖像。我們利用距離圖像恢復空間圓在TOF相機下的三維信息，從而對圓進行準確定位。然而，TOF相機獲取圖像分辨率較低[12]，因此直接利用空間圓在TOF相機下的投影圖像計算空間圓位姿的精度不高。針對該問題，本文利用RGB相機和TOF相機組成的2D/3D系統(tǒng)求解圓位姿。首先利用RGB相機獲取的高分辨率彩色圖像計算圓位姿；然后將彩色圖像和TOF相機獲取的距離圖像融合，形成一個高分辨率的距離圖像；最后根據(jù)距離圖像恢復圓在RGB相機下的三維信息，唯一確定圓的位置和姿態(tài)角參數(shù)。實驗驗證了本文提出的圓位姿測量算法有效地解決了解的二義性問題，且能夠獲得較高的圓位姿測量精度。

1位姿測量系統(tǒng)結構

為了便于分析，本文建立如圖1所示的目標本體坐標系os-x1y1z1，RGB相機和TOF相機坐標系oc1-xc1yc1zc1、oc2-xc2yc2zc2。

圖1　目標本體坐標系、相機坐標系、像平面坐標系的定義

RGB相機和TOF相機像平面坐標系分別定義如下：

(1) 目標本體坐標系os-x1y1z1

以目標上圓特征的圓心為坐標原點os，以圓面法向量為z1軸方向，利用右手法則依次建立x1軸和y1軸，從而建立目標物體的本體坐標系os-x1y1z1。

(2) 像平面坐標系

① 對于RGB像平面像素坐標系o1-u1v1，以像平面的左上角第一個像素點為原點o1，u1軸和v1軸方向分別對應于像平面的行方向和列方向；同理，建立TOF像平面像素坐標系o2-u2v2；② 對于RGB像平面物理坐標系of1-xf1yf1，以RGB相機的光軸與像平面的交點為原點of1，xf1、yf1分別與u1軸和v1軸平行；同理，建立TOF像平面物理坐標系of2-xf2yf2。這里，單位為毫米。

(3) 相機坐標系

對于RGB相機坐標系oc1-xc1yc1zc1，以相機透鏡中心作為原點oc1，主光軸方向為zc1軸，xc1軸、yc1軸分別與像平面坐標系u1、v1平行。同理，建立TOF相機坐標系oc2-xc2yc2zc2。

為了解決單個圓姿態(tài)識別中的二義性問題，本文采用如圖2所示算法框架。首先對RGB相機和TOF相機獲得圖像進行預處理，主要包括對TOF相機獲取的距離圖像進行濾波降噪；對RGB相機獲取的彩色圖像進行邊緣檢測，對于邊緣檢測后的圖像進行橢圓檢測，從而獲得圓在像平面上的投影橢圓。然后對彩色圖像上獲得的橢圓采用基于圓的單目視覺位姿估計算法[6]，獲得圓的位姿解。針對圓位姿計算獲得的解具有二義性，將RGB相機獲取的彩色圖像和TOF獲取的距離圖像融合形成高分辨率的距離圖像DH，根據(jù)距離圖像DH恢復圓在RGB相機坐標系下的三維點云，求出圓的正確位姿解。

圖2　圓位姿測量算法框架

2圓位姿估計

2.1預處理

2.2基于單目視覺的圓位姿估計法

一般情況下，根據(jù)相機小孔成像模型，三維空間圓在相機二維像平面上的投影為橢圓，像平面上的投影橢圓和相機透鏡光心形成一個橢圓錐。圓三維位置和方向的求解就是在空間中尋找一個平面，且此平面與橢圓錐相交形成一個圓。

對于2.1節(jié)中橢圓檢測獲得橢圓幾何參數(shù)，利用圓姿態(tài)重建的閉式解法[5]在橢圓錐空間中找到兩個平面，且這兩個平面分別與橢圓錐相交的圓在像平面上的投影為同一個橢圓，如圖3所示。其中，RGB相機坐標系oc1-xc1yc1zc1下的圓心坐標和圓所在平面法向量的一組歧義解如式(1)所示：

(1)

圖3　圓位姿歧義解示意圖

2.3基于距離圖像和彩色圖像融合消除位姿二義性

2.3.1距離圖像和彩色圖像的融合

利用立體配準算法[18]將低分辨率距離圖像映射到高分辨率彩色圖像空間中，獲得一個初始高分辨率距離圖像DS。再利用Ferstl等[19]提出的距離圖像和彩色圖像的融合方法對距離圖像上采樣，將上采樣問題轉化成二階廣義總變分(TGV)的全局能量函數(shù)優(yōu)化問題。其中二階廣義總變分(TGV)的全局能量目標函數(shù)如式(2)所示：

(2)

2.3.2三維點云獲取

由于TOF相機獲得的距離數(shù)據(jù)為TOF相機光心到目標物體的徑向距離，所以融合獲得的高分辨率距離圖像上每個像素點的距離數(shù)據(jù)為RGB相機光心到目標物體的徑向距離。利用RGB相機的小孔成像模型，結合式(3)-式(5)計算圓上各點在RGB相機坐標系oc1-xc1yc1zc1下的三維坐標X(xi,yi,zi)，即RGB相機下的三維點云。對于RGB相機獲取的3維點云存在著部分離散點和孤立點，采用KNN鄰域濾波[22]對獲取的點云進行平滑處理(本文實驗K=10)。

(3)

(4)

(5)

2.3.3二義性消除

由空間幾何可知，若空間圓心坐標為O0(O0x,O0y,O0z)，圓上任一點坐標為Xo(xo i,yo i,zoi)，那么圓所在的平面方程可用式(6)表示：

nT[(Xo-O0]=0

(6)

式中，n為圓所在平面的法向量。

對于計算獲得的圓的三維點云數(shù)據(jù)，由于相機自身存在的系統(tǒng)誤差和非系統(tǒng)誤差，圓上各點并不能準確滿足式(6)，因此建立如式(7)的目標函數(shù)：

f(n,O0,Xo)=nT(Xo-O0)

(7)

將RGB相機坐標系下圓心坐標、圓所在平面法向量的一組歧義解以及空間圓各點三維坐標分別代入式(7)，按式(8)獲得正確的圓心坐標Ot和法向量nt：

(8)

其中，圓心坐標為位置信息，從平面法向量求出繞x軸和y軸的旋轉角度。

3實驗結果與分析

為了驗證算法的可行性和準確性，本文自行搭建位姿測量平臺。如圖4所示，包括自制的目標模型(塑料)、TOF相機和RGB相機組成的2D/3D相機系統(tǒng)、旋轉平移平臺。

圖4　位姿測量平臺

其中，TOF相機為PMD?Camcube2.0，分辨率為204×204；RGB相機為大恒公司的DH-SV1421FC，分辨率為1392×1040，兩相機坐標系間的旋轉矩陣R、平移矩陣T參數(shù)如表1所示。本實驗中采用的圓特征為目標模型中圓環(huán)的外圓，外圓直徑為150mm。

表1　兩個相機坐標系之間的坐標轉換關系

首先固定2D/3D相機系統(tǒng)，控制旋轉平臺使其回到初始零位，校準目標模型，使模型中的圓平面與實驗中的旋轉平臺的x軸、y軸平行，與z軸垂直。利用2D/3D相機系統(tǒng)采集目標圖像，對采集的圖像利用本文算法計算圓的位姿。如圖5給出了不同步驟獲得的結果。(a)是RGB相機輸出的彩色圖像，(b)是TOF相機輸出的距離圖像。對RGB相機獲取的圖像進行預處理，獲得圓的投影橢圓，(c)是彩色圖像中檢測到的橢圓，將檢測到的橢圓利用單目視覺圓位姿測量方法獲得圓位姿的一組歧義解；對TOF相機獲取的距離圖像進行濾波降噪，得到如(d)所示的距離圖像；利用距離圖像和彩色圖像的融合方法獲取如圖5(e)所示的高分辨率的距離圖像；然后將高分辨率的距離圖像計算獲得三維點云，結果如(f)所示，最后消除位姿歧義解中的虛假解。

圖5　圖像處理結果圖

為了驗證算法的可行性與準確性，本實驗分別設計了如下的相對位置測量實驗和旋轉角度測量實驗。

(1) 相對位置測量實驗

以z向距離500mm處為測量基準點，分別在z向距離500、750、1000、1250、1500、1750、2000mm這個7個距離點采集數(shù)據(jù)。在每個距離點上，依次在x軸、y軸方向上平移目標，每次平移50mm，總共平移200mm。

分別利用TOF相機系統(tǒng)以及TOF相機和RGB相機組成的2D/3D相機系統(tǒng)采集圖像，求解位移變化量，得到z軸、x軸、y軸依次單軸平移結果如表2、表3、表5所示。其中，表3表示在z向距離1000mm時，x軸、y軸方向上的依次單軸平移測量結果。表5表示在不同距離點上，x軸、y軸上的平均平移誤差。實驗結果表明，融合距離圖像和彩色圖像能夠準確地獲取圓位姿。隨著單軸平移量的增加，各次平移的誤差也在增加。

(2) 旋轉角度測量實驗

無論空間圓繞其軸旋轉多大角度，其在像平面成像都不會改變。因此本實驗中，對于每個距離點上，只依次轉動旋轉平臺x軸、y軸，每次轉動10度，共轉動50度。

利用TOF相機系統(tǒng)以及2D/3D相機系統(tǒng)分別采集各個姿態(tài)角下的目標圖像，利用本文的圓定位方法，確定各情況下旋轉角度變量，獲得x軸、y軸依次單軸旋轉時的測量結果如表4、表6所示。其中，表4表示在z向距離1000mm時，x軸、y軸依次單軸旋轉時的旋轉角度誤差。表6表示在不同距離點上，x軸、y軸依次單軸旋轉時旋轉角度平均誤差。隨著單軸旋轉角度的增加，各軸的旋轉角度誤差也在增加。

表2　z軸方向上的平移測量結果

表3　z=1000 mm，x軸、y軸平移測量結果

表4　z=1000 mm，x軸、y軸旋轉測量結果

表5　x軸、y軸平均平移測量誤差

表6　x軸、y軸旋轉平均測量誤差

上述實驗結果表明，與僅采用TOF相機系統(tǒng)輸出的低分辨率圖像求解圓位姿相比，利用2D/3D相機系統(tǒng)采集圖像，對獲取的距離圖像和彩色圖像進行融合求解圓位姿的測量誤差明顯減小，能夠有效地獲取高精度的圓位姿。表3、表4表明隨著單軸平移量和旋轉角度的增加，各次平移和旋轉的誤差也在增加，單軸平移誤差小于1.7mm，單軸旋轉角度低于0.5度。實驗驗證了本文位姿測量方法的正確性和實驗方案設計的合理性。表2、表5、表6表明，隨著z軸平移量的增加，x軸、y軸的平均平移測量誤差、z軸的平移誤差增大，且x軸、y軸旋轉平均角度誤差也增大。其中，平移平均測量誤差小于3.9mm，旋轉平均測量誤差小于0.5度。這主要是由于隨著距離的增加，非合作目標上圓特征的成像橢圓大小逐漸減小，橢圓的擬合誤差增加，從而大大影響圓位姿的精度。

4結語

本文提出一種融合距離圖像和彩色圖像的圓位姿測量方法。該方法針對RGB相機求解圓位姿存在二義性，搭建RGB相機和TOF相機組成2D/3D相機系統(tǒng)，將RGB相機獲取的彩色圖像和TOF相機獲取的距離圖像融合，形成一個高分辨率的距離圖像，由距離圖像恢復三維點云，剔除虛假解，唯一確定圓的位姿。實驗結果表明，該算法能夠有效準確地獲取較高精度的圓位姿，滿足實際位姿測量系統(tǒng)精度需求。

參考文獻

[1]OumerNW,PaninG.3Dpointtrackingandposeestimationofaspaceobjectusingstereoimages[C]//The21stInternationalConferenceonPatternRecognition(ICPR),Tsukuba,Japan,2012:796-800.

[2]RegoliL,RavandoorK,SchmidtM,etal.On-linerobustposeestimationforRendezvousandDockinginspaceusingphotonicmixerdevices[J].Actastronautica,2014,96(3):159-165.

[3]PetitA,MarchandE,KananiK.Vision-basedspaceautonomousrendezvous:Acasestudy[C]//2011IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),California,USA,2011:619-624.

[4]ShiuYC,AhmadS.3Dlocationofcircularandsphericalfeaturesbymonocularmodel-basedvision[C]//ProceedingsoftheIEEEInternationalConferenceonSystems,ManandCybernetics,Massachusetts,USA,1989:576-581.

[5]Safaee-RadR,TchoukanovI,SmithKC,etal.Three-dimensionallocationestimationofcircularfeaturesformachinevision[J].IEEETransactionsonRoboticsandAutomation,1992,8(5):624-640.

[6]VelasquezAF,MaraniG,EvansT,etal.Virtualsimulatorfortestingavisionbasedposeestimationsystemforautonomouscaptureofsatelliteswithinterfacerings[C]//2013 21stMediterraneanConferenceonControl&Automation(MED),Crete,Greece,2013:1597-1602.

[7]XuWenfu,XueQiang,LiuHoude,etal.Aposemeasurementmethodofanon-cooperativeGEOspacecraftbasedonstereovision[C]//2012 12thInternationalConferenceonControlAutomationRobotics&Vision(ICARCV),Guangzhou,China,2012:966-971.

[8]DuXiangdong,LiangBin,XuWenfu,etal.PoseMeasurementofaGEOSatelliteBasedonNaturalFeatures[C]//2012InternationalConferenceonVirtualRealityandVisualization(ICVRV),Qinhuangdao,China,2012:33-40.

[9] 苗錫奎,朱楓,丁慶海,等.基于星箭對接環(huán)部件的飛行器單目視覺位姿測量方法[J].光學學報,2013,33(4):123-141.

[10] 魏振忠,趙征,張廣軍.空間圓姿態(tài)識別二義性的角度約束消除[J].光學精密工程,2010,18(3):685-691.

[11]FoixS,AlenyaG,TorrasC.Lock-intime-of-flight(ToF)cameras:asurvey[J].SensorsJournal,IEEE,2011,11(9):1917-1926.

[12]ZhangXudong,ShenYuliang,HuLiangmei.Super-resolutionreconstructionAlgorithmforPMDrangeimagebasedonregularization[C]//2011InternationalConferenceonIntelligentHuman-MachineSystemsandCybernetics(IHMSC),Hangzhou,China,2011:15-18.

[13]KahlmannT,RemondinoF,IngensandH.Calibrationforincreasedaccuracyoftherangeimagingcameraswissrangertm[J].ImageEngineeringandVisionMetrology(IEVM),2006,36(3):136-141.

[14]FrankM,PIaueM,HamprechtFA.Denoisingofcontinuous-wavetime-of-lightdepthimagesusingconfidencemeasures[J].OpticalEngineering,2009,48(7):1-24.

[15]GaoJun,JiaBaozhu,ZhangXudong,etal.PMDcameracalibrationbasedonadaptivebilateralfilter[C]//2011InternationalSymposiumonPhotonicsandOptoelectronics(SOPO),Wuhan,China,2011:1-4.

[16]PrasadDK,LeungMKH,ChoSY.Edgecurvatureandconvexitybasedellipsedetectionmethod[J].PatternRecognition,2012,45(9):3204-3221.

[17]ZhangZhengyou.Aflexiblenewtechniqueforcameracalibration[J].PatternAnalysisandMachineIntelligence,2000,22(11):1330-1334.

[18]LindnerM,KolbA,HartmannK.Data-fusionofPMD-baseddistance-informationandhigh-resolutionRGB-images[C]//2007InternationalSymposiumonSignals,CircuitsandSystems,Beijing,China,2007,1:1-4.

[19]FerstlD,ReinbacherC,RanftlR,etal.Imageguideddepthupsamplingusinganisotropictotalgeneralizedvariation[C]//2013IEEEInternationalConferenceonComputerVision(ICCV),Sydney,Australia,2013:993-1000.

[20]ChambolleA,PockT.Afirst-orderprimal-dualalgorithmforconvexproblemswithapplicationstoimaging[J].JournalofMathematicalImagingandVision,2011,40(1):120-145.

[21]PockT,ChambolleA.Diagonalpreconditioningforfirstorderprimal-dualalgorithmsinconvexoptimization[C]//2011IEEEInternationalConferenceonComputerVision(ICCV),Barcelona,Spain,2011:1762-1769.

[22]DavisLS,RosenfeldA.Noisecleaningbyiteratedlocalaveraging[J].IEEETransactionsonSystemsManandCybernetics,1978,8(9):705-710.

CIRCLE POSE MEASUREMENT BASED ON FUSION OF DISTANCE IMAGEANDCOLOURIMAGE

Chen XinGao JunZhang XudongZhang Jun

(School of Computer and Information,Hefei University of Technology,Hefei 230009,Anhui,China)

AbstractIn order to solve the equivocation problem in monocular vision-based single circle pose measurement, we presented an approach to eliminate equivocation by fusing distance image and colour image. First, the method calculates the circle pose using the high-resolution colour image acquired by RGB camera and thus obtains a set of equivocal solutions of circle pose. Then, it fuses the colour image and distance image captured by TOF camera to form a high-resolution distance image. Finally, according to distance image it restores the 3D information of circle in RGB camera, culls the false solutions in circle pose, so as to get real pose of circle. Experimental results indicated that this method can effectively solve the equivocation problem of single circle pose measurement based on monocular vision, and can accurately attain circle pose with higher precision.

KeywordsCirclePose measurementEquivocationDistance imageColour imageFusion

收稿日期：2015-02-09。國家自然科學基金項目(61273237，6127 1121)；安徽省自然科學基金項目(11040606M149)。陳欣，碩士生，主研領域：機器視覺，空間導航研究。高雋，教授。張旭東，教授。張駿，講師。

中圖分類號TP274

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.046