基于激光掃描儀的線陣相機(jī)動(dòng)態(tài)高精度標(biāo)定

韓友美,王留召,鐘若飛

1.山東科技大學(xué)測(cè)繪科學(xué)與工程學(xué)院,山東青島266510;2.首都師范大學(xué)三維空間信息獲取與應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室,北京100048;3.中國(guó)測(cè)繪科學(xué)研究院,北京100039;4.河南理工大學(xué),河南焦作454000

基于激光掃描儀的線陣相機(jī)動(dòng)態(tài)高精度標(biāo)定

韓友美1,2,3,王留召2,4,鐘若飛2

1.山東科技大學(xué)測(cè)繪科學(xué)與工程學(xué)院,山東青島266510;2.首都師范大學(xué)三維空間信息獲取與應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室,北京100048;3.中國(guó)測(cè)繪科學(xué)研究院,北京100039;4.河南理工大學(xué),河南焦作454000

結(jié)合線陣相機(jī)的成像特點(diǎn)以及正在研制的車載三維數(shù)據(jù)采集系統(tǒng)本身的特性,提出一種利用激光掃描數(shù)據(jù)為基準(zhǔn),標(biāo)定線陣相機(jī)內(nèi)參數(shù)的技術(shù)方法,以實(shí)現(xiàn)激光掃描數(shù)據(jù)和線陣相機(jī)掃描影像精確對(duì)準(zhǔn)。應(yīng)用激光掃描儀原始數(shù)據(jù)中的角度信息,結(jié)合線陣相機(jī)的成像原理,建立線陣相機(jī)的內(nèi)參數(shù)標(biāo)定模型,并設(shè)計(jì)相應(yīng)的試驗(yàn)方法,計(jì)算出了高精度的畸變參數(shù),為實(shí)現(xiàn)真實(shí)紋理映射奠定基礎(chǔ),為同類產(chǎn)品的檢校提供參考。

線陣相機(jī);動(dòng)態(tài)檢校;激光掃描儀;車載

1 引 言

建筑物表面紋理數(shù)據(jù)獲取與真實(shí)紋理映射一直是數(shù)字城市亟待解決的難點(diǎn)問題,也是城市三維建模的重點(diǎn)研究?jī)?nèi)容之一[1]。車載三維數(shù)據(jù)采集系統(tǒng)(vehicle-borne 3D data acquisition system)的研制就是在數(shù)字城市建設(shè)的推動(dòng)下應(yīng)運(yùn)而生,它的出現(xiàn)加快了城市三維建模的速度[2],同時(shí)線陣相機(jī)的引入為其在建立城市真彩色三維模型的應(yīng)用錦上添花。

車載三維信息采集系統(tǒng)由諸多設(shè)備組合而成,其中主要是線陣 CCD相機(jī)、激光掃描儀、GPS、IMU(inertial measurement unit)慣性導(dǎo)航系統(tǒng)等設(shè)備。線陣相機(jī)(line scan camera,LSC)作為紋理信息采集傳感器,它具有采集頻率高、視角寬的優(yōu)點(diǎn),克服了傳統(tǒng)面陣數(shù)碼相機(jī)不能及時(shí)存儲(chǔ)圖像以及產(chǎn)生影像漏洞的缺點(diǎn)。同面陣數(shù)碼相機(jī)一樣線陣數(shù)碼相機(jī)的非量測(cè)性和鏡頭的畸變?nèi)匀皇菍?dǎo)致其在紋理數(shù)據(jù)采集中發(fā)揮優(yōu)勢(shì)的主要瓶頸之一。常見的傳統(tǒng)面陣數(shù)碼相機(jī)的標(biāo)定方法包括:空間后方交會(huì)、直接線性變換、基于多像滅點(diǎn)、解析鉛垂線以及自檢校法等[3-6],這些方法依賴于在不同的位置獲取相同的目標(biāo)的影像,然后借助于共線方程來計(jì)算相機(jī)的內(nèi)方位元素及其畸變參數(shù)。線陣相機(jī)作為面陣相機(jī)的特例,它本身的線陣特性需要為其探索新的檢校方式,目前對(duì)線陣相機(jī)的檢校大多是在固定相機(jī)位置不動(dòng)調(diào)整特制靶標(biāo)的位置來進(jìn)行的[7-9],目標(biāo)離相機(jī)的距離比較近,測(cè)得的精度較低。

線陣相機(jī)和激光掃描儀(laser scanner,LS)作為車載三維數(shù)據(jù)采集系統(tǒng)的兩個(gè)重要的組成部分,其中線陣相機(jī)是用于獲取街道兩旁建筑物的彩色紋理信息,激光掃描儀可獲取相應(yīng)的建筑物高精度三維坐標(biāo),兩者有一定的共同點(diǎn):在采集數(shù)據(jù)瞬間,激光掃描儀采集的數(shù)據(jù)可以看作離散點(diǎn)組成的線,而線陣相機(jī)采集的是一條寬度為一個(gè)像素的RGB彩色線條。正是由于這種共性才使得借助激光掃描儀數(shù)據(jù)的特性來對(duì)線陣相機(jī)進(jìn)行標(biāo)定成為可能,本文提出的線陣相機(jī)的標(biāo)定方法有別于傳統(tǒng)的面陣相機(jī)和當(dāng)前常用的線陣相機(jī)標(biāo)定思想,標(biāo)定精度高,可為類似的線陣CCD傳感器標(biāo)定提供參考。

2 線陣相機(jī)標(biāo)定參數(shù)

車載三維數(shù)據(jù)采集系統(tǒng)采用的相機(jī)是日本JAI公司生產(chǎn)的線陣相機(jī)CV-L107CL,圖1是該線陣相機(jī)的外形,已經(jīng)根據(jù)車載三維數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)需求對(duì)其進(jìn)行了加固。此相機(jī)采用棱鏡分光技術(shù),色彩還原好,相機(jī)本身還從硬件上固化了按鈕點(diǎn)觸式白平衡,線速率高達(dá)19 048線/s,分辨率高,因此能快速采集到非常逼真的彩色影像。但是器械的誤差還是難免存在的,而且后期影像數(shù)據(jù)還要與激光掃描儀數(shù)據(jù)進(jìn)行融合,所以前期必須對(duì)其進(jìn)行精確的檢校。

圖1 JAI線陣相機(jī)Fig.1 The JAI camera

線陣相機(jī)的誤差主要有鏡頭引起的誤差和CCD引起的誤差。此相機(jī)采用的是 Nikon AF14mm鏡頭。鏡頭引起的誤差是由鏡頭物鏡系統(tǒng)設(shè)計(jì)、制作和裝配所引起的像點(diǎn)偏離其正確位置的誤差,主要是指光學(xué)畸變差,光學(xué)畸變差包括徑向畸變差和偏心畸變差。偏心畸變差往往不足像元尺寸的三分之一,所以這里僅考慮徑向畸變差[3,10]。

線陣相機(jī)CCD引起的誤差主要有CCD安置、CCD陣面不平整和CCD面陣內(nèi)變形引起的誤差。CCD的安置誤差引起線陣相機(jī)的主點(diǎn)坐標(biāo)不為0; CCD陣面不平整與攝影技術(shù)無關(guān),只有利用專業(yè)設(shè)備通過直接量測(cè)CCD元件表面才能得到其精確的不平整度,試驗(yàn)證明其影響很小,可以不計(jì)[3]。

3 線陣相機(jī)的參數(shù)標(biāo)定

3.1 概述

線陣相機(jī)只有在動(dòng)態(tài)情況下才能對(duì)目標(biāo)物體正常成像,而動(dòng)態(tài)拍攝時(shí),如果采用傳統(tǒng)的面陣相機(jī)的標(biāo)定方式,由于相機(jī)和目標(biāo)間的相對(duì)姿態(tài)也在不斷變化,線陣相機(jī)的線頻之高使得姿態(tài)測(cè)量很難進(jìn)行,這就導(dǎo)致線陣相機(jī)內(nèi)方位元素的標(biāo)定非常困難。國(guó)內(nèi)外專家學(xué)者構(gòu)建了幾種線陣相機(jī)標(biāo)定的方法:早在1993年 Radu Horaud等設(shè)計(jì)了一組直線組成的圖形用于標(biāo)定線陣CCD[7],國(guó)內(nèi)學(xué)者也做了類似的試驗(yàn)[8],2008年北京信息科技大學(xué)的學(xué)者還發(fā)明了由多條等間距豎線和兩條平行橫線組成的線陣CCD標(biāo)定靶標(biāo),文獻(xiàn)[9]提出的兩步法線陣標(biāo)定技術(shù)也是基于類似原理設(shè)計(jì)的,他們的共同特點(diǎn)是通過制作特殊靶標(biāo),分析靶標(biāo)上的特征線在線影像中的分布,確定靶標(biāo)與相機(jī)的相對(duì)位置關(guān)系,進(jìn)而標(biāo)定相機(jī)內(nèi)方位元素。如果將靶標(biāo)放在較遠(yuǎn)位置(相機(jī)成像的無窮遠(yuǎn))進(jìn)行測(cè)試,則靶標(biāo)只能在CCD很小的范圍內(nèi)成像,要在CCD邊緣得到靶標(biāo)影像,則需要將靶標(biāo)設(shè)計(jì)的很大,實(shí)際上這是非常困難和不現(xiàn)實(shí)的。因此這幾種方案標(biāo)定相機(jī)的精度就難以保證。

3.2 基于激光掃描儀對(duì)線陣相機(jī)進(jìn)行標(biāo)定的思想

以線陣影像中心O為原點(diǎn),指向相機(jī)頂部的方向?yàn)檎?建立像平面坐標(biāo)系(見圖2)。本文對(duì)線陣相機(jī)檢校的主要內(nèi)容包括:相機(jī)的內(nèi)方位元素,即像主點(diǎn)在像平面坐標(biāo)系中的坐標(biāo) x0和主距f;徑向畸變差。

圖2 線陣CCD相機(jī)的成像原理簡(jiǎn)圖The imaging principle of the line scan camera

從圖2中可以看出

其中,xi為目標(biāo)在影像上的理論坐標(biāo)值;f為主距;αi是某像素點(diǎn)與主點(diǎn)中心連線與主光軸之間的夾角(也稱作入射角)。

線陣相機(jī)的像方坐標(biāo)只與目標(biāo)的入射角和主距有關(guān),如果能夠精確確定目標(biāo)的這兩個(gè)參數(shù),就能夠計(jì)算出其像方坐標(biāo),進(jìn)而求出相機(jī)的內(nèi)方位元素。

在車載三維數(shù)據(jù)采集系統(tǒng)中,激光掃描儀是靠動(dòng)態(tài)來測(cè)定目標(biāo)物的三維坐標(biāo)的傳感器,它有精度較高的角度測(cè)量器件,激光角度測(cè)量標(biāo)稱精度為±20″[11],線陣相機(jī)CV-L107CL配置的鏡頭標(biāo)稱主距 f為14 mm(相當(dāng)于1 000個(gè)像素,像素大小為14μ)。

公式(1)xi=tanαi·f中,當(dāng)α是小角時(shí),可以簡(jiǎn)化為 xi=αif

也就是說激光掃描儀的角度誤差引起的影像上的坐標(biāo)變化不足0.1個(gè)像素,因此可忽略激光的角度誤差對(duì)線陣相機(jī)標(biāo)定結(jié)果的影響。另外通過精密機(jī)械加工將線陣相機(jī)安裝在激光掃描儀上(見圖3),安裝誤差可以控制在1 cm內(nèi),測(cè)試目標(biāo)物體與相機(jī)直接的距離大于25 m,根據(jù)式(1)也可以得到兩個(gè)傳感器的偏心誤差對(duì)像素的最大影響為0.4個(gè)像素左右,所以這個(gè)誤差可忽略,這也是能借助激光掃描儀角度對(duì)線陣相機(jī)進(jìn)行檢校的必要前提條件。

圖3 線陣相機(jī)和激光掃描儀的剛性固定結(jié)構(gòu)Fig.3 The rigid construction of the LSC and LS

將二者剛性嚴(yán)格平行固定在一起,采用精密塞規(guī)將二者平行性進(jìn)行調(diào)整,最終夾角可調(diào)整在±5″以內(nèi),這種剛性平行構(gòu)造使得運(yùn)動(dòng)過程中兩傳感器的姿態(tài)變化一致。作業(yè)時(shí)使兩傳感器沿精密導(dǎo)軌運(yùn)行,得到目標(biāo)物的點(diǎn)云和線陣影像。對(duì)特征點(diǎn)豐富的墻面進(jìn)行數(shù)據(jù)采集,編寫程序提取點(diǎn)云中特征點(diǎn),并查找得到這些點(diǎn)的原始掃描角度。在影像上提取相應(yīng)的同名點(diǎn)影像坐標(biāo)并記錄下來。在相機(jī)視場(chǎng)內(nèi)均勻觀測(cè) N組數(shù)據(jù),通過平差精確計(jì)算出相機(jī)參數(shù)。

3.3 線陣相機(jī)標(biāo)定模型

根據(jù)幾何光學(xué),線陣相機(jī) y=0,其物鏡系統(tǒng)的徑向畸變?chǔ)可用下列奇次多項(xiàng)式表達(dá)

其中,Δr是以μm為單位表示的徑向畸變差值; ki(i=0,1,2,…)是描述該物鏡系統(tǒng)徑向畸變的系數(shù);r為該像點(diǎn)的向徑,嚴(yán)格說是該像點(diǎn)與自準(zhǔn)直主點(diǎn)PPA之間的距離。由于Δr是小值,r可用以下近似式計(jì)算

其中,x0是像主點(diǎn)的像平面坐標(biāo);X′為該點(diǎn)的像平面坐標(biāo)。

絕大多數(shù)物鏡系統(tǒng),取三個(gè)k系數(shù)已經(jīng)能準(zhǔn)確地描述它的畸變曲線,對(duì)一些質(zhì)量好的物鏡系統(tǒng),只要取前兩項(xiàng)足矣[4]。

將式(1)、(3)代入式(2)轉(zhuǎn)換得到線陣相機(jī)的標(biāo)定模型

由于 f與x0、k0、k1、k2相關(guān),因此應(yīng)該分兩步求解來保證結(jié)果的正確性。

第一步:求 x0、k0、k1、k2。

對(duì)模型進(jìn)行線性化得到

當(dāng)具有若干個(gè)觀測(cè)值時(shí),可將式(4)寫成矩陣的形式

其中,

迭代計(jì)算得到 x0、k0、k1、k2。

第二步:求f。

對(duì)模型進(jìn)行線性化得到

當(dāng)具有若干個(gè)觀測(cè)值時(shí),將式(5)寫成矩陣形式

其中,A=tanai;X=Δf;L=xi-(xi)。

用第一步求取的參數(shù)值作為其初值,迭代計(jì)算求取主距f。將得到的f作為初值重新計(jì)算第一步的參數(shù),直到所有參數(shù)計(jì)算都收斂穩(wěn)定后結(jié)束,最終得到較高精度的參數(shù)值。具體計(jì)算流程見圖4。

圖4 標(biāo)定參數(shù)計(jì)算流程圖Fig.4 The flow chart of computing parameters

4 試驗(yàn)數(shù)據(jù)及精度分析

將線陣相機(jī)和激光掃描儀(按照如圖3所示)的平行剛體結(jié)構(gòu)一同安置在升降平臺(tái)上,設(shè)置平臺(tái)在豎直平面內(nèi)按照一定的頻率進(jìn)行移動(dòng),對(duì)建筑物街景進(jìn)行數(shù)據(jù)采集,得到影像和點(diǎn)云原始數(shù)據(jù)。其中本文選取的對(duì)象是點(diǎn)云數(shù)據(jù)中表現(xiàn)出一定突出特性的磚縫墻。

圖5 彩色點(diǎn)云以及與影像的對(duì)應(yīng)圖Fig.5 The corresponding of the cloud points and the image

用自行開發(fā)的程序?qū)c(diǎn)云進(jìn)行處理,提取出特征點(diǎn),根據(jù)對(duì)應(yīng)位置在影像上找出相應(yīng)的特征點(diǎn)并進(jìn)行量測(cè),從而得到試驗(yàn)數(shù)據(jù)的觀測(cè)值——采集的點(diǎn)的像素值以及對(duì)應(yīng)的角度信息。(圖5為開發(fā)的程序的彩色點(diǎn)云與影像的對(duì)應(yīng)的顯示圖)

本文還編制了相應(yīng)的參數(shù)解算程序,并根據(jù)經(jīng)典平差理論設(shè)立了粗差剔除機(jī)制,計(jì)算完一遍參數(shù)以后進(jìn)行判斷,如果

則認(rèn)為這組數(shù)據(jù)為觀測(cè)不準(zhǔn)確數(shù)據(jù),從原始數(shù)據(jù)中剔除這一行的數(shù)據(jù),將所有數(shù)據(jù)檢查一遍,然后用剩余的數(shù)據(jù)重新進(jìn)行參數(shù)計(jì)算。這樣迭代進(jìn)行計(jì)算,采集的每個(gè)像素的改正值都小于3倍的標(biāo)準(zhǔn)中誤差,具體數(shù)據(jù)處理流程見圖4。

試驗(yàn)初步采集了三組數(shù)據(jù),用三組數(shù)據(jù)分別計(jì)算參數(shù),根據(jù)參數(shù)將相應(yīng)的一條影像線上的像素進(jìn)行畸變差計(jì)算,畫出相應(yīng)的畸變差曲線(如圖6),通過三組數(shù)據(jù)的畸變差曲線的比較,看到畸變差的圖形走勢(shì)基本重合,說明標(biāo)定模型正確,結(jié)果精度較高。

圖6 畸變差曲線(每種顏色代表一組數(shù)據(jù)的計(jì)算結(jié)果)Fig.6 The curve of the distortion

三組數(shù)據(jù)的計(jì)算結(jié)果見表1。

對(duì)各組數(shù)據(jù)分別進(jìn)行了畸變差改正的中誤差計(jì)算:

CV-L107CL相機(jī)的像元大小為14μm,每組的觀測(cè)數(shù)據(jù)在150個(gè)左右,可以得到最大的一組的畸變差改正值中誤差為0.51×14=7.14μm,已經(jīng)完全滿足后期進(jìn)行數(shù)據(jù)融合的精度要求。

三組數(shù)據(jù)進(jìn)行數(shù)據(jù)分析,得到主點(diǎn)和主距的中誤差分別為單位均是像素(14μm),也就是主點(diǎn)中誤差0.16×14=2.24μm,主距中誤差0.54×14= 7.56μm。由于兩傳感器中心的不重合直接影響到主點(diǎn)的解算結(jié)果,因此結(jié)果中的主點(diǎn)值不能反應(yīng)相機(jī)的真實(shí)情況,但對(duì)后期影像與激光數(shù)據(jù)的融合沒有影響。

表1 三組數(shù)據(jù)的計(jì)算結(jié)果及畸變差改正精度Tab.1 The results and the accuracy of the three group data

5 結(jié)束語

根據(jù)數(shù)據(jù)分析結(jié)果可以看出,該標(biāo)定方法和數(shù)據(jù)處理方法計(jì)算出的畸變差精度高達(dá)7.14μm主點(diǎn)中誤差為 2.24μm,主距 f的中誤差為7.56μm,完全能夠滿足將彩色影像賦給點(diǎn)云的精度要求。此方法得到的畸變差改正參數(shù)精度高、穩(wěn)定性好,也可以用于同類產(chǎn)品標(biāo)定。如果想進(jìn)一步提高精度,可以進(jìn)一步加大線陣相機(jī)與被攝物體間的距離,從而進(jìn)一步降低激光掃描儀測(cè)角誤差和機(jī)械安裝誤差對(duì)整個(gè)檢校精度的影響,提高像素和對(duì)應(yīng)角度的觀測(cè)精度。

[1] WEI Bo,ZHANG Aiwu.Design and Implementation of a Vehicle-borne System of 3D Data Acquisition and Processing[J].Chinese Journal of Stereology and Image Analysis, 2009,13(1):30-33.(魏波,張愛武.車載三維數(shù)據(jù)獲取與處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)體視學(xué)與圖像分析,2008,13 (1):30-33.)

[2] CHEN Yunfang,YE Zetian.Research on Mobile Data Collection System Based on Multi-sensor[J].Transducer and Micro-system Technologies,2006,25(12):23-25. (陳允芳,葉則田.多傳感器組合的移動(dòng)車載數(shù)據(jù)采集系統(tǒng)研究[J].傳感器與微系統(tǒng),2006,25(12):23-25.)

[3] XIE Wenhan,ZHANG Zuxun.Camera Calibration Based on Vanishing Points of Multi-image[J].Acta Geodaetica et Cartographica Sinica,2004,33(4):335-340.(謝文寒,張祖勛.基于多像滅點(diǎn)的相機(jī)定標(biāo)[J].測(cè)繪學(xué)報(bào),2004,33 (4):335-340.)

[4] FENG Wenhao.Close Range Photogrammetry[M].Wuhan: Wuhan University Press,2004:185-193.(馮文灝.近景攝影測(cè)量[M].武漢:武漢大學(xué)出版社,2004:185-193.)

[5] LIN Zongjian,CUI Hongxia.Research on the Digital Camera Distortion Calibration [J]. Geomatics and Information Science of Wuhan University,2005,30(2):122-125.(林宗堅(jiān),崔紅霞.數(shù)碼相機(jī)的畸變差檢測(cè)研究[J].武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2005,30(2):122-125.)

[6] WANG Dong,FENG Wenhao,LU Xiushan.Camera Calibration ofNikon D1X [J].Science ofSurveying and Mapping,2007,32(2):33-34.(王冬,馮文灝,盧秀山. Nikon D1X相機(jī)檢校[J].測(cè)繪科學(xué),2007,32(2):33-34.)

[7] HORAUD R,MOHR R,LORECKI B.On Single-Scan Line Camera Calibration [J]. IEEE Transactions on Robotics and Automation,1993,9(1):71-74.

[8] QU Wenqian,YI Yi,HU Xiaole.The Application of Single Scan Line Camera in Vehicle Borne 3D Information Data Acquisition System[J].Journal of Capital Normal University:Natural Science Edition,2008,29(5):9-11.(曲文乾,翼翼,胡曉樂.線陣相機(jī)在車載三維信息采集系統(tǒng)中的檢校分析[J].首都師范大學(xué):自然科學(xué)版,2008,29(5):9-11.)

[9] ZHANG Hongtao,DUAN Fajie.Study on Calibration of Linear CCD Based on Two Steps[J].Acta Metrologica Sinica,2007,28(4):311-313.(張洪濤,段發(fā)階.基于兩步法線陣CCD標(biāo)定技術(shù)研究[J].計(jì)量學(xué)報(bào),2007,28(4): 311-313.)

[10] W ANG Liuzhao.Small Digital and Aerial Photogrammetry System[D].Kunming:Kunming University of Science and Technology,2006:5-6.(王留召.小型數(shù)字航空攝影測(cè)量系統(tǒng)[D].昆明:昆明理工大學(xué),2006:5-6.)

[11] WANG Liuzhao,QU Laichao.The Calibration of RA-360 Laser Scanner[C]∥The 6th International Symposium on Digital Earth.Beijing:[s.n.],2009.

The Calibration of the Line Scan Camera Based on Laser Scanner

HAN Youmei1,2,3,WANGLiuzhao2,4,ZHONG Ruofei2
1.Shandong University of Science and Technology,Qingdao 266510,China;2.Capital Normal University,Beijing 100038,China; 3.Chinese Academy of Surveying and Mapping,Beijing 100039,China;4.Henan Polytechnic University,Jiaozuo 454000,China

Based on the characters of the line scan camera and the vehicle-borne 3D data acquisition system,this paper presented a method to calibrate the line scan camera(LSC)based on the laser scanner.Using the angle information in the original laser scanner data,combing the principle of the line scan camera,it built a calibration model for LSC and designed some experiment methods for that.Then it computed high precision calibration parameters,which provides basis for the texture mapping in the future and gives references to the similar sensors calibration.

line scan camera;dynamic calibration;laser scanner;vehicle-borne

HAN Y oumei(1981—),femail,PhD candidate, majors in digital photogrammetry and modeling.

1001-1595(2010)06-0631-05

P234

A

國(guó)家863重點(diǎn)項(xiàng)目(2008AA131301)

(責(zé)任編輯:雷秀麗)

2009-12-07

2009-02-03

韓友美(1981—),女,博士生,主要研究方向?yàn)閿?shù)字?jǐn)z影測(cè)量與建模。

E-mail:hanyoumei@126.com