基于計(jì)算機(jī)視覺的目標(biāo)方位測(cè)量方法*

孫少杰，楊曉東

（海軍潛艇學(xué)院，山東　青島　266042）

?

基于計(jì)算機(jī)視覺的目標(biāo)方位測(cè)量方法*

孫少杰，楊曉東

（海軍潛艇學(xué)院，山東青島266042）

摘要：以顯著性標(biāo)志物中的關(guān)鍵點(diǎn)為目標(biāo)，探討了一種基于計(jì)算機(jī)視覺的目標(biāo)方位測(cè)量方法。在光學(xué)成像原理基礎(chǔ)上，推算出目標(biāo)二維成像點(diǎn)坐標(biāo)與其空間三維坐標(biāo)之間的映射關(guān)系，基于計(jì)算機(jī)視覺理論建立了測(cè)量目標(biāo)方位的數(shù)學(xué)模型?？紤]透鏡畸變，基于Zhang平面標(biāo)定法完成對(duì)攝像機(jī)參數(shù)的標(biāo)定。對(duì)目標(biāo)二維圖像采用Harris算法進(jìn)行特征角點(diǎn)檢測(cè)，并通過亞像素技術(shù)對(duì)檢測(cè)的目標(biāo)特征點(diǎn)進(jìn)行定位。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效提取被測(cè)目標(biāo)特征角點(diǎn)并獲取其像素坐標(biāo)，用于測(cè)量目標(biāo)相對(duì)視覺傳感器的方位信息可達(dá)到較高精度，具備良好的實(shí)用價(jià)值。

關(guān)鍵詞：計(jì)算機(jī)視覺，攝像機(jī)標(biāo)定，角點(diǎn)檢測(cè)，亞像素定位，目標(biāo)方位

0　引言

計(jì)算機(jī)視覺作為計(jì)算機(jī)科學(xué)的一個(gè)重要分支在近年得到快速發(fā)展，其主要目標(biāo)是研究利用計(jì)算機(jī)來模擬人的宏觀視覺功能，通過分析由攝像機(jī)等視覺傳感器獲取的三維空間目標(biāo)物體圖像，進(jìn)行相關(guān)處理和計(jì)算，反求目標(biāo)物體的三維幾何結(jié)構(gòu)及其在空間的位置、姿態(tài)、運(yùn)動(dòng)參數(shù)等信息，完成實(shí)際的檢測(cè)、跟蹤、測(cè)量甚至導(dǎo)航的任務(wù)［1-2］。基于計(jì)算機(jī)視覺理論的視覺測(cè)量系統(tǒng)適用于大多數(shù)需要用到人眼視覺觀察的場(chǎng)合，對(duì)于諸如危險(xiǎn)場(chǎng)景等人類視覺難以感知的場(chǎng)合，同樣也有很好的應(yīng)用。此外，視覺系統(tǒng)具有很強(qiáng)的抗電磁干擾性，這在國防和軍事領(lǐng)域顯得尤為重要?？偟膩碚f，計(jì)算機(jī)視覺測(cè)量系統(tǒng)獨(dú)立性強(qiáng)，性能穩(wěn)定可靠，功耗低體積小，使用方便靈活，符合現(xiàn)代科技發(fā)展方向，因此，越來越多的人將目光投向它，在航空航天、交通監(jiān)管、工業(yè)檢測(cè)、視覺導(dǎo)航、軍事偵察等眾多領(lǐng)域展開研究。文獻(xiàn)［3］在航天器交會(huì)對(duì)接階段利用視覺測(cè)量技術(shù)結(jié)合對(duì)偶四元數(shù)模型追蹤目標(biāo)相對(duì)位姿參數(shù)，結(jié)果表明該方法具有較強(qiáng)的穩(wěn)定性。文獻(xiàn)［4］為提高無人機(jī)自主著陸能力，利用視覺傳感器獲取的視頻數(shù)據(jù)和圖像序列信息估計(jì)無人機(jī)著陸的俯仰角及相對(duì)跑道的高度參數(shù)，并取得較快的收斂速度。

目前的工程應(yīng)用中，傳統(tǒng)測(cè)試設(shè)備如激光跟蹤測(cè)量及電子經(jīng)緯儀等，能達(dá)到很高的精度，但是系統(tǒng)復(fù)雜費(fèi)用較高，缺少現(xiàn)場(chǎng)操作的靈活性。在計(jì)算機(jī)視覺中，三維空間物體經(jīng)視覺傳感器成像至二維平面后，目標(biāo)物點(diǎn)的圖像坐標(biāo)與其在實(shí)際空間中位置緊密關(guān)聯(lián)，據(jù)此可由目標(biāo)圖像反求三維目標(biāo)體的方位信息。本文以計(jì)算機(jī)視覺基本原理為理論基礎(chǔ)，利用一臺(tái)經(jīng)過事先標(biāo)定好的攝像機(jī)采集目標(biāo)圖像，檢測(cè)和提取目標(biāo)相應(yīng)特征角點(diǎn)，并采用亞像素技術(shù)對(duì)其進(jìn)一步定位獲取精確坐標(biāo)，在此基礎(chǔ)上根據(jù)光學(xué)成像透視投影關(guān)系計(jì)算目標(biāo)物點(diǎn)的空間方位信息。

1　攝像機(jī)標(biāo)定

選取針孔成像模型［5］，建立攝像機(jī)坐標(biāo)系（Ocxcyczc）如圖1所示，Oc代表光心，zc軸與攝像機(jī)光軸重合，P（xc，yc，zc）為空間物點(diǎn)三維坐標(biāo)，p（xi，yi）為物點(diǎn)像平面坐標(biāo)，則像點(diǎn)p和物點(diǎn)P的幾何關(guān)系為

圖1　攝像機(jī)坐標(biāo)系

圖2　圖像坐標(biāo)系轉(zhuǎn)換

圖像坐標(biāo)系可用圖2所示的像素或者物理單位兩種方法表示，設(shè)CCD單個(gè)像素物理尺寸為dx，dy，則像點(diǎn)p在像素坐標(biāo)系內(nèi)的坐標(biāo)轉(zhuǎn)換關(guān)系為

考慮到透鏡畸變的影響，空間點(diǎn)在像平面成像位置由P（xi，yi）偏移至P（x1'，y1'），鏡頭畸變描述模型可用式（3）表示［6］

式（3）中，δx和δy代表非線性畸變大小，k1，k2為徑向畸變系數(shù)，p1，p2為離心畸變系數(shù)，s1，s2為薄棱鏡畸變系數(shù)。

為確定空間物點(diǎn)坐標(biāo)與其在圖像中對(duì)應(yīng)點(diǎn)間的映射關(guān)系，必須首先完成對(duì)攝像機(jī)參數(shù)的標(biāo)定，這是運(yùn)用視覺系統(tǒng)進(jìn)行目標(biāo)參數(shù)測(cè)量的關(guān)鍵步驟。為避免傳統(tǒng)標(biāo)定方法對(duì)設(shè)備的過高要求，同時(shí)考慮到操作過程的方便靈活，采用Zhang平面標(biāo)定法［7］對(duì)實(shí)驗(yàn)所用攝像機(jī)進(jìn)行標(biāo)定。

基于針孔模型，空點(diǎn)物點(diǎn)齊次坐標(biāo)矩陣M=［X Y Z 1］T和圖像對(duì)應(yīng)點(diǎn)齊次坐標(biāo)矩陣m=［u v 1］T間的映射關(guān)系為

其中，λ為比例因子，3×3旋轉(zhuǎn)矩陣R和3×1平移向量為CCD外部參數(shù)矩陣，H被稱作透視投影矩陣，A為CCD內(nèi)部參數(shù)矩陣且

式中，（u0，v0）為攝像機(jī)主點(diǎn)（主光軸與成像平面的交點(diǎn)）坐標(biāo)，fx和fy為圖像在u軸和v軸上的比例因子，fx=f/dx，fy=f/dy，f為成像系統(tǒng)物理焦距，dx、dy表示CCD感光單元尺寸。

假定攝像機(jī)從不同角度拍攝了n幅標(biāo)定板圖像，每幅圖像包含l個(gè)角點(diǎn)，根據(jù)式（4）有

其中，mij=［uijvij1］T，Mj=［XjYj0 1］T，i=1，2，…，n，j=1，2，…，l。設(shè)m～ij為第i幅圖像第j個(gè)角點(diǎn)的實(shí)際像素坐標(biāo)，最終可通過使得如下目標(biāo)函數(shù)殘差平方和最小來優(yōu)化標(biāo)定結(jié)果

2目標(biāo)方位角測(cè)量

2.1目標(biāo)特征點(diǎn)檢測(cè)

目標(biāo)特征點(diǎn)提取及定位是視覺成像測(cè)量系統(tǒng)的一項(xiàng)重要內(nèi)容，能否精確獲取特征點(diǎn)在二維圖像中的坐標(biāo)直接關(guān)乎目標(biāo)三維空間方位角的測(cè)量精度。本文采用特征點(diǎn)為角點(diǎn)，它集中反映了圖像上很多重要形狀信息的局部特征，同時(shí)具有旋轉(zhuǎn)不變性、受光照條件影響小等優(yōu)良特性。經(jīng)過比較，采用穩(wěn)健的Harris角點(diǎn)檢測(cè)算法［8］進(jìn)行圖像特征點(diǎn)的檢測(cè)，該方法可直接用于對(duì)灰度圖像的操作。

對(duì)于任意給定的灰度圖像，其存在的角點(diǎn)與自相關(guān)函數(shù)曲率特性有著密切關(guān)系，后者可用來表征局部圖像灰度變化程度，用公式表示為

式中，E（x，y）是因圖像窗口移動(dòng)（x，y）造成的圖像灰度平均變化，w代表圖像窗口，I代表圖像灰度。將式（8）在像素點(diǎn)（u，v）處進(jìn)行一階泰勒多項(xiàng)式展開，可以得到

其中，A、B和C是反映圖像在各方向上灰度變化的微分算子，可用x和y方向的一階微分與高斯平滑濾波函數(shù)h（x，y）表示。

因?yàn)閳D像某點(diǎn)灰度自相關(guān)函數(shù)極值曲率可由其Hessian矩陣特征值近似表示，從而可得Harris角點(diǎn)探測(cè)器為

如果圖像在某像素點(diǎn)處P（x，y）超過一定閾值即可認(rèn)為該點(diǎn)是角點(diǎn)，利用Harris算法獲取目標(biāo)特征角點(diǎn)整像素級(jí)坐標(biāo)值后，采用亞像素技術(shù)進(jìn)一步優(yōu)化計(jì)算結(jié)果［9］，最終獲得目標(biāo)點(diǎn)的亞像素級(jí)坐標(biāo)值。具體方法不再贅述。

2.2目標(biāo)方位測(cè)量方法

根據(jù)光學(xué)成像原理，結(jié)合圖1可知，入射光線如若通過鏡頭光心將不會(huì)發(fā)生折射，利用這一特性，以此主光軸作為目標(biāo)方位角測(cè)量的基準(zhǔn)，鏡頭成像平面上每個(gè)像點(diǎn)可看作是不同角度入射光線與像平面的交點(diǎn)，在獲取CCD平面圖像中的目標(biāo)像點(diǎn)精確位置以及鏡頭焦距參數(shù)后，結(jié)合視覺透視投影關(guān)系可反過來計(jì)算目標(biāo)相對(duì)于攝像機(jī)的方位信息。定義CCD光軸與目標(biāo)在xcOczc平面的投影OcPxz形成的夾角β為目標(biāo)的方位角，CCD光軸與目標(biāo)在ycOczc平面的投影OcPyz形成的夾角γ為目標(biāo)的俯仰角，可以得到

通過對(duì)攝像機(jī)進(jìn)行標(biāo)定，可以獲得CCD內(nèi)外參數(shù)，采用前述角點(diǎn)檢測(cè)方法可以得到目標(biāo)像點(diǎn)在成像平面中的像素坐標(biāo)，再結(jié)合式（1）～式（3），最終可求解得目標(biāo)方位

可見，利用計(jì)算機(jī)視覺的方法可以同時(shí)計(jì)算空間目標(biāo)的方位角和俯仰角信息，它們均可由像點(diǎn)在平面圖像中的位置坐標(biāo)以及攝像機(jī)的幾何參數(shù)表示。本文主要就計(jì)算目標(biāo)方位角進(jìn)行相關(guān)測(cè)量實(shí)驗(yàn)。

3實(shí)驗(yàn)及結(jié)果分析

根據(jù)前文建立的數(shù)學(xué)模型，設(shè)計(jì)了利用CCD攝像機(jī)進(jìn)行目標(biāo)方位測(cè)量的實(shí)驗(yàn)方案，基于VC++開發(fā)平臺(tái)并結(jié)合強(qiáng)大的計(jì)算機(jī)開源視覺庫OpenCV［10-11］編寫程序，對(duì)采集的目標(biāo)圖像進(jìn)行處理，檢測(cè)和提取目標(biāo)成像特征點(diǎn)并定位其在二維圖像中的像素坐標(biāo)，最后完成相應(yīng)計(jì)算輸出所測(cè)目標(biāo)方位角。測(cè)量方法整體流程如圖3所示，主要包括攝像機(jī)標(biāo)定、目標(biāo)特征提取定位以及方位角的計(jì)算。

圖3　算法流程圖

3.1攝像機(jī)標(biāo)定實(shí)驗(yàn)

本文實(shí)驗(yàn)用攝像機(jī)鏡頭和傳感器物理參數(shù)為：鏡頭最大焦距f=35 mm，CCD傳感器晶片尺寸為8.8 mm×6.6 mm，采集的圖像分辨率為1 360×1 024。制作一個(gè)11×7的棋盤格平面模板作為標(biāo)定靶，其每個(gè)正方格的邊長均為100 mm。實(shí)驗(yàn)過程中將模板平面置于攝像頭的視野范圍內(nèi)，在自然光條件下拍攝，不斷調(diào)整平面模板的角度和位置，共采集22幅有效圖像。攝像頭采集到的標(biāo)定圖片如下頁圖4所示。

采用文中前述角點(diǎn)檢測(cè)算法進(jìn)行角點(diǎn)提取，結(jié)果如圖5所示，找到的角點(diǎn)以圓圈標(biāo)示，為便于觀看，不同行的角點(diǎn)使用不同顏色予以繪制，并將角點(diǎn)以一定順序用線相連。從中可以看到棋盤內(nèi)所有角點(diǎn)均被很好地找到。

對(duì)所提取的角點(diǎn)重投影進(jìn)行誤差分析，如圖6所示，圖中不同顏色分別表示22幅標(biāo)定圖片，每個(gè)“+”字符號(hào)表示標(biāo)定圖片上的一個(gè)角點(diǎn)，可以看到絕大部分角點(diǎn)誤差在1個(gè)像素以內(nèi)，且主要集中在0附近。計(jì)算重投影定標(biāo)誤差，求得平均誤差為0.480 915像素，達(dá)到亞像素級(jí)精度。

圖4　不同角度拍攝的標(biāo)定圖片

圖5　角點(diǎn)檢測(cè)結(jié)果

圖6　角點(diǎn)重投影誤差

基于VC++開發(fā)平臺(tái)結(jié)合OpenCV對(duì)上述棋盤格圖像進(jìn)行攝像機(jī)參數(shù)標(biāo)定，結(jié)果如表1所示，外參數(shù)三維畫面如圖7所示，其中非常直觀地顯示了不同角度的棋盤格標(biāo)定板與攝像機(jī)的相對(duì)位置，可以看到，棋盤格標(biāo)定板離攝像機(jī)的距離為10 m左右。

3.2方位角測(cè)量實(shí)驗(yàn)

選取標(biāo)定板右上角點(diǎn)為目標(biāo)測(cè)量點(diǎn)，如圖8所示，其中紅色點(diǎn)1表示目標(biāo)測(cè)量點(diǎn)，綠色空心點(diǎn)2表示圖像實(shí)際中心點(diǎn)，綠色實(shí)心點(diǎn)3表示標(biāo)定得到的圖像主點(diǎn)，可見圖像主點(diǎn)與其實(shí)際中心點(diǎn)并不一致。隨機(jī)選取不同位置拍攝的10幅圖片，然后采用文中算法對(duì)圖像進(jìn)行處理，定位目標(biāo)角點(diǎn)在二維圖像中的亞像素坐標(biāo)，并對(duì)方位角的圖像值（經(jīng)圖像處理計(jì)算的方位角）和實(shí)際值（實(shí)際測(cè)量點(diǎn)方位角計(jì)算值）進(jìn)行比較，以其平均絕對(duì)誤差和均方根誤差來評(píng)價(jià)該測(cè)量方法的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果如下頁表2所示，方位角的圖像測(cè)量值和實(shí)際值之間的最大絕對(duì)誤差為0.029°，最小絕對(duì)誤差為0.001°；平均絕對(duì)誤差和均方根誤差分別為0.008°和0.011°。通過表2中的實(shí)驗(yàn)數(shù)據(jù)可以看出，測(cè)量誤差小于0.5 ％，可以較為準(zhǔn)確地測(cè)量出目標(biāo)與CCD的相對(duì)方位信息。

表1　攝像機(jī)參數(shù)標(biāo)定結(jié)果

圖7　標(biāo)定板與攝像機(jī)相對(duì)位置

圖8　目標(biāo)點(diǎn)示意圖

表2　方位角測(cè)量誤差（單位：°）

4　結(jié)論

基于計(jì)算機(jī)視覺理論的目標(biāo)方位測(cè)量方法能夠非常靈活地進(jìn)行多點(diǎn)和非接觸測(cè)量，且系統(tǒng)結(jié)構(gòu)簡(jiǎn)單通用性強(qiáng)，使用方便容易操作，具備良好的實(shí)用價(jià)值，對(duì)目前其他傳統(tǒng)測(cè)量方法是一個(gè)很好的補(bǔ)充。該方法關(guān)鍵技術(shù)在于攝像機(jī)參數(shù)的標(biāo)定以及目標(biāo)特征點(diǎn)的檢測(cè)和定位。本文制作棋盤格標(biāo)定板基于Zhang平面標(biāo)定法完成對(duì)攝像機(jī)幾何參數(shù)的標(biāo)定，以顯著性標(biāo)志物中的關(guān)鍵點(diǎn)為目標(biāo)，實(shí)驗(yàn)驗(yàn)證了基于視覺方法測(cè)量目標(biāo)方位的有效性。但文中實(shí)驗(yàn)仍存在一定的應(yīng)用局限性，若將本文提出的方法推廣到大視場(chǎng)條件下的現(xiàn)場(chǎng)測(cè)量，諸如鏡頭抖動(dòng)、拍攝距離導(dǎo)致的圖像解析度降低等一些實(shí)際問題尚需進(jìn)一步研究。

參考文獻(xiàn)：

［1］徐德，譚民，李原.機(jī)器人視覺測(cè)量與控制［M］.北京:國防工業(yè)出版社，2011.

［2］季云峰.結(jié)構(gòu)動(dòng)位移測(cè)試的計(jì)算機(jī)視覺方法實(shí)現(xiàn)［J］.同濟(jì)大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，41（11）:1670-1674.

［3］錢萍，王惠南.基于對(duì)偶四元數(shù)的航天器交會(huì)對(duì)接位姿雙目視覺測(cè)量算法［J］.宇航學(xué)報(bào)，2013，34（1）:32-38.

［4］潘翔，馬德強(qiáng)，吳貽軍，等.基于視覺著陸的無人機(jī)俯仰角與高度估計(jì)［J］.浙江大學(xué)學(xué)報(bào)（工學(xué)版），2009，43（4）:692-696.

［5］許敬，張合，鄭鵬飛，等.光電成像探測(cè)中目標(biāo)方位測(cè)量方法［J］.強(qiáng)激光與粒子束，2013，25（3）:574-578.

［6］WENG J，COHEN P，HERNIOU M.Camera calibration with distortion models and accuracy evaluation［C］//IEEE Trans.on Pattern Analysis and Machine Intelligence，1992.

［7］ZHANG Z Y.A flexible new technique for camera calibration ［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

［8］HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proceedings of the 4th Alvey Vison Conference.Manchester:Organizing Committee AVC，1988:147-151.

［9］LUCCHESE L，MITRA S K.Using saddle points for subpixel feature detection in camera calibration targets［C］// Proceeding of the 2002 Asia Pacific Conference on Circuits and Systems.2002:191-195.

［10］BRADSKI G，KAEHLER A.Learning OpenCV:computer vision with the OpenCV library［M］.Beijing:Tsinghua University Press，2009.

［11］陳勝勇，劉盛.基于OpenCV的計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)［M］.北京:科學(xué)出版社，2008.

Target Azimuth Measuring Method Based on Computer Vision

SUN Shao-jie，YANG Xiao-dong
（Navy Submarine Academy，Qingdao 266042，China）

Abstract：Aiming at key point of obvious marker，an azimuth measuring method for targets based on computer vision system is investigated.According to the principle of projection imaging，the mapping relationship between the 3D position and the 2D image of the target is derived，and the target azimuth measuring mathematical model is established based on monocular vision system.Lens distortion has been taken into account during the implement of Zhang’s calibration method.Harris corner detector is brought to find the most characteristic corners on 2D image，and the sub-pixel orientation method is applied to the positioning of target feature points.The experimental results show that the method can effectively extract the target feature points and get its pixel coordinates，acquiring a relatively accurate target azimuth，which has good application value.

Key words：computer vision，camera calibration，corner detecting，sub-pixel orientation，target azimuth

作者簡(jiǎn)介：孫少杰（1985-），男，湖北咸寧人，博士研究生。研究方向：機(jī)器視覺導(dǎo)航。

*基金項(xiàng)目：軍內(nèi)科研基金資助項(xiàng)目

收稿日期：2015-02-21修回日期：2015-04-28

文章編號(hào)：1002-0640（2016）03-0161-05

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A