二維光電影像測(cè)量?jī)x系統(tǒng)攝像機(jī)標(biāo)定技術(shù)

劉 霖 陳 祥 劉娟秀 羅 穎 凌 云 黃 田 易茂麗

?

二維光電影像測(cè)量?jī)x系統(tǒng)攝像機(jī)標(biāo)定技術(shù)

劉 霖 陳 祥 劉娟秀 羅 穎 凌 云 黃 田 易茂麗

本文針對(duì)二維光電影像測(cè)量?jī)x中的攝像機(jī)標(biāo)定，提出一種基于張正友標(biāo)定算法的改進(jìn)攝像機(jī)標(biāo)定方法。該方法通過(guò)人工選點(diǎn)，得到需要檢測(cè)的角點(diǎn)區(qū)域，接著利用Harris算子得到待測(cè)角點(diǎn)的初始位置，再根據(jù)灰度矩對(duì)所有角點(diǎn)進(jìn)一步精確定位。最后利用張正友平面標(biāo)定方法進(jìn)行標(biāo)定。實(shí)驗(yàn)表明，該方法對(duì)棋盤(pán)格角點(diǎn)位置定位較傳統(tǒng)方法要好，最后標(biāo)定的數(shù)值精確度較高，在二維光電影像測(cè)量系統(tǒng)中具有很高的實(shí)用性。

隨著工業(yè)生產(chǎn)力的不斷發(fā)展，對(duì)產(chǎn)品質(zhì)量的追求也越來(lái)越高。如何快速準(zhǔn)確地檢測(cè)產(chǎn)品的質(zhì)量已經(jīng)是很多企業(yè)正面臨的問(wèn)題。基于光電圖像處理的影像測(cè)量?jī)x由于其具有非接觸、自動(dòng)化、可測(cè)微小物體、精度高等優(yōu)點(diǎn)，使其成為裝備制造業(yè)中質(zhì)量控制中不可或缺的配套儀器。

二維光電影像測(cè)量系統(tǒng)主要建立在機(jī)器視覺(jué)檢測(cè)技術(shù)基礎(chǔ)上。攝像機(jī)標(biāo)定是光電影像測(cè)量?jī)x中一個(gè)重要的研究課題。相機(jī)標(biāo)定就是根據(jù)一組已經(jīng)空間位置的點(diǎn)與其圖像對(duì)應(yīng)點(diǎn)求解相機(jī)參數(shù)的過(guò)程。攝像機(jī)標(biāo)定是計(jì)算機(jī)視覺(jué)系統(tǒng)實(shí)現(xiàn)的前提和基礎(chǔ)。它是影像測(cè)量?jī)x進(jìn)行物體測(cè)量的首要步驟，是二維圖像獲取三維空間信息的關(guān)鍵和必要步驟。在影像測(cè)量?jī)x系統(tǒng)乃至其他圖像測(cè)量或者機(jī)器視覺(jué)應(yīng)用中，攝像機(jī)參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性直接影響攝像機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性。

攝像機(jī)標(biāo)定一直以來(lái)受到國(guó)內(nèi)外學(xué)者的關(guān)注。傳統(tǒng)的方法有DLT方法（直接線性變換方法），R.Tsai的RAC方法，張正友的平面標(biāo)定方法，孟曉橋、胡占義的圓標(biāo)定方法，吳毅紅等的平行圓標(biāo)定方法等。不依賴(lài)標(biāo)定參照物的攝像機(jī)標(biāo)定方法稱(chēng)為自標(biāo)定方法。自標(biāo)定方法非常靈活，但并不成熟，很難得到穩(wěn)定的結(jié)果，在需要較高精度的應(yīng)用場(chǎng)合應(yīng)用較少。張正友的平面標(biāo)定方法是介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的一種方法。它既避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣等缺點(diǎn)，比自標(biāo)定方法精度高，目前得到廣泛的應(yīng)用。

在使用張正友標(biāo)定法進(jìn)行標(biāo)定過(guò)程中，對(duì)棋盤(pán)格角點(diǎn)的檢測(cè)是至關(guān)重要的一步，現(xiàn)在也有很多角點(diǎn)檢測(cè)方法如Moravec角點(diǎn)檢測(cè)算法、FAST角點(diǎn)檢測(cè)算法、Harris角點(diǎn)檢測(cè)、Shi-Tomasi算法。傳統(tǒng)意義上的角點(diǎn)檢測(cè)因?yàn)槭軋D像數(shù)字特性影響，只能有一個(gè)像素的精度。這樣的精度不能滿足影響測(cè)量?jī)x對(duì)精度的要求。為了提高角點(diǎn)檢測(cè)的精度，往往還需要在像素級(jí)別的角點(diǎn)上對(duì)角點(diǎn)進(jìn)行進(jìn)一步亞像素定位。本文在張正友角點(diǎn)檢測(cè)算法基礎(chǔ)上，利用Harris算子和灰度矩相結(jié)合方法改進(jìn)角點(diǎn)的檢測(cè)精度，使整個(gè)標(biāo)定過(guò)程精度得到提高。

攝像機(jī)標(biāo)定

攝像機(jī)模型

攝像機(jī)模型一般采用針孔模型。在攝像機(jī)成像過(guò)程中，通常涉及到多個(gè)坐標(biāo)系。它們分別是世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系，圖像坐標(biāo)系又分為圖像物理坐標(biāo)系和圖像像素坐標(biāo)系。最后的成像公式可變?yōu)椋?/p>

圖1　攝像機(jī)成像模型

其中，［Xw,Yw, Zw,1］為P點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)，［u，v，1］為投影點(diǎn)p在圖像坐標(biāo)系下的齊次坐標(biāo)，s為一任意非零尺度的比例因子，旋轉(zhuǎn)矩陣R與平移向量t稱(chēng)為攝像機(jī)的外部參數(shù)矩陣，A為攝像機(jī)內(nèi)部參數(shù)矩陣：

圖2　本文所用標(biāo)定板

其中，（u0，v0）為圖像中心點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)，α與β分別為圖像坐標(biāo)系中水平與垂直方向上的尺度因子，γ為兩個(gè)坐標(biāo)軸的不垂直因子理想情況下攝像機(jī)定標(biāo)就是要求解這內(nèi)外總共11個(gè)未知量。

角點(diǎn)綜合檢測(cè)方法

本文采用張正友平面標(biāo)定方法，所用標(biāo)定板為棋盤(pán)格標(biāo)定板，如圖2所示。要進(jìn)行精確標(biāo)定，需要對(duì)角點(diǎn)進(jìn)行精確檢測(cè)。

算法的第一步是用人工選點(diǎn)的方法確定待測(cè)角點(diǎn)的區(qū)域。

Harris角點(diǎn)算子

Harris算子是C Harris和M J Stephens在1988年提出的一種基于信號(hào)的點(diǎn)特征提取算子。這種算子受信號(hào)處理中自相關(guān)函數(shù)的啟發(fā)， 出與自相關(guān)函數(shù)相聯(lián)系的矩陣M。M矩陣的特征值是自相關(guān)函數(shù)的一階曲率，如果兩個(gè)曲率值都高，那么就認(rèn)為該點(diǎn)是點(diǎn)特征。Harris算子的使用和證明已在文獻(xiàn)中介紹。

Harris算子是一種有效的點(diǎn)特征提取算子，其優(yōu)點(diǎn)有計(jì)算簡(jiǎn)單、提取的點(diǎn)特征均勻且合理、穩(wěn)定。在角點(diǎn)檢測(cè)中大量使用。但其只能獲得像素級(jí)的坐標(biāo)值。

本文對(duì)由人工點(diǎn)選得到的圖像矩陣，通過(guò)Harris角點(diǎn)檢測(cè)算子，可以得到角點(diǎn)的像素級(jí)坐標(biāo)值，記為（u0, v0）。

灰度矩精確定位算法原理

灰度矩是由Tabatabai首先提出，最初用于邊緣定位。其基本原理就是假設(shè)實(shí)際圖像中的實(shí)際邊緣分布與理想階躍邊緣模型的灰度矩保持一致，即矩不變性。在進(jìn)行角點(diǎn)檢測(cè)時(shí)，灰度矩角點(diǎn)定位原理與灰度矩邊緣定位類(lèi)似。即假設(shè)實(shí)際圖像的實(shí)際角點(diǎn)與理想角點(diǎn)模型的灰度矩保持一致。

圖3　角點(diǎn)近似模型

圖4　二維理想角點(diǎn)模型

對(duì)于本文所要研究的數(shù)字圖像I（i，j）來(lái)說(shuō)，圖像中目標(biāo)區(qū)域S的p階灰度矩的定義為：

式中，n為區(qū)域S中的像素點(diǎn)數(shù)

根據(jù)算子計(jì)算效率和精度，本文采用5x5的模型。圖3為經(jīng)過(guò)Harris算子檢測(cè)到的角點(diǎn)近似模型，在圖中，標(biāo)號(hào)為a13的點(diǎn)檢測(cè)到的角點(diǎn)。其精確度為1個(gè)像素。根據(jù)灰度矩近似原理，可以得到如圖4的理想階躍模型。設(shè)其真實(shí)角點(diǎn)位于（u，v）處，其中（u，v）的位置在a13這個(gè)像素內(nèi)，為亞像素角點(diǎn)。根據(jù)棋盤(pán)格特點(diǎn)，整個(gè)模型將會(huì)被角點(diǎn)分為4個(gè)區(qū)域。整個(gè)模型可用4個(gè)參數(shù)表示，角點(diǎn)橫坐標(biāo)u，角點(diǎn)縱坐標(biāo)v，區(qū)域1和區(qū)域3的灰度值h1，區(qū)域2和區(qū)域4的灰度值h2，即：

設(shè)每個(gè)像素點(diǎn)的單位長(zhǎng)為d=1，則模型整個(gè)區(qū)域在（0，0）到（5，5）范圍內(nèi)。則理想階躍模型中灰度矩可以表示為：

一共有4個(gè)未知數(shù)：u，v，h1，h2聯(lián)立求解下列方程組：

圖5　真實(shí)圖像角點(diǎn)模型

圖6　二維理想角點(diǎn)模型

可以求得h1，h2，和S。

得到S時(shí)，我們可以得到關(guān)于橫坐標(biāo)u和縱坐標(biāo)v的關(guān)系式，即：

其中2＜u＜3，2＜v＜3。在這條曲線上的點(diǎn)都滿足兩種模型的灰度矩相等，都可以滿足一定的數(shù)值精度。

為了進(jìn)一步確定u和v的具體數(shù)值，得需一個(gè)約束條件。本文采用在一維上的灰度矩平衡來(lái)確定橫坐標(biāo)u。取5x1的理想階躍模型，如圖5、圖6所示。

類(lèi)似以上分析，整個(gè)模型可用3個(gè)參數(shù)表示，角點(diǎn)橫坐標(biāo)u，u左邊區(qū)域灰度值h3，u右邊區(qū)域的灰度值h4，即：

由式12可得其灰度矩方程：

解方程組，可以得到u。

最后，將所解得的u代入式（13），可以得到精確的角點(diǎn)坐標(biāo)（u，v）。注意這只是在理想模型的角點(diǎn)坐標(biāo)。要得到在圖像坐標(biāo)系的坐標(biāo)，有以下變換：

其中（u0, v0）為Harris算子得出的角點(diǎn)坐標(biāo)。（u，v）為在灰度矩理想階躍模型下的坐標(biāo)，（u', v'）為最后得到的精確坐標(biāo)值。

張正友平面標(biāo)定方法

標(biāo)定模型

本文采用的攝像機(jī)標(biāo)定模板為平面模板，如圖2所示，模板為棋盤(pán)格。對(duì)任意的三維點(diǎn)，可以假設(shè)平面模板位于世界坐標(biāo)系的x o y平面，即z=0。

設(shè)平面靶標(biāo)上的每個(gè)特征點(diǎn)的坐標(biāo)為（xwi,ywi,zwi），在攝像機(jī)坐標(biāo)系下的坐標(biāo)為（xci,yci,zci），記圖像坐標(biāo)為（ui, vi），令z=0有：

其中，s 為常數(shù)，Min是攝像機(jī)的五參數(shù)內(nèi)參矩陣，精簡(jiǎn)上式為：

式中，Ii=（ui, vi,1）為點(diǎn)Pi的圖像坐標(biāo)，Pi=（xwi,ywi,1）為點(diǎn)Pi在靶標(biāo)坐標(biāo)系下的坐標(biāo)，［h1h2h3］是從笛卡爾坐標(biāo)到圖像坐標(biāo)的單應(yīng)性矩陣。

參數(shù)求解

由式（13），利用旋轉(zhuǎn)矩陣的特性得到如下式（14）和式（15）兩個(gè)約束方程：

對(duì)于采集到的N幅圖像，得到N組方程，可以聯(lián)立2N個(gè)方程。從而求出內(nèi)外參數(shù)。

標(biāo)定過(guò)程總結(jié)

張正友標(biāo)定的過(guò)程如下：

（1）在未畸變模型下，對(duì)內(nèi)參數(shù)的5個(gè)參數(shù)標(biāo)定獲得線性初值；

（2）利用獲得的線性初值對(duì)畸變系數(shù)進(jìn)行標(biāo)定；

（3）利用標(biāo)定出來(lái)的非線性參數(shù)重新進(jìn)行線性標(biāo)定；

（4）重復(fù)第二步到第三步的步驟，直到線性參數(shù)和非線性參數(shù)收斂為止。

第一步進(jìn)行標(biāo)定時(shí)，因?yàn)閿z像機(jī)的畸變未能納入考慮范圍，得到的結(jié)果精度較低，而第二步標(biāo)定出來(lái)的非線性參數(shù)的精度也不能達(dá)到要求，只有對(duì)標(biāo)定出來(lái)的線性參數(shù)進(jìn)行非線性計(jì)算，直到線性和非線性參數(shù)都收斂才能得到最精確的值。

實(shí)驗(yàn)驗(yàn)證與分析

為了驗(yàn)證本文方法的正確性和有效性，文中采用C++進(jìn)行界面編程，對(duì)算法進(jìn)行驗(yàn)證。驗(yàn)證步驟如下：

（1）選定相機(jī)和鏡頭，在不同的角度對(duì)同一棋盤(pán)格拍圖；

（2）用人工選點(diǎn)的方法得到待檢測(cè)的角點(diǎn)區(qū)域。利用Harris算法進(jìn)行角點(diǎn)檢測(cè)。得到角點(diǎn)的初始位置；

（3）針對(duì)初始位置，用灰度矩算法對(duì)角點(diǎn)進(jìn)行亞像素定位。得到角點(diǎn)的亞像素坐標(biāo)；

（4）用得到的亞像素角點(diǎn)數(shù)據(jù)進(jìn)行張正友相機(jī)標(biāo)定。得到相機(jī)標(biāo)定結(jié)果。

在本次實(shí)驗(yàn)中，相機(jī)分辨率為2590 × 1942。棋盤(pán)格標(biāo)定板中一個(gè)格子的邊長(zhǎng)設(shè)計(jì)為20mm。為了結(jié)果的準(zhǔn)確性，一共標(biāo)記20張圖。如圖7所示。

圖7　標(biāo)記圖像所用的20張圖

根據(jù)半自動(dòng)角點(diǎn)檢測(cè)步驟，人工選定棋盤(pán)格角點(diǎn)外接矩形中兩個(gè)方向的格子數(shù)分別為9和7。然后進(jìn)行Harris角點(diǎn)檢測(cè)和灰度矩角點(diǎn)亞像素定位，圖8為其中一張圖采集到的棋盤(pán)格圖像角點(diǎn)的檢測(cè)結(jié)果?？梢钥闯?，檢測(cè)結(jié)果非常接近實(shí)際角點(diǎn)位置。

圖9為角點(diǎn)局部放大的圖像。圖中每一個(gè)方格代表一個(gè)像素點(diǎn)。十字交點(diǎn)為通過(guò)本文方法檢測(cè)到的角點(diǎn)。該角點(diǎn)位置位于一個(gè)像素內(nèi)，精度為亞0.01個(gè)像素?？梢钥闯?，優(yōu)化后的結(jié)果比Harris算子得到的像素級(jí)別角點(diǎn)位置更接近實(shí)際角點(diǎn)的位置。

更多的角點(diǎn)變化結(jié)果，見(jiàn)表1?？梢钥吹?，Harris算子得到的角點(diǎn)坐標(biāo)為像素級(jí)別，精度為1像素，本文中利用灰度矩改進(jìn)算法得到的坐標(biāo)為亞像素級(jí)別，精度為0.01像素。本文方法更能體現(xiàn)角點(diǎn)的實(shí)際位置。

表1　不同算法對(duì)應(yīng)的角點(diǎn)坐標(biāo)對(duì)比

最后，利用角點(diǎn)數(shù)據(jù)進(jìn)行張正友標(biāo)定結(jié)果如表2所示。

表2　不同標(biāo)定方法算法標(biāo)定結(jié)果比較

根據(jù)官方給的相機(jī)資料，相機(jī)的焦距為3730mm?？梢?jiàn)，用灰度矩算出的角點(diǎn)位置更符合實(shí)際情況，得到的相機(jī)參數(shù)也更準(zhǔn)確。

結(jié)語(yǔ)

在本文研究的標(biāo)定中，使用半自動(dòng)的角點(diǎn)檢測(cè)方法，手動(dòng)框選角點(diǎn)范圍，然后使用Harris算子進(jìn)行角點(diǎn)初步定位，接著利用灰度矩算法對(duì)角點(diǎn)位置進(jìn)行優(yōu)化，得到亞像素級(jí)別的角點(diǎn)位置，最后利用張正友標(biāo)定法進(jìn)行標(biāo)定。實(shí)驗(yàn)表明，將灰度矩應(yīng)用于相機(jī)標(biāo)定中，可以得到比較好的角點(diǎn)檢測(cè)效果，最后得到的標(biāo)定結(jié)果的精度較高，滿足在影像測(cè)量?jī)x中對(duì)各個(gè)參數(shù)要求高的這一需求。

圖8　角點(diǎn)檢測(cè)結(jié)果圖

圖9　角點(diǎn)局部放大圖

劉 霖1，2陳 祥2劉娟秀1，2羅 穎1凌 云1黃 田1易茂麗1

1.東莞成電術(shù)有精密技術(shù)有限公司；2.電子科技大學(xué)光電信息學(xué)院

10.3969/j.issn.1001-8972.2016.11.002