火炮身管指向測量中圖像的特征提取與校正

齊寰宇,段修生,,馬月輝，高旭端，張帥飛

(1.石家莊鐵道大學(xué)，河北 石家莊 050043；2.河北省無人機(jī)偵測信息處理與運(yùn)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河北 石家莊 050091)

基于點(diǎn)特征的單目位姿測量是利用多個(gè)控制點(diǎn)之間的約束，求解2個(gè)坐標(biāo)系之間的位姿關(guān)系，一般稱為PNP問題[1]。位姿測量精度受許多因素影響，如相機(jī)內(nèi)參、特征點(diǎn)圖像坐標(biāo)、采集距離等，其中，特征點(diǎn)的中心提取是姿態(tài)解算的難點(diǎn)及關(guān)鍵點(diǎn)。針對(duì)火炮身管上特征點(diǎn)的提取，國內(nèi)外學(xué)者提出了一系列的算法，但是常見的缺陷有：不適應(yīng)野外復(fù)雜環(huán)境，提取精度差[2]；不適用于火炮的動(dòng)態(tài)指向測量[3]。

針對(duì)火炮身管動(dòng)態(tài)指向測量中存在的問題，筆者在動(dòng)態(tài)測量火炮身管的基礎(chǔ)上提出了一種基于自適應(yīng)閾值下的多點(diǎn)校正和單點(diǎn)校正算法。對(duì)拍攝的圖像網(wǎng)格化搜索最佳變換參數(shù)，以適應(yīng)不同的光照，提取角點(diǎn)后通過特征點(diǎn)之間的幾何約束關(guān)系優(yōu)化提取結(jié)果，優(yōu)化的結(jié)果可直接用于火炮身管姿態(tài)測量的計(jì)算中。經(jīng)實(shí)驗(yàn)表明：特征點(diǎn)提取的校正算法對(duì)提高測量精度取得了良好的效果。

1 條狀標(biāo)志物特征

運(yùn)用高分辨率的攝像機(jī)實(shí)時(shí)采集火炮身管上的標(biāo)志物圖像，通過機(jī)器視覺的方法獲取標(biāo)志物的運(yùn)動(dòng)參數(shù)進(jìn)而得到火炮身管的姿態(tài)(高低角、方位角)。因此，標(biāo)志物在測量過程中扮演著重要的角色，設(shè)計(jì)時(shí)需要考慮標(biāo)志物的尺寸、特征點(diǎn)個(gè)數(shù)、特征標(biāo)識(shí)的選擇以及特征點(diǎn)之間的幾何約束關(guān)系等對(duì)測量精度的影響。

為適應(yīng)實(shí)彈射擊考核環(huán)境及火炮自身特點(diǎn)，對(duì)標(biāo)志物的面積、質(zhì)量等均采取限制措施。另外，考慮到圖像采集過程中可能存在煙霧遮擋、檢測丟失等情況，因此需要具有冗余的特征點(diǎn)個(gè)數(shù)保證能夠進(jìn)行姿態(tài)解算。如圖1所示，采用背景是白色，含多個(gè)同直線、等間距、黑白相間的標(biāo)志圓的條狀標(biāo)志物作為可粘貼于火炮身管正面上的合作靶標(biāo)。

將圓心作為待提取的特征點(diǎn)，約定其世界坐標(biāo)為已知，記為Pi=(Xi,Yi,Zi)T，則

(1)

式中：d為相鄰圓心間距；nnum為圓的序號(hào)。

根據(jù)投影成像原理，像元尺寸、焦距、采集距離和單個(gè)像素在物理空間的尺寸關(guān)系示意圖如圖2所示。

由相似三角形計(jì)算可得

(2)

式中：D為Ox對(duì)應(yīng)的采集距離；L為單個(gè)像素對(duì)應(yīng)的世界空間尺寸；f為焦距；l為像元尺寸。則物理空間下標(biāo)志圓半徑R與圖像平面下特征圓半徑r關(guān)系如下：

(3)

因此，可通過式(2)、(3)大致獲得圖像中標(biāo)志圓的半徑。

設(shè)在圖像坐標(biāo)系下，圓心坐標(biāo)為(ox，oy)，半徑為r的標(biāo)志圓的方程為

(xi-ox)2+(yi-oy)2=r2,

(4)

式中，i=1，2，…，n.

在圖像坐標(biāo)系中標(biāo)志圓邊界上的一點(diǎn)(xi，yi)對(duì)應(yīng)式(4)中一個(gè)三維錐面，故所檢測的圓邊界上的點(diǎn)對(duì)應(yīng)的三維錐面如圖3所示，由此可得出霍夫圓的圓心坐標(biāo)及半徑。

在利用霍夫變換檢測圓的算法中，需在參數(shù)空間建立一個(gè)累加三維數(shù)組D(ox,oy,r),其中r為變量，設(shè)定閾值δ，在閾值范圍內(nèi)變化r的絕對(duì)值，如圖4所示。對(duì)圖像中每一個(gè)圓邊界點(diǎn)計(jì)算(ox,oy,r)，并對(duì)數(shù)組D(ox,oy,r)進(jìn)行累加，檢測完后，數(shù)組D(ox,oy,r)中的最大值所對(duì)應(yīng)的(ox,oy)為圓心坐標(biāo)，r為半徑。

檢測出條狀物中標(biāo)志圓的大致位置后，從左至右依次記錄下圓的序號(hào)、半徑r、圓心坐標(biāo)等初始參數(shù)。根據(jù)相關(guān)參數(shù)盡可能只保留條狀物對(duì)原圖進(jìn)行切割，以此減小拍攝背景對(duì)特征檢測造成的影響，提高運(yùn)算效率。

2 角點(diǎn)提取算法

2.1 Harris角點(diǎn)檢測算法

在求取圖像感興趣區(qū)中黑白交叉的圓心處坐標(biāo)時(shí)，需要尋找X形角點(diǎn)，主要運(yùn)用Harris角點(diǎn)檢測的思想。計(jì)算公式為

(5)

式中：Ix為圖像I在x方向的灰度梯度；Iy為y方向的灰度梯度[4-5]。

角點(diǎn)響應(yīng)函數(shù)CRF定義為

CRF=det(M)-k×trace2(M)，

(6)

式中：det為矩陣M的行列式；trace為矩陣對(duì)角線元素的和；k為默認(rèn)常數(shù)，k=0.04.

若矩陣M在一個(gè)像素點(diǎn)上的兩個(gè)特征值很大，則在該點(diǎn)向任意方向上的一個(gè)很小的移動(dòng)都會(huì)引起灰度值的較大變化，當(dāng)CRF取得局部極大值，則所在的點(diǎn)作為角點(diǎn)[6]。

在圖像采集中，難免受到光照、儀器、塵霧等各方面的干擾，導(dǎo)致圖像存在噪點(diǎn),質(zhì)量受到影響。在此次設(shè)計(jì)中，利用高斯濾波器對(duì)所采集圖像數(shù)據(jù)進(jìn)行平滑預(yù)處理，同時(shí)，能夠更多地保留圖像的總體灰度分布特征[7]。因此，矩陣M重新定義為

(7)

式中，G為高斯模板。

Harris算子優(yōu)勢顯著，但是存在兩方面局限性：一是對(duì)圖像尺度十分敏感，不具有尺度不變性；二是所提取的角點(diǎn)是像素級(jí)，常常受到相機(jī)分辨率的限制。當(dāng)火炮周邊光線較暗造成標(biāo)志物黑白區(qū)別不明顯時(shí)，會(huì)出現(xiàn)角點(diǎn)未檢測的情況；當(dāng)火炮處于光線強(qiáng)烈的環(huán)境時(shí)，會(huì)使標(biāo)志物某區(qū)域曝光過度，會(huì)出現(xiàn)黑白邊界過度分離使得標(biāo)志物中心分離出兩個(gè)角點(diǎn)或者角點(diǎn)落在黑白格的邊界上而不在十字交點(diǎn)上的現(xiàn)象。尤其在野外測試中，會(huì)經(jīng)常出現(xiàn)上述情況。因此，不能直接將處理結(jié)果應(yīng)用到實(shí)際的火炮身管姿態(tài)測量的解算中，需對(duì)此提取結(jié)果進(jìn)行深入的校正優(yōu)化處理。

2.2 角點(diǎn)校正算法

2.2.1 多點(diǎn)校正

多點(diǎn)校正利用各個(gè)標(biāo)志圓中圓心在同一條直線上的約束，采用最小二乘法對(duì)所檢測出圓心角點(diǎn)坐標(biāo)進(jìn)行直線擬合，設(shè)擬合直線上x和y之間的函數(shù)關(guān)系為

y=ax+b，

(8)

式中，a、b均為待定參數(shù)。

對(duì)于等精度測量所得到的n組數(shù)據(jù)(xi,yi),i=1,2,…，n,xi值被認(rèn)為是準(zhǔn)確的，所有的誤差只聯(lián)系著yi，在估計(jì)參數(shù)時(shí)，要求觀測值yi的偏差的加權(quán)平方和最小，因此應(yīng)有

(9)

(10)

(11)

2.2.2 單點(diǎn)校正

Harris算法通過微分運(yùn)算和自相關(guān)矩陣來提取圖像中的角點(diǎn)[8]，分別計(jì)算出圖像在x、y方向上的梯度自相關(guān)函數(shù)相聯(lián)系的矩陣M及自相關(guān)函數(shù)的一階曲率，當(dāng)兩個(gè)曲率值都很高時(shí)，則將此點(diǎn)作為角點(diǎn)。在現(xiàn)實(shí)中標(biāo)志物中圓心處的面積并非一個(gè)像素單位，而是一個(gè)灰度值由大逐漸變小直至恒定的陰影面積，因此，圓心處噪音較大，在角點(diǎn)檢測過程中，目標(biāo)像素點(diǎn)(x、y)在x、y方向尚未移動(dòng)到真實(shí)圓心處，即檢測到角點(diǎn)，即使經(jīng)過直線擬合校正后誤差依然較大。

針對(duì)上述問題，首先選擇指數(shù)變換的方法，將切割后圖像狹窄的靠近黑色部分像素值映射到更寬的像素值范圍，便于角點(diǎn)搜索：

S=C×Rλ,

(12)

式中：S為增強(qiáng)后圖像；R為濾波后的感興趣區(qū)圖像；λ為指數(shù)參數(shù)；C為常數(shù)。設(shè)定λ的閾值范圍與步長，經(jīng)過網(wǎng)格化搜索，利用解算值與傾角儀測量值作比較，經(jīng)多幅圖像實(shí)驗(yàn)，得出最優(yōu)解。

指數(shù)增強(qiáng)后選擇標(biāo)志圓輪廓左、右處的噪音較小的“┤”形和“├”形角點(diǎn)作為運(yùn)算角點(diǎn)，利用兩個(gè)運(yùn)算角點(diǎn)與圓心角點(diǎn)的幾何關(guān)系求出圓心角點(diǎn)坐標(biāo)。

利用擬合直線校正后的圓心角點(diǎn)(xi,yi)，將其沿著擬合直線上分別向左、向右移動(dòng)n個(gè)像素，作為左、右標(biāo)志點(diǎn)，設(shè)左標(biāo)志點(diǎn)坐標(biāo)為(xflag,yflag)其計(jì)算公式如下：

(13)

(xi-xflag)2+(yi-yflag)2=r2,

(14)

式中，(xi,yi)為擬合直線校正后的圓心角點(diǎn)。由此兩個(gè)標(biāo)志點(diǎn)設(shè)置閾值范圍，篩選出標(biāo)志圓輪廓邊緣的“┤”形和“├”形角點(diǎn)，設(shè)單個(gè)圓輪廓的左、右角點(diǎn)分別為(xleft,yleft),(xright,yright)，校正后的圓心角點(diǎn)為(xend,yend)，則

(15)

(16)

將校正后的藍(lán)色圓心角點(diǎn)與校正前的綠色角點(diǎn)在圖中對(duì)比，效果如圖5所示。圖中紅色圓形、藍(lán)色圓形分別為經(jīng)霍夫算法檢測到的標(biāo)志圓輪廓及序號(hào)識(shí)別圓輪廓。從圖5中可以直觀看出偏離實(shí)際圓心的角點(diǎn)經(jīng)校正后明顯回歸正常。

3 基于條狀標(biāo)志物的指向解算

如圖6所示，建立3個(gè)坐標(biāo)參考系，模擬條狀標(biāo)志物在理想針孔成像模型下的成像過程，圖中OC-xcyczc為相機(jī)坐標(biāo)系，z軸與鏡頭光軸重合。Op-xpyp為圖像坐標(biāo)系，坐標(biāo)的單位長度為一個(gè)像素值[9]。Ob-xbybzb是以條狀標(biāo)志物所在的平面為xOy面的世界坐標(biāo)系，條狀標(biāo)志物位于火炮身管之上，因此火炮身管的姿態(tài)角也與該坐標(biāo)系的位姿一一對(duì)應(yīng)[10]。在火炮身管旋轉(zhuǎn)過程中，始終以火炮所在直線作為世界坐標(biāo)系的z軸。

在不考慮鏡頭畸變的情況下，標(biāo)志物上任一角點(diǎn)P在世界坐標(biāo)系下的齊次坐標(biāo)向量Pb與其投影點(diǎn)P′在圖像坐標(biāo)系下的齊次坐標(biāo)向量P滿足關(guān)系：

(17)

式中:zb=0；M1為相機(jī)內(nèi)參矩陣，包括焦距、偏移參數(shù)和鏡頭畸變參數(shù)，可利用多幅圖像進(jìn)行相機(jī)標(biāo)定得出；M2為外參矩陣由旋轉(zhuǎn)矩陣R和平移向量t構(gòu)成，在火炮身管旋轉(zhuǎn)時(shí)，不同的位置對(duì)應(yīng)不同的外參矩陣，且定義某一時(shí)刻圖像的單應(yīng)性矩陣H=[h1h2h3]，則

P=HPb,

(18)

H=[h1h2h3]=ηM1[r1r2t].

(19)

根據(jù)每一幅圖像得到的所有角點(diǎn)及其投影的坐標(biāo)可以求解出單應(yīng)性矩陣[11]。令μ=1/η，分解式(19)得到：

(20)

在進(jìn)行正式測量之前，先對(duì)火炮身管進(jìn)行校零，然后采集零位置圖像，計(jì)算出零位置旋轉(zhuǎn)矩陣R0，隨著身管的運(yùn)動(dòng)采集對(duì)應(yīng)圖像并計(jì)算出與之對(duì)應(yīng)的旋轉(zhuǎn)矩陣Rn,則可以得到身管從零位置到某時(shí)刻位置n的旋轉(zhuǎn)矩陣：

(21)

根據(jù)身管的運(yùn)動(dòng)模型以及標(biāo)志物與之的相對(duì)位置，可以得到高低角α、方位角β與旋轉(zhuǎn)矩陣Tn之間的關(guān)系，解出這兩個(gè)角度。

4 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)中采用攝影搖臂三腳架模擬火炮身管，將條狀標(biāo)志物固定在搖臂上，同時(shí)搖臂上安裝傾角儀，用于確定搖臂相對(duì)于零位置的姿態(tài)角，以此為參考值，驗(yàn)證測量精度。選用?？低暪I(yè)相機(jī)(分辨率為2 448×2 048)和PENTAX H1214-M鏡頭，實(shí)驗(yàn)系統(tǒng)如圖7所示。

在處理之前，打開搖臂，傾角儀設(shè)為常開狀態(tài)，將搖臂做兩個(gè)自由度的旋轉(zhuǎn)，采集圖像的同時(shí)記錄下傾角儀的度數(shù)。設(shè)定指數(shù)的變化范圍及步長，解算不同參數(shù)下的不同姿態(tài)結(jié)果，與傾角儀的讀數(shù)相比較，搜索最佳指數(shù)參數(shù)，流程圖如圖8所示。

在得到最優(yōu)預(yù)處理參數(shù)后，采集圖像，利用特征提取、校正算法及指向解算的原理，解算出火炮的姿態(tài)角，實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 實(shí)驗(yàn)測量結(jié)果

結(jié)果顯示，經(jīng)兩次校正后角點(diǎn)所計(jì)算的身管高低角與傾角儀的度數(shù)基本吻合，高低誤差在2.1 mrad以內(nèi)，由實(shí)驗(yàn)數(shù)據(jù)可觀測到：隨著方位角的不斷增加，高低角與方位角測量誤差也隨之增加，在建立高低角測量誤差模型時(shí)，根據(jù)獨(dú)立隨機(jī)誤差性質(zhì)及誤差傳播理論得到誤差系數(shù)：

(24)

可以看出，誤差系數(shù)近似為方位角余弦函數(shù)的倒數(shù)，且與采集距離、特征點(diǎn)間隔、相機(jī)分辨率均有關(guān)系；由于攝像機(jī)模型的自身限制，對(duì)沿光軸信息獲取不敏感，導(dǎo)致方位角測量誤差較大。因此，在下一步研究中，將重點(diǎn)研究雙目圖像處理及特征點(diǎn)合理分布、身管曲率問題，提高測量精度。

5 結(jié)束語

根據(jù)復(fù)雜環(huán)境下火炮身管指向測量的特點(diǎn)，提出了應(yīng)用于身管運(yùn)動(dòng)情況下的特征提取與校正的方法，實(shí)驗(yàn)證明，該方法與現(xiàn)有身管指向測量技術(shù)相比較，最大改進(jìn)在于能夠自適應(yīng)野外環(huán)境下的動(dòng)態(tài)測量，且測量精度滿足要求，成本大大下降，促進(jìn)了非接觸式位姿測量技術(shù)的發(fā)展，為部隊(duì)的軍事訓(xùn)練考核、射擊精度的評(píng)估找到了一個(gè)新的解決方案。在下一步的工作中，可以通過改善硬件條件或增加雙目相機(jī)，優(yōu)化算法，進(jìn)一步提升方位角的測量精度。