基于斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計方法

岳世強，李翰山，張曉倩

(西安工業(yè)大學(xué)電子信息工程學(xué)院，陜西 西安 710021)

0 引言

在靶場武器測試領(lǐng)域，彈丸的位置參數(shù)是目標(biāo)毀傷效能評估的重要參數(shù)，而彈丸的深度信息為其位置參數(shù)計算提供了理論依據(jù)。彈丸的深度圖像對比其灰度圖像，具有三維位置信息。目前，國內(nèi)外光場圖像的深度估計方法主要有基于散焦、相關(guān)性線索提取焦點堆棧圖像的局部深度法，基于多視角立體匹配的深度估計法和基于場景內(nèi)容自適應(yīng)的迭代深度估計法[1-3]?；谏⒔?、相關(guān)性線索提取焦點堆棧圖像的局部深度方法對光場相機重聚焦后的圖像進行聚焦性檢測，估計出物體的局部深度信息[4-7]，應(yīng)用在場景結(jié)構(gòu)簡單且目標(biāo)距離相對較近的場景中；對于物體在場景中有時可能存在被遮擋或目標(biāo)距離相對較遠(yuǎn)的場景,深度估計時的結(jié)果可能會因此出現(xiàn)較大的錯誤?；诙嘁暯橇Ⅲw匹配的方法是利用物體圖像的顏色一致性信息，通過構(gòu)造成本量提取物體的深度信息，利用相移理論獲取微陣列之間的亞像素位移，然后將中心視角與其他視角分別進行立體匹配，最后利用圖割優(yōu)化算法獲得最終的深度圖[8]；該方法獲取的深度圖的精度較高，但需要對每個視角下的圖像進行成本構(gòu)造，因此計算需要時間較長?；趫鼍皟?nèi)容自適應(yīng)迭代深度估計算法采用全局優(yōu)化迭代計算框架，求解不同微透鏡后子圖像的匹配關(guān)系以實現(xiàn)深度估計，獲取了不同深度分辨率的重建結(jié)果[9-12]；該方法由于迭代運算，進行深度估計時間較長。本文針對快速且精準(zhǔn)估計彈丸位置的深度信息，提出基于斜率關(guān)聯(lián)函數(shù)的位置深度估計方法。

1 微陣列透鏡光場成像原理

相比傳統(tǒng)相機，光場相機在結(jié)構(gòu)上增加了微陣列透鏡，可以記錄彈丸的位置和方向的四維光場信息，可以記錄彈丸光線位置和方向信息，具有還原所記錄彈丸圖像場景深度信息的能力。微陣列透鏡光場成像原理如圖1所示。

圖1 微陣列透鏡光場成像原理圖Fig.1 Light field imaging principle of micro array lens

圖1中，多個彈丸進入光場相機的探測視場內(nèi)，彈丸經(jīng)過光場相機的主透鏡成像，光線聚焦于微透鏡陣列平面，而后經(jīng)單個微透鏡分散出強度和方向分量，到達(dá)探測器的探測面，在探測面形成彈丸像點,由于微透鏡的重聚焦作用，彈丸在重聚焦平面形成新的像點。光場相機采集的彈丸四維光場數(shù)據(jù)經(jīng)積分運算得到數(shù)字二維重聚焦圖像，可以恢復(fù)出不同位置深度信息的彈丸圖像，該成像模型為彈丸的深度估計提供了理論依據(jù)。

2 斜率關(guān)聯(lián)函數(shù)的彈丸深度建模與估計方法

2.1 彈丸成像重聚焦與深度建模分析

光場相機的重聚焦過程是從采集的彈丸二維光場圖像獲取到四維光場數(shù)據(jù)，光線經(jīng)過微陣列透鏡重聚焦于新的像面，得到處于不同深度位置彈丸的二維圖像，微陣列透鏡中每個微透鏡成像并在探測器平面上形成一個宏像素代表一個空間位置采樣。

根據(jù)光場成像原理，彈丸重新聚焦到一個新的成像平面，即重聚焦平面，如圖2所示，彈丸重聚焦平面距微陣列透鏡平面的距離為L′，L′=αf；探測器平面距微陣列平面的距離為L，L=F；探測器平面上(s,t)點的光線記為LF(u,v,s,t)；由于重聚焦過程，光線所攜帶的四維信息變?yōu)槎S信息，光線發(fā)生變化記為LαF，在重聚焦平面的光線記為Lαf(s′,t′)，光線LF與LαF實際上是微陣列與探測器間的同一條光線,其探測器平面接收到的彈丸能量可表示為：

圖2 彈丸光場重聚焦示意圖Fig.2 Refocusing diagram of projectile light field

(1)

彈丸在探測器平面光線信息記為LF(u,v,s,t)，將該處所有位置信息進行積分，得到重聚焦平面彈丸清晰的成像，根據(jù)重聚焦原理可以得到，與微陣列距離為αF重聚焦平面彈丸圖像表達(dá)式為：

(2)

式(2)中，f為光場相機標(biāo)準(zhǔn)焦距，α為重聚焦系數(shù)。彈丸在最大聚焦度情況下，探測器平面距重聚焦平面的最大距離可表示為：

Lmax=αfm

(3)

式(3)中，fm為彈丸成像最清晰時的最大時微透鏡焦距，θ為彈丸與光場相機光軸的夾角。利用透鏡高斯成像原理，彈丸深度信息可表示為：

(4)

不同位置深度信息的彈丸在重聚焦作用下，在重聚焦平面上呈現(xiàn)清晰的像，如圖2所示，得出彈丸光線信息在進行積分后，在重聚焦平面所占積分元長度s′-u與深度信息h的關(guān)系為：

(5)

由式(5)可以得出，彈丸在經(jīng)過重聚焦之后，深度與在重聚焦平面所占積分元長度、微透鏡焦距、重聚焦系數(shù)有關(guān)。大小不同的彈丸經(jīng)過重聚焦作用在重聚焦平面所占積分元長度不同，因此大小不同彈丸在經(jīng)過微陣列成像時所占微透鏡數(shù)目不同。

將彈丸重聚焦模型投影到二維平面，圖3中，a2為彈丸P重聚焦所占積分元長度，h為彈丸的深度信息，微陣列對同一彈丸采集到的圖像之間存在視角差異，根據(jù)微陣列的結(jié)構(gòu)，不同大小彈丸成像所占微陣列的長度值不同，彈丸P重聚焦所占微陣列差值的長度可表示為：

圖3 彈丸所占重聚焦平面積分元與深度關(guān)系Fig.3 The area components of the refocused plane occupied by the projectile depth relationship

d=l1-l2

(6)

根據(jù)相似三角形幾何推導(dǎo)，可以得出深度與微陣列差值的關(guān)系：

(7)

由此可見，微陣列差值d與彈丸深度h成反比，與重聚焦平面的積分元長度b成正比，即彈丸的深度信息越大，所占微陣列差值d越小，重聚焦平面的積分元長度越大。對于大小相同的彈丸，其重聚焦所占微陣列透鏡數(shù)目相同，彈丸的深度信息與重聚焦平面的積分元長度存在線性關(guān)系，因此，根據(jù)彈丸的深度信息與重聚焦平面的積分元長度關(guān)系可以估計彈丸深度信息。

2.2 斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計

彈丸的深度信息與彈丸在重聚焦平面的積分元長度成正比，因此，在光場相機探測視場內(nèi)，處于不同位置的彈丸具有不同的深度信息。由于存在彈丸數(shù)目較多，因此構(gòu)造彈丸的深度梯度平面圖，反應(yīng)每個彈丸的深度信息，如圖4所示。

圖4 任意位置彈丸深度梯度示意圖Fig.4 Schematic diagram of projectile depth gradient at any position

圖4中，選取處于光場相機探測視場內(nèi)不同位置的彈丸A1,A2,A3,A4,重聚焦之后像點在重聚焦平面處于不同的位置，構(gòu)建彈丸深度梯度平面，每個彈丸的深度信息不同，因此在深度梯度平面內(nèi)不同的位置，可在深度梯度平面內(nèi)插入一條直線，這條線穿過所有彈丸成像點時彈丸的深度都不同。彈丸的像點處于合焦?fàn)顟B(tài)，此時這條直線的斜率便反映了彈丸重聚焦所占積分元長度與深度的關(guān)系，并據(jù)此推斷場景的深度與結(jié)構(gòu)：單點對應(yīng)一條紋理線，而紋理線的斜率可以映射出該點的深度信息。由于不同大小彈丸在重聚焦平面的積分元長度對應(yīng)于不同的深度梯度平面，彈丸位置隨機分布，其成像可能會存在遮擋，最小二乘法優(yōu)點是可以較好地處理離群值，故我們使用最小二乘法來擬合彈丸深度梯度面，根據(jù)積分元長度值C(h,u,v)對圖像擬合的公式為:

z=ux+vy+h

(8)

(9)

根據(jù)彈丸深度梯度平面圖，反映了彈丸的深度信息，深度梯度平面斜率k可表示為：

(10)

式(10)中，λ表示深度梯度平面平滑算子，kuu表示深度梯度平面在u方向上的梯度，kvv表示深度梯度平面在v方向上的梯度，kuv和kvu表示深度梯度平面在u和v共同方向的梯度。根據(jù)圖4，斜率k可表示為：

(11)

根據(jù)彈丸重聚焦平面的積分元s′-u與深度信息h的關(guān)系可得:

(12)

即彈丸的深度可表示為：

(13)

斜率關(guān)聯(lián)函數(shù)反映彈丸深度梯度平面，可得斜率關(guān)聯(lián)系數(shù)為：

(14)

式(14)中，fmax與fmin分別代表光場相機微陣列最大焦距與最小焦距，Δf表示微陣列最大焦距與最小焦距的差值，α為重聚焦系數(shù)。

深度梯度平面圖斜率關(guān)聯(lián)度Ri可表示為：

(15)

式(15)中，N為光場相機探測到的彈丸個數(shù)，β為光場相機的分辨率。斜率關(guān)聯(lián)度Ri的大小能夠體現(xiàn)彈丸深度估計的噪聲，即可反映彈丸深度估計的精確程度。

3 實驗分析

采用第一代Lytro相機，其有效光線數(shù)(即像素)為1 100萬，等效焦距為35 mm,焦距范圍為35～280 mm,光學(xué)變焦8倍，可多點觸摸，微陣列透鏡由3 560×3 560的小型微透鏡排列構(gòu)成，可更充分地利用空間分辨率，微透鏡孔徑為150 μm，焦距為3.46 mm?，F(xiàn)場布置如圖5所示，以10個螺絲釘模擬彈丸，螺絲釘后方設(shè)置以參照物，參照物距離光場相機距離為5 m,每個螺絲釘與光場相機的距離不同，距離螺絲釘一定距離設(shè)置一基準(zhǔn)線，光場相機放置于基準(zhǔn)線上，拍攝得到10個螺絲釘以及參照物的光場圖像。為了對比本方法計算螺絲釘?shù)纳疃刃畔⒌木?，將激光測距儀放置于基準(zhǔn)線，分別測得每個螺絲釘距離基準(zhǔn)線的垂直距離，作為實驗對比數(shù)據(jù)。

圖5 實驗現(xiàn)場示意圖Fig.5 Schematic diagram of experiment site

根據(jù)圖5采用斜率關(guān)聯(lián)函數(shù)處理得到全局深度梯度如圖6所示。

圖6 圖像深度輸出結(jié)果Fig.6 Image depth output results

圖6中顏色的不同代表了螺絲釘深度信息的不同，螺絲釘距離光場相機距離越近(深度信息越小),則顏色越深，距離光場相機距離越遠(yuǎn)，顏色越淺，可以看出參照物其顏色最淺，利用采集的光場數(shù)據(jù)得到彈丸深度信息與重聚焦平面的積分元長度變化曲線如圖7所示。

圖7 彈丸深度信息分布圖Fig.7 Distribution of projectile depth information

由圖7可以得出，彈丸目標(biāo)與光場相機光軸的夾角在0°～90°范圍內(nèi)，彈丸與光場相機光軸越近時，彈丸深度信息越大，在θ≈0°時，彈丸深度信息達(dá)到最佳，此時彈丸在重聚焦平面像點最為清晰，深度信息隨著彈丸與光場相機的光軸夾角θ變大而減小。分析可知，通過彈丸在重聚焦平面的積分元長度可估計彈丸的深度信息。

采用最小二乘法對不同深度信息彈丸進行斜率梯度平面擬合，斜率梯度平面分布如圖8所示。

圖8 彈丸斜率梯度平面分布圖Fig.8 Plane distribution of projectile slope gradient

根據(jù)圖8得知，處于不同深度的彈丸在重聚焦平面的像點位置不同，斜率平面可直觀反映彈丸深度信息，斜率k的變化范圍為1～5，其結(jié)果與激光測距儀測得每個螺絲釘距離光場相機的距離基本吻合。

深度梯度平面圖斜率關(guān)聯(lián)度能夠反映估計深度的精確程度，光場相機最小焦距取35 mm,最大焦距取280 mm,即Δf=245 mm，重聚焦系數(shù)α范圍為0.1～1。彈丸深度梯度平面斜率關(guān)聯(lián)度如圖9所示。

由圖9分析得知，彈丸深度梯度平面斜率關(guān)聯(lián)度與光場相機焦距f與重聚焦系數(shù)α的變化呈線性關(guān)系。焦距與重聚焦系數(shù)取最小時，彈丸深度梯度平面斜率關(guān)聯(lián)度為最小值0.1，此時的彈丸深度估計精確度較低；焦距與重聚焦系數(shù)取最小時，彈丸深度梯度平面斜率關(guān)聯(lián)度為最大值0.9，彈丸深度估計精確度高。因此斜率關(guān)聯(lián)度Ri體現(xiàn)了彈丸深度信息估計的精確性，為彈丸深度信息估計精度提供了參考依據(jù)。

圖9 彈丸深度梯度平面斜率關(guān)聯(lián)度分布圖Fig.9 Distribution of correlation degree of plane slope of projectile depth gradient

本文忽略了光場相機制造參數(shù)對彈丸深度信息估計的影響，主要討論彈丸與光場相機光軸的夾角、焦距、重聚焦系數(shù)對深度信息的影響，為了進行彈丸深度信息估計的不確定性分析，表1給出了重聚焦系數(shù)取0.5，焦距取150 mm，10個彈丸與光軸夾角取不同值情況下深度信息估計的實驗數(shù)據(jù)。

表1 彈丸與光軸夾角對深度估計的影響Tab.1 Influence of angle between projectile and optical axis on depth estimation

表1中，在焦距和重聚焦系數(shù)不變的情況下，與激光測距儀測得距離作對比，實驗數(shù)據(jù)表明，隨著彈丸與光場相機光軸的夾角θ逐漸變大，其深度信息誤差逐漸大，誤差最大為6.93 mm,最小為2.67 mm。表2給出彈丸與光軸夾角、重聚焦系數(shù)不變情況下，焦距取不同值時深度信息估計的實驗數(shù)據(jù)。

表2 焦距對深度信息估計的影響Tab.2 Effect of focal length on depth information estimation

表2中，在彈丸與光軸夾角和重聚焦系數(shù)不變的情況下，與激光測距儀測得距離作對比，實驗數(shù)據(jù)表明，隨著相機焦距的逐漸變大，其深度信息逐漸變大，誤差最大為6.93 mm,最小為2.67 mm。表3給出彈丸與光軸夾角、焦距不變情況下，不同重聚焦系數(shù)下深度信息估計的實驗數(shù)據(jù)。

表3 重聚焦系數(shù)對深度信息估計的影響Tab.3 Effect of refocusing coefficient on depth information estimation

續(xù)表3

表3中，在彈丸與光軸夾角和焦距不變的情況下，與激光測距儀測得距離作對比，實驗數(shù)據(jù)表明，隨著重聚焦的逐漸變大，其深度信息誤差先變小后變大，重聚焦系數(shù)取0.5時深度信息估計達(dá)到最佳為1.38 mm，重聚焦系數(shù)相比于彈丸與光軸夾角和焦距對深度信息估計影響較小。

4 結(jié)論

本文提出基于斜率關(guān)聯(lián)函數(shù)的彈丸位置深度估計方法，該方法建立了彈丸光場重聚焦與深度關(guān)系模型，給出彈丸通過光場相機測試區(qū)域任意位置時的深度信息與光場相機的焦距和重聚焦系數(shù)之間的關(guān)聯(lián)，構(gòu)建光場重聚焦與深度信息的數(shù)學(xué)模型，結(jié)合彈丸深度信息與彈丸所占積分元長度處于重聚焦平面的關(guān)系，推導(dǎo)了任意位置彈丸深度信息的解析函數(shù)，利用最小二乘法擬合彈丸深度梯度平面，結(jié)合斜率關(guān)聯(lián)函數(shù)估計彈丸位置深度信息。仿真實驗結(jié)果表明，光場相機焦距在35～280 mm與彈丸和光場相機光軸夾角0到π/2范圍內(nèi)，隨著彈丸和光場相機光軸夾角和焦距的增大其彈丸深度信息誤差逐漸變大，彈丸位置深度估計精度達(dá)到10%，為靶場武器測試領(lǐng)域彈丸深度信息的估計提供了方法。