陳大海 莫 林 易向陽
(廣西大學計算機與電子工程學院,廣西 南寧 530004)
固定攝像頭圖像中測算目標距離和尺寸的算法
陳大海 莫 林 易向陽
(廣西大學計算機與電子工程學院,廣西 南寧 530004)
利用簡單的幾何方法來實現(xiàn)在單目固定鏡頭條件下獲取圖像中目標的大小尺寸和目標與攝像機的距離。這種方法簡單易用,運算量小,只需要在初次攝像頭拍攝畫面時設置初始條件,就可以在以后的圖像中快速完成目標大小距離等參數(shù)的計算。
圖像測距;形狀特征;圖像處理;視頻監(jiān)控
在視頻監(jiān)控系統(tǒng)中為了能對目標進行識別分類和行為分析理解等,獲取圖像中目標的尺寸和目標與攝像機的距離等參數(shù)是非常重要的。目標的測距與目標尺寸的測量有直接的聯(lián)系。目前研究中的和應用中的目標測距方法有很多種,但是這些方法一般都比較繁瑣成本比較高。文章使用簡單的幾何方法來實現(xiàn)在單目固定鏡頭條件下獲取圖像中目標的大小尺寸和目標與攝像機的距離。該方法簡單易用,運算量小,只需要在初次攝像頭拍攝畫面時設置初始條件,就可以在以后的圖像中快速完成目標大小距離等參數(shù)的計算。該方法適用于大多數(shù)的室外中遠距離監(jiān)控環(huán)境。
目標距離的測量的方法有很多種,目前常用的距離測量方法主要分為兩大類:主動方式和被動方式。
主動測距法使用激光等波束或具有一定紋理結(jié)構(gòu)的光照射目標,通過分析物體反射光的紋理形變或測量光束的傳播時間來確定物體的距離。另外主動測距方法又可以分為:接觸式測距和非接觸式測距法兩類。
接觸式測距法對物體表面進行逐點掃描逐點測量,所以費用高、費時,不適合測量柔軟的物體。非接觸主動測距法采用微波、聲納測、激光等手段,通過探測波在物體和傳感器之間的傳播時間來計算物體與傳感器之間的距離,該方法比較適合于測量距離較遠而精度要求不高的物體。另外非接觸主動測距法還可以采用結(jié)構(gòu)光場法,通過測量投射在目標表面的圖案形變,采用三角測量原理計算物體距離,測量精度較高。
主動測距方法優(yōu)點是精確度比較高,缺點是發(fā)射各種波可能對目標有傷害或引起測量器材的暴露,設備比較昂貴,測距裝置成本與測距裝置的分辨率成正比,另外三維立體景物的對焦困難,容易造成圖像中目標的模糊現(xiàn)象。
被動測距方法直接通過目標的影像信息來確定物體的距離。被動測距法主要有:立體視覺[1]、運動測距法[2]、單目測距[3]等。
立體視覺是模仿人類的立體感知分析方法將雙目或多目攝像頭在不同的視點觀察同一景物,獲取在不同視角下的目標圖像拍攝的物體二維圖像。通過三角測量原理計算圖像像素間的位置偏差即視差來獲取景物的三維信息。立體視覺分為圖像獲取、攝像機定標、特征提取、立體匹配、深度確定及內(nèi)插等幾部分。
運動測距法用單目攝像頭在不同時間或不同的空間位置獲取連續(xù)的目標圖像。通過目標在二維圖像序列的時間和空間變化計算出目標的距離和其他參數(shù)。
運動測距需要在不同圖像中尋找對應點。尋找目標的對應特征,并計算出它們之間的偏差量,以此來計算目標的距離和尺寸參數(shù),但是要提取物體的特征比較復雜費時。當目標在所處的場景中有不時被遮擋情況下,可能會出現(xiàn)目標的特征點無法連續(xù)被找到使得無法進行距離測算。
單目測距中基于圖像處理的測距方法有:對焦測距法和散焦測距法[4]。
對焦測距法 DFF(Depth from Focus)通過調(diào)節(jié)光學參數(shù)拍攝一系列的目標圖像,在這些圖像中找出目標最清晰的那一張圖像,根據(jù)這張圖像的拍攝參數(shù),利用幾何光學的成像原理,計算出目標距離[5,6]。該方法距離的測算精確。這種方法要在不同光學參數(shù)下,對物體拍攝一大批的圖像,對這些圖像進行分析需要比較大的計算量,該方法難于進行實時測量。
散焦測距法 DFD(Depth from Defocus)是一種從離焦的圖像中獲得物體深度信息的方法[7,8]。根據(jù)物體散焦程度越大圖像越模糊的原理,利用在不同光學參數(shù)下拍攝的兩幅或三幅圖像來確定散焦點擴散函數(shù)的擴散參數(shù),根據(jù)散焦擴散參數(shù)與物體距離的關系來進行深度計算。
對焦測距法和散焦測距法不需要尋找目標對應特征點,沒有了被遮擋無法測量的問題。散焦測距法與對焦測距方法比較起來,它無需拍攝大量圖像,操作運算都是對局域圖像進行的,且計算方法簡單,運算速度快,所以可高密集地測量物體的深度。
上述測量方法的共同特點是測量的精度主要決定于測量儀器,如果要求提高精度,所需的費用會大幅度的增加。在現(xiàn)實生活中,在很多情況下所要求的精度并不高,因此,可以尋找一些費用成本較低而能達到一定精度要求的方法來解決此問題。
在大多數(shù)的室外視頻監(jiān)控應用領域中,大部分的攝像頭都是固定的,而且往往都是中遠程的監(jiān)控場景,定焦攝像機。在這種攝像條件下,只要是非廣角拍攝,目標離攝像機比較遠時,目標在圖像中的變形就會比較小。這就對目標的測距和幾何參數(shù)的測量提供了比較好的條件。
定義目標對象i的實際高度為Hi、實際寬度為Wi。
下面需要將這個像素表示的長寬數(shù)據(jù)換算出實際大小,計算出這個對象的實際大小并提前計算出兩個重要參數(shù):目標距離攝像頭的距離和攝像頭的拍攝角度。固定攝像頭的安裝高度在實際安裝測試時可以測量得到 a,固定攝像頭的拍攝畫面的上沿和下沿距離攝像頭垂平面的距離b和c也可以實際測量到。
目標在圖像上的大小是和目標與攝像頭的距離成反比,遵循近大遠小的規(guī)則,可以通過幾何運算公式得到目標實際大小。為了減小計算量可以簡化算法,只要攝像頭不是變形很大的廣角鏡頭,可以認為目標自身在圖像中的長度和寬度是隨著目標和攝像頭的距離以相同比例變化的。
(1)計算步驟
由于設計條件是固定攝像頭下不變焦的監(jiān)控系統(tǒng)的距離和目標尺寸計算,所以攝像頭安裝好之后,攝像頭在三維場景中的位置就不再變化了,拍攝的畫面的背景也就固定不變了。這時再從拍攝的背景畫面中找到畫面的上下邊界所對應的場景實際位置,再到場景中實地中測量出攝像機的安裝高度a和畫面的上沿和下沿距離攝像頭垂平面的距離b和c。
由于畫面都是由一個個的像素組成的,所以如果只通過單幅的畫面計算目標距離和尺寸,那么計算的精度就不會超過目標在圖像中單個像素所代表的尺寸。但在一般的視頻監(jiān)控中這個識別精度也足夠用了。
接下來可以通過幾何計算得到畫面每一個像素所對應的實際場中地面的大小尺寸。
只要知道目標的底部在地面的位置就可以計算出目標到攝像頭垂平面的距離。
但是畫面中的目標并不是貼合在地面上的,而一般是直立在地面上的,所以不能將目標在地面上的投影所對應的像素所代表長度當作目標的高度。目標的實際高度還需要通過計算目標垂線與攝像機的到目標的連線夾角計算得到。
接下來的計算如圖1、圖2。
圖1
圖2
(2)已知a、b、c、N、P為單位像素、N為圖像的Y軸上總像素數(shù)、y為目標下沿坐標值,求Y軸方向y0到y(tǒng)N每個像素所對應地面的實際長度值lyd。
l1為攝像頭到目標所在地面的距離,l2為攝像頭經(jīng)過目標所在地面到成像平面的距離,通過這兩個參數(shù)的比值就可以得到目標所在的地面點和對應成像平面點尺寸比例關系,只要知道這個成像平面的點所對應的像素代表的尺寸,就可以計算出該地面點的實際尺寸。
用這個方法就可以建立起一個函數(shù):
它表達的是在圖像中Y軸上的每個像素對應地面的尺寸ly
如圖 2所示l1為攝像頭到目標所在地面的距離,由勾股定理可知它可以由攝像頭到地面的距離a和圖像畫面的下沿到攝像頭垂平面的距離b與圖像畫面的下沿所顯示的地面點到目標所在地面的距離m之和得到,如公式(3)。
同樣如圖2所示l2為攝像頭經(jīng)過目標所在地面到成像平面的距離,它可以由攝像頭到成像平面的垂直距離也就成像平面Y軸的中點距離x與成像平面的Y軸中點到目標在成像平面投影的位置的長度Y,用三角定理計算得到,如公式(4)。
Y可以由目標在圖像中的坐標值yP減去成像平面的Y軸長度的一半即得到,如公式(5),N為圖像的Y軸向總像素數(shù),P為單位像素。
將公式(5)代入公式(4)得到公式(6)。
是假設的成像平面的Y軸和Y軸的兩個端點與攝像頭的連線形成的等腰三角形的垂直高度。
假設投影平面所處的位置是Y軸的上端點也就是0像素位剛好是在圖像中顯示的地面最遠處的點。
由于有上述關于投影平面位置的假設所以d可以由公式(8)得到,a和c是已知的。
將公式(8)代入公式(7)得到公式(9)。
將公式(9)代入公式(6)得到公式(10)。
將公式(3)和公式(10)相除得到公式(11)。
公式(11)中y是自變量,是圖像中Y軸上的任意一點。現(xiàn)在這個公式中只有m是未知量。下面要得到m和已知量的相關性。m是像畫面的下沿所顯示的地面點到目標所在地面的距離。
攝像頭與地面的垂線和攝像下視野線的夾角為 ,得到公式(12)。
攝像頭與地面的垂線和攝像上視野線的夾角為 ,得到公式(13)。
由三角定理得到攝像頭的上下拍攝視角β-α也就是的正切值,得公式(14),可以推導出公式(15)得到 :
δ為攝像下視野與攝像頭到目標地面點的連線之間的夾角,對這個夾角δ的計算進行了簡化,使用了公式(16),這個公式的前提假設就是在攝像機不是在大廣角的情況下,圖像中的Y軸上的任意一個像素所占的攝像頭的視角是一樣大的。但實際上并不一樣,從幾何圖形中可以看出如果成像面是球面的,這個公式就是精確的了。但是一般情況下獲取目標參數(shù)的精度并不需要特別的高,所以為了簡化算法提高效率使用公式(16)進行后面的計算。
由余切定理得到公式(17)。
由公式(17)可以推出公式(18)得到m。
那么b+m就是目標到攝像機的垂平面的距離,b+m由前面的公式可以看出目標在不同的Y軸上的像素就有不同的距離值。
公式(19)表達的是在這個假設成像平面中一個像素所對應具體的長度。
將公式(18)和公式(19)帶入公式(11)得到公式(20)。
這里我們定義l1與l2之比為f(y),由公式(20)右邊可知這個比例只與變量y相關,得到公式(21)。
下面就是單位換算的問題, f(y)表達的是在圖像中Y軸上的任意一個像素(y坐標)和對應的地面尺寸比例值,它沒有單位,這時只要把公式(19)帶入公式(21)替代l2就可以得到的是ly也就是圖像中不同的y坐標對應的實際地面尺寸公式(22)、(23)。
這樣得到了一組數(shù)據(jù)就是:在 Y軸方向y0到y(tǒng)N每個像素所對應的ly長度值。另外根據(jù)相似三角形原理,在X軸方向同一水平線上的所有x點的實際對應長度值是與本水平線對應的y點的ly相同。
ly實際上是圖像中某個像素對應的地面的長度,還不是像素對應目標的高度值。真正的目標一般是直立在地面上的。獲得的目標像素高度和寬度值實際上是目標i在攝像頭所處的角度下,目標所遮擋地面的長度寬度在投影圖像中反映出的像素數(shù)量。
圖3
上述方法得到的ly是視頻圖像中的單個像素對應地面尺寸,因為ly是單個像素的邊界所對應的長度,為了更準確的表示像素對應的長度做如下處理
這樣就得到一張表。表示Y軸方向y0到y(tǒng)N每個像素所對應地面的更為準確的實際長度值lyd。
(3)求目標i的實際高度和寬度Hi、Wi
計算對象 i的真實高度Hi可以先計算出攝像機到目標頂部 y0i的連線與地面垂線的夾角,通過這個角度和目標在地面上的投影長度換算出來。
假設圖像中的目標一般是垂直立在地面上的可以得到公式:
在目標的寬度上也就是X軸上,由于相似三角形的原理目標在地面的投影不隨著角度發(fā)生變化,所以可以直接由上一步的計算獲得不需要進一步處理。
通過上述方法這可以獲得一個物體長(高)寬的實際尺寸,但由于上述方法中存在簡化和近似算法的原因,還有鏡頭和目標輪廓的識別受到各種外部環(huán)境和算法局限的影響,得到的尺寸還是一個近似值,并不是很精確。上述方法如果使用在變形不是非常嚴重的情況下還是可以用于分辨目標的。
首先是圖像的分辨率對誤差的影響,像素的數(shù)量越大分辨率越高也就是N越大誤差就會越??;另一方面目標與攝像鏡頭的距離越遠,目標在圖像中的變形就越小,計算的精度就會越高;另外目標距離過遠時,目標所占據(jù)的像素就比較少,每個像素所代表長度就比較大,這樣會造成目標提取精度對尺寸的影響巨大。
另外最大的計算誤差出現(xiàn)在每行像素對應的在攝像頭中的視角并不一樣,大廣角下誤差會較大。因此的計算與實際情況就會偏差很大。
為攝像下視野與攝像頭到目標地面點的連線之間的夾角,對這個夾角δ的計算進行了簡化,得到了公式(16),這個公式的前提假設就是在攝像機不是在大廣角的情況下,圖像中的Y軸上的任意一個像素所占的攝像頭的視角是一樣大的。但實際上并不一樣,從幾何圖形中可以看出如果成像面是球面的,這個公式就是精確的了。而一般情況下獲取目標參數(shù)的精度并不需要特別的高,所以為了簡化算法提高效率應使用公式(16)進行后面的計算。
本算法只適合于在地面上的目標,對于空中的目標就不再適用。
改進算法可以使其適用在場景中的地面在照片中只占用下部的一部分的情況,這樣該算法可以更好的用于不同的場景條件
[1] 游素亞.立體視覺研究的現(xiàn)狀與進展[J]中國圖象圖形學報,1997,(01).
[2] 趙勛杰,高稚允.光電被動測距技術[J].光學技術,2003,29(06).
[3] 黃桂平,李廣云,等.單目視覺測量技術研究[J].計量學報,2004,25(04).
[4] Xiong,Y.and Shafer,S.Depth from Focusing and Defocusing[J].Proceedings of the DARPA Image Understanding Workshop.1993:967-976.
[5] Nayar,S.K.Shape from Focus System[J].Proceedings of the IEEE Computer Society Conference on Computer vision and Pattern Recognition,Champaign,Illinois,1992:302-308.
[6] M.Subbarao,and J.K.Tyan,The Optimal Focus Measure for Passive Autofocusing and Depth-from-Focus[J].Proceedings of SPIE conference on Video metrics IY,Vol. 2598, Philadelphia,1995,2598:89-99.
[7] Pentland,A.P.A New Sense for Depth of Field[J].IEEE Trans.PAM19.1987:523-531.
[8] A.N.Rajagopalan,S.Chaudhuri.Space-Variant Approaches to Recovery of Depth from Defocused Images[J].Computer Vision and Image Understanding,1997,68(3):309-329.
TP391.41
A
1008-1151(2011)08-0001-05
2011-05-23
陳大海(1975-),男,廣西大學計算機與電子工程學院講師,研究方向為計算機視覺。