航空圖像光流場的逆向金字塔計算方法

李佳田，李顯凱，李應(yīng)蕓，錢堂慧，李果家，林　艷

1. 昆明理工大學國土資源工程學院，云南 昆明 650093； 2. 中國人民公安大學警務(wù)信息工程學院，北京 100038

?

航空圖像光流場的逆向金字塔計算方法

李佳田1，李顯凱1，李應(yīng)蕓1，錢堂慧1，李果家1，林艷2

1. 昆明理工大學國土資源工程學院，云南 昆明 650093； 2. 中國人民公安大學警務(wù)信息工程學院，北京 100038

航空圖像光流場是低空運動目標檢測與變化信息獲取的基礎(chǔ)，通常將圖像金字塔結(jié)構(gòu)引入數(shù)值過程以增強全局收斂性。然而，金字塔結(jié)構(gòu)往往是由底層至頂層的遞進方式構(gòu)建，其忽略圖像的幾何成像過程，造成微小光流或不能得到光流的問題，導致難以支撐后續(xù)建模與分析。本文提出了一種以頂層圖像為基準的逆向金字塔結(jié)構(gòu)，首先依據(jù)中心投影定量地計算出頂層圖像的降采樣因子，使得頂層圖像光流能夠反映所設(shè)定的地面目標位移閾值；其次，結(jié)合頂層與原始圖像，以等比方式確定中間層降采樣因子；最后，利用高斯平滑與圖像插值得到中間層圖像，并形成金字塔。對比試驗與分析表明，逆向金字塔可準確地計算航空圖像光流場，在抑制地面微小位移方面具有優(yōu)勢。

航空圖像；光流場；逆向金字塔；中心投影；降采樣

光流場(optical flow field)是空間運動目標速度場在二維圖像平面的投影[1]。由于光流場能夠反映出圖像的變化，為觀察者提供目標的運動信息和幾何結(jié)構(gòu)信息，所以其在攝影測量與遙感領(lǐng)域得到越來越多的關(guān)注。文獻[2—3]利用光流場進行圖像變化檢測分析；文獻[4—5]提出用光流向量與圖像特征相結(jié)合的低空視頻運動車輛檢測方法；文獻[6]利用光流的運動信息描述地物變化，設(shè)計高分辨率遙感影像土地利用與土地覆蓋變化的信息自動獲取方法；文獻[7]則根據(jù)光流運動向量能夠反映出影像間不同物體的變化，實現(xiàn)車載影像序列的全景匹配。

為尋求全局最優(yōu)解及提高算法效率，目前多是將金字塔結(jié)構(gòu)嵌入光流的數(shù)值計算過程，其核心在于通過降采樣構(gòu)造出圖像的多個比例尺空間，然后由小比例尺到大比例尺以傳遞的方式計算光流場[8-11]。當光流場算法用于近景場景時，可以回避圖像的幾何成像過程，通常是以原始圖像為基礎(chǔ)的等比降采樣方式來構(gòu)建圖像金字塔。然而，航空圖像是在距離地物較遠處獲得，直接采用等比圖像金字塔缺少降采樣的理論依據(jù)，即地面目標位移量與光流向量之間的定量關(guān)系，進而會導致地面目標移動不能有效地在光流場中反映的問題。以中心投影成像模型為基礎(chǔ)，本文通過建立成像大小與航高之間的關(guān)系來描述降采樣比例因子，提出適用于航空圖像的逆向金字塔結(jié)構(gòu)，使得光流場能夠定量地反映地面目標運動變化。

1　逆向金字塔

1.1降采樣因子的中心投影描述

航空相片是地面經(jīng)過中心投影后在承影面的構(gòu)象，即通過曝光瞬間將收集到的地物反射光線直接在感光膠片上感光，得到與地面地物亮度一致的正像相片的過程。如圖1(a)所示，f為焦距，H為航高，S是投影中心，地面上的線段aobo經(jīng)過中心投影后的構(gòu)象是線段aibi。根據(jù)中心投影模型，則物方、像方具有如下的成像關(guān)系

aibi/aobo=f/H

(1)

aobo>H/f

(2)

式(2)說明在焦距為f、航高為H的情況之下，理論上像方所能分辨的物方最小位移大小為H/f。更進一步，由式(2)可知，地面目標的位移量在航向或側(cè)向方向的投影值大于H/f時，其在圖像上才能有大于1個像素的反映，即可得到光流向量。

通常，將光流應(yīng)用于某類地物目標，因此，物方位移植在一定范圍之內(nèi)，需要確定光流向量所能區(qū)分的位移下限。與此同時，要求所對應(yīng)的像方位移不能過小。當像方位移過小時，一是光流計算模型會快速收斂，并認為沒有變化發(fā)生，二是環(huán)境光變化會與像方微小位移相互混淆，得到的光流向量不便于觀察與分析。為此，在原始圖像中由物方單位位移do與式(1)可得所對應(yīng)的像方單位位移值di如下

di=fdo/H

(3)

設(shè)物方最小可分辨位移為λ，則有物方位移比為

λ/do=λf/diH=c0

(4)

αc0=αλf/(diH)=λf/(diHα-1)

(5)

如圖1(a)所示，式(5)的物理意義是，相對于原始圖像，當圖像的物方位移比為αc0時，相當于焦距減小為αf，或者航高H增大為H/α，即圖像成像的分辨率大小為原始圖像的α2倍，如果置原始圖像為金字塔底層，則頂層圖像的邊長應(yīng)降采樣為原始圖像邊長的α倍。

需要金字塔中各層圖像均能夠識別出物方最小可分辨位移λ，即可用式(6)來確定α

αλ/do>1或αλf/(diH)>1

(6)

即α>1/c0。α越大，降采樣圖像越接近于原始圖像；α越小，則降采樣圖像的分辨率越小即尺寸越小。取α的下界1/c0以建立金字塔頂層圖像，則其最小降采樣分辨率因子γmin為

γmin=1/c0+ε

(7)

式中，ε為小的正數(shù)，即可用γmin得到圖像金字塔中具有最小分辨率的頂層圖像，并且地面上大于λ的位移所構(gòu)成的光流可由頂層圖像計算得出。

圖1　結(jié)合中心投影描述的逆向金字塔構(gòu)建Fig.1　Construction of backward pyramid using central projection

1.2逆向金字塔構(gòu)建

根據(jù)γmin得到金字塔頂層圖像大小后，即可依據(jù)等比方式計算金字塔中間層圖像的降采樣因子γ，以w表示原始圖像的寬度，則有如下關(guān)系

wγn=wγmin

(8)

式中，n為中間層圖像數(shù)量，如果置原始相片為金字塔的底層，則n+1表示金字塔的層數(shù)。以3層金字塔為例，則n為2，即有

(9)

確定采樣因子后即可建立金字塔，金字塔構(gòu)建主要包括高斯濾波和降采樣。首先采用高斯濾波作用于原始圖像以消除噪聲，降低異質(zhì)點影響，然后通過降采樣為金字塔的每一層獲取圖像數(shù)據(jù)。

高斯濾波屬于線性平滑濾波，常被用于圖像去噪，其實質(zhì)是對圖像進行加權(quán)平均的過程[14-15]。定義濾波器gfilter，根據(jù)正態(tài)分布與3σ原則可知，位于當前像素點3σ個像素外的像素點不會對當前像素點產(chǎn)生影響[16]，則設(shè)置濾波器寬度k=3σ×2+1

(10)

式中，i表示濾波器中像素的位置；di表示其對應(yīng)像素點與當前像素點的距離；為避免圖像過度平滑，σ通常設(shè)置為1。高斯濾波有兩種作用方式，一是采用濾波模板與圖像作卷積，另一種是通過傅里葉變換實現(xiàn)。σ為1時，模板大小為7×7，根據(jù)高斯函數(shù)的可分離性，可采用兩個方向的分離濾波器進行疊加，即把二維窗口卷積分離為兩次一維卷積運算。

在降采樣過程中，亞像素(subpixel)值的求取可通過圖像插值進行，常用的圖像插值方式有雙線性插值[17]和雙三次插值[18]。以p表示當前像素點的像素值，p1、p2、p3、p4表示當前像素點的四鄰域像素點(方位順序為左上、左下、右上、右下)的像素值，x、y表示當前像素點的坐標，[·]表示取整數(shù)，則有

(11)

雙線性插值計算公式如下p(dx，dy)=(1-dx)(1-dy)p1+(1-dx)dyp2+

(1-dy)dxp3+dxdyp4

(12)

雙三次插值采樣需要提供其相鄰的16個像素點的像素值，其獲得的圖像具有相對更好的平滑性，其插值公式為

(13)

式中，aij是插值系數(shù)，可以通過對式(13)求偏導數(shù)之后代入相鄰像素點的像素值解出。

逆向高斯金字塔構(gòu)建過程為：首先依據(jù)式(4)與式(7)確定金字塔頂層圖像的降采樣因子γmin，并根據(jù)γmin完成金字塔頂層圖像的采樣；然后用式(8)由γmin計算中間層等比降采樣因子γ；當γ的值確定后以原始圖像為基礎(chǔ)，分別以γ1、γ2、…、γn-1為降采樣因子完成中間層圖像的采樣。在采樣之前需要先對原始圖像進行高斯濾波，然后通過圖像插值即可獲取降采樣圖像中每一像素點的像素值。

2　試驗與分析

2.1光流場計算過程

航空圖像光流場的實質(zhì)是計算圖像間同名像素點的偏移向量。首先建立兩幀圖像的逆向金字塔，形式化為式(14)

BP={Ii，i=0，1，…，n}

(14)

式中，Ii為逆向金字塔中的第i層，I0為底層，即原始圖像，而In為頂層。

將逆向金字塔嵌入HS(Horn-Schunck)光流場算法[8，18]，描述如下：

輸入：圖像I1、圖像I2，物方最小可分辨位移值λ。

輸出：光流向量。

(1) 根據(jù)λ分別構(gòu)建I1與I2的逆向金字塔BP1與BP2。

(2) 假設(shè)各像素點均未發(fā)生位移，設(shè)頂層圖像中各像素點的光流向量初始值為0，即水平、垂直分量為0，u=0，v=0。

(3) 計算金字塔第i層的光流向量，每個像素點光流分量的求解通過雅克比迭代法得到，公式如下

(15)

式中，k表示迭代次數(shù)；β為平滑系數(shù)。

(d) 由式(15)計算每個像素點的光流向量。

(e) 判斷是否滿足迭代收斂條件，如滿足轉(zhuǎn)至步驟(4)，否則，重復(c)—(e)。

(4) 光流的由頂層至底層傳遞計算。

(a) 將步驟(3)中解出的ui、vi按金字塔采樣因子進行層間擴大，計算如下式

(16)

(b)i=i-1，判斷i層圖像和原始圖像的關(guān)系，當i>0時，以u、v作為第i層光流初值，重復步驟(3)—(4)；當i=0時，以u、v作為第i層光流初值，重復步驟(3)。

(5) 輸出像素點光流向量。

(6) 算法結(jié)束。

2.2逆向金字塔作用分析

試驗地點為云南省曲靖市羅平縣，試驗區(qū)域面積為2 km2。航拍相機為PHASE-ONE IXU-R 1000，鏡頭焦距為50 mm，相對航高1087 m，圖像大小為11 608×8708像素，地面分辨率為0.1 m/像素。采用連續(xù)曝光方式獲取多張圖像，曝光時間間隔為2 s。經(jīng)過內(nèi)業(yè)處理后得到正攝圖像，選取前后時刻相同的圖像區(qū)域進行光流場計算。分別采用逆向金字塔與正向金字塔，對地面目標大位移、地面目標小位移兩種情況的光流場計算進行對比分析如下。

2.2.1地面目標大位移對比試驗

圖2　地面目標大位移光流計算對比Fig.2　Comparison of optical flow computation for ground target with large displacement

2.2.2地面目標小位移對比試驗

圖3　地面目標小位移光流計算對比Fig.3　Comparison of optical flow computation for ground target with small displacement

需要說明的是，分別用雙線性插值與雙三次插值進行圖像降采樣，在本文試驗中并未表現(xiàn)出明顯差異，從計算效率上考慮，采用雙線性插值為宜。

3　結(jié)　論

用航空圖像計算光流場時，首先需要解決的問題是降采樣因子的確定，然而，目前仍然缺少定量依據(jù)。本文的創(chuàng)新之處是，以中心投影幾何成像過程為基礎(chǔ)定量地得到降采樣因子，提出了一種逆向金字塔結(jié)構(gòu)，對比試驗結(jié)果表明，其在精確性與魯棒性方面具有優(yōu)勢。此外，逆向金字塔建立過程簡單，已知條件為航空圖像地面分辨率。

[1]宋爽, 楊健, 王涌天. 全局光流場估計技術(shù)及展望[J]. 計算機輔助設(shè)計與圖形學學報, 2014, 26(5): 841-850. SONG Shuang, YANG Jian, WANG Yongtian. Technology and Prospect of Global Optical Flow[J]. Journal of Computer-aided Design & Computer Graphics, 2014, 26(5): 841-850.

[2]李秀智, 賈松敏, 尹曉琳, 等. 視覺光流矢量場估計算法綜述[J]. 北京工業(yè)大學學報, 2013, 39(11): 1638-1643.

LI Xiuzhi, JIA Songmin, YIN Xiaolin, et al. Review on Optical Flow Vector Fields Estimation Algorithm[J]. Journal of Beijing University of Technology, 2013, 39(11): 1638-1643.

[3]涂志剛, 謝偉, 熊淑芬, 等. 一種高精度的TV-L1光流算法[J]. 武漢大學學報(信息科學版), 2012, 37(4): 496-499.

TU Zhigang, XIE Wei, XIONG Shufen, et al. An Efficient TV-L1Optical Flow Method[J]. Geomatics and Information Science of Wuhan University, 2012, 37(4): 496-499.

[4]劉慧, 李清泉, 高春仙, 等. 利用C_SURF配準的空基視頻運動目標檢測[J]. 武漢大學學報(信息科學版), 2014, 39(8): 951-955.

LIU Hui, LI Qingquan, GAO Chunxian, et al. Moving Target Detection Using C_SURF Registration[J]. Geomatics and Information Science of Wuhan University, 2014, 39(8): 951-955.

[5]劉慧, 李清泉, 曾喆, 等. 利用低空視頻檢測道路車輛[J]. 武漢大學學報(信息科學版), 2011, 36(3): 316-320. LIU Hui, LI Qingquan, ZENG Zhe, et al. Vehicle Detection in Low-altitude Aircraft Video[J]. Geomatics and Information Science of Wuhan University, 2011, 36(3): 316-320.

[6]閆利, 鞏翼龍, 張毅, 等. 光流動態(tài)紋理在土地利用/覆蓋變化檢測研究中的應(yīng)用[J]. 光譜學與光譜分析, 2014, 34(11): 3056-3061.

YAN Li, GONG Yilong, ZHANG Yi, et al. Application of Optical Flow Dynamic Texture in Land Use/Cover Change Detection[J]. Spectroscopy and Spectral Analysis, 2014, 34(11): 3056-3061.

[7]張正鵬, 江萬壽, 張靖. 光流特征聚類的車載全景序列影像匹配方法[J]. 測繪學報, 2014, 43(12): 1266-1273. DOI: 10.13485/j.cnki.11-2089.2014.0172.

ZHANG Zhengpeng, JIANG Wanshou, ZHANG Jing. An Image Match Method Based on Optical Flow Feature Clustering for Vehicle-borne Panoramic Image Sequence[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1266-1273. DOI: 10.13485/j.cnki.11-2089.2014.0172.

[8]ALVAREZ L, WEICKERT J, SNCHEZ J. Reliable Estimation of Dense Optical Flow Fields with Large Displacements[J]. International Journal of Computer Vision, 2000, 39(1): 41-56.

[9]BRUHN A, WEICKERT J, SCHN?RR C. Lucas/Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods[J]. International Journal of Computer Vision, 2005, 61(3): 211-231.

[10]李秀智, 尹曉琳, 賈松敏, 等. 改進的TV-L1平滑光流估計[J]. 光學學報, 2013, 33(10): 1015002.

LI Xiuzhi, YIN Xiaolin, JIA Songmin, et al. Improved TV-L1Algorithm for Smooth Optical Flow[J]. Acta Optica Sinica, 2013, 33(10): 1015002.

[11]陳震, 張聰炫, 晏文敬, 等. 基于圖像局部結(jié)構(gòu)的區(qū)域匹配變分光流算法[J]. 電子學報, 2015, 43(11): 2200-2209.

CHEN Zhen, ZHANG Congxuan, YAN Wenjing, et al. Region Matching Variational Optical Flow Algorithm Based on Image Local Structure[J]. Acta Electronica Sinica, 2015, 43(11): 2200-2209.

[12]張聰炫, 陳震, 黎明. 金字塔光流三維運動估計與深度重建直接方法[J]. 儀器儀表學報, 2015, 36(5): 1093-1105. ZHANG Congxuan, CHEN Zhen, LI Ming. Direct Method for 3D Motion Estimation and Depth Reconstruction Based on Pyramid Optical Flow[J]. Chinese Journal of Scientific Instrument, 2015, 36(5): 1093-1105.

[13]胡正華, 孟令奎, 張文. 面向關(guān)系數(shù)據(jù)庫擴展的自適應(yīng)影像金字塔模型[J]. 測繪學報, 2015, 44(6): 678-685. DOI: 10.11947/j.AGCS.2015.20140279.

HU Zhenghua, MENG Lingkui, ZHANG Wen. Relational Database Extension Oriented, Self-adaptive Imagery Pyramid Model[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(6): 678-685. DOI: 10.11947/j.AGCS.2015.20140279.

[14]謝劍斌, 王暉, 程江華, 等. 基于HS約束與輪廓條件的光流場計算[J]. 系統(tǒng)工程與電子技術(shù), 2009, 31(4): 761-763. XIE Jianbin, WANG Hui, CHENG Jianghua, et al. Optical Flow Computation Method Based on HS Constraint and Outline Condition[J]. Systems Engineering and Electronics, 2009, 31(4): 761-763.

[15]高銀, 云利軍, 石俊生, 等. 基于各向異性高斯濾波的暗原色理論霧天彩色圖像增強算法[J]. 計算機輔助設(shè)計與圖形學學報, 2015, 27(9): 1701-1706.GAO Yin, YUN Lijun, SHI Junsheng, et al. Enhancement Dark Channel Algorithm of Color Fog Image Based on the Anisotropic Gaussian Filtering[J]. Journal of Computer-aided Design & Computer Graphics, 2015, 27(9): 1701-1706.

[16]肖進勝, 杜康華, 涂超平, 等. 基于多聚焦圖像深度信息提取的背景虛化顯示[J]. 自動化學報, 2015, 41(2): 304-311.

XIAO Jinsheng, DU Kanghua, TU Chaoping, et al. Bokeh Display Based on Depth Information Extraction of Multi-focus Images[J]. Acta Automatica Sinica, 2015, 41(2): 304-311.

[17]王昊京, 王建立, 王鳴浩, 等. 采用雙線性插值收縮的圖像修復方法[J]. 光學 精密工程, 2010, 18(5): 1234-1241.

WANG Haojing, WANG Jianli, WANG Minghao, et al. Efficient Image Inpainting Based on Bilinear Interpolation Downscaling[J]. Optics and Precision Engineering, 2010, 18(5): 1234-1241.

[18]龐志勇, 譚洪舟, 陳弟虎. 一種改進的低成本自適應(yīng)雙三次插值算法及VLSI實現(xiàn)[J]. 自動化學報, 2013, 39(4): 407-417. PANG Zhiyong, TAN Hongzhou, CHEN Dihu. An Improved Low-cost Adaptive Bicubic Interpolation Arithmetic and VLSI Implementation[J]. Acta Automatica Sinica, 2013, 39(4): 407-417.

[19]BAKER S, SCHARSTEIN D, LEWIS J P, et al. A Database and Evaluation Methodology for Optical Flow[J]. International Journal of Computer Vision, 2011, 92(1): 1-31.

[20]SEVILLA-LARA L, SUN Deqing, LEARNED-MILLER E G, et al. Optical Flow Estimation with Channel Constancy[C]∥Proceedings of the 13th European Conference on Computer Vision. Switzerland: Springer, 2014: 423-438.

(責任編輯：叢樹平)

A Backward Pyramid Oriented Optical Flow Field Computing Method for Aerial Image

LI Jiatian1，LI Xiankai1，LI Yingyun1，QIAN Tanghui1，LI Guojia1，LIN Yan2

1. Faculty of Land Resource Engineering，Kunming University of Science and Technology，Kunming 650093, China； 2. Policing Information Technology College，People’s Public Security University of China，Beijing 100038, China

Aerial image optical flow field is the foundation for detecting moving objects at low altitude and obtaining change information. In general，the image pyramid structure is embedded in numerical procedure in order to enhance the convergence globally. However，more often than not，the pyramid structure is constructed using a bottom-up approach progressively，ignoring the geometry imaging process.In particular，when the ground objects moving it will lead to miss optical flow or the optical flow too small that could hardly sustain the subsequent modeling and analyzing issues. So a backward pyramid structure is proposed on the foundation of top-level standard image. Firstly，down sampled factors of top-level image are calculated quantitatively through central projection，which making the optical flow in top-level image represent the shifting threshold of the set ground target. Secondly，combining top-level image with its original，the down sampled factors in middle layer are confirmed in a constant proportion way. Finally，the image of middle layer is achieved by Gaussian smoothing and image interpolation，and meanwhile the pyramid is formed. The comparative experiments and analysis illustrate that the backward pyramid can calculate the optic flow field in aerial image accurately，and it has advantages in restraining small ground displacement.

aerial image；optical flow field；backward pyramid；central projection；down sample

The National Natural Science Foundation of China (Nos. 41561082；41161061)

LI Jiatian(1975—)，male，PhD，associate professor，majors in numerical optimization and scene understanding for robot.

LI Xiankai

李佳田，李顯凱，李應(yīng)蕓，等.航空圖像光流場的逆向金字塔計算方法[J].測繪學報，2016,45(9)：1059-1064.

10.11947/j.AGCS.2016.20150367.

LI Jiatian，LI Xiankai，LI Yingyun，et al.A Backward Pyramid Oriented Optical Flow Field Computing Method for Aerial Image[J]. Acta Geodaetica et Cartographica Sinica,2016,45(9):1059-1064. DOI:10.11947/j.AGCS.2016.20150367.

P237

A

1001-1595(2016)09-1059-06

國家自然科學基金(41561082；41161061)

2015-07-13

李佳田(1975—)，男，博士，副教授，研究方向為數(shù)值最優(yōu)化方法與機器場景理解。

E-mail： ljtwcx@163.com

李顯凱

E-mail： 1132468376@qq.com

修回日期： 2016-06-14