采用多視頻融合的機場場面監(jiān)視方法?

羅曉，盧宇，2，吳宏剛

（1.中國民用航空局第二研究所，成都610041；2.電子科技大學(xué)通信抗干擾國家重點實驗室，成都611731）

采用多視頻融合的機場場面監(jiān)視方法?

羅曉1，盧宇1，2，吳宏剛1

（1.中國民用航空局第二研究所，成都610041；2.電子科技大學(xué)通信抗干擾國家重點實驗室，成都611731）

以非協(xié)作式監(jiān)視技術(shù)特征為依據(jù)，采用多視頻融合處理技術(shù)，提出了一種專門針對中小型簡易機場的場面目標(biāo)監(jiān)視方法。該方法通過光流法計算運動場，依靠動態(tài)模糊聚類自適應(yīng)地分析運動場，最后依靠多視頻融合來提高檢測精度。實驗表明，本方案不僅可行，而且可以有效地抑制50%以上的測量誤差，為中小型簡易機場的場面監(jiān)視雷達(dá)提供了另外一種備份手段。

中小型機場；航空交通管制系統(tǒng)；場面監(jiān)視雷達(dá)；多視頻融合；光流；增強視頻監(jiān)視

1 引言

長期以來，雷達(dá)技術(shù)在民航空中交通信息控制（Air Traffic Control，ATC）系統(tǒng)中扮演著重要角色。根據(jù)與被探測物體的交互方式，可分為協(xié)作式雷達(dá)和非協(xié)作式雷達(dá)兩種。所謂協(xié)作，是指雷達(dá)與被探測物體之間、信號發(fā)射機和接收機之間存在信息交互，如被探測物主動廣播自身狀態(tài)信息，而雷達(dá)接收到這些信息。對于非協(xié)作式雷達(dá)，則不存在這種交互關(guān)系，因此非協(xié)作式雷達(dá)可以獨立工作。典型的非協(xié)作式類如一次雷達(dá)，具體到機場場面區(qū)域有場面監(jiān)視雷達(dá)（Surface Movement Radar，SMR）［1］。但是，場面監(jiān)視雷達(dá)十分昂貴，尤其是對航班起降架次較小的中小型機場而言，這是一筆很大的開銷。視頻技術(shù)作為一種常見和更便宜的設(shè)備，也能夠提供非協(xié)作式監(jiān)視潛力，這表現(xiàn)在4個方面：首先，視頻監(jiān)視無需在飛行器、車輛等被探測物上安裝專門的設(shè)備；其次，視頻監(jiān)視能夠輸出視頻序列，并且在分析這些序列的基礎(chǔ)上可以進一步獲取活動目標(biāo)的位置和速度信息，這一點很像場面監(jiān)視雷達(dá)；再次，由于其通用和便宜的特點，視頻攝像頭可以大量部署使其可以覆蓋到場面監(jiān)視雷達(dá)覆蓋受限的區(qū)域；最后，基于不同類型的攝像頭相互融合的方法可以提供更加豐富的信息，如紅外攝像頭可以提供夜間的目標(biāo)檢測和跟蹤。因此，視頻監(jiān)視能夠作為中小型簡易機場場面監(jiān)視雷達(dá)等非協(xié)作式監(jiān)視手段的替代方案。同時，考慮到廣播式自主相關(guān)監(jiān)視（Automatic Dependent Surveillance Broadcast，ADS-B）［2］技術(shù)的快速發(fā)展，將視頻作為非協(xié)作式監(jiān)視手段，將ADS-B作為協(xié)作式監(jiān)視手段，這兩種數(shù)據(jù)的融合甚至完全有可能為未來的中小型機場提供監(jiān)視方案［3］。在這種思路下，這就要求視頻系統(tǒng)至少能夠在場面區(qū)域內(nèi)提供像場面監(jiān)視雷達(dá)一樣的位置、速度和圖像序列信息。

本文立足視頻技術(shù)來滿足這個要求，為民航場面監(jiān)視的視頻方案建立算法基礎(chǔ)。所采用的辦法是：基于光波相對于雷達(dá)波的優(yōu)點，首先通過視頻攝像頭提供更精確和生動的圖像信息；接著依靠光流法檢測運動場；然后采用一種改進的模糊聚類算法來分析此運動場，自適應(yīng)地檢測出目標(biāo)的數(shù)量、位置和速度信息；最后依靠集中式融合來增強探測的精度和魯棒性。實驗結(jié)果表明，這種方法不僅可行，而且具有很高的探測精度。

2 位置與速度檢測

對于航班架次較少的簡易機場，要使視頻技術(shù)取代非協(xié)作式監(jiān)視中的場面監(jiān)視雷達(dá)技術(shù)的前提為視頻技術(shù)也能夠提供準(zhǔn)確的位置和速度信息。光流法可以獲得對運動目標(biāo)的位置與速度信息，對其改進能夠用來檢測簡易機場中的運動目標(biāo)。

2.1 光流法

光流法的核心思想是將圖像中的每一個像素賦予一個速度矢量，于是可以得到關(guān)于整幅圖像的運動場。如果圖像中沒有相對運動，那么所有的光流矢量應(yīng)該是平滑和一致的；但是，如果目標(biāo)和背景之間發(fā)生了相對運動，那么必將有不同的光流矢量表現(xiàn)出來，它們分屬于不同的物體和背景［4，5］。文獻(xiàn)［6］分析了主流的光流解算方法，并指出基于局部平滑假設(shè)和一階偏微分方程的解算方法能夠達(dá)到最高的精度，因此本系統(tǒng)提出基于Lucas-Kanade［7］的改進算法來實現(xiàn)對位置和速度信息的精確提取。

設(shè)t時刻像素（x，y）的灰度可定義為I（x，y，t），u（x，y）和v（x，y）分別表示光流沿著x軸和y軸的速度分量。光流方程可以由式（1）表示：

在局部區(qū)域Ω內(nèi)，光流估計誤差表示為

式中，V（i，j）為點（i，j）的速度矢量，由式（5）得到。A（i，j）=1表示該點屬于前景，否則屬于后景。

2.2 動態(tài)模糊聚類

得到檢視區(qū)域的運動場信息后，利用模糊聚類算法分析運動場以進一步提取目標(biāo)位置、速度和尺寸等信息。傳統(tǒng)的聚類算法要求事先確定分組數(shù)量。具體到本系統(tǒng)，分組數(shù)量代表場面飛機和車輛數(shù)量。然而，視場中的分組數(shù)量有時是事先未知的。如果這個數(shù)量設(shè)置得比較小，那么有些分割的目標(biāo)可能被誤認(rèn)為成一個整體；如果這個數(shù)量設(shè)置相對較大，那么一個目標(biāo)可能會被分割開來。因此，本文提出了一種動態(tài)的自適應(yīng)分割算法。

設(shè)含有M個分組的N個樣本，pj（1≤j≤N）表示樣本j的狀態(tài)，mi（1≤i≤M）表示分組i的中心，uij（1≤i≤M，1≤j≤N）為樣本j屬于分組i的歸屬度，則M個分組的代價函數(shù)JM表示為

式中，W（x）定義為一個窗口函數(shù)，限制了局部區(qū)域的范圍。設(shè)V=（u，v）T且▽I（x）=（Ix，Iy）T，式（2）的解可由式（3）給出：

通過Ω中的每一個點xi，可計算：

這樣，當(dāng)ATW2A≠0時，式（3）的解可表示為

在我們的監(jiān)視系統(tǒng)中，攝像頭的位置和視角是固定不變的，所以跑道、建筑物等背景區(qū)域也是保持靜止的，這些區(qū)域?qū)?yīng)的光流矢量為零。只有移動物體，如飛機、車輛、走動的工作人員所對應(yīng)的光流矢量表現(xiàn)出速度信息。因此，背景區(qū)域和移動物體可以被一門限值區(qū)分開來，如下：

式中，r為一常數(shù)，用以控制精度，通常大于1。分組i的中心及樣本對于該分組的歸屬度可以通過迭代過程被提煉，計算方法如式（8）和式（9）：

對于運動場中默認(rèn)有M個目標(biāo)的劃分，經(jīng)過一定數(shù)量的迭代次數(shù)后，可以得到基于M個目標(biāo)的穩(wěn)定分割。但是，由于M是事先確定的，因此這種分割不一定合理。

本文自適應(yīng)分割的核心在于動態(tài)確定類型數(shù)量?？紤]到當(dāng)對默認(rèn)為k個目標(biāo)的分割完成后，可得穩(wěn)定的Jk（uij，mi） ，于是可得代價函數(shù)序列：

總的來講，Jk隨k的增加而減小。但是，當(dāng)k比真實目標(biāo)數(shù)量小時，Jk減小速度劇烈；k比真實目標(biāo)數(shù)量大時，Jk減小速度非常平緩。據(jù)此可以提取出恰當(dāng)?shù)哪繕?biāo)數(shù)量＾M。

引入序列：

進一步引入序列：

檢測序列的峰值即可檢測出最恰當(dāng)?shù)哪繕?biāo)數(shù)量＾M：

一旦目標(biāo)數(shù)量確定，即可確定每一個目標(biāo)的尺寸、位置和速度。

目標(biāo)i定義為

其尺寸大小為

中心為

速度為

式中，V（i（pj），j（pj））表示點pj的速度矢量，由式（5）給出。

2.3 集中式并行濾波

采用多個視頻攝像頭對監(jiān)視區(qū)域進行冗余測量。這些攝像頭被安放在同一位置并具有相同的視角，因此它們具有相同的坐標(biāo)系以實現(xiàn)空間對齊；又由于視頻信號的采樣頻率通?？梢赃_(dá)到每秒幾十幀的量級，因此可以默認(rèn)為時間空間已經(jīng)對齊。

利用集中式并行濾波處理多視頻信息。對場面飛行器的運動進行建模，有：

式中，xk∈Rn為飛機狀態(tài)矢量，具體到本系統(tǒng)中為［x，˙x，x·，y，˙y，y·］T；Φk∈Rn×n為系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣，Γk∈Rn×r用于描述系統(tǒng)過程噪聲。本文使用Singer模型描述狀態(tài)轉(zhuǎn)移。

設(shè)有N個視頻攝像頭，對每一個攝像頭，有如下觀測方程：

由于存在多個攝像頭，有如下廣義測量矩陣：

其中：

利用卡爾曼濾波可以解出系統(tǒng)狀態(tài)矢量及融合誤差，其過程如式（22）～（24）：

式中，Rik+1為各視頻攝像頭分系統(tǒng)的測量誤差，P為融合后誤差的協(xié)方差。

3 實驗

為了測試本文所提算法的效果，分別采用仿真圖像序列和機場真實圖像序列進行測試。在仿真圖像序列的測試中，著重考察算法各步驟的功能及中間結(jié)果。同時，由于仿真圖像可以獲取目標(biāo)的精確位置，因此能夠?qū)λ惴ǖ木饶苓M行評估。在基于機場真實圖像序列的測試中，著重考察監(jiān)視算法的可行性及視覺效果。

在仿真序列中，視頻圖像尺寸為256×256像素。視場中存在4個運動方塊以模擬場面飛機、車輛等目標(biāo)，其中2個方塊從左向右運動，2個方塊從右向左運動，部分圖像序列如圖1所示。利用光流場解算運動矢量，結(jié)果如圖2所示。

圖1 部分仿真圖像序列Fig.1 Part of simulation sequence

圖2 光流場Fig.2 Optical flow field

圖3 代價函數(shù)下降趨勢Fig.3 Tendency of cost function

利用動態(tài)模糊聚類邏輯對光流場進行分析，得出代價函數(shù)下降趨勢并依據(jù)R序列峰值判別目標(biāo)數(shù)量，如圖3和圖4所示。

圖4 峰值選取Fig.4 Peak value selection

模擬對兩個視頻攝像頭分系統(tǒng)進行融合。攝像頭1的測量誤差為15m，攝像頭2的測量誤差為25m。由于基于仿真的圖像序列可以知道目標(biāo)的真實位置，因此可以利用RMSE（Root Mean Squared Error）作為定位誤差評判標(biāo)準(zhǔn)。

采用集中式并行濾波進行處理，效果如圖5所示。與原始誤差相比，融合后的定位誤差減小了50%～70%。

圖5 多視頻融合效果Fig.5Multi-video fusion result

使用成都雙流機場真實圖像序列進行測試，整個監(jiān)視區(qū)域如圖6所示。該序列是由3組視頻攝像頭數(shù)據(jù)拼接而成，以實現(xiàn)對場面的全景監(jiān)視。不同的組觀測區(qū)域不一樣，但組內(nèi)的攝像頭具有同一位置和視角。

圖6 場面全景的真實圖像Fig.6 Airport surveillance image

其中某一局部區(qū)域所采集序列如圖7所示，為場面運動的2架飛機。有3個攝像頭獨立地對場面目標(biāo)進行測量。

圖7 局部區(qū)域放大后效果Fig.7 Enlargement of local regions

利用本文方法對目標(biāo)進行監(jiān)測，提取出運動目標(biāo)如圖8所示。這說明，本文的監(jiān)視方法可以用于處理民航機場監(jiān)視信息。隨著硬件性能的提升，在中小型簡易機場實現(xiàn)增強視頻監(jiān)視（Enhanced VideoSurveillance，EVS）系統(tǒng)以替代場面監(jiān)視雷達(dá)的方案是可行的。

圖8 基于機場實際圖像序列的檢測結(jié)果Fig.8 Detection based on practical images

4 結(jié)束語

像傳統(tǒng)的一次雷達(dá)和場面監(jiān)視雷達(dá)一樣，視頻監(jiān)視也是一種非協(xié)作式監(jiān)視手段，它能提供位置和速度信息。但是與場面監(jiān)視雷達(dá)相比，視頻監(jiān)視設(shè)備成本要低很多。本文利用光流法計算運動場，用動態(tài)模糊聚類法分析運動場，用多視頻融合增強檢測精度，基于仿真序列和機場實際視頻序列表明這種方案可用于監(jiān)視航班架次較小的中小型簡易機場。更重要的是，視頻傳感器可作為非協(xié)作式監(jiān)視的數(shù)據(jù)源，與另一種成本較低的協(xié)作式監(jiān)視數(shù)據(jù)源（即ADS-B數(shù)據(jù)）進行融合?？紤]到未來ADS-B設(shè)備將會安裝在所有的飛行器上，因此將這兩種手段相結(jié)合作為未來中小型機場的監(jiān)視方案也是完全可能的。

［1］Besada JA，Garcia J，De Miguel G，etal.Data fusion algorithms based on radar and ADSmeasurements for ATC application［C］／／Proceedings of 2000 IEEE International Radar Conference.Alexandria，VA：IEEE，2000：98-103.

［2］Edward A Lester，John R Hansman.Benefits and Incentives for ADS-B.Equipage in the National Airspace System［D］.Massachusetts：Massachusetts Institute of Technology，2007.

［3］ICAO Doc9830 AN／452，Advanced Surface Movement Guidance and Control Systems（A-SMGCS）Manual［S］.

［4］VishalMarkandy，Anthony Reid，ShengWang.Motion Estimation for Moving Target Detection［J］.IEEE Transactions on Aerospace and Electronic Systems，1996，32（3）：866-874.

［5］McCarthy C，Barnes N.Performance of optical flow techniques for indoor navigation with a mobile robot［C］／／Proceedings of 2004 IEEE International Conference on Robotics and Automation.New Orleans，LA，USA：IEEE，2004：5093-5098.

［6］Barron JL，F(xiàn)leet D J，Beauchemin SS，et al.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12（1）：43-47.

［7］Lucas B D，Kanade T.An Iterative Image Registration Technique with An Application to Stereo Vision［C］／／Proceedings of the International Joint Conference on Artificial Intelligence. Vancouver，British Columbia：［s.n.］，1981：674-679.

Email：lxdj＠vip.sina.com

盧宇（1979—），男，2009年獲博士學(xué)位，主要研究領(lǐng)域包括數(shù)據(jù)融合、圖像處理、物聯(lián)網(wǎng)技術(shù)等；

LU Yu was born in 1979.He received the Ph.D.degree in 2009.His research interests includemulti-sensor data fusion，image processing，Internet of things，etc.

Email：onemore-luck＠163.com

吳宏剛（1977—），男，四川樂山人，博士，高級工程師，主要研究方向為信號處理、數(shù)字通信技術(shù)、空中交通管理、計算機仿真等。

WU Hong-gang was born in Leshan，Sichuan Province，in 1977.He is now a senior engineerwith the Ph.D.degree.His research interests include signal processing，digital communication，air trafficmanagement，computer simulation，etc.

Email：whg028＠sohu.com

A Novel Airport Surface Surveillance Method Using Multi-video Fusion

LUO Xiao1，LU Yu1，2，WU Hong-gang1
（1.The Second Research Institute of Civil Aviation Administration of China，Chengdu 610041，China；2.National Communication Laboratory，University of Electronic Science and Technology of China，Chengdu 611731，China）

According to the features of non-cooperative surveillance in simple airports，an enhanced airport surface surveillance based onmulti-video fusion is proposed.This solution takes optical flowmethod to compute the motion field，uses the improved dynamic fuzzy clustering to analyse the field，and finally improves the precision bymulti-video fusion.Experiment results show the solution is not only feasible but also suppresses over 50% measuremental error，so it offers an alternative choice for SMR（Surface Movement Radar）.

small and medium airport；air traffic control（ATC）system；surfacemovement radar；multi-video fusion；optical flow；enhanced video surveillance

was born in Chongqing，in 1970.He

the M.S.degree in 1995.He is now a senior engineer.His research interests include airport information integration，computer simulation and database technology，etc.

The National Natural Science Foundation of China（No.61079006，60736045）；The National High-tech R＆D Program of China（863 Program）（2009AA12Z329）

TP391

A

10.3969／j.issn.1001-893x.2011.07.026

羅曉（1970—），男，重慶人，1995年獲碩士學(xué)位，現(xiàn)為中國民航局第二研究所高級工程師，主要研究領(lǐng)域為機場信息集成技術(shù)、計算機仿真、數(shù)據(jù)庫技術(shù)等；

1001-893X（2011）07-0128-05

2011-03-21；

2011-05-03

國家自然科學(xué)基金資助項目（61079006，60736045）；國家高技術(shù)研究發(fā)展計劃（863計劃）項目（2009AA12Z329）