視覺輔助的無人機自主空中加油建模與仿真

王旭峰, 董新民, 孔星煒, 王龍, 程建鋒

(1.空軍工程大學(xué) 航空航天工程學(xué)院, 陜西 西安 710038; 2.中國人民解放軍 94638部隊, 江西 南昌 330201)

視覺輔助的無人機自主空中加油建模與仿真

王旭峰1, 董新民1, 孔星煒1, 王龍2, 程建鋒1

(1.空軍工程大學(xué) 航空航天工程學(xué)院, 陜西 西安 710038; 2.中國人民解放軍 94638部隊, 江西 南昌 330201)

為準(zhǔn)確獲得插頭錐套式空中加油過程中無人機與錐套的相對位姿信息,提出了機器視覺輔助的插頭錐套式無人機自主空中加油仿真方案,開發(fā)了基于Open CV,Simulink及Vega Prime視景仿真技術(shù)的閉環(huán)仿真系統(tǒng)。研究了機器視覺識別跟蹤錐套的圖像處理算法,利用Kalman濾波算法估計無人機與錐套的相對位姿。仿真結(jié)果表明,機器視覺算法可以準(zhǔn)確識別跟蹤錐套,濾波器狀態(tài)估計的收斂速度較快,無人機姿態(tài)角變化范圍較小,保證了插頭錐套式無人機自主空中加油的平穩(wěn)安全對接。

自主空中加油; 機器視覺; 錐套識別; 相對位姿; 虛擬仿真

0 引言

自主空中加油技術(shù)可以極大地拓展無人機的作戰(zhàn)范圍和效能,近年來已受到研究人員的廣泛關(guān)注[1]。對于插頭錐套式無人機自主空中加油(Probe-Drogue Unmanned Aerial Vehicle Autonomous Aerial Refueling, PD-UAV-AAR)來說,加油軟管和錐套由于受到加油機尾流和大氣擾動等因素的影響,即使加油機作平直勻速飛行,錐套的實際位置也將不斷變化。因此,要及時準(zhǔn)確地感知錐套的位置,并成功進(jìn)行插頭與錐套的對接,對UAV來說是一項極具挑戰(zhàn)性的任務(wù)[2]。文獻(xiàn)[3]采用基于參考觀測器的軌跡跟蹤控制方法,實現(xiàn)空中加油過程中受油插頭和加油錐套的精確對接。文獻(xiàn)[4]提出了一種PD-UAV-AAR的控制方案和策略,實現(xiàn)了UAV-AAR的精確對接,但以上研究結(jié)果均未考慮無人機機器視覺圖像處理算法的有效性,即無人機機器視覺識別跟蹤加油錐套的性能。文獻(xiàn)[5]針對PD-UAV-AAR過程中的近距導(dǎo)航問題,提出了一種基于雙目視覺的近距導(dǎo)航方法,但研究結(jié)果未說明受油機所采用的軌跡跟蹤控制方法。文獻(xiàn)[6]研究了大氣紊流對空中加油軟管錐套的影響規(guī)律,但未對PD-UAV-AAR問題進(jìn)行系統(tǒng)的建模與仿真。

為此,本文針對PD-UAV-AAR問題,提出了機器視覺輔助的PD-UAV-AAR仿真方案,開發(fā)了基于Open CV,Simulink及Vega Prime視景仿真技術(shù)的閉環(huán)PD-UAV-AAR仿真驗證平臺。利用機器視覺準(zhǔn)確識別跟蹤錐套并實時解算其位置,結(jié)合Kalman濾波算法解算無人機與錐套的相對位姿,并對機器視覺輔助的PD-UAV-AAR方案進(jìn)行了仿真驗證。

1 PD-UAV-AAR仿真方案

在沒有駕駛員參與的情況下,PD-UAV-AAR的關(guān)鍵在于近距對接階段UAV識別跟蹤錐套的性能,以及該過程中UAV與錐套相對位姿的測量。本文采用機器視覺作為錐套識別跟蹤與相對位姿測量裝置,通過攝像機實時獲取錐套的圖像,利用機器視覺圖像處理算法識別跟蹤錐套,結(jié)合 Kalman濾波位姿估計算法獲取UAV與錐套的相對位姿等信息。PD-UAV-AAR閉環(huán)仿真系統(tǒng)總體框圖如圖1所示。

圖1 PD-UAV-AAR仿真系統(tǒng)總體框圖Fig.1 Diagram of PD-UAV-AAR simulation system

2 PD-UAV-AAR建模

2.1 加油機尾流分析

UAV-AAR過程中,加油機翼尖產(chǎn)生一對尾渦并向后發(fā)展形成加油機尾流,尾流分為上洗、下洗、滾轉(zhuǎn)三個區(qū)域,如圖2所示?？罩屑佑瓦^程中,加油機尾流會對受油機的穩(wěn)定性產(chǎn)生不利影響[7],是必須考慮的重要擾動因素。

采用等效氣動效應(yīng)法[8]建立加油機尾流模型,將加油機尾流等效為直接作用于UAV質(zhì)心的沿機體軸的下洗風(fēng)和繞機體軸的梯度風(fēng),通過加權(quán)方法和逐點積分方法計算出加油機尾流的等效風(fēng)速度和等效風(fēng)梯度。

圖2 加油機尾流分布Fig.2 Distribution of tanker’s wake

2.2 機器視覺識別跟蹤加油錐套

PD-UAV-AAR順利實施的關(guān)鍵在于會合對接過程中UAV識別跟蹤錐套的性能。為了正確識別跟蹤加油錐套,必須選擇恰當(dāng)?shù)募佑湾F套的特征。

2.2.1 加油錐套特征

按照“簡約性”、“可分性”、“可靠性”原則[9],選取加油錐套端面“環(huán)帶”[10]作為加油錐套的特征區(qū)域,如圖3所示,并在“環(huán)帶”區(qū)域加裝紅色標(biāo)識,以增強背景圖像與該特征區(qū)域的對比度,從而提高特征提取的精度。

圖3 加油錐套特征Fig.3 Feature of the refueling drogue

2.2.2 加油錐套識別跟蹤

步驟1:加油錐套的“色彩”特征檢測與識別。由于HSV(Hue,Saturation,Value)色彩空間可以消除圖像色彩信息中強度分量的影響,并且考慮到該色彩空間模型符合機器視覺的特性以及對色彩的感知判斷,是開發(fā)基于色彩描述的圖像處理方法的理想工具。因此,選取HSV色彩空間,將攝像機拍攝的加油錐套的彩色圖由RGB色彩空間轉(zhuǎn)換為HSV色彩空間,如下式所示。然后通過濾波和二值化等圖像處理手段,即可得到錐套的“色彩”檢測識別結(jié)果。

V=max(R,G,B)

H=H+360 (H<0)

步驟2:加油錐套的“環(huán)帶”識別。由于“色彩”識別結(jié)果的圖像中包含檢測噪聲,加油機尾流的影響也會導(dǎo)致加油錐套的不規(guī)律運動,為了更加準(zhǔn)確地檢測識別加油錐套,進(jìn)而有效跟蹤加油錐套,需要對“色彩”識別的圖像進(jìn)行加油錐套的“環(huán)帶”特征識別。加油錐套“環(huán)帶”特征識別思路如下:

(1)“環(huán)帶”內(nèi)、外環(huán)中心距。對得到的色彩識別結(jié)果中的區(qū)域進(jìn)行邊緣擬合得到的內(nèi)、外環(huán)中心距小于某一設(shè)定閾值時,則認(rèn)為該區(qū)域為錐套端面環(huán)帶;反之,則認(rèn)為不是。設(shè)置“環(huán)帶”內(nèi)、外環(huán)中心距閾值為20像素,以提高跟蹤識別實時性。

(2)“環(huán)帶”內(nèi)、外環(huán)長軸比。對 “環(huán)帶”區(qū)域進(jìn)行邊緣擬合得到的內(nèi)、外環(huán)長軸比在某一閾值范圍之內(nèi)時,即可認(rèn)為該區(qū)域為環(huán)帶區(qū)域;反之,則認(rèn)為不是。實驗發(fā)現(xiàn),當(dāng)“環(huán)帶”內(nèi)、外環(huán)長軸比閾值范圍設(shè)置為0.6～0.8時,可有效識別跟蹤加油錐套。

步驟3:對檢測得到的“環(huán)帶”標(biāo)識區(qū)域進(jìn)行最小二乘橢圓擬合,即可得到錐套端面的中心坐標(biāo)。

平面任意位置橢圓方程表達(dá)為:

[(x-x0)cosθ+(y-y0)sinθ]2/a2+

[(y-y0)cosθ-(x-x0)sinθ]2/b2=1

(1)

式中,(x0,y0)為橢圓的中心坐標(biāo);a為長軸半徑;b為短軸半徑;θ為長軸與x軸的夾角。令

(2)

(3)

(4)

(5)

E=

(6)

則橢圓的方程可改寫為:

x2+Axy+By2+Cx+Dy+E=0

(7)

根據(jù)最小二乘原理,應(yīng)通過求目標(biāo)函數(shù)

(8)

來確定參數(shù)A,B,C,D和E。其中，k=1,2,…,n；n≥5。

由極值原理知,欲使F值最小,必有

(9)

由式(9)解得A,B,C,D和E的值后，便可得到橢圓中心坐標(biāo)為:

(10)

通過以上3個步驟——色彩識別、環(huán)帶識別和錐套端面中心點坐標(biāo)跟蹤,即可實現(xiàn)UAV機器視覺對加油錐套的檢測識別與跟蹤。

2.3 濾波估計算法

加油狀態(tài)下各坐標(biāo)系定義如圖4所示。圖中，OTxTyTzT為加油機體軸系,Orxryrzr為UAV體軸系,O′x′y′z′為錐套坐標(biāo)系,Ocxcyczc為攝像機坐標(biāo)系,(Xpd,Ypd,Zpd)為受油插頭與加油錐套的相對位置。

圖4 PD-UAV-AAR坐標(biāo)系示意圖Fig.4 Reference frames of PD-UAV-AAR

對加油錐套識別跟蹤之后, 假設(shè)加油錐套相對于攝像機的位置為(xc,yc,zc),則可通過坐標(biāo)轉(zhuǎn)換和平移運算得到受油插頭與加油錐套的相對位置rpd=[Xpd,Ypd,Zpd]T。

為了保證空中加油過程的順利進(jìn)行,需要知道UAV受油插頭與錐套的相對運動狀態(tài)。為此,設(shè)計了Kalman濾波器。

濾波器有兩方面的功能:一是給出兩者相對運動的估計值;二是消除測量噪聲。在空中加油過程中,UAV與錐套的接近速度和加速度保持在較小范圍之內(nèi),因此用噪聲代替兩者的相對加速度。則連續(xù)狀態(tài)下的Kalman濾波方程為:

(11)

式中,I為3×3單位對角陣;W(t)為模型誤差。

Xk+1=ΦXk+GWk

(12)

系統(tǒng)噪聲方差陣為:

(13)

量測方程為:

(14)

量測噪聲協(xié)方差陣為:

(15)

至此,可用Kalman濾波算法估計受油插頭與加油錐套的相對運動狀態(tài)。下面給出離散Kalman濾波狀態(tài)估計的兩個過程[11]。

(1)時間更新

(16)

(2)量測更新

(17)

3 實驗與分析

為了驗證PD-UAV-AAR系統(tǒng)仿真方案和機器視覺圖像處理算法的有效性,本文基于Open CV, Simulink和Vega Prime視景仿真技術(shù)開發(fā)了閉環(huán)PD-UAV-AAR仿真驗證平臺。

3.1 初始條件

假設(shè)PD-UAV-AAR過程中,加油機保持直線平飛狀態(tài),航向為0°,速度為152.8 m/s,高度為7 000 m。UAV在加油機后方以相同航向作水平飛行,UAV與加油錐套的初始相對位置偏差為[80,20,-30] m,并據(jù)此設(shè)定無人機運動的參考軌跡,采用文獻(xiàn)[12]的方法設(shè)計控制器。攝像機的焦距為25 mm,像素大小為6.98×10-5m,輸出圖像尺寸為320×400像素,采樣頻率為10幀/s。

圖5為在初始相對位置偏差的狀態(tài)下,無人機受油插頭與加油錐套端面中心點的相對軌跡曲線。由圖可知,UAV在AAR過程中保持了良好的跟蹤性能,受油插頭可快速跟蹤加油錐套,收斂速度較快。

圖5 插頭-錐套相對軌跡曲線Fig.5 Relative trajectory of the probe-drogue

3.2 機器視覺性能

本文提出的加油錐套識別與跟蹤方法在Open CV中編程實現(xiàn)。圖6為利用機器視覺圖像處理算法識別跟蹤加油錐套的過程效果圖。由圖可知,采用本文提出的錐套識別與跟蹤方法可以準(zhǔn)確獲得加油錐套并實時解算其端面的中心坐標(biāo),說明了機器視覺圖像處理算法穩(wěn)定而有效。

3.3 濾波算法性能

圖7為采用Kalman濾波算法估計的UAV受油插頭相對于加油錐套的3個軸向的相對位置誤差。濾波器狀態(tài)估計的收斂速度較快,且仿真過程中x,y,z軸向的相對位置誤差由初始時刻的0.2 m最終保持在0.1 m的范圍內(nèi),可以保證PD-UAV-AAR的順利進(jìn)行。

圖8為同一控制器作用下,采用Kalman濾波算法解算時無人機姿態(tài)角的變化曲線。由圖可以看出,無人機姿態(tài)角變化范圍較小,且最終趨于穩(wěn)定收斂,有利于實現(xiàn)PD-UAV-AAR空中加油的平穩(wěn)對接。

圖8 無人機姿態(tài)角變化曲線Fig.8 Curve of UAV attitude

4 結(jié)束語

針對PD-UAV-AAR問題,提出了機器視覺輔助的PD-UAV-AAR仿真方案,在分析加油機尾流和加油錐套運動的基礎(chǔ)上,利用機器視覺識別跟蹤加油錐套,利用Kalman濾波估計UAV與加油錐套的相對位姿,實現(xiàn)受油插頭與加油錐套的成功對接。仿真結(jié)果表明,該方法具有良好的快速性和抗干擾能力,滿足PD-UAV-AAR的任務(wù)要求。下一步工作將設(shè)計搭建PD-UAV-AAR近距視覺相對導(dǎo)航半物理地面實驗系統(tǒng),進(jìn)行動態(tài)視覺相對導(dǎo)航半物理實驗,以期對機器視覺輔助的PD-UAV-AAR方案進(jìn)行半物理實驗驗證。

[1] Nalepka J P,Hinchman J L.Automated aerial refueling: extending the effectiveness of unmanned air vehicles[C]//AIAA Modeling and Simulation Technologies Conference and Exhibit.San Francisco,2005:6005-6013.

[2] 董新民,徐躍鑒,陳博.自動空中加油技術(shù)研究進(jìn)展與關(guān)鍵問題[J].空軍工程大學(xué)學(xué)報(自然科學(xué)版),2008,9(6):1-5.

[3] 袁鎖中,劉瞾.插頭錐套式空中加油對接過程中受油機的飛行控制律[J].應(yīng)用科學(xué)學(xué)報,2010,28(4):436-440.

[4] 王宏倫,杜熠,蓋文東.無人機自動空中加油精確對接控制[J].北京航空航天大學(xué)學(xué)報,2011,37(7):822-826.

[5] 解洪文,王宏倫.基于雙目視覺的自動空中加油近距導(dǎo)航方法[J].北京航空航天大學(xué)學(xué)報,2011,37(2):206-209.

[6] 胡孟權(quán),柳平,聶鑫,等.大氣紊流對空中加油軟管錐套運動的影響[J].飛行力學(xué),2010,28(5):20-23.

[7] Dogan A,Sato S,Blake W.Flight control and simulation for aerial refueling[R].AIAA-2005-6264,2005.

[8] Ro K,Kamman J W.Modeling and simulation of hose-paradrogue aerial refueling system[J].Journal of Guidance,Control,and Dynamics,2010,33(1):53-63.

[9] 韓九強,胡懷中,張新曼,等.機器視覺技術(shù)及應(yīng)用[M].北京:高等教育出版社,2009:123-125.

[10] Chao I C,Roger S.Drogue tracking using 3D flash lidar for autonomous aerial refueling[C]//Proceedings of SPIE,Laser Radar Technology and Applications XVI.Florida,80370Q,2011:1-11.

[11] 秦永元,張洪鉞,汪叔華.卡爾曼濾波與組合導(dǎo)航原理[M].西安:西北工業(yè)大學(xué)出版社,1998:35-37.

[12] Wang L,Dong X M,Guo J.Autonomous aerial refueling for UAVs based on GPS/MV[C]//2010 International Conference on Electrical Engineering and Automatic Control.Zibo,China,2010:55-59.

Visual-aidedmodelingandsimulationofunmannedaerialvehicleautonomousaerialrefueling

WANG Xu-feng1, DONG Xin-min1, KONG Xing-wei1, WANG Long2, CHENG Jian-feng1

(1.Aeronautics and Astronautics Engineering College, AFEU, Xi’an 710038, China; 2.94638 Unit of the PLA, Nanchang 330201, China)

In order to precisely obtain the relative pose of unmanned aerial vehicle (UAV) during aerial refueling docking, a visual-aided simulation scheme of probe-drogue UAV autonomous aerial refueling (PD-UAV-AAR) is proposed. A detailed closed loop simulation system based on Open CV, Simulink and Vega Prime has been presented. Analyze the tanker vortex and refueling drogue moving characteristics. Investigate the refueling drogue recognition and tracking algorithm of machine vision. By using of Kalman filter algorithm, the relative pose of UAV and refueling drogue is estimated. The experimental result shows that the machine vision algorithm can recognize and track refueling drogue precisely and the Kalman filter algorithm can estimate the relative pose of UAV and refueling drogue well which guarantees the stable and secure docking of PD-UAV-AAR.

autonomous aerial refueling; machine vision; drogue recognition; relative pose; virtual simulation

V249.1

A

1002-0853(2013)04-0331-05

2013-01-15;

2013-04-01; < class="emphasis_bold">網(wǎng)絡(luò)出版時間

時間:2013-06-06 11:29

王旭峰(1988-), 男, 山東即墨人,碩士研究生, 研究方向為飛行器控制理論及應(yīng)用。

(編輯：方春玲)