基于特征光流信息的空間非合作目標(biāo)相對(duì)位姿估計(jì)

程文華，姚 紅，張雅聲

（裝備學(xué)院，北京 101416）

0 引言

1 光流計(jì)算基本原理

觀察物體運(yùn)動(dòng)時(shí)，物體在人眼視網(wǎng)膜上形成一系列連續(xù)變化的圖像信息稱為光流［13］。本文定義光流為空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度，反映圖像灰度在時(shí)間上的變化與景物中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系。

假設(shè)時(shí)刻t，圖像上（x，y）點(diǎn)處的灰度值為I（x，y，t）。在時(shí)刻t＋Δt，這點(diǎn)運(yùn)動(dòng)到（x＋Δx，y＋Δy）處，灰度值為I（x＋Δx，y＋Δy，t＋Δt）。由灰度一致性假設(shè)，有

對(duì)式（1）右邊進(jìn)行泰勒展開，得

在之前的幾個(gè)月里，S2一直在惴惴不安地奔向它距銀河系中心最近的位置。這一過程讓我們重新認(rèn)識(shí)了極端環(huán)境下的引力行為，也為我們研究銀河系大本營(yíng)中的這個(gè)不可見怪獸的性質(zhì)提供了線索。

式（3）中未知數(shù)有2個(gè)，方程1個(gè)，為求解光流信息，還須引入新的約束條件，由此產(chǎn)生了光流的兩種計(jì)算方法：H-S方法和L-K方法。

H-S方法強(qiáng)調(diào)光流的全局平滑性，引入平滑項(xiàng)約束，構(gòu)造了歐拉－拉格朗日方程，并用高斯－塞德爾方法求解得到光流計(jì)算的迭代公式為

L-K方法強(qiáng)調(diào)局部的光流約束，引入一個(gè)權(quán)重矩陣W（i，j），求解得到光流為

本文以H-S方法為基礎(chǔ)，研究結(jié)合特征信息的相對(duì)位姿估計(jì)算法可行性。

2 光流信息的相對(duì)位姿估計(jì)算法

本文相機(jī)透視模型如圖1所示。圖1中：OC－XCYCZC為相機(jī)坐標(biāo)系；OP－XPYP為圖像物理坐標(biāo)系；OS－XSYS為圖像像素坐標(biāo)系；OT－XTYTZT為目標(biāo)坐標(biāo)系。

圖1 相機(jī)透視模型與坐標(biāo)系Fig.1 Camera model and its coordinate system

設(shè)目標(biāo)飛行器上一點(diǎn)P＝［XYZ］T經(jīng)透視模型所成的像p在圖像物理坐標(biāo)系中的坐標(biāo)為（xp，yp）；f為相機(jī)焦距，則由投影關(guān)系得

將式（6）轉(zhuǎn)換到齊次坐標(biāo)系中，有

設(shè)目標(biāo)坐標(biāo)系相對(duì)OC－XCYCZC系的線速度和角速度分別為

則OC－XCYCZC系相對(duì)OT－XTYTZT系的線速度和角速度分別為－V，－W。由力學(xué)可得點(diǎn)P在OC－XCYCZC系中的速度為

展開有

式（7）兩端求導(dǎo)，可得

聯(lián)立式（10）、（11），整理得

式（12）反映了圖像光流信息、相對(duì)線速度和角速度間的關(guān)系。展開式（12）可得

式中：k1＝ωxvx；k2＝ωyvy；k3＝ωzvz；k4＝ωxvy＋ωyvx；k5＝ωxvz＋ωzvx；k6＝ωyvz＋ωzvy。

稱式（13）為光流方程，ki（i＝1，2，…，6）為光流系數(shù)?？砂l(fā)現(xiàn)，式（13）中有vx，vy，vz，ωx，ωy，ωz共6個(gè)未知數(shù)。但從光流方程來看，發(fā)現(xiàn)方程對(duì)vx，vy，vz是線性齊次的，即用光流方程只能求出相對(duì)運(yùn)動(dòng)線速度方向而不能確定相對(duì)線速度大小。因此，所求未知數(shù)實(shí)際只有5個(gè)。求解5個(gè)未知數(shù)需要5個(gè)獨(dú)立方程，至少需要5個(gè)點(diǎn)的光流信息，就可求得相對(duì)運(yùn)動(dòng)的角速度和線速度方向。

若目標(biāo)相對(duì)相機(jī)只有平移無旋轉(zhuǎn)，即線速度不為零，角速度為零，則式（13）變?yōu)?/p>

由上述分析，只需兩個(gè)點(diǎn)的光流信息就能確定相對(duì)速度的方向。

若目標(biāo)相對(duì)相機(jī)只有旋轉(zhuǎn)，則式（13）可寫成

易知，1個(gè)點(diǎn)的光流信息對(duì)應(yīng)2個(gè)方程，2個(gè)點(diǎn)的光流信息有4個(gè)方程，足以確定目標(biāo)相對(duì)相機(jī)的角速度。

求出相對(duì)運(yùn)動(dòng)和相對(duì)角速度后，還可估計(jì)同樣以k9為比例因子的相對(duì)深度

結(jié)合式（1）可得比例相對(duì)位置

3 仿真驗(yàn)證

3.1 圖像序列算例

用Pov-Ray軟件生成一組目標(biāo)飛行器圖像，像素大小為300×300，相機(jī)焦距f＝0.012mm。取其中兩張，對(duì)其進(jìn)行光流分析，如圖2所示。圖2（a）、（b）為原圖，圖2（c）為由兩張圖像得到的光流信息（圖中的黑色矢量）。由圖2可知：得到的光流信息顯然足夠。為更好地利用光流信息，本文用特征點(diǎn)的光流信息求解光流方程，取Harris角點(diǎn)作為特征點(diǎn)。

圖2 目標(biāo)飛行器圖像序列及其光流場(chǎng)Fig.2 Image sequences of the target vehicle and its optical flow

對(duì)原始圖像進(jìn)行Harris角點(diǎn)提取，如圖3所示。忽略邊界點(diǎn)，所求角點(diǎn)二維信息見表1。

圖3 飛行器角點(diǎn)檢測(cè)結(jié)果Fig.3 Features of vehicle

將角點(diǎn)光流信息代入光流方程，解得相對(duì)角速度和相對(duì)比例線速度為：ωx＝29.251像素／幀；ωy＝33.505像素／幀；ωz＝1.766像素／幀；vx／vz＝0.077 4；vy／vz＝－0.068 6。將所求光流系數(shù)代入得角點(diǎn)的相對(duì)位置信息見表2。對(duì)角點(diǎn)的重構(gòu)如圖4所示。

由此可見，基于光流信息不僅可獲取目標(biāo)飛行器的相對(duì)角速度和比例相對(duì)位置，而且還能用于比例三維重構(gòu)，有利于獲知目標(biāo)結(jié)構(gòu)特征，進(jìn)而分析其載荷類型及功能。

表1 角點(diǎn)二維信息Tab.1 2-D information of features

表2 角點(diǎn)三維相對(duì)位置信息Tab.2 3-D relative pose of features

圖4 角點(diǎn)結(jié)構(gòu)三維重建Fig.4 Structure rebuilding of features

3.2 單目視頻算例

基于單目特征光流信息的相對(duì)位姿估計(jì)過程如圖5所示。

圖5 基于特征光流信息的相對(duì)位姿估計(jì)過程Fig.5 Pose and altitude estimation based on feature optical flow

用STK場(chǎng)景生成飛行器的旋轉(zhuǎn)模型，并進(jìn)行視頻采集，如圖6所示。設(shè)定角速度為1（°）／s，頻率為30幀／秒，f為0.012mm，像素大小為1 616×794。利用上述算法，對(duì)視頻進(jìn)行分幀處理，得到分幀圖像，如圖7所示。

圖6 STK飛行器旋轉(zhuǎn)視頻圖像Fig.6 Circumrotate vehicle by STK

對(duì)相鄰的每?jī)蓭M(jìn)行光流計(jì)算和位姿估計(jì)，結(jié)果如圖8所示。將每相鄰兩幀的圖像處理后，可得實(shí)時(shí)的相對(duì)位姿如圖9、10所示。

由圖9、10可知：相對(duì)角速度大小維持在0.6×10－3rad／frame左右，換算可得相對(duì)角速度為1.031（°）／s，與理論值相近，在設(shè)定的角速度值附近振蕩，振蕩的原因主要是光流計(jì)算的全域性光滑約束會(huì)使某些點(diǎn)（像邊界附近）數(shù)據(jù)出現(xiàn)偏差，反映到方程中就會(huì)影響求解的精度，但誤差不大；相對(duì)比例速度分別保持在－0.4，0.3附近，其間出現(xiàn)了許多跳躍點(diǎn)，這同樣是由于存在某些點(diǎn)數(shù)據(jù)出現(xiàn)偏差。由此可見，利用單目視覺的特征光流信息可實(shí)時(shí)獲取目標(biāo)飛行器的相對(duì)位姿信息，為后續(xù)的自主導(dǎo)航與控制提供支持。

4 結(jié)束語(yǔ)

圖7 單目視頻部分分幀圖像Fig.7 Images of single camera vedio

圖8 分幀圖像處理Fig.8 Processing of image

圖9 目標(biāo)飛行器的相對(duì)位姿1Fig.9 Relative pose and altitude 1of target vehicle

圖10 目標(biāo)飛行器的相對(duì)位姿2Fig.10 Relative pose and altitude 2of target vehicle

本文根據(jù)光流法基本原理，推導(dǎo)了光流法求解空間非合作目標(biāo)相對(duì)位姿的模型。經(jīng)仿真驗(yàn)證，基于特征光流信息可實(shí)時(shí)獲取目標(biāo)的相對(duì)位姿信息，拓展了光流法的應(yīng)用領(lǐng)域，同時(shí)也為非合作目標(biāo)相對(duì)位姿估計(jì)提供了新思路和解法。

［1］ Committee on the Assessment of Options for Extending the Life of the Hubble Space Telescope，National Research Council.Assessment of options for extending the life of the hubble space telescope：final report［M］.Washington：National Academies Press，2005：8-19.

［2］ 陳 震.圖像序列光流計(jì)算技術(shù)及其應(yīng)用［M］.北京：電子工業(yè)出版社，2012.

［3］ GIBSON J J.The perception of the visual world［M］.Boston：Houghton Mifflin，1950.

［4］ ULLMAN S.The interpretation of structure from motion［M］.London：Proc R Soc Lond，1979：405-426.

［5］ HORN B，SCHUNCK B.Determining optical flow［J］.Artificial Intelligence，1981：185-203.

［6］ LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision：Proceedings of Image Understanding Workshop［C］.1981：121-130.

［7］ 陳王麗，李 濤，陳 喆，等.利用光流配準(zhǔn)進(jìn)行嫦娥一號(hào)CCD多視影像超分辨率重建［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2014，39（9）：1103-1107.

［8］ 介 鳴，黃顯林，盧鴻謙.使用多尺度光流法進(jìn)行探月飛行器自主視覺導(dǎo)航［J］.傳感技術(shù)學(xué)報(bào)，2007，20（11）：2508-2512.

［9］ 黃 嵐，宋建梅，陳晉華，等.基于光流的無人機(jī)視覺導(dǎo)航：Proceedings of the 33rdChinese Control Conference［C］.2014：816-821.

［10］ 呂 強(qiáng)，倪佩佩，王國(guó)勝，等.基于光流傳感器的四旋翼飛行器懸停校正［J］.裝甲兵工程學(xué)院學(xué)報(bào)，2014，28（3）：68-72.

［11］ 孫 正，郁道銀，陳曉冬，等.基于光流法的冠狀動(dòng)脈造影圖像序列中血管運(yùn)動(dòng)的估計(jì)［J］.工程圖學(xué)學(xué)報(bào)，2003，24（3）：83-88.

［12］ 胡覺暉，李一民，潘曉露.改進(jìn)的光流法用于車輛識(shí)別與跟蹤［J］.科學(xué)技術(shù)與工程，2010，23（10）：5814-5817.

［13］ MITICHE A，AGGARWAL J K.Computer vision analysis of image motion by variational methods［M］.Berlin：Springer International Publishing，2014.