基于稀疏直方圖的空間機械臂視覺目標跟蹤方法

高 升 袁寶峰 齊 哲 陳 磊 王 康 梁常春

（北京空間飛行器總體設計部空間智能機器人系統(tǒng)技術與應用北京市重點實驗室，北京 100094）

基于稀疏直方圖的空間機械臂視覺目標跟蹤方法

高 升 袁寶峰 齊 哲 陳 磊 王 康 梁常春

（北京空間飛行器總體設計部空間智能機器人系統(tǒng)技術與應用北京市重點實驗室，北京 100094）

視覺系統(tǒng)作為空間機械臂的重要組成部分，一項重要功能就是在復雜空間環(huán)境下在規(guī)定周期內(nèi)自主、可靠地完成對空間目標的跟蹤，即在相機采集的圖像序列中定位目標區(qū)域。文章面向空間機械臂視覺跟蹤的應用需求，提出一種基于稀疏直方圖的視覺目標跟蹤方法，在目標區(qū)域內(nèi)選取相互重疊的局部圖像塊，通過組合全部圖像塊的稀疏系數(shù)構造直方圖以獲取目標表示，采用基于簇比重信息的相似性度量方法計算目標模板與候選目標之間的距離，將此距離作為粒子濾波的觀測模型以在圖像中確定目標位置。標準測試集測試、室內(nèi)環(huán)境和在軌環(huán)境試驗的定性和定量分析結果均表明文中方法可以實現(xiàn)對相機視場范圍內(nèi)目標的準確和可靠跟蹤。

目標表示 稀疏直方圖 相似性度量 空間機械臂 視覺系統(tǒng)

0 引言

空間機械臂是深入開展航天活動必不可少的工具。在中國的載人航天三期工程中，空間機械臂作為支持空間站建設和運營的關鍵性技術，承擔著艙段轉位、懸停飛行器捕獲和輔助對接、支持航天員出艙活動、艙外貨物搬運、艙外狀態(tài)檢查、有效載荷照料等任務?？臻g機械臂也是空間服務領域的重要基礎技術，實現(xiàn)對目標飛行器的接近和捕獲，進而完成對航天器故障部件的檢測、維修和更換等任務?？臻g機械臂還是開展月球及深空探測所必須的支撐性技術，當探測器在目標星球著陸后，需要空間機械臂對采樣目標進行近距離的觀察、分析和選取，進而對采樣樣本進行清理、抓取、搬運和裝載等操作?？臻g機械臂在軌完成上述任務過程中，不但要能夠進行大范圍運動，還需要完成一系列精度高、穩(wěn)定性強的精準操作。為滿足這些要求，機械臂必備組成之一就是空間視覺系統(tǒng)，它相當于機械臂的眼睛，機械臂除開環(huán)控制外的所有工作模式都不能離開視覺系統(tǒng)的引導和輔助而獨立實現(xiàn)，沒有視覺系統(tǒng)，空間機械臂將失去其主要的功能。因此，空間視覺技術成為機械臂從研制到應用的整個過程中亟待突破的關鍵技術之一。面向空間機械臂的應用需求，視覺系統(tǒng)擔負著監(jiān)視與測量兩項主要任務，其中一個重要的基本功能就是在規(guī)定周期內(nèi)自主、可靠地完成對空間目標的跟蹤，即在相機采集的圖像序列中定位目標區(qū)域。

國外以國際空間站和航天飛機為平臺，現(xiàn)已在軌運行或經(jīng)過飛行驗證了“加拿大 I臂”Canadarm（shuttle remote manipulator system，SRMS）、“加拿大II臂”Canadarm 2（space station remote manipulator system，SSRMS）、“特殊用途靈巧機械臂”（special purpose dexterous manipulator，SPDM）、“日本臂”（Japanese experiment module remote manipulator system，JEMRS）等多個空間機械臂系統(tǒng)。為滿足空間機械臂的在軌應用需求，已至少發(fā)展了“空間視覺系統(tǒng)”（space vision system，SVS）[1]、“先進空間視覺系統(tǒng)”（advanced space vision system，ASVS）[2]、“加拿大空間視覺系統(tǒng)”（Canadian space vision system，CSVS）[3]等三代空間視覺系統(tǒng)，完成空間目標的識別、位姿測量和跟蹤，輔助SRMS、SSRMS、SPDM空間機械臂完成在軌作業(yè)任務。

空間目標視覺跟蹤方法主要有兩類[4]：自底向上（bottom-up）和自頂向下（top-down）。自底向上的方法也稱為數(shù)據(jù)驅動的方法，這類方法不依賴于先驗知識，根據(jù)圖像的底層特征獲取目標信息并完成跟蹤，具有計算速度快、便于工程實現(xiàn)的優(yōu)點，目前已經(jīng)有大量采用這類方法完成目標跟蹤的應用系統(tǒng)[5]。自底向上的方法在相機固定、靜止的情況下效果較好，但是在相機處于運動的情況下，魯棒性較差。自頂向下的方法也稱為模型驅動的方法，這類方法依賴于所構建的目標模型和有關運動的先驗知識，一般采用“預測—匹配—更新”的計算模式，在貝葉斯理論框架下求解后驗概率，并選取最大后驗概率所對應的狀態(tài)向量表示目標的當前狀態(tài)[6]?；谀Ｐ偷姆椒梢缘玫奖容^精確的跟蹤結果，但是存在先驗知識難以表達、計算耗時等問題。為了克服上述兩類方法的不足，實現(xiàn)優(yōu)勢互補，研究學者提出了二者相結合的方法用于目標跟蹤，以提高目標視覺跟蹤的魯棒性、準確性、實時性。為了解決目標表示（即表觀模型的建立）這一關鍵問題，研究學者相繼提出基于顏色直方圖特征[7]、基于核密度估計[8]、基于混合高斯模型[9]的方法建模目標表觀信息，解決目標視覺跟蹤問題。近年來，一些研究團隊還將目標視覺跟蹤視為一個目標區(qū)域和非目標區(qū)域的二分類問題[10-11]，通過構建分類器將目標與非目標區(qū)分開來，這一類方法也被稱為判別式跟蹤方法，如多事例學習檢測跟蹤方法（multiple instance learning，MIL）、跟蹤學習檢測算法（tracking learning detection，TLD）。

本文針對空間機械臂對視覺系統(tǒng)的應用需求，提出一種基于稀疏直方圖的視覺目標跟蹤方法，在粒子濾波目標跟蹤框架下，通過組合目標區(qū)域內(nèi)相互重疊的局部圖像塊的稀疏系數(shù)構造直方圖以獲取目標表示，采用基于簇比重信息的相似性度量方法計算目標模板與候選目標之間的距離，并作為粒子濾波的觀測模型，進而在圖像序列中實現(xiàn)目標定位。

1 基于稀疏直方圖的目標跟蹤方法

1.1 目標表示

近年來，稀疏表示作為一種有效的目標表示策略在目標視覺跟蹤領域得到了廣泛應用[12]。稀疏表示的核心思想是將數(shù)據(jù)表示為一個字典中若干基元的線性組合，而且只需要較少的幾個基元就可以實現(xiàn)數(shù)據(jù)表示，線性組合權重向量稱之為稀疏系數(shù)。

本文使用圖像的灰度特征表示目標的表觀信息，采用重疊滑動窗口的方式在目標區(qū)域歸一化的圖像上提取N個W×H大小的圖像塊。對于第i個圖像塊，利用該圖像塊內(nèi)全部像素點的灰度特征提取圖像塊的特征向量

式中 Iij為第i個圖像塊內(nèi)第j個像素點的灰度值，其中m W H= × 。

在第一幀圖像中，利用 N個圖像塊，運用 k-means算法聚類得到字典其中Di（i=1,2,3,…,n）表示字典的基元，n表示聚類中心的數(shù)量，這n個聚類中心可以很好地體現(xiàn)目標中比較有代表性的模式。每個圖像塊可以表示成字典基元的稀疏線性組合。每個圖像塊特征向量稀疏系數(shù)）可通過式（1）計算

式中 λ為正則化參數(shù)。

組合N個圖像塊的稀疏系數(shù)并做歸一化處理，將得到的歸一化直方圖作為目標表示，其中M表示直方圖維度。

1.2 相似性度量

本文采用基于簇比重信息的相似性度量方法[13]計算目標模板與候選目標之間的距離。定義和 q分別為根據(jù)上節(jié)方法得到的目標模板與候選目標的直方圖，p和q的第i簇的距離可定義為

1.3 目標定位

假定相鄰兩幀間目標的運動是仿射運動，用仿射運動參數(shù)表示目標狀態(tài)，其中 xt和 yt分別表示目標在圖像水平方向和垂直方向的位置； μt、 θt、 ωt、 φt分別表示尺度、旋轉角、縱橫比和傾斜方向，并假定 xt、 yt、μt、θt、ωt、φt彼此之間都是相互獨立的。假定運動模型p（stst-1）為高斯模型。觀測模型）定義為

采用最大后驗估計的策略，在一系列候選目標中選取后驗概率最大的作為當前時刻目標跟蹤的結果。

2 試驗

2.1 標準測試集測試

采用標準測試集對本文所提出的視覺跟蹤方法進行了定量測試[14]。為了驗證方法的魯棒性和穩(wěn)定性，在各次測試過程中，參數(shù)的設置完全相同，其中歸一化圖像大小為32×32，以2個像素為步長采用重疊滑動窗口的方式提取N=169個W×H=8×8的圖像塊。字典D中基元數(shù)量（聚類中心數(shù)量）n=50，正

則化參數(shù)λ=0.1。粒子數(shù)量為400，仿射運動參數(shù) st為

采用平均中心點誤差和平均重疊率兩個指標作為跟蹤結果的評價準則。中心點誤差定義為圖像中跟蹤結果與目標真值的中心點之間的歐氏距離（單位：像素），計算公式為

式中 xR和 yR分別為跟蹤結果圖像區(qū)域中心點在圖像水平方向和垂直方向上的像素坐標；xT和 yT分別為目標真值圖像區(qū)域中心點在圖像水平方向和垂直方向上的像素坐標。則平均中心點誤差εP定義為

式中 f為圖像序列中圖像的數(shù)量。

重疊率定義為

式中 AR代表跟蹤結果的圖像區(qū)域； AT代表目標真值的圖像區(qū)域。則平均重疊率定義為

根據(jù)式（6）、（8）可知：平均中心點誤差εP越小、平均重疊率εo越大，表示目標跟蹤性能越好。

本文方法及MIL、TLD跟蹤算法在4個標準測試集上（圖像序列首幀如圖1所示）的測試結果見表1?？梢钥闯?，本文所提方法的目標跟蹤性能與MIL及TLD算法相當。

圖1 標準測試集圖像序列首幀（矩形框代表目標區(qū)域）Fig.1 The first frame of each benchmark dataset

表1 標準測試集目標跟蹤測試結果Tab.1 Object tracking results on benchmark datasets

2.2 真實環(huán)境試驗

在室內(nèi)環(huán)境和空間在軌環(huán)境下分別進行視覺目標跟蹤測試，以定性評估本文所提出方法在實際環(huán)境中的性能。

室內(nèi)環(huán)境試驗下，在機械臂執(zhí)行目標捕獲任務過程中，自目標進入機械臂視覺系統(tǒng)[15]視場直至機械臂完成對目標的捕獲，視覺系統(tǒng)需完成對目標（合作目標上安裝的視覺標記）的連續(xù)跟蹤。在此過程中，從相機采集的圖像序列（共359幀圖像）中選取9幅代表性圖片，目標跟蹤結果如圖2所示，矩形框代表在圖像中定位出的目標區(qū)域。結果表明，本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標的準確、可靠跟蹤。

在軌環(huán)境試驗中，采用NASA公布的國際空間站“加拿大II臂”執(zhí)行目標（龍飛船）捕獲任務視頻進行測試。從相機采集的圖像序列（共608幀圖像）選取6幅代表性圖片，目標跟蹤結果如圖3所示，矩形框代表在圖像中定位出的目標區(qū)域。跟蹤結果表明本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標的準確、可靠跟蹤。

圖2 室內(nèi)環(huán)境下目標跟蹤試驗結果（矩形框代表目標區(qū)域）Fig.2 Object tracking results in indoor environment（The bounding box depicts the object location）

圖3 在軌環(huán)境下目標跟蹤試驗結果（矩形框代表目標區(qū)域）Fig.3 Object tracking results in on-orbit environment（The bounding box depicts the object location）

3 結束語

面向空間機械臂的應用需求，視覺系統(tǒng)擔負著監(jiān)視與測量兩項主要任務，其中一個重要的基本功能就是在規(guī)定周期內(nèi)自主、可靠地完成對空間目標的跟蹤，即在相機采集的圖像序列中定位目標區(qū)域。本文針對空間機械臂視覺目標跟蹤問題，提出一種基于稀疏直方圖的視覺目標跟蹤方法。在粒子濾波目標跟蹤框架下，通過組合目標區(qū)域內(nèi)相互重疊的局部圖像塊的稀疏系數(shù)構造直方圖以獲取目標表示，采用基于簇比重信息的相似性度量方法計算目標模板與候選目標之間的距離并作為粒子濾波的觀測模型，進而在圖像序列中實現(xiàn)目標定位。標準測試集測試的定量分析結果以及室內(nèi)環(huán)境和在軌環(huán)境試驗的定性分析結果均表明：本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標的準確、可靠跟蹤，為空間機械臂視覺系統(tǒng)的設計、研制和應用提供借鑒。

References)

[1] Maclean G S, Pinkey H F L. Calibration Procedures for the Space Vision System Experiment[J]. Industrial Vision Metrology, 1991, 1526: 113-122.

[2] Blais F, Couvillon R A, Rioux M, et al. Real-time Tracking of Objects for Space Applications Using a Laser Range Scanner

[R]. Washington D.C. : NASA, 1991.

[3] James C. Utilization of the Space Vision System as an Augmented Reality System for Mission Operations[R]. Washington D.C. : NASA, 2003.

[4] Yilmaz A, Javed O, Shah M. Object Tracking: A Survey[J]. ACM Computing Surveys, 2006, 38(4): Article 13.

[5] Tai J, Tsang S, Lin C, et al. Real-time Image Tracking for Automatictraffic Monitoringand Enforcement Application[J]. Image and Vision Computing, 2004, 22(6): 485-501.

[6] Wu Y, Huang T. Robust Visual Trackingby Integrating Multiple Cues Basedon Co-inference Learning[J]. International Journal of Computer Vision, 2004, 58(1): 55-71.

[7] Nummiaroa K, Koller-Meierb E, Gool L V. An Adaptive Color-based Particle Filter[J]. Image and Vision Computing, 2003, 21(1): 99-110.

[8] Yang C, Duraiswami R, Davis L S. Efficient Mean-shift Tracking via a New Similarity Measure[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005: 176-183.

[9] Wang H, Suter D, Schindler K. Effective Appearance Model and Similarity Measure for Particle Filtering and Visual Tracking [C]. European Conference on Computer Vision, 2006: 606-618.

[10] Babenko B, Yang M H, Belongie S. Robust Object Tracking with Online Multiple Instance Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[11] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[12] Zhang S, Yao H, Sun X, et al. Sparse Coding Based Visual Tracking: Review and Experimental Comparison[J]. Pattern Recognition, 2013, 46(7): 1772-1788.

[13] Xie N, Ling H, Hu W, et al. Use Bin-Ratio Information for Category and Scene Classification[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2313-2319.

[14] Wu Y, Lim J, Yang M H. Online Object Tracking: a Benchmark[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2013: 2411-2418.

[15] 陳磊, 高升, 袁寶峰, 等. 基于多相機的空間機械臂視覺系統(tǒng)[J]. 航天返回與遙感, 2014, 35(3): 35-42.

CHEN Lei, GAO Sheng, YUAN Baofeng, et al. Multi-camera Based Space Manipulator Vision System[J]. Spacecraft Recovery & Remote Sensing, 2014, 35(3): 35-42. (in Chinese)

Space Manipulator Visual Object Tracking Method Using Sparsity-based Histogram

GAO Sheng YUAN Baofeng QI Zhe CHEN Lei WANG Kang LIANG Changchun

（Beijing Key Laboratory of Intelligent Space Robotic Systems Technology and Applications, Beijing Institute of Spacecraft System Engineering, Beijing 100094, China）

Vision system is a key part of a space manipulator system. Space object tracking or object localization in image sequences from cameras, which is implemented autonomously and reliably within a given time in complex space environment, is one of the important functions of the vision system. In this paper, we propose a sparsity-based histogram visual object tracking method for a space manipulator system. The object representation is acquired by combining the sparse coefficients of overlapped image patches in the object region, and the distance between the candidate and the template is calculated by using the bin-ratio information based similarity measure. Tracking is carried out within a particle filter framework, in which the distance is used to construct the observation model. Experiments conducted on benchmark set and image sequences captured by manipulator vision systems in indoor environment and on-orbit environment demonstrate qualitatively and quantitatively that the proposed method can perform accurate and reliable tracking of the object in the camera field of view.

object representation; sparsity-based histogram; similarity measure; space manipulator; vision system

V11

A

1009-8518(2015)03-0092-07

10.3969/j.issn.1009-8518.2015.03.013

高升，男，1973年生，2006年獲中國空間技術研究院飛行器設計專業(yè)碩士學位，高級工程師。研究方向為飛行器供配電系統(tǒng)設計、空間視覺系統(tǒng)信息處理。E-mail: castgaosheng@163.com。

2015-01-15

國家自然科學基金（61231018，61305112）