視頻和圖像檢索分析工具（VIRAT）綜述

李麗，方秀花

（裝備學院，北京01416）

視頻和圖像檢索分析工具（VIRAT）綜述

李麗，方秀花

（裝備學院，北京01416）

美國國防高級研究計劃局（DARPA）正在為視頻和圖像檢索分析工具（VIRAT）項目尋求解決方案。該項目的總體目標是開發(fā)一個系統(tǒng)，用來視頻數(shù)據(jù)開發(fā)，使分析人員能夠從數(shù)據(jù)庫中迅速找到感興趣的視頻內(nèi)容，并在對視頻內(nèi)容現(xiàn)場操作分析中，為分析人員提供警報信息。本文主要從該項目的背景情況、關(guān)鍵技術(shù)、主要任務(wù)以及項目階段做了詳細的闡述。

視頻和圖像檢索分析工具（VIRAT）；圖像視頻；檢索和分析

目前，文字搜索技術(shù)已經(jīng)十分成熟，而且隨著文字識別算法的改進，在圖像上進行文字搜索也變得更加容易。但是當前搜索視頻在技術(shù)上實現(xiàn)起來難度極大，主要是由于視頻事先未經(jīng)預(yù)覽，而且也沒有附帶可進行搜索的文字標簽。然而，目前美國國防高級研究計劃局（DARPA）已經(jīng)解決了這一技術(shù)難題中的部分問題。DARPA正在為視頻和圖像檢索分析工具（VIRAT）項目尋求解決方案。該項目的總體目標是開發(fā)一個系統(tǒng)，用來視頻數(shù)據(jù)開發(fā)，使分析人員能夠從數(shù)據(jù)庫中迅速找到感興趣的視頻內(nèi)容，并在對視頻內(nèi)容現(xiàn)場操作分析后，為分析人員提供警報信息。

1 VIRAT項目概述

從大量現(xiàn)有視頻數(shù)據(jù)和實時監(jiān)控視頻數(shù)據(jù)中快速搜索具體活動或事件的能力對于美國軍方和情報機構(gòu)來說是十分重要的。目前，捕食者無人機和其它空中監(jiān)控平臺的視頻分析非常耗費人力，并只限制于元數(shù)據(jù)的查詢以及“手動注釋”和“快進”的剪輯檢查。VIRAT項目開發(fā)的軟件工具將從根本上提高對海量視頻數(shù)據(jù)的分析效率。其主要有兩種途徑：一是，當特定的事件或活動發(fā)生在特定地點或超出特定地點范圍時將對操作者發(fā)出警報；二是，實現(xiàn)對現(xiàn)有視頻數(shù)據(jù)庫快速、基于內(nèi)容的搜索。DARPA正在尋求一種創(chuàng)新的算法用來顯示、匹配和識別活動，以支持索引和檢索，VIRAT項目的重點是基于活動和動態(tài)信息[1]。

美國軍方和情報部門對實時監(jiān)控視頻和從大容量視頻數(shù)據(jù)庫中搜索有價值內(nèi)容的需求不斷增長。與此同時，相同視頻視角范圍內(nèi)的動態(tài)活動數(shù)目大量增加。當前的解決方案是分配更多的分析員同時觀看相同的實時動態(tài)視頻。每個分析員被分配視頻的一個部分，如果發(fā)現(xiàn)任何可疑對象或活動，立即向有關(guān)當局發(fā)出警報。然而在軍隊和情報部門，視頻或圖像分析員的數(shù)量是有限的。而且，未來動態(tài)視頻的范圍將大于25平方公里，有限的分析員通過觀看視頻流更加難以有效地監(jiān)測和發(fā)現(xiàn)所有可疑活動。顯然，運用自動化的活動搜索和檢測能力，能夠提高有效性并提高實時報警效率。VIRAT系統(tǒng)的目標是能夠在幾分鐘內(nèi)對包含數(shù)千小時視頻數(shù)據(jù)的視頻庫完成搜索。檢測概率要高，以確保所有可能感興趣的活動被發(fā)現(xiàn)。

2關(guān)鍵技術(shù)

VIRAT項目在以下領(lǐng)域?qū)で蠹夹g(shù)創(chuàng)新，包括：魯棒的事件和活動的顯示、高效率的全動態(tài)視頻檔案庫索引以及交互式精細化的檔案檢索查詢。

2.1 魯棒的事件和活動的顯示

該VIRAT項目的關(guān)鍵技術(shù)是魯棒的發(fā)展，對事件和活動的數(shù)字顯示可以在變化的條件下被用在多部視頻中。這些顯示將會形成VIRAT系統(tǒng)的技術(shù)核心，可以為實時警報和事件發(fā)生的檔案檢索提供技術(shù)支撐。技術(shù)解決方案必須能夠處理以下內(nèi)容：

（1）傳感器設(shè)置的變化，如空間和時間分辨率；

（2）背景條件的改變，如光照的變化、天氣和大氣發(fā)生的變化；

（3）算法可以處理低分辨率視頻；

（4）平臺和視角的變化；

（5）動態(tài)事件和活動自身的變化；

（6）其它場景實體的事件或活動元素。

此外，視頻數(shù)據(jù)周圍的整體環(huán)境也是豐富的附加信息來源，對檢索的準確性有幫助。這些信息可以包括空間地理信息和平臺及傳感器元數(shù)據(jù)。VIRAT正在尋求技術(shù)去建立魯棒的事件和活動的顯示。

2.2 交互式精細化的檔案檢索查詢

VIRAT系統(tǒng)將允許用戶對檢索到的數(shù)據(jù)提供反饋。用戶將可以在優(yōu)化迭代查詢的過程中提供正面和負面的信息反饋。該VIRAT項目尋找新的技術(shù)來實現(xiàn)這種反饋，以迅速達到高性能水平。特別令人感興趣的是利用優(yōu)化技術(shù)開發(fā)視頻數(shù)據(jù)[2]。

3項目階段

該VIRAT項目將分成三個階段進行。每個階段將陸續(xù)成熟VIRAT的組件算法，系統(tǒng)性能將會在一個集成的、終端到終端的系統(tǒng)中達到頂峰，對于軍事終端用戶將具有明確和顯著的價值。

（1）第一階段——原型算法開發(fā)和系統(tǒng)設(shè)計

第一階段的目標是進行系統(tǒng)設(shè)計、原型算法開發(fā)，評估初步的VIRAT系統(tǒng)。為了支持算法開發(fā)，政府將從已經(jīng)應(yīng)用在捕食者無人機傳感器上的系統(tǒng)，提供電視和紅外數(shù)據(jù)。第一階段的系統(tǒng)設(shè)計必須將原型軟件組件整合成一個統(tǒng)一的系統(tǒng)體系結(jié)構(gòu)，并與其他軍事系統(tǒng)兼容和可互操作。PET將對第一階段系統(tǒng)進行中期和最終的性能評估。第一階段的性能目標側(cè)重于動態(tài)警報的準確性和檔案檢索。從軍事用戶和PET的反饋將納入第二階段的目標。

（2）第二階段——算法的細化和優(yōu)化以及系統(tǒng)集成

第二階段的目標是提高第一階段的準確率和效率，同時適應(yīng)一個更大的事件和活動設(shè)置，提高的視頻速率，以及一個規(guī)模擴大的存檔。第一階段的成果將被納入一個更加穩(wěn)定和成熟的從終端到終端的VIRAT系統(tǒng)集成實施。第二階段的性能目標是強調(diào)動態(tài)警報和檔案檢索的準確度和速度。這一階段將包括來自控制收集項目工作的晝間電視和紅外數(shù)據(jù)，以及來自多個無人機平臺收集的實時數(shù)據(jù)。PET將會對第二階段系統(tǒng)進行中期和最終的性能評估。從軍事用戶和PET的反饋將納入第三階段的發(fā)展目標[3]。

（3）第三階段——整合、示范與過渡

第三階段的目標將是改進第二階段系統(tǒng)的性能和準確率，查詢結(jié)果快速細化顯示以及適應(yīng)復雜的搜索，包括在單個查詢中包括多樣和動態(tài)的事件。第三階段系統(tǒng)還必須證明具有較大的數(shù)據(jù)集性能和精度，其中包括：更大數(shù)量的事件和活動，更快的視頻流速度，以及更大的錄像檔案。PET將會對第三階段系統(tǒng)進行中期和最終的性能評估。第三階段的性能目標的重點是精度和速度，以及最終用戶需求的滿意度。這個階段將會使用真實的來自無人機平臺的晝間電視和紅外數(shù)據(jù)。該項目的這個階段還將包括對實際使用效果的比較，人們使用VIRAT系統(tǒng)和人們利用現(xiàn)有的技術(shù)的效率的比較[4]。

4結(jié)束語

VIRAT項目屬于美國大數(shù)據(jù)研究發(fā)展計劃一部分，通過該項目的實施能夠有效促進數(shù)據(jù)訪問、組織、處理、分析工具的開發(fā)和技術(shù)的提升，從而提高政府部門或軍事用戶從大量視頻數(shù)據(jù)中提取所需信息的能力和水平。未來應(yīng)用于情報領(lǐng)域，將大大提高情報獲取的時效性和準確性，使對手面臨的形勢更加嚴峻。

[1]DARPA INFORMATION PROCESSING TECHNIQUESOFFI CE（IPTO）Video and Image Retrieval and Analysis Tool（VIRAT）BAA 08-20.

[2]王麗紅，張桂蕓，賈花萍.一種基于顏色特征的視頻鏡頭邊界檢測方法[J].計算機工程與科學，2008（10）：21-23.

[3]馮馳，甘泉福.圖像視頻檢索的研究和應(yīng)用[J].應(yīng)用科技，2006，3（6）：17-19.

[4]張揚奇，肖學福，陳祥軍，等.大數(shù)據(jù)時代基于中文標記的圖像視頻綜合檢索方法研究[J].物聯(lián)網(wǎng)技術(shù)，2013（10）：29-30.

Study about the Video and Image Retrievaland Analysis Tool

LILi，F(xiàn)ANG Xiu-hua
（Equipment Academy，Beijing 101416，China）

The Defense Advanced Research Projects Agency（DARPA）is seeking innovative solutions for the Video and Image Retrieval and Analysis Tool（VIRAT）program.The overall program goal is to develop and demonstrate a system for video data exploitation that enables an analyst to rapidly find video content of interest from archives and to provide alerts to the analyst of events of interest during live operations.The program motivation，key technology and technology areas are introduced in this text.

VIRAT；video and image；retrieval and analysis

TP391

B

1672-545X（2016）12-0127-02

2016-09-15

李麗（1985-），女，江蘇人，研究生，館員，研究方向：情報學；方秀花（1965-），女，江西人，研究生，研究館員，研究方向：情報學。