一種基于本體的視頻檢索方法

梁俊杰+熊亞軍+余敦輝

摘 要：提出一種基于本體的視頻檢索方法，利用本體的基本概念獲取樣本圖像組，并建立樣本圖像組和未標注視頻的共同特征空間來實現(xiàn)視頻的標注;在視頻標注的基礎(chǔ)上，對視頻領(lǐng)域本體的基本概念集進行擴展來提高查詢的命中率，以對擴展概念集記錄進行檢索的方式完成視頻的檢索。

關(guān)鍵詞：領(lǐng)域本體;視頻檢索;共同特征空間;視頻標注

中圖分類號：TP391 ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? 文章編號：2095-1302（2015）01-00-03

0 ?引 ?言

近年來，隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，不斷會有海量的、非結(jié)構(gòu)化的視頻數(shù)據(jù)產(chǎn)生。視頻數(shù)據(jù)因其強大的內(nèi)容承載能力正在越來越廣泛地作為信息載體應(yīng)用于信息傳播領(lǐng)域。而傳統(tǒng)的信息檢索方式又難以有效應(yīng)用于視頻檢索領(lǐng)域[1]。

通過構(gòu)建計算機科普視頻領(lǐng)域本體，條理化計算機科普視頻中涉及到的概念，然后借助這些概念在線獲取樣本圖像組，并建立它們與未標注視頻的共同特征空間完成視頻的標注。在此基礎(chǔ)上，對該領(lǐng)域本體的基本概念定義存儲結(jié)構(gòu)以建立相應(yīng)的記錄，并對基本概念集進行擴展，提高匹配檢索的命中率，最終完成對海量視頻信息的檢索。

1 ?視頻領(lǐng)域本體的構(gòu)建

本體是共享概念模型的明確形式化規(guī)范說明，廣泛應(yīng)用于信息檢索、語義Web等領(lǐng)域[2]。本文以計算機科普視頻為例，基于WordNet知識庫提取計算機科普的相關(guān)概念，然后運用Protégé[3]本體編輯工具建立計算機科普視頻的領(lǐng)域本體。該本體比較全面的涵蓋了計算機科普領(lǐng)域的基本內(nèi)容，為視頻檢索的圖像集初始化和自動視頻標注提供了載體，具體的計算機科普視頻領(lǐng)域本體如圖1所示。

圖1 ?視頻領(lǐng)域本體的構(gòu)建

2 ?視頻標注算法

2.1 ?傳統(tǒng)的視頻標注方法及其弊端

目前，大部分搜索引擎在檢索視頻文件時，是通過視頻文件的標簽等文本信息進行檢索的。隨著視頻數(shù)量的快速增長，傳統(tǒng)的視頻標注方法存在很多弊端[4]，主要如下：

（1）標注量大：對海量的視頻信息逐個進行標注要耗費大量時間;

（2）客觀性差：人工標注難免受人為主觀性的影響。

傳統(tǒng)的視頻標注方法存在的這些弊端將導致標注偏差甚至錯誤等問題，進而直接影響到視頻檢索準確性。

2.2 ?視頻標注

互聯(lián)網(wǎng)是一個包含海量圖像的巨大容器，而且蘊含了大量的圖像知識。由此，可以根據(jù)關(guān)鍵字在線檢索得到大量的圖像，用以檢索的關(guān)鍵字即為對應(yīng)圖像組的標注。然后通過CCA方法得到共同特征空間，這樣將標注域的中圖像樣本的特征與被標注域中的視頻的特征進行比較[5]，并將比較得到相似度結(jié)果分別表示為r、rm、ra，其中r表示比較的最終結(jié)果，rm表示被標注域視頻特征與圖像組中每一幅圖像的圖像特征通過共同特征空間進行比較的得到最大值，ra表示與圖像組中幅圖像比較的均值，即r=rm+ra，即：

（1）

其中ri，i∈（1，2，…，n），n為該圖像組圖像樣本的數(shù)量，最終運用式（1）將求得r值最大的圖像組的標注作為該視頻的標注。

2.2.1 ?圖像庫的初始化

根據(jù)領(lǐng)域本體的特點，可將領(lǐng)域本體的概念作為結(jié)點，而概念間的關(guān)系作為結(jié)點之間的層次關(guān)系，則領(lǐng)域本體可用樹來描述，從概念作為樹的結(jié)點的位置分，可大致將概念分為兩種，一種為葉子結(jié)點概念，另一種為非葉子結(jié)點概念。

定義1.元概念集：用樹描述的領(lǐng)域本體中處于葉子結(jié)點位置概念的集合，用Cm表示;

定義2.基本概念集：領(lǐng)域本體中所有概念的構(gòu)成的集合，用Cb表示。

圖像庫的初始化就是將逐個元概念集中的概念作為關(guān)鍵字在線獲取n幅具有代表性的圖像作為該概念的樣本圖像，該概念的樣本圖像組成的集合稱為對應(yīng)概念的圖像組，而該概念即為對應(yīng)圖像組的標注。

2.2.2 ?視頻標注算法

為方便描述，特作以下定義：

定義3.源域（Source Domain）：以元概念集中的概念為關(guān)鍵字通過互聯(lián)網(wǎng)圖像搜索引擎檢索得到的圖像組、該概念共同組成的數(shù)據(jù)集合，可用一個二元組SD來表示：SD={Ci，IGi}，IGi={ Imagei1、Imagei2、…、Imagein }，其中i為葉子結(jié)點概念的序號，imax為葉子結(jié)點位置概念的個數(shù)，n為每個葉子結(jié)點概念對應(yīng)的圖像組的圖像樣本數(shù)目;

定義4.目標域（Target Domain）：把未標注并且將要借助標注域進行標注的互聯(lián)網(wǎng)視頻組成的集合，可用一個集合TD表示TD={V1、V2、…、Vm}，其中m為未標注視頻的數(shù)目;

由于圖像特征和視頻特征是異構(gòu)的，不能通過分析圖像與視頻的相關(guān)性來決定是否將圖像的標注信息作為視頻的標注。為解決空間特征異構(gòu)問題，引入共同特征空間的概念[6]。在標注域和被標注域的特征空間之間建立共同特征空間，這樣任意標注域中的圖像樣本和被標注域中的視頻樣本均可以借助映射矩陣投影到該共同特征空間中。

利用視頻關(guān)鍵幀提取工具[7]，提取視頻的關(guān)鍵幀建立視頻的圖像特征空間，給z個樣本對{（K1，V1），…，（Kz，Vz）}，其中K1、K2…、Kz∈Rdi視頻關(guān)鍵幀的圖像特征空間的樣本，V1、V2…、Vz∈Rdv表示視頻特征空間的樣本，然后使用CCA（Canonical Correlation Analysis）方法來學習得到映射矩陣wi和wv。視頻標注算法如下：

Begin輸入：SD、TD中的某個Vm

（1）建立每個IGi中每幅Imagein的圖像特征空間Sin、Vm的視頻特征空間Sa;

（2）提取Vm的關(guān)鍵幀kf，建立kf的圖像特征空間Sb;

（3）運用CCA學習方法得到映射矩陣wi和wv;

（4）利用wi和wv建立共同特征空間Sc;

（5）For每一個Sin

①將Sin和Sa→Sb同時映射到Sc比較得到rin并計算

②計算圖像庫內(nèi)各個圖像組間的Rm

（6）將Rm對應(yīng)的圖像組相應(yīng)的概念作為視頻Vm的標注;

End輸出：帶標注的視頻Vm。

3 ?視頻檢索方法

3.1 ?視頻檢索框架

依據(jù)前文所述，基于計算機科普視頻領(lǐng)域本體和自動視頻標注進行視頻檢索的基本框架如下：

圖2 ?計算機科普視頻檢索框架

3.2 ?檢索預(yù)處理

3.2.1 ?基本概念集的擴展

視頻檢索采用用戶搜索關(guān)鍵字與領(lǐng)域本體中的概念集項進行匹配的方式，但是包括漢語在內(nèi)任何語言都會存在同義詞的特性。而用戶在查詢時關(guān)鍵字的選取是隨機的，所以如果單一的采用基本概念集作為用戶查詢關(guān)鍵字匹配庫，會造成視頻數(shù)據(jù)的漏查，影響查全率。

為解決上述問題，本文采用對基本概念集擴展的方法來緩解同義詞給查詢帶來的影響。

例如，有元概念集Cm ={E， F， G}，基本概念集Cb={A，B，C，D，E，F(xiàn)，G}，假設(shè)Cb中，僅有概念B有典型同義詞B1、B2、B3，則將B1、B2、B3加入Cb，有擴展概念集Ce={ A，B，B1、B2、B3，C，D，E，F(xiàn)，G}。

3.2.2 ?擴展概念集記錄存儲結(jié)構(gòu)

為方便對視頻數(shù)據(jù)記錄進行查詢，特對擴展概念集數(shù)據(jù)記錄的存儲結(jié)構(gòu)用如下六元組R[8]定義：

Record={ID，Cei，F(xiàn)lag，Ch_ID，Vi，Vi_path}，且把形如Record記錄構(gòu)成的視頻數(shù)據(jù)庫記為DBR，其中各部分含義如表1所示，其中各部分含義如表1所示：

表1 ?擴展概念集數(shù)據(jù)記錄結(jié)構(gòu)序號 項名稱 項含義

1 ID 記錄編號

2 Cei Ce中概念或同義詞項

3 Flag 標識位

當Flag=0時，表示Cei非葉子結(jié)點;當Flag=1時，表示Cei為葉子結(jié)點概念或同義詞;

4 Ch_ID Ce中Flag=0項孩子結(jié)點ID

5 Vi 各視頻的編號和名稱

6 Vi_path 視頻Vi的存儲路徑

3.3 ?檢索原理

本文中的視頻檢索是擴展概念集記錄存儲結(jié)構(gòu)的基礎(chǔ)上，采用用戶輸入的查詢關(guān)鍵字KeyWord與擴展概念集記錄中Cei進行匹配的方法完成用戶的查詢請求并將查詢結(jié)果返回給用戶。根據(jù)Cei在領(lǐng)域本體樹中所處的位置，又分為以下兩種情況：

（1）如果查詢關(guān)鍵字與葉子結(jié)點概念或其同義詞匹配成功，即Flag=1，則將葉子結(jié)點概念所在記錄的視頻數(shù)據(jù)返回給用戶;

（2）如果查詢關(guān)鍵字與非葉子結(jié)點概念或者其同義詞匹配成功，即Flag=0，則需要通過Ch_ID逐層往下尋找其孩子結(jié)點，直至最終找到的結(jié)點沒有孩子為止，則將最后找的一個或者多個葉子結(jié)點概念所在記錄的視頻數(shù)據(jù)返回給用戶。

查詢樣例.查詢關(guān)于B1的視頻

Step1：通過用戶輸入的關(guān)鍵字KeyWord-B1與擴展概念集記錄進行匹配;

Step2：匹配成功后得其Flag=0，為非葉子結(jié)點概念的同義詞，則通過B1所在記錄的Ch_ID信息找到得到B1的孩子結(jié)點概念為E、F，且E、F均是葉子結(jié)點概念;

Step3：返回E、F中的視頻數(shù)據(jù)并通過VE_path和VF_path讀取視頻至檢索結(jié)果列表，檢索完成。

4 ?實驗結(jié)果與分析

從互聯(lián)網(wǎng)上收集與計算機相關(guān)的視頻作為實驗的基礎(chǔ)數(shù)據(jù)，借助計算機科普視頻領(lǐng)域本體完成圖像庫的初始化，并利用本文的視頻標注算法完成視頻的標注。

利用M-OntoMat-Annotizer[9]工具對視頻基礎(chǔ)數(shù)據(jù)進行語義標注，并編碼實現(xiàn)本文的視頻檢索算法。為比較本文提出的視頻檢索算法與傳統(tǒng)的視頻檢索算法優(yōu)劣，同時借助已有方法完成傳統(tǒng)的基于關(guān)鍵詞的視頻檢索和完成基于內(nèi)容的視頻檢索。

為保證實驗的客觀性，邀請多位區(qū)分度較大的用戶提出5個查詢要求：查詢有關(guān)計算機軟、硬件的視頻、計算機應(yīng)用的視頻、互聯(lián)網(wǎng)的視頻、計算機發(fā)展歷程的視頻分別進行實驗。實驗中，采用查準率和查全率[10]作為衡量檢索性能的標準，并定義如下：

查準率= ? 查詢過程中需要的視頻個數(shù)

查詢過程中的視頻總數(shù)

查全率= ? ? ? 查詢過程中需要的視頻個數(shù)

視頻基礎(chǔ)數(shù)據(jù)中需要的視頻總數(shù)

根據(jù)以上的實驗設(shè)置，當圖像組的圖像樣本數(shù)n=1 000時，實驗結(jié)果如圖3和圖4所示。

圖3 ?查準率 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖4 ?查全率

從圖3和圖4的實驗結(jié)果表明：本文提出的視頻檢索方法相對于基于關(guān)鍵字和內(nèi)容的視頻檢索方法，大部分的查詢請求的查準率有不同程度的提高，驗證了本文方法的有效性。

5 ?結(jié) ?語

本文提出了一種基于領(lǐng)域本體和自動標注的視頻檢索技術(shù)，通過領(lǐng)域本體的基本概念集收集樣本圖像組，并建立圖像組和未標注視頻的共同特征空間完成視頻的標注;通過將領(lǐng)域本體用樹來描述，在樹結(jié)構(gòu)的基礎(chǔ)上完成視頻的檢索。實驗結(jié)果表明，基于領(lǐng)域本體和自動標注的視頻檢索技術(shù)大大提高了視頻檢索的效率。

參考文獻

[1]Rasiwasia N，Costa Pereira J，Coviello E，et al.A new approach to cross-modal multimedia retrieval[A].Proceedings of the International Conference on ACM Multimedia[C].Firence， Italy，2010：253-258.

[2]徐正寧.基于本體的Web數(shù)據(jù)語義信息的表示與處理方法研究[D].長沙：國防科技大學，2002.

[3]張小峰，唐新亭，趙永升，等.基于本體技術(shù)的Internet智能搜索研究[J].計算機工程與設(shè)計，2006，27（7）：1915-1916.

[4]張靜，馬桔.利用本體的視頻語義概念檢測[J].小型微型計算機系統(tǒng)，2008，29（12）：2354-2356.

[5]Yang Na，Luo Hangzai，Xue Xiangyang.A method to detect anchorperson shots for digital TV news[J].Journal of Software，2002，13（8）：1559-1565.

[6]王晗，吳心筱，賈云得.使用異構(gòu)互聯(lián)網(wǎng)圖像的視頻標注[J].計算機學報，2013，36（10）：2063-2065.

[7]隗華，陳曉鷗.一種格式無關(guān)的視頻序列關(guān)鍵幀提取策略[J].計算機應(yīng)用，2003（23）：190-191.

[8]尹文杰，韓軍偉，郭雷.圖像與視頻自動標注技術(shù)最新進展[J].計算機科學，2011，38（12）：12-15.

[9]陸琳睿，周竹榮，鄧維.一種基于本體的視頻檢索方法[J].西南大學學報（自然科學版），2008，30（11）：122-123.

[10]老松楊，白亮，胡艷麗，等.基于領(lǐng)域本體的新聞視頻檢索[J].小型微型計算機系統(tǒng)，2007，28（8）：1473-1476.