海量視頻數(shù)據(jù)快速檢索

文/郭斌 蔡巍偉 王鵬

“十一五”期間，國(guó)內(nèi)安防行業(yè)一直保持著高速增長(zhǎng)，年復(fù)合增長(zhǎng)率超過(guò)23%。作為安防行業(yè)最重要的組成部分，視頻監(jiān)控行業(yè)在此期間也得到了高速的發(fā)展。隨著視頻監(jiān)控大規(guī)模建設(shè)，積累了大量的視頻資料，現(xiàn)有的視頻監(jiān)控體系和大量的視頻資料，為有關(guān)部門查詢破案線索、維護(hù)公眾安全方面起到了巨大的作用。

根據(jù)安防“十二五”規(guī)劃，“十二五”期間，“平安城市”、“科技強(qiáng)警建設(shè)工程”、“3111工程”等重大公共工程項(xiàng)目將繼續(xù)加大實(shí)施力度。隨著視頻監(jiān)控體系的快速建設(shè)和視頻資料體量的高速增加，如何高效地使用海量視頻數(shù)據(jù)成為視頻監(jiān)控行業(yè)面臨的一個(gè)挑戰(zhàn)。目前視頻監(jiān)控廠家眾多，以及人工查看視頻數(shù)據(jù)的現(xiàn)狀來(lái)分析，在海量視頻數(shù)據(jù)的使用上存在以下三個(gè)主要問(wèn)題：

視頻數(shù)據(jù)封裝、編碼格式未統(tǒng)一。視頻監(jiān)控的國(guó)標(biāo)目前還在實(shí)施中，之前建設(shè)的視頻監(jiān)控體系中存在大量封裝、編碼格式不一致的視頻數(shù)據(jù)，觀看不同格式的數(shù)據(jù)需要不同的播放軟件。

完全靠人工查看的方式和視頻資料的體量相比較而言效率很低。一個(gè)平安城市的視頻監(jiān)控建設(shè)，少則幾千路，多則上萬(wàn)路甚至數(shù)十萬(wàn)路。我們舉一個(gè)例子，一個(gè)視頻監(jiān)控?cái)?shù)據(jù)達(dá)到一萬(wàn)路的某地，因?yàn)榘l(fā)生某刑事案件，需要調(diào)用其中100路的24小時(shí)錄像來(lái)查找線索，如果一個(gè)辦案人員按正常速度看完所有視頻資料需要2400小時(shí)，按4倍速看也需要600小時(shí)，如果需要提高查看速度只能使用“人海戰(zhàn)術(shù)”增加查看視頻的人員。而且，使用人工有一弊端，都是容易疲勞，注意力無(wú)法長(zhǎng)時(shí)間集中，或者注意力集中了也容易忽略視頻中的某些目標(biāo)，時(shí)而需要多次查看同一視頻資料來(lái)保證查證效果。

視頻數(shù)據(jù)的匯總的困難。以平安城市為例，分布式存儲(chǔ)和集中式存儲(chǔ)在實(shí)際應(yīng)用中都是并存的。對(duì)于分布式存儲(chǔ)來(lái)說(shuō)，需要對(duì)視頻數(shù)據(jù)進(jìn)行檢索時(shí)，如果我們的檢索人員不能分布式工作，要求集中式工作，那么就要求對(duì)分布的視頻數(shù)據(jù)進(jìn)行匯總。

同樣的，以上述的100路24小時(shí)錄像為例，假設(shè)這100路平均碼率為2Mb/S，每一路24小時(shí)的錄像文件大小約172800Mb，100路的錄像都通過(guò)網(wǎng)絡(luò)上傳到集中檢索所在處需要消耗的帶寬為17280000Mb約等于2110GByte。如果經(jīng)過(guò)普通寬帶，以1Mb/S的速度傳輸，傳輸完1路24小時(shí)的錄像文件需要48小時(shí)。

通過(guò)千兆網(wǎng)絡(luò)可能達(dá)到500Mb/S的速度，但考慮到大部分存儲(chǔ)使用普通硬盤上，硬盤的IO瓶頸使實(shí)際的傳輸達(dá)不到這樣的速度，假設(shè)為100Mb/S，以這樣的速度傳輸，需要30分鐘左右。如果串行傳輸完100路，需要3000分鐘。

如果不用網(wǎng)絡(luò)傳輸數(shù)據(jù)，以更為原始的插拔硬盤集中的方式，則需要更多的人力、運(yùn)輸成本，還不考慮插拔對(duì)硬盤帶來(lái)可能的損傷。

對(duì)于集中式存儲(chǔ)則沒(méi)有這個(gè)問(wèn)題，但本文并非討論分布式存儲(chǔ)和集中式存儲(chǔ)的優(yōu)劣，不進(jìn)一步展開分析。

這三個(gè)問(wèn)題中，隨著國(guó)標(biāo)的推出，各廠家的標(biāo)準(zhǔn)化工作推進(jìn)，以及部分有研發(fā)實(shí)力的高兼容性軟件的實(shí)現(xiàn)，第一個(gè)問(wèn)題可以逐步解決或者不成為問(wèn)題，其它兩個(gè)問(wèn)題在現(xiàn)有框架和技術(shù)下成為海量視頻數(shù)據(jù)檢索的最大障礙。

我們回過(guò)頭來(lái)考慮視頻數(shù)據(jù)的檢索本身，我們需要在視頻中檢索什么？絕大大部分情況下，視頻畫面中運(yùn)動(dòng)的物體才是我們關(guān)注的目標(biāo)，也正是需要檢索的對(duì)象。針對(duì)這一點(diǎn)，我們可以把視頻數(shù)據(jù)分為兩種：有運(yùn)動(dòng)目標(biāo)的視頻數(shù)據(jù)和靜止場(chǎng)景視頻數(shù)據(jù)。這就是提升海量視頻數(shù)據(jù)檢索速度的第一個(gè)方法：

有效視頻數(shù)據(jù)提取

該方法的技術(shù)基石是圖像分析技術(shù)中的移動(dòng)偵測(cè)技術(shù)。該技術(shù)在業(yè)界已經(jīng)比較成熟。移動(dòng)偵測(cè)我們可以在前端設(shè)備中完成，也可以通過(guò)后端處理來(lái)執(zhí)行。以24小時(shí)錄像來(lái)說(shuō)，鬧市區(qū)場(chǎng)景的錄像可能有1/3左右的錄像是無(wú)運(yùn)動(dòng)目標(biāo)；而郊區(qū)場(chǎng)景的錄像可能有2/3左右的錄像是無(wú)運(yùn)動(dòng)目標(biāo)，在檢索視頻數(shù)據(jù)時(shí)，我們只需要觀看有運(yùn)動(dòng)目標(biāo)的視頻數(shù)據(jù)即可，無(wú)論是1/3或2/3，均能顯著降低所需檢索視頻數(shù)據(jù)的大小。

但是，在執(zhí)行完視頻濃縮后，似乎又陷入了人海戰(zhàn)術(shù)的困境。如今，智能化監(jiān)控大行其道，我們的智能分析算法能為視頻檢索帶來(lái)什么呢？目前，業(yè)界推出的智能產(chǎn)品已經(jīng)有周界防范、車牌識(shí)別、人臉識(shí)別等較成熟產(chǎn)品，在這些產(chǎn)品里面，觸發(fā)周界防范規(guī)則的物體，被識(shí)別的車牌和人臉，都可作為視頻檢索的輸入檢索條件。智能算法可以集成在前端嵌入式設(shè)備中，也可以在后端設(shè)備中進(jìn)行視頻數(shù)據(jù)的分析。除了利用移動(dòng)偵測(cè)技術(shù)外，這里提出提升海量數(shù)據(jù)檢索速度的第二個(gè)方法：

基于智能視頻分析算法的檢索

前面提到，一段24小時(shí)的錄像，人工查看即使用4倍速查看也需要6小時(shí)，而利用計(jì)算機(jī)通過(guò)智能視頻分析算法進(jìn)行視頻的自動(dòng)檢索，檢索的速度則取決于視頻解碼和分析算法的運(yùn)行速度。我們以對(duì)4cif的視頻數(shù)據(jù)執(zhí)行周界防范算法為例，一幀視頻數(shù)據(jù)解碼加上算法執(zhí)行的平均時(shí)間可以控制在10ms左右，也就是相當(dāng)于4倍速。同樣四倍速，一個(gè)是不知疲倦的計(jì)算機(jī)，一個(gè)是極易疲倦和出錯(cuò)的人腦。孰優(yōu)孰劣，一目了然。

然而，利用計(jì)算機(jī)進(jìn)行視頻數(shù)據(jù)自動(dòng)分析及檢索，引出了海量數(shù)據(jù)快速視頻檢索的一大挑戰(zhàn)，視頻數(shù)據(jù)解碼及智能視頻分析算法將消耗大量的計(jì)算資源，計(jì)算機(jī)的性能瓶頸將嚴(yán)重制約海量數(shù)據(jù)的檢索速度，檢索效率還是無(wú)法得到有效的提升。如果我們檢索對(duì)象是海量視頻數(shù)據(jù)經(jīng)過(guò)解碼并通過(guò)智能算法分析后輸出的智能源數(shù)據(jù)(Meta Data)，檢索速度將大大提高。這里提出提升海量數(shù)據(jù)檢索速度的第三個(gè)方法，也是關(guān)鍵性的方法：

基于視頻數(shù)據(jù)的元數(shù)據(jù)的檢索

如果我們把1段24小時(shí)的錄像，經(jīng)過(guò)解碼，智能分析，把獲取到的智能元數(shù)據(jù)都存儲(chǔ)下來(lái)，對(duì)元數(shù)據(jù)的查詢速度可以達(dá)到十秒的量級(jí)。

我們來(lái)回顧一段24小時(shí)錄像文件的查詢速度提升過(guò)程：人工，正常速度查詢，24小時(shí)；人工，四倍速查詢，6小時(shí)；視頻濃縮后，人工四倍速查詢，3小時(shí)左右；視頻濃縮后，基于智能分析算法查詢，3小時(shí)左右；基于視頻數(shù)據(jù)的元數(shù)據(jù)查詢，十秒量級(jí)。

可以看到，最后一步才是質(zhì)的提升，檢索速度量級(jí)的飛躍。到此，看上去很美，真的這么美嗎？基于元數(shù)據(jù)的查詢存在哪些問(wèn)題呢？

移動(dòng)偵測(cè)算法雖然比較成熟，但對(duì)于飛蟲干擾、燈光干擾、樹葉抖動(dòng)等問(wèn)題目前還沒(méi)有特別有效的解決辦法；基于智能分析算法的檢索，比如車牌識(shí)別、人臉識(shí)別，對(duì)視頻數(shù)據(jù)的場(chǎng)景要求比較高，普通的治安監(jiān)控視頻基本無(wú)法執(zhí)行這種分析。對(duì)于視頻場(chǎng)景適應(yīng)性相對(duì)較好的周界防范，行為分析算法來(lái)說(shuō)，雖然能較為準(zhǔn)確分析出目標(biāo)，但是對(duì)于目標(biāo)進(jìn)一步的分類，比如人、物、非機(jī)動(dòng)車、機(jī)動(dòng)車、目標(biāo)的屬性特征,比如顏色、紋理、形狀等，目前還是業(yè)界面臨的技術(shù)難題。

雖然有上述兩大難題，隨著元數(shù)據(jù)的標(biāo)準(zhǔn)化，以及前端設(shè)備實(shí)時(shí)產(chǎn)生元數(shù)據(jù)和后處理產(chǎn)生元數(shù)據(jù)兩種機(jī)制和產(chǎn)品的并存，基于元數(shù)據(jù)的檢索必然會(huì)成為海量視頻數(shù)據(jù)檢索的主流。