語義與統(tǒng)計相結(jié)合的智能行為分析關(guān)鍵技術(shù)研究

吳月娥 邊后琴

摘 要:智能行為分析是計算機視覺領(lǐng)域的核心問題,行為分析的最大難點在于表示的基本元素跨度極大,而且物體的圖像又是千變?nèi)f化,因此在智能行為分析系統(tǒng)中必須結(jié)合語義與統(tǒng)計信息。針對建立智能行為分析系統(tǒng)的需求,首先建立既能表達用戶語義,又能表達千變?nèi)f化的場景和物體統(tǒng)計信息的“圖像語法”;然后通過將學(xué)習(xí)過程理解為迭代投影過程,建立一個統(tǒng)一的機器學(xué)習(xí)方法,實現(xiàn)較復(fù)雜的場景和行為的分析和識別。

關(guān)鍵詞:智能視頻監(jiān)控;語義信息;統(tǒng)計學(xué)習(xí);圖像語法

中圖分類號:TP391

0 引 言

近年來,視頻監(jiān)控系統(tǒng)隨著它的需求的發(fā)展而飛速發(fā)展,其應(yīng)用也越來越廣泛,在保安、交通、金融、水利、電力等各行業(yè)都發(fā)揮著不可替代的作用。智能視頻監(jiān)控的關(guān)鍵技術(shù)集中在對視頻內(nèi)容的分析處理上。目前,多數(shù)情況下監(jiān)控系統(tǒng)只充當(dāng)了錄像的功能,都是在發(fā)生異常事件后,重新回放,進行人工分析。而真正賦予視頻監(jiān)控全新意義的變革,在于當(dāng)前正在推進的智能視頻監(jiān)控技術(shù)。其中“智能”是指通過多個網(wǎng)絡(luò)攝像頭自動識別和跟蹤場景、行人、車輛等目標(biāo),從海量的視頻錄像中識別和提取復(fù)雜的行為和事件,及時供決策者使用和查詢[6[CD*2]8]。

研發(fā)智能行為分析系統(tǒng)的復(fù)雜度遠遠超過了人們的預(yù)期,這主要是因為各種應(yīng)用場景十分復(fù)雜(街道、大院、房間、公路等),場景的人物、物體、車輛等千變?nèi)f化,光照、天氣變化無常,根本無法預(yù)先設(shè)定和控制。特別是用戶的需求不僅精確度高而且多種多樣,某個行為和事件是否正常,與其所發(fā)生的場合或時間有關(guān),必須由用戶根據(jù)具體需要和當(dāng)前任務(wù)來靈活決定,而且異常行為極少出現(xiàn)。因此建立智能行為識別與分析系統(tǒng)的一個關(guān)鍵技術(shù)是融合語義和統(tǒng)計信息‐[4,9]。語義信息是指系統(tǒng)必須提供一個可視化的符號語言或者事件語法,通過一組圖形化的語義符號來表達用戶根據(jù)不同場景、不同時間段而設(shè)定的其所感興趣的物體和行為;統(tǒng)計信息是指通過統(tǒng)計學(xué)習(xí)方法建立的圖像語法和統(tǒng)計模型,該模型將抽象的語義符號與千變?nèi)f化的視頻信號相結(jié)合。

1 融入隨機上下文的圖像語法表示

自然場景是高度復(fù)雜又高度結(jié)構(gòu)化的,這種結(jié)構(gòu)化正是圖像語法的根源。圖像語法的直觀意思是:從統(tǒng)計的觀點來看,圖像中的某些元素在一起出現(xiàn)的概率很高,通過一些組合規(guī)則它們形成新的,更大的結(jié)構(gòu)元素,如人眼,鼻,嘴,耳在自然圖像中通常是一起出現(xiàn)的,它們共同構(gòu)成了人臉這種視覺模式;通過對這一現(xiàn)象建模,即可利用與或圖來建立圖像語法,如┩1所示。與或圖中包含三種節(jié)點:用實線圓圈表示的與節(jié)點,如┩1中獳,E,F等節(jié)點,與節(jié)點的孩子結(jié)點必須同時出現(xiàn)才能構(gòu)成其本身;或節(jié)點,用虛線圓圈表示,如圖1中獴,C,D等,或節(jié)點每次只選擇一個孩子節(jié)點參加構(gòu)造,表示一種實例;終端節(jié)點,用方框表示,如圖中1,2,3等。與節(jié)點表示分解過程,或節(jié)點表示開關(guān)變量作用,用來選擇一種配置,終端節(jié)點表示某個層次上的一種圖結(jié)構(gòu);一個與或圖包含多個解譯樹,通過在或節(jié)點處選擇不同的孩子節(jié)點可以得到不同的解譯樹,圖中粗線所示即為一種解譯樹。

一個與節(jié)點要么直接終結(jié)為一個終端節(jié)點,或能分解成幾個構(gòu)造部分:

式中:V璗={t1,…t﹎(T)獇是終端節(jié)點集,包含各種視覺字典的元素,如圖像基元、子圖和物體部分等;[WTHT]R[WTBX]是定義在節(jié)點間上的關(guān)系集,Ъ幢硎窘詰慵淶暮嵯蛄系:

Σ表示所有由與或圖生產(chǎn)的有效配置,即與或圖的語言:

玴是定義在與或圖上的概率模型,包含定義在或節(jié)點上的隨機上下文無關(guān)語法(SCFG)概率模型以及定義在不同節(jié)點之間關(guān)系的能量約束。

可知,與或圖實際上是定義了一種隨機上下文相關(guān)語法,用來表示圖像語法,其中V璗是其字典,V璑表示其產(chǎn)生規(guī)則,Σ表示其語言,R表示上下文信息;與或圖表示中,字典中元素的個數(shù),以及產(chǎn)生規(guī)則的個數(shù)都很小,但是其語言表示能力強,即能表示的配置數(shù)目很大:￢璑∪V璗顋Σ|。

在融入圖像語法的與或圖中,通過對所有或節(jié)點處進行選擇,可以得到一個解譯圖。就融入事件語法的時空與或圖來說,通過對其中所有或節(jié)點進行選擇,并將同一物體在時間維上的運動情況用軌跡描述,可以得到(x,y,t)坐標(biāo)系下一個軌跡圖,如圖2所示。每幀圖像表示為一個場景分解的解譯圖,以物體為基本描述單元,它們的運動由幀間軌跡表示。 圓圖表示的是運動中發(fā)生的一些離散的行動,即:①為行人上車;②為行人下車;③為車輛進入場景;④為車輛離開場景。具體表現(xiàn)為軌跡的分合。對應(yīng)于解譯圖,一個軌跡圖就代表一個場景的一段視頻實例,如圖3所示。對于圖中左邊的一段視頻,對其中感興趣物體(行人、車輛)進行識別和跟蹤,從而可以在(x,y,t)坐標(biāo)系下,得到對應(yīng)的運動軌跡,形成軌跡圖;這相對于在關(guān)于該場景的融入事件語法的時空與或圖中,對所有或節(jié)點進行一次選擇(通過識別和匹配),并將同一物體在時間維上的運動情況用軌跡描述,也可以生成一個軌跡圖。同時對任一給定的時刻t,從軌跡圖就可到對應(yīng)幀圖像的解譯圖,如圖中右下角圖所示。基于軌跡圖中各個物體軌跡之間的各種關(guān)系,就可以對行為和事件進行分析。И

下一步的問題是如何在與或圖上定義概率模型來對實際的場景和視覺模型進行建模,給定與或圖,其概率模型定義為如下Gibbs分布形式:

2 統(tǒng)一機器學(xué)習(xí)

統(tǒng)一機器學(xué)習(xí)分為兩步:

(1) 學(xué)習(xí)終端節(jié)點集V璗,即從自然圖像中學(xué)習(xí)視覺字典,如衣服中的衣領(lǐng)等;

(2) 基于學(xué)到的V璗,通過構(gòu)造,學(xué)習(xí)非終端節(jié)點V璑,Ъ囪習(xí)自然圖像中的產(chǎn)生規(guī)則。

終端節(jié)點有兩種類型:一種表示高熵模式,如各種紋理,來自圖像空間的隱式流形,即可以通過隱式函數(shù)來描述,其維度比較高;另一種表示一些低熵模式,如各種剛性結(jié)構(gòu)物體,卡通等,來自圖像空間的顯式流形,即可以通過顯式函數(shù)來描述,其維度一般都比較低。

對終端節(jié)點的學(xué)習(xí),即在它們所處的流形子空間上建立概率模型。在此通過有監(jiān)督的方式來學(xué)習(xí)。給定Ω﹐bs1,定義在|∧珅=5×7到11×11上的原始圖像塊集合作為訓(xùn)練樣本集,記f(I)為I在樣本集中的出現(xiàn)頻率,p(I)為所要學(xué)習(xí)的概率模型,通過最小化它們之間的KL[CD*2]測度:

式中:獷璮表示關(guān)于f的數(shù)學(xué)期望。根據(jù)極大似然估計,使用樣本均值逼近數(shù)學(xué)期望,可得:

式中:Ω璸為求解空間,實際學(xué)習(xí)過程是通過逐漸逼近求解:

學(xué)習(xí)了終端節(jié)點,相當(dāng)于建立了與或圖表示的字典。下一步通過構(gòu)造,即在字典集上對各種關(guān)系進行測試,逐級向上學(xué)習(xí)各種非終端節(jié)點。

通過建立20類場景和100類物體的與或圖表示,相當(dāng)于建立圖像語義解譯的表示知識庫:字典和關(guān)系庫,形成了20類場景和100類物的產(chǎn)生式模型庫Δゞen:

3 實驗結(jié)果

圖4所示為一個普通交通路口中約3 min的視頻錄像,第一行中最左邊為一段視頻示意圖,中間為視頻所對應(yīng)的場景中物體(車和行人)在坐標(biāo)系(x,y,t)中運動軌跡圖,不同顏色代表不同類別的物體.最右邊為┮歡為時間內(nèi)所有運動物體軌跡的二維投影;第二行中,顯示的是抽取的4幀圖象中物體之間關(guān)系空間、運動方向以及相對速度等示意圖。通過對物體運動軌跡的跟蹤和分析,根據(jù)不同軌跡之間的空間和時序上的關(guān)系,場景的屬性(是否紅燈狀態(tài)等)和物體本身的屬性(速度、運動方向等),可以對各種事件(是否有車闖紅燈、兩車是否可能會碰撞、車是否在正確的行駛路段上等)進行檢測和分析,并給出判斷。

以街道十字路口的交通場景為例

4 結(jié) 語

在針對通用智能視頻行為分析系統(tǒng)的應(yīng)用,研究了開發(fā)該系統(tǒng)所需的關(guān)鍵技術(shù),建立一個既能表達用戶高層語義,又能表達千變?nèi)f化的場景和物體統(tǒng)計信息的統(tǒng)一知識表達及其模型,并通過機器學(xué)習(xí)方法來完善這個統(tǒng)一模型的結(jié)構(gòu)與參數(shù)。通過對場景全局信息和運動