面向視頻偵查應(yīng)用的跨攝像頭車輛比對(duì)方法

孫 鵬 牛宇豪 田正方 劉滿良 單大國(guó) 王新宇

（1 中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽(yáng) 110035;2 現(xiàn)場(chǎng)物證溯源技術(shù)國(guó)家工程實(shí)驗(yàn)室 北京 100038；3 天津市濱海新區(qū)公安局溏沽分局 天津 300450；4 江西省經(jīng)濟(jì)犯罪偵查與防控技術(shù)協(xié)同創(chuàng)新中心 江西 南昌 330103;5 東莞市公安局刑警支隊(duì) 廣東 東莞 523008）

1 引 言

當(dāng)前的公安執(zhí)法與辦案實(shí)踐中，以城市視頻監(jiān)控系統(tǒng)為代表的天網(wǎng)工程發(fā)揮了越來(lái)越重要的作用。依托現(xiàn)有的網(wǎng)絡(luò)視頻監(jiān)控體系，數(shù)以百萬(wàn)計(jì)的視頻監(jiān)控?cái)z像頭能夠?qū)崟r(shí)的向指揮中心傳輸清晰的視頻。在案件偵辦過(guò)程中，通過(guò)監(jiān)控視頻尋找嫌疑車輛獲取案件線索，最終鎖定抓捕犯罪嫌疑人已經(jīng)成為當(dāng)前公安機(jī)關(guān)的常用手段之一。從海量的視頻監(jiān)控資料當(dāng)中找出嫌疑車輛則是視頻偵查的重點(diǎn)工作。目前，在視頻監(jiān)控中查找嫌疑車輛完全是通過(guò)人工的方式進(jìn)行，從案發(fā)調(diào)取相關(guān)視頻資料到找到案件相關(guān)線索的時(shí)間跨度大，容易出現(xiàn)誤判或者漏判，導(dǎo)致犯罪嫌疑車輛具有充分的時(shí)間逃逸。根據(jù)嫌疑車輛特征進(jìn)行自動(dòng)快速的比對(duì)查找則是一種高效的方法。通過(guò)將包含有嫌疑車輛的視頻關(guān)鍵幀與樣本車輛的視頻截圖提取特征點(diǎn)后進(jìn)行比對(duì)，通過(guò)相似度的高低來(lái)認(rèn)定該幀所記錄的車輛是否為所要查找的嫌疑車輛，從而實(shí)現(xiàn)鎖定與跟蹤犯罪嫌疑車輛的目的。在上述過(guò)程中，圖像特征的選擇在車輛自動(dòng)比對(duì)中至關(guān)重要。目前，幾何特征、彩色特征、紋理特征等在目標(biāo)（運(yùn)動(dòng)）識(shí)別、感興趣區(qū)域匹配方面都得到了廣泛的應(yīng)用。上海大學(xué)的徐偉團(tuán)隊(duì)[1]通過(guò)Harris算法對(duì)運(yùn)動(dòng)車輛的特征點(diǎn)進(jìn)行提取從而測(cè)得車速。此方法建立在特征點(diǎn)選擇恰當(dāng)?shù)幕A(chǔ)上，但在視頻信號(hào)中并不總是能夠準(zhǔn)確選取穩(wěn)定且有效的特征點(diǎn)。國(guó)防科學(xué)技術(shù)大學(xué)的唐永鶴團(tuán)隊(duì)[2]提出的Laplacian算子對(duì)圖像的LoG變換響應(yīng)所描述的局部特征的算法。該方法對(duì)圖像的角度、亮度、模糊程度的變化不敏感。長(zhǎng)沙理工大學(xué)的傅明團(tuán)隊(duì)提出了一種根據(jù)圖像主色相似度的差分統(tǒng)計(jì)直方圖均值的特征提取算法。

上述團(tuán)隊(duì)使用各種復(fù)雜算法對(duì)圖像進(jìn)行處理，然后根據(jù)運(yùn)算結(jié)果提取特征，普遍存在著計(jì)算量大的問(wèn)題。Lowe等[3]提出的SIFT算法對(duì)于光線、噪聲、輕微視角改變不敏感，同時(shí)將金字塔結(jié)構(gòu)引入尺度空間從而減少了計(jì)算量。該算法計(jì)算簡(jiǎn)單效果顯著，特別適用于公安領(lǐng)域的視頻偵查、圖像特征提取與比對(duì)等工作。為更好適應(yīng)公安工作對(duì)實(shí)時(shí)性的高要求，本文通過(guò)將提取視頻關(guān)鍵幀，并進(jìn)行二值化與腐蝕膨脹等預(yù)處理得到主體輪廓圖像，并與SIFT算法相結(jié)合，提出了一種面向視頻偵查應(yīng)用的跨攝像頭車輛比對(duì)方法。該方法極大的縮短了計(jì)算時(shí)間，同時(shí)能夠完成車輛特征識(shí)別與比對(duì)的預(yù)期要求。

2 本文方法

本文在進(jìn)行SIFT特征提取之前，首先使用幀差法提取視頻關(guān)鍵幀，然后利用二值化與腐蝕膨脹等預(yù)處理方法降低數(shù)據(jù)冗余，得到包含犯罪嫌疑車輛形態(tài)特征的主體輪廓圖像，從而有效地避免了其他方法計(jì)算復(fù)雜、實(shí)時(shí)性差的問(wèn)題。特征提取階段，通過(guò)構(gòu)建圖像金字塔與圖像差分金字塔，將二維圖像中的每一個(gè)點(diǎn)變換至三維空間當(dāng)中，使其與三維空間中附近鄰域的其他點(diǎn)進(jìn)行圖像域與尺度域的比較，如果一個(gè)點(diǎn)在運(yùn)算過(guò)程中相對(duì)領(lǐng)域取得了極值。那么該點(diǎn)就是極值點(diǎn)，也即SIFT特征點(diǎn)。下一步的工作就是對(duì)SIFT特征點(diǎn)的位置、所處尺度與方向這3個(gè)數(shù)據(jù)進(jìn)行計(jì)算與確定。

每個(gè)點(diǎn)的方向都是由其鄰域的128維方向綜合估計(jì)得出。鄰域中數(shù)目最多的方向確定為主方向，鄰域中數(shù)目比較多的方向確定為輔助方向，最終的特征點(diǎn)方向則是由這些方向綜合得出的。如果一個(gè)特征點(diǎn)的相鄰鄰域方向與另一視頻關(guān)鍵幀中的某個(gè)特征點(diǎn)的相鄰鄰域方向完全相同，則說(shuō)明這兩個(gè)特征點(diǎn)相匹配。如圖1所示為本文提出的跨攝像頭車輛比對(duì)流程示意圖。

圖1 車輛比對(duì)流程示意圖

2.1 預(yù)處理過(guò)程

進(jìn)行預(yù)處理的第一步是從海量的監(jiān)控視頻中提取視頻關(guān)鍵幀[4-5]如圖2，以及關(guān)鍵幀在時(shí)間軸向前向后緊鄰的4幅幀圖像共計(jì)5幅圖像，將其在RGB色彩空間轉(zhuǎn)換為灰度圖像，之后利用幀差法計(jì)算：

得到兩幅顯示車輛輪廓的灰度圖像，將噪點(diǎn)少的圖像選出，并使用最大類間方差算法測(cè)量二值化閾值θ：

根據(jù)視頻設(shè)備與視頻設(shè)備所處環(huán)境的現(xiàn)實(shí)情況，對(duì)θ值進(jìn)行人工調(diào)整后得到視頻關(guān)鍵幀的二值化圖像如圖3。再用中值濾波器進(jìn)行濾波去除噪點(diǎn)，通過(guò)使用膨脹與腐蝕算法進(jìn)行計(jì)算，使二值圖像中汽車的位置值為1而其他位置值為0。設(shè)此二值圖像為如圖4， 在R、G、B三個(gè)維度分別為疊加得到僅顯示運(yùn)動(dòng)車輛的幀如圖5。

圖2 視頻中的待檢測(cè)幀

圖3 灰度圖像做幀差法運(yùn)算

圖4 膨脹與腐蝕后得到連通域

圖5 將區(qū)域顯示原RGB圖

需要說(shuō)明的是，上述幀差法運(yùn)算中使用了視頻關(guān)鍵幀與相鄰的多幅虛擬幀，從而達(dá)到了進(jìn)一步突出運(yùn)動(dòng)物體的效果。幀差法運(yùn)算之后利用中值濾波器進(jìn)行去噪處理。之后又進(jìn)行了多次膨脹操作與腐蝕操作，從而得到最終的車輛主體輪廓圖像。圖6為未經(jīng)預(yù)處理的圖像的SIFT特征點(diǎn)，圖7為經(jīng)過(guò)預(yù)處理之后得到的主體輪廓圖像中的SIFT特征點(diǎn)。

圖6 未經(jīng)預(yù)處理的圖像中的SIFT特征點(diǎn)（兩張圖的特征點(diǎn)數(shù)量分別是15238與14078）

圖7 經(jīng)預(yù)處理的圖像中的SIFT特征點(diǎn)（兩張圖的特征點(diǎn)數(shù)量分別是853與748）

2.2 SIFT特征提取與比對(duì)

首先構(gòu)建包含有犯罪嫌疑車輛關(guān)鍵幀的尺度空間[6～7]，令I(lǐng)（x，y）表示截取的視頻關(guān)鍵幀圖像，其所對(duì)應(yīng)的尺度空間L（x，y，σ）定義為：

其中G（x，y，σ）是尺度可變高斯函數(shù)：

早期康復(fù)護(hù)理的具體內(nèi)容是在患者發(fā)病后的24小時(shí)內(nèi)便進(jìn)行護(hù)理干預(yù)，不僅加強(qiáng)患者的基礎(chǔ)護(hù)理，同時(shí)，在各個(gè)階段中，根據(jù)患者的具體情況指導(dǎo)其進(jìn)行針對(duì)性功能鍛煉，引導(dǎo)患者完成強(qiáng)度不同的功能鍛煉與康復(fù)指導(dǎo)，一方面能夠顯著改善患者大腦功能的重建效果，促進(jìn)非損傷區(qū)的神經(jīng)功能，改善機(jī)體的肢體功能，一方面也有利于預(yù)防患者發(fā)生肌肉萎縮[3]。

即一個(gè)變化尺度的高斯函數(shù)G（x，y，σ）與視頻關(guān)鍵幀圖像I（x，y）的卷積。同時(shí)，利用不同的高斯差分核與I（x，y）卷積：

視頻關(guān)鍵幀圖像I（x，y）在尺度空間的實(shí)現(xiàn)則可以用高斯金字塔來(lái)表示，高斯金字塔的構(gòu)建分為模糊和降采樣兩個(gè)步驟。首先使用含有車輛主體輪廓的圖像作為金字塔的底層，隔點(diǎn)采樣得出的圖像則為上一層，通過(guò)此方法不斷重復(fù)的使車輛主體輪廓圖像疊加。表1為金字塔層數(shù)與圖像大小之間的關(guān)系，可以看到圖像越大，金字塔的層數(shù)越小。

表1 金字塔層數(shù)與圖像大小之間的關(guān)系

為了使得關(guān)鍵幀圖像尺度擁有連續(xù)性，對(duì)構(gòu)成高斯金字塔的主體輪廓圖像進(jìn)行高斯濾波，調(diào)整高斯參數(shù)得到各層含有不同尺度、同一層含有同尺度不同模糊程度主體輪廓圖像的高斯金字塔。如圖8為高斯多層金字塔建立的過(guò)程。

圖8 高斯多層金字塔建立的過(guò)程

在實(shí)際計(jì)算時(shí)，依據(jù)（6）使用高斯金字塔每組中相鄰上下兩層圖像進(jìn)行相減：

得到高斯差分空間D（x，y，σ），在此空間中尋找極值點(diǎn)，若某點(diǎn)像素在與相鄰像素（空間中與之相鄰的26個(gè)像素）比較之后是最大或最小值時(shí)，就認(rèn)為該點(diǎn)是該尺度下的一個(gè)特征點(diǎn)。同時(shí)利用梯度公式計(jì)算出（x，y）處梯度的模值與方向：

其中L所用的尺度為每個(gè)點(diǎn)各自所在的尺度。圖9為車輛特征點(diǎn)相鄰鄰域的方向向量。為了得出特征點(diǎn)的方向，每個(gè)特征點(diǎn)的鄰域被劃分為4個(gè)子區(qū)域如圖10。鄰域域內(nèi)的像素均進(jìn)行方向計(jì)算并進(jìn)行權(quán)重處理，距離中心越遠(yuǎn)，權(quán)重越小，從而得出特征點(diǎn)的模值與方向。Sift算法利用圖像特征點(diǎn)的位置、尺度與方向的對(duì)比確定兩幅圖像（局部）的相似程度。為了確定特征點(diǎn)在4×4×8=128維方向上的參數(shù)，圖像的特征點(diǎn)的各個(gè)鄰域方向進(jìn)行統(tǒng)計(jì)，距離遠(yuǎn)的權(quán)重小，最終通過(guò)一個(gè)柱狀統(tǒng)計(jì)圖如圖11來(lái)確定方向。若特征點(diǎn)在檢材與樣本兩幅視頻關(guān)鍵幀中128維方向向量互相匹配，則判定這兩個(gè)特征點(diǎn)之間具有一致性[8～10]。

圖9 車輛特征點(diǎn)相鄰鄰域的方向向量

圖10 特征點(diǎn)的鄰域向量圖

圖11 方向向量統(tǒng)計(jì)圖

3 實(shí)驗(yàn)

選取若干段視頻，分別進(jìn)行了3組包含目標(biāo)車輛的視頻進(jìn)行處理與比對(duì)實(shí)驗(yàn)：第1個(gè)實(shí)驗(yàn)是同車同角度視頻片段進(jìn)行特征比對(duì)，第2個(gè)實(shí)驗(yàn)是同車不同角度視頻片段進(jìn)行特征比對(duì)，第3個(gè)實(shí)驗(yàn)是不同車視頻片段進(jìn)行特征比對(duì)。3個(gè)實(shí)驗(yàn)分別對(duì)包含有車輛的監(jiān)控視頻關(guān)鍵幀進(jìn)行SIFT特征點(diǎn)比對(duì)與連線。

此外，由于攝像頭拍攝環(huán)境、角度、亮度等問(wèn)題均會(huì)影響不同車輛的特征點(diǎn)匹配，所以在對(duì)車輛進(jìn)行檢測(cè)前，首先通過(guò)若干組實(shí)驗(yàn)確定實(shí)驗(yàn)所需最小特征點(diǎn)匹配數(shù)。在本次實(shí)驗(yàn)條件下：①同車同角度進(jìn)行比對(duì)時(shí)，匹配特征點(diǎn)至少達(dá)到14個(gè)。②同車不同角度進(jìn)行比對(duì)時(shí)，匹配特征點(diǎn)至少達(dá)到11個(gè)。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境：PC：MSI GT72 6QD-839；操作系統(tǒng)：Windows 10企業(yè)版；軟件：MATLAB R2016b。表2為實(shí)驗(yàn)中所使用的實(shí)驗(yàn)視頻的基本屬性。

表2 實(shí)驗(yàn)對(duì)象基本屬性

3.2 視頻內(nèi)容

視頻內(nèi)容可以簡(jiǎn)單描述如下：加裝前后保險(xiǎn)杠與左右踏板的豐田漢蘭達(dá)汽車，從北向南沿窄路緩慢進(jìn)入“刑技樓外東北處卡口”拍攝范圍，路兩側(cè)均為草地與樹(shù)木等靜物如圖12。第2次經(jīng)過(guò)時(shí)，車輛與攝像頭之間的角度與第1次有所不同如圖13。大眾速騰汽車與日產(chǎn)尼桑天籟汽車，從北向南沿同一條窄路緩慢進(jìn)入“刑技樓外東北處卡口”拍攝范圍如圖14。

圖12 同車同角度的視頻幀

圖13 同車不同角度的視頻幀

圖14 不同車不同角度的視頻幀

3.3 實(shí)驗(yàn)及結(jié)果

根據(jù)實(shí)驗(yàn)對(duì)象特點(diǎn)，對(duì)預(yù)處理中二值化參數(shù)進(jìn)行適當(dāng)調(diào)整后，即可以實(shí)現(xiàn)跨攝像頭的車輛特征比對(duì)。圖15～17分別對(duì)應(yīng)了3個(gè)不同的實(shí)驗(yàn)的結(jié)果。

實(shí)驗(yàn)1中，SIFT檢測(cè)算法對(duì)于同一輛車以相同角度通過(guò)同一位置會(huì)計(jì)算16個(gè)有效匹配特征點(diǎn)如圖15所示。實(shí)驗(yàn)2中，SIFT算法即使對(duì)于角度與尺度變化的車輛計(jì)算出15個(gè)有效匹配特征點(diǎn)如圖16。實(shí)驗(yàn)3中，SIFT算法對(duì)不同車輛進(jìn)行檢測(cè)會(huì)計(jì)算出6個(gè)匹配特征點(diǎn)如圖17。表3為對(duì)上述3個(gè)不同的特征點(diǎn)比對(duì)實(shí)驗(yàn)中時(shí)間消耗、特征點(diǎn)有效匹配數(shù)、最小特征點(diǎn)匹配數(shù)的統(tǒng)計(jì)。

通過(guò)以上實(shí)驗(yàn)可以得出，視頻片段中的SIFT特征比對(duì)是否能夠得出兩輛車系同一輛的車的認(rèn)定結(jié)果，源自于每個(gè)實(shí)驗(yàn)的兩張視頻關(guān)鍵幀中特征點(diǎn)匹配數(shù)量的多少。

圖15 實(shí)驗(yàn)1的比對(duì)結(jié)果

圖16 實(shí)驗(yàn)2的比對(duì)結(jié)果

圖17 實(shí)驗(yàn)3的比對(duì)結(jié)果

表3 實(shí)驗(yàn)結(jié)果分析

4 結(jié)論

通過(guò)實(shí)驗(yàn)證實(shí)，使用本文的比對(duì)算法對(duì)圖像特征點(diǎn)進(jìn)行查找比對(duì)，能夠?qū)崿F(xiàn)對(duì)嫌疑車輛進(jìn)行自動(dòng)比對(duì)的目的，在視頻中車輛加裝了個(gè)性化配飾前提下，仍然準(zhǔn)確識(shí)別出對(duì)象車輛，基本滿足預(yù)定目標(biāo)，并為下一步進(jìn)行視頻監(jiān)控實(shí)時(shí)比對(duì)提供了思路與數(shù)據(jù)。但是通過(guò)多次實(shí)驗(yàn)仍然發(fā)現(xiàn)該方法有一定的局限性，如車輛通過(guò)監(jiān)控時(shí)，攝像頭拍攝車輛的角度不易相差過(guò)大，否則系統(tǒng)無(wú)法自動(dòng)識(shí)別并匹配樣本與檢材。同時(shí)，由于使用的筆記本計(jì)算機(jī)運(yùn)算速度的局限性，本算法仍然達(dá)不到實(shí)時(shí)查找與比對(duì)自動(dòng)識(shí)別視頻中重點(diǎn)內(nèi)容的方法，將作為公共安全領(lǐng)域中的一個(gè)重要方向繼續(xù)發(fā)展，更精確的算法、更快捷的程序均能提高自動(dòng)識(shí)別算法的運(yùn)算效率。