視頻中目標(biāo)運(yùn)動(dòng)軌跡提取算法

劉 松 楊洪臣 蔡能斌

（1 四川警察學(xué)院偵查系 四川 瀘州 646000；2 中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽(yáng) 110035；3 上海市現(xiàn)場(chǎng)物證重點(diǎn)實(shí)驗(yàn)室 上海 200000）

1 引言

視頻偵查已經(jīng)成為公安案件偵查中最直接也是最常用的偵查手段，但在偵查過(guò)程中監(jiān)控視頻龐大的信息量及參差不齊的質(zhì)量也給偵查人員工作帶來(lái)了巨大的考驗(yàn)。在海量監(jiān)控視頻中有針對(duì)性的進(jìn)行視頻的分析研判是解決上述偵查難題的有力途徑。通過(guò)提取視頻中目標(biāo)的運(yùn)動(dòng)軌跡，自動(dòng)調(diào)取一系列與目標(biāo)相關(guān)視頻，并分析其中高質(zhì)量視頻片段以達(dá)到案件的高效偵破。

本文利用攝影中的透視規(guī)律對(duì)視頻目標(biāo)在空間中的位置進(jìn)行估計(jì)，實(shí)現(xiàn)了視頻中目標(biāo)運(yùn)動(dòng)軌跡提取，算法效果較傳統(tǒng)方法有了較大的提升。

2 算法介紹

目標(biāo)運(yùn)動(dòng)軌跡提取算法首先通過(guò)背景自適應(yīng)算法實(shí)現(xiàn)視頻背景重構(gòu)，并運(yùn)用背景幀差法實(shí)現(xiàn)前景運(yùn)動(dòng)目標(biāo)的提取，然后利用攝影中的透視原理對(duì)視頻目標(biāo)在空間中的位置進(jìn)行估計(jì)并重構(gòu)。算法實(shí)現(xiàn)流程如圖1。

圖1 算法流程圖

2.1 目標(biāo)定位算法

實(shí)現(xiàn)視頻中運(yùn)動(dòng)目標(biāo)的定位需要實(shí)時(shí)的將視頻中的運(yùn)動(dòng)目標(biāo)提取出來(lái)。本文在文獻(xiàn)[1]中提到一種基于灰度歸類的背景自適應(yīng)重構(gòu)算法，首先通過(guò)該算法重構(gòu)出視頻實(shí)時(shí)背景，其次通過(guò)背景差值法實(shí)現(xiàn)視頻中運(yùn)動(dòng)目標(biāo)的提取，最后進(jìn)一步將前景圖像進(jìn)行二值化處理，并通過(guò)計(jì)算二值圖像最小外接矩來(lái)定位目標(biāo)。目標(biāo)定位算法具體步驟如下：

步驟1：前景提取

前景提取算法是通過(guò)將視頻當(dāng)前幀frame（x，y）同視頻自適應(yīng)重構(gòu)背景bg（x，y）進(jìn)行差值運(yùn)算，得到前景目標(biāo)diff（x，y），有公式（1）：

步驟2：目標(biāo)二值化

選定恰當(dāng)閾值threshold，當(dāng)像素灰度值大于等于閾值threshold時(shí)令該點(diǎn)像素值為1，當(dāng)像素灰度值小于閾值時(shí)令該點(diǎn)像素值為0，可以得到二值化圖像binary（x，y），有公式（2）：

步驟3： 目標(biāo)定位

通過(guò)遍歷前景圖像的二值化矩陣binary（x，y），得到圖像最小外接矩[x1 y1 x2 y2]，實(shí)現(xiàn)目標(biāo)定位[2]。定位最小外接矩上下水平邊界首先計(jì)算每一行元素和，有公式（3）:

然后確定上下邊界x1，x2，有公式（4）：

最小外接矩左右垂直邊界的定位方法同上下水平邊界定位。目標(biāo)定位算法效果如圖2。

圖2 目標(biāo)定位效果圖

2.2 運(yùn)動(dòng)軌跡提取算法

在孫鵬、周純冰等人文獻(xiàn)[3]中提到了一種基于目標(biāo)質(zhì)心位置計(jì)算的目標(biāo)運(yùn)動(dòng)軌跡提取算法，該方法在提取目標(biāo)運(yùn)動(dòng)軌跡上具有一定的效果。本文在前人研究的基礎(chǔ)上，進(jìn)一步對(duì)目標(biāo)運(yùn)動(dòng)軌跡提取算法加以研究，并結(jié)合攝影學(xué)中的透視原理，提出一種根據(jù)視頻中運(yùn)動(dòng)目標(biāo)大小變化及質(zhì)心位置變化，來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)軌跡提取的算法。該算法通過(guò)設(shè)立三維坐標(biāo)系并計(jì)算出運(yùn)動(dòng)目標(biāo)在X軸、Y軸、Z軸的坐標(biāo)值，進(jìn)而重構(gòu)出目標(biāo)在三維空間的運(yùn)動(dòng)軌跡。

運(yùn)動(dòng)目標(biāo)在X軸的坐標(biāo)：取運(yùn)動(dòng)目標(biāo)的質(zhì)心在X軸的坐標(biāo)值x作為運(yùn)動(dòng)目標(biāo)，有公式（5）：

運(yùn)動(dòng)目標(biāo)在Y軸的坐標(biāo)：設(shè)視頻第1幀中運(yùn)動(dòng)目標(biāo)在Y軸的坐標(biāo)為y1，運(yùn)動(dòng)目標(biāo)高度為h1；視頻第k幀中運(yùn)動(dòng)目標(biāo)在Y軸坐標(biāo)為yk，運(yùn)動(dòng)目標(biāo)高度為hk。根據(jù)攝影透視原理如圖3，發(fā)現(xiàn)真實(shí)場(chǎng)景中視頻第1幀同視頻第k幀之間圖像大小存在y1：yk的比例關(guān)系，而在成像場(chǎng)景中圖像的大小比例為1:1。設(shè)第1幀中圖像的大小為單位大小，第k幀在成像時(shí)大小與第1幀相同，即真實(shí)場(chǎng)景中第k幀圖像需要按比例縮小為成像場(chǎng)景圖像，在成像場(chǎng)景中相同目標(biāo)（忽略走路時(shí)姿態(tài)影響）第k幀中的高度hk較第1幀中目標(biāo)高度h1縮小了 倍。第1幀和第k幀真實(shí)場(chǎng)景中，目標(biāo)Y軸坐標(biāo)同成像時(shí)目標(biāo)的高度在攝影透視原理下有公式（6）關(guān)系:

圖3 攝影透視原理

運(yùn)動(dòng)目標(biāo)在Z軸的坐標(biāo)：運(yùn)動(dòng)目標(biāo)在Z軸的坐標(biāo)即為運(yùn)動(dòng)目標(biāo)質(zhì)心離水平面高度，通過(guò)目標(biāo)外接矩[x1y1x2y2]計(jì)算運(yùn)動(dòng)目標(biāo)縱向質(zhì)心高度，有公式（7）：

通過(guò)公式（5）（6）（7）可以重構(gòu)出視頻中運(yùn)動(dòng)目標(biāo)在三維空間的運(yùn)動(dòng)軌跡，從而實(shí)現(xiàn)視頻中運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)軌跡提取。

3 算法實(shí)現(xiàn)及分析

本文分別實(shí)現(xiàn)文獻(xiàn)[3]及第2部分算法介紹中的目標(biāo)運(yùn)動(dòng)軌跡提取算法，并對(duì)同一運(yùn)動(dòng)目標(biāo)0°、45°、90°拍攝的運(yùn)動(dòng)視頻進(jìn)行運(yùn)動(dòng)軌跡提取。

圖4是0°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果圖，可以看到文獻(xiàn)[3]和本文算法在0°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果相近。

圖4 目標(biāo)0°軌跡圖

圖5是45°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果圖，可以看到文獻(xiàn)[3]和本文算法在45°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果差距較大。本文算法提取的目標(biāo)運(yùn)動(dòng)軌跡更符合視頻中目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡，效果更為理想。

圖5 目標(biāo)45°軌跡圖

圖6是90°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果圖，可以看到文獻(xiàn)[3]和本文算法在90°拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果有明顯區(qū)別。本文算法提取的目標(biāo)運(yùn)動(dòng)軌跡更符合視頻中目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡，效果更為理想。

圖6 目標(biāo)90°軌跡圖

綜上，本文算法對(duì)不同角度拍攝的目標(biāo)運(yùn)動(dòng)視頻都能較好的提取出目標(biāo)的運(yùn)動(dòng)軌跡圖；同時(shí)本文算法可以較好的將視頻中目標(biāo)運(yùn)動(dòng)軌跡在三維空間進(jìn)行重構(gòu)，能更真實(shí)的還原目標(biāo)的運(yùn)動(dòng)軌跡。公式（5）（6）（7）計(jì)算出視頻中運(yùn)動(dòng)目標(biāo)在三維空間X軸、Y軸、Z軸的坐標(biāo)值（X軸、Y軸、Z軸分別對(duì)應(yīng)真實(shí)場(chǎng)景中目標(biāo)的左右、前后、上下）。經(jīng)本文算法重構(gòu)出目標(biāo)三維運(yùn)動(dòng)軌跡如圖7所示。

圖7 三維軌跡圖

將傳統(tǒng)算法與本文算法對(duì)不同角度拍攝視頻中目標(biāo)運(yùn)動(dòng)軌跡提取效果進(jìn)行了對(duì)比實(shí)驗(yàn)，并將實(shí)驗(yàn)錄制成視頻，可通過(guò)掃描圖8中的二維碼觀看實(shí)驗(yàn)效果。

圖8 獲取實(shí)驗(yàn)視頻

4 總結(jié)

本文介紹了一種視頻中目標(biāo)運(yùn)動(dòng)軌跡提取算法，算法結(jié)合攝影透視原理還原了目標(biāo)三維運(yùn)動(dòng)軌跡，效果較傳統(tǒng)方法有所提升。

算法為實(shí)現(xiàn)多視頻中對(duì)目標(biāo)運(yùn)動(dòng)軌跡追蹤提供了基礎(chǔ)。在下一步的研究中可融入視頻目標(biāo)的自動(dòng)識(shí)別，通過(guò)多視頻聯(lián)動(dòng)實(shí)現(xiàn)目標(biāo)的自動(dòng)追蹤鎖定；同時(shí)，該算法也可應(yīng)用在目標(biāo)運(yùn)動(dòng)軌跡異常分析上，進(jìn)而實(shí)現(xiàn)視頻中異常行為報(bào)警。