基于光流法的視頻分析技術(shù)在地鐵客流監(jiān)測中的應(yīng)用研究

■ 陳亮

1 概述

隨著各城市軌道交通系統(tǒng)的快速發(fā)展，線網(wǎng)規(guī)模逐步擴(kuò)大，客運(yùn)量逐年提高，車站人群高度聚集，特別是高峰期間人群擁擠嚴(yán)重，運(yùn)輸壓力越來越大，給軌道交通的安全運(yùn)營帶來極大挑戰(zhàn)。近年來，國內(nèi)外軌道交通系統(tǒng)事故頻發(fā)，旅客滯留、車站關(guān)閉等現(xiàn)象時有發(fā)生，既延誤了乘客出行時間，降低運(yùn)營服務(wù)水平，極大影響線路運(yùn)營，又對軌道交通的安全運(yùn)行構(gòu)成威脅。在這種情況下，對站內(nèi)的實(shí)時監(jiān)控成為運(yùn)營管理的必要手段。

目前，軌道交通系統(tǒng)均設(shè)有視頻監(jiān)控系統(tǒng)（CCTV），能夠監(jiān)視站廳公共區(qū)、站臺候車區(qū)、站內(nèi)扶梯、閘機(jī)等重要區(qū)域。但隨著車站建筑規(guī)模的不斷擴(kuò)大，監(jiān)視區(qū)域需求增加，CCTV建設(shè)規(guī)模也越來越大，站內(nèi)圖像達(dá)到幾十路甚至上百路，給車站值班員帶來繁重的監(jiān)控工作量，很難及時發(fā)現(xiàn)前端異常狀況，大大降低視頻監(jiān)控系統(tǒng)的時效性和可用性。

為了能實(shí)時分析、跟蹤、判別監(jiān)控對象，使系統(tǒng)在關(guān)鍵事件發(fā)生時能智能提示并有效上報，為軌道交通運(yùn)營管理部門及時決策、正確行動提供支持，在地鐵客流監(jiān)測領(lǐng)域采用視頻分析技術(shù)是十分迫切和重要的，從而提高運(yùn)營人員效率，提升運(yùn)營服務(wù)水平，最大程度發(fā)揮CCTV的實(shí)時性和智能性。

2 視頻分析技術(shù)應(yīng)用現(xiàn)狀

結(jié)合各城市軌道交通運(yùn)營現(xiàn)狀、車站客流及物理環(huán)境等實(shí)際情況，目前比較迫切需要實(shí)現(xiàn)的視頻分析技術(shù)應(yīng)用包含以下6種：客流監(jiān)測、客流統(tǒng)計(jì)、人員逆向檢測、遺留物品/非法滯留檢測、扶梯運(yùn)行監(jiān)測、翻越扶梯監(jiān)測。

2.1 客流監(jiān)測

客流監(jiān)測是指通過計(jì)算背景畫面中的客流密度，結(jié)合相應(yīng)的交通參數(shù)（如速度、時間等），自動判斷指定區(qū)域內(nèi)的擁擠狀況，并及時觸發(fā)報警。

城市軌道交通車站是客流集散的重要場所，高密度聚集的客流易產(chǎn)生站點(diǎn)的安全隱患。運(yùn)營人員需要時刻關(guān)注重要區(qū)域的客流通行、疏散情況，必要時采取相應(yīng)措施。

運(yùn)用客流監(jiān)測技術(shù)，運(yùn)營人員可實(shí)時掌握客流集散區(qū)人流密度。當(dāng)密度超限時，能夠及時觸發(fā)相應(yīng)區(qū)域監(jiān)控畫面，運(yùn)營部門可根據(jù)實(shí)際情況立即采取應(yīng)急措施，疏散客流，保障城市軌道交通站點(diǎn)客流高效安全集散，降低事故的發(fā)生率和嚴(yán)重性，提高站點(diǎn)營運(yùn)效率。

2.2 客流統(tǒng)計(jì)

客流統(tǒng)計(jì)是指統(tǒng)計(jì)穿越指定區(qū)域的目標(biāo)（人）數(shù)量，為各職能部門提供直觀的實(shí)時客流狀態(tài)，為換乘車站（站區(qū)）及時采取與客流狀態(tài)對應(yīng)的客流疏導(dǎo)措施提供判定標(biāo)準(zhǔn)。

2.3 人員逆向檢測

人員逆向檢測是指當(dāng)系統(tǒng)檢測到目標(biāo)在單向通行區(qū)域反方向行走時自動產(chǎn)生報警。該應(yīng)用適用于車站單向通道、單向換乘區(qū)域的報警檢測。

由于在單向通行區(qū)域人員流動相對有序，突然有目標(biāo)逆向行走，容易引起摩擦或碰撞，特別是在客流高峰情況下有多個目標(biāo)逆向通行時，影響其他乘客正常出行，因此需要車站值班員重點(diǎn)監(jiān)控，有報警發(fā)生時，通知相關(guān)運(yùn)營人員及時出面制止，保證正常的出行秩序。

2.4 滯留檢測

滯留檢測是指當(dāng)一個物體在敏感區(qū)域停留時間過長或超過預(yù)定時間，系統(tǒng)就會產(chǎn)生報警。在人流頻繁的地區(qū)，經(jīng)常會出現(xiàn)乘客遺忘包裹行李，或惡意丟棄包裹、擺攤、乞討等行為。對遺忘的行李和包裹及時發(fā)現(xiàn)，能夠給乘客帶來盡可能小的損失，也能及時發(fā)現(xiàn)非法滯留或惡意丟棄行為并給予阻止。

2.5 扶梯運(yùn)行監(jiān)測

扶梯運(yùn)行監(jiān)測是指當(dāng)自動扶梯出現(xiàn)運(yùn)行故障時（如急停、逆行）系統(tǒng)能夠自動報警。扶梯是軌道交通車站客流相對集中的區(qū)域之一，在換乘車站或交通樞紐站點(diǎn)，這一現(xiàn)象更為突出（如西直門站、北京站），上下車客流較多，自動扶梯經(jīng)常處于滿載狀態(tài)，一旦扶梯故障，就會引發(fā)擁擠、踩踏事故，影響乘客出行安全。因此，及時發(fā)現(xiàn)設(shè)備運(yùn)行異常狀況，能夠協(xié)助工作人員采取有效疏散措施，盡可能避免惡性事件發(fā)生。

2.6 翻越扶梯監(jiān)測

翻越扶梯監(jiān)測指當(dāng)系統(tǒng)監(jiān)測到有目標(biāo)跨越扶梯時自動觸發(fā)報警信息。提醒工作人員及時出面制止，以免發(fā)生危險。

3 視頻分析技術(shù)研究現(xiàn)狀

目前，國內(nèi)外對視頻分析技術(shù)的相關(guān)研究較多，主要的技術(shù)方法包括：根據(jù)圖像灰度變化進(jìn)行監(jiān)測的幀間差分法和背景差分法、根據(jù)圖像紋理變化的局部特征法、根據(jù)人體膚色進(jìn)行監(jiān)測的方法及監(jiān)測物體運(yùn)動的光流法等。

3.1 幀間差分法

幀間差分法是在對圖像序列間隔較短的圖像進(jìn)行差分運(yùn)算。由于間隔時間短，可以認(rèn)為光照變化的影響較小，因此，幀間差分法對光照變化有著較強(qiáng)的魯棒性，并具有簡單、運(yùn)算量小的特點(diǎn)，易于工程實(shí)現(xiàn)。

3.2 背景差分法

背景差分法是指用當(dāng)前的圖像幀減去背景圖像，獲取的差分圖像直接就是前景圖像。與幀間差分法相比，背景差分法可以精確提取前景物的輪廓，對于背景不變的環(huán)境尤為適用。

雖然背景差分法中場景固定不變，但其光照條件一般都隨時間變化而變化，很難有固定不變的背景圖像。因此，背景差分法最關(guān)鍵的步驟是重建合適的背景圖像。背景差分法廣泛應(yīng)用于道路車輛監(jiān)測中。

3.3 局部特征法

局部特征法通過紋理特征和幾何形狀監(jiān)測人體各個部位，從而監(jiān)測出行人。有以下幾種特征分類：（1）SIFT特征；（2）HOG特征；（3）LBP特征；（4）HARR特征。

3.4 膚色監(jiān)測法

膚色監(jiān)測法是在圖像中選取對應(yīng)于人體皮膚像素的過程，現(xiàn)已應(yīng)用于人臉識別與監(jiān)測、表情識別、手勢識別及人體監(jiān)測等方面。膚色監(jiān)測法分成2種基本類型：基于統(tǒng)計(jì)的方法和基于物理的方法。

利用膚色特征進(jìn)行行人監(jiān)測的方法具有計(jì)算量小、速度快、易于實(shí)時處理的優(yōu)點(diǎn)，但其在復(fù)雜背景和復(fù)雜照明條件下的應(yīng)用還有待研究，且此方法不適于有諸多不同膚色的地區(qū)。

3.5 光流法

生物學(xué)家Gibson在1950年提出圖像的變化是由帶有灰度的像素點(diǎn)的運(yùn)動引起的，以此提出了光流的概念。光流可以看成是物體對應(yīng)的像素在圖像平面運(yùn)動時的瞬時速度場。

基于光流法的視頻分析，根據(jù)一定的約束條件估算出圖像中的像素點(diǎn)速度，由于圖像上的點(diǎn)與物體表面的點(diǎn)一一對應(yīng)，因此可以較為準(zhǔn)確地表征運(yùn)動物體的實(shí)際運(yùn)動。

光流包含物體運(yùn)動的眾多信息（如根據(jù)對光流場的像素進(jìn)行聚集獲取運(yùn)動物體的輪廓信息；在提取物體運(yùn)動的同時，觀察物體內(nèi)部的相對運(yùn)動和局部形變等），根據(jù)運(yùn)動信息的變化情況觀察異常運(yùn)動。

3.6 方法比較

（1）幀間差分法的優(yōu)點(diǎn)是光照魯棒性較好，能夠適應(yīng)各種動態(tài)環(huán)境，缺點(diǎn)是提取的圖像通常有空洞和邊緣缺省，無法提取出目標(biāo)的完整區(qū)域。另外，當(dāng)運(yùn)動目標(biāo)速度緩慢時，則可能監(jiān)測不到；而運(yùn)動目標(biāo)速度過快時，將把部分背景也監(jiān)測為運(yùn)動目標(biāo)。

（2）背景差分法對于動態(tài)場景的變化（如光照和外來干擾等）特別敏感，且分割精度易受噪聲影響。

（3）局部特征法從樣本中學(xué)習(xí)到行人很多固有特性，能解決人體形狀和外貌各式各樣的難點(diǎn)及人體的不同運(yùn)動方式。但實(shí)際視頻分析監(jiān)測過程中，對于解決客流分析不具優(yōu)勢。

（4）由于膚色過濾迅速，且不受拍攝、人體姿勢的影響，膚色監(jiān)測法已成為客流監(jiān)測方法的基本監(jiān)測方法之一，但由于自然界中有大量物質(zhì)與人體膚色相近，且人類膚色本身存在很大差異，該方法會產(chǎn)生一些誤檢。

（5）光流法是機(jī)器視覺中運(yùn)動圖像分析的重要方法，可以比較精確地反應(yīng)對象的平移運(yùn)動。在地鐵客流監(jiān)測應(yīng)用中，通過對圖像幀的光流進(jìn)行計(jì)算，可獲知乘客客流的運(yùn)動信息，繼而根據(jù)運(yùn)動信息實(shí)現(xiàn)對客流情況進(jìn)行運(yùn)動分割和跟蹤、異常監(jiān)測告警等。但光流法計(jì)算量較大，應(yīng)用于實(shí)時監(jiān)測系統(tǒng)中有一定的軟硬件配置要求；由于對于特定應(yīng)用場景（如地鐵客流）監(jiān)測效果較好，因此應(yīng)用比較廣泛。

4 光流法在地鐵客流監(jiān)測中的應(yīng)用研究

4.1 光流法簡介

光流的計(jì)算是利用圖像序列中像素強(qiáng)度數(shù)據(jù)的時域變化和相關(guān)性確定各自像素位置的“運(yùn)動”，即研究圖像灰度在時間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動的關(guān)系。將二維圖像平面特定坐標(biāo)點(diǎn)上的灰度瞬時變化率定義為光流矢量。

考慮象素點(diǎn)m在位置（x，y）處t時刻的灰度值I（x，y，t），令點(diǎn)m的速度為vm=（vx，vy），若設(shè)點(diǎn)m的灰度保持不變，那么，在很短時間間隔dt內(nèi)，有：

如果灰度隨x、y、t光滑變化，將上式左側(cè)泰勒展開為：

σ代表階數(shù)大于或等于2的項(xiàng)，消去I（x，y，t）并忽略σ， 同時設(shè)：

則式（2）可改寫成：

式（3）就是光流約束方程（Optical Flow Constraint Equation）。由于只有一個約束方程卻需求解2個未知數(shù)：光流的x分量u和光流的y分量v，因此無法通過一個方程確定光流，這種問題稱為孔徑問題。由于孔徑問題的存在，還需通過假設(shè)確立另外一個方程才能求解光流。

計(jì)算出的光流場與實(shí)際運(yùn)動場有著密切的映射關(guān)系，但光流場并不總是完全對應(yīng)。

（1）遮擋問題。當(dāng)物體運(yùn)動且在攝像頭平面的投影存在遮擋時，由于圖像沒有物體信息，無法在計(jì)算的光流信息中反映實(shí)際物體運(yùn)行的狀態(tài)。

（2）均勻球體的圓周運(yùn)動。在光源固定的情況下，具有均勻反射特性的圓球在相機(jī)前旋轉(zhuǎn)，雖然球面各處有亮度變化，但這個變化不會隨著球的轉(zhuǎn)動而轉(zhuǎn)動，圖像的灰度不會發(fā)生變化。因此，其運(yùn)動場不為0，但其光流為0。

（3）光照的變化。當(dāng)外部光照條件發(fā)生變化時，即使物體不動，也能根據(jù)前兩幀的圖像觀察到光流的存在。

盡管有上述問題的存在，光流法依然是最精確反應(yīng)物體運(yùn)動狀態(tài)的方法之一，并廣泛應(yīng)用于各種運(yùn)動客流估算的場合。

4.2 光流計(jì)算方法

光流的計(jì)算要求解光流，需要在光流約束方程的基礎(chǔ)上引入新的假設(shè)，常見方法有：Horn-Schunck方法、Lucas-Kanade（L-K）方法等。

Horn-Schunck方法的基本假設(shè)是光流的變化是平滑連續(xù)的，但實(shí)際上在運(yùn)動物體的邊界處這一假設(shè)并不成立。因此，Horn-Schunck方法求解的光流場的精度往往不夠理想。

Lucas和Kanade提出了L-K光流計(jì)算算法，其假設(shè)如下：在一個小的空間鄰域Ω上運(yùn)動矢量保持恒定，即在該區(qū)域內(nèi)所有的像素具有相同的光流速度；光照恒定，在相鄰幀比較期間，物體表面像素的灰度值在監(jiān)測期間保持恒定不變。

根據(jù)上述假設(shè)，在空間鄰域Ω中可建立如下方程：

可獲得一個超定方程組：

或表示為：

L-K方法也是一種密集光流計(jì)算，一般認(rèn)為L-K方法在計(jì)算光流的正確性及運(yùn)算方面均高于Horn-Schunck方法。

4.3 實(shí)驗(yàn)結(jié)果

OpenCV開發(fā)工具（開放源代碼的計(jì)算機(jī)視覺類庫 OpenCV（Intel Open Source Computer Vision Library）由英特爾公司位于俄羅斯的研究實(shí)驗(yàn)室開發(fā)，是一套由一些C函數(shù)和C++類開發(fā)所組成的庫，用來實(shí)現(xiàn)一些常用的圖像處理及計(jì)算機(jī)視覺算法）。在OpenCV中，提供L-K光流計(jì)算函數(shù)，可以簡單地調(diào)用庫函數(shù)即可實(shí)現(xiàn)對光流的計(jì)算。

圖1為光流法計(jì)算和顯示的效果圖。（a）、（b）是視頻流中的連續(xù)兩幀圖像，（c）是L-K方法求出光流場后作出的光流場圖。

4.4 光流法在客流監(jiān)測中的應(yīng)用

城市軌道交通由于其運(yùn)量大、速度快、準(zhǔn)時準(zhǔn)點(diǎn)，已逐漸發(fā)展成為城市的主導(dǎo)公共交通方式。但正是由于城市軌道交通對客流的巨大吸引力，往往導(dǎo)致站點(diǎn)在高峰期客流壓力過大，對地鐵的運(yùn)營安全、運(yùn)營效率和服務(wù)水平造成重要影響。因此，需要對客流狀態(tài)進(jìn)行監(jiān)測，其中站廳走廊通行服務(wù)水平的監(jiān)測是其中的一項(xiàng)重要內(nèi)容。

4.4.1 客流狀態(tài)監(jiān)測

城市軌道交通領(lǐng)域的客流監(jiān)測研究人員邵巍躍提出了行人通道通行服務(wù)水平分級方法（見圖2）。

通過計(jì)算前后幀圖像間的光流，可十分方便地獲取當(dāng)前運(yùn)動個體的密度和速度，進(jìn)而對通行的服務(wù)水平進(jìn)行評級。

4.4.2 異常運(yùn)動監(jiān)測

選取南京地鐵某站的樓梯作為監(jiān)測場景，圖3（a）為該樓梯的場景圖。為了防止陰影引起的光流對監(jiān)測造成干擾，通過掩碼對原圖的無關(guān)部分進(jìn)行掩碼屏蔽。

圖4為視頻流經(jīng)掩碼后計(jì)算的光流圖，（a）、（c）、（e）為不同客流條件下的場景圖；（b）、（d）、（f）為在該時刻計(jì)算的光流場。

從圖4可以看出，客流密度與光流場占有效背景的面積的比值是一致的，因此基本可以根據(jù)光流場的密度推斷客流密度。當(dāng)大于0的光流場密度占整個扶梯或樓梯有效面積80%以上時，認(rèn)為有大客流發(fā)生。

需要注意的是，當(dāng)客流特別大發(fā)生擁堵時，行人行進(jìn)困難，此時樓梯上光流場的面積有時也較小，和客流較小時一樣。為有效區(qū)分這2種情況，將異?？土骱洼^小客流的光流場做對比分析，發(fā)現(xiàn)有如下特征：客流異常時光流面積忽大忽小，光流位置的變換與光流的方向不一致；客流較小時，光流面積隨著位置的變換逐漸變換，光流位置的變換與光流的方向一致。根據(jù)上述特征，可對異常客流進(jìn)行監(jiān)測，并及時報警提醒工作人員注意。

服務(wù)水平A：表現(xiàn)為在地鐵站內(nèi)AFC設(shè)施處的通行走廊上行人極少，乘客行走完全自由，AFC設(shè)施的路徑選擇完全不受客流交織的影響服務(wù)水平B：表現(xiàn)為在地鐵站內(nèi)AFC設(shè)施處的通行走廊上有很少的客流量，行人行走速度自由服務(wù)水平C：行人行走速度自由，僅在視線上受到極少影響服務(wù)水平D：行人行走速度開始受到彼此間的限制，行人依然可以輕松超越前人，多角度的客流交織和客流渠化現(xiàn)象開始出現(xiàn)服務(wù)水平E：行人走廊上行人已經(jīng)比較擁擠，行人移動速度受到很大限制，超越前人有一定難度，客流渠化現(xiàn)象明顯服務(wù)水平F：行人走廊上乘客極度擁擠，彼此之間的空間極小，甚至互相有身體接觸，行人行進(jìn)較為困難，易引發(fā)行人踩踏事件

圖3 光流監(jiān)測背景圖

圖4 不同客流場景下的光流圖特征

5 結(jié)論

光流包含物體運(yùn)動的眾多信息，如根據(jù)對光流場的像素進(jìn)行聚集，獲取運(yùn)動物體的輪廓信息；在提取物體運(yùn)動的同時，觀察物體內(nèi)部的相對運(yùn)動和局部形變等；根據(jù)運(yùn)動信息的變化情況觀察異常運(yùn)動。通過對比分析可知，光流法在地鐵客流監(jiān)測領(lǐng)域的應(yīng)用中，對客流狀態(tài)的監(jiān)測和判斷有其獨(dú)到的優(yōu)勢。

此外，光流法雖能在不知場景任何信息的條件下監(jiān)測獨(dú)立運(yùn)動的行人，但是大多數(shù)的光流計(jì)算方法需要多次迭代運(yùn)算，計(jì)算復(fù)雜、耗時，難以滿足實(shí)時監(jiān)測的要求。如何進(jìn)一步提高其運(yùn)算速度、實(shí)時性及其抗噪性是目前的研究熱點(diǎn)，也是需要后續(xù)跟進(jìn)的重點(diǎn)。

[1] Park S C，Park MK，Kang M G．Super- resolution image reconstruction：A technical overview[J]．IEEE Signal Processing Magazine，2003，20(3)：21-36

[2] 徐慶賀．監(jiān)控視頻流分析的關(guān)鍵技術(shù)研究及應(yīng)用[D]．上海：上海交通大學(xué)，2008

[3] Lipton A J，F(xiàn)ujiyoshi H，Patil R S．Moving target classification and tracking from real-time video[C]．Proceedings of Applications of Computer Vision，1998

[4] Lucas B D，Kanade T．An iterative image registration technique with an application to stereo vision[C]．Proc．DARPA IU Workshop，1981

[5] Lucas B D．Generalized Image Matching by the Method of Differences[D]．PhD Dissertation：Carnegie-Mellon University，1984

[6] Lucas B D，Kanade T．An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C]．DARPA Image Understanding Workshop，1981

[7] Intel Corporation. Open Source Computer Vision Library Reference Manual [S]，2001

[8] 邵巍躍．城市軌道交通站內(nèi)AFC設(shè)備通行能力研究及應(yīng)用[D]．南京：東南大學(xué)，2012