基于智能視頻分析的乘客分流系統(tǒng)設(shè)計(jì)

劉小剛，秦 棟，趙航煜，高 帆，鄧 旭

（北京京城地鐵有限公司，北京 101300）

1 引言

隨著城市軌道交通客流量的增多，車站站臺(tái)、站廳時(shí)常出現(xiàn)人流擁擠的情況，伴隨有可能發(fā)生諸如踩踏、爭搶斗毆等影響公共安全的風(fēng)險(xiǎn)，從時(shí)空角度考慮，最大程度的優(yōu)化相關(guān)空間利用率是提升乘客乘車體驗(yàn)的關(guān)鍵。經(jīng)對車站實(shí)際場景客流分布研究發(fā)現(xiàn)，乘客極易聚積在距離電梯、樓梯較近的列車屏蔽門處，為避免乘客過分密集產(chǎn)生公共安全風(fēng)險(xiǎn)，通常情況下需要站臺(tái)乘務(wù)人員進(jìn)行引導(dǎo)并將其疏散至不同車廂對應(yīng)的屏蔽門前，以均衡各車廂載客量，以提高乘客乘車的舒適度，同時(shí)降低公共安全風(fēng)險(xiǎn)。但這種情況下無疑會(huì)增加站臺(tái)乘務(wù)人員的工作量，同時(shí)站臺(tái)乘務(wù)人員的疏導(dǎo)大多基于經(jīng)驗(yàn)，無法實(shí)現(xiàn)更大精度的精準(zhǔn)引導(dǎo)，不可避免的存在站臺(tái)乘務(wù)人員和乘客之間因?yàn)椴焕斫庠斐傻恼`會(huì)乃至沖突?；谝陨锨闆r，若候車乘客在乘車之前可以提前知曉下一趟進(jìn)站列車各車廂內(nèi)的客流分布情況，為了避開可能出現(xiàn)的單一車廂上下車擁擠客流從而提高自身上車的效率，同時(shí)增加自身乘車過程中的舒適度，會(huì)自發(fā)自動(dòng)的前往載客量較少的車廂屏蔽門前進(jìn)行等候及上車，這也將降低發(fā)生公共安全事件的機(jī)率，降低城市軌道交通運(yùn)營單位公共安全費(fèi)用的支出。由此，本研究提出一種基于智能視頻分析技術(shù)的乘客分流系統(tǒng)設(shè)計(jì)方案，實(shí)現(xiàn)上述客流引導(dǎo)要求，同時(shí)結(jié)合首都機(jī)場線乘客大多數(shù)會(huì)攜帶行李的特性，通過車廂內(nèi)攝像機(jī)感知及后臺(tái)算法計(jì)算估計(jì)行李體積和空閑行李架位置，引導(dǎo)乘客去往適合的車廂，從而有效提升用戶的乘車體驗(yàn)，降低公共安全風(fēng)險(xiǎn)。

2 乘客分流系統(tǒng)技術(shù)方案

2.1 攝像機(jī)布局

為節(jié)約成本及保證攝像機(jī)采集畫面能覆蓋到整個(gè)車廂，本方案采用魚眼鏡頭攝像機(jī)對車廂進(jìn)行監(jiān)控及畫面采集，魚眼鏡頭攝像機(jī)垂直于地面方向安裝于車廂頂部的中軸線上，每節(jié)車廂安裝4 臺(tái)，且保持間距相等。安裝及視野覆蓋區(qū)域如圖1 所示。

圖1 魚眼鏡頭攝像機(jī)安裝及視野覆蓋示意圖

2.2 相機(jī)標(biāo)定和魚眼校正

雖然魚眼鏡頭攝像機(jī)的理論視野為180°，但其視野邊緣區(qū)域畸變極為嚴(yán)重，最外側(cè)區(qū)域圖像數(shù)據(jù)幾乎無法使用。為方便后續(xù)計(jì)算，需要對魚眼鏡頭攝像機(jī)輸出的原始圖像進(jìn)行畸變校正。本方案擬采用張正友棋盤格標(biāo)定法，即在相機(jī)的不同視角和距離下拍攝多幅棋盤格的圖像，通過角點(diǎn)檢測得到棋盤格的坐標(biāo)，再運(yùn)用最大似然估計(jì)方法計(jì)算相機(jī)的內(nèi)參和相對于棋盤格的外參，進(jìn)而得到可用于后續(xù)計(jì)算的圖像數(shù)據(jù)。

同時(shí)考慮到同一輛列車的車廂布局基本一致，且相機(jī)型號(hào)和安裝位置相同，則可通過測量一節(jié)車廂的相機(jī)高度和頂部間距計(jì)算出相機(jī)外部參數(shù)中的平移向量，由于相機(jī)是垂直安裝，因此相機(jī)的旋轉(zhuǎn)向量與豎直方向z軸平行。

在已知相機(jī)內(nèi)部參數(shù)和外部參的情況下，可以將魚眼圖像校正為透視視圖的成像，在校正后的坐標(biāo)系下，光路不經(jīng)過折射，完全按照直線傳播，從而實(shí)現(xiàn)相機(jī)標(biāo)定和魚眼圖像數(shù)據(jù)校正。示意如圖2 所示。

圖2 經(jīng)過魚眼校正后的光路示意圖

2.3 乘客坐標(biāo)定位

在該坐標(biāo)系下雖然可以計(jì)算成像平面上的每一個(gè)點(diǎn)所屬的光線路徑，但求解乘客的具體位置，還需要通過假設(shè)其他的約束條件來完成。

校正后的相機(jī)光路簡化模型如圖3 所示，人的頭部被簡化為一個(gè)半徑為r2的球體，并在成像平面投影為一個(gè)半徑為r1的圓，本方法中假設(shè)成年人頭部半徑一致，此處取r2=10 cm。經(jīng)過頭部檢測算法，得到人頭在魚眼圖像上的檢測框，在對圖像進(jìn)行畸變校正的同時(shí)將檢測框的坐標(biāo)也轉(zhuǎn)換到透視成像的坐標(biāo)系下。由圖3 可知在透視成像的坐標(biāo)系下滿足公式（1），其中圖像中頭部半徑r1和頭部中心點(diǎn)到圖像中新的距離d1根據(jù)檢測框可以得到，標(biāo)定后可得到相機(jī)內(nèi)參，即鏡頭到投影平面的距離f已知。由此可以計(jì)算出高度h。已知頭部中心點(diǎn)的光路經(jīng)過相機(jī)鏡頭即坐標(biāo)系原點(diǎn)，還已知投影點(diǎn)在成像平面上的坐標(biāo)以及f，2 點(diǎn)坐標(biāo)已知即可得到光路直線方程。在已知光路直線方程以及頭部中心點(diǎn)所在的水平平面方程后可以求直線與平面的交點(diǎn)，即可得到頭部中心點(diǎn)的世界坐標(biāo)，從而實(shí)現(xiàn)乘客的坐標(biāo)定位。

2.4 行李體積估計(jì)

乘客在列車車廂內(nèi)攜帶行李尋找座位的過程中，短距離內(nèi)的行李姿態(tài)可以認(rèn)為保持不變，因此人頭部的位移和行李上每個(gè)點(diǎn)的水平位移相等，且沒有垂直方向上的位移。因此可以用對比不同位置的行李邊緣的關(guān)鍵點(diǎn)坐標(biāo)來估算行李的實(shí)際體積。由于行李架和相機(jī)的相對位置固定，因此可以提前標(biāo)定圖像中行李架上固定間隔的點(diǎn)作為參照物，由目標(biāo)檢測算法得到行李的檢測框是否遮擋標(biāo)定點(diǎn)來估計(jì)行李架的空閑位置。

將該情況平移到三維空間則如圖4 所示，由于要求解的坐標(biāo)（x，y，z）包含3 個(gè)未知數(shù)，因此需要選擇3個(gè)相鄰的位置A、B、C，同時(shí)選擇行李上的1 個(gè)關(guān)鍵點(diǎn)并設(shè)該點(diǎn)在A、B、C 3 個(gè)位置時(shí)分別為pA、pB、pC，并且對應(yīng)的光路直線為LA、LB、LC。假設(shè)人由A 點(diǎn)走到 B點(diǎn)，再走到C 點(diǎn)，A 到B 的水平位移為由A 到C 的水平位移為；點(diǎn)pA的坐標(biāo)為（x0，y0，z0），點(diǎn)pB的坐標(biāo)為（x0+ox1，y0+oy1，z0），點(diǎn)pC的坐標(biāo)為（x0+ox2，y0+oy2，z0），由于假設(shè)沒有垂直方向上的位移，因此3 個(gè)點(diǎn)的z軸坐標(biāo)均為z0。由此將pA、pB、pC坐標(biāo)帶入直線LA、LB、LC的方程，構(gòu)建方程組：

圖4 人與行李短距離平移情況下光路的變化

在該坐標(biāo)系下，相機(jī)的鏡頭作為坐標(biāo)原點(diǎn)（0，0，0），已知成像平面上的點(diǎn)坐標(biāo)，即可計(jì)算直線方程，因此參數(shù)a0、b0、c0、a1、b1、c1、a2、b2、c2和偏移量ox1、oy1、ox2、oy2均為已知量，求解未知數(shù)x0、y0、z0。該方程組在光路直線LA、LB、LC不重疊的情況下有解，本方法中使用行列式解該線性方程組，此處不再給出解析解。

結(jié)合車廂的布局特點(diǎn)，乘客在進(jìn)入車廂走到座椅區(qū)域的時(shí)候，人體和行李箱基本位于畫面的中軸線位置，考慮到人拖拽行李的習(xí)慣，行李箱的邊緣基本上是與坐標(biāo)軸平行的，即行李箱的檢測框在圖像中基本與行李箱的邊緣吻合，因此可以直接將檢測框矩形4 條邊的中點(diǎn)作為特征點(diǎn),求出相對邊上特征點(diǎn)的世界坐標(biāo)，這2 點(diǎn)之間的距離基本上就可以代表行李的寬高，從而實(shí)現(xiàn)行李體積的估計(jì)。

2.5 乘客和行李的檢測

目標(biāo)檢測是本系統(tǒng)中至關(guān)重要的一個(gè)技術(shù)環(huán)節(jié)，在本方法中選擇YOLOv5 檢測框架，用于檢測行人和行李。YOLOv5檢測算法框架結(jié)合前幾代YOLO 的優(yōu)點(diǎn)并加以優(yōu)化，很好的做到了速度和精度之間的平衡，并且所用到的基礎(chǔ)模塊較為常見，多數(shù)推理框架對其有針對性優(yōu)化，非常適合在移動(dòng)嵌入式設(shè)備端部署。

本方法中主要涉及到的是人頭的檢測和行李的檢測。人頭檢測模型由微軟圖像數(shù)據(jù)集（MSCOCO）訓(xùn)練得到，MSCOCO 數(shù)據(jù)集包含了80 個(gè)類別，只選擇行人這一個(gè)類別訓(xùn)練單類檢測模型，這樣做可以壓縮模型的體積，提高計(jì)算速度。人頭檢測使用擁擠行人數(shù)據(jù)集（CrowdHuman），該數(shù)據(jù)集下有大量擁擠場景的行人數(shù)據(jù)，并且標(biāo)注頭部區(qū)域，經(jīng)過測試在車廂內(nèi)的檢測效果較好。為讓模型精度進(jìn)一步提升，在公開數(shù)據(jù)集的基礎(chǔ)上加入了部分在車廂場景內(nèi)采集的樣本。行李檢測的數(shù)據(jù)集一部分源自于MSCOCO 數(shù)據(jù)集的部分類別，如背包、行李箱等，另一部分則是由車廂場景內(nèi)采集并人工標(biāo)注得到。

2.6 系統(tǒng)流程

在列車進(jìn)站之前，系統(tǒng)先對列車不同車廂內(nèi)的乘客數(shù)量、行李架的空閑情況做出感知判斷進(jìn)而形成數(shù)據(jù)結(jié)果，該數(shù)據(jù)結(jié)果下發(fā)至列車即將到達(dá)的車站，由車站站臺(tái)的顯示系統(tǒng)將車廂內(nèi)的乘客數(shù)量情況、行李架空閑情況展示給候車乘客，候車乘客可以根據(jù)自身情況提前趕往相應(yīng)的車廂屏蔽門前等候列車到達(dá)，從而實(shí)現(xiàn)乘客分流的目的。在列車完成乘客上下車，關(guān)閉車門后，系統(tǒng)再一次對車廂內(nèi)乘客、行李及行李架進(jìn)行感知判斷，根據(jù)行李架的當(dāng)下空閑空間，將攜帶不同體積行李的乘客由語音引導(dǎo)至還有行李架空閑空間的車廂。

3 總結(jié)

本文提供了一套智能乘客分流系統(tǒng)的設(shè)計(jì)方案，該方案考慮城市軌道交通場景下相機(jī)內(nèi)外參數(shù)固定的特點(diǎn)，估算出乘客的世界坐標(biāo)和行李的體積，并利用深度學(xué)習(xí)檢測模型估計(jì)車廂內(nèi)行李架的空余情況，系統(tǒng)在列車到達(dá)下一站之前提前掃描車內(nèi)情況，反饋給下一站的站臺(tái)展示系統(tǒng)，并在列車完成乘客上下車，關(guān)閉車門后，根據(jù)所攜帶的行李體積和車廂行李架的當(dāng)下空余情況將攜帶行李乘客引導(dǎo)至相應(yīng)車廂。同時(shí)提供一種計(jì)算乘客在車廂物理空間內(nèi)世界坐標(biāo)的方法，該方法后期還可用于開發(fā)乘客軌跡拼接、車廂密度估計(jì)等其他功能。該設(shè)計(jì)方案可為城市軌道交通客流引導(dǎo)提供一種創(chuàng)新的技術(shù)解決手段。

乘客分流系統(tǒng)可以提高乘客的出行體驗(yàn)和滿意度，降低因?yàn)閾頂D、踩踏造成的公關(guān)安全風(fēng)險(xiǎn)，降低車站乘務(wù)疏導(dǎo)工作量，提升城市軌道交通運(yùn)營單位的運(yùn)營效率、運(yùn)行質(zhì)量和安全管理水平；通過實(shí)時(shí)收集車廂內(nèi)乘客的圖像信息，系統(tǒng)能夠分析和預(yù)測乘客分布的變化和趨勢，為將來運(yùn)營單位優(yōu)化列車運(yùn)行間隔與智能調(diào)度提供數(shù)據(jù)支撐。綜上所述，乘客分流系統(tǒng)可以提升乘客的出行體驗(yàn)，提高城市軌道交通運(yùn)營效率，增強(qiáng)城市軌道交通安全管理水平，進(jìn)而推動(dòng)城市軌道交通行業(yè)的智能化發(fā)展。