全景視域下的視頻監(jiān)控探究

楊寶生

（1.宿州市工業(yè)投資集團有限公司，安徽 宿州 234000;2.宿州市政府，安徽 宿州 234000）

一、概述

近年來，隨著計算機科學(xué)與技術(shù)的快速發(fā)展，視頻監(jiān)控依托計算機技術(shù)的進步也得到了廣泛的應(yīng)用，而智能視頻分析技術(shù)、智能音頻分析技術(shù)、專家系統(tǒng)、傳感器融合技術(shù)等人工智能技術(shù)也為視頻監(jiān)控帶來了新的發(fā)展的機遇?！案咔濉薄ⅰ俺濉币约叭耙曨l監(jiān)控日漸成為市場及現(xiàn)實應(yīng)用關(guān)注的焦點，即在同一個場景中視野更廣并且能看到盡可能多的實體[1-3]，上述需求需要應(yīng)用能360度全向視頻采集的全景攝像機及其對應(yīng)的全景監(jiān)控方案方能解決，如此與全景視頻監(jiān)控解決方案相關(guān)的研究就應(yīng)運而生了[3-4]。

全景視頻不僅可以全方位的實時記錄某時某地的現(xiàn)場情況，而且可以實時將某個地方的實景用三維立體的方式表現(xiàn)出來，讓觀察者能夠沉浸其中，這事是目前比較常見的VR解決方案。但是，全景視域下用戶可以環(huán)顧周圍環(huán)境，卻無法與場景進行交互，不能做到像真實生活中的經(jīng)驗?zāi)菢?，真正觸摸或改變視頻中的任何東西，即無法做到與視頻場景進行實時交互。360°全景視頻采集是一種新型的拍攝和呈現(xiàn)技術(shù)。針對大多數(shù)人而言，360°全景視頻的體驗卻是人們VR體驗的第一次嘗試。根據(jù)目前的發(fā)展趨勢及未來對全景對視頻采集、監(jiān)控的現(xiàn)實需求而言，全景視頻的數(shù)量將會呈現(xiàn)爆炸式成長[5-9]。

全景視頻已經(jīng)成為當(dāng)今視頻采集、播放以及分析的新潮流，越來越多的視頻網(wǎng)站支持全景視頻播放，自從GOPRO流行起來之后，利用多個GOPRO鏡頭拼接起來拍攝360度無死角的全景視頻成為全景視頻領(lǐng)域的新寵，F(xiàn)acebook天價收購虛擬現(xiàn)實VR創(chuàng)業(yè)公司Oculus VR之后，VR全景視頻開始成為當(dāng)紅花旦，社交領(lǐng)域也越發(fā)紅火。從技術(shù)角度而言，全景相機的對焦都是無限遠(yuǎn)，而且無論有沒有將鏡頭對準(zhǔn)被攝物體，最終成像都會包含這個被攝物，如果想要查看拍攝點的拍攝效果，通過短距離無線通信技術(shù)連接得到匹配的手機APP直接預(yù)覽畫面就可以。值得注意的是，距離拍攝物體最好1米以上，否則全景拍攝的“魚眼”效果很明顯，不利于觀看與分析[10-14]。

二、相關(guān)研究

目前，學(xué)術(shù)界與產(chǎn)業(yè)界對能360度全向攝影的全景攝像機并沒有明確的量化定義。一般而言，能夠?qū)δ骋惶囟ūO(jiān)控區(qū)域獨立的無死角全向監(jiān)控的攝像機都被稱為全景式攝像機，例如目前被廣泛應(yīng)用的?？低曯~眼攝像機。與傳統(tǒng)攝像機不同的是，為了實現(xiàn)良好的拍攝效果，全景攝像機一般安裝在監(jiān)控區(qū)域的上方，實現(xiàn)對監(jiān)控區(qū)域的“鳥瞰”，例如可以會議室的天花板上安裝一臺向下 “俯視”的魚眼攝像機，從而實現(xiàn)拍攝會議室全景的效果，如圖1與圖2所示，諸如此類實現(xiàn)360度全向無死角拍攝的攝像機被稱之為全景攝像機[5,6]。

圖1 360度全景攝像機鳥瞰拍攝效果

圖2 360度全景攝像機側(cè)視拍攝效果

目前，全景攝像機主要應(yīng)用于視野開闊的監(jiān)控場景，比如各種道路交叉口、商場超市、政務(wù)及銀行大廳、車站碼頭等人員密集場所，上述人員密集場所所要監(jiān)控的視域?qū)挾韧_到成百上千米，結(jié)合深度學(xué)習(xí)與人工智能技術(shù)，需要從監(jiān)控視頻中看清人臉、車輛牌照等細(xì)節(jié)，全景攝像機在這些場合得到大量的應(yīng)用[5-7]。

Reality Lab Networks公司研發(fā)了一站式全景視頻采集、存儲、播放與分析工作平臺，以簡化360°全景視頻的制作流程。這個名為Live Planet的攝像頭工作站，包括一個全景攝像頭、云存儲平臺和相配套的視頻處理與分析套件。其中，攝像頭可以實時地對視頻片段進行全景記錄與編碼。之后，所有4K的全景視頻片段將被傳送到云平臺，這個云平臺能夠自動地根據(jù)不同的VR以及全景播放設(shè)備與平臺進行轉(zhuǎn)碼，可支持設(shè)備包括 Oculus,HTC Vive，Google Cardboard,Gear VR,Facebook 360 與 Youtube 360，等等[5-9]。

目前，在全景視頻與虛擬現(xiàn)實領(lǐng)域，最著名的Magic Leap公司是最受投資者青睞的公司之一，該公司的4D光場顯示技術(shù)的主要特點在于可以為用戶呈現(xiàn)出不同深度的監(jiān)控視頻，讓觀眾從每個角度看到的東西都不一樣，提供很真實的視場體驗，并且有望解決觀看眩暈的缺點[15-17]。

三、全景視域下的視頻監(jiān)控及分析框架

本文提出的全景視頻監(jiān)控系統(tǒng)框架如圖3所示，主體為中央處理單元，其對應(yīng)的各組件功能描述如下：

圖3 全景視頻監(jiān)控系統(tǒng)框架

（一）視頻采集組件：360度采集系統(tǒng)所要監(jiān)控的區(qū)域視頻，并將采集到的視頻傳送到視頻防抖與去噪組件；360度視頻采集主要分為三種方式：（1）實拍獲?。翰捎靡惑w式全景攝像機或者多相機組合方案，采集的方式是各個相機同時拍攝同一區(qū)域內(nèi)不同角度的視頻，后期通過專業(yè)軟件輸出，或者通過專業(yè)的視頻拼接軟件進行同步、拼接、調(diào)整、輸出；（2）CG制作：使用諸如3Dmax等三維創(chuàng)作軟件進行模型搭建、貼圖處理、動畫制作，攝像機添加等工作，最后借由計算機渲染而成；（3）實拍結(jié)合CG制作：在專業(yè)攝影棚拍攝主體影像，包括人物，道具以及相關(guān)動作，后期加入CG制作的背景和環(huán)境、或者CG制作的其它元素和實拍影像進行融合，達到真實的全景效果。

（二）視頻抖動與噪音抑制組件：視頻采集過程中由于受設(shè)備本身與工作環(huán)境的影響，不可避免的會出現(xiàn)視頻抖動與噪音，需要視頻采集過程中出現(xiàn)的抖動與噪音進行最大程度的補償與抑制，并且對視頻中的噪音利用降噪編碼器技術(shù)進行降噪。

（三）視頻合成與切分：將全景攝像機采集到不同方向的視頻進行無縫拼接從而生成全景視頻，并傳輸?shù)斤@示終端；對于需要視頻分別顯示的應(yīng)用場景，把相應(yīng)的視頻按照要求進行拆分，顯示到不同的展示終端；視頻合成與分割是一個簡單易用的視頻轉(zhuǎn)換、合并與分割的功能，本文采用全新的國際一流的編解碼技術(shù)，具有轉(zhuǎn)換（支持單個與多個文件的同時處理）、合并與分割視頻質(zhì)量高、速度快的特點，支持批量分割，是全景視頻處理常用必備的視頻處理功能。視頻合并與分割更是一款功能強大的全能視頻格式處理組件，該組件支持 RMVB、ASF、AVI、WMV、MPG、MPEG、GIF、MJPEG、MP4、MKV、MXF 等主流視頻格式。

（四）視頻投影與映射：將（3）中生成的全景視頻以及不同方向的視頻，根據(jù)實際需要進行投影或映射，輸出到不同的展示終端，同時接受并處理相應(yīng)的人機交互指令。

（五）目標(biāo)檢測組件：對視頻中的目標(biāo)物體進行智能檢測，比如人臉識別、車牌識別、移動軌跡追蹤，綜合運用檢測到的各種信息統(tǒng)一進行智能研判。同時，可以結(jié)合目前主流的深度學(xué)習(xí)技術(shù)提升全景視頻中目標(biāo)檢測的精度，在深度學(xué)習(xí)框架中，無需人工設(shè)計檢測目標(biāo)的特征，深度學(xué)習(xí)良好的特征表達能力及優(yōu)良的檢測精度，能很好的拓展深度學(xué)習(xí)技術(shù)在全景視頻分析領(lǐng)域的應(yīng)用。目前，基于深度學(xué)習(xí)與大數(shù)據(jù)技術(shù)融合的目標(biāo)檢測算法已經(jīng)在檢測精度方面超越傳統(tǒng)的目標(biāo)檢測方法，成為當(dāng)前視頻目標(biāo)檢測算法的主流。

四、應(yīng)用探究

文章提出的全景視頻監(jiān)控方案主要適用于安防監(jiān)控、智慧城市管理、智能交通、消防、智慧平安校園等各種具有地理信息、可視化管理以及實時監(jiān)控需求的行業(yè)。并且有著非常廣闊的應(yīng)用場景，可應(yīng)用于人員密集場所的管控，物流區(qū)域調(diào)度、重要道路關(guān)口、人口密集區(qū)、水庫油料敏感場所、車站碼頭以及政府部門和水電油氣、金融等要害部位的安全風(fēng)險防控，為管理部門提供實時的現(xiàn)場信息，提高管理部門應(yīng)對突發(fā)事件的處置能力。圖4展示的即為敏感道路卡口的全景監(jiān)控畫面，實現(xiàn)各個方向畫面的無縫對接，比傳統(tǒng)的視頻監(jiān)控具有更廣的視野。

同時，全景監(jiān)控方案目前應(yīng)用比較廣的是智能車載系統(tǒng)中的全景倒車影像，通過車載顯示屏幕觀看汽車四周360度全景，加上超寬視角,無縫顯示車輛的圖像信息，讓駕駛員能更好的了解車輛周邊視線盲區(qū)，幫助完成倒車入位等。

融合目前在各個領(lǐng)域成功應(yīng)用的深度學(xué)習(xí)技術(shù)，本文提出的全景視域下的視頻監(jiān)控方案可以在如下兩個方面開展應(yīng)用與研究：

圖4 道路卡口全景視頻畫面

圖5 360全景倒車影像

（一）基于深度學(xué)習(xí)技術(shù)的人臉識別：傳統(tǒng)的人臉檢測與識別主要是針對有限視域下的視頻信息進行的，本文提出的全景視域下的視頻監(jiān)控及分析框架不僅彌補了傳統(tǒng)視頻監(jiān)控視域有限的不足，而且對傳統(tǒng)的視頻分析模型提出了新的挑戰(zhàn)。針對上述問題，構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)ResNet的人臉識別分析模型，通過對ArcFace人臉識別算法以及人臉識別損失函數(shù)Additive Angular Margin Loss進行完善與調(diào)優(yōu)，實現(xiàn)對不同姿勢、復(fù)雜光照、不同表情以及存在遮擋的人臉進行穩(wěn)定的識別，改善人臉檢測技術(shù)在實用中的泛化能力。該項技術(shù)可以被應(yīng)用智慧交通中的行人穿紅燈識別，違章駕駛中的駕駛員信息識別等等。

（二）基于深度學(xué)習(xí)的異常行為檢測：金融以及金融活動場所的安全作為智慧城市建設(shè)的重中之重，目前面臨著諸如尾隨取款、現(xiàn)場搶劫、異常倒地、遺留物品、攜帶武器、破壞ATM機等異常行為。本文提出的全景視域下的視頻監(jiān)控方案，可以在上述金融或其它公共場合布設(shè)全景監(jiān)控設(shè)備，獲取實時全景視頻信息，采用基于稀疏自編碼的特征融合的深度學(xué)習(xí)框架，對人員的活動特征 （多尺度光流直方圖）以及表觀特征進行融合分析，并建立視頻語義分析模型，提取視頻語義信息，包括全局語義、局部語義以及高層特征的融合，利用卷積神經(jīng)網(wǎng)絡(luò)中的2D卷積與3D卷積，解決深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的“梯度彌散”問題。該項技術(shù)可以實現(xiàn)對智慧城市重點建設(shè)的自助銀行、無人超市、車站等公共場所人員的異常行為進行實時監(jiān)測，做到及時發(fā)現(xiàn)并及時處理，提升安全保障。

五、總結(jié)

隨著人工智能技術(shù)的發(fā)展，以及移動支付、智能金融、智慧安防等場景的延伸，以全景視頻為核心的監(jiān)控系統(tǒng)越來越獲得市場的更大青睞。在人工智能、深度學(xué)習(xí)、大數(shù)據(jù)技術(shù)的推動下，視頻監(jiān)控技術(shù)創(chuàng)新不斷，本文順應(yīng)技術(shù)潮流，提出全景視域下的視頻監(jiān)控與分析方案，并結(jié)合當(dāng)今先進的、且在其他領(lǐng)域得到廣泛應(yīng)用的深度學(xué)習(xí)技術(shù)，對基于深度學(xué)習(xí)技術(shù)的人臉識別與異常行為檢測的應(yīng)用進行了探究，具有技術(shù)可行性，能很好的應(yīng)用到實際生產(chǎn)中，并產(chǎn)生良好的經(jīng)濟效益。

本文提出的全景視域下的視頻監(jiān)控及分析框架進具有理論與技術(shù)實現(xiàn)可行性，框架中的中央處理單元包括視頻采集組件、視頻抖動與噪音抑制、視頻合成與切分以及投影與映射組件。本文提出的全景視頻監(jiān)控方案實現(xiàn)了多角度、全方位無死角的視頻采集與處理，解決了傳統(tǒng)視頻監(jiān)控需要在同一個區(qū)域部署多個單目視頻采集設(shè)備、需要大量人力物力并且增加后期視頻處理難度等問題。綜合當(dāng)前學(xué)術(shù)界與產(chǎn)業(yè)界的需求，本文提出的全景視頻監(jiān)控與分析框架具有現(xiàn)實應(yīng)用價值。未來可以進一步融合大數(shù)據(jù)與深度學(xué)習(xí)技術(shù)，不僅可以拓寬全景視頻分析的研究視角，而且可以更好地實大數(shù)據(jù)與深度學(xué)習(xí)的應(yīng)用前景。