京哈北高速公路隧道AI事件監(jiān)測系統(tǒng)探究

劉晗 張醒敏 周炳清 李明 牛靜路 曹賀雙

（河北高速集團有限公司京哈北線分公司，河北 唐山 063000）

隧道監(jiān)控室

0 引言

我國正處于城市化高速發(fā)展時期，大城市、特大城市持續(xù)改造與擴張，中小城市迅猛發(fā)展。城市規(guī)模與結構都處在巨大變化之中?，F(xiàn)代交通的發(fā)展在給人們帶來便利同時，也帶來一定負面影響。未來城市交通的發(fā)展要強化前沿關鍵科技研發(fā)，瞄準新一代信息技術、人工智能、智能制造、新材料、新能源等世界科技前沿，大力發(fā)展智慧交通，推動大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能、區(qū)塊鏈、超級計算等新技術與交通行業(yè)深度融合。

隧道AI事件監(jiān)測系統(tǒng)研發(fā)思路受當前人工智能技術啟發(fā)，研發(fā)成功后可減少造價高昂的事件監(jiān)測設備投入。該系統(tǒng)探索用人工智能技術分析視頻數(shù)據(jù)特征，借助多種深度學習算法，對系統(tǒng)神經(jīng)網(wǎng)絡開展訓練，自動總結出不同目標的特征和規(guī)律，自行學習強化，實現(xiàn)準確識別和分類，提高事件檢測準確率，為隧道運營管理提供精準判斷、快速決策、果斷施策的依據(jù)。

1 隧道AI事件監(jiān)測系統(tǒng)主要功能

系統(tǒng)通過固定攝像機分析檢測視頻事件、記錄和報警，具有自學習功能，能夠自動判斷攝像機類型（遙控或者固定），根據(jù)攝像機類型自動切換檢測模式，可提供實時事件、事故檢測及交通數(shù)據(jù)。

系統(tǒng)具備視頻檢測圖像的自學習功能，能夠根據(jù)攝像機工作狀態(tài)自動調整其工作模式，從而始終保持最佳檢測狀態(tài)，當攝像機畫面穩(wěn)定2秒鐘后，系統(tǒng)即可開始自動檢測，在檢測到交通事件或事故時，能夠快速報警。

1.1 靜態(tài)模式

系統(tǒng)能夠檢測的事件類型包括車輛停駛、交通堵塞、交通事故、慢行車輛、行人、逆行車輛、火災/煙霧、拋灑物、交通狀態(tài)（暢通、擁堵、堵塞）等；能夠采集的交通數(shù)據(jù)包括交通流量、平均速度、車道占有率、車型等。

1.2 動態(tài)模式

系統(tǒng)使用自校準算法和自學習方式，自動執(zhí)行事件檢測模塊并可對車輛停止、拋灑物、擁堵、故障車輛等事件進行檢測。

1.3 全天候檢測功能

在晝、夜、雨、雪、霧等不利環(huán)境條件下，只要車輛有正常的前燈、尾燈照明，系統(tǒng)即可檢測各種異常交通事件或事故。

隧道監(jiān)控實時畫面

1.4 全畫面檢測

在攝像機圖像畫面范圍內發(fā)生的交通事件和事故，系統(tǒng)均可檢測。

系統(tǒng)具有多模式自動轉換功能，可根據(jù)交通流量大小、環(huán)境變化自動切換，還可在低亮度下正常工作。

2 隧道AI事件監(jiān)測系統(tǒng)主要研究內容

2.1 目標感知分析

通過對視頻進行分析，可實時獲取道路行駛車輛、機動車、行人、異常物體等目標，并能夠實時測量其實際地理坐標、行車方向，與正方向之間的偏移角度等信息?？蓪煌ㄊ录?、交通事故或交通違法車輛實時定位和跟蹤分析。

2.2 車輛深度識別

2.2.1 車輛檢測

通過檢測視頻或圖像，確認路段是否有車及其位置，其難點在于需要應對不同路況、不同姿態(tài)、不同光線、嚴重遮擋等復雜情況。該系統(tǒng)車輛檢出率不低于90%，對于標準卡口圖像等，還可提供司乘人員人臉檢測和圖像采集功能。

2.2.2 車型識別

系統(tǒng)基于AI深度學習技術，可有效識別小轎車、卡車、公交車、吉普車、工程車（消防車、挖掘機、灑水車、救護車）、物流車、渣土車、特種車、大貨車等。識別準確率白天≥90%，夜間≥85%。

2.3 事件檢測與取證

2.3.1 非機動車闖入

系統(tǒng)基于AI深度學習技術，可有效識別自行車、摩托車、機動三輪車等小慢目標闖入，在400萬像素攝像機、源碼流視頻情況下，檢測率達到90%。

2.3.2 異常停車

系統(tǒng)基于AI深度學習技術，可對車輛在行車道、應急車道、港灣停車區(qū)等區(qū)域異常停車事件進行自動檢測、預警和視頻記錄，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.3 車輛逆行、倒車

系統(tǒng)基于AI深度學習技術，可對車輛在行車道、應急車道等區(qū)域逆向行駛、倒車等事件進行自動檢測、預警和視頻記錄，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.4 行人上路

系統(tǒng)基于AI深度學習技術，可對發(fā)生在行車道、應急車道等區(qū)域的行人入侵事件進行自動檢測、預警和視頻記錄，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.5 拋灑物

系統(tǒng)基于AI深度學習技術，可對發(fā)生在行車道、應急車道等區(qū)域的影響行車安全的拋灑物事件進行自動檢測、預警和視頻記錄，目標體積不小于30cm×30cm，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.6 違法掉頭

系統(tǒng)基于AI深度學習技術，可對車輛在禁止掉頭線位置違法掉頭行為進行檢測預警，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.7 違法變道

系統(tǒng)基于AI深度學習技術，可對車輛違法變更車道行為進行自動檢測并預警，這要求相機在上方正裝、無遮擋，同等像素和源碼流視頻情況下，檢測率達到90%。

2.3.8 道路施工

系統(tǒng)基于AI深度學習技術，可對在行車道、應急車道等區(qū)域發(fā)生的占道施工事件進行自動檢測、預警和視頻記錄；這類施工事件應具備明顯的反光錐桶、隔離欄、水馬等施工標志。

2.3.9 交通擁堵

系統(tǒng)基于AI深度學習技術，可對發(fā)生在行車道、應急車道等區(qū)域的交通擁堵事件進行自動檢測、預警和視頻記錄。

2.3.10 車輛慢行

系統(tǒng)基于AI深度學習技術，可對隧道、路面等場景出現(xiàn)的低速車流進行自動檢測預警。

2.3.11 車頭間距

系統(tǒng)基于AI深度學習技術，可實時檢測輸出前后車輛的車頭間距。

2.3.12 能見度檢測

系統(tǒng)基于AI深度學習技術，可實時檢測道路能見度，米級數(shù)據(jù)輸出。

2.3.13 排隊超限

基于AI深度學習技術，當車輛排隊超過預設值，系統(tǒng)會輸出警報信息。

3 隧道AI事件監(jiān)測系統(tǒng)關鍵技術研究

3.1 目標檢測算法

目標檢測的任務是在圖片中找到感興趣的目標的位置，確定目標類別，通過算法將車輛和行人框出來，并加以區(qū)分確定。

在GPU平臺上運行的檢測器，主干網(wǎng)絡可能是VGG、ResNet、ResNetXt或DenseNet；在CPU平臺上運行的檢測器，主干網(wǎng)絡可能是SqueezeNet、MobileNet或ShuffleNet。對于head部分，通常分為單階段和雙階段的目標檢測器。單階段目標檢測器的代表模型是YOLO、SSD和RetinaNet。雙階段目標檢測器的代表是R-CNN系列，包括：fast R-CNN、faster R-CNN、R-FCN和Libra R-CNN，還有基于anchor-free的雙階段的目標檢測器如RepPoints。近幾年，出現(xiàn)了基于anchor-free的單階段的算法，例如CenterNet、CornerNet、FCOS等。2018年以來，目標檢測器會在主干網(wǎng)絡和head之間插入一些網(wǎng)絡層，這些網(wǎng)絡層通常用來收集不同的特征圖，被稱為目標檢測器的neck。通常一個neck由多個bottom-up路徑和top-down路徑組成。使用這種機制的網(wǎng)絡包括Feature Pyramid Network（FPN）、Path Aggregation Network（PAN）、BiFPN和NAS-FPN。

雙階段檢測器一般較為復雜，耗時較長，為節(jié)省算力資源，該系統(tǒng)采用YOLOv5算法。YOLOv5是一種基于深度學習的目標檢測算法，由Joseph Redmon和Alexey Bochkovskiy在2020年提出。該算法采用了一種新的網(wǎng)絡結構，稱為CSPNet（Cross StagePartial Network）。CSPNet通過將原始特征圖分成兩部分來減少計算量，增加了跨階段連接，提高了網(wǎng)絡性能。此外，CSPNet還使用了SPP（Spatial Pyramid Pooling）模塊來處理不同大小的輸入圖像。能夠實現(xiàn)更快速、更準確的目標檢測。

YOLOv5訓練流程如下：

數(shù)據(jù)預處理：將原始數(shù)據(jù)轉換為模型可讀取的格式，并增強數(shù)據(jù)以提高模型魯棒性；

構建模型：根據(jù)YOLOv5網(wǎng)絡結構構建模型并初始化參數(shù)；

損失函數(shù)：采用交叉損失函數(shù)訓練，并使用L1損失函數(shù)來計算邊界框誤差；

優(yōu)化器：采用Adam優(yōu)化器開展模型優(yōu)化；

訓練：將預處理后的數(shù)據(jù)輸入模型中開展訓練，并根據(jù)驗證集結果調整超參數(shù)。

YOLOv5檢測流程如下：

該區(qū)為京津冀城市群的核心區(qū)，西部、北部為山區(qū)，中部、南部為華北平原，東部為沿海，地貌多樣、腹地廣闊；區(qū)內有密云、官廳、于橋、西大洋、王塊、安格莊、龍門等大型水庫，是重要水源區(qū)；有白洋淀、南大港、北大港、七里海等濕地，景觀豐富多樣。該區(qū)域水資源短缺，河流斷流、功能退化，西部山區(qū)水土流失嚴重。該區(qū)域生態(tài)建設山區(qū)以水土流失治理和水源涵養(yǎng)為主體，平原以地下水修復和人居環(huán)境維護為核心、沿海以濕地保護與修復、河口生態(tài)維護為重點。

圖像預處理：將待檢測圖像轉換為模型可讀取的格式，并開展歸一化操作；

前向傳播：將預處理后的圖像輸入模型中前向傳播，得到目標框和類別概率；

非極大值抑制（NMS）：對目標框開展NMS操作，去除重合度較高的目標框；

輸出結果：輸出去除重復目標框后的最終結果。

3.2 目標軌跡跟蹤算法

該系統(tǒng)采用ByteTrack算法做目標軌跡。ByteTrack算法是一種基于目標檢測的追蹤算法，也是一種簡單、高效、實用的多目標跟蹤方法，追蹤算法使用了卡爾曼濾波（Kalman flter）預測邊界框，通過匈牙利算法匹配目標和軌跡。

卡爾曼濾波是一種高效的自回歸濾波器，它能在存在諸多不確定性情況的組合信息中估計動態(tài)系統(tǒng)的狀態(tài)，是一種強大的、通用性極強的工具。只要是存在不確定信息的動態(tài)系統(tǒng)，卡爾曼濾波就可以對其下一步要做什么做出有根據(jù)的推測。即便有噪聲信息干擾，卡爾曼濾波通常也能很好地辨別發(fā)生了什么，找出現(xiàn)象間不易察覺的相關性。因此，卡爾曼濾波非常適合不斷變化的系統(tǒng)，其內存占用小（只需保留前一個狀態(tài)）、速度快，是實時問題和嵌入式系統(tǒng)的理想選擇。

卡爾曼濾波器是一個狀態(tài)估計器，它利用傳感器融合、信息融合來提高系統(tǒng)的精度。通常觀測一個系統(tǒng)的狀態(tài)有兩種手段：一種是通過系統(tǒng)的狀態(tài)轉移方程并結合上一時刻的狀態(tài)推得下一時刻的狀態(tài)，另一種是借助輔助系統(tǒng)（量測系統(tǒng)）的測量得到系統(tǒng)狀態(tài)。這兩種方式都有各自的不確定性，卡爾曼濾波可將這兩者做到最優(yōu)結合（加權平均），使估計狀態(tài)的不確定性小于其中任何一種。

卡爾曼濾波無論是在單目標還是多目標領域都是很常用的一種算法，將其看做一種運動模型，可用來預測目標的位置，且利用預測結果修正跟蹤目標位置，屬于自動控制理論中的一種方法。在跟蹤視頻中的目標時，當目標運動速度較慢，很容易關聯(lián)前后兩幀的目標，利用之前幾幀的位置來預測下一幀的位置，即可關聯(lián)同一目標。

3.3 深度學習和機器視覺算法

深度學習是一種基于人工神經(jīng)網(wǎng)絡的機器學習方法，可以從大量的數(shù)據(jù)中自動學習特征表示和抽象，從而提高模型的泛化能力和性能。深度學習在計算機視覺、自然語言處理、語音識別等領域取得了巨大的成功，也為隧道AI事件監(jiān)測系統(tǒng)提供了新的思路和技術支持。實例分割是計算機視覺領域中的常見算法，它不僅要求定位特定類別的目標，還要求對每個目標開展像素級別的分割。實例分割既具備語義分割的特點，即做到像素層面上的分類；也具備目標檢測的一部分特點，即區(qū)分不同實例，適用于區(qū)分拋灑物實例并估算面積。

AI事件監(jiān)測的難點之一在于拋灑物的不確定性，如石塊、沙土、金屬碎片、塑料袋、行李箱等，同時很難收集到足夠多的高質量標記數(shù)據(jù)來訓練一個傳統(tǒng)的目標檢測模型。零樣本實例分割是一種在沒有任何標記數(shù)據(jù)的情況下對未知類別的目標開展檢測和分割的方法，其優(yōu)勢在于可以解決實際場景中數(shù)據(jù)標注困難、類別多樣、數(shù)據(jù)不平衡等問題，提高了實例分割模型的泛化性和魯棒性，適用于拋灑物檢測。

4 隧道AI事件監(jiān)測系統(tǒng)的運行效果預估

4.1 技術效果預估

4.1.1 采用智能圖像增強技術，可使AI算法適應較低圖像質量條件下的交通事件智能檢測?；谥悄軋D像增加技術，系統(tǒng)可充分利用隧道內現(xiàn)有攝像頭設備，結合隧道運行的特殊燈光、光照等場景，定制對隧道內常見事件的AI智能監(jiān)測，確保模型適應隧道場景的照明條件，大幅提升隧道事件預警的準確率和實時性。

4.1.2 采用基于AI的智能事件檢測與結構化特征識別技術，系統(tǒng)不僅能識別常規(guī)交通事件，還能提供多維度的車輛結構化信息。在隧道運行場景中，系統(tǒng)可主動監(jiān)測多達16種事件類型，識別多種車輛類型，預警準確率超過85%，完整覆蓋隧道日常運行管理中的重要事件。

4.1.3 通過訓練專門的目標檢測模型和零樣本實例分割模型，系統(tǒng)能夠自動識別路面標志、車輛及拋灑物等目標。

4.1.4 基于YOLO的目標檢測模型及零樣本實例分割模型，在訓練和預測階段都具有較高的速度，相比于其他機器視覺檢測方法，能夠更快地實現(xiàn)目標檢測和分類。

4.2 經(jīng)濟效果預估

4.2.1 提高隧道通行效率

隧道是公路場景中最難啃的“黑盒子”，對車輛暢通行駛起到重大作用。該系統(tǒng)將直接應用于公路隧道交通的運營管理，對提升隧道通行能力和客貨吞吐能力發(fā)揮巨大作用。

4.2.2 提升管理降低成本

通過對隧道AI事件監(jiān)測系統(tǒng)的研究及推廣應用，管理者可便捷、高效地查詢隧道運行狀態(tài)、運營狀況，完成日常綜合管控操作，有效提高隧道管理者對交通的管控能力，降低日常管理難度，節(jié)約管理費用和時間成本。

5 結束語

目前，隧道AI事件監(jiān)測系統(tǒng)已實現(xiàn)預期功能，能準確識別非機動車闖入、異常停車、車輛逆行、倒車、火災、行人、交通事故、交通擁堵、排隊長度、車輛拋灑物、車輛慢行等多種事件，同時具備“兩客一?！避囕v實時監(jiān)控管理功能，初步完成了計劃目標。系統(tǒng)功能還有待繼續(xù)拓展，采集大量數(shù)據(jù)樣本開展比對分析，持續(xù)優(yōu)化完善系統(tǒng)算法，適配多種環(huán)境下的應用，進一步提高監(jiān)測系統(tǒng)的精準度。