基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)在隧道運(yùn)維中的應(yīng)用

辛奇峰

（上海浦江橋隧運(yùn)營(yíng)管理有限公司，上海200433）

隨著城市交通的不斷發(fā)展，橋梁、隧道、地下通道等新建交通設(shè)施先后投入使用。在集約化、區(qū)域化管理模式的背景下，新建設(shè)施的監(jiān)控系統(tǒng)陸續(xù)接入原有老設(shè)施監(jiān)控中心，進(jìn)行集中監(jiān)控。而新老設(shè)備隔代，數(shù)據(jù)格式、接口模式參差不齊，這給大型城市交通運(yùn)營(yíng)企業(yè)推行智能運(yùn)維帶來了困難。

根據(jù)目前上海隧道綜合監(jiān)控系統(tǒng)的設(shè)計(jì)，視頻檢測(cè)功能以半人工方式進(jìn)行工作，即由每條獨(dú)立設(shè)施監(jiān)控中心的視頻檢測(cè)系統(tǒng)通過視頻檢測(cè)，對(duì)警示的交通事件進(jìn)行人工確認(rèn)，并作相應(yīng)的操作。但是隨著外場(chǎng)攝像機(jī)不斷增加，如某金融中心區(qū)域的隧道群集中監(jiān)控，某郊環(huán)長(zhǎng)距離橋隧的監(jiān)控，每天產(chǎn)生的交通事件顯著增加，對(duì)監(jiān)控人員確認(rèn)及操作帶來了極大的壓力。

1 數(shù)據(jù)采集

1.1 數(shù)據(jù)通信接口

目前城市公路隧道使用的視頻檢測(cè)系統(tǒng)提供了通信接口來實(shí)現(xiàn)數(shù)據(jù)通信。以常用的CITILOG 系統(tǒng)為列，該系統(tǒng)提供的MediaTCP 接口可以使運(yùn)行于任意平臺(tái)上的TCP 客戶端組與視頻檢測(cè)系統(tǒng)的流媒體服務(wù)器建立通信聯(lián)系。

1.2 通訊接口配置：

接口的信息類型：

1.2.1 以A 開頭的消息，是指從服務(wù)端到TCP 客戶端（包括客戶端反饋）的消息。

1.2.2 以B 開頭的消息，是指從客戶端到服務(wù)端（包括服務(wù)端反饋）的消息。

視頻檢測(cè)服務(wù)器的端口是設(shè)置常規(guī)為33000 并且可以在運(yùn)行過程中修改。建立連接之后，兩個(gè)模塊之間的通過ANSI 字符串進(jìn)行信息交換。所有信息類（AID）事件會(huì)自動(dòng)傳遞給客戶端。

1.3 數(shù)據(jù)采集流程

通過上述通道可以獲取視頻檢測(cè)系統(tǒng)檢測(cè)到的異常停車、車輛逆行、行人、拋灑物、交通事故、車輛火情等交通事件報(bào)文信息。在日常人工二次確認(rèn)后，便可以標(biāo)記為訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)的數(shù)據(jù)集。

TCP 客戶端通過建立與視頻檢測(cè)流媒體服務(wù)器的通信聯(lián)系，將日常人工確認(rèn)的交通事件數(shù)據(jù)通過數(shù)據(jù)庫(kù)接口就可以自動(dòng)獲取識(shí)別的交通事件、車輛圖像并自定義規(guī)范后寫入數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)端獲取對(duì)應(yīng)的圖像、短視頻數(shù)據(jù)。供深度學(xué)習(xí)網(wǎng)絡(luò)模型訓(xùn)練、測(cè)試。

圖2 數(shù)據(jù)采集流程圖

1.4 自定義數(shù)據(jù)集

隧道視頻檢測(cè)系統(tǒng)采集來的數(shù)據(jù)設(shè)置為自定義數(shù)據(jù)集。

1.4.1 訓(xùn)練圖片標(biāo)注

當(dāng)采集完成原始圖片后，最關(guān)鍵的是對(duì)數(shù)據(jù)進(jìn)行標(biāo)框（bounding box）。使用LabelImg 工具對(duì)每一張圖片根據(jù)事件字典的事件，對(duì)目標(biāo)進(jìn)行標(biāo)框。

1.4.2 自制數(shù)據(jù)集文件的設(shè)置

標(biāo)注完后，建立如下目錄，目錄要求除了images/labels 不同外，其它文件夾名必須相同，程序會(huì)根據(jù)images 的路徑推算出labels 的路徑。

圖3 數(shù)據(jù)集目錄結(jié)構(gòu)

到此數(shù)據(jù)集準(zhǔn)備完畢，在data/coco128.yaml 文件里修改參數(shù)，將其中的文件讀取路徑、類別數(shù)、類別列表設(shè)置為自己的數(shù)據(jù)集要求即可。

2 搭建并訓(xùn)練網(wǎng)絡(luò)

2.1 配置測(cè)試環(huán)境

2.1.1 測(cè)試操作系統(tǒng)為windows 10 家庭版。

2.1.2 支持Cuda 的Nvidia 顯卡。

2.1.3 Python 3.7 anaconda（開源的Python 發(fā)行版本）。

2.1.4 Cuda 10.1（Cuda 是NVIDIA 公司推出的運(yùn)算平臺(tái)）。

2.1.5 Pytorch1.5.1（是開源的機(jī)器學(xué)習(xí)庫(kù)，用于自然語(yǔ)言處理等應(yīng)用程序）。

2.1.6 Opencv（可視化工具，可現(xiàn)實(shí)處理結(jié)果）。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

YOLO v5 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由3 大主要模塊組成，它們分別是：

（1）Backbone：在不同圖像細(xì)粒度上聚合并形成圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。

（2）Neck：一系列混合和組合圖像特征的網(wǎng)絡(luò)層，并將圖像特征傳遞到預(yù)測(cè)層。

（3）Head：對(duì)圖像特征進(jìn)行預(yù)測(cè)，生成邊界框和并預(yù)測(cè)類別（Head）。

以下從神經(jīng)網(wǎng)絡(luò)構(gòu)架上分析每個(gè)組件的組成、原理及功能如圖4 所示。

圖4 YOLOv5 網(wǎng)絡(luò)框架圖

2.2.1 輸入端（Input）

主要功能是數(shù)據(jù)輸入與數(shù)據(jù)增強(qiáng)，常用有608*608、640*640等尺寸。比如對(duì)800*600 的圖像進(jìn)行縮放，首先進(jìn)行自適應(yīng)圖片縮放，在常用的目標(biāo)檢測(cè)算法中不同的圖片長(zhǎng)寬都不相同；因此常用的方式是將原始圖片統(tǒng)一縮放到一個(gè)標(biāo)準(zhǔn)尺寸，再送入檢測(cè)網(wǎng)絡(luò)中。每次讀取四張圖片，分別對(duì)四張圖片進(jìn)行翻轉(zhuǎn)、縮放、色域變化等，并且按照四個(gè)方向放置，進(jìn)行圖片的組合和框的組合。經(jīng)實(shí)踐，這樣設(shè)置對(duì)于小目標(biāo)的檢測(cè)效果較好，適合隧道監(jiān)控工況下的圖像輸入。

2.2.2 主干網(wǎng)絡(luò)（BackBone）

主干網(wǎng)絡(luò)主要包括了Focus 模塊、特征提取網(wǎng)絡(luò)(CSPDarknet53）以及對(duì)應(yīng)的激活函數(shù)。

Focus 模塊在是圖片進(jìn)入backbone 前，對(duì)圖片進(jìn)行切片操作，以yolov5s 模型為例，原始的640*640 *3 的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成320*320*12 的特征圖，再經(jīng)過一次32 個(gè)卷積核的卷積操作，最終變成320*320*32 的特征圖。切片操作如圖5 所示。

圖5 切片操作示意圖

這樣可以一定程度上減少了模型的計(jì)算量，并且不會(huì)帶來信息丟失，為后續(xù)的特征提取保留了更完整的圖片下采樣信息。

特征提取是深度學(xué)習(xí)在計(jì)算機(jī)視覺學(xué)科中的重要思想方法。所謂特征就是能夠代表實(shí)體某種屬性，從神經(jīng)科學(xué)的角度來說，多層感知神經(jīng)網(wǎng)絡(luò)的提取特征的方式是符合人類生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成的。所以YOLO 神經(jīng)網(wǎng)絡(luò)也是仿照了人類視覺神經(jīng)的識(shí)別特征的方法。特征提取網(wǎng)絡(luò)是預(yù)訓(xùn)練的CNN（卷積神經(jīng)網(wǎng)絡(luò)），YOLO v5 集成了Darknet 構(gòu)架CSPDarknet53 特征提取模塊。

激活函數(shù)是為了提高網(wǎng)絡(luò)的學(xué)習(xí)能力，提升梯度的傳遞效率。平滑的激活函數(shù)允許更好的信息深入神經(jīng)網(wǎng)絡(luò)，從而得到更好的準(zhǔn)確性和泛化，常用的函數(shù)有ReLU，softplus、Mish。

2.2.3 Neck 模塊

Neck 模塊是放在Backbone 和Head 之間的，是為了更好的利用Backbone 提取的特征目標(biāo)檢測(cè)網(wǎng)絡(luò)在主干網(wǎng)絡(luò)和最后的輸出層之間插入FPN+PAN 結(jié)構(gòu)。FPN 是自頂向下的，將高層特征通過上采樣和低層特征做融合得到進(jìn)行預(yù)測(cè)的特征圖。在FPN層的后面還添加了一個(gè)自底向上的特征金字塔。這樣結(jié)合操作，F(xiàn)PN 層自頂向下傳達(dá)強(qiáng)語(yǔ)義特征，而特征金字塔則自底向上傳達(dá)強(qiáng)定位特征，兩兩聯(lián)手，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行參數(shù)聚合，通過FPN+PAN 結(jié)構(gòu)進(jìn)行融合如圖6 所示。yolov5l.yaml 來修改的訓(xùn)練方式包含兩種：一種是from scratch（從零開始訓(xùn)練），一種是使用下載好的預(yù)訓(xùn)練模型權(quán)重。對(duì)應(yīng)的參數(shù)命令：

圖6 FPN+PAN 結(jié)構(gòu)圖

--cfg ./models/YOLOv5l.yaml --weights

--cfg ./models/YOLOv5l.yaml --weights ./YOLOv5l.pt

接下來在Pycharm 中輸入以下命令進(jìn)行訓(xùn)練模型

python train.py --img 640 --batch 16 --epochs 5 --data./data/coco128.yaml --cfg ./models/YOLOv5l.yaml --weights ./YOLOv5l.pt

這是使用YOLOv5l.pt 預(yù)訓(xùn)練模型訓(xùn)練了5 個(gè)epochs，一個(gè)epoch 等于使用訓(xùn)練集中的全部樣本訓(xùn)練一次，其中設(shè)置的圖片大小為640*640 是根據(jù)內(nèi)存情況設(shè)置的。batch(size)設(shè)為16，更多參數(shù)在train.py 文件中有解釋，如下所示，如有需要可以設(shè)置。其中最多的實(shí)驗(yàn)訓(xùn)練了300 個(gè)epoch。

2.2.4 Head 模塊

Head 組件是獲取網(wǎng)絡(luò)輸出內(nèi)容的網(wǎng)絡(luò)，利用之前提取的特征，Head 模塊利用這些特征，并做出預(yù)測(cè)。輸出層的錨框機(jī)制是訓(xùn)練時(shí)的損失函數(shù)，以及預(yù)測(cè)框篩選的修改。自適應(yīng)錨框計(jì)算在YOLO 算法中，針對(duì)不同的數(shù)據(jù)集，都會(huì)有初始設(shè)定長(zhǎng)寬的錨框。所謂錨框，就是目標(biāo)檢測(cè)算法中，以錨點(diǎn)為中心，由算法預(yù)定義的多個(gè)不同長(zhǎng)寬比的先驗(yàn)框。在此不作配置，以默認(rèn)設(shè)置運(yùn)行。在網(wǎng)絡(luò)訓(xùn)練中，網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測(cè)框，進(jìn)而和真實(shí)框進(jìn)行比對(duì)，計(jì)算兩者差距，再反向更新，迭代網(wǎng)絡(luò)參數(shù)。

2.3 訓(xùn)練網(wǎng)絡(luò)

在YOLOv5 官方Github（開源代碼網(wǎng)絡(luò)共享社區(qū)）頁(yè)面下載網(wǎng)絡(luò)源代碼，YOLO v5 根據(jù)模型的訓(xùn)練規(guī)模與算力配置不同，設(shè)有從小到大4 個(gè)模型：v5s、v5m、v5l、v5x，如圖7 所示是這些不同規(guī)模的模型與EfficientDet 模型的性能對(duì)比圖。aml 配置文件設(shè)置好并且文件數(shù)據(jù)組織完畢，選擇效率較高的v5l 模型進(jìn)行訓(xùn)練。

將數(shù)據(jù)集分給3 類即：訓(xùn)練集、驗(yàn)證集與測(cè)試集。./models/

圖7 YOLOv5 模型效率圖

圖8 模型訓(xùn)練過程

訓(xùn)練完成后保存模型并繪制訓(xùn)練曲線，訓(xùn)練過程中的評(píng)價(jià)指標(biāo)均被保存在了圖形化顯示工具（Tensorboard）和日志文件中，包括metric 和train 的數(shù)據(jù)折線圖。

Metrics 是訓(xùn)練過程中完成各項(xiàng)數(shù)據(jù)的監(jiān)控表，包括：召回率（Recall）、精確率（Precision）、正確率指標(biāo)(mAP)。mAP 即平均精度均值（Mean Average Precision），是重要的訓(xùn)練指標(biāo)。作為目標(biāo)檢測(cè)中衡量檢測(cè)精度的指標(biāo)。精度越高，召回率越低。

如圖9 所示：線條分別代表:Train from pre-weight(預(yù)訓(xùn)練權(quán)重模型)和Train from scatch(從零開始訓(xùn)練的模型)。

loss 是計(jì)算權(quán)重大的真實(shí)有物體的格子位置（坐標(biāo)）的損失。所有框都計(jì)算判別概率損失，無物體的格子權(quán)重小一點(diǎn)，各自計(jì)算類別損失。

結(jié)果分析：

預(yù)訓(xùn)練權(quán)重模型和從零開始訓(xùn)練的模型的最高mAP_0.5 均能達(dá)到46.5%。

預(yù)訓(xùn)練權(quán)重模型比從零開始訓(xùn)練的模型能更快收斂，但是在250epochs 左右兩者已經(jīng)達(dá)到一致?？偟膩碚f預(yù)訓(xùn)練權(quán)重模型能一定程度上減少訓(xùn)練時(shí)間開銷。

3 隧道運(yùn)維中的應(yīng)用

3.1 環(huán)境影響

圖9 訓(xùn)練曲線

圖10 模型應(yīng)用于事件檢測(cè)

圖11 隧道口云臺(tái)攝像機(jī)視頻流檢測(cè)

在城市越江隧道中，雖然設(shè)計(jì)、安裝了傳統(tǒng)算法的視頻檢測(cè)設(shè)備，針對(duì)某一物體如車輛、行人、逆行等交通事件，有檢測(cè)功能。但一般都是在光線均勻充足，無變化、無遮擋的環(huán)境中取得。然而實(shí)際情況在通行條件較差的隧道中，光過度、光格柵、車輛遠(yuǎn)光燈等額外環(huán)境因素干擾，使得算法識(shí)別正確率會(huì)明顯下降，識(shí)別效果不佳。各個(gè)物體（大、小型車輛）之間會(huì)出現(xiàn)光線遮擋的現(xiàn)象，這就更多地增加了識(shí)別的難度。圖10 是在隧道環(huán)境下訓(xùn)練完成的YOLOv5 模型檢測(cè)效果。

分別實(shí)現(xiàn)了車輛逆行檢測(cè)、非機(jī)動(dòng)車、行人的交通事件檢測(cè)及檢測(cè)車流量功能。如圖10 所示，在隧道環(huán)境下訓(xùn)練完成的模型克服了遠(yuǎn)光燈、照明不均勻產(chǎn)生的地面光斑、光格柵等環(huán)境因素，識(shí)別效率高。

隨著隧道運(yùn)營(yíng)數(shù)據(jù)的不斷積累，深度學(xué)習(xí)網(wǎng)絡(luò)模型可以隨著環(huán)境的變化而學(xué)習(xí)環(huán)境變化，具有很強(qiáng)的泛化性能。結(jié)合YOLOv5 創(chuàng)新的模型結(jié)構(gòu)，加強(qiáng)的特征融合能力，經(jīng)驗(yàn)證在不同的光照強(qiáng)度或者遮擋的環(huán)境中，均能表現(xiàn)出良好的識(shí)別效果。這是對(duì)傳統(tǒng)視頻檢測(cè)算法短板的良好補(bǔ)強(qiáng)。

3.2 盲區(qū)監(jiān)控

目前隧道中使用的交通事件檢測(cè)系統(tǒng)，都只能應(yīng)用在固定式攝像機(jī)上。這些系統(tǒng)使用的識(shí)別算法大多是如幀差法、光流法、邊緣檢測(cè)法以及背景法。其中以背景法居多。采用背景法技術(shù)進(jìn)行目標(biāo)檢測(cè)，首先，需要背景建模。但安裝在隧道進(jìn)出口的可遙控轉(zhuǎn)動(dòng)的云臺(tái)攝像機(jī)無法使用該算法建模，造成了事件檢測(cè)的盲點(diǎn)。

動(dòng)態(tài)場(chǎng)景的目標(biāo)識(shí)別，是YOLO 神經(jīng)網(wǎng)絡(luò)模型的重要應(yīng)用場(chǎng)景。所以將訓(xùn)練好的權(quán)重模型設(shè)置好視頻流的鏈接，便可應(yīng)用在隧道的進(jìn)出口云臺(tái)監(jiān)控上，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，并將監(jiān)控結(jié)果存儲(chǔ)。Pycharm 編譯設(shè)置及夜間檢測(cè)效果如圖11 所示。

3.3 養(yǎng)護(hù)安全檢測(cè)

圖12 安全區(qū)域及安全帽檢測(cè)

表1 模型使用前后情況對(duì)比表

養(yǎng)護(hù)施工是保障設(shè)施設(shè)備安全運(yùn)營(yíng)的重要環(huán)節(jié)。而施工作業(yè)安全是重中之重。采集相關(guān)隧道工作環(huán)境下工作的安全帽圖像數(shù)據(jù)集，訓(xùn)練模型，并應(yīng)用于實(shí)際施工安全檢測(cè)。施工前將YOLO 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型部署在夜間施工區(qū)段，進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)，輔助安全管理。也可在5G 網(wǎng)絡(luò)的支持下，接入實(shí)時(shí)行車記錄裝置或視頻執(zhí)法儀之類的視頻采集端，對(duì)實(shí)時(shí)接入的視頻流進(jìn)行安全檢測(cè)，提高安全管理效率。安全區(qū)域及安全帽檢測(cè)如圖12 所示。

4 模型運(yùn)行效率情況

筆者對(duì)上海某條流量較大的越江隧道2 處監(jiān)控點(diǎn)攝像機(jī)部署YOLO 網(wǎng)絡(luò)檢測(cè)模型進(jìn)行測(cè)試，系統(tǒng)持續(xù)運(yùn)行24 小時(shí)。YOLO 目標(biāo)檢測(cè)功能投入使用之前，對(duì)交通事件的判定主要依靠人工。以某金融中心區(qū)域隧道中央監(jiān)控室為例，共有2 位監(jiān)控員加1 位值班長(zhǎng)每天12 小時(shí)4 班輪轉(zhuǎn)人工監(jiān)控大屏，及事件信息記錄上報(bào)等工作，工作量大、強(qiáng)度高、效率低。

目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型使用前后的對(duì)比情況見表1。

由表中可以看出，在使用交通事件檢測(cè)功能后，無論從交通事件的檢測(cè)能力，還是交通數(shù)據(jù)的采集能力都比使用前有明顯躍升。特別是檢測(cè)率，系統(tǒng)通過24 小時(shí)不間斷自動(dòng)識(shí)別監(jiān)控視頻，比系統(tǒng)使用前效率有極大提高。

結(jié)論：工作量是一個(gè)重要指標(biāo)，表中顯示了系統(tǒng)使用后每日交通事件檢測(cè)量提高了約3 倍，而完成這部分工作只需要1 人，下降了3 倍；每日單攝像機(jī)檢測(cè)峰值也提高了1 個(gè)數(shù)量級(jí)。

5 總結(jié)與未來前景展望

在新基建背景下，一改常規(guī)運(yùn)營(yíng)思維。以大數(shù)據(jù)為基礎(chǔ)對(duì)運(yùn)維過程進(jìn)行數(shù)字化改造，形成低成本高效率的運(yùn)營(yíng)方式。越江橋隧是城市交通主干道，重要流量節(jié)點(diǎn)，通過對(duì)隧道管理系統(tǒng)的智能化改造，形成一個(gè)自我管理的全壽命運(yùn)維體系，做到每一處工作細(xì)節(jié)均可得到反饋的實(shí)時(shí)交互，提高隧道管理的技術(shù)含量。突破核心技術(shù)壁壘，解決隧道運(yùn)維過程中的關(guān)鍵難題，保障了城市交通安全暢通，推動(dòng)行業(yè)科技進(jìn)步，實(shí)現(xiàn)經(jīng)濟(jì)效益與社會(huì)效益的雙贏。