基于AI的橋梁防撞安全預(yù)警應(yīng)用研究

汪祝慶、黃健、王彤

（1.江蘇蘇信交通科技有限公司，江蘇南京 210000；2.南京市交通運(yùn)輸綜合行政執(zhí)法監(jiān)督局，江蘇 南京 210000）

1 橋梁防撞安全管理現(xiàn)狀問(wèn)題分析

橋梁建設(shè)為經(jīng)濟(jì)發(fā)展在帶來(lái)巨大便利的同時(shí)，也存在種種困境。如因橋墩占用原有航道水域，導(dǎo)致船舶可航水域通航凈寬、凈高受限，從而直接或間接引發(fā)水上交通安全事故或造成安全隱患；因橋墩的修建改變了原有水道的流場(chǎng)特征，從而導(dǎo)致船舶在橋墩水域航行受限，更進(jìn)一步增加了船舶碰撞橋墩的風(fēng)險(xiǎn)。船舶碰撞橋梁事故一旦發(fā)生，造成的損失將無(wú)法估量，輕則船、橋損傷，重則船毀橋塌，甚至發(fā)生重大人員傷亡和環(huán)境污染事故。當(dāng)前的橋梁防撞安全管理中存在以下問(wèn)題：

第一，船舶自動(dòng)識(shí)別系統(tǒng)（Automatic Identification System，AIS）[1]可以提供船舶位置，該系統(tǒng)服務(wù)于防撞預(yù)警，但AIS 有信號(hào)遲延風(fēng)險(xiǎn)，實(shí)時(shí)性較差，有可能探知的船舶已經(jīng)不在當(dāng)前位置。加上AIS 偶有故障或未開(kāi)機(jī)，橋區(qū)就不能獲知船舶當(dāng)前狀態(tài)，且橋區(qū)檢測(cè)系統(tǒng)無(wú)法干預(yù)解決這種故障，因此這是一種被動(dòng)監(jiān)測(cè)。另外，由于水位是變化的，AIS 并不能有效實(shí)施對(duì)船舶的限高監(jiān)測(cè)。

第二，船舶在水中停船要經(jīng)過(guò)很長(zhǎng)一段距離，需要感知離橋足夠距離的船舶狀態(tài)，為船舶預(yù)警留下足夠處理的時(shí)間。但觀測(cè)攝像機(jī)需要在足夠的高度下才能全景航道船行情況，而在航道上下游不允許架設(shè)高桿的情況下，觀測(cè)攝像機(jī)只能安裝在橋梁側(cè)進(jìn)行長(zhǎng)程觀測(cè)，這就會(huì)降低圖像的質(zhì)量甚至可能采集不到圖像。此外，雨霧等低照度條件同樣會(huì)影響到觀測(cè)攝像機(jī)對(duì)現(xiàn)場(chǎng)的監(jiān)控。

第三，多方式示警模塊（包括船名船號(hào)識(shí)別子系統(tǒng)）可在感知到船舶異常后，獲得船名并匹配船舶數(shù)據(jù)庫(kù)中電話，呼叫警示船舶；由于目標(biāo)追蹤可迅速定位船舶位置，因此在夜間可通過(guò)激光可見(jiàn)光掃射駕駛艙來(lái)提醒船舶；通過(guò)LED 等聲光報(bào)警提醒船舶；通過(guò)甚高頻基站和AIS 基站呼叫異常船舶，以保證最快速度通知船舶處理險(xiǎn)情。此外，還能夠?qū)⒏婢畔l(fā)送執(zhí)法部門客戶端，便于執(zhí)法部門分析指揮調(diào)度并依法取證。

2 橋梁防撞安全預(yù)警方案

針對(duì)橋梁防撞安全管理中的問(wèn)題，本文有針對(duì)性地提出以下安全預(yù)警方案：采用圖像定位技術(shù)，根據(jù)圖像感知提取船舶的位置、尺寸、狀態(tài)，結(jié)合AIS 定位及船舶尺寸提取信息。比對(duì)預(yù)存的航道圖和限寬閾值，發(fā)現(xiàn)偏航與超寬等異常，觸發(fā)預(yù)警。采用計(jì)算機(jī)視覺(jué)（CV）手段和卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)船舶目標(biāo)檢測(cè)，同時(shí)結(jié)合目標(biāo)檢測(cè)，實(shí)現(xiàn)目標(biāo)追蹤。通過(guò)人工智能對(duì)攝像機(jī)畫(huà)面的分析，保證實(shí)時(shí)性，由于系統(tǒng)的歸屬性，保證故障風(fēng)險(xiǎn)可控，一旦自檢系統(tǒng)有問(wèn)題，可及時(shí)搶修而不是被動(dòng)地等第三方修復(fù)故障，滿足主動(dòng)預(yù)警的要求。結(jié)合雷達(dá)限高檢測(cè)和AIS 數(shù)據(jù)輔助，可形成信息融合后的主動(dòng)預(yù)警系統(tǒng)。

3 基于卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別與追蹤

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的船舶目標(biāo)檢測(cè)

通過(guò)高清攝像機(jī)拍攝水面船舶，對(duì)水面上航行的船舶進(jìn)行目標(biāo)檢測(cè)和定位。通過(guò)目標(biāo)檢測(cè)和定位能夠自動(dòng)、高效地識(shí)別追蹤目標(biāo)，為檢測(cè)船舶航速、離橋距離等提供支持。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行卷積、池化、輸出等多層組合操作，完成提取圖像語(yǔ)義，模型能夠高效提取圖像特征，且泛化能力較強(qiáng)。目標(biāo)追蹤算法中，傳統(tǒng)算法分為一階段目標(biāo)追蹤和兩階段目標(biāo)追蹤，其中一階段目標(biāo)追蹤是預(yù)測(cè)圖片中圈定范圍內(nèi)的類型、偏移量等，如YOLO[2]、SSD 算法[3]；兩階段目標(biāo)追蹤是先做初步檢測(cè)，然后生成候選區(qū)域并對(duì)其進(jìn)行詳細(xì)分類和微調(diào)，如Fast R-CNN[4]。Faster R-CNN是在Fast R-CNN 的基礎(chǔ)上增加了PRN 層實(shí)現(xiàn)。

本文比對(duì)采用的Faster R-CNN 網(wǎng)絡(luò)模型包括四部分，分別為卷積層部分、PRN 層、池化層和全連接FC 層。基于Faster R-CNN 網(wǎng)絡(luò)模型的船舶目標(biāo)追蹤流程圖如圖1 所示。

圖1 基于Faster R-CNN 網(wǎng)絡(luò)模型的船舶目標(biāo)追蹤流程圖

首先輸入圖像，經(jīng)過(guò)VGG16 的特征提取，來(lái)獲取區(qū)域建議網(wǎng)絡(luò)（PRN）需要的全部特征。RPN 利用特征圖生成若干個(gè)候選區(qū)域以及每個(gè)區(qū)域的概率值，按照非極大值抑制方法對(duì)候選區(qū)域的概率值進(jìn)行計(jì)算，經(jīng)過(guò)RPN 網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域進(jìn)行映射處理，并投影到特征圖上，通過(guò)投影獲得特征矩陣，把得分最高的區(qū)域放入感興趣區(qū)域的池化層ROI pooling（Region of interest）。候選區(qū)域的特征圖經(jīng)ROI pooling處理后，縮放到7×7 大小，分別送入目標(biāo)分類和回歸兩個(gè)分支，計(jì)算出分類結(jié)果，同時(shí)通過(guò)回歸預(yù)測(cè)，獲取邊界框區(qū)域，即通過(guò)全連接層輸出預(yù)測(cè)類別和位置。

3.2 基于DeepSort 的船舶軌跡追蹤

前面通過(guò)采用改進(jìn)的Faster R-CNN 網(wǎng)絡(luò)，有效實(shí)現(xiàn)對(duì)目標(biāo)船舶的檢測(cè)，其算法精度較高。本節(jié)從檢測(cè)結(jié)果上來(lái)實(shí)現(xiàn)對(duì)目標(biāo)船舶的跟蹤。采用的跟蹤算法為DeepSort，該算法提取較深層的目標(biāo)特征，以增加模型的泛化能力，從而有效地解決目標(biāo)特征提取性能較差的問(wèn)題，實(shí)現(xiàn)對(duì)船舶跟蹤的穩(wěn)定性，且算法精度較高。

Sort 是把IoU（Intersection over Union，在特定數(shù)據(jù)集上衡量檢測(cè)目標(biāo)準(zhǔn)確度的標(biāo)準(zhǔn)）作為前后幀目標(biāo)關(guān)系指標(biāo)，其僅僅根據(jù)匹配檢測(cè)目標(biāo)的邊界距離，來(lái)完成對(duì)前后幀目標(biāo)的判斷，其對(duì)邊界內(nèi)的特征進(jìn)行匹配。若追蹤目標(biāo)出現(xiàn)一些障礙遮擋時(shí)，易出現(xiàn)目標(biāo)頻繁切換問(wèn)題。為了解決此問(wèn)題，在進(jìn)行前后幀匹配時(shí)，DeepSort 采用級(jí)聯(lián)匹配算法，把目標(biāo)間距、特征的相似度作為衡量前后幀之間關(guān)系的標(biāo)準(zhǔn)，以提高算法的準(zhǔn)確度，排除一些錯(cuò)誤的軌跡預(yù)測(cè)。

DeepSort 核心流程包括三個(gè)步驟：預(yù)測(cè)（Track）、觀測(cè)（Detection+數(shù)據(jù)關(guān)聯(lián)）和更新，其中預(yù)測(cè)就是預(yù)測(cè)后一幀目標(biāo)的Bbox，當(dāng)完成目標(biāo)檢測(cè)后，其結(jié)果在前后兩幀中不存在關(guān)聯(lián)關(guān)系，因此需要在觀測(cè)步驟中完成數(shù)據(jù)關(guān)聯(lián)操作。在目標(biāo)追蹤過(guò)程中，卡爾曼濾波是當(dāng)前跟蹤算法中最為典型的算法，其適用于不斷變化的場(chǎng)景中，在目標(biāo)追蹤過(guò)程中，存在一些不確定信息或者一些噪聲干擾，卡爾曼濾波可通過(guò)目標(biāo)先前的運(yùn)動(dòng)狀態(tài)，對(duì)其作出相應(yīng)的預(yù)測(cè)，得到后續(xù)時(shí)刻的目標(biāo)運(yùn)動(dòng)狀態(tài)。

在算法模型中，先通過(guò)Faster R-CNN 網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行檢測(cè)識(shí)別，提取特征，然后利用馬氏距離來(lái)計(jì)算追蹤目標(biāo)的卡爾曼濾波預(yù)測(cè)值與本幀采集的目標(biāo)完成關(guān)聯(lián)度計(jì)算。在復(fù)雜的追蹤場(chǎng)景中，船舶周圍的物體與目標(biāo)存在較快的移動(dòng)或者遮掩，通過(guò)馬氏距離可判斷易出現(xiàn)錯(cuò)誤判斷的情形，因此引入余弦距離算法來(lái)作為輔助判斷，需要重新通過(guò)Faster R-CNN 網(wǎng)絡(luò)來(lái)獲取目標(biāo)物特征，對(duì)目標(biāo)物特征和已追蹤軌跡、目標(biāo)之間的維度差異來(lái)進(jìn)行關(guān)聯(lián)。馬氏距離與余弦距離算法對(duì)關(guān)聯(lián)值的影響：當(dāng)值介于設(shè)定的兩個(gè)閾值范圍之間，則視為關(guān)聯(lián)成功。如果目標(biāo)對(duì)象在關(guān)聯(lián)成功后，需要繼續(xù)進(jìn)行IoU 匹配，如果目標(biāo)對(duì)象與已有軌跡在設(shè)定的幀內(nèi)沒(méi)有再次匹配，則表示此幀追蹤是無(wú)效的，如果再次匹配成功，則表示此幀追蹤是有效的，通過(guò)此方法最后獲取當(dāng)前目標(biāo)軌跡。

4 橋梁防撞安全預(yù)警系統(tǒng)設(shè)計(jì)

4.1 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)體系結(jié)構(gòu)分為：數(shù)據(jù)層、業(yè)務(wù)層、展示層和前端UI，在云主機(jī)、獨(dú)立服務(wù)器以及第三方虛擬主機(jī)運(yùn)行。

數(shù)據(jù)層：負(fù)責(zé)完成存儲(chǔ)過(guò)程、數(shù)據(jù)緩存、事務(wù)、讀寫(xiě)數(shù)據(jù)庫(kù)，對(duì)采集的船舶視頻、圖片等緩存進(jìn)行管理。當(dāng)采集到圖像數(shù)據(jù)時(shí)，保存到非結(jié)構(gòu)化數(shù)據(jù)庫(kù)，同時(shí)數(shù)據(jù)層存儲(chǔ)一些目標(biāo)檢測(cè)、追蹤模型的參數(shù)配置，對(duì)檢測(cè)和追蹤結(jié)果進(jìn)行保存，同時(shí)對(duì)每天發(fā)生的預(yù)警事件進(jìn)行管理，方便檢索和處理。

業(yè)務(wù)層：用于實(shí)現(xiàn)船舶感知、異常預(yù)警、取證采集的業(yè)務(wù)定義，同時(shí)用以定義統(tǒng)計(jì)分析、系統(tǒng)日志的設(shè)置等。船舶感知用于定義船舶高清攝像以及圖片取幀參數(shù)等；異常報(bào)警用于定義報(bào)警規(guī)則，當(dāng)觸發(fā)報(bào)警規(guī)則時(shí)，系統(tǒng)實(shí)現(xiàn)自動(dòng)報(bào)警處理；除了檢測(cè)和追蹤外，還需要完成預(yù)警、報(bào)警的相關(guān)數(shù)據(jù)統(tǒng)計(jì)。

展示層：用于提供模塊操作。該平臺(tái)模塊包括圖像采集模塊、參數(shù)配置模塊、預(yù)警模塊、橋梁碰撞報(bào)警模塊、通信模塊等。

前端UI：用于定義平臺(tái)的操作界面，包括頁(yè)面表單、CSS、HTML5 等。

4.2 系統(tǒng)模塊設(shè)計(jì)

系統(tǒng)模塊包括圖像采集模塊、參數(shù)配置模塊、預(yù)警模塊、橋梁碰撞報(bào)警模塊、通信模塊等。下面分別論述部分模塊的設(shè)計(jì)。

4.2.1 參數(shù)配置模塊

對(duì)模型參數(shù)、平臺(tái)參數(shù)等進(jìn)行設(shè)置，其中模型參數(shù)包括超參設(shè)置、訓(xùn)練參數(shù)等；該模塊對(duì)系統(tǒng)的一些配置，包括預(yù)警規(guī)則、碰撞報(bào)警條件等的設(shè)置，系統(tǒng)用戶權(quán)限管理分配等。

4.2.2 預(yù)警模塊

橋梁防撞預(yù)警的目標(biāo)是在船舶未到達(dá)橋區(qū)前，監(jiān)測(cè)過(guò)往船舶，如果某船舶超寬、超高或偏離航道，及時(shí)給予警告，防患于未然。以偏航為例進(jìn)行說(shuō)明，需要知道船舶當(dāng)前位置，并與系統(tǒng)內(nèi)置的航道范圍電子地圖進(jìn)行比對(duì)，如果船舶不在航道范圍內(nèi)，則視為異常。

4.2.3 橋梁碰撞報(bào)警模塊

感知層采用震動(dòng)傳感器，震動(dòng)傳感器對(duì)物體進(jìn)行振動(dòng)測(cè)量時(shí)，能將機(jī)械振動(dòng)參數(shù)轉(zhuǎn)化為電參量信號(hào)，具有高靈敏、快速、高性能等特點(diǎn)。在橋梁關(guān)鍵部位部署震動(dòng)傳感器，能夠根據(jù)震動(dòng)力度及范圍，用于監(jiān)測(cè)是否發(fā)生碰撞預(yù)警的信號(hào)，或者當(dāng)發(fā)生碰撞時(shí)用于判斷碰撞程度。

4.2.4 通信模塊

系統(tǒng)云服務(wù)器負(fù)責(zé)報(bào)警信息的處理、計(jì)算，報(bào)警信號(hào)的分發(fā)及監(jiān)控系統(tǒng)遠(yuǎn)程查看。通信模塊為系統(tǒng)提供感知數(shù)據(jù)傳輸，包括監(jiān)控圖片、視頻上傳的地址、參數(shù)配置等。

5 橋梁防撞安全預(yù)警設(shè)計(jì)

5.1 船舶感知與識(shí)別

基于視頻識(shí)別技術(shù)進(jìn)行預(yù)警監(jiān)測(cè)，首先要能采集到足夠清晰的畫(huà)面，然而現(xiàn)有預(yù)警系統(tǒng)在雨霧天氣、夜間等昏暗環(huán)境時(shí)采集的圖像模糊，影響對(duì)船舶尺度、定位、距離、航向等信息的分析?，F(xiàn)有人工智能算法易受光照條件、天氣因素、圖像質(zhì)量、目標(biāo)大小、物體遮擋、偽裝等因素影響，導(dǎo)致識(shí)別效率不高。在知識(shí)積累與使用方面，與傳統(tǒng)的結(jié)構(gòu)化存儲(chǔ)和調(diào)用不同，模擬人腦占有信息機(jī)制，構(gòu)建類腦知識(shí)庫(kù)并依據(jù)進(jìn)化模型實(shí)現(xiàn)經(jīng)驗(yàn)積累，依據(jù)記憶喚醒規(guī)律調(diào)用知識(shí)參與數(shù)據(jù)分析。在數(shù)據(jù)分析方面，構(gòu)建類腦緩沖池，搭建基本算子和情境識(shí)別機(jī)制的算法模型，實(shí)現(xiàn)信息感知。由于先驗(yàn)知識(shí)以類腦思維方式參與識(shí)別，訓(xùn)練樣本少、部署快、識(shí)別準(zhǔn)確實(shí)時(shí)、問(wèn)題可回溯、開(kāi)銷小。

5.2 超限預(yù)警分析

根據(jù)圖像感知提取船舶的位置、尺寸、姿態(tài)，結(jié)合AIS 定位及船舶尺寸提取信息。比對(duì)預(yù)存的航道圖和限寬閾值，發(fā)現(xiàn)異常，觸發(fā)預(yù)警。檢測(cè)到超限異常后，將預(yù)警性質(zhì)（偏航、超高、超寬、違停）、異常船舶位置、身份、異常值等上傳至服務(wù)器，推送至客戶端系統(tǒng)，啟動(dòng)船舶超限報(bào)警。在觀測(cè)點(diǎn)架設(shè)激光感應(yīng)器，設(shè)定高度為橋梁下沿，當(dāng)高于橋梁下沿的船舶經(jīng)過(guò)時(shí)，會(huì)對(duì)激光感應(yīng)器形成遮擋，意味著船舶超高，觸發(fā)預(yù)警，通過(guò)上下架設(shè)雙感應(yīng)器的方式進(jìn)行設(shè)計(jì)，防止飛鳥(niǎo)經(jīng)過(guò)造成誤報(bào)警。

5.3 數(shù)字孿生再現(xiàn)

通過(guò)BIM、GIS 和數(shù)據(jù)孿生技術(shù)，根據(jù)航道圖等資料，實(shí)現(xiàn)橋區(qū)三維場(chǎng)景還原，實(shí)時(shí)定位追蹤異常問(wèn)題，統(tǒng)計(jì)分析異常原因，多種手段實(shí)現(xiàn)排除異常，進(jìn)行異常檔案管理，實(shí)現(xiàn)安全診斷分析以及監(jiān)測(cè)系統(tǒng)自檢。

5.4 多方式提醒及預(yù)警

除客戶端警示以外，自建高頻小基站，實(shí)現(xiàn)與到達(dá)船舶的通信；自建AIS 小基站，實(shí)現(xiàn)與到達(dá)船舶的信息交互；橋側(cè)安裝LED 屏幕，顯示信息警示船舶；監(jiān)控點(diǎn)安裝聲光報(bào)警，用語(yǔ)音和光閃警示船舶。系統(tǒng)感知到船舶接近時(shí)，通過(guò)以上措施廣播式主動(dòng)示警，提醒過(guò)往船舶注意安全；系統(tǒng)感知到船舶異常時(shí)，通過(guò)以上措施主動(dòng)告警并實(shí)時(shí)跟蹤異常狀態(tài)是否消除。

6 結(jié)語(yǔ)

人們?cè)谙硎軜蛄航ㄔO(shè)為經(jīng)濟(jì)騰飛帶來(lái)巨大便利的同時(shí)，也不得不面對(duì)因橋梁的修建帶來(lái)的種種困境。為解決橋梁建設(shè)帶來(lái)的安全問(wèn)題，提出在安全風(fēng)險(xiǎn)較大的橋梁加裝主動(dòng)防御的防撞預(yù)警、碰撞報(bào)警系統(tǒng)。橋梁防撞預(yù)警和碰撞報(bào)警系統(tǒng)基于AI 視頻技術(shù)，通過(guò)深度學(xué)習(xí)和優(yōu)化智能算法，顯著提升對(duì)船舶目標(biāo)跟蹤檢測(cè)的準(zhǔn)確性，針對(duì)提升航道運(yùn)行效率，減少橋梁碰撞等問(wèn)題，實(shí)現(xiàn)防撞預(yù)警、碰撞報(bào)警等功能，解決橋梁資產(chǎn)保護(hù)中的難題，有效防范風(fēng)險(xiǎn)。