基于TBD策略的船舶交通流視覺圖像統(tǒng)計(jì)方法

關(guān)克平 韓笑 蔣宇

摘要：為提高在天氣惡劣、目標(biāo)密集、目標(biāo)被遮擋及其他復(fù)雜海況下船舶交通流統(tǒng)計(jì)的準(zhǔn)確率，提出一種將目標(biāo)檢測(cè)算法CenterNet、多目標(biāo)跟蹤算法DeepSORT與凸包算法中優(yōu)化逆時(shí)針（counter clockwise，CCW）判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計(jì)方法。使用Python對(duì)所選的數(shù)據(jù)和場(chǎng)景進(jìn)行測(cè)試，結(jié)果表明：CenterNet在多場(chǎng)景檢測(cè)中比YOLOv3更優(yōu)秀;基于目標(biāo)檢測(cè)的多目標(biāo)跟蹤算法具有良好實(shí)時(shí)性，能夠有效對(duì)抗因目標(biāo)抖動(dòng)、密集、被遮擋等所導(dǎo)致的目標(biāo)丟失，繼而減少船舶交通流統(tǒng)計(jì)時(shí)常出現(xiàn)的漏檢、錯(cuò)檢和重復(fù)統(tǒng)計(jì)等問題。

關(guān)鍵詞：

CenterNet; DeepSORT; 凸包檢測(cè); 船舶交通流統(tǒng)計(jì); 目標(biāo)檢測(cè)

中圖分類號(hào)：? U692

文獻(xiàn)標(biāo)志碼：? A

A visual image statistics method for ship traffic flow

based on TBD strategy

GUAN Keping， HAN Xiao， JIANG Yu

（

Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract：

In order to improve the accuracy of ship traffic flow statistics under severe weather， dense targets， occluded targets and other complex sea conditions， a visual image statistics method for ship traffic flow is proposed， where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are combined with the single-line method for the counter clockwise （CCW） judgment optimization in the convex hull algorithm. Python is adopted to test the selected data and scenes. The results show that： CenterNet is better than YOLOv3 in the multi-scene detection; the multi-target tracking algorithm based on target detection is of good real-time performance， and can effectively combat target loss caused by? target jitter， density and occlusion，

etc.， and then reduce the problems such as missed detection， false detection， and repeated statistics in traffic flow statistics.

Key words：

CenterNet; DeepSORT; convex hull detection; ship traffic flow statistics; target detection

收稿日期： 2020-08-23

修回日期： 2021-03-09

基金項(xiàng)目：

國(guó)家自然科學(xué)基金（51909155）

作者簡(jiǎn)介：

關(guān)克平（1978—），男，福建寧德人，副教授，碩士，研究方向?yàn)楹胶７抡婕夹g(shù)，（E-mail）kpguan@shmtu.edu.cn

0 引 言

隨著近年來(lái)水路運(yùn)輸業(yè)的發(fā)展，水上交通狀況逐漸變得復(fù)雜。交通管理人員全面掌握船舶航行動(dòng)態(tài)、及時(shí)統(tǒng)計(jì)船舶交通流，可降低航運(yùn)事故的發(fā)生概率，減少事故損失。目前使用最廣泛的船舶交通流統(tǒng)計(jì)方法是基于船舶自動(dòng)識(shí)別系統(tǒng)[1-3]（automatic identification system，AIS）的統(tǒng)計(jì)方法，如KIM等[4]利用背景估計(jì)實(shí)現(xiàn)船舶檢測(cè)并配合AIS實(shí)現(xiàn)了相關(guān)船舶信息匹配。

由于視頻能提供很多實(shí)時(shí)圖像細(xì)節(jié)，有學(xué)者提出一種基于虛擬線圈的船舶交通流檢測(cè)系統(tǒng)。CHEN等[5]在此基礎(chǔ)上增加了核化相關(guān)濾波器（kernelized correlation filter，KCF）算法對(duì)船舶進(jìn)行跟蹤，較好地解決了漏檢和重復(fù)計(jì)數(shù)的問題。ZOU等[6]用深度學(xué)習(xí)SSD（single shot multibox detector）算法進(jìn)行船舶交通流統(tǒng)計(jì)，可快速檢測(cè)出船舶，但該方法存在重復(fù)計(jì)數(shù)的問題。由于水上交通環(huán)境比陸上交通環(huán)境復(fù)雜，進(jìn)行長(zhǎng)期、穩(wěn)健的船舶跟蹤非常具有挑戰(zhàn)性[7]。近年來(lái)，有學(xué)者將YOLOv2[8]和YOLOv3[9]算法應(yīng)用到船舶交通流統(tǒng)計(jì)中，解決漏檢和重復(fù)計(jì)數(shù)等問題，但對(duì)于目標(biāo)距離遠(yuǎn)或能見度低等情況，這兩種算法處理效果并不理想。

針對(duì)以上問題，本文提出一種將目標(biāo)檢測(cè)算法CenterNet、多目標(biāo)跟蹤算法DeepSORT和凸包算法中優(yōu)化逆時(shí)針（counter clockwise，CCW）判斷的單線法相結(jié)合的方法，實(shí)現(xiàn)對(duì)船舶交通流的精確統(tǒng)計(jì)。其中：CenterNet負(fù)責(zé)對(duì)目標(biāo)進(jìn)行分類和定位;DeepSORT負(fù)責(zé)對(duì)目標(biāo)檢測(cè)后的視頻序列中多個(gè)感興趣的目標(biāo)軌跡進(jìn)行跟蹤并提取，再通過時(shí)域關(guān)聯(lián)分配跟蹤識(shí)別碼，解算目標(biāo)的運(yùn)動(dòng)軌跡信息;凸包算法中優(yōu)化CCW判斷的單線法負(fù)責(zé)完成船舶數(shù)量統(tǒng)計(jì)。該統(tǒng)計(jì)方法幾乎不占用計(jì)算資源，高效、可靠且兼容不同斜率線段的部署。通過以上3種算法的結(jié)合，可有效改善傳統(tǒng)船舶交通流統(tǒng)計(jì)中出現(xiàn)的漏檢、錯(cuò)檢和重復(fù)計(jì)數(shù)等問題。

1 船舶檢測(cè)與跟蹤

1.1 CenterNet

CenterNet是無(wú)錨框類檢測(cè)網(wǎng)絡(luò)，在一定程度上借鑒了CornerNet[10]的整體框架和損失函數(shù)，并對(duì)其進(jìn)行了改進(jìn)，實(shí)現(xiàn)了檢測(cè)速度與檢測(cè)精度的權(quán)衡。其基本思想是：構(gòu)建模型時(shí)，將對(duì)象視為由其中心而非邊界框表示的點(diǎn)，通過關(guān)鍵點(diǎn)估計(jì)找到中心點(diǎn)，并回歸其他屬性（如邊界框?qū)挾群透叨龋﹣?lái)生成預(yù)測(cè)框。通過引用熱力圖構(gòu)建CenterNet模型，根據(jù)預(yù)測(cè)點(diǎn)的高斯分布區(qū)域計(jì)算真實(shí)預(yù)測(cè)值。偏置預(yù)測(cè)被用來(lái)表示標(biāo)注信息從輸入圖像被映射到輸出特征圖時(shí)由取整操作所導(dǎo)致的坐標(biāo)誤差。CenterNet的網(wǎng)絡(luò)框架如圖1所示，其中檢測(cè)過程分為2個(gè)階段：下采樣階段和中心點(diǎn)生成階段。在下采樣階段，執(zhí)行全卷積網(wǎng)絡(luò)DLA-34或Resnet-18、Hourglass-104等對(duì)圖像進(jìn)行下采樣，同時(shí)提取圖像特征，獲得低4倍的特征圖。基于下采樣得到的特征圖生成目標(biāo)中心點(diǎn)。在中心點(diǎn)生成階段，使用3個(gè)分支網(wǎng)絡(luò)（熱圖生成分支網(wǎng)絡(luò)、中心偏移回歸分支網(wǎng)絡(luò)和目標(biāo)邊界框尺寸回歸分支網(wǎng)絡(luò)）預(yù)測(cè)目標(biāo)邊界框。

1.2 DeepSORT

多目標(biāo)跟蹤是對(duì)視頻序列中多個(gè)感興趣的目標(biāo)軌跡進(jìn)行跟蹤并提取，并通過時(shí)域關(guān)聯(lián)分配跟蹤識(shí)別碼，解算目標(biāo)的運(yùn)動(dòng)軌跡信息。當(dāng)前主流的多目標(biāo)跟蹤算法[11]可分為2類：（1）基于相關(guān)濾波的多目標(biāo)跟蹤算法。其代表為基于KCF的多目標(biāo)跟蹤算法[12-13]，它使用多線程完成多個(gè)單目標(biāo)跟蹤。算法對(duì)第一幀圖像進(jìn)行采樣，由目標(biāo)區(qū)域形成循環(huán)矩陣，通過快速傅里葉變換轉(zhuǎn)換到頻域進(jìn)行求解，可降低時(shí)間復(fù)雜度;引入嶺回歸和核技巧，可有效提高跟蹤速度和精度。（2）DeepSORT。它是基于SORT的改進(jìn)算法[14]，其優(yōu)點(diǎn)是可以在整個(gè)視頻中跟蹤隨時(shí)出現(xiàn)的新目標(biāo)，但前提是要有一個(gè)好的目標(biāo)檢測(cè)算法。本文就是在DeepSORT前用CenterNet檢測(cè)出目標(biāo)，從而實(shí)現(xiàn)基于目標(biāo)檢測(cè)的多目標(biāo)跟蹤。

DeepSORT分別使用馬氏距離和余弦距離作為運(yùn)動(dòng)特征和檢測(cè)框內(nèi)深度特征的相似度度量標(biāo)準(zhǔn)，再通過對(duì)兩種相似度加權(quán)平均得到總體相似度來(lái)進(jìn)行最近鄰匹配，通過遞歸卡爾曼濾波和級(jí)聯(lián)匹配逐幀優(yōu)先匹配出近期活躍度較高的目標(biāo)，以提高目標(biāo)追蹤的魯棒性。

2 船舶交通流統(tǒng)計(jì)方法

2.1 優(yōu)化CCW判斷的單線法

一般航道內(nèi)呈現(xiàn)2種交通流向，即駛出流向和駛?cè)肓飨?，見圖2a。船舶交通流統(tǒng)計(jì)中存在的問題有：船舶（如觀光船、執(zhí)法船等）重復(fù)往返造成重復(fù)計(jì)數(shù);由各方面因素（如角度變化、涌動(dòng)等）引起的特征變化使得檢測(cè)框發(fā)生抖動(dòng);水上交通監(jiān)控通常采用遠(yuǎn)距離攝影，這使得船舶在整個(gè)視頻畫面中移動(dòng)較少。其中船舶反復(fù)跨越檢測(cè)線導(dǎo)致重復(fù)計(jì)數(shù)的問題尤為明顯，見圖2b。

基于上述情況和多種交通流統(tǒng)計(jì)方法（虛擬線框法、雙線法和目標(biāo)鏈法等）的測(cè)試結(jié)果，采用凸包算法中優(yōu)化CCW判斷的單線法完成船舶數(shù)量統(tǒng)計(jì)。

優(yōu)化CCW判斷的單線法可用來(lái)判斷點(diǎn)線間的位置關(guān)系，本文對(duì)該方法進(jìn)行改進(jìn)后用來(lái)判斷船舶實(shí)時(shí)軌跡與檢測(cè)線相交的情況。該方法計(jì)數(shù)觸發(fā)機(jī)制為：已知近期某時(shí)刻歷史軌跡點(diǎn)A、當(dāng)前軌跡點(diǎn)B和虛擬檢測(cè)線端點(diǎn)C、D，若點(diǎn)A、B分別位于檢測(cè)線CD的兩邊，分別在順時(shí)針和逆時(shí)針方向分布，則線段AB與CD相交，可視作船舶正跨越檢測(cè)線，觸發(fā)計(jì)數(shù)，見圖3。

2.2 TBD策略

聯(lián)合目標(biāo)檢測(cè)的多目標(biāo)跟蹤策略[15]，也稱為TBD （tracking-by-detection）策略，是當(dāng)前業(yè)界研究熱點(diǎn)。本文采用的TBD策略為先用CenterNet進(jìn)行目標(biāo)檢測(cè)，再用DeepSORT進(jìn)行多目標(biāo)跟蹤。其實(shí)現(xiàn)過程分2步：①用目標(biāo)檢測(cè)算法將每幀圖像中感興趣的目標(biāo)檢測(cè)出來(lái)，得到目標(biāo)的位置坐標(biāo)、分類和可信度，這里假設(shè)檢測(cè)到的目標(biāo)數(shù)量為M;②將上一步中檢測(cè)到的目標(biāo)與上一幀中檢測(cè)到的目標(biāo)（假設(shè)上一幀中檢測(cè)到的目標(biāo)數(shù)量為N）一一關(guān)聯(lián)起來(lái)。換句話說，就是在M×N個(gè)配對(duì)中找出最相似的一對(duì)組合。

實(shí)際的智能海事監(jiān)控系統(tǒng)包含多個(gè)子模塊，各子模塊負(fù)責(zé)不同的任務(wù)且相互協(xié)調(diào)，整個(gè)系統(tǒng)實(shí)現(xiàn)框架如圖4所示，其中交通流計(jì)數(shù)模塊處于目標(biāo)檢測(cè)模塊和多目標(biāo)跟蹤模塊之后，它基于這兩個(gè)模塊的處理結(jié)果進(jìn)行交通流計(jì)數(shù)處理。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型數(shù)據(jù)構(gòu)成

前沿的算法研究都是在通用的COCO等數(shù)據(jù)集上進(jìn)行的。由于深度學(xué)習(xí)模型的訓(xùn)練依賴大量數(shù)據(jù)，為使模型具有更大的適用性，算法需要一定規(guī)模的優(yōu)質(zhì)數(shù)據(jù)支持。本文研究主要面向內(nèi)河或沿海水域的真實(shí)船舶，數(shù)據(jù)集以網(wǎng)絡(luò)圖片為主要來(lái)源，輔以公共船舶數(shù)據(jù)和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)。

3.2 效果對(duì)比

為檢測(cè)目標(biāo)檢測(cè)算法CenterNet的可靠性，選取部分?jǐn)?shù)據(jù)作為測(cè)試數(shù)據(jù)，并選取部分典型場(chǎng)景進(jìn)行船舶目標(biāo)檢測(cè)，見圖5～8。

與YOLOv3的檢測(cè)結(jié)果對(duì)比可以看出：CenterNet對(duì)遠(yuǎn)距離小船舶目標(biāo)的檢測(cè)效果較好;平、俯視角檢測(cè)框緊實(shí)且定位準(zhǔn)確;對(duì)復(fù)雜背景、光照變換和能見度不良等干擾情況魯棒性好;能有效捕捉船舶局部特征，當(dāng)船舶處于圖片邊緣、進(jìn)出視覺范圍時(shí)檢測(cè)框偏大;當(dāng)船舶過近、被遮擋、密集或中心重疊時(shí)偶有漏檢情況。

由不同情況下的檢測(cè)結(jié)果對(duì)比可看出，YOLOv3對(duì)相似船型的檢測(cè)存在誤檢，而CenterNet對(duì)局部特征的檢測(cè)效果更好。整體看，CenterNet在多場(chǎng)景檢測(cè)中比YOLOv3更優(yōu)秀，具有更強(qiáng)的定位、分割、

識(shí)別等能力，能夠滿足船舶目標(biāo)檢測(cè)的精準(zhǔn)要求和實(shí)時(shí)需求。

3.3 聯(lián)調(diào)實(shí)驗(yàn)效果對(duì)比

本文船舶交通流統(tǒng)計(jì)是結(jié)合船舶目標(biāo)檢測(cè)算法與多目標(biāo)跟蹤算法實(shí)現(xiàn)的，采用以CenterNet為主的CenterNet-DeepSORT算法，其流程見圖9。

為驗(yàn)證CenterNet-DeepSORT算法的性能，通過聯(lián)調(diào)對(duì)視頻進(jìn)行跟蹤效果測(cè)試，部分輸出見圖10。

由圖10a和圖10c可以看出：利用CenterNet-DeepSORT算法能夠?qū)γ芗斑M(jìn)行跟蹤;從跟蹤軌跡平滑度可以看出，加入跟蹤后檢測(cè)框更加穩(wěn)定，僅在船舶姿態(tài)變化較大時(shí)出現(xiàn)抖動(dòng)。圖10b中散

貨船被錯(cuò)誤地分類為內(nèi)河船，圖10d中部分船舶在某些時(shí)刻沒有被YOLOv3-DeepSORT算法檢測(cè)或跟蹤到，跟蹤算法刪除了跟蹤歷史軌跡信息，并重新分配跟蹤識(shí)別碼，這也導(dǎo)致了跟蹤識(shí)別碼的翻倍。圖10d與圖10c相比，跟蹤識(shí)別碼切換或丟失更嚴(yán)重。

實(shí)際使用時(shí)，虛擬檢測(cè)線須布置在大多數(shù)船舶都傾向或必須通過區(qū)域，結(jié)合航道背景設(shè)置檢測(cè)線與主體交通流方向接近垂直。檢測(cè)線實(shí)際效果見圖11。

利用CenterNet-DeepSORT算法實(shí)現(xiàn)了多目標(biāo)跟蹤。經(jīng)過聯(lián)調(diào)發(fā)現(xiàn)，該算法具有良好的實(shí)時(shí)性，能夠有效對(duì)抗檢測(cè)抖動(dòng)、船舶密集或被遮擋所導(dǎo)致的目標(biāo)丟失，同時(shí)能夠判斷不同視頻幀中的船舶是否為同一目標(biāo)，進(jìn)而對(duì)船舶交通流進(jìn)行更準(zhǔn)確的統(tǒng)計(jì)。

實(shí)驗(yàn)中用到的測(cè)試數(shù)據(jù)包括 2 023張圖片，共包含6 423個(gè)船舶目標(biāo)。表1分別給出了基于傳統(tǒng)YOLOv3-DeepSORT算法和CenterNet-DeepSORT算法的船舶交通流統(tǒng)計(jì)結(jié)果。

由表1可知，CenterNet-DeepSORT算法在多場(chǎng)景檢測(cè)中比YOLOv3-DeepSORT算法更優(yōu)秀，具有更強(qiáng)的定位、分割、識(shí)別等能力，船舶交通流統(tǒng)計(jì)精度更高。

4 結(jié) 論

本文提出的將CenterNet和DeepSORT兩種算法與凸包算法中優(yōu)化CCW判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計(jì)方法，基于網(wǎng)絡(luò)圖片和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)和跟蹤實(shí)驗(yàn)，結(jié)果表明： CenterNet-DeepSORT算法能夠滿足目前實(shí)際水上交通監(jiān)控場(chǎng)景的需要，

對(duì)多場(chǎng)景檢測(cè)的準(zhǔn)確性和魯棒性均強(qiáng)于 YOLOv3-

DeepSORT算法。這類算法具有較強(qiáng)的實(shí)時(shí)性和擴(kuò)展性，可用于降低海運(yùn)事故發(fā)生概率，減少事故損

失。然而，該方法使用的TBD策略只是加強(qiáng)了目標(biāo)檢測(cè)和跟蹤的準(zhǔn)確度，并沒有完全消除復(fù)雜海況下

出現(xiàn)的漏檢、錯(cuò)檢和重復(fù)計(jì)數(shù)的問題。本文采用基于目標(biāo)檢測(cè)的多目標(biāo)跟蹤算法能夠識(shí)別出船舶類型、識(shí)別碼和對(duì)應(yīng)船舶運(yùn)動(dòng)軌跡，而如何更有效地利用以上信息，進(jìn)一步提高跟蹤精度有待進(jìn)一步深入研究。

參考文獻(xiàn)：

[1]何正偉， 劉力榮， 楊帆， 等. 基于AIS 實(shí)時(shí)數(shù)據(jù)的航道交通擁堵快速判定方法[J].中國(guó)航海， 2018， 41（2）： 113-118.

[2]VESECKY J F， LAWS K E， PADUAN J D. Using HF surface wave radar and the ship automatic identification system （AIS） to monitor coastal vessels[C]∥2009 IEEE International Geoscience and Remote Sensing Symposium. IEEE，2009（3）：761-764.DOI： 10.1109/IGARSS.2009.5417876.

[3]WAWRUCH R. Tests of the accuracy of indications by ARPA and AIS of the opposite vessel true course， true speed and CPA[C]∥2018 19th International Radar Symposium （IRS）.Bonn， Germany： DGON， 2018： 1-10.DOI： 10.23919/IRS.2018.8448220.

[4]KIM H T， PARK J S， YU Y S. Ship detection using background estimation of video and AIS informations[J]. Journal of the Korea Institute of Information and Communication Engineering， 2010， 14（12）： 2636-2641.DOI： 10.6109/jkiice.2010.14.12.2636.

[5]CHEN Xinqiang， XU Xueqian， YANG Yongsheng， et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos[J].IEEE Access， 2020， 8： 42884-42897.DOI： 10.1109/ACCESS.2020.2978054.

[6]ZOU Yiyang， ZHAO Lining， QIN Shanxing. Ship target detection and identification based on SSD_MobilenetV2[C]∥Information Technology and Mechatronics Engineering Conference （ITOEC）.IEEE， 2020： 1676-1680.DOI： 10.1109/ITOEC49 072.2020.9141734.

[7]LI Yang， ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision. Springer， Cham， 2014： 254-265.DOI： 10.1007/978-3-319-16181-518.

[8]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 6517-6525.DOI： 10.1109/CVPR.2017.690.

[9]劉博， 王勝正， 趙建森， 等. 基于Darknet網(wǎng)絡(luò)和YOLOv3 算法的船舶跟蹤識(shí)別[J]. 計(jì)算機(jī)應(yīng)用， 2019， 39（6）： 1663-1668.DOI：10.11772/j.issn.1001-9081.2018102190.

[10]LAW H， DENG Jia. CornerNet： detecting objects as paired keypoints[J]. International Journal of Computer Vision， 2020， 128： 642-656.

[11]LEE C， YOO C D. Segment-wise online learning based on greedy algorithm for real-time multi-target tracking[C]∥IEEE International Conference on Image Processing. IEEE， 2015： 872-876.DOI： 10.1109/ICIP.2015.7350924.

[12]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. DOI： 10.1109/TPAMI.2014.2345390.

[13]WANG Yangping， YONG Jiu， ZHU Zhengping， et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection[C]∥International Conference on Information， Communication and Networks.IEEE，2019： 230-233.DOI： 10.1109/ICICN.2019.8834947.

[14]WOJKE N， BEWLEY A， PAULUS D， et al. Simple online and real-time tracking with a deep association metric[C]∥International Conference on Image Processing. IEEE， 2017： 3645-3649.

[15]BI Xin， DU Jinsong， ZHANG Qingshi， et al.Improved multi-target radar TBD algorithm[J]. Journal of Systems Engineering and Electronics， 2015， 26（6）： 1229-1235. DOI： 10.1109/JSEE.2015.00135.

（編輯 趙勉）