基于視覺(jué)目標(biāo)捕捉的船舶航行態(tài)勢(shì)感知系統(tǒng)的研究與應(yīng)用

張政 王晉鑫 李磊

摘要：本文主要研究一種基于視覺(jué)目標(biāo)捕捉的船舶航行態(tài)勢(shì)感知系統(tǒng)。該系統(tǒng)旨在通過(guò)對(duì)船只上的視頻信息進(jìn)行分析處理，采用一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法，通過(guò)處理視頻流，準(zhǔn)確識(shí)別海上運(yùn)動(dòng)的目標(biāo)船只，并獲得其位置、速度和航向等關(guān)鍵信息。同時(shí)，利用機(jī)器學(xué)習(xí)算法預(yù)測(cè)目標(biāo)船的航行軌跡，進(jìn)一步提高系統(tǒng)的準(zhǔn)確性和實(shí)用性，旨在滿(mǎn)足用戶(hù)在實(shí)際應(yīng)用場(chǎng)景中的需求，以供參考。

關(guān)鍵詞：態(tài)勢(shì)感知；圖像處理；目標(biāo)識(shí)別

DOI：10.12433/zgkjtz.20233105

基金項(xiàng)目：工業(yè)和信息化部“船舶（航行）態(tài)勢(shì)智能感知系統(tǒng)研制”項(xiàng)目

項(xiàng)目編號(hào)：MC－201920－X01

隨著人工智能技術(shù)的不斷發(fā)展和應(yīng)用，無(wú)人船作為一種智能化、自主化的新型船舶正在迅速崛起。無(wú)人船相較于傳統(tǒng)的船舶，具有無(wú)人值守、成本低廉、風(fēng)險(xiǎn)低等諸多優(yōu)勢(shì)，在海上巡航、監(jiān)測(cè)、勘探等方面具有廣闊的應(yīng)用前景。本文旨在研究和應(yīng)用基于視覺(jué)目標(biāo)捕捉的船舶航行態(tài)勢(shì)感知系統(tǒng)，為無(wú)人船的航行安全提供可靠的技術(shù)保障。

一、概述

目標(biāo)檢測(cè)是水面航行器的重要任務(wù)，因?yàn)樗呛叫旭{駛員能識(shí)別和跟蹤環(huán)境中的目標(biāo)，對(duì)航行決策提供輔助建議，也可以用于與AIS目標(biāo)、雷達(dá)ARPA目標(biāo)融合后得到更精準(zhǔn)的目標(biāo)位置。

本文采用了一種將目標(biāo)屏幕坐標(biāo)轉(zhuǎn)換為地球經(jīng)緯度坐標(biāo)的方法。該方法基于船舶的GPS定位信息和攝像機(jī)的拍攝角度等參數(shù)，可以實(shí)現(xiàn)對(duì)目標(biāo)在地球表面上的準(zhǔn)確定位。在轉(zhuǎn)換過(guò)程中，需要進(jìn)行多次坐標(biāo)變換和計(jì)算，以實(shí)現(xiàn)對(duì)目標(biāo)的精確定位。

本文訓(xùn)練了一個(gè)基于YOLOv5的深度神經(jīng)網(wǎng)絡(luò)用于船舶目標(biāo)的識(shí)別，并將其與卡爾曼濾波相結(jié)合用于船舶目標(biāo)的跟蹤與預(yù)測(cè)。

二、方法

（一）空間對(duì)齊體系

1.基礎(chǔ)信息

一般的攝像頭會(huì)存在由于鏡頭光學(xué)系統(tǒng)的物理特性引起的徑向畸變或切向畸變問(wèn)題。針對(duì)攝像頭畸變問(wèn)題，張正友等人提出了一種基于棋盤(pán)格校正的畸變校正算法。該算法通過(guò)攝像頭拍攝放置的已知形狀和大小的棋盤(pán)格，并通過(guò)計(jì)算棋盤(pán)格角點(diǎn)與圖像像素之間的映射關(guān)系，推導(dǎo)出畸變系數(shù)，并將其應(yīng)用于整個(gè)圖像中，從而糾正畸變圖像。在具體實(shí)現(xiàn)上，該算法需要計(jì)算攝像頭的內(nèi)參矩陣和畸變系數(shù)，并通過(guò)對(duì)每個(gè)像素點(diǎn)進(jìn)行畸變校正，將畸變圖像糾正為無(wú)畸變的圖像。

2.攝像頭位姿

本文可通過(guò)獲取本船靜態(tài)信息與姿態(tài)信息的方式計(jì)算攝像頭的瞬時(shí)位姿。

所需的本船靜態(tài)信息數(shù)據(jù)包括船舶的長(zhǎng)、寬、高、吃水深度（靜態(tài)）、攝像頭（組）的固定位置；同時(shí)，還要將實(shí)時(shí)獲取的船身動(dòng)作輸入運(yùn)動(dòng)模型，包括縱搖、橫搖等瞬時(shí)數(shù)據(jù)，計(jì)算當(dāng)前狀態(tài)下，攝像頭所處三維位置和朝向，并進(jìn)一步計(jì)算出攝像頭畫(huà)面的中心坐標(biāo)，以保持視頻數(shù)據(jù)與相融合的物標(biāo)三維坐標(biāo)的動(dòng)態(tài)對(duì)齊。

本系統(tǒng)在不考慮遮擋的情況下將攝像頭各個(gè)時(shí)刻的位置信息、高度信息和姿態(tài)信息作為輸入，通過(guò)下列步驟，獲得攝像頭畫(huà)面中識(shí)別出目標(biāo)的屏幕坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)，并作為下一步目標(biāo)融合的輸入。

（1）計(jì)算目標(biāo)點(diǎn)（地球表面點(diǎn)）距離畫(huà)面中心的水平和垂直像素距離：

（1）

（2）計(jì)算畫(huà)面中目標(biāo)點(diǎn)（地球表面點(diǎn)）與攝像頭位置的距離：

（2）

（3）計(jì)算畫(huà)面中目標(biāo)點(diǎn)（地球表面點(diǎn)）相對(duì)于攝像頭位置的方位角：

（3）

（4）畫(huà)面中目標(biāo)點(diǎn)（地球表面點(diǎn)）的經(jīng)緯度：

（4）

（5）

其中pointpixelx和pointpixely是畫(huà)面中任意一點(diǎn)的像素坐標(biāo)，cameralat是攝像頭位置的緯度，cameralon是攝像頭位置的經(jīng)度，cameraheight是攝像頭的高度（單位：米），camerabearing是攝像頭的方位角（單位：弧度），earthradius是地球的半徑（單位：米），viewangle是攝像頭的視野角度（單位：弧度）。

（二）目標(biāo)檢測(cè)

為了在本系統(tǒng)中使用YOLOv5進(jìn)行目標(biāo)檢測(cè)，可以采取以下步驟：

1.數(shù)據(jù)的預(yù)處理

使用COCO數(shù)據(jù)集中1578張作為本系統(tǒng)的訓(xùn)練集，自行標(biāo)注數(shù)據(jù)1006張，共2584張已標(biāo)注圖片作為訓(xùn)練集。

2.模型的選擇和配置

選擇YOLOv5s作為模型版本，僅設(shè)置1類(lèi)識(shí)別類(lèi)，這是因?yàn)橛?xùn)練集標(biāo)注單一且訓(xùn)練集較小，避免過(guò)擬合并提高訓(xùn)練速度。使用COCO預(yù)訓(xùn)練權(quán)重處理類(lèi)似的目標(biāo)檢測(cè)任務(wù)。

3.模型的訓(xùn)練和評(píng)估

混淆矩陣如圖1所示，顯示了對(duì)于目標(biāo)的識(shí)別結(jié)果，可以看到在船舶的識(shí)別中的準(zhǔn)確率達(dá)85%，但在假正和真反上存在較大的誤判率。損失函數(shù)收斂曲線如圖2、圖3所示，顯示了算法在訓(xùn)練過(guò)程中損失函數(shù)的收斂情況，算法在迭代次數(shù)逐漸增加后，損失函數(shù)有逐漸下降趨勢(shì)，表明算法在訓(xùn)練過(guò)程中逐漸收斂。

圖1 ? 混淆矩陣

圖2 ?訓(xùn)練損失函數(shù)收斂曲線

圖3 ? 測(cè)試損失函數(shù)收斂曲線

（三）目標(biāo)跟蹤

本文使用爾曼濾波的方式對(duì)目標(biāo)進(jìn)行跟蹤。具體而言，使用YOLOv5算法檢測(cè)和識(shí)別視頻幀中的船舶目標(biāo)，并獲取目標(biāo)的邊界框位置信息。將目標(biāo)位置信息輸入到卡爾曼濾波器中，估計(jì)目標(biāo)的位置和速度，并預(yù)測(cè)下一幀中目標(biāo)的位置。然后，使用YOLOv5算法檢測(cè)和識(shí)別下一幀中的目標(biāo)，并將檢測(cè)到的目標(biāo)位置信息輸入到卡爾曼濾波器中，更新目標(biāo)的位置和速度。通過(guò)不斷重復(fù)這一過(guò)程，可以實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。實(shí)現(xiàn)步驟如下：

1.狀態(tài)空間模型

假設(shè)目標(biāo)狀態(tài)由位置和速度兩個(gè)維度組成，即

（6）

觀測(cè)量是目標(biāo)位置信息，即

（7）

因此，狀態(tài)空間模型表示為：

（8）

（9）

其中，F(xiàn)k是狀態(tài)轉(zhuǎn)移矩陣，表示上一時(shí)刻的狀態(tài)如何轉(zhuǎn)移到當(dāng)前時(shí)刻的狀態(tài)；Wk是過(guò)程噪聲，表示狀態(tài)轉(zhuǎn)移過(guò)程中的不確定性；Hk是觀測(cè)矩陣，表示當(dāng)前狀態(tài)如何映射到觀測(cè)量；vk是觀測(cè)噪聲，表示觀測(cè)過(guò)程中的不確定性。

2.預(yù)測(cè)

在預(yù)測(cè)階段，根據(jù)上一時(shí)刻的狀態(tài)和狀態(tài)轉(zhuǎn)移矩陣Fk，預(yù)測(cè)當(dāng)前時(shí)刻的狀態(tài)xk。同時(shí)，估計(jì)當(dāng)前的狀態(tài)協(xié)方差Pk，表示對(duì)當(dāng)前狀態(tài)的不確定性。

預(yù)測(cè)公式如下：

（10）

（11）

其中，是預(yù)測(cè)的狀態(tài)，是預(yù)測(cè)的狀態(tài)協(xié)方差，Qk是過(guò)程噪聲協(xié)方差。

3.更新

在更新階段，根據(jù)觀測(cè)量Zk和Hk觀測(cè)矩陣，對(duì)預(yù)測(cè)的狀態(tài)進(jìn)行校正，并計(jì)算當(dāng)前狀態(tài)的協(xié)方差Pk。

更新公式如下：

（12）

（13）

（14）

其中，Kk是卡爾曼增益，Rk是觀測(cè)噪聲協(xié)方差。

通過(guò)預(yù)測(cè)和更新兩個(gè)步驟，可以實(shí)現(xiàn)對(duì)目標(biāo)位置和速度的跟蹤和預(yù)測(cè)，從而更加準(zhǔn)確地進(jìn)行目標(biāo)識(shí)別和跟蹤。

三、實(shí)驗(yàn)和評(píng)估

在對(duì)視頻目標(biāo)捕捉的試驗(yàn)評(píng)估中，選用航速較高的船舶運(yùn)行中的AIS真實(shí)值數(shù)據(jù)和同時(shí)錄制的視頻數(shù)據(jù)，作為評(píng)估參考值和評(píng)估目標(biāo)。

評(píng)估的指標(biāo)是計(jì)算船舶的定位誤差，即目標(biāo)的實(shí)際位置和濾波估計(jì)位置之間的距離。選用的計(jì)算參數(shù)為平均絕對(duì)誤差，計(jì)算公式如下：

（15）

其中，n為樣本個(gè)數(shù)，x1i、y1i為真實(shí)坐標(biāo)值，x2i、y2i為估計(jì)坐標(biāo)值。即對(duì)每個(gè)樣本，計(jì)算估計(jì)值與真實(shí)值之間的差，求出均值，得到平均絕對(duì)誤差。

圖4 ? 視頻識(shí)別目標(biāo)跟蹤絕對(duì)誤差分布

本文使用50s的錄制視頻（視頻畫(huà)面中僅存在一個(gè)目標(biāo)），以每秒所在視頻幀識(shí)別的目標(biāo)位置，與對(duì)應(yīng)的AIS目標(biāo)位置使用上述公式進(jìn)行計(jì)算，得到的平均絕對(duì)誤差為5.43m。

四、結(jié)語(yǔ)

本文提出基于視覺(jué)目標(biāo)捕捉的船舶航行態(tài)勢(shì)感知系統(tǒng)，并模擬船載攝像頭的拍攝畫(huà)面（船艏）進(jìn)行測(cè)試，使用成熟的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別獲得了近95%的捕捉成功率，并跟蹤識(shí)別出的目標(biāo)，獲得近98%的目標(biāo)跟蹤率。

系統(tǒng)在實(shí)驗(yàn)評(píng)估過(guò)程中作為評(píng)估參考值的AIS數(shù)據(jù)進(jìn)行比對(duì)的過(guò)程中，雖然精選了AIS數(shù)據(jù)的來(lái)源，但受限于AIS設(shè)備誤差，參考值仍存在數(shù)據(jù)不準(zhǔn)確的隱患。所以，關(guān)于目標(biāo)捕獲的評(píng)價(jià)體系的搭建仍存在不足，本文的方法可作為目標(biāo)融合的信號(hào)源之一，在船舶導(dǎo)航領(lǐng)域?yàn)榇白R(shí)別和跟蹤的準(zhǔn)確性的提升給出了一個(gè)可行的方向，同時(shí)本系統(tǒng)在與AR設(shè)備z結(jié)合之后也可作為輔助瞭望設(shè)備。

參考文獻(xiàn)：

[1]Kalman，R.E.（1960）.A New Approach to Linear Filtering and Prediction Problems[J].Journal of Basic Engineering，82（01），35-45.

[2]Zhang，Z.（2000）.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，22（11），1330-1334.

[3]Lin，T.-Y.，Maire，M.，Belongie，S.，et al（2014）.Microsoft COCO：Common Objects in Context[J].In European Conference on Computer Vision （740-755）.Springer，Cham.