航道船舶目標(biāo)檢測(cè)及流量統(tǒng)計(jì)算法

王 瑩，毛蘭霞

（1.無錫職業(yè)技術(shù)學(xué)院 汽車與交通學(xué)院，江蘇 無錫 214121；2.江蘇省無錫交通高等職業(yè)技術(shù)學(xué)院，江蘇 無錫 214151）

為了判斷內(nèi)河船舶航跡是否異常，必不可少的就是要獲取船舶的航跡等各方面信息，便要預(yù)先完成的是運(yùn)動(dòng)目標(biāo)的檢測(cè)。將視頻圖像序列中存在變化的區(qū)域分割出背景圖像就是通常所說的運(yùn)動(dòng)船只的檢測(cè)，對(duì)于運(yùn)動(dòng)船只檢測(cè)的方法主要有背景差法、光流法和幀間差分法三種。

在本文中，提取運(yùn)動(dòng)目標(biāo)的特征采用背景差法［1］：第一步是確定背景，背景圖像通常會(huì)選用圖像序列中一幀或幾幀圖像的平均值，第二步是確定運(yùn)動(dòng)目標(biāo)，為了消去背景，把背景圖像之后的序列圖像的當(dāng)前幀減去背景圖像，此時(shí)設(shè)定一個(gè)閾值，若相減得到的像素值大于之前設(shè)定的閾值，則被監(jiān)視場(chǎng)景中可以確定運(yùn)動(dòng)物體的存在，可以進(jìn)而得到運(yùn)動(dòng)目標(biāo)。［2］當(dāng)被檢測(cè)的船只行動(dòng)區(qū)域不大且背景圖像為準(zhǔn)靜態(tài)或是靜態(tài)時(shí)，用得最多的一種運(yùn)動(dòng)分割的方法是背景差分法，這種情況下，背景差分的計(jì)算量雖然小但是提供的數(shù)據(jù)特征卻是最為完備的，因此具有很大的實(shí)際應(yīng)用價(jià)值，同時(shí)，為了彌補(bǔ)它在動(dòng)態(tài)背景下實(shí)時(shí)性差的缺點(diǎn)，實(shí)時(shí)更新背景模型需要經(jīng)常被考慮到。除此以外，得到航道水路中船舶的立體尺寸、航速、航向、交通流信息以及天氣情況是在船舶檢測(cè)的同時(shí)進(jìn)行的。

1 基于多傳感器的目標(biāo)檢測(cè)算法

通常來說，在序列圖像中，將與背景圖像相比有變化的區(qū)域分離出來的這種手段稱之為運(yùn)動(dòng)目標(biāo)的檢測(cè)。

基于視頻信息的船舶檢測(cè)及其后續(xù)的預(yù)警流程主要有視頻圖像的采集；視頻圖像序列的分析（包括分析圖像和船舶的位置、速度、大小以及對(duì)船只的計(jì)數(shù)）和對(duì)船舶所進(jìn)行的預(yù)警處理這三個(gè)步驟。在這其中視頻的采集主要由視頻的采集和存儲(chǔ)系統(tǒng)來完成。而在視頻的圖像序列的分析階段，通過圖像處理的分析技術(shù)可以獲得船舶的位置、速度、船只的大小，以及船舶的數(shù)量等信息。在對(duì)船舶進(jìn)行的預(yù)警處理階段中，首先需要通過圖像域?qū)?shí)際域的映射從而獲得船舶在實(shí)際情況中的位置；然后再根據(jù)預(yù)先設(shè)定的預(yù)警區(qū)域?qū)Υ贿M(jìn)行瞬態(tài)預(yù)警或者預(yù)測(cè)預(yù)警。在基于視頻信息處理的船舶檢測(cè)及其預(yù)警的整個(gè)流程中，視頻序列的處理是實(shí)現(xiàn)船舶的檢測(cè)與預(yù)警的基礎(chǔ)。在視頻序列處理過程中涉及的主要處理方法有圖像預(yù)處理，即視頻中的圖像濾波和圖像增強(qiáng)等手段；運(yùn)動(dòng)目標(biāo)的檢測(cè)，它主要是基于圖像的形態(tài)學(xué)原理來實(shí)現(xiàn)的。

現(xiàn)有的運(yùn)動(dòng)目標(biāo)的檢測(cè)方法一般來說可以分為三大類：光流法、幀間差分法和背景減除法［4］。

1.1 光流法

當(dāng)被檢測(cè)的目標(biāo)與檢測(cè)者產(chǎn)生相對(duì)運(yùn)動(dòng)時(shí)，視覺心理學(xué)認(rèn)為給檢測(cè)者帶來目標(biāo)的運(yùn)動(dòng)結(jié)構(gòu)信息的是被檢測(cè)目標(biāo)表面具備光學(xué)特征的局部位移。光流就是指檢測(cè)工具和被檢測(cè)目標(biāo)間的相對(duì)移動(dòng)時(shí)帶來的亮度模式運(yùn)動(dòng)，簡單地說就是被檢測(cè)目標(biāo)具有光學(xué)特征處在平面圖像的投影形成了光流，可以簡單地理解為物體的速度矢量場(chǎng)。通常我們認(rèn)為，圖像中被測(cè)物體的運(yùn)動(dòng)和檢測(cè)工具的運(yùn)動(dòng)產(chǎn)生了光流，或者光流是由兩者共同運(yùn)動(dòng)所產(chǎn)生。

運(yùn)用光流法來計(jì)算被檢測(cè)物體的運(yùn)動(dòng)場(chǎng)的基本流程是：首先，估計(jì)運(yùn)動(dòng)場(chǎng)，這種運(yùn)動(dòng)場(chǎng)是通過前后兩幀圖像來獲取的；然后，利用前一步所得到的運(yùn)動(dòng)向量分割一些場(chǎng)景；接著再進(jìn)行一些后期處理，當(dāng)然對(duì)象是分割的結(jié)果，這些后期處理主要是合并小區(qū)域并且將小的噪聲干擾區(qū)域消除掉等；最后，對(duì)完成后期處理的圖像結(jié)果進(jìn)行區(qū)域個(gè)數(shù)的統(tǒng)計(jì)，若說場(chǎng)景是有變化的，則是因?yàn)橛兄粋€(gè)以上的不同區(qū)域的存在，反之，我們則可以認(rèn)為沒有任何改變發(fā)生在場(chǎng)景里。

1.2 幀間差分法

能適用于檢測(cè)工具的移動(dòng)和多個(gè)被檢測(cè)物體的方法是幀間差分法，它得到被檢測(cè)物體的輪廓是運(yùn)用視頻圖像序列中相鄰幀做差分的方法。為了確定視頻圖像序列中是否存在需要被檢測(cè)的目標(biāo)，通常會(huì)選擇將兩幀圖像相減得到的亮度差的絕對(duì)值與設(shè)定的閾值相比較，以此來處理分析被檢測(cè)目標(biāo)的運(yùn)動(dòng)特性，這種方法類似于用高通濾波的辦法對(duì)時(shí)域下的圖像進(jìn)行處理。幀間差分法同時(shí)也叫作瞬時(shí)差分法或是時(shí)間差分法，流程圖如圖1所示，通常是選擇鄰近的圖像序列作為被檢測(cè)幀的背景，利用圖像序列相鄰幀的強(qiáng)相關(guān)性來檢測(cè)圖像是否發(fā)生了變化，而來確定被檢測(cè)物體的則是濾波等的后期處理［5］。

圖1 幀間差分法的基本流程圖

幀間差分法是受被檢測(cè)物體速度影響較大的一種方法，這種方法對(duì)場(chǎng)景光照變化是適應(yīng)力強(qiáng)是因?yàn)閷?duì)被檢測(cè)物體的檢測(cè)是通過相鄰兩幀圖像相減來實(shí)現(xiàn)的，不管是被檢測(cè)物體運(yùn)動(dòng)的過快還是過慢，都會(huì)導(dǎo)致重復(fù)檢測(cè)或者檢測(cè)不完全，但是，若單單只是給其他種類的算法提供運(yùn)動(dòng)信息，幀間差分法是一種很好的辦法。

1.3 背景減除法

背景減除法通過預(yù)先建立背景圖像，即利用訓(xùn)練圖像獲得背景圖像，再將每一幅待檢測(cè)圖像與當(dāng)前背景圖像作比較來檢測(cè)運(yùn)動(dòng)的目標(biāo)，并且根據(jù)場(chǎng)景的變化能夠動(dòng)態(tài)地對(duì)背景圖像進(jìn)行更新動(dòng)作。其流程圖如圖2所示。

圖2 背景減除法的基本流程圖

創(chuàng)建背景模型是根據(jù)第一幀的情況，而迭代地更新現(xiàn)在存在的模型是由后續(xù)輸入的圖像來決定的，這就是迭代建模的方法，并不需要開辟大量存儲(chǔ)空間，能夠適應(yīng)背景的動(dòng)態(tài)變化的情況，而且算法是比較簡單的。所以本文采用背景減除法中的迭代建模方法進(jìn)行船舶目標(biāo)檢測(cè)，在檢測(cè)中存在的一些問題，例如水波和相機(jī)抖動(dòng)造成的噪聲，本文對(duì)其進(jìn)行相應(yīng)改進(jìn)以適應(yīng)該內(nèi)河航道中運(yùn)動(dòng)船舶目標(biāo)檢測(cè)的背景。

2 基于可見光的船舶流量統(tǒng)計(jì)算法

對(duì)于基于可見光的船舶流量的統(tǒng)計(jì)通常用虛擬檢測(cè)線法計(jì)算，簡單實(shí)用。在一個(gè)檢測(cè)區(qū)域中，當(dāng)船只經(jīng)過虛擬檢測(cè)線時(shí)，檢測(cè)區(qū)域產(chǎn)生變化，則可以判斷是否有船只經(jīng)過，整個(gè)船流量統(tǒng)計(jì)模塊的流程圖如圖3所示。

圖3 基于可見光的船舶流量統(tǒng)計(jì)流程圖

在本文中，基于可見光的船舶流量統(tǒng)計(jì)在上、下行方向均采用雙虛擬檢測(cè)線法，雙虛擬檢測(cè)線中，一條首次通過的虛擬檢測(cè)線可以稱為注冊(cè)線，另一條再次經(jīng)過的虛擬檢測(cè)線則稱為檢測(cè)線，如圖4所示。當(dāng)船只通過注冊(cè)線時(shí)，進(jìn)行船只登記，但不用來計(jì)數(shù)；而當(dāng)船只經(jīng)過檢測(cè)線，對(duì)已經(jīng)登記的船只進(jìn)行計(jì)數(shù)，船舶通過注冊(cè)線并且通過檢測(cè)線時(shí)，船舶計(jì)數(shù)器加1。由于此方法通過2條檢測(cè)線進(jìn)行判斷，系統(tǒng)的可靠性相比單條檢測(cè)線要有所提高。由此方法得到的船舶流量數(shù)的準(zhǔn)確度問題受虛擬檢測(cè)線的寬度、間隔和位置等因素的影響，一般來說，虛擬檢測(cè)線的寬度可以和船舶航道的寬度相同；通過一些嘗試，選擇注冊(cè)線與檢測(cè)線之間的距離為正常船只長度的2/3左右，并且上、下行分開設(shè)置；同時(shí)，在船只清晰可見的地方放置虛擬檢測(cè)線，即視頻的近端。

圖4 基于可見光的船流量統(tǒng)計(jì)虛擬檢測(cè)線

在船只通過虛擬檢測(cè)線時(shí)，一般由于船只的灰度值與背景航道的灰度值不會(huì)相同，所以，船只的經(jīng)過會(huì)造成虛擬檢測(cè)線上灰度值的變化。但是，有些時(shí)候攝像機(jī)的晃動(dòng)或者光照的變化也會(huì)在灰度值上造成一定的干擾，這一問題可以由設(shè)置一個(gè)閾值來解決。故可以認(rèn)為判斷有船只經(jīng)過的閾值即為虛擬檢測(cè)線上的灰度值發(fā)生變化的像素個(gè)數(shù)超過30%［7］，即

式（1）中，（x，y）為虛擬檢測(cè)線的灰度值坐標(biāo)；P（x，y）為當(dāng)前幀圖像中（x，y）處的灰度值；B（x，y）為背景圖像中（x，y）處的灰度值；num為虛擬檢測(cè)線的像素點(diǎn)總個(gè)數(shù)；為設(shè)定的閾值。

3 基于紅外的船舶流量統(tǒng)計(jì)算法

相較于基于可見光的船舶流量統(tǒng)計(jì)采用虛擬檢測(cè)線法，基于紅外的船舶流量統(tǒng)計(jì)是基于船只駛?cè)搿⒋嬖诤婉偝雠c否的判斷來進(jìn)行計(jì)數(shù)。船舶流量統(tǒng)計(jì)模塊的流程圖如圖5所示，在進(jìn)行船只存在于檢測(cè)區(qū)域判斷時(shí)，應(yīng)用雙幀圖像的差分檢驗(yàn)來提高流量統(tǒng)計(jì)的準(zhǔn)確性和穩(wěn)定性，即若某一幀圖像和后一幀圖像經(jīng)過處理后被判斷為結(jié)果一致，則我們可以認(rèn)為此結(jié)果有效；反之，當(dāng)被判斷為結(jié)果不一致時(shí)，則認(rèn)為該結(jié)果無效并予以舍棄?；诩t外的船舶流量檢測(cè)區(qū)域圖如圖6所示。

圖5 基于紅外的船舶流量統(tǒng)計(jì)流程圖

4 可見光與紅外的結(jié)果對(duì)比及結(jié)論

圖4是基于可見光的流量統(tǒng)計(jì)視頻，拍攝于上海閔浦大橋，日期是2012年3月21日下午，溫度為12℃，天氣晴，風(fēng)力為4級(jí)，能見度大約大于10 km，幀圖像大小為320×240像素。圖6基于紅外圖像的流量統(tǒng)計(jì)視頻為2011年12月20日下午于上海同三高速G1501橫潦涇大橋拍攝，溫度12℃，陰天，風(fēng)力4～5級(jí)，視頻總幀數(shù)為3 100，幀圖像大小為768×576。

分別對(duì)以上兩視頻用上述方法進(jìn)行船只的流量統(tǒng)計(jì)工作，并將檢測(cè)結(jié)果與實(shí)際船舶流量進(jìn)行對(duì)比，如表1所示。

通過實(shí)驗(yàn)可以發(fā)現(xiàn)，船只流量統(tǒng)計(jì)的準(zhǔn)確率并不是很高，造成這種結(jié)果的主要原因是在河面上經(jīng)常出現(xiàn)一些橫穿、斜穿河面以及跨航道轉(zhuǎn)彎、掉頭的船只，這些有異常行為的船只經(jīng)過檢測(cè)區(qū)域時(shí)觸發(fā)了計(jì)數(shù)器，導(dǎo)致了統(tǒng)計(jì)結(jié)果的不是很精確，但基本能滿足工程需求。

表1 可見光與紅外圖像的船舶流量統(tǒng)計(jì)結(jié)果對(duì)比

圖6 基于紅外的船舶流量檢測(cè)區(qū)域

5 小結(jié)

本文對(duì)于內(nèi)河橋梁防船撞的船舶檢測(cè)和船舶流量統(tǒng)計(jì)進(jìn)行了一定的描述。針對(duì)文中應(yīng)用不同傳感器所拍攝的場(chǎng)景，提出了不同的船舶流量統(tǒng)計(jì)算法，即基于可見光的船舶流量統(tǒng)計(jì)采用虛擬檢測(cè)線法而基于紅外的船舶流量統(tǒng)計(jì)是基于船只駛?cè)?、存在和駛出與否的判斷來進(jìn)行計(jì)數(shù)。通過進(jìn)行相關(guān)的實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果的分析表明，以上兩種算法能夠解決上述所提出的問題，可以滿足工程需求，同時(shí)算法的計(jì)算量小，適用于實(shí)時(shí)性應(yīng)用場(chǎng)景。

［1］ JAIN R.Difference and accumulative difference pictures in dynamic scene analysis［J］.Image and Vision Computing（S0262－8856），1984，2（2）：99－108.

［2］ 云霄，肖剛.基于Camshift的多特征自適應(yīng)融合船舶跟蹤算法 ［J］.光電工程，2011，38（5）：52－62.

［3］ 阮秋琦.數(shù)字圖像處理學(xué)［M］.北京：電子工業(yè)出版社，2001.

［4］ 王歡.運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)研究［D］.南京：南京理工大學(xué)，2009.

［5］ 陳燕萍.基于背景減除的運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究［D］.廈門：廈門大學(xué)，2008.

［6］ 吳志偉，范彥斌，盧清華.基于視頻的車輛流量自動(dòng)檢測(cè)方法設(shè)計(jì)［J］.佛山科學(xué)技術(shù)學(xué)院學(xué)報(bào)：自然科學(xué)版，2012，30（1）：1－5.