一種新型船舶駕駛臺(tái)值班防疲勞監(jiān)控系統(tǒng)設(shè)計(jì)

周鋒，吳華鋒，孫志寬

(上海海事大學(xué) 商船學(xué)院，上海 201306)

一種新型船舶駕駛臺(tái)值班防疲勞監(jiān)控系統(tǒng)設(shè)計(jì)

周鋒，吳華鋒，孫志寬

(上海海事大學(xué) 商船學(xué)院，上海 201306)

為克服當(dāng)前駕駛臺(tái)值班報(bào)警系統(tǒng)需人工直接參與的不足，提出一種基于視頻流跟蹤的駕駛臺(tái)值班報(bào)警系統(tǒng)。該系統(tǒng)通過(guò)比對(duì)2時(shí)刻值班人員的位置差異來(lái)判定值班人員的清醒狀態(tài)。使用定時(shí)圖像差分的方法確定值班人員的圖上位置，實(shí)現(xiàn)目標(biāo)的圖上坐標(biāo)與駕駛臺(tái)空間坐標(biāo)的轉(zhuǎn)換；系統(tǒng)所收集數(shù)據(jù)可用于后續(xù)值班行為分析使用。實(shí)船實(shí)驗(yàn)表明，系統(tǒng)克服了需人員直接參與的限制，能夠根據(jù)所設(shè)定的時(shí)間間隔識(shí)別駕駛員值班狀態(tài)，并據(jù)此發(fā)出系列報(bào)警信號(hào)。

駕駛臺(tái)值班監(jiān)控系統(tǒng)；設(shè)計(jì)；圖像處理

在海難事故中，人為因素占事故總量的70%，其中，人員疲勞是人為因素的主要原因[1]。為克服船舶駕駛臺(tái)值班疲勞問(wèn)題，2001-07國(guó)際海事組織(IMO)航行安全分委會(huì)(NAV)第47次會(huì)議通過(guò)了BNWAS標(biāo)準(zhǔn)[2]，旨在通過(guò)安裝駕駛臺(tái)定時(shí)喚醒裝置來(lái)確保駕駛員的清醒狀態(tài)。作為我國(guó)船旗國(guó)的指定機(jī)構(gòu)之一，中國(guó)船級(jí)社在2010-06-05通函中發(fā)出了關(guān)于執(zhí)行MSC.282(86)決議有關(guān)強(qiáng)制安裝BNWAS的通知，意味著在中國(guó)船旗下的各類SOLAS公約船舶，將按照IMO船型和時(shí)間表的要求逐步實(shí)施IMO的相關(guān)要求。

BNWAS實(shí)現(xiàn)的關(guān)鍵是找出判定駕駛員清醒狀態(tài)的有效判據(jù)。IMO性能標(biāo)準(zhǔn)要求，每3～12 min系統(tǒng)應(yīng)能夠確定值班駕駛員是否處在正常值班的狀態(tài)[1]。這種判據(jù)目前主要有兩類實(shí)現(xiàn)方法：值班人員的物理特征探測(cè)和生理特征探測(cè)。物理特征探測(cè)主要包括運(yùn)動(dòng)探測(cè)和聲音探測(cè)，紅外探測(cè)器最先被用于探測(cè)人員在駕駛臺(tái)的運(yùn)動(dòng)，因駕駛臺(tái)散熱設(shè)備較多，導(dǎo)致探測(cè)器的人體和設(shè)備近體溫效應(yīng)明顯，難以區(qū)分人體和設(shè)備，導(dǎo)致設(shè)備誤跟蹤和誤報(bào)警。樓于海等人在此基礎(chǔ)上，綜合使用紅外探測(cè)器和微波多普勒效應(yīng)運(yùn)動(dòng)探測(cè)，改進(jìn)了僅使用紅外探測(cè)的不足[4-5]，使得系統(tǒng)具有探測(cè)運(yùn)動(dòng)和熱源的雙重功能。駕駛臺(tái)安裝的地面壓力傳感器也是BNWAS探測(cè)器種類之一[6]，這種傳感器具有識(shí)別運(yùn)動(dòng)效率高、無(wú)需值班人員主動(dòng)參與的優(yōu)勢(shì)，但成本高、可靠性差。孫向暉等使用了聲音傳感器，其缺點(diǎn)一是船舶正常航行時(shí)駕駛臺(tái)噪音較大，難以探測(cè)人的聲音；二是難以區(qū)分電臺(tái)聲音和值班人員聲音；三是遠(yuǎn)洋航行時(shí)駕駛臺(tái)通常僅一人值班，少有發(fā)聲，無(wú)法探測(cè)。生理特征探測(cè)方面，主要是依據(jù)人體生理特征如：脈搏變化、體溫變化等作為判據(jù)判定人員清醒狀態(tài)。然而，這種方式必然要求駕駛員穿戴必要的設(shè)備，容易引起駕駛員的反感。近來(lái)，隨著集成駕駛臺(tái)的普及使用，也有設(shè)備廠家將BNWAS自動(dòng)復(fù)位功能鑲嵌于集成駕駛臺(tái)各種操作按鈕上[8]，任何按鈕的動(dòng)作，BNWAS將視其為激發(fā)信號(hào)而自動(dòng)復(fù)位。這種功能在近海和航道內(nèi)航行十分有效，但大洋航行時(shí)通常不需頻繁操作任何按鈕。以上各種方法均存在一定的限制和不足之處，因此，BNWAS傳感器有待進(jìn)一步的優(yōu)化和提高。

為克服當(dāng)前駕駛臺(tái)值班報(bào)警系統(tǒng)需人工參與的限制，提出了一種基于視頻流跟蹤的駕駛臺(tái)值班報(bào)警系統(tǒng)。該系統(tǒng)通過(guò)比對(duì)兩時(shí)刻值班人員的位置差異，來(lái)判定值班人員的清醒狀態(tài)。系統(tǒng)潛在的數(shù)據(jù)收集功能還有助于對(duì)海上事故中人為因素的研究。

1 監(jiān)控系統(tǒng)結(jié)構(gòu)簡(jiǎn)介

系統(tǒng)的主要功能是通過(guò)視頻信號(hào)處理向滿足報(bào)警性能標(biāo)準(zhǔn)要求的報(bào)警控制系統(tǒng)輸入激發(fā)控制信號(hào)。系統(tǒng)硬件包括視頻采集于轉(zhuǎn)換裝置、數(shù)據(jù)處理單元、串口通信、數(shù)據(jù)管理及報(bào)警輸出等模塊。其中，DSP處理模塊是系統(tǒng)的核心，它完成視頻圖像中駕駛員所在位置的識(shí)別和跟蹤，是圖像處理算法的承擔(dān)者，DSP識(shí)別的位置和時(shí)間信號(hào)經(jīng)串口通信傳送至報(bào)警控制單元。該單元按照IMO性能標(biāo)準(zhǔn)的要求，監(jiān)控駕駛員的值班行為。連續(xù)識(shí)別的駕駛員位置信息存儲(chǔ)于位置記錄數(shù)據(jù)庫(kù)中，以供后續(xù)研究和分析之用。

系統(tǒng)硬件框架設(shè)計(jì)見(jiàn)圖1。

2 系統(tǒng)關(guān)鍵信號(hào)處理

2.1 目標(biāo)位置識(shí)別

2.1.1 識(shí)別預(yù)處理

駕駛員的位置在圖上表示為其身體所處的區(qū)塊，對(duì)這一區(qū)塊的識(shí)別即可實(shí)現(xiàn)位置識(shí)別。

研究駕駛臺(tái)圖像特征發(fā)現(xiàn)，船舶駕駛員活動(dòng)于駕駛室的固定空間內(nèi)，船舶駕駛室的設(shè)備布置具有相對(duì)穩(wěn)定的特點(diǎn)，所以本系統(tǒng)的駕駛員位置判定屬于固定背景下的動(dòng)態(tài)物標(biāo)識(shí)別問(wèn)題[9]。圖像背景差分是解決此類問(wèn)題最為有效的方法之一。圖像差分過(guò)程涉及圖像的灰度處理，圖像灰度處理的質(zhì)量，直接影響目標(biāo)位置的識(shí)別。實(shí)驗(yàn)發(fā)現(xiàn)，駕駛臺(tái)內(nèi)不同區(qū)域明暗程度相差較大。為提高圖像灰度處理的結(jié)果，系統(tǒng)擬采用分區(qū)灰度處理法[10]，根據(jù)明暗程度的不同，不同區(qū)域使用不同灰度閾值[11]實(shí)施灰度處理。為實(shí)現(xiàn)位置點(diǎn)跟蹤的連續(xù)性，需要獲取時(shí)間上連貫的位置點(diǎn)信息，為達(dá)到這一目的，系統(tǒng)采用序列灰度圖像差分法實(shí)現(xiàn)位置點(diǎn)的連續(xù)。圖像預(yù)處理過(guò)程見(jiàn)圖2。

2.1.2 目標(biāo)位置識(shí)別

該步驟的目的是實(shí)現(xiàn)圖像上目標(biāo)位置的識(shí)別。在灰度處理基礎(chǔ)上，使用序列圖像差分法[12-13]來(lái)確定目標(biāo)位置，對(duì)于連續(xù)的圖像序列，任取其中連續(xù)兩幀fi(x,y)和fi+1(x,y)，差分后得到的圖像為f0(x,y)。

f0(x,y)為包含駕駛員位置和噪聲的目標(biāo)基礎(chǔ)圖像。由于圖像背景固定，差分處理使得圖像的背景信息得以有效消除。若圖fi為不包含駕駛員的背景圖，由序列差分結(jié)果即可直接獲得駕駛員圖上位置，見(jiàn)圖3。

2.1.3 圖像降噪

圖4d)為圖4c)反相處理后的效果。由此效果可知，若對(duì)灰度圖4c)二值化時(shí)閾值選擇得當(dāng)，可起到一定的濾波作用。但處理結(jié)果中噪聲依然存在，需進(jìn)一步降噪以提高目標(biāo)位置確定的準(zhǔn)確度。根據(jù)上述圖像噪聲特征以及圖像邊緣特點(diǎn)，使用數(shù)學(xué)形態(tài)學(xué)濾波實(shí)施圖像降噪[9]。在本系統(tǒng)中，形態(tài)學(xué)濾波算子選取3×3、3×1、“+”等開(kāi)運(yùn)算和閉運(yùn)算操作結(jié)構(gòu)[9]。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，先使用小結(jié)構(gòu)濾波算子，而后使用較大結(jié)果濾波算子有助于達(dá)到較好的濾波效果。分析其原因主要在于：一方面，小結(jié)構(gòu)濾波算子在濾波過(guò)程中有助于保留圖像真實(shí)邊緣；另一方面，小結(jié)構(gòu)濾波算子的優(yōu)先執(zhí)行，有助于避免大結(jié)構(gòu)算子開(kāi)運(yùn)算時(shí)，由于腐蝕作用而導(dǎo)致目標(biāo)結(jié)構(gòu)的殘缺。

2.2 目標(biāo)位置跟蹤

2.2.1 跟蹤

本系統(tǒng)中的所謂位置跟蹤，即建立當(dāng)前監(jiān)控時(shí)刻位置和上一監(jiān)控時(shí)刻位置之間的聯(lián)系，從而比較定長(zhǎng)時(shí)間段內(nèi)駕駛員的值班位置是否發(fā)生變化，在2.1目標(biāo)位置識(shí)別的基礎(chǔ)上，做如下定義。

(1)

式中：Pt為t時(shí)刻駕駛員的位置；ft(i,j)為t時(shí)刻駕駛員所占矩形空間的中心坐標(biāo)。

任意2個(gè)時(shí)刻的圖示位移差為

(2)

式中：Pt+1為t+1時(shí)刻的駕駛員圖上位置；Pt為t時(shí)刻的駕駛員圖上位置；ft+1(i,j)為t+1時(shí)刻的駕駛員矩形區(qū)域中心橫坐標(biāo)函數(shù)；ft(i,j)為t時(shí)刻的駕駛員矩形區(qū)域中心橫坐標(biāo)函數(shù)。

2.2.2 建立駕駛員位移狀態(tài)數(shù)據(jù)庫(kù)

Pt包含的信息遠(yuǎn)大于僅代表駕駛員在某時(shí)刻圖上的位置，若能夠收集所有時(shí)刻駕駛員在駕駛臺(tái)的位置信息，即可得到駕駛員整個(gè)值班過(guò)程中的位移記錄，為進(jìn)一步分析駕駛員值班行為以及挖掘海難事故中的人為因素原因提供有力幫助。在記錄數(shù)據(jù)之前，還需要完成駕駛員圖上坐標(biāo)與駕駛臺(tái)空間平面坐標(biāo)的轉(zhuǎn)換，轉(zhuǎn)換示意見(jiàn)圖4。

圖中，xOy為駕駛臺(tái)平面空間坐標(biāo)系；O為坐標(biāo)原點(diǎn)；Ox為沿駕駛臺(tái)橫向方向；Oy為沿駕駛臺(tái)縱向方向，其中L表示橫向最大距離；D為駕駛臺(tái)縱向最大距離。

由于視頻傳感器位于駕駛臺(tái)固定位置上，圖上不同位置的像素點(diǎn)所代表的實(shí)際空間位置大小是不同的，將這種現(xiàn)象稱為圖像的扭曲。為有效地將駕駛員在圖上的位置轉(zhuǎn)變?yōu)樵隈{駛臺(tái)的實(shí)際位置，在坐標(biāo)轉(zhuǎn)換中需要考慮扭曲因素。在圖4中，D1、D2表示與駕駛臺(tái)實(shí)際空間對(duì)應(yīng)的圖像遠(yuǎn)近不同的像素長(zhǎng)度，L1和L2分別表示與駕駛臺(tái)實(shí)際空間對(duì)應(yīng)的圖上像素寬度。

將圖上坐標(biāo)f(i,j)轉(zhuǎn)變?yōu)樾Ｕ屎蟮淖鴺?biāo)fD(i，j)，為

圖上坐標(biāo)fD(i，j)與空間坐標(biāo)fp(i，j)的轉(zhuǎn)換關(guān)系為

(4)

式中：ip為與駕駛臺(tái)空間坐標(biāo)系對(duì)應(yīng)的空間橫坐標(biāo)；jp為與駕駛臺(tái)空間坐標(biāo)系對(duì)應(yīng)的空間縱坐標(biāo)；φ為圖上橫坐標(biāo)最大值；λ為圖上縱坐標(biāo)最大值。

2.3 報(bào)警控制

根據(jù)BNWAS的性能標(biāo)準(zhǔn)，本監(jiān)控系統(tǒng)設(shè)置3 min為時(shí)間窗口，在時(shí)間窗口內(nèi)，系統(tǒng)監(jiān)測(cè)駕駛員的位置變化，系統(tǒng)設(shè)定：若駕駛員在時(shí)間窗口內(nèi)的距離變化量d小于設(shè)定閾值，則認(rèn)為在這一時(shí)間內(nèi)駕駛員未履行正常值班職責(zé)，系統(tǒng)將發(fā)出報(bào)警聲，提示駕駛員變換空間位置；若再次檢測(cè)不符合值班位移要求，系統(tǒng)將持續(xù)報(bào)警并進(jìn)一步擴(kuò)大報(bào)警范圍。

初始報(bào)警條件為

(5)

式中：dB為設(shè)定的最小移動(dòng)距離；fk(i,j)為k時(shí)刻駕駛員位置空間坐標(biāo)；ft(i,j)為t時(shí)刻駕駛員位置空間坐標(biāo)。

在3 min的時(shí)間窗口內(nèi)，任一兩時(shí)刻的位置間隔大于dB即認(rèn)為：駕駛員值班有效；在時(shí)間窗口結(jié)束時(shí)，計(jì)時(shí)器重新計(jì)時(shí)，報(bào)警過(guò)程見(jiàn)圖5。

3 船舶實(shí)驗(yàn)

為驗(yàn)證系統(tǒng)的可行性，在上海海事大學(xué)教學(xué)實(shí)習(xí)船育鋒輪上進(jìn)行了為期1周的航行監(jiān)控實(shí)驗(yàn)，系統(tǒng)運(yùn)行初始界面見(jiàn)圖6。

系統(tǒng)具備自動(dòng)和人工閾值設(shè)置功能，運(yùn)行界面中間的直方圖為灰度分析，方便人工確定灰度處理的閾值設(shè)定，上述實(shí)驗(yàn)總時(shí)間為4 h。圖7表示位置點(diǎn)時(shí)間序列。連線表示位置點(diǎn)之間的序列關(guān)系，圖中dis=603.5514 m，是對(duì)駕駛員值班期間活動(dòng)距離的估算，可作為判斷值班行為勤勉與否等的參考。

4 結(jié)論

嘗試性地提出基于圖像處理的BNWAS。這種系統(tǒng)的實(shí)現(xiàn)方法能避免值班人員必須每3 min輸入激發(fā)信號(hào)的弊端，有助于降低值班人員精神負(fù)擔(dān)。目標(biāo)位置識(shí)別和位置跟蹤處理是系統(tǒng)的核心。目前系統(tǒng)主要實(shí)用于一人值班的大洋航行狀態(tài)，尚未考慮沿岸航行和進(jìn)港航行多人在駕駛臺(tái)的情景。在實(shí)驗(yàn)過(guò)程中曾出現(xiàn)駕駛員跟蹤丟失的現(xiàn)象，這與系統(tǒng)采用序列差分法獲取駕駛員的位置有關(guān)，需進(jìn)一步對(duì)適用于駕駛臺(tái)環(huán)境的目標(biāo)識(shí)別算法，特別是多人識(shí)別跟蹤算法進(jìn)行研究。

[1] STRAUCH B. Investigating fatigue in marine accident investigations[C]. 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences，2015.AHFE，2015:2515-2522.

[2] International Electro-technical Commission. IEC 62616 2010(E): Maritime navigation and radio communication equipment and systems-Bridge navigational watch alarm system (BNWAS)[M]. Switzerland: International Electro-technical Commission (IEC),2010.

[3] 黃曉中.駕駛室航行值班報(bào)警系統(tǒng)的設(shè)計(jì)[J].上海海事大學(xué)學(xué)報(bào),2012,33(1):45-60.

[4] 樓于海.智能人體運(yùn)動(dòng)探測(cè)在駕駛臺(tái)航行值班報(bào)警系統(tǒng)中的應(yīng)用[J].航海，2011(4)：64-66.

[5] FENGWEI Y U, SUN Hongying, CUI Xiangdong. Design of bridge navigational watch alarm system[J], Applied Mechanics and Materials,2014,vols,488/489:521-524.

[6] 陳奎英，李天威，徐剛.解析船舶安全航行的橋樓航行值班報(bào)警系統(tǒng)[J].船舶,2012，23(3):63-67.

[7] 孫向暉．船舶橋樓值班報(bào)警系統(tǒng)(BNWAS)中檢測(cè)系統(tǒng)的實(shí)現(xiàn)[J]．企業(yè)技術(shù)開(kāi)發(fā)，2011(7)：26-27.

[8] FURUNO, Bridge navigational watch alarm system[EB/OL],(2011-12-19)[2016-5-20]. http://www.furuno.com/en/business_product/merchant/product/bnwas/.

[9] 趙蓓蕾，吳亞婷，李強(qiáng).基于形態(tài)學(xué)與灰度模態(tài)分析的陰影去除方法[J].兵工自動(dòng)化,2013,32(12):15-19.

[10] 孫煒，楊鵬飛.一種去光照干擾方法在行人檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2014.31(11):3514-3520.

[11] KOWSARI T, BEAUCHEMIN S, CHO S J. Real-time vehicle detection and tracking using stereo vision and multi-view adaboost[C]. Intelligent Transportation Systems (ITSC)-14th International IEEE Conference.2011:1255-1260.

[12] 廖斌.典型視頻目標(biāo)跟蹤方法實(shí)現(xiàn)與分析[J].軟件導(dǎo)刊,2015,14(1):136-138.

[13] 曲仕茹，楊紅紅.采用Kalman_BP神經(jīng)網(wǎng)絡(luò)的視頻序列多目標(biāo)檢測(cè)與跟蹤[J].紅外與激光工程,2013,42(9):2554-2560.

Design of Bridge Navigation Watch Alarm System Based on Image Processing

ZHOU Feng, WU Hua-feng, SUN Zhi-kuan

(College of Merchant Ship, Shanghai Maritime University, Shanghai 200135, China)

A new design of bridge navigational watch alarm system (BNWAS) was introduced to overcome the drawbacks of current systems, which required the engagement of watch-keepers on bridges of ships. The watch-keepers’ awake state was judged by comparing the difference of two locations at different time. The image differencing was used as an approach to locate the target and the target’s location on the image was further transferred to its space coordinates in the bridge. Meanwhile, the collected data could be used for the analyzing of human element on the maritime accidents. Experiment on an operating ship showed that the limitation of watch-keepers’ engagement could be eliminated significantly and the watching states of navigators could be monitored and assessed.

BNWAS; design; image process

10.3963/j.issn.1671-7953.2017.02.040

2016-07-01

國(guó)家自然科學(xué)基金(51279099)；上海市科學(xué)技術(shù)委員會(huì)基金(12ZR1412500)；上海市教委科研創(chuàng)新基金資助重點(diǎn)項(xiàng)目(13ZZ124)；上海市教育委員會(huì)和上海市教育發(fā)展基金會(huì)“曙光計(jì)劃”基金(12SG40)；交通運(yùn)輸部應(yīng)用基礎(chǔ)研究(2013329810300)

周鋒(1982—)，男，博士生，講師

U676.1

A

1671-7953(2017)02-0170-05

修回日期：2016-08-11

研究方向:船舶交通信息工程及自動(dòng)化技術(shù)