基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)

李約翰

隨著港口向智慧化、智能化發(fā)展，龍門吊自動化控制作為智慧港口的重要組成部分越來越受到港口企業(yè)的重視。寧波梅東集裝箱碼頭有限公司（以下簡稱“梅東公司”）在龍門吊自動化控制及安全生產(chǎn)方面研發(fā)多項新技術(shù)，其中，基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)利用龍門吊遠程控制系統(tǒng)的高清攝像機和視頻分析技術(shù)，實現(xiàn)在大車前進、后退及吊具下放過程中對人員和車輛的識別，聯(lián)動龍門吊可編程邏輯控制器（programmable logic controller，PLC）控制龍門吊減速或停機，聯(lián)動大車監(jiān)控臺實現(xiàn)安全隱患提示功能，從而保障龍門吊作業(yè)安全。

1 基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)關(guān)鍵技術(shù)

基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)的核心技術(shù)是視頻識別技術(shù)，其中包括深度學(xué)習(xí)和特征識別技術(shù)：深度學(xué)習(xí)技術(shù)對識別目標進行樣本收集、分析和算法生成，主要功能是正向識別人員和車輛目標;特征識別技術(shù)主要對深度學(xué)習(xí)算法導(dǎo)致的誤報進行反向識別，將人員和車輛以外的目標以及與人員、車輛相似度較高的目標排除在外。

1.1 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)技術(shù)起源于人工神經(jīng)網(wǎng)絡(luò)研究，通過組合低層特征形成更加抽象的高層特征或類別，從而從大量的輸入數(shù)據(jù)中學(xué)習(xí)有效特征表示，并把這些特征用于分類、回歸和信息檢索。深度學(xué)習(xí)實際上是一種模仿人腦的學(xué)習(xí)，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)，通過組合低層特征形成更加抽象的高層類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)應(yīng)用YOLO和RCNN深度學(xué)習(xí)技術(shù)。首先，采用選擇性搜索方法在視頻畫面中選取上千個可能出現(xiàn)物體的位置;然后，將分割出來的圖像修正為大小統(tǒng)一的區(qū)塊，放入卷積神經(jīng)網(wǎng)絡(luò)中提取特征，并將提取出來的特征放入支持向量機中分類;最后，對區(qū)塊的邊框做回歸分析，找到合適的位置。YOLO技術(shù)區(qū)別于RCNN技術(shù)的最主要特征是：前者同時訓(xùn)練并同時輸出位置和類別信息，其將圖片分為S譙個格子，每個格子檢測其內(nèi)物體，而當(dāng)物體中心在某個格子內(nèi)時，這個格子就負責(zé)檢測這個物體。YOLO與RCNN深度學(xué)習(xí)算法的結(jié)合應(yīng)用可有效提高人員和車輛的識別率。

1.2 特征識別技術(shù)

特征識別技術(shù)采用提升的密集軌跡算法，根據(jù)目標的形狀、紋理、亮度等特征，反向識別深度學(xué)習(xí)算法中出現(xiàn)的非人員和非車輛目標：當(dāng)深度學(xué)習(xí)算法認為目標為人員或車輛，而密集軌跡算法識別出目標具有非人員和非車輛特征時，目標不觸發(fā)報警，從而有效降低目標誤報率。

2 基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)結(jié)構(gòu)及工作流程

為了配合碼頭自動化作業(yè)，梅東公司部署龍門吊遠程控制系統(tǒng)，使龍門吊司機能夠在中控室通過觀察龍門吊上攝像機拍攝的視頻畫面遠程操控設(shè)備作業(yè)。梅東公司原龍門吊遠程控制系統(tǒng)使用毫米波雷達系統(tǒng)作為防撞預(yù)警檢測技術(shù)手段，存在一定檢測盲區(qū)，并且人體檢測效果不佳。為此，增加基于視頻分析技術(shù)的人員和車輛檢測功能：當(dāng)檢測到人員或車輛時，系統(tǒng)發(fā)出警報信號，聯(lián)動龍門吊PLC執(zhí)行大車急停、減速動作或吊具停止動作，大車安全監(jiān)護臺顯示警示視頻畫面并發(fā)出警報，由安全監(jiān)控人員確認是否存在安全隱患并處理警情，從而提高龍門吊運行安全性。

2.1 系統(tǒng)結(jié)構(gòu)

基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)由龍門吊遠程控制系統(tǒng)攝像機、視頻分析儀、大車集中監(jiān)護臺等組成（見圖1）。龍門吊遠程控制系統(tǒng)應(yīng)用高清網(wǎng)絡(luò)攝像機，其中：門腿攝像機有4個，小車架吊具云臺攝像機有1個。視頻分析儀由工控機、人員和車輛視頻識別系統(tǒng)組成，其中：工控機采用Linux系統(tǒng)，配置視頻分析顯卡;人員和車輛視頻識別系統(tǒng)專門針對龍門吊運行環(huán)境進行優(yōu)化，適應(yīng)龍門吊遠程控制系統(tǒng)攝像機的畫面視角，對碼頭區(qū)域內(nèi)人員和車輛具有較高的識別率及較低的誤報率。大車集中監(jiān)護臺可集中監(jiān)控龍門吊大車門腿攝像機和小車架攝像機，配有專門的安全監(jiān)護人員，當(dāng)監(jiān)測到危險警情時，可控制單臺或全部龍門吊急停，從而有效降低安全事故發(fā)生率。

2.2 系統(tǒng)工作流程

基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)工作流程如圖2所示：PLC發(fā)送當(dāng)前龍門吊運行狀態(tài)（包括大車向左、向右運動和吊具下放等）信息至PVAC防撞分析儀;PVAC防撞分析儀接收PLC發(fā)送的龍門吊運行狀態(tài)信息，采集并分析對應(yīng)的攝像機（包括大車向右運動2個門腿攝像機、大車向左運動2個門腿攝像機和1個小車架攝像機）視頻（見圖3）。

PVAC防撞分析儀采用人工智能視頻識別分析算法對視頻流進行分析，并將警報信息分別發(fā)送給PLC和大車監(jiān)控臺視頻軟件，其中：減速警報發(fā)送至PLC和大車監(jiān)控臺，緊停警報發(fā)送至PRCS大車監(jiān)控臺。若門腿攝像機在10～20 m區(qū)域內(nèi)識別到人員或車輛，向PLC發(fā)送大車減速警報信息;若門腿攝像機在0～10 m區(qū)域內(nèi)識別到人員或車輛，向PLC發(fā)送緊停警報信息;若小車架攝像機在吊具下方檢測區(qū)域內(nèi)檢測到人員，向PLC發(fā)送吊具停止下放的緊停警報信息（見圖4）。

PLC收到減速警報信息后，發(fā)送減速指令至龍門吊，降低大車運行速度。大車集中監(jiān)護系統(tǒng)的大車監(jiān)控視頻軟件收到龍門吊減速警報信息后，警報視頻畫面顯示黃色邊框，并觸發(fā)音響警報（提示“前方有人”“前方有車”等）。大車監(jiān)控人員觀察報警攝像機視頻畫面：若確有警情，處理警情后按消警按鈕;若大車監(jiān)控人員確認為誤報警，按誤報警按鈕（見圖5）。大車集中監(jiān)護系統(tǒng)的大車監(jiān)控視頻軟件收到龍門吊緊停警報信息后，對應(yīng)的警報視頻畫面顯示紅色邊框，同時驅(qū)動網(wǎng)絡(luò)音響發(fā)出緊停警報提示音（提示“前方有人”“前方有車”“ 下方有人”等）。大車監(jiān)控人員觀察緊停報警攝像機視頻畫面：若確有警情，按緊停按鈕，使大車停止運行或吊具停止下放，處理緊停警情后，按視頻軟件上的消警按鈕;若大車監(jiān)控人員確認為誤報警，按誤報警按鈕（見圖6）。

PVAC防撞分析儀收到消警信息后，消除發(fā)送的警報，繼續(xù)檢測攝像機拍攝的視頻畫面;PVAC防撞分析儀收到誤報警信息后，對當(dāng)前視頻畫面內(nèi)誤報警目標不再重復(fù)報警。PVAC防撞分析儀向PLC發(fā)送心跳檢測信息，PLC將心跳檢測信息發(fā)送至數(shù)據(jù)視圖，由數(shù)據(jù)視圖顯示防撞系統(tǒng)工作狀態(tài)（見圖7）。PVAC防撞系統(tǒng)全程監(jiān)控并記錄每次報警事件及處理情況，記錄人員和車輛報警事件的時間、龍門吊編號、視頻截圖等，并保存報警錄像供追溯查詢。

3 基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)功能實現(xiàn)

自動化龍門吊大車集中監(jiān)護系統(tǒng)視頻分析儀的主要功能是采集并分析實時視頻畫面，檢測龍門吊運行方向的門腿攝像機前方20 m區(qū)域內(nèi)是否有人員或車輛，以及小車架下方區(qū)域內(nèi)是否有人員，具體功能實現(xiàn)過程如下：（1）當(dāng)檢測到龍門吊運行方向的門腿攝像機前方0～10 m區(qū)域內(nèi)有人員或車輛時，向龍門吊PLC和大車集中監(jiān)護臺發(fā)送急停指令，使龍門吊停止運行，同時大車集中監(jiān)護臺相關(guān)視頻畫面顯示急停警報信息，提示安全監(jiān)控人員有警情發(fā)生;（2）當(dāng)檢測到龍門吊運行方向的門腿攝像機前方10～20 m區(qū)域內(nèi)有人員或車輛時，向龍門吊PLC和大車集中監(jiān)護臺發(fā)送減速指令，使龍門吊降低運行速度，同時大車集中監(jiān)護臺相關(guān)視頻畫面顯示減速警報信息，提示安全監(jiān)控人員有警情發(fā)生;（3）當(dāng)龍門吊吊具下放時，檢測小車架攝像機視頻畫面的安全區(qū)域內(nèi)是否有人員，若檢測到人員，吊具停止下放。自動化龍門吊大車集中監(jiān)護系統(tǒng)中大車監(jiān)護臺的功能是對運行中的龍門吊實施監(jiān)護，當(dāng)檢測到不安全因素時，安全監(jiān)控人員可按急停按鈕，使龍門吊停止運行。

4 結(jié)束語

基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)利用多種視頻分析算法，大大提高算法識別率，滿足碼頭生產(chǎn)應(yīng)用要求。梅東公司在應(yīng)用基于視頻分析的自動化龍門吊大車集中監(jiān)護系統(tǒng)的基礎(chǔ)上，結(jié)合毫米波檢測技術(shù)以及大車集中監(jiān)護臺安全監(jiān)控人員的實時監(jiān)護，為龍門吊安全、高效作業(yè)提供有力保障。

（編輯：曹莉瓊 收稿日期：2021-04-09）