基于智能機器視覺的東海大橋集卡動態(tài)研究

摘要：隨著上海國際航運中心集裝箱業(yè)務(wù)的快速發(fā)展，東海大橋作為進出洋山港集裝箱集疏運的唯一陸路通道，通行壓力已經(jīng)制約了洋山港業(yè)務(wù)發(fā)展，本文討論了利用人工智能機器視覺技術(shù)研發(fā)集卡動態(tài)系統(tǒng)，推動洋山港業(yè)務(wù)流程再造、優(yōu)化大橋集疏運，縮減大橋通行和滯港時間，提升洋山港統(tǒng)籌運營和綜合服務(wù)能力，推進洋山港“智慧港口”的建設(shè)，保障洋山航運區(qū)物流鏈、供應(yīng)鏈的暢通，從而帶來豐富的經(jīng)濟價值和社會價值，主要內(nèi)容：利用機器視覺的深度算法技術(shù)，進行車號、箱號、空掛、車速等的識別;融合洋山港碼頭營運操作系統(tǒng)（TOS）、集卡預(yù)約平臺（EIR）、車隊管理系統(tǒng)（TMS）等業(yè)務(wù)系統(tǒng)，形成數(shù)據(jù)交互和流程再造;利用無人機智能巡航，增強預(yù)警管理和應(yīng)急處理能力，降低風(fēng)險損失。

關(guān)鍵詞： 機器視覺;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);車號識別;箱號識別

一、引言

隨著中國內(nèi)外貿(mào)易的繁榮發(fā)展，上海的集裝箱業(yè)務(wù)也得到了蓬勃發(fā)展，2021年，上海港集裝箱吞吐量再創(chuàng)新高，突破4700萬TEU，已經(jīng)連續(xù)12年高居居全球第一，尤其是洋山深水港區(qū)作為上海國際航運中心和自由貿(mào)易區(qū)建設(shè)的重要載體，同年集裝箱量吞吐量超過2000萬TEU，東海大橋是洋山港的重要配套工程，也是進出洋山港集裝箱集疏運的唯一陸路通道，由于集裝箱集疏運的潮汐現(xiàn)象，通行峰值期間對洋山港的作業(yè)壓力影響非常大，同時，東海大橋社會車輛和集卡混行，沒有系統(tǒng)支撐，很難做到針對集裝箱運輸提供專業(yè)分析和宏觀決策和應(yīng)急預(yù)案等，因此，建立一套東海大橋集卡動態(tài)管理，和集裝箱物流鏈上下游系統(tǒng)進行互連，拓展集裝箱物流鏈系統(tǒng)的覆蓋范圍、推動“綠色高效、智能科技”洋山港建設(shè)有著重要的意義，該系統(tǒng)主要包括識別技術(shù)、業(yè)務(wù)設(shè)計、預(yù)警管理等內(nèi)容，主要功能在于在車里高速運行狀態(tài)中甄選出集卡車量，并且識別出集卡車號、箱號、空掛等信息，結(jié)合時間節(jié)點、空間位置、運輸路徑、流量信息、流向信息進行動態(tài)采集和統(tǒng)計，并且把集卡運輸動態(tài)數(shù)據(jù)推送到洋山港營運操作系統(tǒng)和集卡預(yù)約、車隊管理等相關(guān)系統(tǒng)平臺中，對提高碼頭作業(yè)效率，減少集卡等待時間、緩解大橋通行壓力、降低物流鏈運輸成本等都有重大的社會價值和經(jīng)濟價值。該系統(tǒng)的主要難點在于夜間或者海邊惡劣天氣下集卡運輸動態(tài)信息的識別率和準確率問題，隨著信息化和自動化技術(shù)的發(fā)展，通過部署在收費站道口、匝道、飛行無人機、碼頭高樓的高清攝像機采集到視頻圖像，然后利于機器視覺技術(shù)，OCR文字識別，神經(jīng)網(wǎng)絡(luò)深度算法進行各種信息數(shù)據(jù)的處理和收集，為各項功能實現(xiàn)提供數(shù)據(jù)支撐。

二、總體方案設(shè)計

東海大橋集裝箱運輸動態(tài)系統(tǒng)包括圖像識別系統(tǒng)（車型識別、車號識別、空掛識別、箱號識別）、集卡動態(tài)管理系統(tǒng)、應(yīng)急預(yù)警系統(tǒng)等。識別系統(tǒng)由三部分組成：

1.在東海大橋收費站進出道口搭建智能采集識別系統(tǒng)，視頻圖像錄制、圖像收集和算法識別模型及訓(xùn)練、信息數(shù)據(jù)存儲傳輸于業(yè)務(wù)系統(tǒng)對接，通過在大橋收費道閘、匝道、碼頭高樓頂部等位置架設(shè)高清攝像機采集實時視頻圖像，輔助無人機采集應(yīng)急時段視頻，經(jīng)過圖片采集、卷積神經(jīng)網(wǎng)絡(luò)提取特征、循環(huán)神經(jīng)網(wǎng)絡(luò)圖像識別，結(jié)合OCR、AIDS、降噪、去雨、變形矯正等算法，識別車型、車號、箱號、空掛、車速等，利用AI深度學(xué)習(xí)CNN訓(xùn)練，大幅提高識別的準確率，保障數(shù)據(jù)高度可用。

2.在大橋洋山島側(cè)上下匝道位置部署高清識別設(shè)備，對通行集卡的運輸路徑、進提箱信息，大橋通行時長、島上滯留時長等進行動態(tài)記錄;在大橋兩側(cè)建設(shè)無人機站，設(shè)置日常飛行巡檢路徑定時作業(yè)，也實現(xiàn)突發(fā)擁堵狀態(tài)下視頻點播回傳或者指定車輛跟蹤監(jiān)測等。融合洋山港碼頭營運操作系統(tǒng)（TOS）、集卡預(yù)約平臺（EIR）、車隊管理系統(tǒng)（TMS）等業(yè)務(wù)系統(tǒng)，從時間和空間維度記錄集卡集卡車號、箱號、空掛、運輸路徑、流量、流向等動態(tài)信息，通過系統(tǒng)交互接口獲取對應(yīng)地提供流量分析、異常交通告警等的決策過程模型，采集涵蓋集裝箱集卡車號、箱號、空掛、進提箱貨物、運抵、堆場、岸橋、道口、查驗、預(yù)約等信息。

3.利用無人機智能巡航，增強預(yù)警管理和應(yīng)急處理能力，降低風(fēng)險損失。集卡動態(tài)管理系統(tǒng)部署采用分布式計算，構(gòu)建GPU服務(wù)器集群進行模型訓(xùn)練，利用kubernetes搭建微服務(wù)架構(gòu)，啟動DOKER容器技術(shù)把系統(tǒng)部署到私有云上，通過專網(wǎng)和碼頭營運操作系統(tǒng)TOS和EIR和車隊管理TMS等平臺進行對接交互，根據(jù)識別到的車號抽取入港進提箱和運抵等信息，驗證后建立大橋集裝箱運輸動態(tài)數(shù)據(jù)庫，把相應(yīng)數(shù)據(jù)推送到TOS等系統(tǒng)中，碼頭做相應(yīng)的智能道口、查驗區(qū)、機械調(diào)度、堆場等作業(yè)調(diào)整，提高碼頭作業(yè)效率，縮減集卡等待時間等，和互拖平臺做對接，為空掛集卡提供碼頭間互拖業(yè)務(wù)，集卡預(yù)約和車隊管理動態(tài)延伸和應(yīng)急展示等，同時為上海港宏觀決策和集疏運優(yōu)化方案提供了有效的量化依據(jù)。應(yīng)急預(yù)警管理系統(tǒng)通過專網(wǎng)和WEB訪問，對大橋集卡運輸動態(tài)異常情況進行預(yù)警，可以通過視頻點播對現(xiàn)場動態(tài)進行遠程展示或者回溯，為啟動應(yīng)急預(yù)案提供依據(jù)等。

三、識別系統(tǒng)設(shè)計

識別系統(tǒng)主要是基于人工智能的機器視覺技術(shù)，機器視覺綜合了圖像處理、視頻處理、工程技術(shù)、光學(xué)成像、智能傳感等技術(shù)，比較適合東海大橋的環(huán)境和基礎(chǔ)設(shè)施建設(shè)，識別系統(tǒng)硬件設(shè)備部署在三個區(qū)域，東海大橋蘆潮港側(cè)進出收費站區(qū)域、洋山港側(cè)上下匝道區(qū)域、大橋兩側(cè)無人機站區(qū)域，硬件設(shè)備主要由高清攝像機、紅外車輛感應(yīng)器、可編程邏輯控制器PLC（GPU芯片）、網(wǎng)絡(luò)交換機等設(shè)備組成，識別技術(shù)主要利用前沿的機器識別技術(shù)，通過目標監(jiān)測、OCR文字識別、三維檢測算法，立式差圖算法、降噪算法、等進行識別文字和狀態(tài)，然后通過AI深度學(xué)習(xí)CNN模型訓(xùn)練提高識別率，保證識別的可靠性。

識別技術(shù)主要通過以下幾個過程：高清視頻錄制、圖片采集、圖片預(yù)處理、區(qū)域定位、特征識別、識別結(jié)果、識別率提升等，視頻圖像錄制采用 CCD（Charged-Coupled Devices）工業(yè)級攝像機，需要滿足白天和黑夜不同光線條件下的正常工作，減少雨、雪、霧等惡劣天氣的影響，通過紅外設(shè)備觸發(fā)開始拍攝視頻，視頻流中截取亮度和對比度好的圖片信息，

圖像質(zhì)量直接影響識別算法的設(shè)計與效果精度，所以需要對圖片進行預(yù)處理提升圖片質(zhì)量，預(yù)處理首先要用Resolution enhancer 圖像畫質(zhì)增強技術(shù)調(diào)整圖片亮度和對比度，其次對變形圖片平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換校正到水平直線方式，圖片校正后有利于后期的圖像分割，最后就行對圖片進行降噪處理，可以用PRIDNet深度學(xué)習(xí)框架進行圖片降噪，用RainMix圖像增廣去雨算法去除雨天干擾等;預(yù)處理后的圖片通過卷積神經(jīng)網(wǎng)絡(luò)進行車號、箱號區(qū)域定位，定位過程如圖1所示：特征提取和特征融合，特征提取是通過卷積核（濾波器，convolution kernel）提取特征值，將采集到的圖片劃成8*8像素的Cells，通過卷積核的卷積點乘運算獲取特征值 destination value，輸出特征圖（feature map），然后通過雙線性差值對圖像矩陣兩個邊進行一次線性差值實現(xiàn)特征圖高和寬度放大1倍的效果，此時的特征圖是二維，不能用于檢索，把兩個特征維度附加相應(yīng)的權(quán)重，需要把特征編碼轉(zhuǎn)換為一維的描述算子，通過相似度計算進行特征區(qū)分，對車號和箱號的區(qū)域進行定位預(yù)測，對車號和箱號的坐標位置進行定位。

通過定位坐標，繼續(xù)特征提取和序列化，通過LSTM模型的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）計算字符概率并預(yù)測，經(jīng)過生成器和鑒別器的對抗訓(xùn)練識別出車號和箱號數(shù)據(jù)，把識別到的數(shù)據(jù)打上特有標簽，輸出初步的識別結(jié)果，此時的識別率相對偏低（80%左右），為了提高識別率，還需要經(jīng)過一個月作業(yè)的CNN模型訓(xùn)練，可以把識別率提升到98%以上。識別率提高的關(guān)鍵技術(shù)是CNN（卷積神經(jīng)網(wǎng)絡(luò)）模型訓(xùn)練，過程包含：整理訓(xùn)練數(shù)據(jù)、卷積神經(jīng)網(wǎng)絡(luò)帶入訓(xùn)練、訓(xùn)練模型保存、代入模型、特征向量SVM訓(xùn)練、SVM結(jié)果預(yù)測。CNN訓(xùn)練通過CNN是深度學(xué)習(xí)（deep learning）的一種常用的算法，具有較強的表征算法能力，CNN需要依賴大規(guī)模標簽數(shù)據(jù)作為訓(xùn)練模型，通過卷積和（特征過濾器）提取圖片水平和垂直特征（RGB值），通過特征提取計算后轉(zhuǎn)換特征圖，最大池化（max pooling）壓縮和提取特征圖提取最突出的特點，進行扁平化處理后轉(zhuǎn)化為一維的數(shù)據(jù)條，錄入到“全連接隱藏層”，神經(jīng)元的全連接，產(chǎn)生輸出結(jié)果，利用激活函數(shù)形成完整的CNN數(shù)據(jù)流，保證了輸出值和圖片整體信息的匹配度，隨著訓(xùn)練量的積累，圖像的識別率也會大幅增加，保證車號識別和箱號識別的數(shù)據(jù)精確。識別系統(tǒng)還運用一些別的技術(shù)，比如光流+CNN的序列圖像分析和運動參量求值車速識別，基線幾何立體視覺地從二維圖像提取三維信息空掛識別，OpenCV的車道識別等，以上技術(shù)的應(yīng)用，提供了東海大橋集卡立體動態(tài)識別系統(tǒng)，為整個業(yè)務(wù)提供良好的識別數(shù)據(jù)支撐。機器視覺識別系統(tǒng)的部署使用分布式計算的模式，現(xiàn)場節(jié)點安裝小型GPU工控機，linux+python+Bazel的開發(fā)、應(yīng)用環(huán)境，TensorFlow_Serving部署軟件進行識別和模型熱更新和自動模型版本管理，后端采用高性能GPU服務(wù)器集群完成CNN模型訓(xùn)練和識別，通過TCP協(xié)議是寫識別計算結(jié)果的傳輸，識別的效率取決于GPU云化計算能力，使用CAAS架構(gòu)提高GPU資源的利用率。

數(shù)字化無人機技術(shù)的引入，實現(xiàn)了定時規(guī)劃路徑巡檢和動態(tài)視頻跟蹤等工作，其中巡航平臺模塊包括無人機控制、視頻接入和識別、應(yīng)急預(yù)警等模塊。無人機站負責(zé)無人機的充電、維護、信息處理和傳輸?shù)?。無人機根據(jù)設(shè)計的巡航線路進行日常巡檢或者應(yīng)急處理等，飛行過程中機載高清攝像頭開始實時視頻錄制，通過5G網(wǎng)絡(luò)利用RTMP和RTSP協(xié)議把視頻推送到接入解析服務(wù)器，解析服務(wù)器根據(jù)預(yù)設(shè)的AI算法進行集卡動態(tài)、緊急事件區(qū)域等進行識別，根據(jù)識別結(jié)果判斷風(fēng)險等級，啟動業(yè)務(wù)告警、應(yīng)急預(yù)案、多方聯(lián)動等，并且具備視頻點播、回溯、3D展示等功能，無人機需要配備六向雙目識別、紅外感知、避障雷達等模塊，具備動態(tài)智能跟蹤、三維坐標定位、共享位置、激光測距等功能，配備備用電池保障續(xù)航和安全，巡航服務(wù)和視頻服務(wù)應(yīng)用可以用spring cloud微服務(wù)開發(fā)和部署到私有云端。

四、集卡動態(tài)管理系統(tǒng)設(shè)計

集卡動態(tài)管理系統(tǒng)主要把識別到的數(shù)據(jù)和碼頭營運操作系統(tǒng)和各平臺系統(tǒng)進行交互，形成以時間、空間屬性的集卡動態(tài)信息，嵌入到TOS、EIR、TMS系統(tǒng)中，促進碼頭、車隊作業(yè)流程再造，提高作業(yè)效率、優(yōu)化集疏運方案和緩解大橋通行能力，并且為決策層提供數(shù)據(jù)支撐。TOS系統(tǒng)可以根據(jù)該系統(tǒng)預(yù)測值得到集卡車號和箱號信息，預(yù)測集卡到崗時間，道口作業(yè)區(qū)可以調(diào)整道口的開放數(shù)，對在停車場和查驗區(qū)進行引流，為入港集卡快速進港創(chuàng)造條件，智能堆場可以通過算法進行者翻箱等操作，機械調(diào)度可以及時安排內(nèi)集卡和軌道吊等的運行路徑等，能有效提高作業(yè)效率，降低能耗。EIR可以通過該系統(tǒng)對集卡進港時間預(yù)判和調(diào)整，TMS可以通過該系統(tǒng)了解到集卡的位置定位和狀態(tài)等信息，針對東海大橋上的集卡動態(tài)進行全時段的記錄和統(tǒng)計，儲存了大橋集卡的動態(tài)全局數(shù)據(jù)，可以針對時間段、集卡流量、流向車速等數(shù)據(jù)進行建模計算，從宏觀政策層面進行決策和分析。

集卡動態(tài)管理系統(tǒng)用容器化開發(fā)設(shè)計，Linux+Python+Doker，kubernetes進項容器管理，實現(xiàn)輕量化部署和敏捷性開發(fā)，同時和其他系統(tǒng)對接開發(fā)相應(yīng)的API接口，提升系統(tǒng)的延展性，搭建大橋集卡動態(tài)信息數(shù)據(jù)庫，實時記錄大橋上集卡車號、箱號、掛箱、目標港、進提箱、預(yù)計抵港時間，預(yù)約、堆場位置、大橋路況等信息，根據(jù)各方需求開發(fā)服務(wù)模塊，并且進行統(tǒng)計分析，為決策和優(yōu)化提供依據(jù)。

五、應(yīng)急預(yù)警系統(tǒng)設(shè)計

應(yīng)急預(yù)警系統(tǒng)功能模塊是預(yù)警識別、告警發(fā)送、異常情況跟蹤、啟動應(yīng)急預(yù)案（自動或者人工）、實時錄像、點播回溯等，無人機可以選用大疆的Matrice 300 RTK商用機型，使用DJTM飛控系統(tǒng)，配備了六向雙目視覺和FPV 攝像頭，在避障、定位、位置共享方面表現(xiàn)突出，搭載H20T變焦廣角高清相機，更加有利于快速搜索和全方位觀察等，飛行輔助界面等先進功能大橋兩側(cè)通過無人機巡航進行實時視頻錄制，為碼頭、車隊、救援等多方提供信息保障，提高異常情況處理效率，緩解大橋擁堵等。

六、結(jié)束語

隨著自動化AI技術(shù)的發(fā)展，機器視覺技術(shù)越來越廣泛應(yīng)用到港口航運業(yè)務(wù)中，利用機器視覺技術(shù)，結(jié)合神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法，建設(shè)東海大橋集裝箱實時動態(tài)管理系統(tǒng)彌補了洋山港全方位集裝箱物流鏈中關(guān)鍵環(huán)節(jié)的系統(tǒng)缺失，進一步推進了洋山港智慧港口、綠色港口的信息化建設(shè)，有效降低集卡的運營成本、相應(yīng)縮減滯港時間和大橋通行時間，緩解了大橋通行壓力，實現(xiàn)經(jīng)濟效益和社會效益雙豐收。

參? 考? 文? 獻

[1]張羽達. 基于機器視覺的集裝箱鎖孔識別與定位技術(shù)研究[D].江蘇大學(xué)，2019.

[2]劉燕欣，張志良，唐波，等.面向集裝箱港口的機器視覺智能感知系統(tǒng)[J].軍民兩用技術(shù)與產(chǎn)品，2020（01）：24-28.

[3]徐尉豪.基于機器視覺的動態(tài)環(huán)境運動目標智能識別研究[J].激光雜志，2022，43（01）：29-32.

[4]薛夢霞，劉士榮，王堅.基于機器視覺的動態(tài)多目標識別[J].上海交通大學(xué)學(xué)報，2017，51（06）：727-733.

作者單位：李東? ? 上海海勃物流軟件有限公司

李東（1971.04-），男，漢族，上海，研究生，工程師，專業(yè)研究方向：信息技術(shù)。