基于自動化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合技術(shù)研究

徐建峰 胡 靜

上海振華重工（集團）股份有限公司 上海 200125

0 引言

自動化集裝箱碼頭是指通過智能化技術(shù)實現(xiàn)碼頭作業(yè)自動化、信息化和智能化，提高碼頭作業(yè)效率和安全性的現(xiàn)代化碼頭。自動化集裝箱碼頭涉及多種類型的設備和系統(tǒng)，例如：自動化堆場、自動化門式起重機、自動化軌道車、車輛位置系統(tǒng)、貨物跟蹤系統(tǒng)、人員定位系統(tǒng)等。這些設備和系統(tǒng)生成的數(shù)據(jù)涉及多個領(lǐng)域和業(yè)務，例如：物流、安全、質(zhì)量、成本等。因此，如何將多源異構(gòu)數(shù)據(jù)進行有效的融合，提高數(shù)據(jù)的集成、共享和應用的效率，成為自動化集裝箱碼頭智能化建設的重要技術(shù)問題。

本文提出了一種基于自動化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合[1-5]技術(shù)，包括管理配置服務、設備數(shù)據(jù)服務、數(shù)據(jù)庫數(shù)據(jù)服務、數(shù)據(jù)融合服務、網(wǎng)關(guān)服務、核心模塊和公用類模塊。

1 多源異構(gòu)數(shù)據(jù)融合平臺功能模塊

在多源異構(gòu)數(shù)據(jù)融合平臺中，主要包含管理配置服務模塊、設備數(shù)據(jù)服務和數(shù)據(jù)庫數(shù)據(jù)服務、數(shù)據(jù)融合服務、網(wǎng)關(guān)服務以及監(jiān)控和管理模塊等核心模塊。管理配置服務模塊負責用戶管理、系統(tǒng)配置以及其他方面的操作；設備數(shù)據(jù)服務和數(shù)據(jù)庫數(shù)據(jù)服務從不同的數(shù)據(jù)源提取數(shù)據(jù)；數(shù)據(jù)融合服務對原始數(shù)據(jù)進行清洗、處理、存儲以及分析等操作，并處理不同數(shù)據(jù)源之間的數(shù)據(jù)不一致問題；網(wǎng)關(guān)服務負責加密、權(quán)限控制和安全檢查等操作；監(jiān)控和管理模塊負責對數(shù)據(jù)融合平臺的各個組件進行監(jiān)控和管理。

該平臺采用了微服務架構(gòu)，各個服務通過Restful API 進行通信，實現(xiàn)了松耦合、易于擴展和維護等優(yōu)點。此外，該平臺還使用消息隊列技術(shù)進行數(shù)據(jù)的異步處理和分發(fā)，采用前端框架和其他技術(shù)實現(xiàn)了數(shù)據(jù)的可視化展示和用戶交互，為數(shù)據(jù)集成、共享和應用效率的提升做出了貢獻。在實驗結(jié)果的驗證下，該平臺已經(jīng)成功地應用于自動化集裝箱碼頭的智能化建設，為碼頭的運營和管理提供了有力的技術(shù)支持。

2 多源異構(gòu)數(shù)據(jù)融合平臺技術(shù)選型

采用多種技術(shù)來實現(xiàn)多源異構(gòu)數(shù)據(jù)融合平臺。其中，關(guān)鍵技術(shù)包括微服務框架、消息隊列和前端框架。采用Spring Cloud 作為微服務框架，其提供了豐富的微服務開發(fā)工具，可以更加便捷地進行微服務的開發(fā)和管理。采用RabbitMQ 作為消息隊列，實現(xiàn)對多源數(shù)據(jù)的采集、處理、存儲和傳輸。采用Vue.js 作為前端框架，有助快速、高效地進行前端開發(fā)。

此外，采用Spring Boot、MyBatis、Docker、Jenkins、Canal、Camel 等輔助技術(shù)進行開發(fā)，并使用了數(shù)據(jù)壓縮技術(shù)來降低存儲和傳輸成本。這些技術(shù)在多源異構(gòu)數(shù)據(jù)融合平臺中發(fā)揮著重要的作用，提升了系統(tǒng)的靈活性、可擴展性和可靠性。

3 多源異構(gòu)數(shù)據(jù)融合平臺核心

由于多源異構(gòu)數(shù)據(jù)的差異性和復雜性，實現(xiàn)其有效地融合并非易事。以往研究中，存在著許多問題，例如數(shù)據(jù)來源不明確、數(shù)據(jù)質(zhì)量不可靠、數(shù)據(jù)一致性難以保障等。故如何完成對多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合成為當前研究的一個關(guān)鍵問題。

為了解決這一問題，本文提出了一個多源異構(gòu)數(shù)據(jù)融合平臺的核心實現(xiàn)方法，并展示了其在真實場景下的性能和效果。平臺核心采用了開放式架構(gòu)設計，支持數(shù)據(jù)集成、轉(zhuǎn)換和管理，并通過采用高性能的融合算法和模型，實現(xiàn)了多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合。此外，還為平臺提供了完善的數(shù)據(jù)質(zhì)量控制和管理功能，以確保所融合數(shù)據(jù)的準確性和可用性。

3.1 開放式架構(gòu)設計

為了克服多源異構(gòu)數(shù)據(jù)的差異性和復雜性，采用開放式架構(gòu)設計，即：將多個數(shù)據(jù)源整合到一個融合平臺中，并允許用戶根據(jù)自身的需求自由定制和擴展。平臺核心包括：

1）數(shù)據(jù)源 平臺核心支持從多種數(shù)據(jù)源（例如關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、Web 服務、OPC DA、OPC UA[6-8]、文件系統(tǒng)等）中獲取數(shù)據(jù)，并將其轉(zhuǎn)換為統(tǒng)一的格式和結(jié)構(gòu)。

2）數(shù)據(jù)采集與轉(zhuǎn)換 平臺核心支持針對不同的數(shù)據(jù)類型和語義，定義多種轉(zhuǎn)換規(guī)則和模板，以便將數(shù)據(jù)映射到統(tǒng)一的語義空間中。

3）數(shù)據(jù)層 平臺核心提供全面的數(shù)據(jù)質(zhì)量監(jiān)控和管理功能，包括數(shù)據(jù)采集、清洗、去重、歸檔、備份等，并提供配置式的數(shù)據(jù)融合機制，采用高性能融合算法將多種數(shù)據(jù)源數(shù)據(jù)組合成自定義數(shù)據(jù)對象發(fā)布給客戶端應用。

4）數(shù)據(jù)接口層 平臺核心提供統(tǒng)一Restful API 接口服務，提供多種數(shù)據(jù)源數(shù)據(jù)以及融合組合后的數(shù)據(jù)對象，同時提供基礎(chǔ)數(shù)據(jù)分析、實時分析、自助分析等功能。

5）數(shù)據(jù)應用層 平臺提供的數(shù)據(jù)可以應用到監(jiān)控、數(shù)字孿生、報表、統(tǒng)計分析等應用，同時還提供歷史數(shù)據(jù)記錄和查詢接口。

通過這樣的設計，可以將各種異構(gòu)數(shù)據(jù)源整合在一起，形成一個統(tǒng)一的融合平臺，進而實現(xiàn)多源數(shù)據(jù)的深度融合和智能分析。系統(tǒng)架構(gòu)如圖1 所示。

圖1 多源異構(gòu)數(shù)據(jù)融合平臺的架構(gòu)

3.2 高性能融合算法

針對多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合問題，采用一系列高性能的融合算法和模型。主要采用基于特征匹配的融合算法和基于語義解析的融合算法2 種算法。

3.2.1 基于特征匹配的融合算法

該算法主要針對結(jié)構(gòu)化數(shù)據(jù)，通過對不同數(shù)據(jù)特征（例如屬性名稱、數(shù)據(jù)類型、數(shù)據(jù)范圍等）的匹配，實現(xiàn)數(shù)據(jù)的深度融合。實現(xiàn)的方式為：1）確定融合目標和數(shù)據(jù)源 明確融合信息數(shù)據(jù)源，在自動化碼頭中需要融合各種感應器、視頻監(jiān)控、RFID 等設備采集到的信息。2）特征提取 對于每個數(shù)據(jù)源，需要選擇合適的特征提取方法來提取相關(guān)信息。例如：從視頻監(jiān)控數(shù)據(jù)中可以提取SURF、SIFT 等視覺特征；從感應器數(shù)據(jù)中可以提取時間戳、傳感器類型、數(shù)值大小等特征。3）特征匹配 通過對多個數(shù)據(jù)源提取的特征進行匹配，確定關(guān)信息。這個過程涉及計算機視覺、信號處理、時間序列分析等多個領(lǐng)域的知識，根據(jù)具體情況選擇合適的匹配方法。4）加權(quán)處理 根據(jù)匹配結(jié)果以及已有的先驗知識，對不同數(shù)據(jù)源的信息進行加權(quán)處理，以反映它們在融合結(jié)果中的貢獻。例如：可以將來自視頻監(jiān)控的信息賦予更高的權(quán)重，因為這些信息通常更直觀、準確。5）融合輸出 根據(jù)加權(quán)后的匹配結(jié)果，將各個數(shù)據(jù)源中的信息融合成一個完整的、具有更高精度和魯棒性的數(shù)據(jù)集。對于碼頭自動化來說，這可能包括船只位置、貨物數(shù)量和種類、設備狀態(tài)、工作人員分布等信息。使用平均值、混合模型等方法將數(shù)據(jù)源結(jié)合起來。

在項目應用中，平臺慮到各種情況下的特征提取、匹配、加權(quán)和融合方法，進行相應的調(diào)整和優(yōu)化，以提高融合效果和計算速度，實現(xiàn)全面自動化的多源異構(gòu)數(shù)據(jù)融合。

3.2.2 基于語義解析的融合算法

該算法主要針對非結(jié)構(gòu)化數(shù)據(jù)，通過對文本、圖片等語義信息的解析，實現(xiàn)數(shù)據(jù)的深度融合。融合算法和模型具有高效、準確、可擴展等優(yōu)點，能夠滿足大規(guī)模、多樣化、復雜性強的數(shù)據(jù)融合需求。實現(xiàn)的方式為：

1）確定融合目標和數(shù)據(jù)源 和基于特征匹配的融合算法相似，明確需要融合的信息以及從數(shù)據(jù)源中獲取信息。但是對于基于語義解析的融合算法來說，需要考慮每個數(shù)據(jù)源中的各種信息之間的語義關(guān)系。

2）語義解析 選擇合適的自然語言處理技術(shù)，對文字、語音等語言形式的數(shù)據(jù)源進行語義解析。例如：可以使用詞向量模型將自然語言轉(zhuǎn)換成高維特征空間中的向量表示，再根據(jù)向量之間的相似度計算出它們之間的語義關(guān)系。

3）實體識別和鏈接 從語義解析的結(jié)果中識別出相關(guān)實體，在不同數(shù)據(jù)源中對實體進行鏈接。例如：識別AGV、Container、設備類型等實體，并確定它們在不同數(shù)據(jù)源中的對應關(guān)系。

4）語義推理 通過對鏈接后的實體進行語義推理，提取更豐富的信息以及實體之間的關(guān)聯(lián)關(guān)系。例如：可以基于規(guī)則或知識圖譜來推斷出當前AGV 的位置、帶箱狀態(tài)、任務執(zhí)行狀態(tài)等信息。

5）融合輸出 根據(jù)語義推理的結(jié)果，將各個數(shù)據(jù)源中的信息融合成一個完整的、具有更高精度和魯棒性的數(shù)據(jù)集。同樣可以使用平均值、混合模型等方法結(jié)合數(shù)據(jù)源來完成數(shù)據(jù)統(tǒng)計。

3.3 數(shù)據(jù)質(zhì)量控制和管理

為了確保所融合數(shù)據(jù)的準確性和可用性，平臺提供了完善的數(shù)據(jù)質(zhì)量控制和管理功能。具體而言，主要采用數(shù)據(jù)一致性檢測和數(shù)據(jù)質(zhì)量評估2 種方法。數(shù)據(jù)一致性檢測是通過對不同數(shù)據(jù)源的數(shù)據(jù)進行一致性檢測，發(fā)現(xiàn)并消除可能產(chǎn)生的錯誤。數(shù)據(jù)質(zhì)量評估是通過對融合后的數(shù)據(jù)進行質(zhì)量評估，識別出存在問題的數(shù)據(jù)，以便用戶調(diào)整和處理。這些功能的實現(xiàn)有效提高了數(shù)據(jù)融合的效率和精度，進而支持各種數(shù)據(jù)應用領(lǐng)域的智能分析和決策。

3.4 數(shù)據(jù)應用

在真實場景下驗證提出的多源異構(gòu)數(shù)據(jù)融合平臺核心的性能和效果。使用一組包括關(guān)系型數(shù)據(jù)庫、Web 服務、OPC DA、文件系統(tǒng)等多個來源的數(shù)據(jù)集，并通過創(chuàng)建AGV 模板、實現(xiàn)AGV 模板實例，經(jīng)過多源異構(gòu)數(shù)據(jù)融合平臺處理后精確的數(shù)據(jù)信息，給到GUI 監(jiān)控顯示系統(tǒng)。模板應用界面如圖2 所示。

圖2 對象模板實例與多源數(shù)據(jù)連接管理界面

4 系統(tǒng)部署

系統(tǒng)采用微服務架構(gòu)，使用Spring Cloud 作為微服務框架。同時，系統(tǒng)使用了Docker 容器技術(shù)進行部署，實現(xiàn)了快速、高效的部署和擴展。在部署過程中，本系統(tǒng)采用容器編排工具Kubernetes，實現(xiàn)了容器的自動化部署和管理。同時，還采用TFS 進行代碼管理和CI/CD流程的自動化部署，實現(xiàn)了TFS 代碼管理、編譯、在線自動發(fā)布部署流程。

5 應用案例

截至目前，該數(shù)據(jù)融合平臺已經(jīng)在最近實施的自動化碼頭項目中投入應用，其中A、B 自動化碼頭使用數(shù)據(jù)融合平臺。2 個項目的實施情況如表1 所示。

表1 性能提升百分比表

表1 中，優(yōu)化前數(shù)據(jù)點數(shù)和數(shù)據(jù)表數(shù)是指未使用數(shù)據(jù)融合平臺每個GUI 訂閱的設備數(shù)據(jù)點數(shù)和數(shù)據(jù)庫業(yè)務數(shù)據(jù)表數(shù)；優(yōu)化前GUI 可常開數(shù)量是指未使用數(shù)據(jù)融合平臺前，前端GUI 從多個數(shù)據(jù)源獲取數(shù)據(jù)，因數(shù)據(jù)源限制、處理限制、性能限制下最多可以常開的客戶端數(shù)量；優(yōu)化后數(shù)據(jù)融合對象數(shù)是指應用數(shù)據(jù)融合平臺后每個GUI 訂閱的數(shù)據(jù)融合對象數(shù)，該對象包含了設備數(shù)據(jù)和業(yè)務數(shù)據(jù)；優(yōu)化后GUI 可常開數(shù)量是指基于數(shù)據(jù)融合平臺可常開的客戶端數(shù)量；性能提升百分比是指客戶端GUI 可常開數(shù)量提升百分比。引入數(shù)據(jù)融合平臺后，數(shù)據(jù)處理、數(shù)據(jù)帶寬、客戶端處理效率得到大幅提升，因而常開GUI 數(shù)量得到較大的提升。

由表1 可知，由于數(shù)據(jù)融合平臺的引入，A 碼頭可常開GUI 的數(shù)量增加了28 臺，性能提升百分比約233%；B 碼頭可常開GUI 的數(shù)量增加了27 臺，效率提升百分比為245%。以上2 個案例說明，數(shù)據(jù)融合平臺的投入使用，在同等服務器硬件資源條件下，能夠極大提升自動化碼頭客戶端GUI 的常開數(shù)量，既提升了處理性能，也降低了客戶端的重復的數(shù)據(jù)處理工作量，大大降低了硬件投入成本和項目定制實施成本。

6 結(jié)語

本文基于自動化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合技術(shù)進行了研究，提出了一種基于微服務架構(gòu)的數(shù)據(jù)融合方案。本系統(tǒng)采用Spring Cloud 微服務框架，選用Docker容器技術(shù)進行部署，通過開發(fā)數(shù)據(jù)管理平臺、設備數(shù)據(jù)服務、數(shù)據(jù)庫數(shù)據(jù)服務、數(shù)據(jù)融合服務等核心模塊，實現(xiàn)了不同數(shù)據(jù)源之間的數(shù)據(jù)交互和融合，極大方便了客戶端對多種數(shù)據(jù)的組合應用，也為碼頭管理部門提供了一種高效的數(shù)據(jù)管理和應用模式。

該研究在技術(shù)選型上充分考慮了業(yè)務需求和技術(shù)特點，使用了消息隊列和微服務架構(gòu)，通過分布式部署和模塊化設計，保證了系統(tǒng)的高可用性和可擴展性。同時，使用SnowFlakeId 算法進行ID 生成，避免了數(shù)據(jù)ID 沖突的問題。

綜上所述，本文研究開發(fā)的自動化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合技術(shù)，為自動化碼頭項目的實施提供了強有力的支撐，可以有效地提高數(shù)據(jù)管理和應用的效率，同時也為類似領(lǐng)域的研究提供了一定的參考和借鑒。