基于大數(shù)據(jù)的碼頭設備運行狀態(tài)分析

楊承志，張偉，尹麗君

（交通運輸部水運科學研究院，北京 100088）

近年來，隨著港口智能化和信息化的不斷建設與發(fā)展，越來越多的傳感器、測量儀表和監(jiān)控設備被安裝和應用于碼頭各處，以實現(xiàn)對碼頭設備的監(jiān)測與控制。隨著這些監(jiān)測和控制設備的大范圍、大規(guī)模應用，會產(chǎn)生大量的生產(chǎn)運行數(shù)據(jù)并匯集到碼頭監(jiān)控調(diào)度中心，給港口碼頭的數(shù)據(jù)存儲、分析與處理工作提出了新的挑戰(zhàn)。面對如此巨大的生產(chǎn)運行數(shù)據(jù)流，傳統(tǒng)平臺和算法已無法滿足數(shù)據(jù)處理的實際需求，研究和推廣大數(shù)據(jù)分析技術在港口碼頭的應用十分必要。

1 碼頭設備運行數(shù)據(jù)特點

隨著碼頭信息化、智能化進程的不斷發(fā)展，監(jiān)測設備的大范圍應用，碼頭生產(chǎn)作業(yè)和設備運行過程中產(chǎn)生的各項數(shù)據(jù)都呈現(xiàn)指數(shù)級增長。這些連續(xù)產(chǎn)生、實時變化的海量生產(chǎn)運行數(shù)據(jù)，對于正在以信息化手段加速轉(zhuǎn)型升級，提升港口智能化水平的港口企業(yè)來說，既是挑戰(zhàn)，也是財富。目前碼頭運行數(shù)據(jù)的特征可歸結(jié)為如下幾點：一是數(shù)據(jù)量大；二是數(shù)據(jù)類型多；三是價值大。

根據(jù)碼頭運行數(shù)據(jù)產(chǎn)生的方式不同，相關運行數(shù)據(jù)可以分為以下兩種類型，即碼頭設備運行狀態(tài)數(shù)據(jù)和碼頭生產(chǎn)作業(yè)統(tǒng)計數(shù)據(jù)。

（1）碼頭設備運行狀態(tài)數(shù)據(jù)。通過設備上配置的相關傳感器以及智能電表等監(jiān)測設備可對設備自身運行狀態(tài)的數(shù)據(jù)進行實時采集，對皮帶機張緊和跑偏，電機電壓電流、設備溫度等運行參數(shù)進行監(jiān)測。這些數(shù)據(jù)可以實時反映碼頭設備當前的運行效率和運行狀態(tài)，具有巨大的使用價值。通過對這些運行數(shù)據(jù)的深入挖掘與利用，可以為碼頭制定科學合理的生產(chǎn)流程和運行維護方案提供有效的數(shù)據(jù)支撐。

（2）碼頭生產(chǎn)作業(yè)管理數(shù)據(jù)。碼頭生產(chǎn)作業(yè)過程中，各個部門會對碼頭設備運行時間、輸送流量、工作效率、故障情況等系統(tǒng)運行數(shù)據(jù)進行統(tǒng)計，此類數(shù)據(jù)即為生產(chǎn)作業(yè)管理數(shù)據(jù)。這類數(shù)據(jù)是在碼頭設備運行的特定范圍和時間內(nèi)自動統(tǒng)計生成，從而對碼頭設備的總體運行狀態(tài)予以反映。通過對這些生產(chǎn)作業(yè)管理數(shù)據(jù)的分析利用，碼頭可以精確掌握設備負載率在時間和空間上的分布情況，從而制定科學有效的生產(chǎn)計劃和生產(chǎn)調(diào)度。

2 碼頭設備運行狀態(tài)大數(shù)據(jù)分析流程

通過對碼頭生產(chǎn)運營數(shù)據(jù)的深入挖掘與分析，可以詳細深入了解碼頭生產(chǎn)作業(yè)運行狀態(tài)，掌握各個設備和系統(tǒng)的運行效率，從而制定科學合理的生產(chǎn)流程和運行維護方案，降低設備故障發(fā)生率，提高生產(chǎn)效率。因此采用大數(shù)據(jù)平臺深入分析碼頭運行數(shù)據(jù)十分必要。

碼頭設備運行狀態(tài)的大數(shù)據(jù)分析處理流程為：

（1）數(shù)據(jù)采集層。通過傳感器、測量儀表、監(jiān)控終端等元器件對碼頭現(xiàn)場設備的氣壓、張緊、跑偏、電壓、電流、功率等機械與電氣數(shù)據(jù)進行實時采集，構(gòu)建設備運行的大數(shù)據(jù)基礎。與這些數(shù)據(jù)一起被采集的還有監(jiān)測地點、所屬區(qū)域和設備編號等基礎信息數(shù)據(jù)。

（2）物理層。通過現(xiàn)場總線、光纖通信、無線通信等技術手段將采集到的數(shù)據(jù)上傳到服務器集群等物理機架上進行儲存，完成物理層面的數(shù)據(jù)保留。

（3）大數(shù)據(jù)層。采用Hadoop 分布式計算平臺對儲存在物理機架上的數(shù)據(jù)進行分析計算。

（4）分析展示層。通過Hadoop 平臺端對數(shù)據(jù)計算結(jié)果進行可視化查看和在線展示。

Hadoop 平臺大數(shù)據(jù)處理流程見圖1。

圖1 Hadoop 平臺大數(shù)據(jù)處理流程

綜上所述，利用Hadoop 平臺處理碼頭設備運行數(shù)據(jù)的流程是：首先通過HDFS 相關命令將采集到碼頭設備運行數(shù)據(jù)存入系統(tǒng)中，然后在YARN 框架平臺上對數(shù)據(jù)進行Map Reduce 并行計算，最后再將運算結(jié)果通過HDFS 命令下載到本地進行后續(xù)處理分析和展示。

3 基于Hadoop 的大數(shù)據(jù)分析系統(tǒng)框架

本文采用Hadoop 作為基礎技術框架，對碼頭設備運行數(shù)據(jù)進行大數(shù)據(jù)分析。Hadoop 平臺的核心模塊主要包括有分布式文件系統(tǒng)HDFS、分布式并行計算框架Map Reduce、分布式資源管理框架YARN 和基礎工具集Hadoop Common。其中HDFS 用于提供高效快速的數(shù)據(jù)存儲與讀取；Map Reduce 用于進行大規(guī)模數(shù)據(jù)集的并行運算；YARN 用于為上層應用提供資源管理、調(diào)度和協(xié)調(diào)；Hadoop Common 用于為Hadoop 平臺上的其它組件和程序提供運行環(huán)境和支持。

Hadoop 生態(tài)系統(tǒng)框架結(jié)構(gòu)見圖2。

圖2 Hadoop 生態(tài)系統(tǒng)框架結(jié)構(gòu)圖

在分布式存儲模式下，多個數(shù)據(jù)節(jié)點的使用可以有效保障數(shù)據(jù)安全，客戶端的識別功能則可以提高數(shù)據(jù)讀取效率。通過使用操作日志文件與數(shù)據(jù)鏡像文件，可以實現(xiàn)操作更新記錄，從而大大減少系統(tǒng)崩潰帶來的數(shù)據(jù)丟失風險。利用分布式并行處理系統(tǒng)，則可以同時完成電機電流電壓、轉(zhuǎn)速、皮帶流量等不斷變化數(shù)據(jù)的處理。當任何一個map 出現(xiàn)故障時，都不會影響其余節(jié)點的運行，從而保障整個框架能夠更加順暢和穩(wěn)定地運行。此外，利用Map Reduce 還可以實現(xiàn)大數(shù)據(jù)的挖掘，通過構(gòu)建相關性模型，可以有效地挖掘設備故障、故障區(qū)域、影響因素等數(shù)據(jù)之間的內(nèi)在關聯(lián)度，從而有效地規(guī)避風險，以防代修，提升碼頭設備運行穩(wěn)定性。

4 碼頭設備運行的大數(shù)據(jù)處理方法

4.1 設備運行狀態(tài)函數(shù)方程分析

由于碼頭作業(yè)和物料輸送過程中，碼頭設備的運行過程是一個典型的大規(guī)模非線性系統(tǒng)，因此，在分析碼頭設備運行狀態(tài)的相關數(shù)據(jù)時，可以將用于表示碼頭設備運行動態(tài)過程的非線性微分方程組，通過某一個給定的穩(wěn)定運行參數(shù)，將該方程組線性化，從而得到一個可以用于反映碼頭設備在該穩(wěn)定運行模式下狀態(tài)變化情況的線性微分方程組。

通過該方程組求出相應的特征值，然后依據(jù)該特征值在根平面上的分布情況，可以判斷碼頭相關設備的運行狀態(tài)。在碼頭各個設備的正常運行過程中，可以將碼頭的設備運行和物料輸送過程整體看做一個動態(tài)的運行過程，利用微分函數(shù)可將其描述為：

上述公式中，x 代表描述該設備動態(tài)運行過程中動態(tài)特性的狀態(tài)變量向量，y 代表該設備動態(tài)運行過程中的運行變量向量。當碼頭設備整體處于穩(wěn)定運行狀態(tài)時，狀態(tài)變量和運行變量均不隨時間變化，此時可得出如下公式（2）：

在上式（2）所確定的設備穩(wěn)定運行狀態(tài)下，如果某一時刻，運行點xe，ye處發(fā)生一個變動，即：

將該變動代入上式（1）中，可得：

利用泰勒公式可以將上式（4）在變動發(fā)生點xe，ye處展開。當碼頭設備的運行狀態(tài)變動較小，即、非常小時，此時可忽略二次以上項，由此可得到：

由上式（2）可知，當設備穩(wěn)定運行時，存在如下公式：

因此可以得到碼頭設備在穩(wěn)定運行狀態(tài)點的線性方程為：

當碼頭設備的運行狀態(tài)變動較大時，則可通過歐拉積分、中值積分、隱式積分等分析方法，對上式（4）展開后的泰勒級數(shù)高次項進行計算分析，從而得到對應的線性增量方程。

4.2 碼頭設備運行狀態(tài)大數(shù)據(jù)分析處理步驟

（1）采用Hadoop 平臺分布式管理碼頭設備運行狀態(tài)的監(jiān)控數(shù)據(jù)，同時利用Map Reduce 模型函數(shù)設計碼頭設備運行狀態(tài)的相關規(guī)約函數(shù)。

（2）根據(jù)碼頭設備運行監(jiān)測中得到的相關設備穩(wěn)定運行狀態(tài)數(shù)據(jù)，來確定各個變量的穩(wěn)定值。

（3）對碼頭設備運行中出現(xiàn)的各種不穩(wěn)定狀態(tài)的非線性方程進行轉(zhuǎn)化，將其簡化近似為線性方程。

（4）將碼頭設備和系統(tǒng)運行過程中的不穩(wěn)定狀態(tài)數(shù)據(jù)帶入對應狀態(tài)方程，分析碼頭設備運行情況和狀態(tài)變化趨勢。

（5）根據(jù)碼頭設備運行狀態(tài)變化趨勢確定碼頭設備的運行狀態(tài)和相關的操作處理措施，進行快速響應，或根據(jù)碼頭設備運行變化趨勢制定檢修維護計劃。

5 結(jié)語

隨著港口碼頭智能化和信息化建設的不斷深入，碼頭設備運行數(shù)據(jù)的種類和數(shù)量也越來越多。為了充分利用這些數(shù)據(jù)資源，提高設備運行效率，本文通過引入大數(shù)據(jù)分析技術，結(jié)合碼頭設備運行數(shù)據(jù)的特點，研究了碼頭設備運行數(shù)據(jù)的分析方法，建立了碼頭設備運行狀態(tài)的大數(shù)據(jù)分析流程和系統(tǒng)框架，為碼頭精準掌握各個設備以及系統(tǒng)的運行效率和運行狀態(tài)，制定科學合理的生產(chǎn)流程和運行維護方案提供了技術支撐和參考。