基于物聯(lián)網(wǎng)的自動(dòng)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)技術(shù)研究

董桂苓

大慶油田有限責(zé)任公司第三采油廠 黑龍江 大慶 163113

引言

第二油礦實(shí)施物聯(lián)網(wǎng)建設(shè)以來，通過對(duì)站、間系統(tǒng)進(jìn)行改造，在關(guān)鍵節(jié)點(diǎn)上安裝監(jiān)控設(shè)備，實(shí)現(xiàn)站場集中監(jiān)控、無人值守、數(shù)字采集、智能管理，有效地降低員工的勞動(dòng)強(qiáng)度，改善工作環(huán)境，控制操作風(fēng)險(xiǎn)，為管理人員遠(yuǎn)程監(jiān)測站場生產(chǎn)數(shù)據(jù)、機(jī)泵運(yùn)行狀態(tài)提供技術(shù)支持。自動(dòng)化數(shù)據(jù)應(yīng)用上，需要考慮以下幾方面需求，一是實(shí)時(shí)數(shù)據(jù)與關(guān)系數(shù)據(jù)轉(zhuǎn)換，自動(dòng)化數(shù)據(jù)以秒為單位進(jìn)行采集傳輸，站場日常管理數(shù)據(jù)以日數(shù)據(jù)為主，需要研究自動(dòng)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)策略，保證日數(shù)據(jù)準(zhǔn)確性。二是與其他系統(tǒng)對(duì)接，為減輕基層資料人員采集工作量，避免數(shù)據(jù)多次重復(fù)錄入，需要研究數(shù)據(jù)自動(dòng)推送機(jī)制，實(shí)現(xiàn)數(shù)據(jù)后臺(tái)自動(dòng)分發(fā)，確保統(tǒng)建系統(tǒng)二次應(yīng)用。

1 關(guān)鍵技術(shù)分析

1.1 統(tǒng)一實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)儲(chǔ)標(biāo)準(zhǔn)

為滿足自動(dòng)化采集數(shù)據(jù)在生產(chǎn)管理中的應(yīng)用需要，統(tǒng)一規(guī)范生產(chǎn)現(xiàn)場數(shù)字化建設(shè)中實(shí)時(shí)數(shù)據(jù)采集點(diǎn)的命名方式，準(zhǔn)確識(shí)別和處理自動(dòng)采集的各項(xiàng)數(shù)據(jù)，實(shí)現(xiàn)油田內(nèi)部實(shí)時(shí)數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一應(yīng)用、統(tǒng)一數(shù)據(jù)轉(zhuǎn)換，方便數(shù)據(jù)的維護(hù)管理[1]。

1.2 數(shù)據(jù)映射管理

配置實(shí)時(shí)數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫字段的映射匹配關(guān)系，保證自動(dòng)化數(shù)據(jù)的完整性和齊全性。通過配置關(guān)聯(lián)數(shù)據(jù)庫連接信息、目標(biāo)表、測點(diǎn)與目標(biāo)表字段的映射匹配、特殊匹配及轉(zhuǎn)儲(chǔ)條件等，建立自動(dòng)化緩存庫向源數(shù)據(jù)庫的專業(yè)映射，形成一套完整的站庫數(shù)據(jù)轉(zhuǎn)儲(chǔ)方案。

1.3 自動(dòng)化數(shù)據(jù)處理入庫

搭建實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)儲(chǔ)轉(zhuǎn)發(fā)服務(wù)平臺(tái)，建立自動(dòng)化處理服務(wù)，實(shí)現(xiàn)站庫實(shí)時(shí)數(shù)據(jù)的自動(dòng)提取、上傳。服務(wù)通過帶入設(shè)備閥值，進(jìn)行數(shù)據(jù)篩選，通過去噪處理生成有效記錄，再根據(jù)映射關(guān)系，將數(shù)據(jù)自動(dòng)推送進(jìn)自動(dòng)化緩存庫。

1.4 入庫數(shù)據(jù)質(zhì)量檢查

在數(shù)據(jù)轉(zhuǎn)儲(chǔ)中，將原始的實(shí)時(shí)生產(chǎn)數(shù)據(jù)通過服務(wù)平臺(tái)，根據(jù)不同的需求截取實(shí)際需要的數(shù)據(jù)，剔除異常數(shù)據(jù)。通過可視化工具配置校驗(yàn)規(guī)則，對(duì)數(shù)據(jù)進(jìn)行專業(yè)內(nèi)校驗(yàn)和跨專業(yè)橫向校驗(yàn)，確保數(shù)據(jù)采集的及時(shí)性、齊全性、準(zhǔn)確性，并提供數(shù)據(jù)檢查結(jié)果查詢。

2 技術(shù)實(shí)現(xiàn)方案

2.1 應(yīng)用架構(gòu)

研究實(shí)時(shí)數(shù)據(jù)庫核心技術(shù)原理，梳理已建實(shí)時(shí)數(shù)據(jù)，分析業(yè)務(wù)需求，建立自動(dòng)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)應(yīng)用規(guī)范；針對(duì)目前已數(shù)字化站庫，分析數(shù)據(jù)現(xiàn)狀，開發(fā)數(shù)據(jù)接口，實(shí)現(xiàn)自動(dòng)化數(shù)據(jù)與關(guān)系數(shù)據(jù)庫對(duì)接與應(yīng)用。

系統(tǒng)應(yīng)用采用三層架構(gòu)，包括數(shù)據(jù)層、管理層、應(yīng)用層。

數(shù)據(jù)層：根據(jù)映射關(guān)系，進(jìn)行站庫自動(dòng)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)分析，實(shí)現(xiàn)自動(dòng)化大數(shù)據(jù)的加載、去噪、篩選處理，鍵值數(shù)據(jù)的結(jié)構(gòu)化自動(dòng)轉(zhuǎn)儲(chǔ)，自動(dòng)化點(diǎn)位數(shù)據(jù)異常監(jiān)控預(yù)警。

管理層：對(duì)自動(dòng)化數(shù)據(jù)分析轉(zhuǎn)儲(chǔ)進(jìn)行一體化平臺(tái)管理，包括用戶認(rèn)證、系統(tǒng)管理、應(yīng)用集成展示。

應(yīng)用層：平臺(tái)化集成展示，提供數(shù)據(jù)采集、系統(tǒng)應(yīng)用功能，提供用于交互接口。實(shí)現(xiàn)站庫生產(chǎn)自動(dòng)化數(shù)據(jù)加載與采集、站庫生產(chǎn)數(shù)據(jù)審核與質(zhì)控、站庫生產(chǎn)數(shù)據(jù)對(duì)源數(shù)據(jù)庫和A5數(shù)據(jù)庫的遷移同步[2]。

2.2 數(shù)據(jù)流設(shè)計(jì)

圖1 系統(tǒng)數(shù)據(jù)流圖

3 現(xiàn)場應(yīng)用

通過在第二油礦各站所架設(shè)生產(chǎn)網(wǎng)無線網(wǎng)絡(luò)，采用雙應(yīng)用服務(wù)器的架構(gòu)方式，將生產(chǎn)網(wǎng)與辦公網(wǎng)應(yīng)用有效集成，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)推送。編寫實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)儲(chǔ)服務(wù)，定期讀取實(shí)時(shí)數(shù)據(jù)并進(jìn)行關(guān)系庫存儲(chǔ)，以數(shù)據(jù)“誰產(chǎn)生誰上報(bào)”為根本原則，各崗位通過生產(chǎn)網(wǎng)應(yīng)用系統(tǒng)可對(duì)當(dāng)日轉(zhuǎn)儲(chǔ)數(shù)據(jù)進(jìn)行校對(duì)初審，技術(shù)員對(duì)各崗位數(shù)據(jù)進(jìn)行最后審核上報(bào)，進(jìn)而實(shí)現(xiàn)站庫實(shí)時(shí)數(shù)據(jù)與外部系統(tǒng)的精準(zhǔn)對(duì)接。

目前已實(shí)現(xiàn)大中型站場自動(dòng)化數(shù)據(jù)、手持器數(shù)據(jù)自動(dòng)提取、數(shù)據(jù)篩選和匹配計(jì)算，將海量的實(shí)時(shí)數(shù)據(jù)庫轉(zhuǎn)儲(chǔ)優(yōu)化為各類生產(chǎn)指標(biāo)、生產(chǎn)狀態(tài)，并自動(dòng)生成日報(bào)表，日報(bào)表經(jīng)過審核后可以一鍵上傳到應(yīng)用平臺(tái)，替代了原有手工抄寫報(bào)表環(huán)節(jié)，降低了基層采集人員工作強(qiáng)度，滿足各級(jí)生產(chǎn)管理人員全面掌握生產(chǎn)動(dòng)態(tài)需求，提升企業(yè)數(shù)據(jù)管理能力[3]。

4 結(jié)束語

通過對(duì)站庫自動(dòng)化實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)儲(chǔ)優(yōu)化，完成實(shí)時(shí)數(shù)據(jù)與關(guān)系數(shù)據(jù)的集成，整合實(shí)時(shí)數(shù)據(jù)庫與源數(shù)據(jù)庫相關(guān)數(shù)據(jù)，實(shí)現(xiàn)了站場重要生產(chǎn)參數(shù)的自動(dòng)提取加載和相互驗(yàn)證，提高了源數(shù)據(jù)庫相關(guān)數(shù)據(jù)的效率和質(zhì)量，降低了基層采集人員工作強(qiáng)度。為站庫的生產(chǎn)管理、數(shù)據(jù)分析、決策支持提供數(shù)據(jù)支持。