數(shù)據(jù)挖掘技術(shù)在智慧礦區(qū)建設(shè)中的應(yīng)用

范之光，曹愛琴，馬 杰

（華北石油通信公司，河北 任丘 062550）

1 引言

華北油田自2011年啟動智慧油田建設(shè)以來，作為智慧油田4大板塊之一的“智慧礦區(qū)”也隨之建設(shè)，確定以基本型、智能型、智慧型為3個建設(shè)階段，逐步形成集生產(chǎn)運(yùn)行、居民服務(wù)、社區(qū)管理、醫(yī)療健康4大功能板塊為一體的智慧礦區(qū)，而隨之帶來的數(shù)據(jù)量越來越大。為避免造成各自的數(shù)據(jù)孤島，數(shù)據(jù)挖掘技術(shù)順其自然的應(yīng)用到智慧礦區(qū)中。

數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中人們事先不知道的、但又是潛在有用的信息和知識的過程。通過數(shù)據(jù)挖掘，可以充分利用所采集到的信息。與傳統(tǒng)方法相比，數(shù)據(jù)挖掘具有能夠處理更大規(guī)模數(shù)據(jù)，即時查詢，準(zhǔn)確提出預(yù)測等優(yōu)點(diǎn)［1］。

2 建設(shè)思路

智慧礦區(qū)是礦區(qū)管理的一種新理念，是新形勢下社會管理創(chuàng)新的一種新模式。華北油田為方便礦區(qū)居民繳納水電訊等公共事業(yè)的費(fèi)用、居民健康咨詢、客服管理等建立華北油田社區(qū)居民服務(wù)平臺，提供礦區(qū)綜合服務(wù)。

居民信息、便民熱線、繳費(fèi)數(shù)據(jù)、醫(yī)療服務(wù)、社區(qū)安防等等信息，產(chǎn)生大量并發(fā)數(shù)據(jù)，但由于上述應(yīng)用的數(shù)據(jù)信息分屬于不同業(yè)務(wù)部門的數(shù)據(jù)庫，在數(shù)據(jù)采集點(diǎn)、數(shù)據(jù)標(biāo)準(zhǔn)等方面存在差異，因而無法實現(xiàn)數(shù)據(jù)共享和復(fù)雜應(yīng)用，不僅數(shù)據(jù)冗余程度高，同時數(shù)據(jù)連續(xù)性和綜合決策支持能力也比較差，使用效率低。從上述角度出發(fā)，以存儲格式的統(tǒng)一、規(guī)則和標(biāo)準(zhǔn)的統(tǒng)一、流程和算法的統(tǒng)一、管理平臺的統(tǒng)一為建設(shè)思路，建立統(tǒng)一、集成的信息系統(tǒng)平臺。

基于上述對數(shù)據(jù)挖掘的應(yīng)用，構(gòu)建即席查詢、智能報表、多維分析、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)集成等模塊，以及數(shù)據(jù)確認(rèn)、數(shù)據(jù)反饋兩個回路的數(shù)據(jù)管理分析平臺。

3 數(shù)據(jù)挖掘的設(shè)計應(yīng)用

數(shù)據(jù)挖掘主要功能是從數(shù)據(jù)庫中獲取有意義的信息以及對數(shù)據(jù)歸納出有用的結(jié)構(gòu)，作為制定決策的重要依據(jù)。數(shù)據(jù)挖掘模塊采用模塊化及組件化的設(shè)計理念，采用多種設(shè)計模式，充分利用高性能的各種數(shù)據(jù)挖掘算法、數(shù)據(jù)過濾器、數(shù)據(jù)文本及可視化的輸出方式，形成了更高效率挖掘大型數(shù)據(jù)庫及更高維數(shù)數(shù)據(jù)庫中潛在、隱含的各種關(guān)系及知識，為決策者提供了良好的數(shù)據(jù)支持［2］。

對于挖掘的應(yīng)用，數(shù)據(jù)的最基本形式是數(shù)據(jù)庫數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)和事務(wù)數(shù)據(jù)。智慧礦區(qū)平臺關(guān)注的是每一個數(shù)據(jù)記錄，也就是事務(wù)數(shù)據(jù)。一般來說，事務(wù)數(shù)據(jù)庫的每個記錄代表一個事務(wù)，如顧客的一次購物、一次預(yù)約醫(yī)療服務(wù)，或者一個用戶的網(wǎng)頁點(diǎn)擊、一項客服熱線服務(wù)。通常，一個事務(wù)包含一個唯一的事務(wù)標(biāo)識號，以及一個組成事務(wù)的項的列表［3］。這些數(shù)據(jù)的頻繁挖掘，感知礦區(qū)運(yùn)行的各項體征數(shù)據(jù)，管理者會發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)，分析數(shù)據(jù)因素，對數(shù)據(jù)進(jìn)行歷史、現(xiàn)狀的綜合挖掘分析，從中發(fā)現(xiàn)客觀規(guī)律，較為準(zhǔn)確地預(yù)測未來，提前發(fā)出預(yù)警信息，使當(dāng)前決策和未來決策更有科學(xué)依據(jù)。

3.1 數(shù)據(jù)挖掘功能設(shè)計

數(shù)據(jù)挖掘通過對數(shù)據(jù)庫、數(shù)據(jù)倉庫和事務(wù)數(shù)據(jù)中的記錄數(shù)據(jù)按照一定的規(guī)則進(jìn)行信息開采、挖掘和分析，從中識別和抽取出潛在的規(guī)律和有用知識，并以此為管理者提供決策依據(jù)。數(shù)據(jù)挖掘主要以海量數(shù)據(jù)庫、支持?jǐn)?shù)據(jù)集成與處理的數(shù)據(jù)倉庫為基礎(chǔ)，實現(xiàn)了數(shù)據(jù)預(yù)處理、聚類分析、關(guān)聯(lián)分析、分類及預(yù)測，屬性評估及數(shù)據(jù)可視化的數(shù)據(jù)挖掘技術(shù)。

3.2 數(shù)據(jù)挖掘功能應(yīng)用

在基礎(chǔ)共享數(shù)據(jù)和不同業(yè)務(wù)協(xié)同數(shù)據(jù)的基礎(chǔ)上，需要通過數(shù)據(jù)管理分析平臺對不同業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取轉(zhuǎn)換、清洗、加載到中心數(shù)據(jù)庫，并進(jìn)行數(shù)據(jù)應(yīng)用，根據(jù)相關(guān)業(yè)務(wù)主題和業(yè)務(wù)模型，形成專題業(yè)務(wù)數(shù)據(jù)庫，進(jìn)行可以受理繳費(fèi)明細(xì)查詢、交易趨勢分析、數(shù)據(jù)統(tǒng)籌分析、季度報表分析等的繳費(fèi)報表。

3.2.1 繳費(fèi)日報表一：各個業(yè)務(wù)單位統(tǒng)計表

各個業(yè)務(wù)單位統(tǒng)計表為統(tǒng)計華北油田社區(qū)服務(wù)系統(tǒng)接入的所有業(yè)務(wù)單位當(dāng)天繳費(fèi)情況信息，按照統(tǒng)計時間統(tǒng)計繳費(fèi)總額，報表示例如表1所示：

表1 事業(yè)單位繳費(fèi)統(tǒng)計表

各個業(yè)務(wù)單位繳費(fèi)報表：

（1）可以更加方便查看社區(qū)服務(wù)系統(tǒng)所接入的所有業(yè)務(wù)單位繳費(fèi)情況，直觀地反映各個業(yè)務(wù)單位每天的交易量及交易金額；

（2）同時可以根據(jù)每天交易量統(tǒng)計出每個業(yè)務(wù)單位繳費(fèi)走勢，方便記錄用戶在該業(yè)務(wù)系統(tǒng)繳費(fèi)時的高峰及低谷時段；

（3）當(dāng)我們需要查詢某一天的交易情況時，不需再去查詢數(shù)據(jù)庫計算繳費(fèi)金額，使用該報表即可準(zhǔn)確、快捷地查出交易信息；

（4）在與各個業(yè)務(wù)單位對賬、劃賬時，該報表數(shù)據(jù)也可作為驗證統(tǒng)計出的對賬金額、劃賬金額正確性的依據(jù)。

3.2.2 繳費(fèi)日報表二：繳費(fèi)銀行統(tǒng)計表

銀行統(tǒng)計表為統(tǒng)計當(dāng)天用戶使用不同網(wǎng)上銀行繳費(fèi)時的繳費(fèi)情況按照繳費(fèi)周期匯總欠費(fèi)信息報表，報表示例如表2所示：

表2 繳費(fèi)銀行統(tǒng)計表

統(tǒng)計繳費(fèi)銀行統(tǒng)計表：

（1）可以更加方便查看社區(qū)服務(wù)系統(tǒng)所接入的所有銀行的交易情況，直觀地反映各個銀行每天的交易量及交易金額；

（2）該表中所統(tǒng)計的總比數(shù)、總金額明確反映了本日社區(qū)服務(wù)系統(tǒng)總共的交易量及金額，不需人工再去計算；

（3）根據(jù)每天交易情況，更直觀地展現(xiàn)市民更喜歡使用哪種繳費(fèi)方式來繳費(fèi)，哪種方式交易量少，才能更好地優(yōu)化系統(tǒng)。

4 數(shù)據(jù)挖掘安全機(jī)制

智慧礦區(qū)平臺每天都要對大量的數(shù)據(jù)進(jìn)行挖掘處理，數(shù)據(jù)的完整性和安全性對整個系統(tǒng)正常運(yùn)行至關(guān)重要，對數(shù)據(jù)空間的規(guī)劃、使用、清理、備份是實現(xiàn)數(shù)據(jù)完整性和安全性的主要途徑。數(shù)據(jù)安全機(jī)制——數(shù)據(jù)備份是指將數(shù)據(jù)以某種方式加以保留，以便在系統(tǒng)遭受破壞或其他特定情況下，重新加以利用的一個過程。

業(yè)務(wù)系統(tǒng)實時保護(hù)。智慧礦區(qū)平臺是以Web方式發(fā)布，所有數(shù)據(jù)實現(xiàn)內(nèi)網(wǎng)和外網(wǎng)雙層保護(hù)，當(dāng)內(nèi)網(wǎng)Web服務(wù)器出現(xiàn)故障后，外網(wǎng)Web服務(wù)器將實現(xiàn)接管業(yè)務(wù)系統(tǒng)，保證業(yè)務(wù)系統(tǒng)正常運(yùn)行。為了保證內(nèi)外網(wǎng)服務(wù)器的數(shù)據(jù)能順利接管，實現(xiàn)業(yè)務(wù)級別的保護(hù)，對內(nèi)外網(wǎng)服務(wù)器應(yīng)用系統(tǒng)實現(xiàn)準(zhǔn)實時數(shù)據(jù)的復(fù)制和交互。同時對重要配置文件及業(yè)務(wù)數(shù)據(jù)進(jìn)行備份。

平臺內(nèi)原始數(shù)據(jù)、業(yè)務(wù)參數(shù)數(shù)據(jù)、系統(tǒng)參數(shù)數(shù)據(jù)、清單數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、賬務(wù)數(shù)據(jù)、錯單數(shù)據(jù)等不同類型的數(shù)據(jù)其訪問頻度、管理要求不同，平臺建設(shè)有完整的應(yīng)對策略；備份功能既要保證系統(tǒng)數(shù)據(jù)的完整性，又要保證系統(tǒng)在資源使用方面的高效率。對判斷過期的數(shù)據(jù)應(yīng)進(jìn)行準(zhǔn)確的清理和完整的備份。

5 結(jié)語

數(shù)據(jù)挖掘技術(shù)改變了數(shù)據(jù)的地位，使各種數(shù)據(jù)從一種 “間接”輔助的手段轉(zhuǎn)化為“直接”主要的方法。智慧礦區(qū)平臺建設(shè)基于云計算、物聯(lián)網(wǎng)和信息集成技術(shù)，結(jié)合數(shù)據(jù)挖掘技術(shù)，使居民信息、便民熱線、繳費(fèi)數(shù)據(jù)、醫(yī)療服務(wù)、社區(qū)安防等數(shù)據(jù)可以直接指導(dǎo)礦區(qū)服務(wù)整體職能。智慧礦區(qū)的整體構(gòu)建加強(qiáng)和諧礦區(qū)的建設(shè)和管理、完善礦區(qū)功能、提升礦區(qū)服務(wù)水平，使礦區(qū)居民能夠感受到科技的發(fā)展，有數(shù)字信息化與智能化的生活體驗，擁有一個安全、舒適、溫馨和便利的易居環(huán)境。

同時，數(shù)據(jù)挖掘技術(shù)可以輔助管理者監(jiān)測平臺狀態(tài)、提高系統(tǒng)性能、隔離軟件錯誤、分析平臺缺陷、發(fā)現(xiàn)網(wǎng)路入侵和識別系統(tǒng)故障，讓智慧礦區(qū)平臺更好地服務(wù)于管理者及礦區(qū)居民。

［1］ 陳玉濤.數(shù)據(jù)挖掘技術(shù)在油田企業(yè)生產(chǎn)中的應(yīng)用［J］.油氣田地面工程，2014，33（4）：53－54.

［2］ 蘆丹丹.面向社區(qū)智能服務(wù)的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究與實現(xiàn)［D］.西安：西安電子科技大學(xué)，2013：41.

［3］ Han J W，Kamber M，PEI J.數(shù)據(jù)挖掘：概念與技術(shù)［M］.范明，孟小峰，譯.第 3 版.北京： 機(jī)械工業(yè)出版社，2014：6－9.