數(shù)據(jù)代理同步方法解決礦山舊業(yè)務(wù)系統(tǒng)集成問題

馮治東 李雄懷 盧留偉(.榆林學(xué)院信息工程學(xué)院,陜西 榆林 79000；.中國(guó)神華神東煤炭集團(tuán)公司信息中心,陜西 榆林 79000；.洛陽(yáng)欒川鉬業(yè)集團(tuán)礦山公司，洛陽(yáng) 欒川 47500)

礦山信息化建設(shè)往往面臨著這樣一個(gè)較為現(xiàn)實(shí)的問題：目標(biāo)企業(yè)的信息化現(xiàn)狀如何？從縱向上看，是否已有穩(wěn)定運(yùn)行的傳感系統(tǒng)、控制系統(tǒng)、生產(chǎn)執(zhí)行系統(tǒng)、經(jīng)營(yíng)管理系統(tǒng)和決策支持系統(tǒng)；從橫向看，是否已有一些安全管理系統(tǒng)、采掘控制系統(tǒng)、物料運(yùn)輸系統(tǒng)、機(jī)電管理系統(tǒng)、通風(fēng)解算系統(tǒng)、人員定位系統(tǒng)和人力資源系統(tǒng)等[1-3]。理想的情況是，該企業(yè)為新建企業(yè)，信息化建設(shè)人員可以從零開始規(guī)劃、設(shè)計(jì)系統(tǒng)集成方案，如以SOA架構(gòu)思路或以《GBT 26335—2010 工業(yè)企業(yè)信息化集成系統(tǒng)規(guī)范》[4]等標(biāo)準(zhǔn)進(jìn)行規(guī)劃，后續(xù)新進(jìn)系統(tǒng)嚴(yán)格按照已有規(guī)范開發(fā)部署，這種信息化架構(gòu)合理，思路明確，成功的可能性較大，是大多研究學(xué)者的主攻方向。然而，據(jù)不完全統(tǒng)計(jì)，目前為止，這類“零起點(diǎn)”礦山企業(yè)不足我國(guó)礦山企業(yè)總數(shù)的5%，大多礦山企業(yè)已耗費(fèi)了大量的人力物力引進(jìn)了一些并未遵循規(guī)范的“老系統(tǒng)”[5]，丟棄這些系統(tǒng)浪費(fèi)損失嚴(yán)重，而改版這些系統(tǒng)又成本代價(jià)巨大。

據(jù)此，筆者長(zhǎng)期以來思考這樣一個(gè)問題：如何以最小的代價(jià)，最高效地集成已有系統(tǒng)。本研究從數(shù)據(jù)角度出發(fā)，提出“數(shù)據(jù)的單流入多分發(fā)”是老業(yè)務(wù)系統(tǒng)間集成的基本目標(biāo)和原則，并在分析傳統(tǒng)“流入分發(fā)”方法及新一代工業(yè)企業(yè)數(shù)據(jù)集成框架基礎(chǔ)上[6-9]，提出了“數(shù)據(jù)代理模型”解決礦山老業(yè)務(wù)系統(tǒng)間的集成問題，該方法無需改動(dòng)原有系統(tǒng),原理簡(jiǎn)單，成本較低，且能夠降低系統(tǒng)間耦合度，可作為同行研究人員的有效參考依據(jù)。

1 多業(yè)務(wù)系統(tǒng)集成的基本思路

認(rèn)為“數(shù)據(jù)集成”是系統(tǒng)集成的關(guān)鍵內(nèi)容之一，重點(diǎn)討論多業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)集成問題。系統(tǒng)間的數(shù)據(jù)集成問題的關(guān)鍵是在不新增原有系統(tǒng)功能的前提下，保證多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)一致性，如同一員工的ID、姓名、崗位等信息在ERP、辦公系統(tǒng)和生產(chǎn)執(zhí)行系統(tǒng)等平臺(tái)中需要保持高度一致。

為此提出使用“單輸入多分發(fā)”方法：

(1)只保留一個(gè)信息輸入點(diǎn)，屏蔽其他輸入接口。通常情況下，舊的業(yè)務(wù)系統(tǒng)中的同一數(shù)據(jù)需要重復(fù)錄入多次，不僅使得工作繁雜，且可能造成數(shù)據(jù)不一致?？梢哉页銎渲械囊粋€(gè)業(yè)務(wù)系統(tǒng)為主輸入系統(tǒng)，屏蔽其他業(yè)務(wù)系統(tǒng)的輸入模塊，如可以將人資管理系統(tǒng)作為人員信息的主輸入系統(tǒng)，屏蔽掉請(qǐng)銷假系統(tǒng)、入井登記系統(tǒng)、人員定位系統(tǒng)等其他子系統(tǒng)的人員錄入接口(可以借助制度或適當(dāng)?shù)募夹g(shù)手段實(shí)現(xiàn))。

(2)以保留下的主輸入點(diǎn)所在的數(shù)據(jù)庫(kù)為源點(diǎn)，以“屏蔽掉”的其他子系統(tǒng)數(shù)據(jù)庫(kù)為目標(biāo)點(diǎn)，將數(shù)據(jù)進(jìn)行分發(fā)，實(shí)現(xiàn)主數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的同步共享。

歸類輸入點(diǎn)和分發(fā)點(diǎn)需要具有一定的技巧性，建議根據(jù)業(yè)務(wù)系統(tǒng)的主業(yè)務(wù)進(jìn)行。

2 傳統(tǒng)數(shù)據(jù)集成方法

數(shù)據(jù)交叉訪問模型是廣泛應(yīng)用的數(shù)據(jù)集成模型。該模型如圖1所示，子系統(tǒng)1、子系統(tǒng)2和子系統(tǒng)3為3個(gè)較為獨(dú)立業(yè)務(wù)子系統(tǒng)，其各自的主數(shù)據(jù)庫(kù)分別為db1、db2和db3。應(yīng)用程序除了直接訪問自身數(shù)據(jù)庫(kù)外同時(shí)按照各自所需訪問著其他數(shù)據(jù)庫(kù)。

圖1 多數(shù)據(jù)源交叉訪問模型Fig.1 Multi-data source cross-access model

數(shù)據(jù)交叉訪問模型實(shí)現(xiàn)了數(shù)據(jù)的高度共享，保證了數(shù)據(jù)的實(shí)時(shí)性，但由于部分?jǐn)?shù)據(jù)庫(kù)被頻繁查詢，使得數(shù)據(jù)訪問效率低下，同時(shí)各系統(tǒng)之間交叉訪問使得整個(gè)系統(tǒng)的耦合度增加，給擴(kuò)展升級(jí)帶來較大的困難。因此，人們通常情況下在各子數(shù)據(jù)庫(kù)中新增所需數(shù)據(jù)表，并借助同步軟件工具實(shí)現(xiàn)數(shù)據(jù)庫(kù)表的同步，使其中數(shù)據(jù)與源數(shù)據(jù)庫(kù)數(shù)據(jù)保持一致，避免了各子系統(tǒng)間的直接訪問，相對(duì)地降低了系統(tǒng)耦合度，稱為“數(shù)據(jù)庫(kù)同步式共享模型”，如圖2所示。

圖2 數(shù)據(jù)庫(kù)同步式共享模型Fig.2 Database synchronization sharing model

該模型中的“同步”主要指源數(shù)據(jù)庫(kù)(或表)到目標(biāo)數(shù)據(jù)庫(kù)(或表)的同步，前者是數(shù)據(jù)的生產(chǎn)者，后者是前者的拷貝，是數(shù)據(jù)的消費(fèi)者。例如員工“職責(zé)”信息，其“源”通常是人力資源或ERP數(shù)據(jù)庫(kù)，而其“目標(biāo)”通常是考勤系統(tǒng)、定位系統(tǒng)和安全管理系統(tǒng)數(shù)據(jù)庫(kù)等。

工業(yè)互聯(lián)網(wǎng)的關(guān)鍵是“互聯(lián)”[10]，而互聯(lián)的關(guān)鍵是數(shù)據(jù)共享和同步，解決數(shù)據(jù)同步問題重點(diǎn)從以下3個(gè)方面考慮。

(1)實(shí)時(shí)性：要求源數(shù)據(jù)庫(kù)的數(shù)據(jù)改變時(shí)，目標(biāo)數(shù)據(jù)庫(kù)同步的越快越好。

(2)耦合度：系統(tǒng)之間的鏈接越少越好，數(shù)據(jù)量的傳遞越少越好，輔助性變量和載體越少越好，同時(shí)盡量不改變?cè)瓉淼臄?shù)據(jù)庫(kù)結(jié)構(gòu)，使得同步后的應(yīng)用程序能夠正常運(yùn)行。

(3)資源消耗程度：盡量降低數(shù)據(jù)庫(kù)中表的訪問頻率，不過多地增加表或部署額外服務(wù)器。

傳統(tǒng)的數(shù)據(jù)同步主要有2種[11-13]：①觸發(fā)式同步；②輪詢查詢式同步。觸發(fā)式同步是通過在源數(shù)據(jù)庫(kù)添加觸發(fā)器，當(dāng)數(shù)據(jù)發(fā)生改變時(shí)，自動(dòng)觸發(fā)存儲(chǔ)過程或程序進(jìn)程將變化的信息反映到目標(biāo)數(shù)據(jù)庫(kù)，這種方法及時(shí)性高，但需要改動(dòng)源數(shù)據(jù)庫(kù)結(jié)構(gòu)模式，導(dǎo)致耦合度較大，于是工程師們傾向于實(shí)時(shí)性讓步于耦合性的“比對(duì)數(shù)據(jù)同步”方法，其基本思想如圖3所示，使用獨(dú)立進(jìn)程定時(shí)輪詢比對(duì)源和目標(biāo)數(shù)據(jù)記錄，當(dāng)兩邊記錄相異時(shí)，便將變化的源數(shù)據(jù)同步更新到目標(biāo)數(shù)據(jù)庫(kù)中。由于數(shù)據(jù)庫(kù)結(jié)構(gòu)不做改變，且由單獨(dú)進(jìn)程實(shí)現(xiàn)數(shù)據(jù)的跟進(jìn)，系統(tǒng)間的耦合度較低。

圖3 傳統(tǒng)數(shù)據(jù)同步模型Fig.3 Traditional data synchronization model

然而，由于每個(gè)目標(biāo)數(shù)據(jù)庫(kù)都需要根據(jù)自身業(yè)務(wù)需求建立同步軟件進(jìn)程實(shí)現(xiàn)數(shù)據(jù)集成，導(dǎo)致數(shù)據(jù)庫(kù)中的同一張表被多個(gè)軟件進(jìn)程同時(shí)訪問，隨著目標(biāo)數(shù)據(jù)庫(kù)及其業(yè)務(wù)量的增多，資源消耗線性增長(zhǎng)，導(dǎo)致原有系統(tǒng)癱瘓甚至奔潰。為解決此問題，本研究提出基于數(shù)據(jù)代理的數(shù)據(jù)集成方案。

3 基于數(shù)據(jù)代理的數(shù)據(jù)集成方法

定義1：基于數(shù)據(jù)代理的數(shù)據(jù)共享模型。使用代理進(jìn)程實(shí)時(shí)監(jiān)測(cè)各源數(shù)據(jù)庫(kù)，當(dāng)數(shù)據(jù)變化時(shí)，將變化了的數(shù)據(jù)信息分發(fā)到各目標(biāo)數(shù)據(jù)庫(kù)。即代理進(jìn)程負(fù)責(zé)數(shù)據(jù)的同步分發(fā)工作，首先將源數(shù)據(jù)庫(kù)、目標(biāo)數(shù)據(jù)庫(kù)、數(shù)據(jù)表等信息注冊(cè)到代理進(jìn)程，代理進(jìn)程根據(jù)注冊(cè)信息輪詢?cè)磾?shù)據(jù)，并將變化信息反饋到目標(biāo)數(shù)據(jù)庫(kù)中。在這種模式下，由于有限代理訪問數(shù)據(jù)資源，無論目標(biāo)數(shù)據(jù)庫(kù)及其業(yè)務(wù)如何增長(zhǎng)，對(duì)源數(shù)據(jù)庫(kù)的訪問量并無變化。

具體而言，如圖4所示，代理進(jìn)程主要訪問源數(shù)據(jù)庫(kù)、日志庫(kù)和代理列表庫(kù)3類資源。其中日志庫(kù)用于存儲(chǔ)分發(fā)后的數(shù)據(jù)狀態(tài)信息，代理列表庫(kù)用于存儲(chǔ)目標(biāo)數(shù)據(jù)庫(kù)的回調(diào)地址。代理進(jìn)程根據(jù)日志庫(kù)，發(fā)現(xiàn)有數(shù)據(jù)變化時(shí)，從代理列表庫(kù)中查詢所有目標(biāo)地址實(shí)現(xiàn)更新，同時(shí)將新的數(shù)據(jù)狀態(tài)記錄到日志庫(kù)中。

4 方法應(yīng)用

本研究將數(shù)據(jù)代理同步方法應(yīng)用于某大型礦山企業(yè)，嘗試了一些基本同步應(yīng)用。以辦公自動(dòng)化系統(tǒng)(業(yè)務(wù)協(xié)同系統(tǒng))人員信息數(shù)據(jù)作為單輸入點(diǎn)，以即時(shí)通信、人員定位、安全管理、生產(chǎn)執(zhí)行和調(diào)度監(jiān)控系統(tǒng)為分發(fā)點(diǎn)。并研發(fā)了同步軟件工具，首先設(shè)計(jì)數(shù)據(jù)同步模型，如圖5(a)所示，然后將模型進(jìn)行作業(yè)調(diào)度，定時(shí)分發(fā)數(shù)據(jù)，如圖5(b)所示。代理數(shù)據(jù)同步日志和統(tǒng)計(jì)分析如圖6所示。軟件運(yùn)行1 a以來，數(shù)據(jù)的一致性和及時(shí)性都能達(dá)到預(yù)期目的，一些老業(yè)務(wù)系統(tǒng)得到了最大化利用，應(yīng)用效果較好。

圖4 基于數(shù)據(jù)代理的數(shù)據(jù)同步模型Fig.4 Data agent based data synchronization

5 結(jié) 語(yǔ)

本研究針對(duì)并未遵循設(shè)計(jì)規(guī)范的老業(yè)務(wù)系統(tǒng)最大化利用問題，以數(shù)據(jù)為中心，提出了“數(shù)據(jù)的單流入與多分發(fā)”的數(shù)據(jù)代理方法實(shí)現(xiàn)系統(tǒng)集成，其原理簡(jiǎn)單，無需新增原有系統(tǒng)功能,只需在代理列表庫(kù)中注冊(cè)目標(biāo)數(shù)據(jù)庫(kù)的接口定義及其地址即可方便地增加新的目標(biāo)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)實(shí)時(shí)性、耦合度和資源消耗程度都較為理想的系統(tǒng)集成方案，可最大化地減輕礦山企業(yè)在信息化建設(shè)過程中的損失。

[1] Jay Lee.Industrial Big Data-the Revolutionary Transformation and Value Creation in Industry 4.0 Era[M].Bejing:China Machine Press,2015.

[2] Nguyen T H,Prinz A,Friiso T,et al.A framework for data integration of offshore wind farms[J].Renewable Energy，2013，60(4)：150-161．

[3] 馮治東.礦井突水平行應(yīng)急管理方法研究[D].西安:西安建筑科技大學(xué),2015.

Feng Zhidong.Study and Application on Parallel Emergency Management Method for Mine Water Incrush[D].Xi′an:Xi′an Univiersity of Architecture and Technology,2015.

[4] 中國(guó)國(guó)家標(biāo)準(zhǔn)委員會(huì).GBT 26335—2010 工業(yè)企業(yè)信息化集成系統(tǒng)規(guī)范[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,2011.

China National Standards Committee.GBT 26335—2010 Industrial Enterprise Information Integration System Specification[S].Beijing:China Standard Press,2011.

[5] 顧清華,盧才武,江 松,等.采礦系統(tǒng)工程研究進(jìn)展及發(fā)展趨勢(shì)[J].金屬礦山，2016(7):25-33.

Gu Qinghua,Lu Caiwu,Jiang Song,et al.Technical progress and development trends of mining systems engineering[J].Metal Mine,2016(7):26-31.

圖5 數(shù)據(jù)集成的設(shè)計(jì)與調(diào)度Fig.5 Design and scheduling of data integration

圖6 數(shù)據(jù)同步日志與統(tǒng)計(jì)分析Fig.6 Data synchronization log and statistics

[6] 吳立新,汪云甲,丁恩杰,等.三論數(shù)字礦山——借力物聯(lián)網(wǎng)保障礦山安全與智能采礦[J].煤炭學(xué)報(bào),2012，37(3):357-365.

Wu Lixin,Wang Yunia,Ding Enjie,et al.Thirdly study on digital mine：serve for mine safety and intellimine with support from IoT[J].Journal of China Coal Society,2012,37(3):357-365.

[7] 何廷潤(rùn).以數(shù)據(jù)為中心的智慧城市信息體系架構(gòu)研究[J].移動(dòng)通信,2013,37(21):13-17.

He Tingrun.Wisdom city information architecture research of data-centric[J].Mobile Communications,2013,37(21):13-17.

[8] 神華和利時(shí)信息公司.數(shù)字礦山藍(lán)圖匯報(bào)[R].北京：中國(guó)神華集團(tuán)有限責(zé)任公司,2012.

Shenhua Helishi Informtion Company.Digital Mine Blueprint Report[R].Beijing：Shenhua Group,2012.

[9] IBM商業(yè)價(jià)值研究院.中國(guó)制造2025——構(gòu)建以數(shù)據(jù)洞察為驅(qū)動(dòng)的新價(jià)值網(wǎng)絡(luò)[R].北京：IBM商業(yè)價(jià)值研究院，2015.

IBM Institute for Business Value.China Industry 2025：Build a New Value Network Driven by Data Insight[R].Beijing:IBM Institute for Business Value in China,2015.

[10] 田世明，欒文鵬，張東霞，等．能源互聯(lián)網(wǎng)技術(shù)形態(tài)與關(guān)鍵技術(shù)[J]．中國(guó)電機(jī)工程學(xué)報(bào)，2015，35(14)：3482-3494．

Tian Shiming，Luan Wenpeng，Zhang Dongxia，et al.Technical forms and key technologies on energy internet[J]．Proceedings of the CSEE，2015，35(14)：3482-3494．

[11] 魏紅雨.基于4G地學(xué)空間數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D].長(zhǎng)春：吉林大學(xué)，2014.

Wei Hongyu.Research on the Key Technology Based on 4G Geological Spatial Data Integration[D].Changchun:Jilin University,2014.

[12] 馬小平，胡延軍，繆燕子．物聯(lián)網(wǎng)、大數(shù)據(jù)及云計(jì)算技術(shù)在煤礦安全生產(chǎn)中的應(yīng)用研究[J].工礦自動(dòng)化,2014(4):5-9．

Ma Xiaoping，Hu Yanjun，Miao Yanzi.Application research of technologies of internet of things， big data and cloud computing in coal mine safety production[J].Industry and Mine Automation，2014(4):5-9．

[13] 劉 歆.領(lǐng)域數(shù)據(jù)集成及服務(wù)關(guān)鍵技術(shù)研究[D].北京：北京科技大學(xué),2016.

Liu Xin.Research on the Key Techonologyies of Domain Data Integration and Service[D].Bejing:University of Science & Technology Beijing,2016.