信息系統(tǒng)關(guān)鍵服務(wù)實(shí)時監(jiān)控的實(shí)踐

秦四濱

摘要：本文介紹了的生產(chǎn)過程執(zhí)行系統(tǒng)（以下簡稱MES系統(tǒng)）在實(shí)際工作中經(jīng)常出現(xiàn)故障的許多關(guān)鍵服務(wù)，并對這些故障的產(chǎn)生及產(chǎn)生故障后對系統(tǒng)的影響進(jìn)行了分析，找到了判斷故障發(fā)生的方法，根據(jù)判斷故障放生的方法開發(fā)出監(jiān)控程序，通過監(jiān)控程序?qū)@些故障進(jìn)行實(shí)時監(jiān)控，當(dāng)故障發(fā)生時能夠第一時間發(fā)現(xiàn)，能夠程序自動恢復(fù)的，監(jiān)控程序就自動進(jìn)行故障恢復(fù)不需要人為干預(yù)，不能自動恢復(fù)的實(shí)時通知運(yùn)維人員進(jìn)行故障恢復(fù)，給出了很好的解決方案。

關(guān)鍵詞：生產(chǎn)運(yùn)行系統(tǒng);故障;監(jiān)控

中圖分類號：TP393? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）23-0007-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

生產(chǎn)過程執(zhí)行系統(tǒng)（以下簡稱MES系統(tǒng)）已經(jīng)成為生產(chǎn)制造企業(yè)每天運(yùn)行的必不可少的應(yīng)用系統(tǒng)，系統(tǒng)一旦出現(xiàn)問題，如果不能盡快進(jìn)行恢復(fù)，會給企業(yè)的生產(chǎn)和經(jīng)營造成一定的影響。能夠使MES系統(tǒng)出現(xiàn)故障之后及時了解故障信息并快速恢復(fù)是擺在信息系統(tǒng)運(yùn)維人員的一個巨大課題。

1 原因分析

MES系統(tǒng)在實(shí)際應(yīng)用中，由于系統(tǒng)應(yīng)用軟件存在的設(shè)計(jì)缺陷、后天開發(fā)的第三方應(yīng)用不那么成熟和服務(wù)器長時間運(yùn)行導(dǎo)致不穩(wěn)定，以及各種原因造成的網(wǎng)絡(luò)中斷都會造成MES系統(tǒng)故障，而每次故障發(fā)生后都是當(dāng)用戶使用系統(tǒng)時先發(fā)現(xiàn)，再由用戶通知運(yùn)維人員，往往這個時候故障已經(jīng)持續(xù)很長時間了，有些時候會將故障這段時間的基礎(chǔ)數(shù)據(jù)丟失，造成應(yīng)用系統(tǒng)的統(tǒng)計(jì)計(jì)算結(jié)果不準(zhǔn)確不及時，不但給用戶的使用造成阻礙，更會給信息系統(tǒng)的運(yùn)維工作帶來很大的麻煩。

2 解決方案

2.1 運(yùn)維模式的創(chuàng)新

對MES系統(tǒng)經(jīng)常出現(xiàn)故障的重要服務(wù)進(jìn)行深入研究及分析，找到程序自動判斷這些故障的方法，開發(fā)監(jiān)控程序，當(dāng)上面提到的任一服務(wù)出現(xiàn)故障異常時，就會及時發(fā)現(xiàn)，用監(jiān)控程序能夠進(jìn)行故障恢復(fù)的就在程序中自動處理，不需要人為干預(yù)，需要人為手動干預(yù)的就立即將故障信息發(fā)送手機(jī)短信到相關(guān)系統(tǒng)維護(hù)人員，并將每次得故障信息都記錄到日志文件中，使運(yùn)維人員第一時間獲知故障信息并及時進(jìn)行故障恢復(fù)，最大限度地保障用戶的順暢使用和數(shù)據(jù)的準(zhǔn)確性，從而更加高效的保障了MES系統(tǒng)的平穩(wěn)運(yùn)行，顯著地提高了部門的運(yùn)維水平。

2.2 運(yùn)維技術(shù)的創(chuàng)新

2.2.1實(shí)時數(shù)據(jù)庫PHD運(yùn)維創(chuàng)新

實(shí)時數(shù)據(jù)庫PHD為整個MES系統(tǒng)提供所有的過程歷史數(shù)據(jù)以及實(shí)時數(shù)據(jù)的采集，是DCS控制系統(tǒng)到MES的中間橋梁，為整個MES系統(tǒng)提供數(shù)據(jù)支持。實(shí)時數(shù)據(jù)庫采用buffer-shadow架構(gòu)，在各裝置的控制室安裝的buffer機(jī)連入DCS控制網(wǎng)絡(luò)，通過RDI采集現(xiàn)場的數(shù)據(jù)存儲在本地硬盤的基礎(chǔ)上也同時通過RDI將采集到的數(shù)據(jù)上傳到中心機(jī)房的shadow上。MES系統(tǒng)各個應(yīng)用模塊用到的數(shù)據(jù)都是來自中心機(jī)房的PHD主服務(wù)器shadow，為了保證shadow機(jī)出現(xiàn)故障后能夠及時恢復(fù)，要做好兩個方面：實(shí)時數(shù)據(jù)庫故障監(jiān)控與恢復(fù)、出現(xiàn)故障后PHD的歷史恢復(fù)。

2.2.2實(shí)時數(shù)據(jù)庫故障監(jiān)控與恢復(fù)

不僅要解決故障，更重要的是在出現(xiàn)故障時第一時間知道解決且數(shù)據(jù)能夠恢復(fù)。首先要進(jìn)行PHD的歷史恢復(fù)，PHD的歷史恢復(fù)就是shadow機(jī)出現(xiàn)故障恢復(fù)后Buffer機(jī)自動上傳故障期間丟失數(shù)據(jù)的功能。在實(shí)際的運(yùn)維過程中發(fā)現(xiàn)，shadow機(jī)總出現(xiàn)故障，故障率為平均2次/月，每當(dāng)出現(xiàn)這種故障，運(yùn)維人員只能重新啟動服務(wù)器進(jìn)行恢復(fù)，不但對我們的應(yīng)用和運(yùn)維造成了很大的麻煩，通過分析發(fā)現(xiàn)PHD有5個關(guān)鍵服務(wù)：PHD SERVER，RDI SERVER，API SERVER，REMOTE API SERVER，LEGACY API SERVER，針對此情況開發(fā)出了實(shí)時數(shù)據(jù)庫PHD監(jiān)控程序，此程序?qū)崟r地對PHD的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，并能監(jiān)控每個RDI的運(yùn)行狀態(tài)，一旦這幾個關(guān)鍵服務(wù)出現(xiàn)故障或采集接口RDI的狀態(tài)不對，就會實(shí)時地殺死這5個服務(wù)對應(yīng)的系統(tǒng)進(jìn)程，這種方法能夠快速地關(guān)閉這5個服務(wù)，殺死進(jìn)程后再重新啟動PHD服務(wù)，保證PHD能夠自動進(jìn)行系統(tǒng)級的恢復(fù)，不需要人為干預(yù)，此技術(shù)的實(shí)現(xiàn)投用，很好地保障MES系統(tǒng)的正常運(yùn)行。

2.3關(guān)系數(shù)據(jù)庫Oracle運(yùn)維創(chuàng)新

MES系統(tǒng)的Oracle數(shù)據(jù)庫是非常關(guān)鍵的數(shù)據(jù)庫，存儲著所有的配置數(shù)據(jù)和每天的業(yè)務(wù)數(shù)據(jù);如Oracle數(shù)據(jù)庫出現(xiàn)問題，整個MES系統(tǒng)就失去的數(shù)據(jù)支持，系統(tǒng)就將癱瘓，所以在Oracle數(shù)據(jù)庫出現(xiàn)故障的時候，能夠快速地進(jìn)行數(shù)據(jù)恢復(fù)就是非常重要的。

2.3.1 Oracle數(shù)據(jù)庫的備份與恢復(fù)

原軟件提供了一個數(shù)據(jù)庫備份方案，對數(shù)據(jù)的恢復(fù)沒有介紹，其備份方案需要人為定時清理過期備份，一旦忘記刪除過時備份的話，使得以后的備份都不能進(jìn)行，數(shù)據(jù)庫系統(tǒng)也會因?yàn)榇疟P空間的不足造成宕機(jī)，這在我們MES系統(tǒng)實(shí)施初期就發(fā)生過這種現(xiàn)象，給系統(tǒng)的實(shí)施造成了不小的麻煩，所以制定一個完善可行的備份恢復(fù)方案是非常必要的。通過研究，對原備份腳本進(jìn)行改造，開發(fā)出一套新的備份恢復(fù)策略，新策略創(chuàng)新的功能是將每天備份的歸檔日志存儲在當(dāng)天數(shù)據(jù)備份目錄的log子目錄下，這樣在自動刪除過期數(shù)據(jù)備份時一并將過期的日志刪除，新策略能夠自動聯(lián)機(jī)備份數(shù)據(jù)，并保留我們所需要天數(shù)的備份，并自動刪除過期的數(shù)據(jù)備份和日志備份，并每天將最新的備份自動異地備份到一臺備用的服務(wù)器上，一旦Oracle數(shù)據(jù)庫出現(xiàn)故障，就算所有的數(shù)據(jù)文件、控制文件、歸檔文件及聯(lián)機(jī)日志文件損壞或丟失的情況下，我們都可以在備用服務(wù)器上將數(shù)據(jù)庫恢復(fù)到備份期間內(nèi)任意時間點(diǎn)。

2.3.2 Oracle數(shù)據(jù)庫的故障實(shí)時監(jiān)控

隨著系統(tǒng)數(shù)據(jù)量的增加，Oracle數(shù)據(jù)庫總會出現(xiàn)莫名其妙的故障， Oracle服務(wù)器在出現(xiàn)故障后不再對外提供數(shù)據(jù)連接服務(wù)，所有客戶端都會出現(xiàn)連接錯誤，并且在我們手動故障恢復(fù)后，發(fā)現(xiàn)物料平衡的后臺服務(wù)calumass在Oracle故障恢復(fù)后不能恢復(fù)，calumass服務(wù)直接影響著裝置質(zhì)量計(jì)算數(shù)據(jù)的準(zhǔn)確性，為了避免這樣的情況出現(xiàn)，開發(fā)出了對這兩個服務(wù)實(shí)時監(jiān)控的程序，程序能在系統(tǒng)出現(xiàn)故障就能實(shí)時將這些故障地記錄下來，并通過我們的郵箱將具體的故障信息發(fā)郵件及短信到相關(guān)運(yùn)維人員的手機(jī)，運(yùn)維人員能夠及時地進(jìn)行故障的恢復(fù)。

2.4 OM操作監(jiān)控關(guān)鍵服務(wù)運(yùn)維創(chuàng)新

OM操作監(jiān)控部分的主要功能是實(shí)時監(jiān)控生產(chǎn)工藝參數(shù)、記錄工藝參數(shù)偏差原因并提供工藝參數(shù)趨勢圖分析方法。同時也為我公司的PHD及應(yīng)用模塊的平穩(wěn)率計(jì)算提供基礎(chǔ)數(shù)據(jù)。操作監(jiān)控所涉及的后臺關(guān)鍵服務(wù)有兩個一個是REFRESHTARGETPHD，另一個是VARIANCE MONITORING WEB。然而在實(shí)際的MES運(yùn)行中，經(jīng)常會出現(xiàn)OM模塊中的操作監(jiān)控出現(xiàn)故障，停止監(jiān)控的情況，每次出現(xiàn)這種情況時候，在OM的操作監(jiān)控中看到的監(jiān)控情況是所有監(jiān)控指標(biāo)都在正常指標(biāo)范圍內(nèi)，也就不記錄偏差，當(dāng)這種情況發(fā)生時，到Business FLEX TPI組態(tài)工具中查看后臺服務(wù)的運(yùn)行情況，發(fā)現(xiàn)它們的下一周期運(yùn)行時間都停留在過去的某個時間，而不是將來的某個時間，為了能夠及時地發(fā)現(xiàn)后臺服務(wù)出現(xiàn)故障，開發(fā)出了監(jiān)控程序，此程序能夠?qū)嵤┎樵儽４嬖跀?shù)據(jù)庫中的這兩個服務(wù)的運(yùn)行狀態(tài)，就及時地將其調(diào)度時間改到不久將來某個時間點(diǎn)，重啟這些服務(wù)及時進(jìn)行故障恢復(fù)。

2.5 數(shù)據(jù)采集buffer機(jī)運(yùn)維創(chuàng)新

數(shù)據(jù)采集buffer機(jī)負(fù)責(zé)連入DCS控制網(wǎng)絡(luò)， MES系統(tǒng)用到的基礎(chǔ)數(shù)據(jù)都是buffer機(jī)采集的，每個buffer機(jī)負(fù)責(zé)一套dcs系統(tǒng)數(shù)據(jù)的采集，在實(shí)際的系統(tǒng)運(yùn)行過程中，經(jīng)常會出現(xiàn)網(wǎng)絡(luò)斷網(wǎng)故障，機(jī)器系統(tǒng)故障，一旦某個buffer機(jī)產(chǎn)生故障，現(xiàn)場dcs的數(shù)據(jù)就不會傳送到MES系統(tǒng)中去，造成某套裝置的數(shù)據(jù)錯誤，如何才能對這些buffer機(jī)進(jìn)行實(shí)時監(jiān)控呢？我們也可以像監(jiān)控PHD服務(wù)那樣監(jiān)控每一臺buffer機(jī)，那樣的話我們能夠?qū)崟r監(jiān)控并自動修復(fù)PHD服務(wù)所產(chǎn)生的故障，但buffer機(jī)到MES網(wǎng)的網(wǎng)絡(luò)故障判斷不了，可以通過到shadow機(jī)實(shí)時數(shù)據(jù)庫中查詢每個buffer機(jī)采集的關(guān)鍵位號的信息與當(dāng)前時間進(jìn)行比較的方法來判斷buffer機(jī)運(yùn)行狀態(tài)及其連接的網(wǎng)絡(luò)是否正常。如常壓裝置的buffer機(jī)可以設(shè)定兩個關(guān)鍵位號：大慶原油進(jìn)料FQ_1001，俄油進(jìn)料FQ_1007，如果一切正常的話在PHD實(shí)時數(shù)據(jù)庫中會每2分鐘產(chǎn)生FQ_1001的一條記錄和FQ_1007的一條記錄，會一直持續(xù)下去，用當(dāng)前時間與這兩條記錄對應(yīng)的時間戳進(jìn)行對比，如果小于等于2分鐘說明buffer機(jī)正常一直在采集數(shù)據(jù)，如果大于2分鐘就說明就說明此buffer機(jī)出現(xiàn)故障或連接此buffer機(jī)的網(wǎng)絡(luò)中斷能采集數(shù)據(jù)但不能傳輸數(shù)據(jù)了。根據(jù)這種判斷方法開發(fā)出了buffer機(jī)的監(jiān)控程序，當(dāng)出現(xiàn)異常時會及時地發(fā)送短信給相關(guān)的運(yùn)維人員及時地進(jìn)行故障恢復(fù)。

3 實(shí)際應(yīng)用效果

監(jiān)控程序應(yīng)用一個月監(jiān)控到的故障多起，有網(wǎng)絡(luò)光纖被施工人員誤挖斷的情況，有網(wǎng)絡(luò)交換機(jī)斷電的情況，有buffer機(jī)網(wǎng)卡死掉的情況，有Oracle數(shù)據(jù)庫故障情況，有關(guān)鍵服務(wù)phdsql故障情況，所有這些故障的發(fā)生，運(yùn)維人員都及時收到了提示短信，并及時進(jìn)行了處理，沒有給MES系統(tǒng)帶來影響，用戶感覺不到故障的發(fā)生和影響。

4結(jié)論

MES是生產(chǎn)制造企業(yè)每天必須運(yùn)行的系統(tǒng)，系統(tǒng)一旦出現(xiàn)問題，會給企業(yè)的生產(chǎn)和經(jīng)營造成一定的影響。通過監(jiān)控程序的實(shí)施，解決了系統(tǒng)運(yùn)行中困擾信息運(yùn)維多年的重大技術(shù)難題，使運(yùn)維人員先于用戶發(fā)現(xiàn)故障及時恢復(fù)，最大限度地保障用戶的順暢使用和數(shù)據(jù)的準(zhǔn)確性，本文通過對MES信息系統(tǒng)實(shí)時監(jiān)控的實(shí)踐，為更好地運(yùn)維信息系統(tǒng)提供了一種思路和方法，通過此方法的實(shí)施，顯著地提高信息系統(tǒng)的運(yùn)維水平。

【通聯(lián)編輯：光文玲】