重慶電力營(yíng)銷數(shù)據(jù)歸檔項(xiàng)目成果及發(fā)展趨勢(shì)探討

段立+劉沖+蒲箭

[摘 要]電力營(yíng)銷數(shù)據(jù)歸檔，是一種為解決系統(tǒng)數(shù)據(jù)庫(kù)的運(yùn)維管理問題而進(jìn)行的操作。本文介紹了重慶電力營(yíng)銷數(shù)據(jù)歸檔項(xiàng)目成果，并圍繞營(yíng)銷數(shù)據(jù)歸檔進(jìn)行了一系列的探討，希望本文的研究能為同行提供借鑒。

[關(guān)鍵詞]電力公司；數(shù)據(jù)歸檔；重慶

doi：10.3969/j.issn.1673 - 0194.2017.22.102

[中圖分類號(hào)]TP309.3 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2017）22-0-02

1 重慶電力營(yíng)銷業(yè)務(wù)歷史數(shù)據(jù)歸檔工作背景

2010年，國(guó)網(wǎng)重慶市電力公司（以下簡(jiǎn)稱：重慶電力）上線了營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)。該系統(tǒng)涵蓋重慶電力營(yíng)銷專業(yè)19個(gè)業(yè)務(wù)類型、137個(gè)業(yè)務(wù)項(xiàng)以及700多個(gè)子項(xiàng)，涉及業(yè)擴(kuò)、計(jì)量、抄表、核算、收費(fèi)、用檢和客服等電力營(yíng)銷業(yè)務(wù)范圍，為重慶電力營(yíng)銷人員順利開展相關(guān)業(yè)務(wù)工作奠定了基礎(chǔ)。從上線以來(lái)，營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)的用戶數(shù)量迅猛增長(zhǎng)，目前已經(jīng)有接近1 500萬(wàn)電力用戶，系統(tǒng)的數(shù)據(jù)量已超過13 TB，并且以每年2 TB以上的數(shù)量遞增，給系統(tǒng)數(shù)據(jù)庫(kù)的運(yùn)維管理帶來(lái)了很大的壓力，重慶電力也感受到海量數(shù)據(jù)對(duì)系統(tǒng)穩(wěn)定運(yùn)行帶來(lái)的壓力。

隨著營(yíng)銷系統(tǒng)數(shù)據(jù)量的迅速增長(zhǎng)，營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)面臨著多方面的問題：第一，系統(tǒng)運(yùn)行性能下降會(huì)讓前臺(tái)用戶與系統(tǒng)進(jìn)行交互時(shí)花費(fèi)更多的時(shí)間，拖慢業(yè)務(wù)處理速度和客戶服務(wù)效率；第二，龐大的系統(tǒng)數(shù)據(jù)量會(huì)使系統(tǒng)花費(fèi)更長(zhǎng)的時(shí)間處理相應(yīng)操作，以及要花費(fèi)大量的窗口備份時(shí)間；第三，系統(tǒng)管理成本不斷提升，維護(hù)日益龐大的數(shù)據(jù)庫(kù)所消耗的成本遠(yuǎn)高于輕負(fù)載的數(shù)據(jù)庫(kù)；第四，運(yùn)維人員需要消耗更多的時(shí)間和精力去重構(gòu)數(shù)據(jù)庫(kù)，從人力資源角度來(lái)說(shuō)是一種不必要的浪費(fèi)；第五，系統(tǒng)宕機(jī)時(shí)間會(huì)隨著數(shù)據(jù)庫(kù)規(guī)模的擴(kuò)大而逐漸增長(zhǎng)。

隨著電力企業(yè)的對(duì)外服務(wù)壓力不斷增大，電力企業(yè)對(duì)于系統(tǒng)性能的需求也在不斷提升。為了有效提升系統(tǒng)性能，減輕服務(wù)壓力，國(guó)網(wǎng)重慶市電力公司于2017年開展了營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)的歷史數(shù)據(jù)歸檔工作，目的是最大限度減少營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)量，并提升系統(tǒng)的整體運(yùn)行效率。歸檔采用完全在線方式進(jìn)行，將系統(tǒng)影響降至最低，完成后系統(tǒng)運(yùn)行情況達(dá)到了預(yù)期效果。

本次營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)采用了完全在線歸檔，在歸檔期間，所有業(yè)務(wù)正常運(yùn)行，在最大程度上減少了歸檔工作給基層單位運(yùn)營(yíng)帶來(lái)的不便。經(jīng)過歸檔后，在線系統(tǒng)數(shù)據(jù)量從歸檔前的13 TB降低到8 TB，系統(tǒng)負(fù)載顯著減少，同時(shí)也讓主機(jī)資源消耗降低了很多，CPU占用比例從歸檔前的53%下降到35%，降幅達(dá)1/3，內(nèi)存由91%下降到80%，降幅為12%。營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)經(jīng)過歸檔后，抄表核算、收費(fèi)賬務(wù)、業(yè)務(wù)流程等模塊的響應(yīng)速度都有了不同層次的提升，從1.8秒降低至0.8秒左右，大大提升了系統(tǒng)性能，提高了資源的利用率和系統(tǒng)的可用性，從而降低了重慶電力營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)的總投資成本，為營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)的良好運(yùn)行提供了技術(shù)上的保障。

2 電力行業(yè)歷史數(shù)據(jù)歸檔的現(xiàn)狀

2.1 電力行業(yè)各應(yīng)用系統(tǒng)數(shù)據(jù)迅猛增長(zhǎng)

在信息技術(shù)快速發(fā)展的今天，電力企業(yè)的各信息系統(tǒng)也邁進(jìn)了大數(shù)據(jù)時(shí)代。在2007年之前，電力行業(yè)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)體量超過1TB的便是大型數(shù)據(jù)庫(kù)系統(tǒng)。如今，電力行業(yè)各應(yīng)用系統(tǒng)數(shù)據(jù)迅猛增長(zhǎng)，以重慶電力公司為例，10TB數(shù)量級(jí)僅是中型數(shù)據(jù)庫(kù)系統(tǒng)，超過20TB的數(shù)據(jù)庫(kù)系統(tǒng)多達(dá)數(shù)套。業(yè)務(wù)系統(tǒng)累積的數(shù)量越大，系統(tǒng)運(yùn)行性能就越慢，維護(hù)成本也越高。因此，電力企業(yè)大量的業(yè)務(wù)系統(tǒng)都有歷史數(shù)據(jù)歸檔的迫切性。

2.2 電力行業(yè)歷史數(shù)據(jù)歸檔的技術(shù)現(xiàn)狀

目前，電力企業(yè)絕大多數(shù)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)歸檔，采用的歸檔方式是首先將歷史數(shù)據(jù)抽取到歷史數(shù)據(jù)平臺(tái)，然后再利用數(shù)據(jù)庫(kù)自身的SQL命令刪除歷史數(shù)據(jù)。

電力企業(yè)采用這種方式有許多不足。首先，由于生產(chǎn)系統(tǒng)數(shù)據(jù)量太大，每張表（包括移除歷史數(shù)據(jù)、重整數(shù)據(jù)庫(kù)碎片、索引等操作）的歸檔時(shí)間都很長(zhǎng)，而在生產(chǎn)表操作的過程中，都會(huì)給該表加上“數(shù)據(jù)庫(kù)鎖”；其次，“數(shù)據(jù)庫(kù)鎖”會(huì)使生產(chǎn)業(yè)務(wù)系統(tǒng)性能急劇下降，無(wú)法完成對(duì)外的業(yè)務(wù)交易。因此，傳統(tǒng)的歸檔方法，僅適用于數(shù)據(jù)量小的應(yīng)用系統(tǒng)或有較多停機(jī)時(shí)間的應(yīng)用系統(tǒng)。

3 新型數(shù)據(jù)歸檔方式在重慶電力的實(shí)踐

傳統(tǒng)的數(shù)據(jù)歸檔技術(shù)采用刪除歷史數(shù)據(jù)方式產(chǎn)生的“數(shù)據(jù)庫(kù)鎖”，會(huì)影響生產(chǎn)系統(tǒng)的性能或要求生產(chǎn)系統(tǒng)停機(jī)操作，不適合于重慶電力營(yíng)銷業(yè)務(wù)的發(fā)展現(xiàn)狀。因此，重慶電力公司上線了營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)。該系統(tǒng)能保持營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)完全在線，且所有歷史數(shù)據(jù)歸檔操作均不對(duì)生產(chǎn)系統(tǒng)性能造成影響的新型數(shù)據(jù)技術(shù)。

在實(shí)踐中發(fā)現(xiàn)，新型數(shù)據(jù)歸檔方式的工作流程如下。首先，工作人員在需要?dú)w檔的原表中建立采集觸發(fā)器，收集新發(fā)交易，存放在交易隊(duì)列表中，此過程持續(xù)到該表歸檔結(jié)束前的表名切換。其次，工作人員使用數(shù)據(jù)庫(kù)底層的FastCopy技術(shù)將原表數(shù)據(jù)拷貝到臨時(shí)表。再次，工作人員利用觸發(fā)器將收集的新發(fā)交易追加到臨時(shí)表中，同樣，此過程持續(xù)該表歸檔結(jié)束前的表名切換時(shí)。然后，工作人員在將原表數(shù)據(jù)拷貝到臨時(shí)表后，觸發(fā)器自動(dòng)比較臨時(shí)表數(shù)據(jù)與原表中的新發(fā)交易記錄是否一致，如果不一致，繼續(xù)等待原表與臨時(shí)表的同步。最后，工作人員在確認(rèn)數(shù)據(jù)完全一致時(shí)，采用數(shù)據(jù)庫(kù)的Online（Exchange Partition）或者TLock（Rename）進(jìn)行表名切換。臨時(shí)表改成原表名，原表備份成ORIG表或者直接刪除，這樣便在線完成了一張數(shù)據(jù)庫(kù)表的歸檔。

新型數(shù)據(jù)歸檔技術(shù)是基于數(shù)據(jù)庫(kù)底層技術(shù)，不會(huì)產(chǎn)生數(shù)據(jù)庫(kù)鎖，并且可以同時(shí)進(jìn)行歷史數(shù)據(jù)遷移、表及索引的碎片整理和重整。因此，整個(gè)歸檔操作過程不會(huì)對(duì)業(yè)務(wù)系統(tǒng)的性能產(chǎn)生影響，且整個(gè)歸檔進(jìn)程完全可視可控，極大降低了由數(shù)據(jù)庫(kù)歸檔帶來(lái)的額外風(fēng)險(xiǎn)。

4 未來(lái)電力行業(yè)應(yīng)用系統(tǒng)歷史數(shù)據(jù)歸檔的發(fā)展趨勢(shì)

隨著信息技術(shù)的不斷發(fā)展，電力行業(yè)已經(jīng)或即將進(jìn)行大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代，一方面，電力企業(yè)需要對(duì)大數(shù)據(jù)進(jìn)行充分挖掘，為電力企業(yè)創(chuàng)造更多的有利價(jià)值；另一方面，針對(duì)大數(shù)據(jù)的信息生命周期管理也十分重要。本文所探討的歷史數(shù)據(jù)歸檔，實(shí)質(zhì)便是針對(duì)大量歷史數(shù)據(jù)的信息生命周期管理。合理的信息生命周期管理，可以為電網(wǎng)企業(yè)節(jié)省大量的管理維護(hù)成本。

本文介紹的新型數(shù)據(jù)歸檔方式的優(yōu)勢(shì)主要體現(xiàn)在兩個(gè)方面：一方面業(yè)務(wù)生產(chǎn)系統(tǒng)不需要停機(jī)，另一方面整個(gè)歸檔過程不會(huì)對(duì)業(yè)務(wù)生產(chǎn)系統(tǒng)產(chǎn)生性能影響。隨著大數(shù)據(jù)時(shí)代的到來(lái)，電力企業(yè)在進(jìn)行業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)歸檔時(shí)，除了要保持完全在線、對(duì)生產(chǎn)系統(tǒng)無(wú)影響外，還有兩個(gè)技術(shù)點(diǎn)將成為未來(lái)歷史數(shù)據(jù)歸檔的趨勢(shì)。第一，在歷史數(shù)據(jù)歸檔中，壓縮技術(shù)或重復(fù)數(shù)據(jù)刪除技術(shù)的充分應(yīng)用。目前，電力企業(yè)采用的歸檔技術(shù)是將生產(chǎn)數(shù)據(jù)從高端存儲(chǔ)介質(zhì)轉(zhuǎn)移至低端存儲(chǔ)介質(zhì)，以達(dá)到節(jié)省成本的目的。歸檔至低端存儲(chǔ)的歷史數(shù)據(jù)如果能充分應(yīng)用壓縮技術(shù)或重復(fù)數(shù)據(jù)刪除技術(shù)，將進(jìn)一步節(jié)省電力企業(yè)對(duì)歷史數(shù)據(jù)管理的投資成本。第二，歷史數(shù)據(jù)的自動(dòng)轉(zhuǎn)移技術(shù)。目前，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的歷史數(shù)據(jù)歸檔，已有成熟的技術(shù)可以根據(jù)策略配置，自動(dòng)將歷史數(shù)據(jù)轉(zhuǎn)移到低端存儲(chǔ)介質(zhì)，以近全自動(dòng)化的方式完成歷史數(shù)據(jù)的信息生命周期管理。而針對(duì)數(shù)據(jù)庫(kù)類的結(jié)構(gòu)化數(shù)據(jù)，目前還未出現(xiàn)成熟的自動(dòng)化歷史數(shù)據(jù)歸檔技術(shù)。相信在不久的將來(lái)，本文所探討的結(jié)構(gòu)化類數(shù)據(jù)，也可以實(shí)現(xiàn)自動(dòng)化的歷史數(shù)據(jù)歸檔，從而大幅降低人力投資成本。

本文介紹了營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)歸檔成果，并通過分析電力行業(yè)的歷史數(shù)據(jù)歸檔技術(shù)，探討了未來(lái)電力行業(yè)應(yīng)用系統(tǒng)歷史數(shù)據(jù)歸檔的發(fā)展趨勢(shì)，希望為電力行業(yè)歷史數(shù)據(jù)歸檔提供一些建議和理論參考。endprint