ETL技術(shù)在電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移中的應(yīng)用研究

杜榮良 陳浩 余修成

摘要：隨著現(xiàn)代化電網(wǎng)信息系統(tǒng)中的業(yè)務(wù)量增加及變化，原有的信息數(shù)據(jù)業(yè)務(wù)處理系統(tǒng)難以保證日常工作業(yè)務(wù)正常進(jìn)行。本文通過對ETL技術(shù)的介紹，分析其在電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移中的應(yīng)用意義，并基于ETL技術(shù)對數(shù)據(jù)遷移技術(shù)進(jìn)行設(shè)計(jì)討論，總結(jié)了電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移項(xiàng)目中的操作方法。

關(guān)鍵詞：ET啵術(shù);電網(wǎng)信息;系統(tǒng)業(yè)務(wù);數(shù)據(jù)遷移

在長時(shí)間的運(yùn)作經(jīng)營下，電網(wǎng)信息原有系統(tǒng)中積累了大量珍貴的數(shù)據(jù)資源，這些數(shù)據(jù)對于企業(yè)的現(xiàn)代化運(yùn)營有著積極作用。但由于軟件信息的更迭，舊的信息系統(tǒng)逐漸被淘汰，而新舊系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)差異使得舊系統(tǒng)的數(shù)據(jù)不能直接應(yīng)用于新系統(tǒng)，這就需要采用高質(zhì)量的數(shù)據(jù)遷移技術(shù)來實(shí)現(xiàn)歷史數(shù)據(jù)的完整利用。

1ETL技術(shù)在數(shù)據(jù)遷移中的應(yīng)用意義

ETL技術(shù)，即對信息數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，它能夠?qū)⒉煌Y(jié)構(gòu)、不同排列方式、不同數(shù)據(jù)源的相關(guān)數(shù)據(jù)進(jìn)行整理，將其抽取到臨時(shí)的中間數(shù)據(jù)庫后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到另一個(gè)數(shù)據(jù)倉庫或數(shù)據(jù)集市中，幫助進(jìn)行數(shù)據(jù)處理分析。ETL技術(shù)的應(yīng)用是一個(gè)長期的過程，只有在運(yùn)用的同時(shí)不斷發(fā)現(xiàn)問題并解決問題，才能使ETL技術(shù)的運(yùn)行效率更高，為項(xiàng)目實(shí)施開發(fā)提供準(zhǔn)確的數(shù)據(jù)。

ETL技術(shù)是數(shù)據(jù)倉庫中的重要組成部分，對數(shù)據(jù)傳遞轉(zhuǎn)移起到承上啟下的作用，與數(shù)據(jù)庫相比，ETL技術(shù)不需要精細(xì)的數(shù)學(xué)理論知識的基礎(chǔ)應(yīng)用，它更面向?qū)嶋H工程的應(yīng)用。所以就工程應(yīng)用而言，利用ETL技術(shù)進(jìn)行數(shù)據(jù)模型加載及處理，與原數(shù)據(jù)庫中的數(shù)據(jù)質(zhì)量息息相關(guān)，更影響著數(shù)據(jù)的分析處理結(jié)果。通常情況下，數(shù)據(jù)倉庫是一個(gè)較為獨(dú)立的環(huán)境，它需要對數(shù)據(jù)進(jìn)行提取處理后，將其導(dǎo)入到性的數(shù)據(jù)庫中，涉及數(shù)據(jù)的轉(zhuǎn)換、提取、整理、管控的操作技術(shù)。在數(shù)據(jù)使用過程中并不需要數(shù)據(jù)倉庫系統(tǒng)中的數(shù)據(jù)與事務(wù)處理系統(tǒng)中的數(shù)據(jù)同步，因此ETL技術(shù)可以多個(gè)同時(shí)進(jìn)行，這也為ETL技術(shù)應(yīng)用的高效性提供便利。

2ETL技術(shù)在電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移中的作用

2.1數(shù)據(jù)收集

在進(jìn)行電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移時(shí)，要事先創(chuàng)造一個(gè)數(shù)據(jù)庫，用以實(shí)現(xiàn)數(shù)據(jù)的輸入記錄，其原理是利用DatastageI具，將電網(wǎng)中原有的信息數(shù)據(jù)進(jìn)行整理收集整理到數(shù)據(jù)庫中，并將數(shù)據(jù)庫中的項(xiàng)目信息與電網(wǎng)原有數(shù)據(jù)進(jìn)行對比歸納，整合稱為數(shù)據(jù)輸入表。數(shù)據(jù)庫在整個(gè)信息數(shù)據(jù)轉(zhuǎn)移過程中起到的是過渡作用，它的建立是方便對不同信息的分類整合，以提高數(shù)據(jù)遷移上傳時(shí)的效率。在這個(gè)過程中要注意編碼方式的轉(zhuǎn)換，以及根據(jù)記錄項(xiàng)目情況的不同，選擇空格的去留。

數(shù)據(jù)收集的目標(biāo)，是從電網(wǎng)信息系統(tǒng)原有數(shù)據(jù)中尋找出具有遷移意義的部分，包括結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，通過對數(shù)據(jù)的情況分析，選擇全量抽取或增量抽取的收集方式。收集時(shí)要保證不影響電網(wǎng)信息系統(tǒng)的正常運(yùn)行，并對相關(guān)工作環(huán)節(jié)進(jìn)行監(jiān)管，通過對新數(shù)據(jù)的提取，實(shí)現(xiàn)各個(gè)模塊的數(shù)據(jù)鏈接。

2.2數(shù)據(jù)融合

在完成數(shù)據(jù)庫收集整理工作后，對數(shù)據(jù)庫中的部分?jǐn)?shù)據(jù)，其精準(zhǔn)度還有待商榷。應(yīng)通過對多源數(shù)據(jù)的信息整合，分析其歷史情況，以一定規(guī)則進(jìn)行數(shù)據(jù)融合，保證其所代表的可信度，增強(qiáng)數(shù)據(jù)的遷移效益。在這個(gè)過程中，通過不同數(shù)據(jù)的綜合分析，能夠?qū)﹄娋W(wǎng)信息系統(tǒng)的實(shí)際性質(zhì)進(jìn)行了解，以此強(qiáng)化數(shù)據(jù)轉(zhuǎn)移的意義。要注意數(shù)據(jù)融合時(shí)所用的傳感器不一定是機(jī)械形式的，系統(tǒng)信息源甚至人力資源數(shù)據(jù)都有可能成為傳感器。數(shù)據(jù)融合還能夠?qū)⒉煌臄?shù)據(jù)信息進(jìn)行轉(zhuǎn)化，通過固有的準(zhǔn)則模式計(jì)算，分析數(shù)據(jù)間的類型特點(diǎn)，將不同系統(tǒng)間的相同類型數(shù)據(jù)進(jìn)行整合，提高數(shù)據(jù)遷移效率。

在進(jìn)行數(shù)據(jù)融合時(shí)，通常會創(chuàng)建一個(gè)中間數(shù)據(jù)庫，這個(gè)數(shù)據(jù)庫與數(shù)據(jù)收集環(huán)節(jié)創(chuàng)建的數(shù)據(jù)庫不同，它所包含的表格項(xiàng)目信息是與數(shù)據(jù)遷移后的新系統(tǒng)相匹配的。將輸入數(shù)據(jù)庫的信息轉(zhuǎn)換后插入到這個(gè)中間數(shù)據(jù)庫，并對兩個(gè)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行對比檢查，分析其中的異同點(diǎn)。其中，不需要變換就能直接遷移的數(shù)據(jù)稱為無變化數(shù)據(jù)，而需要通過各種轉(zhuǎn)換方式導(dǎo)人中間數(shù)據(jù)庫中的數(shù)據(jù)稱為變化數(shù)據(jù)。在進(jìn)行業(yè)務(wù)數(shù)據(jù)遷移時(shí)，業(yè)務(wù)數(shù)據(jù)經(jīng)常會與電網(wǎng)企業(yè)的正常工作流程有聯(lián)系，在進(jìn)行新舊系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換時(shí)候，由于企業(yè)的業(yè)務(wù)流程會發(fā)生變化等原因，業(yè)務(wù)流程的信息系統(tǒng)的技術(shù)設(shè)置也會出現(xiàn)一定差異。在這個(gè)過程中，工作人員要制定詳細(xì)的數(shù)據(jù)遷移策略，保證數(shù)據(jù)遷移工作的有效性。

2.3數(shù)據(jù)提交

在完成電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)融合轉(zhuǎn)換后，就可以將數(shù)據(jù)向新系統(tǒng)進(jìn)行提交加載，完成數(shù)據(jù)遷移。數(shù)據(jù)整理的最終目的便是提供信息資料查詢，在遷移過程中將數(shù)據(jù)構(gòu)建為框架模型，不僅能簡化查詢流程，還能減少數(shù)據(jù)遷移時(shí)間。通過對數(shù)據(jù)的抽取及劃分，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的結(jié)合，為工作人員提供有用信息，完善數(shù)據(jù)遷移的結(jié)構(gòu)層次。

經(jīng)過轉(zhuǎn)換遷移的數(shù)據(jù)可以直接被新系統(tǒng)使用，但在新系統(tǒng)使用前，要先將中間數(shù)據(jù)庫中的數(shù)據(jù)信息集中轉(zhuǎn)換到新系統(tǒng)的數(shù)據(jù)庫中，為其操作使用做好鋪墊。要注意數(shù)據(jù)轉(zhuǎn)換后的檢查校驗(yàn)工作，其核心內(nèi)容是對數(shù)據(jù)轉(zhuǎn)換情況及轉(zhuǎn)換效果進(jìn)行檢查，判斷經(jīng)過數(shù)據(jù)遷移后的系統(tǒng)能否正常工作。其主要包含對相同含義的數(shù)據(jù)位置一致性檢查、數(shù)據(jù)庫中的數(shù)據(jù)信息數(shù)量檢查、特殊數(shù)據(jù)樣本的內(nèi)容詳情檢查，力求做到新數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)與原電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)相同。

最后，通過系統(tǒng)的查詢工具，分析新舊系統(tǒng)中不同指標(biāo)數(shù)據(jù)的異同情況，比較最終的查詢結(jié)果，根據(jù)對比分析結(jié)果確定數(shù)據(jù)遷移質(zhì)量。具體做法是將新信息數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)還原到數(shù)據(jù)遷移前的狀態(tài)，并將舊系統(tǒng)最后一天的全部工作業(yè)務(wù)信息錄入到新系統(tǒng)中，將產(chǎn)生的結(jié)果與舊系統(tǒng)相比較。對于有條件的電網(wǎng)企業(yè)，可以讓新舊系統(tǒng)在同一狀態(tài)下進(jìn)行運(yùn)行，在一段時(shí)間后將業(yè)務(wù)信息進(jìn)行對比，若數(shù)據(jù)隋況一致，則說明數(shù)據(jù)遷移完成。

3結(jié)束語

電網(wǎng)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)遷移是項(xiàng)復(fù)雜的工作，而數(shù)據(jù)遷移的質(zhì)量會直接影響著新系統(tǒng)的穩(wěn)定運(yùn)行程度。探討利用ETL技術(shù)進(jìn)行數(shù)據(jù)遷移的應(yīng)用，并制定相應(yīng)的實(shí)施方案，能夠?qū)崿F(xiàn)電網(wǎng)營銷管理系統(tǒng)數(shù)據(jù)的可靠、準(zhǔn)確及快速地遷移，為新營銷系統(tǒng)的穩(wěn)定運(yùn)行提供了重要保障。