基于ORACLE數(shù)據(jù)庫的用戶用電信息采集系統(tǒng)性能優(yōu)化

趙　佩，李　翀，王立斌，郭一實(shí)，潘曉君

(1.國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊　050021；2.國電南瑞科技股份有限公司用電分公司，南京　210000)

?

基于ORACLE數(shù)據(jù)庫的用戶用電信息采集系統(tǒng)性能優(yōu)化

趙佩1，李翀1，王立斌1，郭一實(shí)1，潘曉君2

(1.國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊050021；2.國電南瑞科技股份有限公司用電分公司，南京210000)

摘要：針對用戶用電信息采集系統(tǒng)主站承擔(dān)越來越大調(diào)試、接入和采集等方面的壓力，結(jié)合系統(tǒng)的運(yùn)行監(jiān)控情況，從系統(tǒng)硬件配置、后臺程序、數(shù)據(jù)表分析和運(yùn)維人員語句編寫等四方面提出系統(tǒng)性能優(yōu)化方案，說明優(yōu)化方案的效果，并給出今后系統(tǒng)進(jìn)一步優(yōu)化的建議。

關(guān)鍵詞：智能電網(wǎng)；采集系統(tǒng)；數(shù)據(jù)庫；性能優(yōu)化；程序優(yōu)化

1概述

用戶用電信息采集系統(tǒng)(以下簡稱“采集系統(tǒng)”)以智能電表和通信網(wǎng)絡(luò)為基礎(chǔ)支撐[1]，覆蓋購、供、售三側(cè)關(guān)口，對各項(xiàng)電氣量數(shù)據(jù)進(jìn)行實(shí)時(shí)精確采集，為電網(wǎng)運(yùn)營管理提供了準(zhǔn)確海量的數(shù)據(jù)支撐，是智能電網(wǎng)的核心組成部分。

隨著智能電網(wǎng)的發(fā)展與推廣，在大量用戶接入的壓力下，采集系統(tǒng)生產(chǎn)數(shù)據(jù)庫負(fù)荷居高不下，甚至出現(xiàn)夯住現(xiàn)象，給公司正在逐步上升的用電采集業(yè)務(wù)應(yīng)用及指標(biāo)數(shù)據(jù)造成惡劣影響。因此，及時(shí)有效地解決采集系統(tǒng)瓶頸、優(yōu)化采集系統(tǒng)性能成為保證電能準(zhǔn)確采集、支撐調(diào)試接入應(yīng)用的當(dāng)務(wù)之急，而且隨著采集系統(tǒng)的不斷深化應(yīng)用，數(shù)據(jù)的準(zhǔn)確可靠與系統(tǒng)的安全穩(wěn)定運(yùn)行成為各部門管理者和應(yīng)用者的共同期盼。[2]

因此，以下結(jié)合采集系統(tǒng)的運(yùn)行監(jiān)控情況，對系統(tǒng)日志與報(bào)告進(jìn)行研究，從系統(tǒng)硬件配置調(diào)整、后臺程序優(yōu)化、數(shù)據(jù)表分析優(yōu)化、規(guī)范運(yùn)維人員語句編寫等四方面進(jìn)行分析，得出相應(yīng)的系統(tǒng)性能優(yōu)化方案。

2采集系統(tǒng)性能現(xiàn)狀分析

采集系統(tǒng)生產(chǎn)數(shù)據(jù)庫使用2臺IBM P570小型機(jī)，每臺16核處理器，內(nèi)存96 GB，AIX操作系統(tǒng)，安裝Oracle 10g數(shù)據(jù)庫，雙節(jié)點(diǎn)運(yùn)行。隨著智能電網(wǎng)的發(fā)展，近期河北省智能電能表快速接入，采集系統(tǒng)主站承擔(dān)了越來越大的調(diào)試、接入和采集等方面的壓力。以采集系統(tǒng)硬件配置擴(kuò)容前生產(chǎn)庫1號節(jié)點(diǎn)系統(tǒng)為例(2號節(jié)點(diǎn)與1號節(jié)點(diǎn)類似，不做展示)，根據(jù)服務(wù)器記錄的NMON文件，導(dǎo)出CPU占用情況，如圖1所示。

圖1　優(yōu)化前生產(chǎn)庫1號節(jié)點(diǎn)CPU占用情況

由圖1可以看出，系統(tǒng)CPU占用率偶爾出現(xiàn)負(fù)荷突增至90%以上的情況，且當(dāng)時(shí)內(nèi)存使用率一直居高不下：物理內(nèi)存(96 GB)持續(xù)僅剩余0.1 %，虛擬內(nèi)存(38 GB)僅剩余30%～40%。物理內(nèi)存緊張導(dǎo)致大量的虛擬內(nèi)存SWAP交換，出現(xiàn)數(shù)據(jù)庫宕機(jī)夯住現(xiàn)象，同時(shí)出現(xiàn)CPU占用增高現(xiàn)象。

3系統(tǒng)性能優(yōu)化措施

3.1調(diào)整系統(tǒng)硬件配置

經(jīng)過分析，每天接入電能表數(shù)量可達(dá)數(shù)萬量級，抄表、計(jì)算數(shù)據(jù)量也隨之增加，排除網(wǎng)絡(luò)因素后可知，內(nèi)存不足、參數(shù)配置低是導(dǎo)致性能下降的系統(tǒng)硬件原因，而CPU占用率高也與物理內(nèi)存不足有關(guān)。故經(jīng)過初步計(jì)算，提出進(jìn)行系統(tǒng)硬件配置升級，將內(nèi)存大小提升至128 GB，同時(shí)做好系統(tǒng)參數(shù)和內(nèi)存分配的調(diào)整：系統(tǒng)參數(shù)maxclient調(diào)整為20%、maxperm調(diào)整為20%，session_cached_cursors調(diào)整至200；Oracle內(nèi)存分配SGA從55 GB調(diào)整到70 GB。

3.2優(yōu)化后臺程序

省市縣公司各級用戶在使用采集系統(tǒng)過程中，會通過web頁面與數(shù)據(jù)庫進(jìn)行交互，在AWR報(bào)告的SQL Module體現(xiàn)為JDBC Thin Client。

從數(shù)據(jù)庫夯住前后導(dǎo)出的AWR報(bào)告中的SQL Statistics章節(jié)可以看出：有大量通過JDBC Thin Client連接數(shù)據(jù)庫的SQL語句占用了較長的運(yùn)行時(shí)間和CPU時(shí)間。整體的性能影響還與執(zhí)行次數(shù)(Executions)有關(guān)，通過web頁面連接數(shù)據(jù)庫往往執(zhí)行頻率較高，而SQL語句執(zhí)行的次數(shù)過多，累加起來對系統(tǒng)的影響同樣會很大。

故對于這部分語句在分析AWR報(bào)告時(shí)，需要關(guān)注SQL Statistics中的SQL ordered by Elapsed Time和SQL ordered by CPU Time等指標(biāo)，從減少運(yùn)行時(shí)間的角度考慮優(yōu)化方案。

3.3優(yōu)化數(shù)據(jù)表分析

為數(shù)據(jù)表創(chuàng)建索引不僅可以保證數(shù)據(jù)的唯一性，而且可以大大加快數(shù)據(jù)的檢索速度、分組和排序的時(shí)間，進(jìn)而提高系統(tǒng)性能。[3]但是，索引創(chuàng)建不當(dāng)也會產(chǎn)生不利影響，例如索引的創(chuàng)建和維護(hù)耗費(fèi)時(shí)間和占用的空間隨著數(shù)據(jù)量的增加而增加，降低系統(tǒng)的維護(hù)速度和增大空間需求等。根據(jù)創(chuàng)建索引優(yōu)缺點(diǎn)分析，應(yīng)該在以下列上創(chuàng)建索引。

a. 在經(jīng)常需要搜索的列上，可以加快搜索的速度；

b. 在作為主鍵的列上，強(qiáng)制該列的唯一性和組織表中數(shù)據(jù)的排列結(jié)構(gòu)；

c. 在經(jīng)常用在連接的列上，這些列主要是一些外鍵，可以加快連接的速度；

d. 在經(jīng)常需要根據(jù)范圍進(jìn)行搜索的列上，因?yàn)樗饕呀?jīng)排序，其指定的范圍是連續(xù)的；

e. 在經(jīng)常需要分組和排序的列上，因?yàn)樗饕呀?jīng)排序，這樣查詢可以利用索引的排序，加快排序查詢時(shí)間；

f. 在經(jīng)常使用在WHERE子句中的列上，加快條件的判斷速度。

g. 在查詢中很少使用或者參考的列不應(yīng)該創(chuàng)建索引，只有很少數(shù)據(jù)值，定義為text、image和bit數(shù)據(jù)類型的列不應(yīng)該增加索引、當(dāng)修改性能遠(yuǎn)遠(yuǎn)大于檢索性能時(shí)不應(yīng)該創(chuàng)建索引。

3.4規(guī)范運(yùn)維人員語句編寫

在日常運(yùn)維人員使用的語句中，會大量出現(xiàn)一些臨時(shí)的SQL語句，使用常量在條件中進(jìn)行限制，會出現(xiàn)硬解析的情況。對于這部分語句(SQL Module為PL/SQL Developer)，在分析AWR報(bào)告時(shí)，需要關(guān)注SQL Statistics中的SQL ordered by Gets和SQL ordered by Reads 2個指標(biāo)。大量的Gets(邏輯讀)會占用大量CPU時(shí)間，大量的Reads(物理讀)會引起大量的硬解析，占用大量的Latch，也會消耗大量的CPU時(shí)間，導(dǎo)致I/O的瓶頸出現(xiàn)。一般情況下，大量的 Gets會伴隨著大量的Reads出現(xiàn)。

根據(jù)日常案例分析，從數(shù)據(jù)庫夯住前后導(dǎo)出的AWR報(bào)告中可以看出，運(yùn)維人員使用PL/SQL執(zhí)行SQL語句，在AWR報(bào)告中，邏輯讀和物理讀多數(shù)占比排名較為靠前，使用這2個指標(biāo)找到了最影響性能的SQL語句，可以通過規(guī)范/優(yōu)化運(yùn)維語句、增加/創(chuàng)建索引、調(diào)整數(shù)據(jù)表來提高SQL單獨(dú)執(zhí)行時(shí)的性能，減少SQL執(zhí)行時(shí)出現(xiàn)的高Gets/Reads。

另外，還可以通過增大SGA的方法減少Reads的量。利用相同的SQL語句解析，在第一次解析后，Oracle將SQL語句放在內(nèi)存中。這塊位于系統(tǒng)全局區(qū)域SGA的共享池中的內(nèi)存可以被所有的數(shù)據(jù)庫用戶共享。[4]當(dāng)執(zhí)行一個SQL語句時(shí)，如果它和之前執(zhí)行過的語句完全相同，則可以大大提高SQL的執(zhí)行性能，節(jié)省內(nèi)存資源。數(shù)據(jù)庫DBA在init.ora中為這個區(qū)域設(shè)置合適的參數(shù)，當(dāng)這個區(qū)域越大，被保留的SQL語句就越多，被共享的可能性也就越大。

4優(yōu)化效果

開展系統(tǒng)硬件配置調(diào)整、后臺程序優(yōu)化、數(shù)據(jù)表分析優(yōu)化、規(guī)范運(yùn)維人員語句編寫等優(yōu)化工作后收效明顯，部分SQL語句執(zhí)行效率提升90%以上，系統(tǒng)宕機(jī)和數(shù)據(jù)庫夯住情況不再頻繁出現(xiàn)，CPU負(fù)荷也有大幅降低，優(yōu)化后1號節(jié)點(diǎn)CPU占用情況如圖2所示。

圖2　優(yōu)化后生產(chǎn)庫1號節(jié)點(diǎn)CPU占用情況

5建議

5.1系統(tǒng)架構(gòu)遷移調(diào)整

統(tǒng)籌規(guī)劃系統(tǒng)架構(gòu)和生產(chǎn)庫遷移方案，利用現(xiàn)有服務(wù)器資源，對系統(tǒng)架構(gòu)進(jìn)行遷移調(diào)整，將生產(chǎn)庫遷移到高性能服務(wù)器，從而使系統(tǒng)能夠具備采集全省電力用戶接入的承載能力。同時(shí)，可以在生產(chǎn)庫遷移過程中做好數(shù)據(jù)庫版本升級工作。

5.2持續(xù)優(yōu)化系統(tǒng)性能

為保證系統(tǒng)性能最優(yōu)，運(yùn)行狀況平穩(wěn)，需要持續(xù)開展后臺程序優(yōu)化工作。對執(zhí)行次數(shù)多以及未綁定變量的SQL語句進(jìn)行緩存和綁定變量；對不合理的部分進(jìn)行總結(jié)歸納，并分類給出優(yōu)化和修改方案；考慮將不同的數(shù)據(jù)文件、控制文件、日志文件放在不同的磁盤，表和索引放在不同的表空間；設(shè)置合適的page_size大小；設(shè)置異步I/O等。

5.3持續(xù)優(yōu)化數(shù)據(jù)表分析

對系統(tǒng)中的全部數(shù)據(jù)表情況進(jìn)行梳理，參考訪問數(shù)據(jù)表的頻率和AWR報(bào)告、ASH報(bào)告等數(shù)據(jù)庫運(yùn)行情況，統(tǒng)籌分析和規(guī)劃參數(shù)調(diào)整和索引維護(hù)方案，并對遺留臨時(shí)表等垃圾數(shù)據(jù)表進(jìn)行清理；對表空間大小進(jìn)行實(shí)時(shí)監(jiān)控和優(yōu)化；梳理并設(shè)置合理的分區(qū)、壓縮，實(shí)時(shí)監(jiān)控并設(shè)置合適的pctfree、initrans等參數(shù)，減少行連接和行遷移，控制表碎片等。

5.4規(guī)范運(yùn)維人員操作

為防止人為因素導(dǎo)致異常問題的出現(xiàn)，需要廠商和運(yùn)維人員開展日常運(yùn)維工作中遵從優(yōu)化方案，定期舉辦宣貫培訓(xùn)工作，長期進(jìn)行SQL語句規(guī)范。

5.5開展故障分析整理

做好歷次宕機(jī)故障分析，做好宕機(jī)期間資料的收集和歸納，結(jié)合AWR報(bào)告、alert日志、trc文件和nmon負(fù)荷曲線進(jìn)行統(tǒng)籌分析，并給出相應(yīng)處理方法和改造方案。找到系統(tǒng)瓶頸和癥結(jié)所在，并將系統(tǒng)運(yùn)行日志、系統(tǒng)故障處理記錄等資料整理齊全，留檔備案，最終形成系統(tǒng)主站故障處理專家?guī)?，以便在系統(tǒng)故障時(shí)查閱處理方法。同時(shí)，制定相關(guān)管理辦法和操作規(guī)范，在將來系統(tǒng)發(fā)生故障時(shí)啟動應(yīng)急預(yù)案，及時(shí)發(fā)現(xiàn)并做好系統(tǒng)故障的全過程記錄，保證系統(tǒng)最快恢復(fù)穩(wěn)定運(yùn)行狀態(tài)。

6結(jié)束語

采集系統(tǒng)主站性能優(yōu)化是一項(xiàng)需要長期開展的工作，涉及到數(shù)據(jù)庫、服務(wù)器、操作系統(tǒng)等方面的各項(xiàng)技術(shù)。采集系統(tǒng)優(yōu)化工作將成為支撐智能電網(wǎng)建設(shè)、支撐電網(wǎng)運(yùn)營管理、支撐各項(xiàng)電氣量數(shù)據(jù)實(shí)時(shí)精確采集，支撐海量數(shù)據(jù)挖掘與深化應(yīng)用以及提升采集系統(tǒng)運(yùn)行與管理效率等方面的堅(jiān)實(shí)基礎(chǔ)。

參考文獻(xiàn)：

[1]劉征.電力用戶用電信息采集系統(tǒng)的研究與應(yīng)用[J].大科技，2013(18)：27-28.

[2]梁波，楊銘海. 用電信息采集系統(tǒng)架構(gòu)及功能應(yīng)用(一)[J]. 農(nóng)村電工，2013(2)：41-43.

[3]秦靖，劉存勇. Oracle從入門到精通)[M].北京：機(jī)械工業(yè)出版社，2015.

[4]崔華. 基于Oracle的SQL優(yōu)化[M]. 北京：電子工業(yè)出版社，2014.

本文責(zé)任編輯：王洪娟

Performance Optimization of Power User Electric EnergyData Acquire System Based on ORACLE Database

Zhao Pei,Li Chong,Wang Libin,Guo Yishi,Pan Xiaojun

(1.State Grid Hebei Electric Power Research Institute,Shijiazhuang 050021,China;2.NARJ Technology Development Co.Ltd.,Electrical Branch,Nanjing 210000,China)

Abstract:For the increasing pressure of power user electric energy data acquire system master in debugging, access and acquisition,this paper provides system performance optimization methods in hardware configuration,background program, statistics analysis and programming of operation and maintenance staff,after analyzing multiple dimensions and combining operation monitoring,presents the effect of optimization,and gives system optimization suggestions in the future.

Key words:Smart Grid;acquire system;database;performance optimizations;program optimization

收稿日期：2016-01-20

作者簡介：趙佩(1990-)，男，助理工程師，主要從事用電信息采集系統(tǒng)建設(shè)推進(jìn)和優(yōu)化研究工作。

中圖分類號：TM764

文獻(xiàn)標(biāo)志碼：B

文章編號：1001-9898(2016)03-0014-03