基于Kafka集群的數(shù)據(jù)搜索及共享機制在電力企業(yè)的應(yīng)用研究

孟椿智 葉耿 謝瑞浩

(1.廣西電網(wǎng)有限責任公司信息中心,廣西南寧 530023;2.廣西博聯(lián)信息通信技術(shù)有限責任公司,廣西南寧 530023)

目前電力企業(yè)已經(jīng)進入大數(shù)據(jù)時代,數(shù)據(jù)信息量越來越大,通過Hadoop技術(shù)建設(shè)數(shù)據(jù)中心,實現(xiàn)數(shù)據(jù)采集抽取、清洗轉(zhuǎn)換、加載存儲、數(shù)據(jù)可視化顯示等,而電力企業(yè)的應(yīng)用系統(tǒng)對數(shù)據(jù)的需求越來越旺盛,有必要就數(shù)據(jù)搜索及共享機制展開研究。

1 電力大數(shù)據(jù)趨勢

隨著計算機科學的飛速發(fā)展,電力行業(yè)的信息化程度越來越高,有關(guān)的電力數(shù)據(jù)資源也開始快速增加,電力企業(yè)的數(shù)據(jù)資源逐漸朝著異構(gòu)、多源以及PB級規(guī)模迅速發(fā)展。在社會向著大數(shù)據(jù)發(fā)展的大環(huán)境下,電力大數(shù)據(jù)也逐漸成為了電力工業(yè)技術(shù)革新的必經(jīng)之路。電力大數(shù)據(jù)標志著電力技術(shù)的跨越性進步,通過建設(shè)數(shù)據(jù)中心為應(yīng)用系統(tǒng)提供強有力的數(shù)據(jù)支撐,完成數(shù)據(jù)價值變現(xiàn),是智能化電力系統(tǒng)的重大變革要求。

圖1 電力企業(yè)全文檢索引擎系統(tǒng)功能設(shè)計

2 Kafka集群關(guān)鍵技術(shù)

Kafka是Apache基金會的頂級開源項目,主要應(yīng)用場景有日志收集系統(tǒng)和消息系統(tǒng),實現(xiàn)消息持久化、高吞吐率地數(shù)據(jù)傳輸能力。Kafka集群一般包括幾個broker(消息中間件處理結(jié)點),producer(消息提供者)將數(shù)據(jù)推送到broker上,consumer(消息消費者)再從broker拉取數(shù)據(jù)進行消費,Kafka集群使用“at least once”的機制實現(xiàn)數(shù)據(jù)傳輸,即數(shù)據(jù)至少傳輸一次,如果數(shù)據(jù)未接收成功,會重發(fā)直至成功。

3 基于Kafka集群的數(shù)據(jù)搜索及共享機制在電力企業(yè)的應(yīng)用

3.1 設(shè)計與實現(xiàn)

3.1.1 功能設(shè)計

結(jié)合電力企業(yè)應(yīng)用過程中對數(shù)據(jù)中心提出數(shù)據(jù)共享的需求,本文設(shè)計了以hadoop技術(shù)為主的,多種數(shù)據(jù)源應(yīng)用框架結(jié)合的電力企業(yè)全文檢索引擎系統(tǒng),其中應(yīng)用了部分開源、擴展性強的kafka集群技術(shù),從而建立了有效、實用的數(shù)據(jù)共享機制。圖1是電力企業(yè)全文檢索引擎系統(tǒng)功能的設(shè)計情況。

用戶可以通過輸入關(guān)鍵字的方式對全文進行有效檢索,并且搜索引擎可以按照用戶提供的屬性以及其他相關(guān)信息等對相關(guān)性大的搜索結(jié)果按照關(guān)聯(lián)性的大小依次進行排序,從而搜索出和用戶需求匹配的數(shù)據(jù),再通過Kafka集群向用戶推送數(shù)據(jù)結(jié)果,達到數(shù)據(jù)共享的效果,因此,電力企業(yè)全文檢索引擎系統(tǒng)具備以下功能:(1)搜索引擎具備對全文數(shù)據(jù)進行快速檢索的能力。為了實現(xiàn)快速檢索,可以有效結(jié)合倒排索引的方式,通過反向索引實現(xiàn)在大規(guī)模的文本數(shù)據(jù)中準確定位相關(guān)信息的功能。(2)搜索引擎能夠?qū)ο嚓P(guān)性進行充分、有效的檢索。查準率和查全率是對系統(tǒng)檢索能力進行衡量的基礎(chǔ)指標。查準率意味著搜索引擎檢索功能的精確程度,也就是說查準率是檢索結(jié)果中正確數(shù)據(jù)的百分比。查全率意味著搜索引擎檢索出相關(guān)信息的能力,也就是說查全率是搜索引擎檢索出的相關(guān)結(jié)果同全部相關(guān)結(jié)果的百分比。(3)穩(wěn)定的數(shù)據(jù)共享機制。在用戶根據(jù)自身需求搜索出數(shù)據(jù)后,電力企業(yè)全文檢索引擎系統(tǒng)需要向用戶提供穩(wěn)定的數(shù)據(jù)傳輸通道,確保數(shù)據(jù)可以正確、可靠地到達相關(guān)應(yīng)用系統(tǒng),為企業(yè)的生產(chǎn)運營、決策分析提供強有力的數(shù)據(jù)支撐。

3.1.2 索引模塊構(gòu)建

為了實現(xiàn)檢索功能,需要創(chuàng)建相應(yīng)的索引模塊。因此,應(yīng)當以電力特點為基礎(chǔ),構(gòu)建具有檢索功能的模塊。一般來說,檢索模塊主要由檢索分析處理與檢索結(jié)果處理兩大部分構(gòu)成。

對于索引模塊而言,其通常都會涉及到多個系統(tǒng)之間的數(shù)據(jù)同步問題。要想符合檢索系統(tǒng)對數(shù)據(jù)一致性和實效性的需求,就必須具備不同的數(shù)據(jù)采集方式,和多渠道的索引構(gòu)建策略。為此,可以從以下三方面入手:(1)保障數(shù)據(jù)能夠被全量抽取,并構(gòu)建相應(yīng)的索引模塊。索引數(shù)據(jù)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)必須具備一致性,因此,應(yīng)當定期利用系統(tǒng)對所有的索引數(shù)據(jù)進行重建。(2)注意索引數(shù)據(jù)的實時同步。一些業(yè)務(wù)數(shù)據(jù)必須被及時且準確地檢索到,對于這部分數(shù)據(jù)應(yīng)當構(gòu)建相應(yīng)的實時索引數(shù)據(jù)。(3)索引模塊構(gòu)建過程中要注意定期增量同步。通常情況下,索引系統(tǒng)和業(yè)務(wù)系統(tǒng)以及消息中間件是相互獨立的,因此,應(yīng)當有效保證異構(gòu)系統(tǒng)之間的數(shù)據(jù)具有一致性。

3.1.3 數(shù)據(jù)共享機制

為了能夠穩(wěn)定地向用戶傳輸數(shù)據(jù),實現(xiàn)數(shù)據(jù)共享的機制,需要建設(shè)kafka集群,用戶作為consumer(消息消費者),訂閱從電力企業(yè)全文檢索引擎系統(tǒng)搜索出來的Topic(消息),即數(shù)據(jù),數(shù)據(jù)中心作為producer(消息提供者),將用戶訂閱的Topic推送到broker(消息中間件處理結(jié)點),用戶可通過數(shù)據(jù)接口、文件下載等方式從broker獲取詳細的數(shù)據(jù)內(nèi)容用于后續(xù)的數(shù)據(jù)應(yīng)用。

3.2 具體應(yīng)用效果

基于Kafka集群的數(shù)據(jù)搜索及共享機制在電力企業(yè)全文檢索引擎系統(tǒng)中得到積極應(yīng)用,目前已為多個的應(yīng)用系統(tǒng)提供服務(wù),實際應(yīng)用表明,本文設(shè)計的全文檢索引擎系統(tǒng)的搜索速率達到了496條/秒,每天可提供超過5GB的數(shù)據(jù)量,大大滿足了應(yīng)用系統(tǒng)的數(shù)據(jù)共享需求。

4 結(jié)語

基于Kafka集群的數(shù)據(jù)搜索及共享機制,能夠有效提高全文檢索的查準率和查全率,為應(yīng)用系統(tǒng)提供強有力的數(shù)據(jù)傳輸,其對于電力企業(yè)的發(fā)展具有重要意義。

[1]李愛軍,王海濱,鄭曉波.基于推理控制策略的智能型電力搜索引擎的研究[J].西華大學學報(自然科學版),2008,27(06):34-37+48+122.

[2]宋宛凈,姚建剛,汪覺恒,等.全壽命周期成本理論在主變壓器選擇中的應(yīng)用[J].電力系統(tǒng)及其自動化學報,2012,24(06):111-116.

[3]白紅偉,馬志偉,朱永利.基于云計算的絕緣子狀態(tài)監(jiān)測數(shù)據(jù)的處理[J].電瓷避雷器,2011,(04):19-22+28.

[4]曲朝陽,熊澤宇,顏佳,等.基于空間分割的電力大數(shù)據(jù)三維全景可視化場景管理方法[J].華北電力大學學報(自然科學版),2016,43(02):23-29.