大數(shù)據(jù)環(huán)境下基于Hbase的分布式查詢優(yōu)化研究

摘 要：大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫所存儲的數(shù)據(jù)量呈爆炸式增長，如何保持高吞吐率并讓客戶得到滿意的數(shù)據(jù)查詢和處理結(jié)果，已經(jīng)成為一個急需解決的問題。金融、電信以及互聯(lián)網(wǎng)等行業(yè)要求企業(yè)的統(tǒng)計(jì)分析平臺能支持分布式、高可用性和可擴(kuò)展性的分布式查詢環(huán)境，以便能及時高效的完成查詢分析任務(wù)，做出更合理的業(yè)務(wù)決策。目前已經(jīng)有很多公司在一定范圍內(nèi)將應(yīng)用從關(guān)系數(shù)據(jù)庫向Hbase進(jìn)行遷移，但是大多數(shù)都是和Hadoop MapReduce或Hive結(jié)合使用，導(dǎo)致數(shù)據(jù)量增加后的分布式查詢耗時過長，性能也隨之下降。此外Hbase也有其自身的局限性，不能兼容傳統(tǒng)數(shù)據(jù)庫上的SQL應(yīng)用。本文在分析了現(xiàn)有分布式數(shù)據(jù)庫系統(tǒng)平臺并深入研究Hbase的實(shí)現(xiàn)原理及高級特性的基礎(chǔ)上，提出了基于Hbase的可擴(kuò)展性查詢優(yōu)化方案（Hbase DSPE），即把Hbase的優(yōu)點(diǎn)和SQL的易用性結(jié)合。這樣做有助于對復(fù)雜SQL查詢的優(yōu)化，可以充分利用Hbase的諸多高級特性進(jìn)行查詢性能調(diào)優(yōu)，對企業(yè)在大數(shù)據(jù)環(huán)境下從傳統(tǒng)關(guān)系數(shù)據(jù)庫向大數(shù)據(jù)平臺的遷移具有現(xiàn)實(shí)的指導(dǎo)意義。

關(guān)鍵詞：大數(shù)據(jù)；分布式查詢；Hbase；SQL解析引擎；查詢優(yōu)化

中圖分類號：TP311.13

大數(shù)據(jù)（Big Data）是近年來科學(xué)研究和商業(yè)領(lǐng)域的新的發(fā)展方向，運(yùn)用于大數(shù)據(jù)的系統(tǒng)可統(tǒng)一管理地理上分布的異構(gòu)計(jì)算或存儲數(shù)據(jù)，組成功能類似于大型數(shù)據(jù)庫服務(wù)器但相對松散耦合的資源群體，用來解決海量數(shù)據(jù)的分布式存儲和查詢問題。大數(shù)據(jù)環(huán)境下分布式數(shù)據(jù)處理目前已得到廣泛應(yīng)用，很多世界500強(qiáng)軟件公司或科研機(jī)構(gòu)都在從事相關(guān)方面的研究與應(yīng)用。

1 大數(shù)據(jù)環(huán)境下的分布式查詢

大數(shù)據(jù)時代的分布式查詢已經(jīng)隨處可見，金融、電信及互聯(lián)網(wǎng)行業(yè)對大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫集群的響應(yīng)速度、可擴(kuò)展性和查詢的整體性能都提出了更高的要求。由于大數(shù)據(jù)業(yè)務(wù)的多樣化發(fā)展，有越來越多的業(yè)務(wù)系統(tǒng)的需求開始發(fā)生了變化，所以如何提高大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理及查詢的效率，是目前新的研究方向。

1.1 研究現(xiàn)狀。海量數(shù)據(jù)的分布式查詢技術(shù)目前已得到廣泛應(yīng)用，目前主流實(shí)現(xiàn)有如下三種方式：（1）傳統(tǒng)關(guān)系型數(shù)據(jù)庫分布式查詢。傳統(tǒng)關(guān)系型數(shù)據(jù)庫的分布式查詢主要存在于網(wǎng)絡(luò)環(huán)境中，由于數(shù)據(jù)的分布性，關(guān)系數(shù)據(jù)庫一次查詢所操縱的對象可能分布于不同的網(wǎng)絡(luò)節(jié)點(diǎn)中，由此帶來的開銷和執(zhí)行速度就會與Hbase（基于列存儲）不一樣，并且查詢優(yōu)化的所考慮的因素很復(fù)雜，節(jié)點(diǎn)間的通信代價和分布式處理成為不可回避的問題[1]。此外，傳統(tǒng)關(guān)系數(shù)據(jù)庫在分布式查詢時做了太多的事情，比如事務(wù)，B+索引等，導(dǎo)致關(guān)系數(shù)據(jù)庫本身代碼很復(fù)雜，同時對于海量數(shù)據(jù)的查詢比較慢[2]。而對于很多業(yè)務(wù)場景來說，查詢可能只用到數(shù)據(jù)庫的部分功能，卻要初始化復(fù)雜操作所要用到的代碼。所以，傳統(tǒng)關(guān)系數(shù)據(jù)庫并不適用于大數(shù)據(jù)環(huán)境下的分布式查詢。（2）Apache Hadoop Hive分布式查詢。Hadoop Hive是一種數(shù)據(jù)分析框架，可以支持通過類似SQL語句的語法來操作Hbase中的數(shù)據(jù)。大多數(shù)企業(yè)都有對結(jié)構(gòu)化查詢語言（SQL）有豐富經(jīng)驗(yàn)的員工，Hive允許這些數(shù)據(jù)庫開發(fā)人員或者數(shù)據(jù)分析人員在無需了解Java編程語言或者Hbase API的情況下使用Hbase數(shù)據(jù)庫。但是Hive不能完全兼容現(xiàn)有的關(guān)系型數(shù)據(jù)庫，所以執(zhí)行SQL的速度比較慢，從而導(dǎo)致查詢效率不高。尤其是對于那些實(shí)時、簡單的查詢，使用Hive可能會帶來很多額外的開銷，如：查詢的初始化、變量的轉(zhuǎn)換以及其他冗余且耗時的操作。雖然目前已經(jīng)有一些公司采用Hadoop Hive+Hbase對海量數(shù)據(jù)進(jìn)行處理，但是實(shí)驗(yàn)證明對于一些簡單的查詢Hive在沒有執(zhí)行任何實(shí)質(zhì)性的查詢?nèi)蝿?wù)前已經(jīng)有超過10秒的開銷，包括初始化，SQL解析等[2]。（3）“NoSQL”數(shù)據(jù)庫分布式查詢。“Nosql”數(shù)據(jù)庫的典型代表是Hadoop Hbase。Hbase已廣泛應(yīng)用于金融及互聯(lián)網(wǎng)領(lǐng)域，支持眾多業(yè)務(wù)應(yīng)用程序和金融風(fēng)險管理應(yīng)用程序。Hbase的數(shù)據(jù)由HDFS天然的做了數(shù)據(jù)冗余，數(shù)據(jù)的可靠高己經(jīng)證明了HDFS集群的安全性，以及服務(wù)于大數(shù)據(jù)的能力。而且Hbase本身的數(shù)據(jù)讀寫服務(wù)沒有單點(diǎn)的限制，服務(wù)能力可以隨服務(wù)器的增長而線性增長，達(dá)到幾十上百臺的規(guī)模[3]。但是，如果用戶想遷移傳統(tǒng)數(shù)據(jù)庫到Hbase上，就必須遵循Hbase API的編碼規(guī)范。這使得程序開發(fā)人員要用Hbase來提高分布式查詢能力，必須針對Hbase開發(fā)相應(yīng)的接口，從而增加了很多開發(fā)和維護(hù)的工作量。而且對于大多數(shù)從事分布式大數(shù)據(jù)處理的數(shù)據(jù)庫管理人員（DBA）來講，使用SQL這樣易于理解的語言可以使人們能夠更加輕松地使用HBase。相對于學(xué)習(xí)另一套Hbase私有API，開發(fā)人員可以使用熟悉的語言來讀寫數(shù)據(jù)[4]。

1.2 Hbase分布式數(shù)據(jù)庫框架。Hbase是一個稀疏的、分布的、持續(xù)多維度的排序映射數(shù)組，它模仿并提供了基于Google文件系統(tǒng)的Big Table數(shù)據(jù)庫的所有功能[5]。Hbase的目標(biāo)是處理非常龐大的表，可以用普通的計(jì)算機(jī)處理超過10億行數(shù)據(jù)，并且有數(shù)百萬列元素組成的數(shù)據(jù)表。為了提高數(shù)據(jù)可靠性和系統(tǒng)的健壯性，Hbase使用HDFS分布式文件系統(tǒng)或者Hadoop作為其存儲基礎(chǔ)，其服務(wù)器體系結(jié)構(gòu)遵循簡單的主從服務(wù)器架構(gòu)。Hbase由一個HMaster主服務(wù)器協(xié)調(diào)一個或多個Hregion服務(wù)器組成的集群，同時也依賴于Zookeeper。在針對Hbase的應(yīng)用中，涉及到角色依次為：Client，Zookeeper，HMaster，HRegionServer。他們在Hbase體系結(jié)構(gòu)中各司其職并且共同提供了Hbase分布式存儲及查詢服務(wù)[6]。

1.3 基于Hbase的分布式查詢應(yīng)用存在的問題。Hbase分布式數(shù)據(jù)庫數(shù)據(jù)存儲具有一定的哈希性質(zhì)，非常適合處理Key/Value類型的數(shù)據(jù)以及結(jié)構(gòu)稀疏的大規(guī)模數(shù)據(jù)。一次寫入多次讀取是Hbase數(shù)據(jù)庫最大的特色，而這種特色正好滿足分析系統(tǒng)的要求[7]。通過對Hbase分布式數(shù)據(jù)庫進(jìn)行的性能測試和分析，我們了解到Hbase在執(zhí)行大數(shù)據(jù)量的查詢?nèi)蝿?wù)時提交Scan的操作耗時較長，影響到了系統(tǒng)的處理并行任務(wù)的響應(yīng)時間。不管是在客戶端還是在服務(wù)器端，查詢?nèi)蝿?wù)初始化的時間過長導(dǎo)致整個實(shí)時查詢操作的響應(yīng)時間增加，影響了Hbase數(shù)據(jù)庫并行處理查詢?nèi)蝿?wù)的能力。此外，大多數(shù)企業(yè)針對大數(shù)據(jù)應(yīng)用的程序和處理邏輯都是基于傳統(tǒng)的關(guān)系數(shù)據(jù)庫上的SQL語句，所以使傳統(tǒng)數(shù)據(jù)庫在不改變其應(yīng)用程序和處理邏輯的情況下遷移到大數(shù)據(jù)Hbase平臺，將是未來大數(shù)據(jù)平臺研究的一個全新的發(fā)展方向。

2 基于Hbase的大數(shù)據(jù)查詢優(yōu)化研究

Hbase本身提供的API中，只有Scan是用來查詢數(shù)據(jù)的，這使得程序開發(fā)人員要用Hbase來提高分布式查詢能力，必須針對Hbase開發(fā)相應(yīng)的接口，從而增加了很多開發(fā)和維護(hù)的工作量?，F(xiàn)有的基于Hbase的SQL解決方案（如Hive等）有很多局限性，并且當(dāng)數(shù)據(jù)量變大時會遇到阻礙，查詢效率也隨之降低[8]。所以本文的研究目標(biāo)就是為了兼容以前從關(guān)系型數(shù)據(jù)庫中查詢數(shù)據(jù)的接口，讓Hbase可以通過標(biāo)準(zhǔn)SQL語句來查詢Hbase表中的數(shù)據(jù)。因此，我們需要將SQL語句轉(zhuǎn)成Hbase的Scan。本文研究計(jì)劃基于Hbase重新設(shè)計(jì)并實(shí)現(xiàn)SQL解析引擎，即在HBase上提供SQL API接口。Hbase中有一個類似MapReduce的高級分析組件名為協(xié)處理器（Coprocessor）[9]。Hbase協(xié)處理器是一套通信框架，能夠在客戶端向RegionServer注入代碼并執(zhí)行獲取結(jié)果。本文的前期研究通過對Hbase協(xié)處理器的測試以及簡單實(shí)驗(yàn)，證明這種設(shè)計(jì)方案是可以實(shí)現(xiàn)的。

2.1 分布式SQL解析引擎。本文對Hbase的查詢優(yōu)化研究運(yùn)用SQL解析引擎技術(shù)，使目前主流的分布式數(shù)據(jù)庫Hbase支持企業(yè)現(xiàn)有的復(fù)雜數(shù)據(jù)庫查詢應(yīng)用?；贖base的SQL解析引擎能夠?yàn)镠base提供企業(yè)級的分布式處理能力，可以將SQL查詢?nèi)蝿?wù)的工作負(fù)載分配給多個分布式處理單元。同時可以將企業(yè)級分布式數(shù)據(jù)查詢引入到業(yè)務(wù)分析應(yīng)用中，使得用戶可以基于Hbase分布式數(shù)據(jù)庫集群并采用SQL編程模型來處理海量數(shù)據(jù)。

Hbase數(shù)據(jù)庫對SQL解析引擎的支持主要解決部署在現(xiàn)有大數(shù)據(jù)平臺上的Hbase查詢應(yīng)用面臨的性能瓶頸，以及傳統(tǒng)關(guān)系數(shù)據(jù)庫查詢向大數(shù)據(jù)分布式查詢平臺的遷移。主要實(shí)現(xiàn)步驟及功能包括：（1）基于Hbase API，研究并設(shè)計(jì)符合SQL規(guī)范的SQL解析引擎，使得應(yīng)用程序開發(fā)者可以應(yīng)用基于Hbase SQL解析引擎的分布式查詢達(dá)到與傳統(tǒng)關(guān)系型數(shù)據(jù)庫SQL相同的效果。（2）擴(kuò)展Hbase協(xié)處理器API，使SQL解析引擎可以與Hbase實(shí)現(xiàn)無縫集成，以滿足變化的的查詢負(fù)載管理的要求。（3）對應(yīng)用程序編程接口（API）的支持：Apache Hadoop的子項(xiàng)目包括Hadoop MapReduce API，Hive和Spark；利用Apache Hadoop數(shù)據(jù)訪問框架來連接分布式文件系統(tǒng)和數(shù)據(jù)庫架構(gòu)，從而避免了現(xiàn)有數(shù)據(jù)的遷移，主要研究對HDFS，GPFS的支持。

最后，我們還將對大數(shù)據(jù)環(huán)境下基于Hbase的分布式SQL解析引擎進(jìn)行性能測試及調(diào)優(yōu)。

2.2 系統(tǒng)架構(gòu)設(shè)計(jì)。本文的設(shè)計(jì)將基于Hbase分布式數(shù)據(jù)庫，設(shè)計(jì)并實(shí)現(xiàn)SQL解析引擎，然后通過Hbase協(xié)處理器框架提供的API注入到Hbase服務(wù)器并且部署到HRegionServer上，作為Hbase數(shù)據(jù)查詢的分布式SQL解析引擎，即：Hbase Distributed SQL Parse Engine，簡稱Hbase DSPE。Hbase DSPE中包含四大核心模塊：（1）DSPE Client（客戶端）：提供基于JDBC的SQL客戶端。DSPE Client部署在Hbase客戶端，其封裝了對JDBC的實(shí)現(xiàn)，同時將用戶的SQL進(jìn)行必要的檢查，并且轉(zhuǎn)換成對Hbase友好的SQL，如包含Row Key條件的Select查詢語句。（2）DSPE Master（主服務(wù)器）：提供分布式SQL解析引擎。DSPE Master部署在Hbase的HRegionServer上，可以將DSPE客戶端提交過來的SQL查詢請求進(jìn)行解析，轉(zhuǎn)換為一個或多個HBase能夠識別的Scan或者Put操作（Schema轉(zhuǎn)換，SQL schema轉(zhuǎn)換為底層Hbase中數(shù)據(jù)表的Schema，通過解析SQL語句的方式實(shí)現(xiàn)查詢或者操作Hbase的數(shù)據(jù)）。如果是查詢請求，就利用Scan編排執(zhí)行并獲取數(shù)據(jù)，然后將獲取回來的數(shù)據(jù)再根據(jù)SQL進(jìn)行過濾和計(jì)算，以生成標(biāo)準(zhǔn)的JDBC結(jié)果集，返回給客戶端。如果是其他請求，那么就將Hbase的操作結(jié)果返回給客戶端。整個SQL語句解析與執(zhí)行完成后的組裝通過Hbase協(xié)處理器實(shí)現(xiàn)。（3）DSPE Coprocessor（協(xié)處理器）：提供DSPE和Hbase集成的API，通過Hbase協(xié)處理器實(shí)現(xiàn)。（4）DSPE Common Interface（通用接口）：提供公共基礎(chǔ)類庫以及SQL節(jié)點(diǎn)的Java對象。DSPE Common Interface模塊也包含一些公共的基礎(chǔ)Bean，比如用來表征一行記錄的類（Record Class），DSPE Client和DSPE Master都會依賴其提供的類庫以及API。

圖1是HbaseDSPE中四個主要模塊的組織架構(gòu)圖：

圖1 DSPE中四個模塊的組織架構(gòu)圖

2.3 各模塊詳細(xì)設(shè)計(jì)：（1）DSPE客戶端。DSPE Client提供了一個客戶端可嵌入的JDBC驅(qū)動。因?yàn)閷?shí)現(xiàn)了SQL語言查詢，客戶端可以不再使用HBase自帶的Client API，而是使用DSPE Client，從而使客戶端所需編寫的代碼量大幅度降低，同時也使Hbase API的易用性、可擴(kuò)展性大大提高。DSPE Client客戶端的設(shè)計(jì)主要包含以下幾個部分：JDBC連接以及驅(qū)動開發(fā)，SQL提交工具，輸入輸出的壓縮與加密，與ZooKeeper的接口等。此外，DSPE Client也會維護(hù)一些Cache來加快對Hbase的訪問（使用Hbase的HMemstore），比如HRegion的位置信息。（2）DSPE主服務(wù)器。DSPE Master（主服務(wù)器）是本設(shè)計(jì)方案的核心，其中包括DSPE的核心組件SQL解析引擎。DSPE Master的設(shè)計(jì)基于Hbase API，將DSPE Client提交過來的SQL查詢請求進(jìn)行解析，轉(zhuǎn)換為一個或多個HBase能夠識別的Scan（Schema轉(zhuǎn)換，SQL Schema轉(zhuǎn)換為底層Hbase中數(shù)據(jù)表的Schema，通過解析SQL語句的方式實(shí)現(xiàn)Scan Hbase的數(shù)據(jù)），利用Scan編排執(zhí)行并獲取數(shù)據(jù)，然后將獲取回來的數(shù)據(jù)再根據(jù)SQL進(jìn)行過濾和計(jì)算，以生成標(biāo)準(zhǔn)的JDBC結(jié)果集，返回給客戶端。整個SQL語句解析與執(zhí)行完成后的組裝通過Hbase協(xié)處理器實(shí)現(xiàn)。從而達(dá)到直接使用HBase API、Coprocessor協(xié)處理器與自定義過濾器以提高查詢效率。DSPE Master實(shí)現(xiàn)的主要功能模塊有：SQL解析引擎、SQL語法節(jié)點(diǎn)（對象）、多線程分布式查詢、查詢結(jié)果緩存以及對事務(wù)（Transaction）的有限支持。（3）DSPE協(xié)處理器。DSPE協(xié)處理器的實(shí)現(xiàn)基于Hbase 協(xié)處理器API，將DSPE Master封裝成為一個Coprocessor Observer。同時，利用Coprocessor EndPoint實(shí)現(xiàn)元數(shù)據(jù)（Metadata）的處理（類似于Hive中對元數(shù)據(jù)的處理，主要用來做性能調(diào)優(yōu)），并部署在Hbase的HRegionServer上來實(shí)現(xiàn)接收DSPE客戶端的請求。（4）DSPE通用接口。DSPE通用接口的實(shí)現(xiàn)主要基于Hbase公共基礎(chǔ)類庫API，提供DSPE需要的公共基礎(chǔ)類庫以及SQL節(jié)點(diǎn)的Java對象。DSPE Common Interface模塊也包含一些公共的基礎(chǔ)Bean，比如用來表征一行記錄的類（Record Class），DSPE Client和DSPE Master都會依賴其提供的類庫以及API。此外，還采用開放式架構(gòu)以支持Hadoop Hbase以外的其他規(guī)范，如Hadoop分布式文件系統(tǒng)（HDFS）異構(gòu)開發(fā)環(huán)境以及編程模型如Spark。（5）DSPE的查詢處理流程及性能測試。DSPE可以通過標(biāo)注SQL語句來查詢Hbase中的表數(shù)據(jù)，并且支持

為了驗(yàn)證Hbase DSPE在大數(shù)據(jù)環(huán)境下的查詢性能，我們使用大規(guī)模的數(shù)據(jù)對Hbase DSPE進(jìn)行性能測試（1000萬條記錄行數(shù)），并且針對Hive以及Hbase本身進(jìn)行了基準(zhǔn)比較測試。測試環(huán)境由6臺機(jī)器組成Hbase集群，并且部署Hbase DSPE，同時在Hbase集群上安裝Hive，使Hbase集群其同時兼做Hive集群。我們可以從表1中看出Hbase DSPE的查詢性能要勝過Hive近2.5倍。

3 結(jié)束語

本文設(shè)計(jì)的基于Hbase的SQL解析引擎將提供與傳統(tǒng)SQL編程模型完全兼容的分布式查詢平臺，并且直接使用HBase API和協(xié)處理器（Coprocessor），從而實(shí)現(xiàn)向外擴(kuò)展的大數(shù)據(jù)分布式處理機(jī)制。通過性能測試我們可以看Hbase DSPE相對于Hive在查詢性能上的優(yōu)越性，并且對于同樣使用了HBase API、協(xié)同處理器及自定義過濾器的Impala與OpenTSDB來說，Hbase DSPE進(jìn)行相似查詢的速度預(yù)期也會更快。由于使用分布式批處理查詢，Hbase DSPE可支持超過1000個并發(fā)的查詢?nèi)蝿?wù)，將大幅度提高服務(wù)器的利用率。此外，Hbase DSPE還可以應(yīng)用Hbase分布式數(shù)據(jù)庫的諸多高級特性，使用戶對SQL查詢的優(yōu)化可以通過配置Hbase的各種參數(shù)來實(shí)現(xiàn)，而不需要進(jìn)行復(fù)雜的SQL查詢語句的優(yōu)化。因此，基于Hbase的SQL解析引擎DSPE是值得進(jìn)一步深入研究的。

Hbase DSPE未來還計(jì)劃支持如Cloudera，Spark等分布式數(shù)據(jù)庫以及大數(shù)據(jù)編程模型，并且逐步在大數(shù)據(jù)領(lǐng)域的分布式查詢應(yīng)用中進(jìn)行推廣、應(yīng)用，形成開放的DSPE API接口，努力成為公共的大數(shù)據(jù)分布式查詢解決方案。

參考文獻(xiàn)：

[1]張旭中.分布式數(shù)據(jù)庫查詢優(yōu)化技術(shù)[D].電子科技大學(xué)，2003.

[2]Jeffrey Dean，Sanjay Ghemawat.MapReduce：Simplified Data Processing on Large Clusters.Google，Inc，2004.

[3]Lars George.“Hbase：The Definitive Guide”.1st edition，O'Reilly Media，2008.

[4]http：//hbase.apache.org/book/book.html.Apache Hbase Ref Guide.Hbase Website，2012.

[5]李崇欣.分布式數(shù)據(jù)庫HBase快照的設(shè)計(jì)與實(shí)現(xiàn)[D].浙江大學(xué)，2011.

[6]Mehul Nalin Vora.Hadoop-HBase for Large-Scale Data.Innovation Labs，PERC Tata Consultancy Services（TCS）Ltd.Mumbai，India，2011.

[7]Chongxin Li.Transforming Relational Database into HBase：A Case Study.Zhejiang University，Hangzhou，China，2011.

[8]Hive.http：//hive.apache.org.

[9]Lars George.“Hbase：The Definitive Guide”.1st edition，O'Reilly Media，2008.

作者簡介：杜曉東（1983.09-），男，內(nèi)蒙古呼和浩特人，現(xiàn)就職于IBM系統(tǒng)與科技開發(fā)中心，研發(fā)工程師，軟件工程碩士學(xué)位，研究方向：云計(jì)算、大數(shù)據(jù)環(huán)境下的高性能網(wǎng)格計(jì)算。

作者單位：上海大學(xué) 計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200122