一種QL腳本的解析模塊的分析研究

摘要：作為MapReduce系統(tǒng)的核心組件的腳本解析模塊，它是分布式云計(jì)算平臺(tái)實(shí)現(xiàn)的基礎(chǔ)。該模塊的實(shí)現(xiàn)是基于腳本編程接口，在此過程中使用的語言是QL（Query Language）。QL腳本通過腳本解析模塊實(shí)現(xiàn)解析之后，事件執(zhí)行模塊則由參數(shù)通過配置事件的方式一一實(shí)現(xiàn)。下面就這種腳本語言的實(shí)現(xiàn)過程作了詳細(xì)的分析。

關(guān)鍵詞：MapReduce；腳本解析；QL；事件配置

中圖分類號：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號：1009-3044（2014）19-4361-03

An Analysis of Parsing Module QL Script

CHEN Hao

（Guangdong Technical College of Water Resources and Electric Engineering， Computer Information Engineering， Guangzhou 510925， China）

Abstract：MapReduce system as a core component of the script parsing module， which is the basis for a distributed cloud computing platform implementation. The module is based on the realization scripting interface， the language used in this process is QL （Query Language）. After the QL script by script parsing module for parsing， event execution module configured by the parameters of events come true. The following detailed analysis of the implementation process of this scripting language.

Key words：MapReduce； script parsing； QL； event configuration

1 QL腳本的設(shè)計(jì)理念

QL腳本在設(shè)計(jì)方面，充分考慮了與現(xiàn)有數(shù)據(jù)庫查詢語言SQL相結(jié)合的特點(diǎn)，QL腳本無疑可以被看作是對數(shù)據(jù)庫查詢語句SQL的一種轉(zhuǎn)型和衍生?；趯ΜF(xiàn)有技術(shù)的可擴(kuò)展性和覆蓋性分析，使用QL腳本來定義關(guān)鍵詞的過程能夠適應(yīng)市場上各種網(wǎng)絡(luò)流量統(tǒng)計(jì)的不同類型，當(dāng)然必須對設(shè)計(jì)過程中對關(guān)鍵詞的靈活擴(kuò)展性作以充分性的考慮，以便于后期對QL腳本的擴(kuò)容升級，更好的支撐云計(jì)算平臺(tái)的綜合應(yīng)用。

2 QL腳本模塊的分析

QL腳本模塊解析可以分為以下幾大模塊：解析引擎（ScritEngine）、腳本語句解釋器（ScritParser）、比較運(yùn)算模塊（Compare）、算術(shù)運(yùn)算模塊（Arithmetic）、邏輯運(yùn)算模塊（ExpressionEngine）、聚合運(yùn)算模塊（Aggregate）、字段運(yùn)算模塊（Field）、配置模塊（Configuration）等。圖1是QL腳本解析模塊的整體結(jié)構(gòu)圖。

QL腳本解析的實(shí)現(xiàn)過程如下：系統(tǒng)的入口為ScriptEngine，它的功能是讀取QL語言腳本，并將腳本逐行傳遞給腳本解析器。腳本解析器按照每行的QL語言腳本首字母對語句進(jìn)行分類，根據(jù)不同語句的類別調(diào)用不同的解釋模塊對語句進(jìn)行解析。語句解析逐行進(jìn)行，如腳本中含有子句等其他復(fù)雜句型，腳本解析器會(huì)調(diào)用其他的處理模塊，如調(diào)用聚合運(yùn)算模塊對腳本進(jìn)行相應(yīng)的處理。

3 配置文件的定義及解析過程

一個(gè)完整的QL語言腳本包括配置文件、原始數(shù)據(jù)文件、輸出結(jié)果保存位置和統(tǒng)計(jì)執(zhí)行語句。模塊在運(yùn)行時(shí)，首先需要對配置文件進(jìn)行解析以獲取數(shù)據(jù)格式，然后對輸入數(shù)據(jù)和輸出數(shù)據(jù)路徑進(jìn)行解析，最后解析統(tǒng)計(jì)執(zhí)行語句，并將解析的命令傳遞給作業(yè)執(zhí)行模塊。

編寫QL語言腳本時(shí)，首先應(yīng)指定配置文件，指明要處理的數(shù)據(jù)格式。配置文件的格式如下：列序號、名稱、描述、數(shù)據(jù)類型。根據(jù)配置文件中的格式，系統(tǒng)對輸入數(shù)據(jù)進(jìn)行匹配，從而對指定列序號的數(shù)據(jù)進(jìn)行操作。配置文件支持如下的關(guān)鍵詞：

表1 配置文件關(guān)鍵詞列表[關(guān)鍵字＼&功能＼&ResetColumn語句＼&用于重新載入列配置文件，切換不同的配置文件＼&createColumn語句＼&用于創(chuàng)建一個(gè)新的配置文件，并載入這個(gè)配置文件＼&AddColumn語句＼&對當(dāng)前的配置文件進(jìn)行增加列的操作＼&]

如上表所示，目前配置文件中共支持三個(gè)關(guān)鍵詞，分別為：ResetColumn用于重新載入列配置文件，可用于切換不同的配置文件。CreateColumn用于在當(dāng)前腳本中創(chuàng)建一個(gè)新的配置文件。AddColumn對當(dāng)前的配置文件進(jìn)行增加列的操作。

4 關(guān)鍵詞解析

QL語言中的關(guān)鍵詞指的是在每一句QL腳本句首的單詞，每個(gè)語句的功能由此關(guān)鍵詞來確定，在解析時(shí)腳本解析模塊會(huì)根據(jù)該關(guān)鍵詞來進(jìn)行下一步的判斷。目前QL語言支持的關(guān)鍵詞為：Process，Select，Count，CountD如下表所示。

表2 腳本關(guān)鍵詞列表

[分類＼&關(guān)鍵字＼&功能簡介＼&分組聚合統(tǒng)計(jì)＼&Process＼&對各分組求集合函數(shù)值＼&選擇字段＼&Select＼&選擇字段、字串、表達(dá)式輸出結(jié)果＼&多重計(jì)算＼&Count＼&同時(shí)對多個(gè)邏輯表達(dá)式計(jì)數(shù)＼&去重計(jì)算＼&Countd＼&對指定字段去重計(jì)算＼&]

1） Process 語句endprint

功能介紹：提供統(tǒng)計(jì)各分組內(nèi)的聚合函數(shù)運(yùn)算結(jié)果的功能。Process語句支持多種表達(dá)式，表達(dá)式中必須包含有函數(shù)。且支持多種子句：where 子句、groijpby 子句、order by 子句、tofile 子句，having 子句' limit 子句。

在腳本解析時(shí)，Process類接收以"Process"開頭的一行腳本，從后往前尋找各個(gè)子句，并將該行腳本切割為各個(gè)子句，創(chuàng)建子句解釋類的對象處理各個(gè)子句。Process語句腳本解析過程按照從后往前的順序解析子句。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方法，傳給作業(yè)執(zhí)行模塊。

2） Select 語句

功能介紹：用于選擇某列或多列輸出。提供選擇某個(gè)字段、多個(gè)字段四則運(yùn)算或字段運(yùn)算的功能。

Select語句類關(guān)系與Process的類似，按照從后往前的順序解析子句。Select語句支持多重輸出功能，語句中可通過花括號指定多重輸出條件和輸出文件名。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方式，傳入作業(yè)執(zhí)行模塊。

3） Count 語句

功能介紹：提供同時(shí)計(jì)數(shù)多個(gè)值的功能。

Count語句設(shè)計(jì)為同時(shí)計(jì)數(shù)多個(gè)值的功能。Count后可跟多個(gè)邏輯表達(dá)式，在一次讀取數(shù)據(jù)的同時(shí)，計(jì)數(shù)滿足各個(gè)表達(dá)式條件的記錄數(shù)。

4） CountD 語句

功能介紹：提供對指定字段的去重計(jì)數(shù)功能。

CountD語句支持where子句，group by子句和tofile子句。CoimtD語句的主要功能是以符合where指定條件的話單為對象，按照groipby分組，對CountD指定的字段進(jìn)行去重計(jì)數(shù)。

以上的QL關(guān)鍵詞只是定義了該語句的功能范圍，實(shí)際統(tǒng)計(jì)的任務(wù)需要其他運(yùn)算邏輯語句來組成更為復(fù)雜的操作。全部的關(guān)鍵詞都支持算術(shù)運(yùn)算，包含加減乘除四種運(yùn)算，并且可以使用括號定義運(yùn)算優(yōu)先級。當(dāng)沒有括號時(shí)，將從左到右進(jìn)行計(jì)算，乘除運(yùn)算優(yōu)先于加減運(yùn)算。

5 事件執(zhí)行模塊

事件執(zhí)行模塊的功能是接收腳本解析模塊傳遞過來的參數(shù)，根據(jù)參數(shù)選擇不同的Map和Reduce類，并配置和提交統(tǒng)計(jì)事件到Hadoop框架。事件執(zhí)行模塊內(nèi)的各模塊基本都遵循Hadoop的Map Reduce框架的接口定義。主要任含以下幾個(gè)模塊：輸入輸出模塊、Map模塊、Partition模塊、Combine模塊和Reduce模塊。

事件執(zhí)行過程示意圖如下：

圖2 事件執(zhí)行過程示意圖

每一行語句可解釋為一個(gè)可執(zhí)行的MapReduce的事件，事件執(zhí)行組件配置好事件后提交給Hadoop的JobTracker，由Hadoop的Map Reduce框架執(zhí)行事件，Map模塊讀取原始數(shù)據(jù)分塊，Partition模塊和Combine模塊對Map模塊輸出的統(tǒng)計(jì)結(jié)果進(jìn)行合并處理，最后提交給Reduce模塊最終輸出至HDFS。

1） 輸入輸出模塊

輸入模塊負(fù)責(zé)讀入文件分片并將其分割成記錄，適用于讀取流記錄這種半結(jié)構(gòu)化文件。本模塊的輸入為網(wǎng)絡(luò)流量記錄文件，輸出為統(tǒng)計(jì)任務(wù)的鍵/值對，主鍵為本條記錄在文件中的字節(jié)偏移量，值為流量記錄值。本模塊只用于讀取半結(jié)構(gòu)化的文本文件，輸入模塊輸出的鍵/值對，通過引用傳遞給Map模塊。

輸出模塊根據(jù)指定的字段分隔符和行分隔符輸出結(jié)果。本模塊與輸入模塊類似，可以將記錄以行的形式存入文本文件中。其輸入為Reduce模塊產(chǎn)生的鍵/值對。輸出為最終結(jié)果文件，存儲(chǔ)在HDFS上。

2） Map 模塊

Map模塊的功能為從整條網(wǎng)絡(luò)流量記錄中取出指定字段，經(jīng)過提取、計(jì)算等操作后，產(chǎn)生鍵/值對，并將統(tǒng)計(jì)的初步結(jié)果寫到計(jì)算機(jī)本地磁盤。Map模塊繼承了 Hadoop框架的Map模塊，并根據(jù)處理的網(wǎng)絡(luò)流量記錄格式進(jìn)行了一些定制。

根據(jù)統(tǒng)計(jì)功能的不同，目前系統(tǒng)包含如下兩個(gè)Map部件：GrovpMapper和CountMapper。GroipMapper用于處理分組后的集合統(tǒng)計(jì)，分組條件作為主鍵，Map端集合運(yùn)算結(jié)果作為值進(jìn)行輸出。CountMapper用于處理多重計(jì)數(shù)的統(tǒng)計(jì)需求。Map模塊的輸入為輸入模塊輸出的鍵/值對，Map模塊對相同的主鍵的鍵值進(jìn)行合并處理后，輸出新的鍵/值對，鍵為分組的條件，值為該分組對應(yīng)的值。

3） 數(shù)據(jù)分割模塊（Partition）

Partition模塊繼承了 Hadoop框架定義的Partition模塊。利用該模塊，系統(tǒng)將Map輸出的結(jié)果進(jìn)行初步劃分，可以保證某一取值范圍的中間結(jié)果送到同一個(gè)Reduce任務(wù)中進(jìn)行處理。劃分時(shí)采用對key進(jìn)行hash運(yùn)算的方式，在保證正確性的同時(shí)一定程度上簡化Reduce的過程。劃分的個(gè)數(shù)是由用戶自定義的Reduce任務(wù)的個(gè)數(shù)。

4） 數(shù)據(jù)合并模塊（Combine）

Combine模塊用于計(jì)算機(jī)本地中間文件的合并。該模塊通常運(yùn)行在Reduce操作前，對之前模塊的結(jié)果中相同主鍵的鍵/值對進(jìn)行合并。Combine模塊的處理步驟與Reduce的操作是相似的，但是Combine模塊通常在Map模塊運(yùn)行后進(jìn)行，它的出現(xiàn)可以有效的減少集群內(nèi)的數(shù)據(jù)傳輸。因?yàn)樵贛ap Reduce運(yùn)行的過程中，Map模塊和Reduce不一定在同一運(yùn)算節(jié)點(diǎn)進(jìn)行，該模塊可以將Map輸出的結(jié)果進(jìn)行初步合并，減少輸入至Reduce模塊的文件大小。

5） Reduce 模塊

Reduce模塊繼承了 Hadoop框架定義的Reduce模塊，實(shí)現(xiàn)的功能是對前一模塊統(tǒng)計(jì)的中間結(jié)果進(jìn)行合并，輸出最終結(jié)果。處理流程為：Map模塊的中間結(jié)果被Combine模塊和Partition模塊處理以后，存入運(yùn)算節(jié)點(diǎn)的本地磁盤臨時(shí)文件內(nèi)。集群主節(jié)點(diǎn)通知Reduce模塊去對應(yīng)的運(yùn)算節(jié)點(diǎn)讀取文件。目前系統(tǒng)所有Map模塊生成的中間結(jié)果都按主鍵值被Hash函數(shù)分成N份（N是系統(tǒng)用戶指定的Reduce數(shù)量），N個(gè)Reduce任務(wù)分別負(fù)責(zé)不同的主鍵取值區(qū)間。因此，所有的Reduce任務(wù)需要按照主鍵的取值范圍去對應(yīng)的節(jié)點(diǎn)讀取Map輸出的中間結(jié)果，并將其形成鍵/值的列表。讀取后，再次按照主鍵進(jìn)行合并，并進(jìn)行函數(shù)計(jì)算、算術(shù)運(yùn)算、邏輯運(yùn)算等操作。最終由輸出模塊將最終的鍵/值對輸出到HDFS。

5 結(jié)束語

QL語言設(shè)計(jì)目的是能讓了解該語言的普通用戶，即使在完全不懂JAVA編程技能的情況下，能夠在云計(jì)算平臺(tái)系統(tǒng)上進(jìn)行分

布式計(jì)算。因?yàn)樽鳛殚_源項(xiàng)目的Hadoop為用戶提供了眾多的JAVA編程接口，但是很多用戶并不具備編寫完整程序的能力，而且針對不同的分析任務(wù)都編寫相應(yīng)的程序成本較高。通過QL語言可以較好的解決這一難題，用戶只要在掌握基本的語法的情況下即可實(shí)現(xiàn)分布式的云計(jì)算。

參考文獻(xiàn)：

[1] 萬至臻.基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2008.

[2] 謝桂蘭.基于Hadoop MapReduce模型的應(yīng)用研究[J].微型機(jī)與應(yīng)用，2010，4.

[3] 陳香香.云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D]. 重慶：重慶大學(xué)，2011.

[4] 張建平.云計(jì)算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究[D]. 南京：南京郵電大學(xué)，2013.

功能介紹：提供統(tǒng)計(jì)各分組內(nèi)的聚合函數(shù)運(yùn)算結(jié)果的功能。Process語句支持多種表達(dá)式，表達(dá)式中必須包含有函數(shù)。且支持多種子句：where 子句、groijpby 子句、order by 子句、tofile 子句，having 子句' limit 子句。

在腳本解析時(shí)，Process類接收以"Process"開頭的一行腳本，從后往前尋找各個(gè)子句，并將該行腳本切割為各個(gè)子句，創(chuàng)建子句解釋類的對象處理各個(gè)子句。Process語句腳本解析過程按照從后往前的順序解析子句。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方法，傳給作業(yè)執(zhí)行模塊。

2） Select 語句

功能介紹：用于選擇某列或多列輸出。提供選擇某個(gè)字段、多個(gè)字段四則運(yùn)算或字段運(yùn)算的功能。

Select語句類關(guān)系與Process的類似，按照從后往前的順序解析子句。Select語句支持多重輸出功能，語句中可通過花括號指定多重輸出條件和輸出文件名。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方式，傳入作業(yè)執(zhí)行模塊。

3） Count 語句

功能介紹：提供同時(shí)計(jì)數(shù)多個(gè)值的功能。

Count語句設(shè)計(jì)為同時(shí)計(jì)數(shù)多個(gè)值的功能。Count后可跟多個(gè)邏輯表達(dá)式，在一次讀取數(shù)據(jù)的同時(shí)，計(jì)數(shù)滿足各個(gè)表達(dá)式條件的記錄數(shù)。

4） CountD 語句

功能介紹：提供對指定字段的去重計(jì)數(shù)功能。

CountD語句支持where子句，group by子句和tofile子句。CoimtD語句的主要功能是以符合where指定條件的話單為對象，按照groipby分組，對CountD指定的字段進(jìn)行去重計(jì)數(shù)。

以上的QL關(guān)鍵詞只是定義了該語句的功能范圍，實(shí)際統(tǒng)計(jì)的任務(wù)需要其他運(yùn)算邏輯語句來組成更為復(fù)雜的操作。全部的關(guān)鍵詞都支持算術(shù)運(yùn)算，包含加減乘除四種運(yùn)算，并且可以使用括號定義運(yùn)算優(yōu)先級。當(dāng)沒有括號時(shí)，將從左到右進(jìn)行計(jì)算，乘除運(yùn)算優(yōu)先于加減運(yùn)算。

5 事件執(zhí)行模塊

事件執(zhí)行模塊的功能是接收腳本解析模塊傳遞過來的參數(shù)，根據(jù)參數(shù)選擇不同的Map和Reduce類，并配置和提交統(tǒng)計(jì)事件到Hadoop框架。事件執(zhí)行模塊內(nèi)的各模塊基本都遵循Hadoop的Map Reduce框架的接口定義。主要任含以下幾個(gè)模塊：輸入輸出模塊、Map模塊、Partition模塊、Combine模塊和Reduce模塊。

事件執(zhí)行過程示意圖如下：

圖2 事件執(zhí)行過程示意圖

每一行語句可解釋為一個(gè)可執(zhí)行的MapReduce的事件，事件執(zhí)行組件配置好事件后提交給Hadoop的JobTracker，由Hadoop的Map Reduce框架執(zhí)行事件，Map模塊讀取原始數(shù)據(jù)分塊，Partition模塊和Combine模塊對Map模塊輸出的統(tǒng)計(jì)結(jié)果進(jìn)行合并處理，最后提交給Reduce模塊最終輸出至HDFS。

1） 輸入輸出模塊

輸入模塊負(fù)責(zé)讀入文件分片并將其分割成記錄，適用于讀取流記錄這種半結(jié)構(gòu)化文件。本模塊的輸入為網(wǎng)絡(luò)流量記錄文件，輸出為統(tǒng)計(jì)任務(wù)的鍵/值對，主鍵為本條記錄在文件中的字節(jié)偏移量，值為流量記錄值。本模塊只用于讀取半結(jié)構(gòu)化的文本文件，輸入模塊輸出的鍵/值對，通過引用傳遞給Map模塊。

輸出模塊根據(jù)指定的字段分隔符和行分隔符輸出結(jié)果。本模塊與輸入模塊類似，可以將記錄以行的形式存入文本文件中。其輸入為Reduce模塊產(chǎn)生的鍵/值對。輸出為最終結(jié)果文件，存儲(chǔ)在HDFS上。

2） Map 模塊

Map模塊的功能為從整條網(wǎng)絡(luò)流量記錄中取出指定字段，經(jīng)過提取、計(jì)算等操作后，產(chǎn)生鍵/值對，并將統(tǒng)計(jì)的初步結(jié)果寫到計(jì)算機(jī)本地磁盤。Map模塊繼承了 Hadoop框架的Map模塊，并根據(jù)處理的網(wǎng)絡(luò)流量記錄格式進(jìn)行了一些定制。

根據(jù)統(tǒng)計(jì)功能的不同，目前系統(tǒng)包含如下兩個(gè)Map部件：GrovpMapper和CountMapper。GroipMapper用于處理分組后的集合統(tǒng)計(jì)，分組條件作為主鍵，Map端集合運(yùn)算結(jié)果作為值進(jìn)行輸出。CountMapper用于處理多重計(jì)數(shù)的統(tǒng)計(jì)需求。Map模塊的輸入為輸入模塊輸出的鍵/值對，Map模塊對相同的主鍵的鍵值進(jìn)行合并處理后，輸出新的鍵/值對，鍵為分組的條件，值為該分組對應(yīng)的值。

3） 數(shù)據(jù)分割模塊（Partition）

Partition模塊繼承了 Hadoop框架定義的Partition模塊。利用該模塊，系統(tǒng)將Map輸出的結(jié)果進(jìn)行初步劃分，可以保證某一取值范圍的中間結(jié)果送到同一個(gè)Reduce任務(wù)中進(jìn)行處理。劃分時(shí)采用對key進(jìn)行hash運(yùn)算的方式，在保證正確性的同時(shí)一定程度上簡化Reduce的過程。劃分的個(gè)數(shù)是由用戶自定義的Reduce任務(wù)的個(gè)數(shù)。

4） 數(shù)據(jù)合并模塊（Combine）

Combine模塊用于計(jì)算機(jī)本地中間文件的合并。該模塊通常運(yùn)行在Reduce操作前，對之前模塊的結(jié)果中相同主鍵的鍵/值對進(jìn)行合并。Combine模塊的處理步驟與Reduce的操作是相似的，但是Combine模塊通常在Map模塊運(yùn)行后進(jìn)行，它的出現(xiàn)可以有效的減少集群內(nèi)的數(shù)據(jù)傳輸。因?yàn)樵贛ap Reduce運(yùn)行的過程中，Map模塊和Reduce不一定在同一運(yùn)算節(jié)點(diǎn)進(jìn)行，該模塊可以將Map輸出的結(jié)果進(jìn)行初步合并，減少輸入至Reduce模塊的文件大小。

5） Reduce 模塊

Reduce模塊繼承了 Hadoop框架定義的Reduce模塊，實(shí)現(xiàn)的功能是對前一模塊統(tǒng)計(jì)的中間結(jié)果進(jìn)行合并，輸出最終結(jié)果。處理流程為：Map模塊的中間結(jié)果被Combine模塊和Partition模塊處理以后，存入運(yùn)算節(jié)點(diǎn)的本地磁盤臨時(shí)文件內(nèi)。集群主節(jié)點(diǎn)通知Reduce模塊去對應(yīng)的運(yùn)算節(jié)點(diǎn)讀取文件。目前系統(tǒng)所有Map模塊生成的中間結(jié)果都按主鍵值被Hash函數(shù)分成N份（N是系統(tǒng)用戶指定的Reduce數(shù)量），N個(gè)Reduce任務(wù)分別負(fù)責(zé)不同的主鍵取值區(qū)間。因此，所有的Reduce任務(wù)需要按照主鍵的取值范圍去對應(yīng)的節(jié)點(diǎn)讀取Map輸出的中間結(jié)果，并將其形成鍵/值的列表。讀取后，再次按照主鍵進(jìn)行合并，并進(jìn)行函數(shù)計(jì)算、算術(shù)運(yùn)算、邏輯運(yùn)算等操作。最終由輸出模塊將最終的鍵/值對輸出到HDFS。

5 結(jié)束語

QL語言設(shè)計(jì)目的是能讓了解該語言的普通用戶，即使在完全不懂JAVA編程技能的情況下，能夠在云計(jì)算平臺(tái)系統(tǒng)上進(jìn)行分

布式計(jì)算。因?yàn)樽鳛殚_源項(xiàng)目的Hadoop為用戶提供了眾多的JAVA編程接口，但是很多用戶并不具備編寫完整程序的能力，而且針對不同的分析任務(wù)都編寫相應(yīng)的程序成本較高。通過QL語言可以較好的解決這一難題，用戶只要在掌握基本的語法的情況下即可實(shí)現(xiàn)分布式的云計(jì)算。

參考文獻(xiàn)：

[1] 萬至臻.基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2008.

[2] 謝桂蘭.基于Hadoop MapReduce模型的應(yīng)用研究[J].微型機(jī)與應(yīng)用，2010，4.

[3] 陳香香.云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D]. 重慶：重慶大學(xué)，2011.

[4] 張建平.云計(jì)算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究[D]. 南京：南京郵電大學(xué)，2013.

功能介紹：提供統(tǒng)計(jì)各分組內(nèi)的聚合函數(shù)運(yùn)算結(jié)果的功能。Process語句支持多種表達(dá)式，表達(dá)式中必須包含有函數(shù)。且支持多種子句：where 子句、groijpby 子句、order by 子句、tofile 子句，having 子句' limit 子句。

在腳本解析時(shí)，Process類接收以"Process"開頭的一行腳本，從后往前尋找各個(gè)子句，并將該行腳本切割為各個(gè)子句，創(chuàng)建子句解釋類的對象處理各個(gè)子句。Process語句腳本解析過程按照從后往前的順序解析子句。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方法，傳給作業(yè)執(zhí)行模塊。

2） Select 語句

功能介紹：用于選擇某列或多列輸出。提供選擇某個(gè)字段、多個(gè)字段四則運(yùn)算或字段運(yùn)算的功能。

Select語句類關(guān)系與Process的類似，按照從后往前的順序解析子句。Select語句支持多重輸出功能，語句中可通過花括號指定多重輸出條件和輸出文件名。解析完成后，將所需信息封裝起來，通過作業(yè)配置的方式，傳入作業(yè)執(zhí)行模塊。

3） Count 語句

功能介紹：提供同時(shí)計(jì)數(shù)多個(gè)值的功能。

Count語句設(shè)計(jì)為同時(shí)計(jì)數(shù)多個(gè)值的功能。Count后可跟多個(gè)邏輯表達(dá)式，在一次讀取數(shù)據(jù)的同時(shí)，計(jì)數(shù)滿足各個(gè)表達(dá)式條件的記錄數(shù)。

4） CountD 語句

功能介紹：提供對指定字段的去重計(jì)數(shù)功能。

CountD語句支持where子句，group by子句和tofile子句。CoimtD語句的主要功能是以符合where指定條件的話單為對象，按照groipby分組，對CountD指定的字段進(jìn)行去重計(jì)數(shù)。

以上的QL關(guān)鍵詞只是定義了該語句的功能范圍，實(shí)際統(tǒng)計(jì)的任務(wù)需要其他運(yùn)算邏輯語句來組成更為復(fù)雜的操作。全部的關(guān)鍵詞都支持算術(shù)運(yùn)算，包含加減乘除四種運(yùn)算，并且可以使用括號定義運(yùn)算優(yōu)先級。當(dāng)沒有括號時(shí)，將從左到右進(jìn)行計(jì)算，乘除運(yùn)算優(yōu)先于加減運(yùn)算。

5 事件執(zhí)行模塊

事件執(zhí)行模塊的功能是接收腳本解析模塊傳遞過來的參數(shù)，根據(jù)參數(shù)選擇不同的Map和Reduce類，并配置和提交統(tǒng)計(jì)事件到Hadoop框架。事件執(zhí)行模塊內(nèi)的各模塊基本都遵循Hadoop的Map Reduce框架的接口定義。主要任含以下幾個(gè)模塊：輸入輸出模塊、Map模塊、Partition模塊、Combine模塊和Reduce模塊。

事件執(zhí)行過程示意圖如下：

圖2 事件執(zhí)行過程示意圖

每一行語句可解釋為一個(gè)可執(zhí)行的MapReduce的事件，事件執(zhí)行組件配置好事件后提交給Hadoop的JobTracker，由Hadoop的Map Reduce框架執(zhí)行事件，Map模塊讀取原始數(shù)據(jù)分塊，Partition模塊和Combine模塊對Map模塊輸出的統(tǒng)計(jì)結(jié)果進(jìn)行合并處理，最后提交給Reduce模塊最終輸出至HDFS。

1） 輸入輸出模塊

輸入模塊負(fù)責(zé)讀入文件分片并將其分割成記錄，適用于讀取流記錄這種半結(jié)構(gòu)化文件。本模塊的輸入為網(wǎng)絡(luò)流量記錄文件，輸出為統(tǒng)計(jì)任務(wù)的鍵/值對，主鍵為本條記錄在文件中的字節(jié)偏移量，值為流量記錄值。本模塊只用于讀取半結(jié)構(gòu)化的文本文件，輸入模塊輸出的鍵/值對，通過引用傳遞給Map模塊。

輸出模塊根據(jù)指定的字段分隔符和行分隔符輸出結(jié)果。本模塊與輸入模塊類似，可以將記錄以行的形式存入文本文件中。其輸入為Reduce模塊產(chǎn)生的鍵/值對。輸出為最終結(jié)果文件，存儲(chǔ)在HDFS上。

2） Map 模塊

Map模塊的功能為從整條網(wǎng)絡(luò)流量記錄中取出指定字段，經(jīng)過提取、計(jì)算等操作后，產(chǎn)生鍵/值對，并將統(tǒng)計(jì)的初步結(jié)果寫到計(jì)算機(jī)本地磁盤。Map模塊繼承了 Hadoop框架的Map模塊，并根據(jù)處理的網(wǎng)絡(luò)流量記錄格式進(jìn)行了一些定制。

根據(jù)統(tǒng)計(jì)功能的不同，目前系統(tǒng)包含如下兩個(gè)Map部件：GrovpMapper和CountMapper。GroipMapper用于處理分組后的集合統(tǒng)計(jì)，分組條件作為主鍵，Map端集合運(yùn)算結(jié)果作為值進(jìn)行輸出。CountMapper用于處理多重計(jì)數(shù)的統(tǒng)計(jì)需求。Map模塊的輸入為輸入模塊輸出的鍵/值對，Map模塊對相同的主鍵的鍵值進(jìn)行合并處理后，輸出新的鍵/值對，鍵為分組的條件，值為該分組對應(yīng)的值。

3） 數(shù)據(jù)分割模塊（Partition）

Partition模塊繼承了 Hadoop框架定義的Partition模塊。利用該模塊，系統(tǒng)將Map輸出的結(jié)果進(jìn)行初步劃分，可以保證某一取值范圍的中間結(jié)果送到同一個(gè)Reduce任務(wù)中進(jìn)行處理。劃分時(shí)采用對key進(jìn)行hash運(yùn)算的方式，在保證正確性的同時(shí)一定程度上簡化Reduce的過程。劃分的個(gè)數(shù)是由用戶自定義的Reduce任務(wù)的個(gè)數(shù)。

4） 數(shù)據(jù)合并模塊（Combine）

Combine模塊用于計(jì)算機(jī)本地中間文件的合并。該模塊通常運(yùn)行在Reduce操作前，對之前模塊的結(jié)果中相同主鍵的鍵/值對進(jìn)行合并。Combine模塊的處理步驟與Reduce的操作是相似的，但是Combine模塊通常在Map模塊運(yùn)行后進(jìn)行，它的出現(xiàn)可以有效的減少集群內(nèi)的數(shù)據(jù)傳輸。因?yàn)樵贛ap Reduce運(yùn)行的過程中，Map模塊和Reduce不一定在同一運(yùn)算節(jié)點(diǎn)進(jìn)行，該模塊可以將Map輸出的結(jié)果進(jìn)行初步合并，減少輸入至Reduce模塊的文件大小。

5） Reduce 模塊

Reduce模塊繼承了 Hadoop框架定義的Reduce模塊，實(shí)現(xiàn)的功能是對前一模塊統(tǒng)計(jì)的中間結(jié)果進(jìn)行合并，輸出最終結(jié)果。處理流程為：Map模塊的中間結(jié)果被Combine模塊和Partition模塊處理以后，存入運(yùn)算節(jié)點(diǎn)的本地磁盤臨時(shí)文件內(nèi)。集群主節(jié)點(diǎn)通知Reduce模塊去對應(yīng)的運(yùn)算節(jié)點(diǎn)讀取文件。目前系統(tǒng)所有Map模塊生成的中間結(jié)果都按主鍵值被Hash函數(shù)分成N份（N是系統(tǒng)用戶指定的Reduce數(shù)量），N個(gè)Reduce任務(wù)分別負(fù)責(zé)不同的主鍵取值區(qū)間。因此，所有的Reduce任務(wù)需要按照主鍵的取值范圍去對應(yīng)的節(jié)點(diǎn)讀取Map輸出的中間結(jié)果，并將其形成鍵/值的列表。讀取后，再次按照主鍵進(jìn)行合并，并進(jìn)行函數(shù)計(jì)算、算術(shù)運(yùn)算、邏輯運(yùn)算等操作。最終由輸出模塊將最終的鍵/值對輸出到HDFS。

5 結(jié)束語

QL語言設(shè)計(jì)目的是能讓了解該語言的普通用戶，即使在完全不懂JAVA編程技能的情況下，能夠在云計(jì)算平臺(tái)系統(tǒng)上進(jìn)行分

布式計(jì)算。因?yàn)樽鳛殚_源項(xiàng)目的Hadoop為用戶提供了眾多的JAVA編程接口，但是很多用戶并不具備編寫完整程序的能力，而且針對不同的分析任務(wù)都編寫相應(yīng)的程序成本較高。通過QL語言可以較好的解決這一難題，用戶只要在掌握基本的語法的情況下即可實(shí)現(xiàn)分布式的云計(jì)算。

參考文獻(xiàn)：

[1] 萬至臻.基于MapReduce模型的并行計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2008.

[2] 謝桂蘭.基于Hadoop MapReduce模型的應(yīng)用研究[J].微型機(jī)與應(yīng)用，2010，4.

[3] 陳香香.云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D]. 重慶：重慶大學(xué)，2011.

[4] 張建平.云計(jì)算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究[D]. 南京：南京郵電大學(xué)，2013.