Hadoop 云平臺下基于資源感知的作業(yè)調(diào)度算法研究

◎肖堅

大數(shù)據(jù)時代已經(jīng)來臨，眾多企業(yè)及科研機構都在研究大數(shù)據(jù)的應用價值。作為開源的分布式云計算平臺，Hadoop 是當前眾多企業(yè)開發(fā)云計算平臺中所選擇的主要框架。通過對Hadoop 框架的改進，基本能夠處理海量的數(shù)據(jù)信息，在實際運用中有著很好的應用效果。隨著Hadoop應用越來越廣泛，其中也存在一定的問題需要解決。當前，Hadoop 中的三種調(diào)度算法更適合在同構計算機集群上的使用，而在異構集群中，相應的調(diào)度能力就有所降低。針對這一問題，可以采用基于資源感知的作業(yè)調(diào)度算法，可以有效解決異構集群調(diào)度性能問題，進一步提升系統(tǒng)的資源利用率。

一、Hadoop 概述

2004 年谷歌發(fā)表了兩篇論述MapReduce 框架以及Google 文件系統(tǒng)（GFS），Doug Cutting 認識到這兩篇論文內(nèi)容可以應用于Nutch 中，經(jīng)過他與團隊的研究，最終設計完成一個可以充實兩種網(wǎng)絡狂戰(zhàn)所需的技術，Hadoop。作為一個開源、可擴展、可靠的分布式計算平臺，Hadoop 能夠處理海量的數(shù)據(jù)集。與其他分布式計算相比，Hadoop 的使用更加的方便、簡單且高效。而且Hadoop 還能在一臺很普通的PC 上運行，對PC 硬件的要求不高，因此與其他分布式計算相比，Hadoop 還有著低成本優(yōu)勢。

二、Hadoop 中的調(diào)度算法

1.FIFO 調(diào)度算法。

通常在Hadoop 系統(tǒng)中作業(yè)進行調(diào)度的算法一般會默認為FIFO 算法。在用戶提交相應的作業(yè)之后，系統(tǒng)會根據(jù)左右的優(yōu)先級情況來進行調(diào)度，如果作業(yè)優(yōu)先級處于同一等級，就會根據(jù)提交時間按照先后順序來進行調(diào)度。如果提交的時間也相同，則根據(jù)作業(yè)名稱的大小來進行調(diào)度。與其他算法相比，F(xiàn)IFO 調(diào)度算法比較簡單，但對用戶作業(yè)需求差異缺乏考慮，處理作業(yè)時間較長，計算資源被占用的情況下，很容易造成其他用戶作業(yè)不能被及時的處理。相對來講，采用FIFO 調(diào)度算法，對系統(tǒng)資源的利用率比較低。

2.Fair 調(diào)度算法。

Fair 調(diào)度算法的主要目標就是為用戶提供一個能夠共享云平臺集群的方式，從而實現(xiàn)對整個系統(tǒng)資源利用效率的提升。采用Fair 調(diào)度算法將相應的資源分配到各個不同的資源池中，不同的用戶擁有不同的資源池，通過這一算法能夠有效保證每個用戶資源池獲得最小的共享資源。如果某一用戶資源池在較長的時間內(nèi)未能獲得相應的資源，則該資源池會以搶占的方式獲得資源。通過搶占的方式，能夠有效解決FIFO 調(diào)度算法中，某一用戶資源池作業(yè)過程中長時間無法獲取資源的問題。

3.Capacity 調(diào)度算法。

采用Capacity 調(diào)度算法與Fair 調(diào)度算法一樣，主要目標都是提升系統(tǒng)資源的利用效率。Capacity 調(diào)度算法運行中會將資源根據(jù)一定的比例來分配給不同的作業(yè)隊列，而且會嚴格限制作業(yè)的調(diào)度情況，以免出現(xiàn)用戶或作業(yè)隊列獨占資源問題。在核心調(diào)度策略以及對內(nèi)存的限制方面，Capacity 調(diào)度算法與Fair 調(diào)度算法有著本質(zhì)的不同。Capacity 調(diào)度算法的調(diào)度策略中，會首先選擇對資源占用較少的隊列，然后再根據(jù)作業(yè)優(yōu)先級來進行資源分配，同時在對作業(yè)進行選擇時，會充分考慮到不同作業(yè)對內(nèi)存的需求情況。

三、基于資源感知的作業(yè)調(diào)度算法

在Hadoop 調(diào)度算法研究中，其核心研究內(nèi)容是對計算資源分配方式的研究。調(diào)度算法設計通常要根據(jù)所采用的計算資源分配方式來設計。有些調(diào)度算法設計，主要考慮的是不同作業(yè)的優(yōu)先級。有的則根據(jù)計算節(jié)點的計算能力來設計調(diào)度算法。為解決Hadoop 調(diào)度算法在異構集群中的計算性能問題，可以設計基于資源感知的作業(yè)調(diào)度算法。對異構集群中每個異構節(jié)點的計算性能以及所處理的整個作業(yè)的數(shù)據(jù)量，還有不同作業(yè)計算任務之間的差異性充分考量之后，來設計基于資源感知的作業(yè)調(diào)度算法。在這一算法設計中，充分運用了工程化以及系統(tǒng)論思想，符合實際需求以及應用。

首先按照對計算節(jié)點性能、作業(yè)處理數(shù)據(jù)量以及計算任務的差異化感知來計算合理度值。為實現(xiàn)最佳分配可以在基于資源感知的作業(yè)調(diào)度算法中，通過輸入相關數(shù)值，經(jīng)過計算后輸出最大合理度值，得到最佳分配方案?；谫Y源感知的調(diào)度算法，可以確定每個輪轉(zhuǎn)周期中不同作業(yè)所要調(diào)度的任務數(shù)，且基于資源感知的調(diào)度，可以確保在每一個輪轉(zhuǎn)周期中實現(xiàn)最優(yōu)的調(diào)度方案。通過對基于資源感知調(diào)度算法的應用，能夠充分發(fā)揮異構計算集群的整體性能，還能更加高效、快捷的執(zhí)行完所有的作業(yè)，在減少對計算資源開銷的同時，也能獲得用戶認可，提高作用用戶的滿意度。

四、結(jié)束語

隨著大數(shù)據(jù)時代的到來，Hadoop 云平臺的應用越來越廣泛。通過對Hadoop中三種調(diào)度算法的分析，可以了解到，采用不同的調(diào)度算法，對云平臺計算資源的利用方式及效率就會有所不同。當前Hadoop 中三種調(diào)度算法在異構集群計算中調(diào)度能力不足，因此為進一步提升Hadoop 調(diào)度計算能力，可以采用Hadoop 云平臺下基于資源感知的作業(yè)調(diào)度算法，可以有效解決異構集群計算調(diào)度能力不足問題，并實現(xiàn)對計算資源的利用率的有效提升。