Doug Cutting：HadooP的商業(yè)前景

鄭悅

大數(shù)據(jù)革命日益凸顯Hadoop技術(shù)的商業(yè)模式及前景。

大數(shù)據(jù)的勃興使得數(shù)據(jù)處理成為熱點(diǎn)應(yīng)用，實(shí)踐證明從數(shù)據(jù)中挖掘價(jià)值成為企業(yè)需要解決的大數(shù)據(jù)痛點(diǎn)。這使得HadooP這項(xiàng)大數(shù)據(jù)技術(shù)從后臺(tái)走向前臺(tái)，成為人們關(guān)注的重點(diǎn)。

HadooP是一個(gè)基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架?；贘ava語言構(gòu)建的Hadoop框架實(shí)際上是一種分布式處理大數(shù)據(jù)平臺(tái)，其包括軟件和眾多子項(xiàng)目。自2005年Hadoop誕生以來，十年中Hadoop已成為大數(shù)據(jù)革命的中心。Hadoop的生態(tài)系統(tǒng)構(gòu)建于Linux生態(tài)系統(tǒng)并發(fā)展，一個(gè)顯而易見的事實(shí)是，社交媒體和基于Web的應(yīng)用驅(qū)動(dòng)了Hadoop的發(fā)展。而Hadoop技術(shù)的商業(yè)應(yīng)用代表公司Cloudera也隨之迎來了發(fā)展的機(jī)遇。

Cloudera是為Hadoop提供咨詢和技術(shù)服務(wù)的平臺(tái)，其客戶大多來自于傳統(tǒng)行業(yè)，希望通過HadooP來處理之前只能被直接拋棄的大規(guī)模數(shù)據(jù)?，F(xiàn)在，除了這些傳統(tǒng)行業(yè)之外，Yahoo！、Facebook、eBay、Linkedln等公司都在使用Hadoop。

本期高端訪談邀請(qǐng)Hadoop的聯(lián)合發(fā)明者，人稱“Hadoop之父”、Cloudera公司首席架構(gòu)師Doug Cutting談?wù)凥adoop技術(shù)本身的發(fā)展以及商業(yè)應(yīng)用前景。Cutting的目標(biāo)是將Hadoop發(fā)展成云計(jì)算領(lǐng)域的RedHat，“我從來沒有想過，除了搜索引擎，Hadoop的作用還能在其他方面有所發(fā)揮，它今天所受到的關(guān)注程度，已超過了我之前的所有想象”。

Q：Hadoop作為一項(xiàng)發(fā)展了十年的技術(shù)，在您看來未來將有怎樣的發(fā)展？

A：開源技術(shù)的魅力在于身處社區(qū)之中，發(fā)展方向?qū)⒂砷_發(fā)者所決定。作為Hadoop的聯(lián)合發(fā)明者，我很欣喜地觀察著這一過程。我也贊賞“Hadoop+”或者“后Hadoop”這樣的名稱，關(guān)注基于這一技術(shù)的相關(guān)應(yīng)用及生態(tài)。

Cloudera作為Hadoop的商業(yè)應(yīng)用代表之一，我們注意到基于Hadoop的行業(yè)應(yīng)用剛剛開始，依然處于早期階段。電信、金融、政府、零售、醫(yī)療、制造等領(lǐng)域都開始有Hadoop的應(yīng)用。而這些行業(yè)的特點(diǎn)是，在大數(shù)據(jù)的應(yīng)用浪潮中，以往基于每一個(gè)具體功能的“豎井式”應(yīng)用都亟需一個(gè)平臺(tái)，而這正是Hadoop的擅長之處。

在中國，有改造傳統(tǒng)產(chǎn)業(yè)的現(xiàn)實(shí)需求，這使得我們更加看好未來基于Hadoop技術(shù)的應(yīng)用發(fā)展。在平臺(tái)化的過程中，企業(yè)級(jí)的應(yīng)用需要安全、穩(wěn)定、可管理的產(chǎn)品，而Cloudera所能提供的Hadoop商業(yè)套件可以滿足這樣的需求。

在我看來，2016年是基于Hadoop技術(shù)應(yīng)用發(fā)展的高峰期。我們已經(jīng)在日本看到金融和電信的相關(guān)應(yīng)用，在汽車行業(yè)對(duì)于維修的可預(yù)測性的需求，也將觸發(fā)更多的應(yīng)用，不過由于這一過程時(shí)間較短，尚需要知識(shí)和經(jīng)驗(yàn)的積累。

Q：您覺得Hadoop的發(fā)展過程中目前有哪些挑戰(zhàn)？

A：我覺得在這一點(diǎn)上Hadoop所面臨的挑戰(zhàn)和數(shù)據(jù)生態(tài)系統(tǒng)的是一樣的。首先是成熟度問題，這是一個(gè)需要完善的過程，Hadoop在商業(yè)化場景中的應(yīng)用依然很新。其次是人才問題，無論是在中國還是在美國，都需要大量能夠熟練使用Hadoop的程序員。第三是復(fù)雜度，云計(jì)算與大數(shù)據(jù)帶來的使用環(huán)境的復(fù)雜，這催生了平臺(tái)化工具的用武之地。第四是安全與信任，這在任何使用場景中同樣重要。最后一點(diǎn)是變化，如何迎接變化是需要持續(xù)關(guān)注的話題。

Q：Cloudera公司的業(yè)務(wù)處于一個(gè)快速增長階段，您對(duì)此有怎樣的看法？

A：我能看到自己的發(fā)明正在變得越來越有力量。Cloudera公司每年的增長率都在百分百以上，在相當(dāng)長的一段時(shí)間內(nèi)利潤和客戶數(shù)也都在成倍增長。限制Hadoop增長的是能力和經(jīng)驗(yàn)的欠缺，這也和人才問題密切相關(guān)。

對(duì)于目前的企業(yè)客戶來說，使用Cloudera提供的套件化的Hadoop依然只是自身IT架構(gòu)的一小部分，而隨著最佳實(shí)踐的普及，將可以讓更多公司能夠更容易地使用該技術(shù)。毫無疑問，Hadoop將成為公司IT架構(gòu)中更大的部分。