擁抱開源，聯(lián)想大數(shù)據(jù)產(chǎn)品的技術(shù)創(chuàng)新與突破

張成松

聯(lián)想大數(shù)據(jù)平臺主要包含行業(yè)智能應(yīng)用平臺、數(shù)據(jù)智能平臺、大數(shù)據(jù)計算平臺以及物聯(lián)網(wǎng)采集與邊緣計算和IT系統(tǒng)數(shù)據(jù)整合等。而物聯(lián)網(wǎng)的采集和邊緣技術(shù)的產(chǎn)品，可以把企業(yè)傳統(tǒng)的IT系統(tǒng)進(jìn)行整合，并統(tǒng)一放到大數(shù)據(jù)平臺和數(shù)據(jù)庫中。當(dāng)數(shù)據(jù)進(jìn)來以后，大數(shù)據(jù)平臺就可以進(jìn)行數(shù)據(jù)存儲、計算、構(gòu)建分布式計算框架和統(tǒng)一調(diào)度。在其之上就是數(shù)據(jù)智能平臺，該平臺可以把企業(yè)的預(yù)測、優(yōu)化以及挖掘，通過預(yù)測庫、優(yōu)化庫、知識庫的形式，制定行業(yè)模型。

在最上一層的行業(yè)智能應(yīng)用平臺上，我們就可以給一些企業(yè)做各種行業(yè)解決方案。對于聯(lián)想大數(shù)據(jù)平臺而言，我們還添加了制作軟、硬件的安全產(chǎn)品和數(shù)據(jù)資源管理平臺。為什么要提數(shù)據(jù)資產(chǎn)管理？我們本身做的是開源組件，沒有對數(shù)據(jù)目錄和數(shù)據(jù)訪問權(quán)限方面進(jìn)行很好的管理，所以我們添加了數(shù)據(jù)資源管理模式，在數(shù)據(jù)資源管理之上就是第三方智慧集成平臺。在我們自主開發(fā)的產(chǎn)品中，我們利用開源技術(shù)，包括在Spark和Hadoop基礎(chǔ)上進(jìn)行大量的優(yōu)化工作，并自主開發(fā)了很多工具，包括邊緣計算和數(shù)據(jù)集成工具等。在聯(lián)想大數(shù)據(jù)平臺，我們也廣泛應(yīng)用了開源技術(shù)，不管是在數(shù)據(jù)采集存儲、數(shù)據(jù)管理、數(shù)據(jù)分析上，還是用算法平臺或者可視化技術(shù)，在我們的產(chǎn)品中，都有開源技術(shù)的身影。

我們在產(chǎn)品中運用了很多開源組件和平臺技術(shù)，那么基于這些組件和平臺，我們在大數(shù)據(jù)產(chǎn)品中有哪些技術(shù)的創(chuàng)新和突破？用大數(shù)據(jù)平臺支持傳統(tǒng)數(shù)據(jù)倉庫的應(yīng)用場景，那么需要什么樣的應(yīng)用場景呢？就是傳統(tǒng)的企業(yè)可能需要大量的數(shù)據(jù)存儲、數(shù)據(jù)計算以及各種管理系統(tǒng)，而這些數(shù)據(jù)都會存在數(shù)據(jù)庫中，當(dāng)數(shù)據(jù)量越來越大時，數(shù)據(jù)庫已經(jīng)無法滿足使用者的需要。這時企業(yè)就想把自身的數(shù)據(jù)遷移到Hadoop中，但是Hadoop不支持?jǐn)?shù)據(jù)存儲。若要解決此問題，就得投入大量成本，推翻原有系統(tǒng)開發(fā)新型系統(tǒng)，這對企業(yè)來說是一種損失。

所以把Hadoop的功能進(jìn)行增強，使Hadoop支持所有數(shù)據(jù)倉庫，這樣企業(yè)可以將自身的原有系統(tǒng)，遷移到Hadoop和大數(shù)據(jù)生態(tài)鏈中來避免損失。怎么實現(xiàn)大數(shù)據(jù)支持傳統(tǒng)數(shù)倉的場景？當(dāng)用戶將大數(shù)據(jù)輸入到數(shù)據(jù)倉庫后，要對語法進(jìn)行識別，之后我們將識別出的語法進(jìn)行解析，最后將解析模塊放入執(zhí)行系統(tǒng)的子系統(tǒng)中，最終實現(xiàn)該場景。對于這一運行結(jié)果，我們還做了一項工作，解決數(shù)據(jù)傾斜的問題。Spark系統(tǒng)在工作中，會出現(xiàn)數(shù)據(jù)傾斜問題。當(dāng)我們識別到有數(shù)據(jù)傾斜的任務(wù)時，我們會將數(shù)據(jù)拆分成一個個小任務(wù)，用分布式的方法執(zhí)行。我們對Spark數(shù)據(jù)傾斜進(jìn)行測試時發(fā)現(xiàn)，當(dāng)開啟Spark數(shù)據(jù)傾斜組件時，至少能提升6.5倍的性能，如果不開啟，運行速度則會大大降低。另外我們解決了跨集群數(shù)據(jù)計算和訪問的問題。聯(lián)想在全球有十個計算中心，每個計算中心會存儲一部分的業(yè)務(wù)數(shù)據(jù)，當(dāng)北京的用戶執(zhí)行了查詢?nèi)蝿?wù)時，會把請求發(fā)到北京集群中，而集群會把世界各地的數(shù)據(jù)融合后進(jìn)行計算。這個時候就會遇到Spark、Hadoop訪問集群的情況。假設(shè)有A集群和B集群，當(dāng)A接受請求任務(wù)時，會識別所計算的數(shù)據(jù)是屬于哪個集群。當(dāng)任務(wù)執(zhí)行時，A集群會訪問另外一個集群的組件，通過組件去代理訪問B集群的數(shù)據(jù)，最終將A、B集群的數(shù)據(jù)融合一起，實現(xiàn)跨集群數(shù)據(jù)的訪問和數(shù)據(jù)計算。

分享一下機器學(xué)習(xí)和人工智能的組建和平臺，在聯(lián)想的大數(shù)據(jù)平臺里怎么落地。我們將這部分分為三個層次：第一層，統(tǒng)一計算資源池。該產(chǎn)品可以把傳統(tǒng)的CPU或GPU管理起來，形成統(tǒng)一的計算池和資源池。在資源池的基礎(chǔ)之上，把GPU劃分成多個租戶，并按照租戶的需求進(jìn)行資源分配、訓(xùn)練數(shù)據(jù)模型等。第二層，Leap Manager，該產(chǎn)品可以管理整個計算引擎，并提供可視化的安裝部署，最終將機器學(xué)習(xí)引擎安裝在平臺中。第三層，Leap AI，它是做算法的試驗運行和執(zhí)行的平臺，主要功能有兩大塊，第一是提供可視化的拖拉拽組件，用戶可以把界面上所提供的各種組件拖過來，進(jìn)行算法的訓(xùn)練和執(zhí)行。第二是對底層開源的算法引擎進(jìn)行封裝，并提供各種API，用戶可以通過API，執(zhí)行算法的訓(xùn)練。

我們在開源基礎(chǔ)上有哪些突破和創(chuàng)新？第一，支持SQL和存儲過程。第二，在性能上，率先通過50TB TPC-DS的99個復(fù)雜業(yè)務(wù)場景測試。第三，分布式事務(wù)處理能力增強。第四，完善圖形化數(shù)據(jù)處理工具。第五，封裝了大數(shù)據(jù)挖掘和機器學(xué)習(xí)平臺。第六，從硬件資源和軟件環(huán)境上去進(jìn)行資源的統(tǒng)一劃分。

簡單介紹一下聯(lián)想大數(shù)據(jù)。我們從2011年開始搭建大數(shù)據(jù)平臺。目前在全球有十個數(shù)據(jù)中心，包括北美、歐洲、亞太等。超過3000臺服務(wù)器的計算節(jié)點，每天處理的數(shù)據(jù)量約4TB。

聯(lián)想大數(shù)據(jù)平臺為客戶提供端到端服務(wù)，推動合作伙伴數(shù)字化轉(zhuǎn)型。聯(lián)想大數(shù)據(jù)在成都、北京和香港，都有超過600人的專業(yè)團隊，來打造國內(nèi)一流的大數(shù)據(jù)產(chǎn)品。在2017年12月8日，聯(lián)想攜手80企業(yè)多家包括百度、騰訊、三一重工等，共同構(gòu)建工業(yè)大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟，來推動中國工業(yè)大數(shù)據(jù)的發(fā)展。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）