金山云上的大數(shù)據(jù)與機(jī)器學(xué)習(xí)

王盈

云上的大數(shù)據(jù)、機(jī)器學(xué)習(xí)，將是未來的發(fā)展方向。用機(jī)器學(xué)習(xí)的大腦、大數(shù)據(jù)的計算輪子、云的動態(tài)分配引擎，三者結(jié)合就實(shí)現(xiàn)了云上的大數(shù)據(jù)機(jī)器學(xué)習(xí)。

根據(jù)IDC發(fā)布的《中國公有云市場數(shù)據(jù)追蹤報告》，2016年上半年，中國公有云IaaS市場前三名為阿里云、騰訊云和金山云，其中金山云的市場占有率為5.5%，較2015年下半年提升1.2%，收入同比增長率連續(xù)超過100%。目前，金山云不僅是國內(nèi)領(lǐng)先的云計算和OpenStack廠商，也是國內(nèi)首家提供混合云部署方案的云企業(yè)。

近年，云計算的普及為大數(shù)據(jù)的深度應(yīng)用提供了堅實(shí)的基礎(chǔ)，大數(shù)據(jù)對企業(yè)決策的重要程度不斷上升，云計算和大數(shù)據(jù)為人工智能（AI）的突飛猛進(jìn)提供了最重要的雙輪驅(qū)動力。金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)透露，金山云已將云服務(wù)和數(shù)據(jù)分析能力大規(guī)模應(yīng)用于人工智能領(lǐng)域作為戰(zhàn)略目標(biāo)。

日前，金山云和英特爾正式對外公布了結(jié)合雙方技術(shù)優(yōu)勢打造的、基于英特爾架構(gòu)的金山云托管Hadoop（KingsoftMapReduce，簡稱KMR）數(shù)據(jù)分析平臺，同期首次公布其深度學(xué)習(xí)平臺KDL，可謂雙劍合璧，在云計算、大數(shù)據(jù)、人工智能領(lǐng)域齊發(fā)力。目前這兩個產(chǎn)品已進(jìn)入公測階段，不久將進(jìn)入商用階段。

金山云正大力布局人工智能

“云上的大數(shù)據(jù)、機(jī)器學(xué)習(xí)，將是未來的發(fā)展方向”。在張東進(jìn)看來，云、大數(shù)據(jù)、機(jī)器學(xué)習(xí)雖然都不是新的概念，但結(jié)合在一起就很新?！皺C(jī)器學(xué)習(xí)提供的是算法，大數(shù)據(jù)提供的是并行計算和分布式存儲，云提供的是動態(tài)配置。用機(jī)器學(xué)習(xí)大腦、大數(shù)據(jù)計算輪子、云動態(tài)分配引擎，三者結(jié)合就實(shí)現(xiàn)了云上的大數(shù)據(jù)機(jī)器學(xué)習(xí)。”張東進(jìn)解釋道。

張東進(jìn)表示，金山云將云的發(fā)展分為云計算、大數(shù)據(jù)、人工智能三個階段。當(dāng)下，我們將進(jìn)入讓數(shù)據(jù)產(chǎn)生智能的人工智能階段。據(jù)研究機(jī)構(gòu)預(yù)測，2020年全球的人工智能市場將達(dá)到50億美元，2025年將達(dá)到350億美元。

金山云在人工智能應(yīng)用領(lǐng)域不僅有為用戶深度構(gòu)建云計算解決方案的豐富經(jīng)驗(yàn)，還有國內(nèi)最大的商用存儲平臺，該平臺在數(shù)據(jù)分析領(lǐng)域頗有建樹?；谶@些優(yōu)勢，金山云正大力布局人工智能。張東進(jìn)表示：“金山云將與廣大科研院所及合作伙伴一起構(gòu)建金山云的人工智能解決方案，包括為AI研發(fā)提供基礎(chǔ)性支持的底層基礎(chǔ)平臺；為行業(yè)提供基礎(chǔ)的視覺、聽覺、自然語言、VR/AR等技術(shù)能力的SaaS方案；深入研究醫(yī)療、金融、交通、物聯(lián)網(wǎng)等重大行業(yè)，為合作伙伴提供上層行業(yè)解決方案?！?/p>

KMR讓電商大促無憂

KMR正是金山云在數(shù)據(jù)分析領(lǐng)域邁出的重要一步。金山云技術(shù)產(chǎn)品部高級產(chǎn)品經(jīng)理楊亮介紹說，KMR采用了英特爾至強(qiáng)E5系列處理器家族的硬件平臺，以Apache Hadoop和Apache Spark數(shù)據(jù)計算系統(tǒng)為基礎(chǔ)，集成了常用的大數(shù)據(jù)分析組件，通過自動調(diào)度彈性計算服務(wù)（KEC），幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。KMR還能與金山云的多種云服務(wù)產(chǎn)品結(jié)合，從而建立端到端的數(shù)據(jù)分析處理解決方案，讓企業(yè)用戶以更低廉的成本獲得更可靠的數(shù)據(jù)，更靈活方便地對數(shù)據(jù)進(jìn)行收集和管理。

為行業(yè)客戶提供高性能、易部署的大數(shù)據(jù)云處理平臺，是KMR的重要價值和競爭力所在。楊亮介紹說：“KMR具備四大優(yōu)勢。一是完全托管，集群分鐘級快速部署；二是性能優(yōu)化，大數(shù)據(jù)分析即時響應(yīng)；三是生態(tài)豐富，云服務(wù)產(chǎn)品深度整合；四是彈性伸縮，企業(yè)TCO有效減負(fù)”。

目前，KMR已被電商、游戲等行業(yè)的10多家客戶采用。例如擁有幾十大類、數(shù)百萬種商品的當(dāng)當(dāng)網(wǎng)。每逢“雙十一”等大促時段，當(dāng)當(dāng)網(wǎng)的IT資源面臨非常大的壓力，還需要快速、及時地處理大量的用戶歷史數(shù)據(jù)。采用金山云KMR服務(wù)后，能快速創(chuàng)建Storm和Kafka集群，搭建實(shí)時數(shù)據(jù)處理系統(tǒng)，根據(jù)業(yè)務(wù)需求靈活調(diào)整資源配置，有效保證了促銷期間IT系統(tǒng)的穩(wěn)定運(yùn)行，大幅減少了系統(tǒng)維護(hù)成本。

KDL將深度助力企業(yè)擁抱AI

張東進(jìn)坦言：“當(dāng)大家真的去做人工智能，會發(fā)現(xiàn)人工智能其實(shí)并沒有那么簡單?！倍鹕皆迫斯ぶ悄苤芬嗍桥G斬棘終坦途。

“KDL可以深度助力企業(yè)擁抱AI?！睆垨|進(jìn)解釋說，“KDL是一個機(jī)器學(xué)習(xí)、深度學(xué)習(xí)任務(wù)托管平臺，底層基于金山云高性能異構(gòu)計算集群，融合了英特爾等合作伙伴的技術(shù)，能從容應(yīng)對成本、效率、安全、性能方面的挑戰(zhàn)?！?/p>

成本一直是壓在AI公司頭上的一座大山。以某知名AI公司為例：“該公司共400人，做系統(tǒng)架構(gòu)的約100人，這部分人一年的工資就高達(dá)幾千萬元，相當(dāng)于一輪的融資?！睆垨|進(jìn)強(qiáng)調(diào)，金山云可以幫助企業(yè)節(jié)省這部分高昂的隱性成本：“第一，KDL會按實(shí)際的運(yùn)營時間收費(fèi)；第二，可以隨意伸縮，沒有閑置成本；第三，可以省去系統(tǒng)研發(fā)和維護(hù)成本”。

在效率方面，“我們是一個全功能的深度學(xué)習(xí)集成環(huán)境，集成了英特爾的BigDL、谷歌的TensorFlow等框架，底層基于英特爾等合作伙伴的庫做深度的優(yōu)化。KDL是全流程的平臺，在物料的預(yù)處理、存儲、訓(xùn)練、評估、上線預(yù)測等方面都提供完整的支持?！睆垨|進(jìn)介紹說。

在安全方面，金山云提供企業(yè)級數(shù)據(jù)加密和企業(yè)級HPC集群，為客戶提供最安全、最穩(wěn)定的環(huán)境。他強(qiáng)調(diào)道：“KDL應(yīng)該是業(yè)內(nèi)首家能做到分鐘級的自動恢復(fù)。人工智能的一個訓(xùn)練任務(wù)可能長達(dá)一周至半個月，如果中斷就需要重新計算。金山云平臺則沒有這個問題”。

在性能方面，“KDL為客戶帶來的價值在于，底層是基于成熟的異構(gòu)計算集群，包括英特爾提供的高性能E5系列的CPU，以及GPU、FPGA的計算平臺，輔以金山云的萬兆網(wǎng)卡和英特爾SSD技術(shù)，可以確保用戶獲得高性能的HPC計算集群”，張東進(jìn)如是說。

十年前，當(dāng)云計算概念剛出來時，許多科技公司都將信將疑。十年后，云已暢行天下，政府部門、企業(yè)都在積極地?fù)肀г?。因而，?dāng)許多人質(zhì)疑大數(shù)據(jù)和人工智能時，誰又知道它會以怎樣的速度發(fā)展。

科技對于世界的顛覆，不管你信不信，希望與否，它都將發(fā)生，讓人大跌眼鏡?！霸粕系拇髷?shù)據(jù)、機(jī)器學(xué)習(xí)”技術(shù)創(chuàng)新與探索，定將加速推動中國企業(yè)的轉(zhuǎn)型升級，真正邁入智能的“互聯(lián)網(wǎng)+”時代。