騰訊推出高性能機(jī)器學(xué)習(xí)計(jì)算平臺(tái)Angel

近日，騰訊在大數(shù)據(jù)技術(shù)峰會(huì)上宣布推出第三代高性能機(jī)器的學(xué)習(xí)計(jì)算平臺(tái) Angel，將于 2017 年全面開(kāi)源。

騰訊面對(duì)快速增長(zhǎng)的數(shù)據(jù)挖掘需求，開(kāi)發(fā)了面向機(jī)器學(xué)習(xí)、能應(yīng)對(duì)超大規(guī)模數(shù)據(jù)集和高性能的計(jì)算框架，并且對(duì)用戶足夠友好，具有很低的使用門檻。開(kāi)源的Angel是開(kāi)放騰訊 18 年來(lái)的海量大數(shù)據(jù)處理經(jīng)驗(yàn)和先進(jìn)技術(shù)，通過(guò)連接一切資源，激發(fā)更多創(chuàng)意，可以讓平臺(tái)逐步轉(zhuǎn)化成有價(jià)值的生態(tài)系統(tǒng)，讓企業(yè)運(yùn)營(yíng)更有效、產(chǎn)品更智能、用戶體驗(yàn)更好。

Angel 是騰訊的第三代計(jì)算平臺(tái)，使用 Java 和 Scala 語(yǔ)言開(kāi)發(fā)，面向機(jī)器學(xué)習(xí)的高性能分布式計(jì)算框架，由騰訊與香港科技大學(xué)、北京大學(xué)聯(lián)合研發(fā)。

Angel采用參數(shù)服務(wù)器架構(gòu)，解決了上一代框架的擴(kuò)展性問(wèn)題，支持?jǐn)?shù)據(jù)并行及模型并行的計(jì)算模式，能支持十億級(jí)別維度的模型訓(xùn)練。

Angel 還采用了多種業(yè)界最新技術(shù)和騰訊自主研發(fā)技術(shù)，如 SSP、異步分布式 SGD、多線程參數(shù)共享模式 HogWild、網(wǎng)絡(luò)帶寬流量調(diào)度算法、計(jì)算和網(wǎng)絡(luò)請(qǐng)求流水化、參數(shù)更新索引和訓(xùn)練數(shù)據(jù)預(yù)處理方案等。這些技術(shù)使 Angel 性能大幅提高，達(dá)到常見(jiàn)開(kāi)源系統(tǒng) Spark 的數(shù)倍到數(shù)十倍，能在千萬(wàn)到十億級(jí)的特征維度條件下運(yùn)行。

在系統(tǒng)易用性上，Angel 提供豐富的機(jī)器學(xué)習(xí)算法庫(kù)及高度抽象的編程接口、數(shù)據(jù)計(jì)算和模型劃分的自動(dòng)方案及參數(shù)自適應(yīng)配置，用戶能像使用 MR、Spark 一樣在 Angel 上編程，建設(shè)了拖拽式的一體化的開(kāi)發(fā)運(yùn)營(yíng)門戶，屏蔽底層系統(tǒng)細(xì)節(jié)，降低用戶使用門檻。另外，Angel 還支持深度學(xué)習(xí)，它支持 Caffe、TensorFlow 和 Torch 等業(yè)界主流的深度學(xué)習(xí)框架，為其提供計(jì)算加速。 （陳曲）