小米對開源的實踐應用和思考

張鐸

2012年，基于互聯(lián)網業(yè)務的快速發(fā)展，以及針對公司內部大量數據的統(tǒng)計和分析需求，小米決定組建云平臺團隊（現更名為人工智能與云平臺部）來負責大數據存儲和計算。其實在一開始，使用開源項目并不是唯一的選擇。

當時的團隊成員大多來自微軟、騰訊等公司，而之前這些公司類似的系統(tǒng)都屬于自研，并沒有使用開源項目的習慣。同時團隊成員大部分都是C++背景，而當時最流行的開源系統(tǒng)Hadoop是用Java實現的，所以從基礎看并沒有太多優(yōu)勢。

然而，時任小米首席架構師的崔寶秋根據自身在開源領域多年的經驗，認定擁抱開源是小米的最佳選擇。在他的建議下，團隊還是選擇了擁抱開源，使用Hadoop和HBase作為基礎來為公司內其他業(yè)務提供存儲和計算服務。

使用開源系統(tǒng)的好處是可以快速地搭建出一套可以使用的服務系統(tǒng)，這在初期是一個非常大的優(yōu)勢。一個完美的存在于設計文檔上的系統(tǒng)，一定不如一個并不完美但馬上就可以用的系統(tǒng)。不過Hadoop系列的開源系統(tǒng)也有一些問題，比如：部署繁瑣，可配置項過多且文檔不齊全（一旦上量肯定會出問題），監(jiān)控不完善等等。因此團隊一開始是集中精力開發(fā)了一套監(jiān)控部署系統(tǒng)，在此基礎上又做了比較完善的測試，逐步總結出一套適合小米的軟硬件搭配模式和各種配置，最后開始逐步深入開源代碼本身進行bug 修復，甚至功能定制。后續(xù)隨著業(yè)務方各種各樣的需求，團隊也在擴展自己的項目范圍，引入更多的開源項目來更好地為業(yè)務方服務。

到今天為止，開源在小米的應用幾乎無處不在，從作為存儲的HDFS和HBase，到計算相關的Yarn、Spark、Hive和Kylin，還有Docker和Kubernetes等，可以說小米整個人工智能與云平臺部門都建立在一套開源的技術棧上。目前，在小米的HDFS上存儲著超過40PB的數據，HBase上存儲著超過6萬億行的記錄，MR&Spark;每天處理超過4.5萬5個任務。

開源對于小米的意義

從整個行業(yè)來看，開源減少了各個公司的重復勞動，也減少了從業(yè)人員的學習成本，無疑顯著地提高了整個行業(yè)的生產力。對于小米，就像之前提到的，選擇開源可以在初期團隊人員很少的情況下迅速搭建出一套可用的系統(tǒng)，既不拖累業(yè)務，又可以騰出更多的精力來聚焦業(yè)務本身的發(fā)展。時至今日，小米已經是一個接近兩萬人的大企業(yè)，而人工智能與云平臺全職投入在云技術上的研發(fā)工程師不過100人左右，沒有開源的幫助這幾乎是不可想象的。

在互聯(lián)網行業(yè)，大家一定都遇到過陳舊的基礎系統(tǒng)無人維護的問題。團隊人員，特別是核心開發(fā)人員的變動，很容易導致一個項目進入無人維護，但又無法下線的狀態(tài)，因為很多情況下開發(fā)人員并不愿意接手一個別人的系統(tǒng)，而更愿意開發(fā)自己的系統(tǒng)。使用開源系統(tǒng)可以一定程度上避免這個問題。以小米人工智能與云平臺為例，在擴展項目范圍時，原有團隊的不少人員都變動了工作內容，但后備力量補充沒有遇到任何問題，任何一個開源項目都沒有遇到無人愿意接手的問題。比如HBase項目組，目前的研發(fā)人員全部是2014年之后入職的，最早的開發(fā)人員早已升職或者調動到了其他項目，但HBase項目的發(fā)展完全沒有受到影響。

參與開源對于小米人工智能與云平臺的技術人員來說還有另一個非常重要的意義。人工智能與云平臺的很多項目跟公司業(yè)務的距離比較遠，所做的工作并不能直接對公司的流量和收入等產生正面的影響，反而做不好的情況下會有負面影響。所謂好事不出門，壞事傳千里。這就導致在公司的評價體系內，不論是影響力還是認可程度上，做這些項目的同事相比其他業(yè)務同事都要差一些，做出成果的成就感也偏低。而參與開源可以提升自己在整個業(yè)界的影響力，這樣再反過來增強自己在公司內的影響力。做出的成果能夠得到更多的人認可，也有助于提高技術人員的成就感。

小米在使用開源系統(tǒng)的同時，也積極地回饋開源社區(qū)。在開源上參與最深的HBase項目，目前已經向開源社區(qū)提交了超過700項改進，有bug修復，也有新功能。其余的Hadoop、Spark等項目也有一定數量的改進回饋到了開源社區(qū)。同時，小米也在積極地開源自研項目。例如2017年10月開源的Pegasus系統(tǒng)是一個高性能低延遲的KeyValue系統(tǒng)，可以彌補HBase在低延遲方面的一些不足。另外，小米的AI團隊也會把自己的一些重要工作進行開源，例如MACE（內部暫定名稱）系統(tǒng)，全稱MiAI Compute Engine，是專門為移動端優(yōu)化的神經網絡推理引擎，支持CPU、GPU和Hexagon DSP，即將在2018年第二季度內開源。

大公司為何要選擇開源自己的系統(tǒng)

盡管開源對于整個行業(yè)的意義非常大，但對于公司本身來說，提高技術影響力這一因素并非是讓幾乎所有的大公司都開始倒向開源的唯一原因。

大家可以看到，像微軟這種從軟件時代發(fā)展過來的巨頭企業(yè)，也開始對自己的系統(tǒng)進行開源，例如Visual Studio就已經在2015年開源。

業(yè)界普遍認為一流公司做標準。而開源，其實就是在定標準，是對話語權的爭奪。一旦一個開源系統(tǒng)的生態(tài)建立起來，后來者想另起爐灶的難度會非常大。比如HBase項目，其實是基于Google在2006年發(fā)表的一篇關于Bigtable的論文開發(fā)出來的，但Google在推出自己的云Bigtable服務時，反而不得不提供一個兼容HBase的API，因為大量客戶的程序都是基于HBase，他只能選擇兼容，這就是生態(tài)的力量。

單純的使用開源系統(tǒng)其實也是有一定風險的，特別是在這個開源系統(tǒng)和公司的核心利益相關的情況下。比如Amazon在AWS上除了支持TensorFlow之外，還一定要強推MXnet來對抗TensorFlow。因為在云上提供深度學習服務時，TensorFlow可以針對Google自家的TPU 進行優(yōu)化，這一點上Amazon是無法和Google競爭的，如果兩家都只使用TensorFlow，Amazon 一定不是Google的對手。

回到小米自身的情況，小米在回饋開源社區(qū)的同時，也在逐步增強自己在開源社區(qū)的影響力和話語權。

在HBase項目上，小米先后培養(yǎng)出了2位PMC（Project Management Committee）成員，7位committer（包括前面兩位PMC成員），在社區(qū)已經擁有了一定的話語權。

同時國內的其他公司，比如阿里也培養(yǎng)出了多位HBase的PMC成員和committer，也有了國內公司承辦的 HBaseCon Asia，可以說國內公司在HBase這個項目上已經有了相當大的話語權。