基于Lambda架構的移動互聯(lián)大數據平臺架構的設計與應用

（廣西機電職業(yè)技術學院，廣西 南寧 530007）

【摘 要】隨著移動互聯(lián)、物聯(lián)網技術的迅猛發(fā)展和移動終端的普及，預計到2020年，全球數據量將達到35.2 ZB。那么，從海量數據中處理和提純有價值的數據的效率將成為一種核心競爭力。文章采用基于Lambda架構的大數據解決方案，該方案在硬件架構層集成了刀片服務器、存儲、網絡等設備；軟件架構層整合當今主流的各類大數據組件，系統(tǒng)平臺實現(xiàn)移動互聯(lián)海量數據采集、挖掘、數據倉庫和數據分析等功能，為構建移動互聯(lián)大數據平臺提供解決方案。

【關鍵詞】移動互聯(lián)；海量數據；Lambda；Map-Reduce；Storm

【中圖分類號】TP393.06 【文獻標識碼】A 【文章編號】1674-0688（2016）06-0066-03

0 引言

伴隨著互聯(lián)網從PC端向移動端的迅速延伸，使移動端成為互聯(lián)網最重要的入口，而這些移動端的設備每天產生以十億計的海量信息，這些海量信息已經滲透當今每一個行業(yè)和業(yè)務智能領域，成為重要的生產因素。傳統(tǒng)的處理數據方法是把靜止數據庫中的數據帶進程序進行分析。而移動互聯(lián)平臺時刻產生數據沒有辦法停止，最佳處理方法是把程序帶進活動的數據進行分析，因此基于移動互聯(lián)平臺下如何采集、存儲、整理分析和挖掘海量信息，成為亟待解決的問題。本文采用Lambda架構作為系統(tǒng)的通用大數據處理框架，整個系統(tǒng)劃分為Batch Layer、Speed Layer和Serving Layer 3層，在這3層中集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數據組件，解決移動互聯(lián)平臺讀寫分離和復雜性隔離等問題，為構建移動互聯(lián)平臺解決方案提供寶貴經驗。

1 Lambda簡介

數據是與時間有關的，數據一定是在某個時間點上產生的，因此數據的本身是不可變的。移動互聯(lián)平臺分布式系統(tǒng)中的數據產生于不同的系統(tǒng)中，時間決定了數據發(fā)生的全局先后順序，移動互聯(lián)平臺必須實時存儲和處理數據。

Lambda架構是由Nathan Marz提出的一個實時大數據處理框架，其核心思想是既能兼顧低延遲的計算需求，同時也具有處理全量數據的能力，最后通過將2個部分的視圖聚合起來提供外部服務。

Lambda架構（如圖1所示）是集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數據組件，設計出一個能滿足實時大數據系統(tǒng)關鍵特性的架構，包括高容錯、低延時和可擴展等。Lambda架構整合離線計算和實時計算，融合不可變性、讀寫分離和復雜性隔離等一系列架構原則。

2 移動互聯(lián)大數據平臺架構的設計

移動互聯(lián)大數據平臺（如圖2所示）是基于Lambda架構，由數據采集層、數據接入層、數據計算層、數據服務層和數據存儲層構成。

數據采集層面臨高并發(fā)、數據量大和擴展性等亟待解決的問題。本文在數據采集層引用Finagle Server開源異步服務器框架，該服務器框架契合移動互聯(lián)網訪問特點：高并發(fā)，小數據量，單臺服務器的處理能力得到了極大地提升，同時支持橫向擴展收集日志服務。對于移動終端如手機、平板和盒子等設備，數據采集層提供通過APP集成SDK，移動互聯(lián)平臺通過SDK將移動終端設備的日志返回到移動互聯(lián)平臺，移動互聯(lián)平臺在nginx負載均衡下，通過唯一標識、數據標準化和數據格式對數據進行清洗，最后把數據送入基于Finagle框架的日志接收器，最后傳入數據接入層。

數據接入層使用2個Kafka集群來承擔數據接入功能，最上面Kafka集群被實時計算消費，下面kafka用于離線數據消費，2個集群之間通過Kafka的Mirror功能進行同步。

數據計算層為了實現(xiàn)IO負載分離，通過業(yè)務解耦，把計算分為實時計算、離線計算、準實時計算3個部分。時效性是實時計算首先要面對的問題，從實時方面考慮，就不能放一些太復雜的計算，計算結果會存儲到MongoDB。離線計算數據傾斜是貫穿離線計算始終的問題，通過改造Hadoop的公平調度算法來保證大任務能得到充分的計算資源在可接受的范圍內計算完畢，同時使用Hive建立數據倉庫，使用pig進行數據挖掘，離線分析的結果存儲在HBase。準實時計算主要處理如下載服務、消息推送中的圈人服務等。最后通過統(tǒng)一的REST Service來對外提供數據服務。

3 移動平臺數據存儲和增值

本文利用云存儲技術構建移動互聯(lián)系統(tǒng)平臺的存儲系統(tǒng)，該存儲系統(tǒng)不僅是一個并行的硬件，而且是由網絡設備、存儲設備、服務器、軟件、接入網絡、用戶訪問接口及客戶端程序等多個部分構成的。為了方便維護，把該存儲系統(tǒng)分為存儲層、基礎管理層、應用接口層及訪問層。存儲層是云存儲系統(tǒng)的基礎，由存儲設備（滿足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等）構成?；A管理層是云存儲系統(tǒng)的核心，其擔負著存儲設備間協(xié)同工作、數據加密、分發(fā)及容災備份等工作。應用接口層是系統(tǒng)中根據用戶需求來開發(fā)的部分，根據不同的業(yè)務類型，可以開發(fā)出不同的應用服務接口。訪問層指授權用戶通過應用接口登錄和享受云服務，其主要優(yōu)勢在于硬件冗余、節(jié)能環(huán)保、系統(tǒng)升級不會影響存儲服務、海量并行擴容、強大的負載均衡功能、統(tǒng)一管理、統(tǒng)一向外提供服務及管理效率高。云存儲系統(tǒng)從系統(tǒng)架構、文件結構、高速緩存等方面入手，針對監(jiān)控應用進行了優(yōu)化設計。數據傳輸可采用流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數據結構，大幅提高了系統(tǒng)的性能。

移動互聯(lián)大數據平臺存儲系統(tǒng)的數據如何實現(xiàn)增值？數據是從統(tǒng)計到挖掘到大數據的階段，只有通過這種數據的相互分享，才能夠得到數據的紅利和反饋。

第一，它們從顧客需要的數據（能夠創(chuàng)造商業(yè)價值）開始，而不是聚焦在它們已有的數據及這些已有數據能告訴他們什么。主要工作是在幕后找出什么是顧客需要的（通過數據、工具、信息），然后得到答案。

第二，不是把你的見解分享給一小撮商業(yè)領袖，而是直接把它融入、應用到商業(yè)應用或者工作流程中，讓盡量多的人來利用這些大數據的結論。

第三，擁有絕對的數據使用權。在這個基于云的大數據世界，第三方數據的獲取、管理、使用都必須是合法的。

本文認為主要通過數據統(tǒng)計及APP的推送，為移動開發(fā)者提供支持?！坝衙恕钡摹耙徽臼健苯鉀Q方案整合了應用統(tǒng)計分析、游戲統(tǒng)計分析、社會化組件、微社區(qū)、消息推送、友盟指數等產品和服務，并基于數據將產品之間橫向打通，以求充分發(fā)揮和運用數據的價值：其一，內部數據打通，“友盟”不光是做統(tǒng)計分析，還有即時通信、社會化分享、工具推薦等業(yè)務。把這些業(yè)務的數據盡可能地進行橫向打通，這樣一來，就可以利用用戶自身的自定義事件，進行一些有針對性的推送。其二，用戶畫像?！坝衙恕边€與其他的數據方合作，給用戶進行畫像，這樣就可以進行更加精準的推送。用戶畫像可以根據現(xiàn)有的數據更精準地確定自己用戶的屬性和興趣、行為等。其三，設備評級。對于APP開發(fā)者來說，了解渠道的推廣效果，如哪些渠道的推廣價值用戶大，哪些渠道推廣的用戶價值小，哪些渠道有作弊行為，推廣的全是一些虛假的用戶。其四，APP健康度評估。通過APP健康度估價能使開發(fā)者了解自己這一款APP當前是處于生命周期的哪個階段，是屬于快速增長階段、平穩(wěn)發(fā)展階段，還是屬于衰減階段。這樣就能更好地了解自己的產品目前的健康狀況，同時也能了解自身產品，如用戶群體中有多少是垃圾設備，有多少是有價值的設備。

4 總結

本文介紹了Lambda架構的基本概念。Lambda架構通過對數據和查詢的本質認識，融合了不可變性、讀寫分離和復雜性隔離等一系列架構原則，將大數據處理系統(tǒng)劃分為Batch Layer、Speed Layer和Serving Layer 3層，從而設計出一個能滿足實時大數據系統(tǒng)關鍵特性（如高容錯、低延時和可擴展等）的架構。Lambda架構作為一個通用的大數據處理框架，可以很方便地集成Hadoop、Kafka、Storm、Spark、Hbase等各類大數據組件。

參 考 文 獻

[1] 孫廣中，肖鋒，熊曦.MapReduce模型的調度及容錯機制研究[J].微電子學與計算機，2007，24（9）.

[2] 劉鵬.實戰(zhàn)Hadoop——開啟通向云計算的捷徑[M].北京：電子工業(yè)出版社，2013.

[3] （美）CHUCK LAM.Hadoop in Action[M].北京：人民郵電出版社，2011.

[責任編輯：陳澤琦]

【基金項目】廣西機電職業(yè)技術學院2015年度院級科研立項項目“基于移動互聯(lián)網的校園服務平臺構建與應用”（編號：2015KYLX016）；2014年度廣西高等學校立項科研項目“數字化校園中大數據的存儲管理研究與應用”（編號LX2014559）。

【作者簡介】蘇樹鵬，男，廣西南寧人，碩士，廣西機電職業(yè)技術學院講師、工程師，研究方向：軟件設計、云計算、計算機教育。