物云融合的IoT云系統(tǒng)架構(gòu)與服務(wù)提供

胡 杰

中國電信股份有限公司北京研究院 北京 102209

引言

全球物聯(lián)網(wǎng)正從以碎片化、孤立化應(yīng)用為主的起步階段邁入“重點聚焦、跨界融合、集成創(chuàng)新”的新階段[1]。物聯(lián)網(wǎng)的應(yīng)用，尤其是與云架構(gòu)密切結(jié)合的物聯(lián)網(wǎng)應(yīng)用，逐漸變得引人矚目，“萬物智能互聯(lián)”逐漸從愿景描述轉(zhuǎn)變成現(xiàn)實。從國外情況看，谷歌、亞馬遜、Intel、高通等國際巨頭緊跟趨勢，通過其核心能力和戰(zhàn)略聯(lián)盟推動產(chǎn)業(yè)垂直化整合和水平化擴張。谷歌于2015年5月發(fā)布物聯(lián)網(wǎng)操作系統(tǒng)Brillo，實現(xiàn)IoT服務(wù)與Google云服務(wù)緊密捆綁；2015年10月亞馬遜在原有云計算基礎(chǔ)上進(jìn)行延伸，發(fā)布了AWS IoT平臺，實現(xiàn)IoT基礎(chǔ)設(shè)施的彈性擴充[2]； Intel發(fā)布的物聯(lián)網(wǎng)關(guān)方案構(gòu)建了異構(gòu)設(shè)備通往云端的統(tǒng)一通道。在此基礎(chǔ)上，產(chǎn)業(yè)鏈之間的合作、并購也變得越來越頻繁，進(jìn)而建成一個涵蓋芯片、感知器件、操作系統(tǒng)、設(shè)備互連、邊緣計算、關(guān)鍵軟件、數(shù)據(jù)整合分析到各個垂直應(yīng)用的生態(tài)系統(tǒng)，引領(lǐng)全球物聯(lián)網(wǎng)生態(tài)系統(tǒng)發(fā)展。

隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和市場規(guī)模的不斷擴大，物聯(lián)網(wǎng)市場格局從碎片走向整合，未來關(guān)注的焦點將從連接走向平臺，并形成物聯(lián)網(wǎng)與云計算、大數(shù)據(jù)跨界融合的格局。傳統(tǒng)的面向云的計算和存儲技術(shù)將逐漸轉(zhuǎn)變?yōu)橐院Ａ肯⑻幚頌橹鞯奈锫?lián)網(wǎng)云技術(shù)，從而更好地推動物聯(lián)網(wǎng)服務(wù)規(guī)模發(fā)展。

1 IoT對云計算提出新的需求

從市場層面，傳統(tǒng)的M2M主要關(guān)注設(shè)備的連接，隨著物聯(lián)網(wǎng)市場格局從碎片走向整合，物聯(lián)網(wǎng)產(chǎn)業(yè)將逐漸顯現(xiàn)出“數(shù)據(jù)驅(qū)動”的特點，縱向的行業(yè)聚合與橫向的平臺聚合將會成為未來物聯(lián)網(wǎng)生態(tài)發(fā)展的重要一步，物聯(lián)網(wǎng)關(guān)注的焦點將從連接走向平臺，進(jìn)而推動物聯(lián)網(wǎng)從M2M時代向IoT階段演進(jìn)[3]。

從技術(shù)層面，物聯(lián)網(wǎng)與“大智移云”結(jié)合，將促使實體世界與虛擬世界的界線日趨模糊，進(jìn)一步打破物聯(lián)網(wǎng)行業(yè)框架，催生無限可能的商業(yè)價值。在感知、互聯(lián)、智慧分析技術(shù)的演進(jìn)趨勢下，驅(qū)動物聯(lián)網(wǎng)應(yīng)用逐漸云化，衍生新的應(yīng)用類型和應(yīng)用模式，從感知走向認(rèn)知。

IoT云作為物聯(lián)網(wǎng)應(yīng)用的一種最新實現(xiàn)及交付模式，其特征在于將傳統(tǒng)物聯(lián)網(wǎng)中傳感設(shè)備感知的信息和接受的指令連入互聯(lián)網(wǎng)中，并通過云計算技術(shù)實現(xiàn)海量數(shù)據(jù)存儲和運算。IoT云從市場和技術(shù)上滿足了M2M向IoT發(fā)展的趨勢，適應(yīng)了物聯(lián)網(wǎng)規(guī)模化、智能化和生態(tài)化的發(fā)展需求。

IoT云對傳統(tǒng)底層云基礎(chǔ)設(shè)施及平臺提出了新的要求，主要體現(xiàn)在以下三個方面。

1)相對傳統(tǒng)的云主機、云存儲等基礎(chǔ)設(shè)施產(chǎn)品，IoT云需要支持?jǐn)?shù)十億臺設(shè)備和數(shù)萬億條消息，將消息安全可靠地路由至各終端節(jié)點和其他設(shè)備，這樣對云基礎(chǔ)產(chǎn)品種類的需求就大大提升了，需要補充容器服務(wù)、負(fù)載均衡服務(wù)、消息服務(wù)、數(shù)據(jù)庫服務(wù)等基礎(chǔ)設(shè)施服務(wù)。

2)對數(shù)據(jù)存儲和分析提出了更高的要求，海量異構(gòu)的傳感器產(chǎn)生大量數(shù)據(jù)，有些數(shù)據(jù)需要快速處理，對數(shù)據(jù)的吞吐量產(chǎn)生挑戰(zhàn)，且物聯(lián)網(wǎng)數(shù)據(jù)既有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)，不僅對存儲的效率有需求，還需要能夠?qū)Υ鎯Φ囊?guī)模進(jìn)行橫向擴展，需要對不同來源的數(shù)據(jù)進(jìn)行集成以及安全保護(hù)。

3)為了加強物聯(lián)網(wǎng)業(yè)務(wù)之間互操作及數(shù)據(jù)分享，支持業(yè)務(wù)快速創(chuàng)新、應(yīng)對多變需求、實現(xiàn)集中運營管理、突破性能瓶頸，微服務(wù)在物聯(lián)網(wǎng)中的應(yīng)用越來越廣泛，針對微服務(wù)應(yīng)用，能夠提供應(yīng)用生命周期管理、資源及容器管理、報警監(jiān)控、帳號體系管理等平臺功能。

在功能方面，IoT云需要具備提供泛在設(shè)備接入、云化平臺、數(shù)據(jù)存儲與分析、智能應(yīng)用服務(wù)等功能。

2 IoT云的體系架構(gòu)

IoT云基礎(chǔ)架構(gòu)由云OS/SDK、接入網(wǎng)關(guān)和云服務(wù)平臺三部分組成，并結(jié)合邊緣計算、人工智能、IoT安全等技術(shù)，構(gòu)建基于客戶需求規(guī)模、按需付費、安全可信的物聯(lián)網(wǎng)云化服務(wù)體系。

如圖1所示，通過云OS/SDK和接入網(wǎng)關(guān)(IoT Hub)，將資源受限的物聯(lián)終端快速接入云平臺；同時在云服務(wù)平臺側(cè)引入云計算的虛擬化、并行計算、分布式數(shù)據(jù)庫、分布式存儲以及應(yīng)用層多租戶技術(shù)，實現(xiàn)物聯(lián)網(wǎng)海量設(shè)備規(guī)模接入管理、高并發(fā)消息處理、多樣化異構(gòu)數(shù)據(jù)存儲以及智能化大數(shù)據(jù)分析等服務(wù)。

圖1 IoT云系統(tǒng)架構(gòu)圖

物聯(lián)網(wǎng)終端設(shè)備硬件差異較大，存在異構(gòu)性、多樣化的特點。傳統(tǒng)操作系統(tǒng)無法適應(yīng)這種“廣譜”的硬件環(huán)境需求。物聯(lián)網(wǎng)云OS可提供完整的連接和設(shè)備管理功能，并具備較強的伸縮性，可適配不同類型硬件環(huán)境，屏蔽底層物理硬件的差異，為終端設(shè)備賦予感知能力，實現(xiàn)萬“物”智能互聯(lián)。物聯(lián)網(wǎng)云OS具有占用內(nèi)存少、電源效率高、模塊化可配置等特點，同時具備豐富的物聯(lián)網(wǎng)基礎(chǔ)功能組件和應(yīng)用開發(fā)環(huán)境，可大大降低物聯(lián)網(wǎng)應(yīng)用的開發(fā)時間和開發(fā)成本。為了實現(xiàn)終端設(shè)備在云平臺中的快速接入，物聯(lián)網(wǎng)云OS一般通過集成SDK軟件實現(xiàn)與云平臺的連接、認(rèn)證和消息交互。同時，SDK軟件也可以獨立移植到第三方操作系統(tǒng)中，使之具備接入物聯(lián)網(wǎng)系統(tǒng)框架的能力。

云服務(wù)平臺是IoT云體系架構(gòu)的核心，可實現(xiàn)設(shè)備接入管理、消息路由分發(fā)、海量數(shù)據(jù)存儲分析等功能，具備大規(guī)模分布式部署及高并發(fā)計算能力。IoT云服務(wù)平臺目前主要涉及容器及微服務(wù)、設(shè)備接入管理、消息中間件、數(shù)據(jù)存儲與分析等核心技術(shù)。

3 物云融合云平臺的關(guān)鍵技術(shù)分析

3.1 容器及微服務(wù)

隨著物聯(lián)網(wǎng)的發(fā)展，物聯(lián)網(wǎng)與云計算的跨界融合成為趨勢，容器集群管理、微服務(wù)框架以及無服務(wù)器架構(gòu)等云計算技術(shù)，可以更好地幫助構(gòu)建基于客戶需求規(guī)模、按需付費、安全可信、云網(wǎng)協(xié)同的物聯(lián)網(wǎng)云化基礎(chǔ)設(shè)施，解決物聯(lián)網(wǎng)應(yīng)用的海量終端接入和數(shù)據(jù)處理問題。

依靠容器具有的輕量、低運行開銷、易于部署/移植以及快速啟動等獨特優(yōu)勢，開發(fā)人員使用基于容器的虛擬化進(jìn)行快速、大規(guī)模地開發(fā)、測試、部署和更新IoT應(yīng)用程序，已逐漸成為物聯(lián)網(wǎng)應(yīng)用主流開發(fā)方法。在物聯(lián)網(wǎng)領(lǐng)域，容器技術(shù)不僅可以通過容器封裝，簡化下載、安裝部署、啟動和后續(xù)應(yīng)用更新，加速物聯(lián)網(wǎng)云服務(wù)開發(fā)部署，還可以使用容器維護(hù)一致的IoT開發(fā)環(huán)境，將容器部署到IoT設(shè)備，集成IoT設(shè)備與云服務(wù)，滿足物聯(lián)網(wǎng)各種硬件設(shè)備平臺環(huán)境[4]。

物聯(lián)網(wǎng)行業(yè)中，由于單個設(shè)備傳輸數(shù)據(jù)量較小，傳輸請求頻次較低，IoT應(yīng)用服務(wù)常處于空轉(zhuǎn)狀態(tài)，計算資源使用率較低。無服務(wù)器架構(gòu)(Serverless)出現(xiàn)為物聯(lián)網(wǎng)這種低頻請求場景帶來了新的處理思路。由于無服務(wù)器架構(gòu)興起不久，目前業(yè)界并沒有給出明確的定義，比較普遍的理解是指開發(fā)者不再需要過多考慮服務(wù)器的容量、部署以及其上的操作系統(tǒng)等問題，計算資源被作為服務(wù)而不是服務(wù)器提供給開發(fā)者，開發(fā)者只需通過集成多個第三方API或服務(wù)就能組成最終的應(yīng)用邏輯。

3.2 海量高并發(fā)數(shù)據(jù)存儲技術(shù)

隨著物聯(lián)網(wǎng)規(guī)?；l(fā)展和領(lǐng)域的逐步擴大，物聯(lián)網(wǎng)連接的設(shè)備數(shù)高達(dá)數(shù)百萬甚至數(shù)十億級，信息量也隨之出現(xiàn)爆炸性增長。原有的結(jié)構(gòu)性數(shù)據(jù)混入了來自于社交媒體、傳感器的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)有聲音、圖片、視頻、文字等。由于物聯(lián)網(wǎng)環(huán)境下涉及基于時間和空間特征、動態(tài)的超大規(guī)模數(shù)據(jù)管理和處理，對數(shù)據(jù)的存儲提出以下要求。

1)大規(guī)模彈性伸縮：可以存儲和處理數(shù)百TB的數(shù)據(jù)來支持物聯(lián)網(wǎng)碎片化應(yīng)用場景中科學(xué)、財務(wù)分析和媒體應(yīng)用程序所需的大數(shù)據(jù)方案。也可以存儲小型商業(yè)網(wǎng)站所需的少量數(shù)據(jù)。

2)按需付費：能夠靈活地按使用時間、使用內(nèi)容大小支付費用。

3)數(shù)據(jù)負(fù)載均衡：使用自動分區(qū)系統(tǒng)，根據(jù)流量自動對數(shù)據(jù)進(jìn)行負(fù)載均衡。隨著需求的增長，數(shù)據(jù)存儲會自動分配合適的資源來滿足物聯(lián)網(wǎng)變化的需求。

目前物聯(lián)網(wǎng)數(shù)據(jù)有多種分類維度。按數(shù)據(jù)結(jié)構(gòu)維度，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)可以分為結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化三類數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)指可以用二維表結(jié)構(gòu)來邏輯表達(dá)實現(xiàn)的數(shù)據(jù)，如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等。半結(jié)構(gòu)化數(shù)據(jù)介于完全結(jié)構(gòu)化數(shù)據(jù)和完全無結(jié)構(gòu)的數(shù)據(jù)之間，數(shù)據(jù)模型具有一定的結(jié)構(gòu)性，但較之傳統(tǒng)的關(guān)系和面向?qū)ο蟮哪Ｐ透鼮殪`活[5]。

針對物聯(lián)網(wǎng)不同的數(shù)據(jù)分類，相對于傳統(tǒng)關(guān)系型數(shù)據(jù)庫存儲，IoT云平臺的首要工作是能夠高速處理分布式環(huán)境中的海量數(shù)據(jù)，選擇合適的數(shù)據(jù)存儲技術(shù)方案。目前業(yè)界主流數(shù)據(jù)存儲技術(shù)和方式包括：Blob存儲(對象存儲)、表存儲、文件存儲和隊列存儲。

3.3 消息中間件技術(shù)

消息中間件簡化了應(yīng)用之間數(shù)據(jù)的傳輸，屏蔽底層異構(gòu)操作系統(tǒng)和網(wǎng)絡(luò)平臺差異，提供一致的通訊標(biāo)準(zhǔn)和應(yīng)用開發(fā)，確保分布式計算網(wǎng)絡(luò)環(huán)境下可靠的、跨平臺的信息傳輸和數(shù)據(jù)交換。消息中間件能在不同平臺之間通信，它常被用來屏蔽掉各種平臺及協(xié)議之間的特性，實現(xiàn)應(yīng)用程序之間的協(xié)同。

消息中間件基于消息隊列、規(guī)則引擎及消息持久化機制，進(jìn)行消息傳輸和異步事務(wù)處理，實現(xiàn)應(yīng)用整合與數(shù)據(jù)交換，將傳統(tǒng)面向計算資源的云服務(wù)轉(zhuǎn)變?yōu)槊鎸ο⒌腎oT云服務(wù)。

4 面向行業(yè)的物云融合服務(wù)實踐

當(dāng)前，垃圾處理已成為一項關(guān)乎民生和社會可持續(xù)發(fā)展的重要因素。為積極響應(yīng)政府號召，充分發(fā)揮中國電信信息惠民的社會使命，通過將新型物聯(lián)網(wǎng)技術(shù)與云計算、大數(shù)據(jù)技術(shù)跨界融合，進(jìn)而構(gòu)建智能環(huán)衛(wèi)管理解決方案，解決傳統(tǒng)環(huán)衛(wèi)生產(chǎn)管理落后、垃圾處理設(shè)施不夠完善等問題，打造面向環(huán)衛(wèi)行業(yè)的典型物聯(lián)網(wǎng)應(yīng)用，有效帶動中國電信物聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展。

智能環(huán)衛(wèi)管理系統(tǒng)由環(huán)衛(wèi)終端、NB-IoT/4G網(wǎng)絡(luò)和智能環(huán)衛(wèi)管理平臺三部分組成，架構(gòu)如圖2所示，其中智能環(huán)衛(wèi)管理平臺在天翼云側(cè)進(jìn)行部署，智能垃圾桶、環(huán)衛(wèi)人員、垃圾運輸車和清潔車等智能硬件通過中國電信NB-IoT/4G網(wǎng)絡(luò)接入平臺，實現(xiàn)數(shù)據(jù)的采集與上報。智能環(huán)衛(wèi)管理平臺對各類智能硬件進(jìn)行實時調(diào)度，并對收集的數(shù)據(jù)進(jìn)行智能分析處理。

相對于傳統(tǒng)的云計算場景，IoT云平臺需要支持?jǐn)?shù)十億臺設(shè)備和數(shù)萬億條消息，并且可對消息進(jìn)行處理，將其安全可靠地路由至各終端節(jié)點和其他設(shè)備。同時，無論設(shè)備是否處于連接狀態(tài)，云平臺都可以隨時跟蹤所有設(shè)備并與其通信。

針對以上場景需求，IoT云平臺主要從以下幾個方面實現(xiàn)。

1)基于消息中間件，構(gòu)建海量消息處理能力。

相對于傳統(tǒng)云平臺更多面向云的計算能力和存儲資源，IoT云平臺服務(wù)主要面向消息，為設(shè)備和應(yīng)用提供安全可靠的消息處理能力。而這些能力的提供，對底層的云基礎(chǔ)設(shè)施提出了新的要求。

IoT平臺通過消息中間件，建立應(yīng)用服務(wù)與終端設(shè)備間的通信，并根據(jù)應(yīng)用服務(wù)的訂閱情況將終端設(shè)備消息轉(zhuǎn)發(fā)給指定的應(yīng)用。同時，利用規(guī)則引擎的自定義規(guī)則提取和過濾來自設(shè)備的消息，對消息進(jìn)行數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換，并將消息轉(zhuǎn)發(fā)到指定的訂閱應(yīng)用或?qū)懭氪鎯?，對接通知推送和?shù)據(jù)處理服務(wù)。再通過流數(shù)據(jù)處理，收集、轉(zhuǎn)換來自終端設(shè)備及應(yīng)用服務(wù)的狀態(tài)、日志等流式數(shù)據(jù)，并將其加載到各類數(shù)據(jù)存儲中，進(jìn)行實時處理和分析，幫助構(gòu)建自定義實時應(yīng)用程序。

2)基于容器及微服務(wù)架構(gòu)，打造豐富的“云”、“端”處理能力。

IoT云平臺以云為基礎(chǔ)，通過采用微服務(wù)架構(gòu)，支持模塊分層解耦和橫向擴展。每個微服務(wù)基于容器獨立編譯及部署，并通過各自暴露的API接口互相通訊，協(xié)同工作，共同提供平臺強大的整體功能。

結(jié)合容器虛擬化技術(shù)，IoT設(shè)備與物聯(lián)網(wǎng)關(guān)集成一致的IoT開發(fā)環(huán)境，屏蔽底層系統(tǒng)，打破設(shè)備間的信息孤島，實現(xiàn)終端、設(shè)備、應(yīng)用三者間的互聯(lián)互通互動，滿足物聯(lián)網(wǎng)多樣化業(yè)務(wù)需求。

3)基于海量數(shù)據(jù)存儲，提供高效的數(shù)據(jù)分析和處理能力。

面對物聯(lián)網(wǎng)海量數(shù)據(jù)的整合、運營，IoT云平臺更需要高效的數(shù)據(jù)分析和處理能力。除了需要進(jìn)一步發(fā)展大數(shù)據(jù)計算和分析等能力，IoT云平臺還需要整合計算機視覺、圖像識別、深度學(xué)習(xí)、機器人技術(shù)、語音識別、自然語言處理等創(chuàng)新的AI能力，擴展對視頻、圖像、語音等異構(gòu)數(shù)據(jù)的認(rèn)知和理解能力，將其應(yīng)用到不同的場景中，為更多的業(yè)務(wù)創(chuàng)新提供能力基礎(chǔ)。

圖2 基于物云融合架構(gòu)的新一代智能環(huán)衛(wèi)管理系統(tǒng)

在此基礎(chǔ)上，開展針對智能環(huán)衛(wèi)管理平臺的高并發(fā)壓力測試和長期穩(wěn)定性測試，模擬物聯(lián)網(wǎng)終端同時向平臺發(fā)送不同業(yè)務(wù)邏輯與格式內(nèi)容的MQTT/CoAP/TCP/UDP消息，并在固定業(yè)務(wù)邏輯和數(shù)據(jù)格式的情況下測試驗證平臺的魯棒性。經(jīng)驗證，平臺同時能夠?qū)?0萬以上的智能物聯(lián)網(wǎng)終端進(jìn)行集約化管理，連接平均響應(yīng)時間達(dá)到毫秒級，并支持線性彈性擴展，如圖3所示。

5 結(jié)語

圖3 10萬用戶下平臺的請求響應(yīng)時間

當(dāng)前物聯(lián)網(wǎng)在全球范圍內(nèi)呈現(xiàn)加速發(fā)展的態(tài)勢，不同行業(yè)和不同類型的物聯(lián)網(wǎng)應(yīng)用逐漸普及和成熟，帶來的數(shù)以百億規(guī)模數(shù)據(jù)價值的發(fā)掘，進(jìn)一步推動了物聯(lián)網(wǎng)應(yīng)用呈現(xiàn)爆發(fā)性增長。同時，伴隨著人工智能、虛擬現(xiàn)實、自動駕駛、智能機器人等技術(shù)的創(chuàng)新突破，物聯(lián)網(wǎng)在應(yīng)用體驗和普及范圍方面達(dá)到新的高度。物聯(lián)網(wǎng)應(yīng)用從過去的自動化、信息化階段逐漸邁入智能化時代，從簡單的提供設(shè)備連接和數(shù)據(jù)交互的功能深化裂變成為傳統(tǒng)行業(yè)智能化升級的關(guān)鍵力量，從而推動物聯(lián)網(wǎng)各行業(yè)包括交通、制造、家居、醫(yī)療、零售等細(xì)分領(lǐng)域在更智能的機器、更智能的網(wǎng)絡(luò)和更智能的交互條件下，創(chuàng)造出更智能的經(jīng)濟發(fā)展模式和社會生態(tài)系統(tǒng)。