景強+陳超
摘 要:為了更合理地將物聯(lián)網(wǎng)相關(guān)思想和技術(shù)運用到動環(huán)監(jiān)控領(lǐng)域,文中采用對數(shù)據(jù)處理過程進行分層的方法分別論述數(shù)據(jù)的來源和特性,并分析各層對于數(shù)據(jù)處理的功能需求和質(zhì)量需求。在分析過程中,以深圳中興力維技術(shù)有限公司的數(shù)據(jù)分層架構(gòu)和相關(guān)實際產(chǎn)品為實驗對象,做了相關(guān)數(shù)據(jù)流匯聚、接入、處理等實驗,獲得了各數(shù)據(jù)分層典型的性能數(shù)據(jù)結(jié)果,得出“以中間件服務(wù)為核心對不同行業(yè)應(yīng)用提供數(shù)據(jù)”的結(jié)論。
關(guān)鍵詞:物聯(lián)網(wǎng);動環(huán)監(jiān)控;中間件服務(wù);數(shù)據(jù)
中圖分類號:TP393 文獻標(biāo)識碼:A 文章編號:2095-1302(2017)09-00-07
0 引 言
自上世紀(jì)90年代末提出物聯(lián)網(wǎng)概念以來,經(jīng)過近20年的發(fā)展,全人類的思維正逐步從互聯(lián)網(wǎng)下“人的信息化”認(rèn)識過渡到物聯(lián)網(wǎng)下“整個世界的信息化”認(rèn)識[1]。
物聯(lián)網(wǎng)系統(tǒng)是全行業(yè)的融合,凡是產(chǎn)生的信息都能夠接入,且這些信息的采集不再依托人的感知,而是靠設(shè)備本身的感知能力,感知所產(chǎn)生的海量數(shù)據(jù)通過物聯(lián)網(wǎng)利用云計算和邊緣計算使得物與物直接進行通信交流,從而自動、智能的為人服務(wù) [1]。
物聯(lián)網(wǎng)將過去分散的、無法自我表達的一切事物注入靈魂,并放到互通的網(wǎng)絡(luò)里進行交流、分析并產(chǎn)生價值[1]。同時也為我們提供了望遠鏡和顯微鏡的功能[2],鑒于信息的碎片化和多樣化,新的商業(yè)模式在此基礎(chǔ)上產(chǎn)生[1]。
從歷史的發(fā)展來看,每一次技術(shù)革新都會帶來產(chǎn)業(yè)革命并推動社會變革,它們通常遵循新技術(shù)+原有產(chǎn)業(yè)=新產(chǎn)業(yè)的模式[3]。產(chǎn)業(yè)升級示意圖如圖1所示。
隨著物聯(lián)網(wǎng)的發(fā)展,其各項技術(shù)及相應(yīng)的意識形態(tài)猶如洪流滲透到各個產(chǎn)業(yè),同時也為傳統(tǒng)動力環(huán)境監(jiān)控產(chǎn)業(yè)帶來了全新的面貌和發(fā)展機會。作為深耕20多年有著深厚積淀的動力環(huán)境監(jiān)控企業(yè)——深圳中興力維技術(shù)有限公司(簡稱“中興力維”),在這股席卷全球的浪潮中準(zhǔn)確把握信息脈動,創(chuàng)新性地提出以信息數(shù)據(jù)流為導(dǎo)向創(chuàng)建企業(yè)研發(fā)架構(gòu),根據(jù)數(shù)據(jù)采集、數(shù)據(jù)匯聚、數(shù)據(jù)接入、數(shù)據(jù)處理以及數(shù)據(jù)呈現(xiàn)等信息處理環(huán)節(jié)對架構(gòu)進行分層,并在各層中部署公司的各項核心技術(shù),通過橫向和縱向組合各項核心技術(shù)發(fā)展各種軟硬件產(chǎn)品。
本文的主旨在于探討分析動環(huán)物聯(lián)網(wǎng)中環(huán)境及動力設(shè)備的特性以及所產(chǎn)生的數(shù)據(jù)流向及處理過程。
1 數(shù)據(jù)的“物”
物聯(lián)網(wǎng)將整個世界信息化,意味著信息化后的數(shù)據(jù)是物聯(lián)網(wǎng)的血液,為物聯(lián)網(wǎng)中各項應(yīng)用輸送養(yǎng)分。故在將數(shù)據(jù)應(yīng)用到業(yè)務(wù)中前,需從品質(zhì)關(guān)注點分析數(shù)據(jù)來源及數(shù)據(jù)組網(wǎng)過程。
在動環(huán)物聯(lián)網(wǎng)中,主要利益相關(guān)者是通訊行業(yè)、電力行業(yè)、交通軌道行業(yè)、數(shù)據(jù)中心等擁有基站、通訊機房、數(shù)據(jù)機房的用戶,提供的主要服務(wù)是對基站及機房內(nèi)環(huán)境及動力設(shè)備進行監(jiān)控、管理,通過數(shù)據(jù)綜合分析及對事件及流程的綜合管理,來保障基站及機房的安全、高效運行。所以動環(huán)物聯(lián)網(wǎng)的數(shù)據(jù)主要來源于環(huán)境的傳感接入、動力設(shè)備接入、安防設(shè)備/系統(tǒng)接入、第三方動力環(huán)境監(jiān)控系統(tǒng)接入。數(shù)據(jù)源如圖2所示。
1.1 傳感器
傳感器根據(jù)接入類型可分為有線接入和無線接入,其細分種類和特性見表1所列[4]。
對于動環(huán)物聯(lián)網(wǎng)來說,由于受到低功耗及應(yīng)用場景(機房內(nèi)有機柜障礙或用戶明確規(guī)定不使用無線傳感)的限制,比較常用的三種傳感器分別為模擬傳感器、單總線傳感器和ZigBee無線接入傳感器。
在傳感領(lǐng)域,中興力維自主研發(fā)了多種有線、無線傳感器,如模擬溫濕度傳感器、水浸探頭、空調(diào)控制器、防盜傳感器、單總線數(shù)字溫濕度傳感器、ZigBee無線傳感器等。
1.2 智能設(shè)備
在動環(huán)物聯(lián)網(wǎng)中,凡是能夠提供特定硬件通訊接口連接到采集器,可通過特定數(shù)據(jù)交互協(xié)議與該設(shè)備進行通訊,從而獲取該設(shè)備提供的數(shù)據(jù)信息的設(shè)備統(tǒng)稱為智能設(shè)備。一般的智能設(shè)備在實現(xiàn)特定功能的同時,自身集成了很多傳感器,可實現(xiàn)一些狀態(tài)監(jiān)測、調(diào)整、干預(yù)和報警等功能。
硬件接口一般分為串口、網(wǎng)口以及無線接入(通過端對端無線轉(zhuǎn)換,最終通過有線方式接入采集器)。對中興力維所接入的2 000多種智能設(shè)備進行分析,得到表2。
大多數(shù)基站及機房設(shè)備提供的接口為串口,因為通訊速率要求不同而導(dǎo)致數(shù)據(jù)接入速率不同,同時也因為數(shù)據(jù)交互協(xié)議不同而再次對數(shù)據(jù)接入速率進行約束,智能設(shè)備所支持的協(xié)議分析表格見表3所列。
對于動環(huán)物聯(lián)網(wǎng)來說,出于成本、數(shù)據(jù)量以及實現(xiàn)的原因考慮,納入監(jiān)控系統(tǒng)的智能設(shè)備多以串口為主。而在可選的串口硬件類型中,考慮到布線方便、抗干擾能力以及傳輸距離,又多以RS 485(最遠可達1 200 m)為主。
中興力維技術(shù)在動環(huán)領(lǐng)域研發(fā)和應(yīng)用了多款具備綜合采集能力的智能設(shè)備產(chǎn)品,如溫濕度采集設(shè)備、UPS蓄電池組的高壓監(jiān)測設(shè)備,具備蓄電池電壓/溫度/內(nèi)阻以及均衡活化功能的蓄電池綜合管理設(shè)備、實現(xiàn)油機控制切換的ATS設(shè)備、實現(xiàn)空調(diào)控制的紅外控制設(shè)備、單路以及多路電表設(shè)備等。
2 數(shù)據(jù)的“網(wǎng)”和“聯(lián)”
在傳統(tǒng)動環(huán)監(jiān)控領(lǐng)域中,基本的組網(wǎng)模式如圖3所示。
從各層的命名上,我們不難看出傳統(tǒng)動環(huán)監(jiān)控系統(tǒng)的分層理念是以功能劃分為主:
(1)FSU:實現(xiàn)傳感器和智能設(shè)備的數(shù)據(jù)采集,并提供上行接口實現(xiàn)采集數(shù)據(jù)的上報;
(2)LSC:實現(xiàn)采集數(shù)據(jù)的處理、存儲,在區(qū)域監(jiān)控中心提供平臺,為用戶提供數(shù)據(jù)監(jiān)控、告警管理、報表查詢輸出、流程及事件管理等功能;
(3)CSC:一般在大型系統(tǒng)中,在集中監(jiān)控中心提供平臺,為用戶提供全網(wǎng)管理功能。
即在傳統(tǒng)動環(huán)監(jiān)控系統(tǒng)中,強調(diào)功能概念而非數(shù)據(jù)概念,數(shù)據(jù)只為當(dāng)前的功能服務(wù),并未充分考慮數(shù)據(jù)網(wǎng)絡(luò)需要的品質(zhì)特性(海量增長可用性、數(shù)據(jù)通訊及時性、數(shù)據(jù)存儲可靠性、數(shù)據(jù)訪問安全性)。同時沒有把數(shù)據(jù)作為寶藏對其深度挖掘,未體現(xiàn)其潛藏的價值。endprint
針對上述問題,中興力維充分認(rèn)識到動環(huán)物聯(lián)網(wǎng)時代中接入的傳感、設(shè)備所產(chǎn)生的數(shù)據(jù)猶如人類的供水系統(tǒng),各種面向用戶的系統(tǒng)都在此基礎(chǔ)上誕生,而系統(tǒng)中使用的軟硬件均圍繞如何更好的管理和利用“水流”而設(shè)計?;凇皵?shù)據(jù)為王”的理念,發(fā)展出的動環(huán)物聯(lián)網(wǎng)系統(tǒng)架構(gòu)如圖4所示。
2.1 數(shù)據(jù)原始積累
在動環(huán)物聯(lián)網(wǎng)中數(shù)據(jù)的原始積累過程主要集中在數(shù)據(jù)感知層的傳感器以及智能設(shè)備、數(shù)據(jù)匯聚層的物聯(lián)網(wǎng)關(guān)以及數(shù)據(jù)接入層的接入存儲平臺。
數(shù)據(jù)感知層的傳感器以及智能設(shè)備作為數(shù)據(jù)的原始來源已在前面有所分析。從分析結(jié)果看,當(dāng)前動環(huán)物聯(lián)網(wǎng)系統(tǒng)中涉及的智能設(shè)備多以串口接入為主,所以后續(xù)分析物聯(lián)網(wǎng)關(guān)接入能力時,以串口智能設(shè)備接入為主。
以數(shù)據(jù)流向決定的分層架構(gòu)最符合物聯(lián)網(wǎng)中對于“網(wǎng)”的構(gòu)成以及“聯(lián)”的創(chuàng)想。以數(shù)據(jù)的生產(chǎn)和分析處理做出定量和定性的分析。
物聯(lián)網(wǎng)關(guān)接入能力是指在單位時間內(nèi)能夠接入的傳感器以及智能設(shè)備采集的監(jiān)控點數(shù)量。
監(jiān)控點代表傳感器或智能設(shè)備所能提供的能表征或改變某個環(huán)境或設(shè)備狀態(tài)的信息點。一般根據(jù)信息的可操作性和數(shù)據(jù)特性分為如下幾項:
(1)模擬輸入監(jiān)控點:傳感器或設(shè)備上有連續(xù)變化的信息,則采集的數(shù)據(jù)一般使用浮點數(shù)表征,如環(huán)境溫度。
(2)數(shù)字輸入監(jiān)控點:傳感器或設(shè)備上有離散變化的信息,則采集的數(shù)據(jù)一般使用整形(一個位或一個單字節(jié))表征,比如空調(diào)只有開和關(guān)兩種狀態(tài),用一個位即可表征,再如蓄電池有浮充狀態(tài)、均充狀態(tài)、測試等多種狀態(tài),需要用多個位或一個字節(jié)表征。
(3)模擬輸出監(jiān)控點:傳感器或設(shè)備上有連續(xù)變化的信息,可通過設(shè)置此信息改變傳感器或設(shè)備的狀態(tài)。比如空調(diào)的溫度設(shè)置點,我們可以通過設(shè)置來改變空調(diào)的運行狀態(tài)。
(4)數(shù)字輸出監(jiān)控點:傳感器或設(shè)備上有離散變化的信息,可通過設(shè)置此信息改變傳感器或設(shè)備的狀態(tài)。比如油機開關(guān),我們可以通過控制來使油機運行或停止動作。
2.1.1 物聯(lián)網(wǎng)關(guān)匯聚及接出能力
評估物聯(lián)網(wǎng)的匯聚能力主要根據(jù)其硬件處理能力、對外提供的端口數(shù)量(包括傳感器端口和智能設(shè)備端口數(shù)量)、傳感器或智能設(shè)備通訊速率,以及傳感器或智能設(shè)備提供的數(shù)據(jù)格式。
物聯(lián)網(wǎng)發(fā)展技術(shù)的必要條件之一就是嵌入式軟硬件的性能提升和價格下降,當(dāng)下嵌入式處理器的運算能力均為幾百Mb/s或者更高,而對于絕大多數(shù)為低速接入的傳感器或智能設(shè)備而言,雖然不構(gòu)成直接瓶頸,但一般由于物聯(lián)網(wǎng)關(guān)需要通過多進程或多線程的方式管理多種硬件端口數(shù)據(jù)通訊以及其他事務(wù)(如自檢、北向通訊、存儲等),所以處理器的資源不會完全使用到數(shù)據(jù)采集上,通常保守估計約60%。
傳感器數(shù)量對于單臺物聯(lián)網(wǎng)關(guān)而言一般不會超過50個,所以我們對傳感器的接入可忽略不計。
對于一般的串口智能設(shè)備來說,其數(shù)據(jù)通訊效率受以下幾方面影響:
(1)受其他功能的影響而無法完全占用處理器資源,保守估計約60%;
(2)假設(shè)可達到的最高速率為115 200 b/s(每個字節(jié)在傳輸過程中占用10位),但其提供的采集點有可能是占用多個字節(jié)的模擬量,或者1個位/字節(jié)的數(shù)字量。根據(jù)歷史經(jīng)驗綜合來看,其提供的每個監(jiān)控點平均占用2 B,理論上每個串口每秒能夠提供的監(jiān)控點數(shù)量為115 200/10/2=5 760,然而綜合上述各種影響因素分析,其接入能力公式如下:
Cin=(115 200/10/2) ·Rd·Ng·Rg;
其中:Cin代表采集監(jiān)控點數(shù)量;Rd代表智能設(shè)備通訊效率;Ng代表串口數(shù)量;Rg代表物聯(lián)網(wǎng)關(guān)通訊效率。
而物聯(lián)網(wǎng)關(guān)的接出能力(與數(shù)據(jù)接入層的接入存儲平臺之間的數(shù)據(jù)交互能力)也可稱為數(shù)據(jù)讀取速度,主要受通訊接口速率以及處理器效率的影響。
中興力維根據(jù)不同的應(yīng)用場景,推出了高、中、低三款物聯(lián)網(wǎng)關(guān)產(chǎn)品。
低端的IG1000產(chǎn)品應(yīng)用于小型化接入場景,比如商場冷柜監(jiān)控接入、鐵塔拉遠站監(jiān)控接入等,提供2個串口。其通訊效率約為50%,其采集能力見下式:
Cin(IG1000) = (115 200/10/2)×60%×2×50%>3 000個監(jiān)控點/s;
2個串口支持485并接,IG1000能夠支持100臺設(shè)備的匯聚采集。IG1000北向提供100 M網(wǎng)絡(luò)和移動無線寬帶通接口,數(shù)據(jù)讀取速度可達10 000條/s。
中端IG2000產(chǎn)品應(yīng)用于各行業(yè)及運營商站點以及各種數(shù)據(jù)機房。其通訊效率約為60%,最多可提供16個串口。其采集能力如下:
Cin(IG2000) = (115 200/10/2)×60%×16×60%>30 000個監(jiān)控點/s;
16個串口支持485并接,IG2000能夠支持1 000臺設(shè)備的匯聚采集。IG2000北向提供100 M網(wǎng)絡(luò)和移動無線寬帶通接口,數(shù)據(jù)讀取速度可達80 000條/s。
高端IP3000采用Intel處理器解決方案,融合業(yè)務(wù)平臺管理功能,主要應(yīng)用于獨立中小機房或大型機房。可以接入50個基礎(chǔ)物聯(lián)網(wǎng)關(guān),在實現(xiàn)業(yè)務(wù)平臺功能的同時,其采集能力高達200 000/s,可支持10 000臺設(shè)備匯聚采集。IP3000北向提供1 000 M網(wǎng)絡(luò)和移動無線寬帶通接口,數(shù)據(jù)讀取速度可達1 000 000條/s。
2.1.2 接入存儲平臺
接入存儲平臺位于數(shù)據(jù)接入層,在動環(huán)物聯(lián)網(wǎng)系統(tǒng)中的作用猶如巨大的儲水罐。
(1)入:同構(gòu)或者異構(gòu)接入采集物聯(lián)網(wǎng)關(guān)獲取物聯(lián)網(wǎng)關(guān)上采集的傳感和智能設(shè)備數(shù)據(jù);接入視頻設(shè)備;接入第三方數(shù)據(jù)采集系統(tǒng)(比如安防系統(tǒng)、異構(gòu)數(shù)據(jù)平臺等);
(2)儲:為各類采集數(shù)據(jù)提供快速緩沖式存儲以及持久化存儲;endprint
(3)出:為“數(shù)據(jù)處理層”提供實時和歷史數(shù)據(jù)訪問接口。
物聯(lián)網(wǎng)的數(shù)據(jù)量在以每年50%的速度增長,預(yù)計到2020年,相較于2010年,數(shù)據(jù)量將增長近30倍。而隨著物聯(lián)網(wǎng)的發(fā)展,通訊網(wǎng)絡(luò)的升級勢必造成大量站點接入動環(huán)物聯(lián)網(wǎng)系統(tǒng);數(shù)據(jù)信息的爆炸式增加勢必造成大量及大型數(shù)據(jù)中心的出現(xiàn)并接入動環(huán)物聯(lián)網(wǎng)系統(tǒng)。
根據(jù)中興力維對數(shù)據(jù)中心的數(shù)據(jù)量的分析,得出在低密度采集數(shù)據(jù)方案下,每天采集數(shù)據(jù)14億條,相當(dāng)于288 GB,每年的數(shù)據(jù)總量達到195 TB。而在高密度采集數(shù)據(jù)方案下,每天采集數(shù)據(jù)168億條,相當(dāng)于3.45 TB,每年的數(shù)據(jù)總量達到1.26 PB。
面對如此巨大的數(shù)據(jù)量,傳統(tǒng)動環(huán)監(jiān)控系統(tǒng)下的組網(wǎng)方式以及結(jié)構(gòu)化數(shù)據(jù)庫存儲架構(gòu)已經(jīng)完全無法滿足“大數(shù)據(jù)”的需求。
在充分研究分析并掌握動環(huán)物聯(lián)網(wǎng)系統(tǒng)的“大數(shù)據(jù)”特性之后,中興力維深入研究了分布式及云存儲技術(shù),結(jié)合多年積累的數(shù)千種接入?yún)f(xié)議,打造出適用于物聯(lián)網(wǎng)系統(tǒng)的新一代接入平臺iCap,采用分布式架構(gòu),支持橫向堆疊擴充。其單臺服務(wù)器的接入能力高達3 000 000 數(shù)據(jù)/s, 或600 MB/s。
2.2 數(shù)據(jù)分析處理
在傳統(tǒng)的動環(huán)監(jiān)控系統(tǒng)中,數(shù)據(jù)的處理主要分為圖5中的兩種處理方式,
在早期的動環(huán)監(jiān)控系統(tǒng)中,受嵌入式技術(shù)發(fā)展的限制,F(xiàn)SU主要作為采集單元負責(zé)采集傳感器和智能設(shè)備數(shù)據(jù),并提供北向接口被動接受平臺的數(shù)據(jù)查詢,在性能需求的基礎(chǔ)上加入主動上報變化數(shù)據(jù)的功能。
隨著嵌入式技術(shù)的發(fā)展及價格的下滑,各行業(yè)對于北向接口(B接口)的規(guī)范化,順應(yīng)動環(huán)監(jiān)控系統(tǒng)的扁平化需求,同時由于動環(huán)監(jiān)控系統(tǒng)中接入設(shè)備及監(jiān)控點數(shù)據(jù)的猛增,為減少平臺處理壓力,平臺側(cè)的告警以及統(tǒng)計分析功能下沉,在FSU側(cè)實現(xiàn)標(biāo)準(zhǔn)化的告警及統(tǒng)計分析(為保證數(shù)據(jù)完整性并且提供存儲功能),如目前鐵塔監(jiān)控系統(tǒng)的搭建就基于這種模型[5]。
我們之前分析傳統(tǒng)動環(huán)監(jiān)控系統(tǒng)的架構(gòu)主要基于功能進行分層,而進入物聯(lián)網(wǎng)時代以后,動環(huán)監(jiān)控系統(tǒng)打上了物聯(lián)網(wǎng)的烙印,動環(huán)物聯(lián)網(wǎng)系統(tǒng)的架構(gòu)主要基于數(shù)據(jù)進行分層。
動環(huán)物聯(lián)網(wǎng)的數(shù)據(jù)首先無法脫離“5V”特性,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)、Veracity(真實)。對于數(shù)據(jù)從產(chǎn)生到商用的全生命周期過程,需要包含一系列處理過程,我們根據(jù)縱向和橫向特性進行分析,其完全符合“竹蜻蜓”模型,如圖6所示。
竹蜻蜓是一種中國傳統(tǒng)的民間兒童玩具,流傳甚廣。竹蜻蜓由竹柄和“翅膀”組成。在玩耍時,雙手一搓,然后松開,竹蜻蜓就會飛上天空,旋轉(zhuǎn)一會兒后落下。
竹柄的作用有兩點,一個是用于搓動,帶動翅膀的旋轉(zhuǎn);二是穩(wěn)定在空中的飛行姿態(tài)。其形狀類似數(shù)據(jù)分層結(jié)構(gòu)中縱向的數(shù)據(jù)流向及處理過程,其功效與數(shù)據(jù)的推動性及可靠性暗合。
翅膀的作用是旋轉(zhuǎn)產(chǎn)生浮力,使竹蜻蜓飛翔。其形狀類似于通過數(shù)據(jù)使“物物相聯(lián)”的數(shù)據(jù)橫向流向及處理過程,其功效與數(shù)據(jù)真正價值暗合。
感知層主要用來產(chǎn)生數(shù)據(jù),由于傳感器受成本及簡潔性約束條件的限制,持續(xù)不斷地采集數(shù)據(jù),通過簡單的硬件設(shè)計保障數(shù)據(jù)的可用性、可靠性,而不會通過軟件對數(shù)據(jù)進行加工處理。如果需要通過軟件對數(shù)據(jù)進行加工處理,勢必會增加傳感器的硬件成本。對于智能設(shè)備而言,其內(nèi)部擁有智能處理單元,可以對自身采集的傳感數(shù)據(jù)做一定處理,通常采用去毛刺、濾波等處理方法。接入動環(huán)物聯(lián)網(wǎng)的傳感器及智能設(shè)備來自不同廠家的不同型號,所以其數(shù)據(jù)處理過程不是動環(huán)物聯(lián)網(wǎng)的主要研究對象。換言之,如果在感知層做太多的數(shù)據(jù)處理,反而會影響被感知環(huán)境的真實性。
2.2.1 縱向數(shù)據(jù)處理
我們對于數(shù)據(jù)處理的討論主要集中在數(shù)據(jù)匯聚層、數(shù)據(jù)接入層、數(shù)據(jù)處理層和數(shù)據(jù)業(yè)務(wù)層。從分層角度透過數(shù)據(jù)流向看縱向過程,數(shù)據(jù)處理可以在不同層進行,每一層都有其優(yōu)缺點。
傳統(tǒng)的數(shù)據(jù)處理過程基于業(yè)務(wù)功能考慮,即主要根據(jù)業(yè)務(wù)屬性進行數(shù)據(jù)處理,比如告警判斷和統(tǒng)計分析。告警判斷是指根據(jù)業(yè)務(wù)需求(用戶指定的告警需求,或者各種接口數(shù)據(jù)交互協(xié)議規(guī)定),將采集到的監(jiān)控點數(shù)據(jù)的不同取值或者范圍定義為不同等級的告警區(qū)間,當(dāng)采集值處于規(guī)定范圍內(nèi)時產(chǎn)生告警信息,并將告警信息直接或在加工后間接呈現(xiàn)給用戶,比如溫度的多級告警(過低、過高、超高等)。而統(tǒng)計分析是指為實現(xiàn)特定的業(yè)務(wù)功能,選擇相應(yīng)的采集監(jiān)控點,設(shè)定相應(yīng)的數(shù)據(jù)密度采樣策略,以達到業(yè)務(wù)分析的目的,比如電量的整點統(tǒng)計(每半點或者整點采樣電量)。
在目前大多數(shù)的動環(huán)監(jiān)控系統(tǒng)中,從不同的角度考慮,告警和統(tǒng)計分析的數(shù)據(jù)處理過程可以放到數(shù)據(jù)匯聚層,即FSU側(cè),其目的是可運用FSU的分布式計算能力,但FSU側(cè)的分析算法可能會經(jīng)常根據(jù)用戶的不同需求進行調(diào)整和優(yōu)化,從而影響FSU提供數(shù)據(jù)的性能。告警和統(tǒng)計分析的數(shù)據(jù)處理也可以放到數(shù)據(jù)接入層(也是呈現(xiàn)層),即業(yè)務(wù)平臺側(cè),其目的主要是便于根據(jù)用戶需求快速實現(xiàn)告警和統(tǒng)計分析處理與呈現(xiàn),但在大規(guī)模系統(tǒng)中平臺的處理性能有可能會出現(xiàn)瓶頸。
中興力維根據(jù)數(shù)據(jù)的分層架構(gòu),重新定義數(shù)據(jù)特性及數(shù)據(jù)匯聚層與數(shù)據(jù)接入層對于數(shù)據(jù)的處理實現(xiàn)。
在數(shù)據(jù)的縱向處理上,將業(yè)務(wù)特性從數(shù)據(jù)基本屬性中剝離出來,將數(shù)據(jù)的匯聚過程抽象和簡化為訂閱和查閱兩種。
訂閱方式種類多樣,主要根據(jù)業(yè)務(wù)需求采用不同的訂閱策略參數(shù)來進行控制。可包含如下訂閱方式:
(1)門限訂閱:類似于之前的告警主動上報,主要通過限值的判斷達到訂閱目的;
(2)變化訂閱:通過變化閾值(絕對/相對)來達到訂閱目的;
(3)周期訂閱:通過設(shè)置和調(diào)整周期長短達到訂閱目的;
(4)整點訂閱:通過設(shè)置整點(或半點)方式達到訂閱目的;endprint
查閱分為實時數(shù)據(jù)查閱和歷史數(shù)據(jù)查閱,由上位機發(fā)起,由下位機應(yīng)答。
基于縱向數(shù)據(jù)梳理的品質(zhì)需求(完整性、及時性、可用性),中興力維定義了數(shù)據(jù)匯聚層與數(shù)據(jù)接入層之間的動環(huán)物聯(lián)網(wǎng)交互協(xié)議(B接口協(xié)議),并對已經(jīng)接入的2 000多種智能設(shè)備做了全面的分析,形成了力維的字典表。字典表中包含各類設(shè)備和各類監(jiān)控點的標(biāo)準(zhǔn)化信息(如名稱、類型編碼等),以及與類型相關(guān)的數(shù)據(jù)抽樣采集密度的經(jīng)驗屬性參數(shù)。
數(shù)據(jù)匯聚層的物聯(lián)網(wǎng)關(guān)主要的數(shù)據(jù)處理就是根據(jù)字典表規(guī)范化采集數(shù)據(jù),并通過簡潔的B接口協(xié)議快速提供數(shù)據(jù)到接入平臺;而數(shù)據(jù)接入層的接入平臺主要的數(shù)據(jù)處理就是根據(jù)字典表接入、整合以及存儲由物聯(lián)網(wǎng)關(guān)提供的采集數(shù)據(jù)。
2.2.2 橫向數(shù)據(jù)處理
大數(shù)據(jù)時代帶來了密集采集的需要與全生命周期的跟蹤,給了我們密切關(guān)注被監(jiān)控設(shè)備在整個生命周期中表現(xiàn)的良好機會,所以動環(huán)物聯(lián)網(wǎng)要對接入的傳感器及設(shè)備進行全生命周期管理,勢必帶來四大挑戰(zhàn):
(1)數(shù)據(jù)采集的密度以指數(shù)形式上升,對于數(shù)據(jù)各承載環(huán)節(jié)的數(shù)據(jù)吞吐能力和處理能力是一個挑戰(zhàn),因為CPU有限;
(2)只有在物物相聯(lián)的基礎(chǔ)上,才能夠橫向運用物聯(lián)網(wǎng)設(shè)備,整個產(chǎn)業(yè)才會興盛,但如果將數(shù)據(jù)分析放在前幾層則無法進行數(shù)據(jù)碰撞;
(3)不同行業(yè)領(lǐng)域的個性定制化需求及數(shù)據(jù)的持續(xù)挖掘;
(4)智能設(shè)備的“去偽智能化”:弱化人工干預(yù)控制,簡化用戶操作,提供更加完善的服務(wù);
中興力維認(rèn)為,在大數(shù)據(jù)時代的最佳數(shù)據(jù)處理方式,是在數(shù)據(jù)處理層置入一個用于數(shù)據(jù)清洗、處理、分析的中間件,即動環(huán)大數(shù)據(jù)分析引擎DCG-D。對動環(huán)大數(shù)據(jù)分析引擎DCG-D有如下要求:
(1)能快速導(dǎo)入及存儲速率高達3 000 000數(shù)據(jù)/s的數(shù)據(jù);
(2)能提供高速查詢,100億條/s;
(3)能利用預(yù)置模型進行在線機器學(xué)習(xí)與告警分析。
由此以來,可以達到以下幾個目的:
(1)可提供高密數(shù)據(jù)處理能力,為復(fù)雜業(yè)務(wù)及后續(xù)的數(shù)據(jù)挖掘提供技術(shù)保障;
(2)集中實現(xiàn)數(shù)據(jù)碰撞,達到物物相聯(lián);
(3)更為便捷及高效地滿足數(shù)據(jù)呈現(xiàn)層對于各種數(shù)據(jù)分析處理的需求;
(4)減輕數(shù)據(jù)匯聚層及數(shù)據(jù)接入層的負擔(dān),便于在各層部署邊緣計算算法,弱化人工干預(yù)控制,簡化用戶操作。
3 結(jié) 語
動環(huán)物聯(lián)網(wǎng)的發(fā)展過程就是對“物”、“網(wǎng)”、“聯(lián)”不斷深入認(rèn)識和演進的過程[1]。
在“物”方面,通過各種無線及有線鏈路,不斷積累接入各種類型的傳感設(shè)備、智能設(shè)備及采集監(jiān)控點,將其規(guī)范化到監(jiān)控點信息標(biāo)準(zhǔn)化字典表中,同時掌握新設(shè)備以及監(jiān)控點特性,提煉出與數(shù)據(jù)采集策略相關(guān)的訂閱、查閱等標(biāo)準(zhǔn)化參數(shù)。不斷形成和優(yōu)化與設(shè)備類型相關(guān)的分析模型和算法。
在“網(wǎng)”方面,在規(guī)范字典表的基礎(chǔ)上,形成支撐信息網(wǎng)絡(luò)交互的各種接口之間的標(biāo)準(zhǔn)化協(xié)議,以數(shù)據(jù)流向的品質(zhì)關(guān)注點為追求目標(biāo),達到數(shù)據(jù)交互的及時性、完整性,上行可支撐海量感知數(shù)據(jù)的匯聚,下行可通到每一個傳感監(jiān)測點。
在“聯(lián)”方面,在充分掌握和運用大數(shù)據(jù)相關(guān)技術(shù)的前提下,利用“網(wǎng)”中的數(shù)據(jù),縱向深度挖掘建立個體模型、橫向深度挖掘建立物物關(guān)聯(lián)模型,形成數(shù)據(jù)價值分級以及數(shù)據(jù)共享商業(yè)價值[1]。
動環(huán)物聯(lián)網(wǎng)中各個數(shù)據(jù)承載及流通節(jié)點就像交響樂團中手持各種樂器的音樂家,聽眾就是用戶,在大數(shù)據(jù)處理的指揮下,音樂家為聽眾奏出美麗的物聯(lián)網(wǎng)樂章。
對于中興力維的動環(huán)物聯(lián)網(wǎng)系統(tǒng)而言,DCG-D就是樂隊的指揮,匯聚層各種型號的物聯(lián)網(wǎng)關(guān)就是手持各類樂器的音樂家,而接入層的接入存儲平臺就是演奏音樂會的舞臺和劇場,為指揮家提供場所的同時,為奏出的音符提供承載空間。
參考文獻
[1]物聯(lián)網(wǎng)智庫.物聯(lián)網(wǎng):未來已來[M].北京:機械工業(yè)出版社,2016.
[2]塞繆爾.格林加德.物聯(lián)網(wǎng)[M].北京:中信出版社,2016.
[3]吳軍.智能時代:大數(shù)據(jù)與智能革命重新定義未來[M].北京:中信出版社,2016.
[4]俞建峰.物聯(lián)網(wǎng)工程開發(fā)與實踐[M].北京:人民郵電出版社,2013.
[5]中國鐵塔股份有限公司.中國鐵塔動環(huán)監(jiān)控系統(tǒng)統(tǒng)一互聯(lián)B接口技術(shù)規(guī)范[S].
[6]王兆慶.云計算在三網(wǎng)融合中的應(yīng)用研究[J].物聯(lián)網(wǎng)技術(shù),2014,4(6):81-83.
[7]動環(huán)監(jiān)控系統(tǒng)在通信電源系統(tǒng)中的應(yīng)用[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2007,20(6):109-110.
[8]劉廷亮.鐵塔公司基站動環(huán)監(jiān)控建設(shè)模式探討[J].電信技術(shù),2015,7(12):58-61.endprint