基于搜索的物聯(lián)網(wǎng)設(shè)備識(shí)別框架

鄒宇馳, 劉 松, 于 楠, 朱紅松, 孫利民, 李 紅, 王 旭

1中國(guó)科學(xué)院大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京中國(guó)100049

2中國(guó)科學(xué)院信息工程研究所物聯(lián)網(wǎng)信息安全技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京中國(guó)100093

1 引言

隨著物聯(lián)網(wǎng)(Internet of Things, IoT)技術(shù)的飛速發(fā)展, 各種類別、類型、品牌、型號(hào)的物聯(lián)網(wǎng)設(shè)備在日常生活中發(fā)揮著重要的作用, 如家用路由器、IP Camera、網(wǎng)絡(luò)打印機(jī)、工業(yè)物聯(lián)網(wǎng)中的工業(yè)控制系統(tǒng)(Industrial Control System)等。有報(bào)告顯示[1], 目前有超過(guò)50億的物聯(lián)網(wǎng)設(shè)備, 這個(gè)數(shù)量在2020年將會(huì)達(dá)到200億。這些設(shè)備在被分配公網(wǎng)IP地址的情況下, 可以借助互聯(lián)網(wǎng)較為方便地直接與之交互或管理。但隨之而來(lái)的是這些設(shè)備缺乏安全防護(hù)或者設(shè)計(jì)上的缺陷或者軟件漏洞的曝光以及黑客利用這些不安全因素實(shí)施惡意行為。如2016年10月份美國(guó)東海岸斷網(wǎng)事件, 歸咎為大量的IP Camera存在弱密鑰的缺陷。由此可見(jiàn), 物聯(lián)網(wǎng)設(shè)備給網(wǎng)絡(luò)空間帶來(lái)的安全問(wèn)題不容忽視。

經(jīng)過(guò)調(diào)研發(fā)現(xiàn), 相同品牌或相同型號(hào)的設(shè)備會(huì)存在相同漏洞, 如 CVE-2015-7254[2], 影響了華為路由器下的HG532e、HG532n、HG532s等三種型號(hào)。因此, 在網(wǎng)絡(luò)空間中快速、準(zhǔn)確地識(shí)別出物聯(lián)網(wǎng)設(shè)備,細(xì)粒度地判斷其產(chǎn)品屬性, 再通過(guò)漏洞庫(kù)進(jìn)行準(zhǔn)確標(biāo)識(shí), 既能有助于建立物聯(lián)網(wǎng)設(shè)備安全分布態(tài)勢(shì)圖,又能幫助管理員加固設(shè)備防護(hù), 加強(qiáng)資產(chǎn)管理, 幫助后續(xù)制定防護(hù)策略, 為安全防護(hù)方案提供參考。Shodan[3]與 Censys[4]是目前商用化最好的面向?qū)嶓w設(shè)備的搜索服務(wù)系統(tǒng), 是開(kāi)展安全研究的重要資源平臺(tái)。

本文提出一種基于搜索的物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性識(shí)別框架, 著重提升對(duì)物聯(lián)網(wǎng)設(shè)備產(chǎn)品相關(guān)屬性的識(shí)別能力。通過(guò)實(shí)時(shí)地對(duì)類型、品牌、型號(hào)庫(kù)搜索更新, 實(shí)現(xiàn)對(duì)不同類型、不同廠商甚至不同型號(hào)的物聯(lián)網(wǎng)設(shè)備的識(shí)別能力的提升。本文通過(guò)屬性信息庫(kù)自動(dòng)化構(gòu)建框架、數(shù)據(jù)獲取與預(yù)處理模塊、設(shè)備產(chǎn)品屬性分級(jí)識(shí)別模塊三個(gè)主要部分定義了物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性完整識(shí)別框架。

首先, 通過(guò)爬蟲(chóng)等自動(dòng)化的抓取手段, 自動(dòng)化地、實(shí)時(shí)地搜索電商平臺(tái)上出現(xiàn)的物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性相關(guān)信息, 不斷更新設(shè)備信息庫(kù)。其次, 建立全連接之后, 發(fā)送針對(duì)特定協(xié)議或端口的特定探測(cè)報(bào)文, 獲得物聯(lián)網(wǎng)設(shè)備返回的協(xié)議標(biāo)語(yǔ)信息, 利用自然語(yǔ)言處理(Natural Language Process, NLP)的方式,除去協(xié)議標(biāo)語(yǔ)中的停用詞、特殊符號(hào)等非關(guān)鍵性因素后, 再對(duì)標(biāo)語(yǔ)信息進(jìn)行分詞。最后利用自動(dòng)化收集的信息庫(kù)以及相關(guān)內(nèi)容過(guò)濾標(biāo)語(yǔ)信息中的標(biāo)識(shí)信息,如類型、品牌、型號(hào)等。

通過(guò)對(duì)以上研究方案的實(shí)現(xiàn), 克服了對(duì)物聯(lián)網(wǎng)設(shè)備識(shí)別能力不全、識(shí)別粒度較粗的問(wèn)題。目前可識(shí)別品牌種類庫(kù)達(dá)到1200種以上, 型號(hào)種類庫(kù)達(dá)到12000種以上, 構(gòu)建效率遠(yuǎn)高于人工指紋模式, 且自動(dòng)形成對(duì)新品類設(shè)備的識(shí)別能力。通過(guò)在真實(shí)的公網(wǎng)環(huán)境中的實(shí)測(cè),本框架利用 Onvif協(xié)議標(biāo)語(yǔ)對(duì)公網(wǎng)視頻監(jiān)控設(shè)備型號(hào)識(shí)別準(zhǔn)確率最高達(dá)到 97%, 利用FTP協(xié)議標(biāo)語(yǔ)對(duì)型號(hào)識(shí)別準(zhǔn)確率達(dá)到 91%, 利用Ethernet/ip協(xié)議標(biāo)語(yǔ)對(duì)工業(yè)控制系統(tǒng)設(shè)備型號(hào)識(shí)別準(zhǔn)確率達(dá)到97%, 利用Bacnet協(xié)議標(biāo)語(yǔ)對(duì)工業(yè)控制系統(tǒng)型號(hào)識(shí)別準(zhǔn)確率可達(dá)到98%。

2 相關(guān)工作

近些年來(lái)對(duì)于物聯(lián)網(wǎng)設(shè)備的識(shí)別研究工作逐漸成為一個(gè)熱點(diǎn)。2005年, Kohno等[5]根據(jù)設(shè)備硬件中存在的微小偏差, 利用時(shí)鐘偏移值, 實(shí)現(xiàn)對(duì)遠(yuǎn)程設(shè)備的指紋識(shí)別技術(shù); 2010年, Cui等[6]對(duì)暴露在公網(wǎng)上的弱口令設(shè)備進(jìn)行類別以及類型的分析, 可識(shí)別范圍從企業(yè)設(shè)備(防火墻、路由器)到消費(fèi)電子設(shè)備(VoIP, IPTV機(jī)頂盒)等; 2015年, Radhakrishnan等[7]提出基于人工神經(jīng)網(wǎng)絡(luò)的指紋識(shí)別算法 GTID來(lái)進(jìn)行物聯(lián)網(wǎng)設(shè)備類型識(shí)別, 能達(dá)到較好的精確率; 2016年,曹來(lái)成等[8,9]通過(guò)提取首頁(yè)http數(shù)據(jù)包頭部字段和狀態(tài)碼作為設(shè)備特征, 基于設(shè)備特征向量之間的余弦相似度, 通過(guò) K-means聚類方法實(shí)現(xiàn)對(duì)設(shè)備的劃分; 同年還提出了網(wǎng)絡(luò)空間終端識(shí)別框架, 該框架利用http的標(biāo)語(yǔ)信息和 HTML源代碼雙重因素進(jìn)行終端設(shè)備品牌識(shí)別; 2017年, 任春林等[10]通過(guò)機(jī)器學(xué)習(xí)的方法, 能夠根據(jù)WEB頁(yè)面信息識(shí)別設(shè)備是否是視頻監(jiān)控設(shè)備; 同年, Miettinen等[11]提出對(duì)特定網(wǎng)絡(luò)中物聯(lián)網(wǎng)設(shè)備類型的識(shí)別方法; Li等[12,13]通過(guò)視頻監(jiān)控WEB頁(yè)面提出一種自動(dòng)化的視頻監(jiān)控設(shè)備分類方法; 同年, 他們通過(guò)設(shè)備登錄頁(yè)面的特征, 提出了一種GUIDE的設(shè)備識(shí)別框架, 該框架首先通過(guò)特征提取方法篩選出頁(yè)面的關(guān)鍵字特征, 然后通過(guò)構(gòu)建分類器進(jìn)行視頻監(jiān)控設(shè)備的識(shí)別, 達(dá)到了較高的識(shí)別正確率; Meidan等[14]應(yīng)用機(jī)器學(xué)習(xí)算法于網(wǎng)絡(luò)流量數(shù)據(jù), 從而準(zhǔn)確識(shí)別連接到網(wǎng)絡(luò)的物聯(lián)網(wǎng)設(shè)備類型; 2018年, Bezawada等[15]提出了基于物聯(lián)網(wǎng)設(shè)備指紋的類型識(shí)別方法, 通過(guò)從網(wǎng)絡(luò)流量中提取設(shè)備行為的近似特征, 用于訓(xùn)練設(shè)備類型的機(jī)器學(xué)習(xí)模型; Shaikh等[16]提出一種機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)空間中物聯(lián)網(wǎng)設(shè)備的二分類模型, 實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)空間中惡意的物聯(lián)網(wǎng)設(shè)備活動(dòng)的準(zhǔn)確識(shí)別。用于搜索 SCADA工控設(shè)備的 Modscan[17]工具和用于發(fā)現(xiàn)西門(mén)子PLC設(shè)備的Plcscan[18]工具則是利用專有協(xié)議的標(biāo)語(yǔ)信息進(jìn)行設(shè)備識(shí)別,通過(guò)人工構(gòu)建對(duì)應(yīng)的設(shè)備專有協(xié)議指紋庫(kù), 對(duì)設(shè)備的專有協(xié)議標(biāo)語(yǔ)信息進(jìn)行識(shí)別, 從而對(duì)設(shè)備進(jìn)行識(shí)別分類, 區(qū)分出設(shè)備的類型; Feng等[19]分析了17個(gè)常用工控專有協(xié)議, 提出了針對(duì)互聯(lián)網(wǎng)工控系統(tǒng)設(shè)備的識(shí)別指紋。

但是, 以上研究對(duì)物聯(lián)網(wǎng)設(shè)備的識(shí)別工作仍有些許不足。人工提取指紋能幫助解決一部分識(shí)別, 但是人工指紋容易退化, 對(duì)較新的、相似型號(hào)的設(shè)備識(shí)別能力不夠, 識(shí)別效率較低。引入機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的方法對(duì)網(wǎng)絡(luò)流量進(jìn)行分析, 雖然提高了設(shè)備識(shí)別的自動(dòng)化程度, 但是當(dāng)前只能識(shí)別到設(shè)備類型或設(shè)備品牌, 識(shí)別粒度較粗。而相同品牌的不同型號(hào)設(shè)備的頁(yè)面、標(biāo)語(yǔ)甚至流量特征信息很類似, 無(wú)法良好區(qū)分出設(shè)備的型號(hào)。對(duì)于新出現(xiàn)的設(shè)備, 已有的設(shè)備識(shí)別分類器將會(huì)失效, 需要重新訓(xùn)練分類器, 而且重新訓(xùn)練的代價(jià)較高, 并且對(duì)于不同類型設(shè)備可能提取的特征會(huì)有所不同。

經(jīng)過(guò)調(diào)研后發(fā)現(xiàn), 與物聯(lián)網(wǎng)設(shè)備進(jìn)行有效連接后, 物聯(lián)網(wǎng)設(shè)備返回的報(bào)文頭部常常帶有豐富的與產(chǎn)品屬性相關(guān)的信息, 如設(shè)備類型、品牌、型號(hào)等,這部分信息不僅僅反映了設(shè)備基本情況, 同時(shí)還包含了豐富的語(yǔ)義信息, 如已知型號(hào)可以幫助推斷設(shè)備類型與品牌, 已知類型與型號(hào)可以推斷品牌。屬性信息之間的互相關(guān)聯(lián)能增加對(duì)設(shè)備的判別能力, 提高識(shí)別準(zhǔn)確率。

根據(jù)物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性特性, 通過(guò)搜索的方式, 自動(dòng)化構(gòu)建了產(chǎn)品屬性信息庫(kù), 實(shí)現(xiàn)了物聯(lián)網(wǎng)設(shè)備識(shí)別框架。通過(guò)信息庫(kù)的建立, 可以準(zhǔn)確且高效的針對(duì)不同協(xié)議標(biāo)語(yǔ)情況, 提出相對(duì)應(yīng)的解析、識(shí)別方法, 更能獲得未曾在標(biāo)語(yǔ)中出現(xiàn)的產(chǎn)品屬性, 從而提升對(duì)網(wǎng)絡(luò)空間中整體物聯(lián)網(wǎng)設(shè)備的識(shí)別能力。

本文圍繞物聯(lián)網(wǎng)安全狀態(tài)分析的現(xiàn)實(shí)需求,以實(shí)現(xiàn)準(zhǔn)確、高效、細(xì)粒度地物聯(lián)網(wǎng)設(shè)備在線識(shí)別為目標(biāo), 在現(xiàn)有設(shè)備網(wǎng)絡(luò)屬性識(shí)別方法的基礎(chǔ)上,研究物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性的網(wǎng)絡(luò)識(shí)別框架, 為進(jìn)一步研究網(wǎng)絡(luò)空間中物聯(lián)網(wǎng)系統(tǒng)安全問(wèn)題打下堅(jiān)實(shí)的基礎(chǔ)。

3 物聯(lián)網(wǎng)設(shè)備識(shí)別框架

3.1 概述

為了實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)設(shè)備準(zhǔn)確、細(xì)粒度的識(shí)別, 本文設(shè)計(jì)了如圖 1所示物聯(lián)網(wǎng)設(shè)備識(shí)別框架, 總共分為三部分： 屬性信息庫(kù)自動(dòng)化構(gòu)建框架, 數(shù)據(jù)采集與預(yù)處理模塊, 設(shè)備產(chǎn)品屬性分級(jí)識(shí)別模塊。屬性信息庫(kù)自動(dòng)化構(gòu)建框架自動(dòng)地從互聯(lián)網(wǎng)電商平臺(tái)搜索產(chǎn)品屬性等相關(guān)信息, 構(gòu)建產(chǎn)品屬性信息庫(kù)。數(shù)據(jù)采集和預(yù)處理模塊獲取標(biāo)語(yǔ)信息模塊, 并剔除不相關(guān)內(nèi)容。設(shè)備產(chǎn)品屬性分級(jí)識(shí)別模塊對(duì)處理后的標(biāo)語(yǔ)信息進(jìn)行分級(jí)提取, 分別提取出設(shè)備類型、品牌、型號(hào)等, 再根據(jù)標(biāo)語(yǔ)信息中出現(xiàn)的語(yǔ)義信息推斷設(shè)備基本信息。

3.2 屬性信息庫(kù)自動(dòng)化構(gòu)建框架

產(chǎn)品屬性庫(kù)自動(dòng)化構(gòu)建是識(shí)別物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性的基礎(chǔ), 同時(shí)也是發(fā)現(xiàn)新物聯(lián)網(wǎng)設(shè)備品牌、型號(hào)的有效手段。目前網(wǎng)絡(luò)空間中物聯(lián)網(wǎng)設(shè)備種類紛繁復(fù)雜, 相同類型的相同品牌有多種型號(hào), 若都采用人工收集的方式無(wú)疑大大增加了工作難度, 還可能導(dǎo)致識(shí)別滯后的問(wèn)題。如何有效地收集、統(tǒng)計(jì)物聯(lián)網(wǎng)設(shè)備的類別、類型、品牌、型號(hào)等關(guān)鍵屬性, 是本文需要解決的問(wèn)題之一。因此, 本文采用自動(dòng)化地方式構(gòu)建產(chǎn)品屬性信息庫(kù), 可以有效降低人工參與品牌型號(hào)收集工作, 提升收集效率。

圖1 物聯(lián)網(wǎng)設(shè)備識(shí)別框架Figure 1 IoT device recognition framework

3.2.1 物聯(lián)網(wǎng)產(chǎn)品屬性分類

網(wǎng)絡(luò)空間中的物聯(lián)網(wǎng)設(shè)備紛雜多樣, 種類繁多。無(wú)論是用于安防的視頻監(jiān)控系統(tǒng)還是用于基礎(chǔ)設(shè)施的供氣供電的工業(yè)控制系統(tǒng), 其中涵蓋的物聯(lián)網(wǎng)設(shè)備也是多種多樣, 設(shè)備之間關(guān)系復(fù)雜。如圖2展示的是安防系統(tǒng)、家居系統(tǒng)和智能電網(wǎng)系統(tǒng)。從圖中可以得知, 安防系統(tǒng)中既有視頻監(jiān)控設(shè)備IP Camera(網(wǎng)絡(luò)攝像機(jī))、NVR(Network Video Recorder, 網(wǎng)絡(luò)硬盤(pán)錄像機(jī)), 又有交換機(jī)和網(wǎng)關(guān); 家居系統(tǒng)中既有智能家居設(shè)備智能開(kāi)關(guān)、智能吊燈, 又有路由器設(shè)備; 智能電網(wǎng)系統(tǒng)中既有工控設(shè)備 PLC(Programmable Logic Controller, 可編程邏輯控制器)、SCADA (Supervisory Control And Data Acquisition,數(shù)據(jù)采集與監(jiān)視控制設(shè)備), 同樣也有交換機(jī)設(shè)備。難點(diǎn)在于這三個(gè)系統(tǒng)中的設(shè)備既有其獨(dú)特性又有重復(fù), 若沒(méi)有一個(gè)合理的設(shè)備的屬性分層標(biāo)準(zhǔn), 則很難將物聯(lián)網(wǎng)設(shè)備的產(chǎn)品屬性劃分清楚。

對(duì)于上文的描述, 提出一種屬性分層方式, 即各系統(tǒng)中都可能出現(xiàn)的設(shè)備劃分為一層, 每個(gè)系統(tǒng)中獨(dú)特的設(shè)備劃分到一層。這樣可以有效的解決設(shè)備類型分類的問(wèn)題, 但如何確定每一類具體的內(nèi)容以及與品牌型號(hào)的關(guān)系, 則需要確定一個(gè)標(biāo)準(zhǔn)。

物聯(lián)網(wǎng)設(shè)備種類豐富, 同一種類的物聯(lián)網(wǎng)設(shè)備由很多廠商生產(chǎn), 并且同一品牌同一類型的物聯(lián)網(wǎng)設(shè)備有多種不同的型號(hào)。Hikvision(?？低?的 IP Camera的類型有很多, 如 DS-2DF1-611、DS-2CD1-203代表的是兩個(gè)不同型號(hào)的?？低暤囊曨l監(jiān)控設(shè)備。對(duì)于物聯(lián)網(wǎng)設(shè)備的所屬類別來(lái)說(shuō), 若直接把設(shè)備都?xì)w類為物聯(lián)網(wǎng)設(shè)備, 則其劃分太過(guò)于粗糙, 不能很好地確定此設(shè)備的具體用途, 因此需要在設(shè)備類型前再設(shè)置一個(gè)類別, 來(lái)劃分物聯(lián)網(wǎng)設(shè)備所屬的具體的種類。

圖2 紛繁多樣的物聯(lián)網(wǎng)設(shè)備Figure 2 Diverse IoT devices

因此, 可以將設(shè)備的產(chǎn)品屬性以層級(jí)關(guān)系定義。定義的產(chǎn)品屬性有設(shè)備類別、設(shè)備類型、設(shè)備品牌和設(shè)備型號(hào)。其特性如下：

· 設(shè)備類別： 指的是設(shè)備歸屬的系統(tǒng), 表示的含義是設(shè)備的主要用途。比如視頻監(jiān)控系統(tǒng)、工業(yè)控制系統(tǒng)和路由交換系統(tǒng)等。

· 設(shè)備類型： 指的是具有相同本質(zhì)特點(diǎn)的同類設(shè)備, 表示的含義是設(shè)備的名稱。比如視頻監(jiān)控系統(tǒng)下的NVR, 工業(yè)控制系統(tǒng)下的PLC。

· 設(shè)備品牌： 指的是設(shè)備的品牌, 表示設(shè)備的所屬。比如?？低?、Simens(西門(mén)子)、Scneider(施耐德)。

· 設(shè)備型號(hào)： 指的是設(shè)備的具體型號(hào)。比如DS-2DF1-611代表的是?？低暤?IP Camera,S7-200代表的是西門(mén)子的PLC。

通過(guò)確定需要識(shí)別的設(shè)備產(chǎn)品屬性的定義標(biāo)準(zhǔn),則可以得知設(shè)備類別、設(shè)備類型、設(shè)備品牌和設(shè)備型號(hào)的關(guān)系, 劃分標(biāo)準(zhǔn)如圖3所示。通過(guò)這種劃分方式, 發(fā)現(xiàn)物聯(lián)網(wǎng)設(shè)備的產(chǎn)品屬性之間具有交叉和繼承關(guān)系, 交叉關(guān)系是指同一類別的設(shè)備如DVR可以被不同廠商生產(chǎn), 如Dahua或者?？低? 繼承關(guān)系是指已知某個(gè)設(shè)備是 DVR, 那么可以推斷其肯定是視頻監(jiān)控設(shè)備。通過(guò)對(duì)以上屬性的分析, 本文構(gòu)建了10種類別庫(kù), 53種類型庫(kù), 部分結(jié)果如表1所示。

表1 設(shè)備類別分類表Table 1 IoT device category classification table

3.2.2 設(shè)備品牌庫(kù)構(gòu)建

構(gòu)建品牌庫(kù)的目的是通過(guò)品牌庫(kù)中的品牌特性與待識(shí)別設(shè)備的協(xié)議標(biāo)語(yǔ)信息進(jìn)行比較, 過(guò)濾并識(shí)別出待識(shí)別設(shè)備的標(biāo)語(yǔ)信息中的品牌。同時(shí)得到設(shè)備的廠商, 品牌參數(shù), 設(shè)備品牌的相關(guān)描述以及所屬類別等信息。

通過(guò)對(duì)設(shè)備的協(xié)議標(biāo)語(yǔ)信息觀察發(fā)現(xiàn), 設(shè)備的協(xié)議標(biāo)語(yǔ)信息中出現(xiàn)的設(shè)備品牌信息基本上都是品牌英文名稱。圖4展示的是 FTP、TELNET等協(xié)議標(biāo)語(yǔ)信息, 如FTP協(xié)議標(biāo)語(yǔ)中出現(xiàn)品牌名MikroTik。因此有必要對(duì)設(shè)備品牌建立一個(gè)完善的庫(kù), 不僅只存儲(chǔ)品牌名, 還需存儲(chǔ)與之相關(guān)的信息, 如品牌描述、品牌所屬國(guó)家等。這些信息有助于更好地對(duì)品牌屬性進(jìn)行刻畫(huà)。因此設(shè)計(jì)如表 2所示的品牌庫(kù)結(jié)構(gòu)。設(shè)備的所屬國(guó)家字段, 其目的是為了更好的統(tǒng)計(jì)品牌庫(kù)中收集的品牌數(shù)量在國(guó)內(nèi)外的分布情況。對(duì)于品牌和設(shè)備廠商的關(guān)系, 一個(gè)設(shè)備廠商下會(huì)有多個(gè)不同的品牌, 但是一個(gè)品牌只能屬于一個(gè)設(shè)備廠商。而對(duì)于在設(shè)備品牌庫(kù)中設(shè)置設(shè)備品牌鏈接和設(shè)備品牌描述信息字段, 則是為了方便進(jìn)一步了解設(shè)備品牌的其它具體信息, 更好和更全面的掌握識(shí)別出來(lái)品牌設(shè)備的其他產(chǎn)品屬性。

圖3 物聯(lián)網(wǎng)設(shè)備屬性劃分標(biāo)準(zhǔn)Figure 3 Standard for attribute classification of IoT device

表2 設(shè)備品牌庫(kù)結(jié)構(gòu)Table 2 Structure of IoT device manufacture database

3.2.3 設(shè)備型號(hào)庫(kù)構(gòu)建

設(shè)備型號(hào)庫(kù)構(gòu)建的目的是通過(guò)型號(hào)庫(kù)中的設(shè)備型號(hào)信息與待識(shí)別的協(xié)議標(biāo)語(yǔ)信息比較, 過(guò)濾出待識(shí)別設(shè)備標(biāo)語(yǔ)信息中的型號(hào)信息, 從而標(biāo)記出設(shè)備的型號(hào), 根據(jù)設(shè)備產(chǎn)品屬性信息庫(kù)的劃分標(biāo)準(zhǔn), 進(jìn)一步推導(dǎo)出設(shè)備所屬類型、類別以及品牌信息。通過(guò)構(gòu)建的設(shè)備型號(hào)庫(kù)可知設(shè)備的品牌信息, 通過(guò)得到的設(shè)備品牌信息, 則可以在品牌庫(kù)中進(jìn)一步查詢獲取設(shè)備品牌相關(guān)的其他信息。如圖 4所示, 圖中TEL-NET協(xié)議中的BCM96338是設(shè)備型號(hào), Router代表其設(shè)備類型, 根據(jù)型號(hào)庫(kù), 可以推斷其品牌為Beet-el, 同樣已知了設(shè)備的型號(hào)信息之后, 可以獲取設(shè)備類別類型信息。因此, 構(gòu)建表3所示的型號(hào)庫(kù)結(jié)構(gòu), 增加該型號(hào)對(duì)應(yīng)的品牌、類型、類別信息。

3.2.4 設(shè)備品牌型號(hào)庫(kù)自動(dòng)化收集框架

在品牌型號(hào)庫(kù)模型構(gòu)建好后, 下一步則為收集設(shè)備品牌和型號(hào)等屬性信息。但是由于物聯(lián)網(wǎng)設(shè)備海量異構(gòu), 物聯(lián)網(wǎng)設(shè)備品牌和型號(hào)種類龐大, 若靠人工收集物聯(lián)網(wǎng)設(shè)備品牌和型號(hào)信息, 難度較大。一是人工收集成本太高, 二是人工收集對(duì)于發(fā)現(xiàn)新設(shè)備品牌和型號(hào)也相對(duì)滯后。

表3 設(shè)備型號(hào)庫(kù)結(jié)構(gòu)Table 3 Structure of IoT device model database

一般情況下, 設(shè)備品牌和型號(hào)信息可以在各廠商的官網(wǎng)上查到對(duì)應(yīng)的信息, 常規(guī)的品牌型號(hào)爬取需要對(duì)各廠商的網(wǎng)站分別進(jìn)行爬取, 過(guò)程較為煩瑣。但發(fā)現(xiàn)各大物聯(lián)網(wǎng)設(shè)備廠商下屬有多個(gè)代理廠商,代理廠商會(huì)將設(shè)備基本屬性公布在第三方電商平臺(tái)網(wǎng)站上, 如亞馬遜, ZOL, IT168等。圖 5顯示的是ZOL上搜索打印機(jī)顯示結(jié)果, 可以發(fā)現(xiàn)產(chǎn)品屬性品牌和型號(hào)都結(jié)構(gòu)化的呈現(xiàn)在網(wǎng)頁(yè)上, 包括該設(shè)備是否具備聯(lián)網(wǎng)功能, 對(duì)于不具備聯(lián)網(wǎng)功能的型號(hào), 收集框架并不會(huì)將其爬取, 如愛(ài)普生R330這款打印機(jī),收集框架并不會(huì)將其收錄。通過(guò)對(duì)這部分第三方電商平臺(tái)上的設(shè)備基本屬性信息進(jìn)行爬取與收集, 可以降低構(gòu)造爬蟲(chóng)的開(kāi)銷, 同時(shí)收集更為方便。

本文依據(jù)此類網(wǎng)站網(wǎng)頁(yè)展示的品牌、型號(hào)等結(jié)構(gòu)化特性, 提出一種設(shè)備品牌、型號(hào)自動(dòng)化收集框架。自動(dòng)化的爬取和收集設(shè)備品牌、型號(hào)等屬性, 使得收集設(shè)備品牌和型號(hào)的方法更具有一般性, 若有新的需求可以增加對(duì)應(yīng)的爬蟲(chóng), 具有良好擴(kuò)展性,并能周期性更新和收集品牌和型號(hào)。

圖4 協(xié)議標(biāo)語(yǔ)部分信息Figure 4 Part information of protocol banners

圖5 電商平臺(tái)結(jié)構(gòu)化的品牌型號(hào)Figure 5 Structured manufacture and model of E-commerce platform

圖6為品牌型號(hào)庫(kù)自動(dòng)化收集框架, 基于Python的Scrapy架構(gòu), 使用異步網(wǎng)絡(luò)框架Twisted, 實(shí)現(xiàn)了對(duì)產(chǎn)品屬性的自動(dòng)化收集工作?？蚣芊譃樗膫€(gè)過(guò)程： 啟動(dòng)過(guò)程, 數(shù)據(jù)解析過(guò)程, 數(shù)據(jù)獲取歸一化過(guò)程,自動(dòng)入庫(kù)過(guò)程。

(1) 啟動(dòng)過(guò)程

根據(jù)需求, 設(shè)定了兩套啟動(dòng)方案, 其一為主動(dòng)啟動(dòng), 方便配置待爬取網(wǎng)站, 待爬取類型、品牌、型號(hào)等屬性信息。其二為定時(shí)啟動(dòng), 通過(guò)設(shè)定爬取周期,定時(shí)對(duì)特定網(wǎng)站進(jìn)行爬取。

(2) 數(shù)據(jù)解析過(guò)程

數(shù)據(jù)解析過(guò)程包含兩個(gè)步驟, 首先啟動(dòng)爬蟲(chóng)框架對(duì)目標(biāo)網(wǎng)頁(yè)進(jìn)行特定信息收集, 即對(duì)設(shè)備產(chǎn)品屬性頁(yè)面進(jìn)行特定信息收集; 然后使用對(duì)應(yīng)網(wǎng)頁(yè)的解析規(guī)則獲取產(chǎn)品屬性元素, 即品牌、型號(hào)以及基本參數(shù)。對(duì)于非聯(lián)網(wǎng)設(shè)備進(jìn)行剔除, 因?yàn)楸究蚣軐?duì)物聯(lián)網(wǎng)的識(shí)別是基于遠(yuǎn)程連接獲取的標(biāo)語(yǔ)信息, 對(duì)于非聯(lián)網(wǎng)的設(shè)備不適用。

根據(jù)不同網(wǎng)站的頁(yè)面結(jié)構(gòu)及其特性, 需要針對(duì)對(duì)應(yīng)網(wǎng)站建立產(chǎn)品屬性提取規(guī)則, 構(gòu)建對(duì)應(yīng)網(wǎng)站頁(yè)面解析器, 完成對(duì)產(chǎn)品屬性的解析。在提取設(shè)備頁(yè)面上的品牌型號(hào)信息時(shí), 需要提取設(shè)備的品牌、設(shè)備的型號(hào)、型號(hào)的相關(guān)描述信息、型號(hào)的標(biāo)簽信息以及設(shè)備型號(hào)圖片等。

(3) 數(shù)據(jù)獲取歸一化過(guò)程

數(shù)據(jù)獲取歸一化, 其目的是將(2)過(guò)程得到的頁(yè)面面元素信息歸一化為品牌元素(品牌中文、品牌英文和品牌參數(shù)), 型號(hào)元素(型號(hào)名稱、型號(hào)標(biāo)簽、對(duì)應(yīng)型號(hào)設(shè)備鏈接、型號(hào)詳情、型號(hào)圖片和型號(hào)參數(shù))和類型元素。其中品牌元素的中英文通過(guò)程序調(diào)用有道詞典API自動(dòng)獲取。

(4) 自動(dòng)化入庫(kù)過(guò)程

根據(jù)數(shù)據(jù)獲取歸一化過(guò)程可以得到品牌、型號(hào)和類型的三元組關(guān)系。將品牌元素自動(dòng)存儲(chǔ)到品牌庫(kù)中, 將品牌英文, 型號(hào)元素, 類型元素以及根據(jù)產(chǎn)品屬性分層標(biāo)準(zhǔn)得到的類別信息自動(dòng)存儲(chǔ)到型號(hào)庫(kù)中。從而完成了品牌庫(kù)和型號(hào)庫(kù)數(shù)據(jù)自動(dòng)收集過(guò)程。

圖6 物聯(lián)網(wǎng)設(shè)備品牌型號(hào)自動(dòng)化收集框架Figure 6 Automatic collecting framework of IoT device manufacture and model

如圖7所示為自動(dòng)化收集框架從2017年9月份至2018年1月份累計(jì)收集到的品牌與型號(hào)數(shù)量情況,可以發(fā)現(xiàn), 到 2018年1月份, 去重后的品牌種類達(dá)到2397種, 去重后的型號(hào)種類達(dá)到56282。

圖7 設(shè)備品牌型號(hào)統(tǒng)計(jì)圖Figure 7 IoT device manufacture and model statistics

2017年8月份代表當(dāng)時(shí)收集到的人工指紋情況。到2018年1月份, 與人工指紋相比, 自動(dòng)化收集框架新增品牌種類2227種, 新增型號(hào)種類54439種。圖8展示的為隨著時(shí)間的推移, 工業(yè)控制系統(tǒng)、路由交換系統(tǒng)以及視頻監(jiān)控系統(tǒng)三類不同設(shè)備類別識(shí)別數(shù)量的變化情況。對(duì)圖8的分析發(fā)現(xiàn), 從2017年9月份到2017年12月份, 視頻監(jiān)控系統(tǒng)識(shí)別數(shù)量保持持續(xù)性增長(zhǎng), 但從 2018年開(kāi)始出現(xiàn)下跌, 同樣變化的還有工控系統(tǒng)。原因在于之前被識(shí)別為視頻監(jiān)控系統(tǒng)的設(shè)備出現(xiàn)了一定的誤報(bào)率, 經(jīng)過(guò)對(duì)算法的改進(jìn), 將識(shí)別準(zhǔn)確率提升到90%以上, 因而剔除了這些誤報(bào)設(shè)備,導(dǎo)致了識(shí)別數(shù)量的下降。同樣情況的還有工控系統(tǒng)。而可識(shí)別的路由交換系統(tǒng)的數(shù)量, 在保證較高準(zhǔn)確率的前提下, 實(shí)現(xiàn)了與品牌型號(hào)數(shù)量的同步增長(zhǎng)。

3.3 標(biāo)語(yǔ)數(shù)據(jù)采集與預(yù)處理模塊

標(biāo)語(yǔ)采集是指采集全網(wǎng)或者特定網(wǎng)絡(luò)范圍內(nèi)的基于TCP或者UDP協(xié)議的應(yīng)用層協(xié)議標(biāo)語(yǔ)信息。利用全連接或半連接的方式發(fā)現(xiàn)設(shè)備存活端口, 接著對(duì)這些設(shè)備存活端口構(gòu)造并發(fā)送特定協(xié)議探測(cè)包,獲取存活端口的響應(yīng)信息, 這部分響應(yīng)包信息被稱為協(xié)議標(biāo)語(yǔ)信息。圖9顯示的是一種基于TCP協(xié)議獲取協(xié)議標(biāo)語(yǔ)信息的方式。

協(xié)議標(biāo)語(yǔ)信息分為兩種, 一種是可讀字符串標(biāo)語(yǔ), 一種是不可讀字符串標(biāo)語(yǔ)。針對(duì)不同協(xié)議標(biāo)語(yǔ)設(shè)計(jì)不同的預(yù)處理流程。

對(duì)可讀協(xié)議標(biāo)語(yǔ), 首先需要過(guò)濾掉非物聯(lián)網(wǎng)設(shè)備, 為了過(guò)濾此類非物聯(lián)網(wǎng)設(shè)備的協(xié)議標(biāo)語(yǔ)信息,建立了一個(gè)非物聯(lián)網(wǎng)設(shè)備關(guān)鍵詞庫(kù), 如 Nginx或者Apache等, 這種詞匯標(biāo)識(shí)了該設(shè)備有很大概率為WEB服務(wù)器。判讀特定協(xié)議標(biāo)語(yǔ)在特定字段上的詞是否在非物聯(lián)網(wǎng)設(shè)備關(guān)鍵詞庫(kù)內(nèi), 若在則標(biāo)記此設(shè)備為非物聯(lián)網(wǎng)設(shè)備, 排除掉此設(shè)備。接著需要把冗余部分信息剔除, 如Telnet協(xié)議標(biāo)語(yǔ)信息, 其中存在不少冗余信息, 如 等, 需要將特殊符號(hào)、標(biāo)點(diǎn)符號(hào)以及不可打印字符剔除。對(duì)于單個(gè)詞語(yǔ)中的詞語(yǔ)長(zhǎng)度小于3的, 直接刪除該詞語(yǔ); 然后根據(jù)過(guò)濾規(guī)則庫(kù)中的規(guī)則, 進(jìn)一步過(guò)濾掉混淆字符, 比如日期、無(wú)用數(shù)字等。為了進(jìn)一步減少不相關(guān)字符串的干擾, 對(duì)剩余的協(xié)議標(biāo)語(yǔ)信息使用自然語(yǔ)言處理的方式, 將NLTK(Natural Language Toolkit)庫(kù)中收集的英文停用詞在協(xié)議標(biāo)語(yǔ)中刪除。接著使用 NLTK庫(kù)中Tokenize分詞工具對(duì)剩余協(xié)議標(biāo)語(yǔ)進(jìn)行分詞, 得到分詞后的標(biāo)語(yǔ)詞匯列表。

圖8 類別識(shí)別數(shù)量統(tǒng)計(jì)圖Figure 8 Recognizable category statistics

圖9 TCP協(xié)議標(biāo)語(yǔ)抓取Figure 9 Capturing TCP banner

對(duì)于不可讀字符串協(xié)議, 需要將其轉(zhuǎn)碼后, 得到可讀的形式, 然后復(fù)用可讀字符串處理流程。

經(jīng)過(guò)以上預(yù)處理后的標(biāo)語(yǔ)信息, 是后續(xù)用于設(shè)備產(chǎn)品屬性識(shí)別的關(guān)鍵基礎(chǔ)。

3.4 設(shè)備產(chǎn)品屬性分級(jí)識(shí)別模塊

圖10顯示了FTP、RTSP等8種不同類型的協(xié)議標(biāo)語(yǔ)信息, 根據(jù)協(xié)議的標(biāo)語(yǔ)信息分析可以發(fā)現(xiàn),若使用產(chǎn)品屬性信息庫(kù)與協(xié)議標(biāo)語(yǔ)直接比較存在許多困難, 其困難主要體現(xiàn)在： (1)協(xié)議種類多樣化, 有的通用協(xié)議如SNMP返回16進(jìn)制字符串, 有的通用協(xié)議如 Http返回字符串, 還有一些工控設(shè)備專有協(xié)議如Ethernet/ip返回是鍵值對(duì)的形式。協(xié)議標(biāo)語(yǔ)內(nèi)容格式不一致直接導(dǎo)致識(shí)別方法無(wú)法提取有效的信息來(lái)進(jìn)行識(shí)別, 需要確定一種讓識(shí)別更加有效的數(shù)據(jù)提取方案。(2)協(xié)議標(biāo)語(yǔ)信息內(nèi)容復(fù)雜, 在設(shè)備的協(xié)議標(biāo)語(yǔ)信息中, 設(shè)備信息雜糅多樣, 有的標(biāo)語(yǔ)信息中只有類型、品牌或者型號(hào)信息的一種, 有的標(biāo)語(yǔ)信息中含有此三種屬性的兩種或者三種。

圖10 多種類型協(xié)議標(biāo)語(yǔ)Figure 10 A great diversity of protocol banners

為了解決以上困難, 在保證型號(hào)識(shí)別準(zhǔn)確率和品牌型號(hào)召回率的情況下, 本論文提出并實(shí)現(xiàn)基于搜索的設(shè)備產(chǎn)品屬性識(shí)別框架。如圖 11所示, 本框架分為四個(gè)部分, 分別為數(shù)據(jù)采集部分, 數(shù)據(jù)預(yù)處理部分, 信息庫(kù)匹配部分和人工驗(yàn)證反饋部分。

針對(duì)困難一實(shí)現(xiàn)了特定協(xié)議解析器方法, 針對(duì)特定協(xié)議標(biāo)語(yǔ)內(nèi)容格式, 如3.3節(jié)所述的方案采用對(duì)應(yīng)協(xié)議解析器, 完成協(xié)議有效信息的獲取與預(yù)處理;本框架針對(duì)困難二實(shí)現(xiàn)了分級(jí)識(shí)別方法, 按照順序依次識(shí)別出協(xié)議信息中的類型、品牌和型號(hào)。由于3.3節(jié)介紹了相關(guān)數(shù)據(jù)采集與預(yù)處理部分, 因此本節(jié)著重介紹屬性信息庫(kù)匹配和人工驗(yàn)證反饋部分。

選擇類型、品牌、型號(hào)過(guò)濾順序的原因是, 協(xié)議標(biāo)語(yǔ)的語(yǔ)義信息對(duì)于識(shí)別研究是非常重要的, 比如三星有款打印機(jī)型號(hào)名為100, 若直接用型號(hào)名匹配,對(duì)于返回標(biāo)語(yǔ)信息中帶有 100字樣的都會(huì)被識(shí)別為三星打印機(jī), 這種完全脫離語(yǔ)義的識(shí)別模式大大降低識(shí)別準(zhǔn)確率。但是, 當(dāng)配合上類型或者品牌信息,可以有效對(duì) 100這個(gè)字符串進(jìn)行篩選, 也就是說(shuō)沒(méi)有過(guò)濾品牌或者類型, 單純只有型號(hào), 該設(shè)備并不會(huì)被成功識(shí)別。

因此, 本文采用類型或者品牌結(jié)合型號(hào)的方式共同對(duì)設(shè)備進(jìn)行識(shí)別。其次, 利用信息庫(kù)可以獲取除設(shè)備類型、品牌、型號(hào)之外的其他設(shè)備產(chǎn)品屬性信息, 比如設(shè)備廠商、官網(wǎng)等。圖12顯示信息庫(kù)匹配的 3個(gè)階段： (1)類型匹配階段; (2)品牌匹配階段;(3)型號(hào)匹配階段。通過(guò)以上3個(gè)階段, 可以過(guò)濾大部分物聯(lián)網(wǎng)設(shè)備產(chǎn)品基本信息。最后本文通過(guò)驗(yàn)證反饋的方式, 進(jìn)一步提高設(shè)備識(shí)別準(zhǔn)確率。

3.4.1 設(shè)備類型匹配階段

物聯(lián)網(wǎng)設(shè)備類型匹配階段, 是使用類型庫(kù)中的類型與標(biāo)語(yǔ)詞匯列表中的詞進(jìn)行匹配, 得到設(shè)備的類型, 如算法1所示。因?yàn)闃?biāo)語(yǔ)與類型集合中存在大小寫(xiě), 而匹配算法對(duì)大小寫(xiě)敏感, 因而需要將標(biāo)語(yǔ)詞與類型集合全轉(zhuǎn)為小寫(xiě), 接著把標(biāo)語(yǔ)中分詞后的列表中Lbanner每個(gè)元素與已有設(shè)備類型集合Stype進(jìn)行比較, 最終得到過(guò)濾類型后的標(biāo)語(yǔ)詞匯列表(Lftbl)。

圖11 產(chǎn)品屬性識(shí)別框架Figure 11 Product properties recognition framework

圖12 階段匹配識(shí)別過(guò)程Figure 12 Phase matching

算法1. 類型匹配算法.

輸入： 標(biāo)語(yǔ)分詞后的列表Lbanner, 設(shè)備類型集合Stype

輸出： 過(guò)濾設(shè)備類型標(biāo)簽Ttype, 過(guò)濾類型后的標(biāo)語(yǔ)詞匯列表Lftbl

過(guò)程 1.判斷Lbanner是否有元素在Stype

3.4.2 設(shè)備品牌匹配階段

物聯(lián)網(wǎng)設(shè)備品牌匹配階段, 是使用品牌庫(kù)中的品牌與過(guò)濾類型后的標(biāo)語(yǔ)詞匯列表中的詞進(jìn)行匹配,得到設(shè)備的品牌, 如算法2所示。因?yàn)槠放萍现写嬖诖笮?xiě), 而匹配算法對(duì)大小寫(xiě)敏感, 因而需要將品牌集合全轉(zhuǎn)為小寫(xiě), 接著把過(guò)濾類型后的標(biāo)語(yǔ)詞匯列表Lftbl中的每個(gè)元素與已有設(shè)備品牌集合Sbrand進(jìn)行比較, 最終得到過(guò)濾品牌后的標(biāo)語(yǔ)詞匯列表(Lftbbl)以及過(guò)濾得到品牌(Tbrand)。

算法2. 品牌匹配算法.

輸入： 過(guò)濾類型后的標(biāo)語(yǔ)詞匯列表Lftbl, 設(shè)備品牌集合Sbrand

輸出： 過(guò)濾設(shè)備品牌標(biāo)簽Tbrand, 過(guò)濾類型、品牌后的標(biāo)語(yǔ)詞匯列表Lftbbl

過(guò)程 1.判斷Lftbl是否有元素在Sbrand

3.4.3 設(shè)備型號(hào)匹配階段

通過(guò)3.2節(jié)自動(dòng)構(gòu)建的自動(dòng)爬取框架, 當(dāng)前已收集的物聯(lián)網(wǎng)設(shè)備類型有53種, 已收集品牌有2082個(gè),所以對(duì)于類型和品牌直接使用庫(kù)匹配過(guò)濾, 但是對(duì)于型號(hào)匹配識(shí)別存在如下兩個(gè)問(wèn)題：

(1) 由于型號(hào)庫(kù)數(shù)量較大, 有52617個(gè)不同型號(hào),直接遍歷型號(hào)庫(kù)中所有型號(hào)與Lftbbl中的詞匯進(jìn)行比較, 時(shí)間復(fù)雜度高;

(2) 即使當(dāng)前收集了萬(wàn)數(shù)級(jí)的型號(hào), 但仍存在部分未收集完全的型號(hào)。

因此, 本文根據(jù)型號(hào)庫(kù)中收集到的型號(hào)信息規(guī)律, 如表 4型號(hào)規(guī)則分析表所示, 構(gòu)造正則表達(dá)式,通過(guò)這部分正則, 可篩選出潛在的設(shè)備型號(hào)。通過(guò)實(shí)驗(yàn)分析, 經(jīng)過(guò)正則表達(dá)式抽取, 型號(hào)匹配時(shí)間降低了一倍。同時(shí)為了驗(yàn)證正則表達(dá)式的科學(xué)性, 通過(guò)使用正則表達(dá)式對(duì)所有收集的型號(hào)進(jìn)行過(guò)濾驗(yàn)證, 發(fā)現(xiàn)已收集的所有型號(hào)都滿足表4對(duì)應(yīng)的規(guī)則。

表4 型號(hào)規(guī)則分析表Table 4 Model rule analysis table

另外, 經(jīng)過(guò)調(diào)研后發(fā)現(xiàn), 有的品牌的部分型號(hào)名稱相似, 直接字符串比較可能會(huì)導(dǎo)致部分未收集的型號(hào)丟失, 如表5所示, ?？低旸VR存在極其相似的型號(hào)。因此, 本文采用字符串關(guān)聯(lián)算法來(lái)匹配識(shí)別, 找出更多設(shè)備的型號(hào), 并且根據(jù)同一系列的設(shè)備型號(hào)推算出設(shè)備的品牌、類型以及類別信息。將這部分潛在的設(shè)備型號(hào)與型號(hào)庫(kù)中的型號(hào)進(jìn)行相似度匹配識(shí)別, 將滿足閾值的標(biāo)語(yǔ)型號(hào)輸出, 得到設(shè)備型號(hào)。這樣做不僅降低了與型號(hào)庫(kù)比較次數(shù), 提高了整體效率, 更是克服了因?yàn)樾吞?hào)庫(kù)可能收集不全而導(dǎo)致的型號(hào)未能正確識(shí)別的其他相似型號(hào)設(shè)備的問(wèn)題。

為了描述方便, 定義設(shè)備型號(hào)全集為Smodel, 特定類型下的設(shè)備型號(hào)集合為Stmodel, 特定品牌下的設(shè)備型號(hào)集合為Sbmodel, 特定類型和特定品牌下的設(shè)備型號(hào)集合為Stbmodel其中Stmodel?Smodel,Sbmodel?Smodel,Stbmodel?Stmodel,Stbmodel?Sbmodel。算法具體描述如算法3所示, 通過(guò)將算法1和2中得到的設(shè)備類別、品牌信息作為輸入, 縮小型號(hào)庫(kù)范圍, 接著利用正則表達(dá)式, 提取Lftbbl中潛在的型號(hào), 對(duì)這部分潛在型號(hào)與型號(hào)庫(kù)中的型號(hào), 調(diào)用算法 4中的型號(hào)相似度比較算法, 得到滿足閾值的型號(hào)信息, 算法 4中LevenshteinRatio被用來(lái)計(jì)算兩個(gè)字符之間相似度。

表5 相似型號(hào)分析表Table 5 Similarity model analysis table

算法3. 型號(hào)匹配算法

輸入： 過(guò)濾類型、品牌后的標(biāo)語(yǔ)詞匯列表Lftbbl,設(shè)備型號(hào)集合Smodel, 設(shè)備類型標(biāo)簽Ttype, 設(shè)備品牌標(biāo)簽Tbrand, 相似度匹配閾值TMS

輸出： 過(guò)濾設(shè)備型號(hào)標(biāo)簽Tmodel

過(guò)程 1. 根據(jù)Ttype,Tbrand篩選出型號(hào)SRM

過(guò)程 2. 正則表達(dá)式提取潛在型號(hào)

過(guò)程 3. 潛在型號(hào)與型號(hào)集合元素進(jìn)行相似度比對(duì)

算法4. 型號(hào)相似度比較算法ModelSimilarity.

輸入： 潛在型號(hào)candmodel, 類型、品牌過(guò)濾后的型號(hào)集合SRM, 型號(hào)相似度門(mén)限TMS

輸出： 相似型號(hào)列表Lsm

過(guò)程 1. 分治法求潛在型號(hào)與型號(hào)集合元素間的LevenshteinRatio距離

為了選取TMS的參數(shù)具體的值, 設(shè)計(jì)TMS參數(shù)選擇實(shí)驗(yàn), 具體的實(shí)驗(yàn)步驟如下：

(1) 從型號(hào)庫(kù)中隨機(jī)選擇 20個(gè)不同的型號(hào), 每個(gè)型號(hào)數(shù)量為 10, 總共構(gòu)成 200個(gè)型號(hào)數(shù)據(jù)集。型號(hào)包括的設(shè)備類型有IP Camera、PLC、路由器和打印機(jī), 覆蓋的設(shè)備品牌有18種。此處設(shè)每一種系列的型號(hào)數(shù)據(jù)屬于一類, 構(gòu)成的類別向量用Y表示, 則Y=(y1,y2,…,y20), 型號(hào)集合構(gòu)成X,X=(x1,x2,…,x200)。設(shè)xmn為X集合中屬于Y中某一類的型號(hào),n的取值為1,2,3,…,20,m的取值為1,2,3,…,200;

(2) 將每一系列的型號(hào)字符串進(jìn)行排序, 即將屬于Y每一類的X進(jìn)行排序;

(3) 從每一類排好序的型號(hào)中隨機(jī)選擇一個(gè)型號(hào)作為此類的基準(zhǔn)型號(hào), 記為Qs=(xy1,xy2,…,xy20), 基準(zhǔn)型號(hào)集中有20個(gè)型號(hào), 每一個(gè)型號(hào)都屬于Y中的不同類;

(4) 將Qs中的每一個(gè)型號(hào)與X中的每一個(gè)型號(hào)分別進(jìn)行LevenshteinRatio距離相似度計(jì)算, 得到Qs中的每一類型號(hào)與X中的每個(gè)型號(hào)的相似度, 以及每一個(gè)相似度下的型號(hào)對(duì), 即(xyn,xm),其中n的取值為1,2,3,…,20,m的取值為1,2,3,…,200;

(5) 通過(guò)將(4)得到的相似度與TMS比較, 若相似度大于TMS, 則將相似度對(duì)應(yīng)的型號(hào)對(duì)中的xm歸類為xyn, 記為x*mn從而得到每個(gè)xyn下的型號(hào)分類結(jié)果;

(6) 最后根據(jù)每個(gè)xyn下的型號(hào)分類結(jié)果, 求每個(gè)xyn類別下的型號(hào)分類的準(zhǔn)確率和召回率; 其中型號(hào)分類準(zhǔn)確率用Pm表示, 型號(hào)分類召回率用Rm表示。計(jì)算公式如下：

(7) 計(jì)算型號(hào)分類準(zhǔn)確率的均值和方差, 型號(hào)分類召回率的均值和方差;

(8) 設(shè)置TMS的閾值范圍為 50%~100%, 每隔10%設(shè)置一次TMS閾值取值, 即TMS閾值為[50%, 60%,70%, 80%, 90%, 100%], 將步驟(5)到步驟(7)重復(fù)操作。

得到的實(shí)驗(yàn)結(jié)果如表 6所示。為了保證在識(shí)別準(zhǔn)確的情況下召回更多種類的型號(hào), 因此TMS的取值為90%最合適。

由于TMS是在小范圍型號(hào)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn),在整個(gè)型號(hào)數(shù)據(jù)集上并不具有說(shuō)服依據(jù), 因此, 本文選擇在整個(gè)型號(hào)庫(kù)中進(jìn)行實(shí)驗(yàn), 驗(yàn)證TMS取值的科學(xué)性。實(shí)驗(yàn)步驟同小范圍型號(hào)數(shù)據(jù)集, 最終得到實(shí)驗(yàn)結(jié)果如表7所示。

表6 相似度閾值小范圍取值分析Table 6 A small range value analysis of similarity degree threshold

表7 相似度閾值大范圍取值分析Table 7 A large range value analysis of similarity degree threshold

觀察發(fā)現(xiàn)當(dāng)TMS選擇90%時(shí), 準(zhǔn)確率在大范圍型號(hào)數(shù)據(jù)集上的準(zhǔn)確率只有 96.90%, 而不是小范圍得到的 100%, 經(jīng)過(guò)對(duì)數(shù)據(jù)集的分析發(fā)現(xiàn), 存在部分不同類型或者品牌的型號(hào)極其相似, 但由于型號(hào)相似比對(duì)算法基于 Levenshtein距離, 因而不同類型或品牌且相似型號(hào)計(jì)算的距離會(huì)大于設(shè)定的TMS。比如HP有一款型號(hào)為6000r的服務(wù)器, 同時(shí)IBM還有一款6000R的服務(wù)器, 根據(jù)LevenshteinRatio計(jì)算導(dǎo)致這 2款不同品牌的設(shè)備有可能被識(shí)別為一個(gè)產(chǎn)品,因此導(dǎo)致了在準(zhǔn)確率方面略有下降, 但該準(zhǔn)確率在可接受范圍內(nèi)。與TMS取100%相比, 發(fā)現(xiàn)了雖然準(zhǔn)確率略有降低, 但召回率得到了提升, 證明在大范圍數(shù)據(jù)集上, 本方法可以有效找到更多相似的型號(hào)。綜合以上原因, 繼續(xù)選擇TMS為90%。

3.4.4 驗(yàn)證反饋

數(shù)據(jù)預(yù)處理過(guò)程中的關(guān)鍵字提取部分的過(guò)濾規(guī)則庫(kù)是根據(jù)初始的設(shè)備協(xié)議標(biāo)語(yǔ)信息樣本集合提取出來(lái)的。但通常情況下能夠接觸的樣本集合也比較有限, 根據(jù)少量的樣本集合獲取得到的過(guò)濾規(guī)則庫(kù)通常是有偏的, 不全面的, 這樣最終也會(huì)影響設(shè)備匹配識(shí)別的準(zhǔn)確率。例如, 表8給出的是FTP協(xié)議原始標(biāo)語(yǔ), 通過(guò)最初始的設(shè)備過(guò)濾規(guī)則庫(kù), 在經(jīng)過(guò)數(shù)據(jù)預(yù)處理之后得到的標(biāo)語(yǔ)詞匯列表如表 9所示。然后通過(guò)匹配識(shí)別之后, 會(huì)將此標(biāo)語(yǔ)識(shí)別成型號(hào)為5070的富士打印機(jī)。但實(shí)際上根據(jù)此FTP協(xié)議標(biāo)語(yǔ)是無(wú)法獲取設(shè)備的品牌和型號(hào)。通過(guò)觀察發(fā)現(xiàn), “You are user number N of M”是FTP協(xié)議標(biāo)語(yǔ)返回格式的一種, 其目的是告訴訪問(wèn)者的順序, 因而此語(yǔ)句中的字符不能用來(lái)區(qū)分設(shè)備的品牌或型號(hào), 反而會(huì)影響到最終的設(shè)備型號(hào)匹配識(shí)別的準(zhǔn)確率。

表8 FTP協(xié)議標(biāo)語(yǔ)原始信息樣例Table 8 Raw FTP protocol banner

表9 預(yù)處理后的FTP協(xié)議標(biāo)語(yǔ)信息樣例Table 9 Preprocessed FTP protocol banner

經(jīng)過(guò)上述驗(yàn)證發(fā)現(xiàn), 需要將 FTP協(xié)議標(biāo)語(yǔ)中的“You are user number N of M”這句話過(guò)濾, FTP協(xié)議標(biāo)語(yǔ)的過(guò)濾規(guī)則庫(kù)需要添加一條新的規(guī)則。

為了驗(yàn)證反饋階段對(duì)識(shí)別方法的影響, 本次實(shí)驗(yàn)利用了通用協(xié)議標(biāo)語(yǔ)——FTP協(xié)議標(biāo)語(yǔ)數(shù)據(jù)集通過(guò)如下步驟進(jìn)行驗(yàn)證：

(1) 數(shù)據(jù)獲取, 通過(guò) Zgrab[20]探測(cè)工具對(duì)全網(wǎng)開(kāi)放FTP協(xié)議的設(shè)備進(jìn)行標(biāo)語(yǔ)抓取, 得到超過(guò)2000萬(wàn)的設(shè)備FTP協(xié)議標(biāo)語(yǔ)信息;

(2) 識(shí)別匹配, 使用品牌型號(hào)庫(kù)設(shè)備識(shí)別模塊對(duì)FTP協(xié)議標(biāo)語(yǔ)數(shù)據(jù)進(jìn)行處理和識(shí)別;

(3) 結(jié)果統(tǒng)計(jì), 對(duì)識(shí)別的結(jié)果進(jìn)行統(tǒng)計(jì);

(4) 抽樣驗(yàn)證, 抽樣驗(yàn)證識(shí)別結(jié)果的準(zhǔn)確性(此處主要是對(duì)型號(hào)的識(shí)別準(zhǔn)確率進(jìn)行抽樣驗(yàn)證);

(5) 根據(jù)驗(yàn)證結(jié)果, 判斷識(shí)別型號(hào)錯(cuò)誤的原因;

(6) 更新過(guò)濾規(guī)則庫(kù)的規(guī)則;

(7) 再次識(shí)別, 重復(fù)步驟(2)—(6), 直至規(guī)則無(wú)法進(jìn)一步添加。

在使用品牌型號(hào)庫(kù)識(shí)別方法對(duì)FTP協(xié)議標(biāo)語(yǔ)識(shí)別過(guò)程中, 新增了兩條規(guī)則, 并且將此方法在FTP協(xié)議標(biāo)語(yǔ)的設(shè)備型號(hào)識(shí)別準(zhǔn)確率從 64.8%提高到了94%。如上文所述, 規(guī)則和協(xié)議之間存在映射關(guān)系。其中新增的兩條規(guī)則如下：

規(guī)則 1： 若設(shè)備 FTP協(xié)議標(biāo)語(yǔ)信息中存在“You are user number N of M”,在數(shù)據(jù)預(yù)處理階段將此句話刪除, 如表10所示。在全網(wǎng)中, 設(shè)備FTP協(xié)議標(biāo)語(yǔ)信息中存在此語(yǔ)句的標(biāo)語(yǔ)有 3165393條, 而錯(cuò)誤的將此語(yǔ)句的數(shù)字識(shí)別成型號(hào)的有659945條, 占比高達(dá) 21%; 增加此規(guī)則之后, 可以將型號(hào)準(zhǔn)確率提高到84%。

規(guī)則 2： 根據(jù)品牌型號(hào)庫(kù)算法模型的識(shí)別方法,若在前兩階段都未識(shí)別出設(shè)備的產(chǎn)品屬性, 則在第三階段即型號(hào)匹配識(shí)別階段, 增加一個(gè)過(guò)濾數(shù)字字符串過(guò)程。其意義是根據(jù)設(shè)備FTP協(xié)議標(biāo)語(yǔ)中進(jìn)行了規(guī)則1過(guò)濾之后, 仍然存在26萬(wàn)左右的數(shù)據(jù)其標(biāo)語(yǔ)中含有數(shù)字字符串, 但是不能代表設(shè)備的型號(hào),因此需要將其過(guò)濾。增加規(guī)則2之后, 可以將型號(hào)準(zhǔn)確率從84%提高到94%。表11展示了人工驗(yàn)證反饋對(duì)型號(hào)準(zhǔn)確率的影響。

表10 規(guī)則處理后的FTP協(xié)議標(biāo)語(yǔ)信息樣例Table 10 FTP protocol banner after regularization processing

表11 人工驗(yàn)證反饋影響Table 11 Feedback effect of manual verification

4 框架性能評(píng)估

由于物聯(lián)網(wǎng)設(shè)備品牌型號(hào)總數(shù)較多, 為了驗(yàn)證本文提出的框架對(duì)品牌型號(hào)識(shí)別覆蓋度情況, 分別利用框架與人工指紋在 4.1節(jié)進(jìn)行品牌型號(hào)識(shí)別覆蓋度驗(yàn)證實(shí)驗(yàn)。算法4提出了正則過(guò)濾型號(hào)的方法,為了驗(yàn)證該方法有效性, 在4.2節(jié)設(shè)計(jì)了正則抽取對(duì)算法效率的影響實(shí)驗(yàn)。最后, 為了驗(yàn)證整體框架識(shí)別的準(zhǔn)確性與細(xì)粒度的情況, 在4.3節(jié)設(shè)計(jì)了2種視頻監(jiān)控系統(tǒng)協(xié)議 Onvif、FTP的型號(hào)準(zhǔn)確率驗(yàn)證實(shí)驗(yàn),在4.4節(jié)設(shè)計(jì)了2種工控系統(tǒng)協(xié)議Ethernet/ip、Bacnet的型號(hào)準(zhǔn)確率驗(yàn)證實(shí)驗(yàn)。

4.1 品牌型號(hào)識(shí)別覆蓋度驗(yàn)證

為了驗(yàn)證基于搜索的設(shè)備產(chǎn)品屬性識(shí)別框架是否能夠召回更多設(shè)備品牌和型號(hào), 本次實(shí)驗(yàn)利用了全網(wǎng)掃描探測(cè)的部分協(xié)議標(biāo)語(yǔ)數(shù)據(jù)集對(duì)品牌和型號(hào)種類覆蓋度進(jìn)行了驗(yàn)證, 具體的驗(yàn)證步驟如下：

(1) 數(shù)據(jù)獲取： 對(duì)20個(gè)工控專有協(xié)議、3個(gè)視頻監(jiān)控專有協(xié)議、3個(gè)打印機(jī)專有協(xié)議和6個(gè)通用協(xié)議在全網(wǎng)空間進(jìn)行標(biāo)語(yǔ)信息抓取;

(2) 識(shí)別匹配： 使用基于搜索的設(shè)備識(shí)別框架以及人工收集指紋分別對(duì)上述32個(gè)協(xié)議標(biāo)語(yǔ)信息數(shù)據(jù)集分別識(shí)別;

(3) 結(jié)果統(tǒng)計(jì)： 統(tǒng)計(jì)步驟(2)的識(shí)別結(jié)果, 將識(shí)別結(jié)果按照類別、類型、品牌和型號(hào)聚類;

(4) 結(jié)果分析： 通過(guò)對(duì)聚類結(jié)果分析可知, 經(jīng)過(guò)4個(gè)月自動(dòng)化構(gòu)建的品牌型號(hào)庫(kù)識(shí)別出的物聯(lián)網(wǎng)設(shè)備品牌種類超過(guò)了1200種, 識(shí)別的物聯(lián)網(wǎng)設(shè)備型號(hào)種類超過(guò)了12000種, 識(shí)別的數(shù)量遠(yuǎn)遠(yuǎn)大于2年收集到的人工指紋庫(kù)的170種設(shè)備品牌, 1843種設(shè)備型號(hào)。

通過(guò)品牌型號(hào)庫(kù)的識(shí)別方法, 能夠有效的發(fā)現(xiàn)網(wǎng)絡(luò)空間中的設(shè)備品牌和型號(hào)。與人工指紋收集相比, 本方法極大地提高了設(shè)備識(shí)別的覆蓋能力。

4.2 正則抽取對(duì)算法影響

由于型號(hào)庫(kù)中的型號(hào)數(shù)量龐大, 達(dá)到萬(wàn)數(shù)量級(jí),為了能夠達(dá)到快速匹配識(shí)別的效果, 故對(duì)已經(jīng)過(guò)濾完品牌和類型的標(biāo)語(yǔ)數(shù)據(jù)列表Lftbbl進(jìn)行了正則抽取過(guò)程, 進(jìn)一步過(guò)濾掉非型號(hào)相關(guān)詞匯。

為了驗(yàn)證在型號(hào)匹配識(shí)別之前加入正則抽取過(guò)程的確能夠節(jié)約時(shí)間, 故據(jù)此設(shè)計(jì)了一個(gè)對(duì)照實(shí)驗(yàn),通過(guò)對(duì)照實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)步驟如下：

(1) 數(shù)據(jù)獲取： 通過(guò)從 Censys中下載全網(wǎng)的FTP協(xié)議標(biāo)語(yǔ)數(shù)據(jù)、SSH協(xié)議標(biāo)語(yǔ)數(shù)據(jù)和 Http協(xié)議標(biāo)語(yǔ)數(shù)據(jù);

(2) 數(shù)據(jù)過(guò)濾： 通過(guò)本章提到的非物聯(lián)網(wǎng)設(shè)備過(guò)濾方法分別對(duì)步驟(1)中的三個(gè)協(xié)議標(biāo)語(yǔ)數(shù)據(jù)過(guò)濾,分別得到三個(gè)協(xié)議標(biāo)語(yǔ)數(shù)據(jù)的物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)集;保證得到的數(shù)據(jù)集在使用庫(kù)識(shí)別方法識(shí)別中, 一定會(huì)經(jīng)過(guò)類型、品牌和型號(hào)匹配識(shí)別階段;

(3) 實(shí)驗(yàn)數(shù)據(jù)抽取： 從步驟(2)中得到的三個(gè)協(xié)議標(biāo)語(yǔ)的數(shù)據(jù)集分別抽取 2萬(wàn)條協(xié)議標(biāo)語(yǔ)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù), 即2萬(wàn)條Http協(xié)議標(biāo)語(yǔ)數(shù)據(jù)集Ω1、2萬(wàn)條FTP協(xié)議標(biāo)語(yǔ)數(shù)據(jù)集Ω2和2萬(wàn)條SSH協(xié)議標(biāo)語(yǔ)設(shè)備數(shù)據(jù)集Ω3;

(4) 對(duì)照實(shí)驗(yàn)： 分別準(zhǔn)備庫(kù)匹配算法的兩套程序A和B進(jìn)行實(shí)驗(yàn), 其中A是在庫(kù)匹配算法中使用了正則抽取模塊、B是沒(méi)有使用正則抽取模塊的庫(kù)匹配算法。

使用三組數(shù)據(jù)集分別對(duì)A和B進(jìn)行測(cè)試, 計(jì)算A和B在完成三組數(shù)據(jù)集完整的識(shí)別過(guò)程中各自消耗的時(shí)間。

實(shí)驗(yàn)結(jié)果如表12所示。從實(shí)驗(yàn)結(jié)果中可以看出,利用正則抽取方法對(duì)Lftbbl進(jìn)行過(guò)濾可以節(jié)省更多的匹配時(shí)間, 即在庫(kù)匹配算法中使用正則抽取, 可以讓整個(gè)品牌型號(hào)庫(kù)識(shí)別方法達(dá)到更快的識(shí)別效果。通過(guò)實(shí)驗(yàn)結(jié)果數(shù)據(jù)可知, 不使用正則抽取整個(gè)識(shí)別方法的時(shí)間是使用正則抽取所花的時(shí)間2倍到9倍左右, 因此正則抽取可以極大的提高算法的性能。

表12 正則抽取對(duì)算法性能影響Table 12 Regular extraction effects on algorithm performance

4.3 視頻監(jiān)控設(shè)備型號(hào)識(shí)別

為了驗(yàn)證物聯(lián)網(wǎng)設(shè)備識(shí)別框架對(duì)互聯(lián)網(wǎng)視頻監(jiān)控設(shè)備識(shí)別的有效性, 通過(guò)如下步驟進(jìn)行驗(yàn)證：

(1) 數(shù)據(jù)獲?。?選取視頻監(jiān)控設(shè)備2個(gè)常用協(xié)議Onvif與FTP, 進(jìn)行全網(wǎng)標(biāo)語(yǔ)抓取, 得到Onvif協(xié)議標(biāo)語(yǔ)813404條, FTP協(xié)議標(biāo)語(yǔ)13110691條;

(2) 識(shí)別匹配： 使用本文提出的框架, 對(duì)得到的Onvif與FTP協(xié)議標(biāo)語(yǔ)信息進(jìn)行識(shí)別, 得到識(shí)別結(jié)果,其中被識(shí)別為視頻監(jiān)控設(shè)備的數(shù)據(jù)分別為305622與12302條;

(3) 數(shù)據(jù)集壓縮： 對(duì)識(shí)別出是視頻監(jiān)控設(shè)備的 2個(gè)協(xié)議數(shù)據(jù)進(jìn)行壓縮, 去除重復(fù)標(biāo)語(yǔ)信息后, 得到Onvif協(xié)議覆蓋型號(hào)3441, FTP協(xié)議覆蓋型號(hào)378種;

(4) 驗(yàn)證結(jié)果： 通過(guò)對(duì)(3)去重之后的數(shù)據(jù)進(jìn)行型號(hào)識(shí)別準(zhǔn)確率驗(yàn)證, 得到的設(shè)備型號(hào)識(shí)別準(zhǔn)確率分別為97%與90.87%。

通過(guò)對(duì)以上 2種不同視頻監(jiān)控設(shè)備常用協(xié)議進(jìn)行識(shí)別, 如表 13所示, 可以發(fā)現(xiàn)本文提出的物聯(lián)網(wǎng)設(shè)備識(shí)別框架, 對(duì)不同協(xié)議可以達(dá)到不同型號(hào)識(shí)別準(zhǔn)確率, 最高可以達(dá)到 97.00%, 最低可以達(dá)到90.87%。一定程度上可以說(shuō)明本文提出的框架的確可以達(dá)到細(xì)粒度對(duì)視頻監(jiān)控設(shè)備的識(shí)別。

表13 Onvif與FTP標(biāo)語(yǔ)VSS識(shí)別結(jié)果分析Table 13 VSS recognition results analysis of Onvif and FTP

4.4 工控設(shè)備型號(hào)識(shí)別

為了能夠驗(yàn)證本識(shí)別框架對(duì)工業(yè)物聯(lián)網(wǎng)環(huán)境下的工控設(shè)備識(shí)別的有效性, 本次實(shí)驗(yàn)利用工控設(shè)備專有協(xié)議標(biāo)語(yǔ)——Ethernet/ip與 Bacnet通過(guò)如下步驟進(jìn)行驗(yàn)證：

(1) 數(shù)據(jù)獲?。?通過(guò)對(duì)全網(wǎng)開(kāi)放 Ethernet/ip與Bacnet協(xié)議的設(shè)備進(jìn)行標(biāo)語(yǔ)抓取, 得到設(shè)備Ethernet/ip協(xié)議標(biāo)語(yǔ)數(shù)據(jù)8759條, Bacnet協(xié)議標(biāo)語(yǔ)數(shù)據(jù)12203條;

(2) 識(shí)別匹配： 使用本文提出的方法分別對(duì)得到的協(xié)議標(biāo)語(yǔ)數(shù)據(jù)進(jìn)行識(shí)別, 得到識(shí)別結(jié)果, 其中Ethernet/ip識(shí)別出工控設(shè)備的數(shù)據(jù)為5811條, Bacnet識(shí)別出工控設(shè)備的數(shù)據(jù)為7361條;

(3) 數(shù)據(jù)集壓縮： 對(duì)識(shí)別出是工控設(shè)備的數(shù)據(jù)進(jìn)行壓縮, 去除重復(fù)的標(biāo)語(yǔ)信息后, 統(tǒng)計(jì)發(fā)現(xiàn)Ethernet/ip協(xié)議覆蓋型號(hào)種類290種, Bacnet協(xié)議覆蓋型號(hào)種類220種;

(4) 驗(yàn)證結(jié)果： 通過(guò)對(duì)(3)去重之后的數(shù)據(jù)進(jìn)行型號(hào)識(shí)別準(zhǔn)確率驗(yàn)證, 得到的設(shè)備型號(hào)識(shí)別準(zhǔn)確率分別為97.00%與97.77%。具體內(nèi)容如表14所示。

通過(guò)對(duì)以上 2種不同工控系統(tǒng)設(shè)備專有協(xié)議進(jìn)行識(shí)別分析, 本文提出的物聯(lián)網(wǎng)設(shè)備識(shí)別框架對(duì)工業(yè)物聯(lián)網(wǎng)環(huán)境下的工控設(shè)備識(shí)別仍然適用, 同時(shí)還能達(dá)到較高的型號(hào)識(shí)別準(zhǔn)確率。

本方法不僅僅支持Ethernet/ip與Bacnet協(xié)議, 同時(shí)還支持其他 18種的工控設(shè)備專有協(xié)議標(biāo)語(yǔ), 但Shodan目前僅支持15種。本方法與物聯(lián)網(wǎng)設(shè)備搜索引擎Shodan在全網(wǎng)工控設(shè)備識(shí)別數(shù)量上比較如圖13所示。圖13顯示了11種不同工控設(shè)備數(shù)量對(duì)比, 除了fox協(xié)議識(shí)別數(shù)量比Shodan少之外, 剩余10種都是領(lǐng)先或者與Shodan持平。出現(xiàn)fox協(xié)議識(shí)別數(shù)量少于Shodan的現(xiàn)象, 有很大可能性是因?yàn)樘綔y(cè)系統(tǒng)對(duì)fox協(xié)議探測(cè)數(shù)據(jù)包收集還不夠全, 導(dǎo)致識(shí)別出的fox設(shè)備數(shù)量稍微低于Shodan。

表14 Ethernet/ip與Bacnet標(biāo)語(yǔ)ICS識(shí)別結(jié)果分析Table 14 Analysis of ICS recognition results of Ethernet/ip and Bacnet banners

圖13 工控協(xié)議下的設(shè)備數(shù)量分析Figure 13 Number of recognizable ICS device statistics

5 未來(lái)工作

本文提出了一種基于搜索的物聯(lián)網(wǎng)設(shè)備產(chǎn)品屬性識(shí)別框架。收集了2397種的物聯(lián)網(wǎng)設(shè)備品牌種類,56282種物聯(lián)網(wǎng)設(shè)備型號(hào)種類, 確定了 10種設(shè)備類別, 目前可識(shí)別的物聯(lián)網(wǎng)品牌種類達(dá)到1200種以上,可識(shí)別物聯(lián)網(wǎng)型號(hào)種類達(dá)到 12000種以上。通過(guò)設(shè)計(jì)算法成功實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)設(shè)備協(xié)議標(biāo)語(yǔ)信息內(nèi)容的提取工作。本文還對(duì)公網(wǎng)上的視頻監(jiān)控設(shè)備系統(tǒng)以及工業(yè)控制系統(tǒng)進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)表明, 本框架在對(duì)通用、專用協(xié)議, 視頻監(jiān)控和工控設(shè)備都有較好表現(xiàn),產(chǎn)品屬性識(shí)別準(zhǔn)確率均超過(guò)90%。

實(shí)驗(yàn)表明, 盡管論文提出方法能夠?qū)崿F(xiàn)對(duì)設(shè)備產(chǎn)品屬性可以進(jìn)行準(zhǔn)確識(shí)別和標(biāo)定, 但在設(shè)備識(shí)別率方面并不高。實(shí)驗(yàn)表明, 互聯(lián)網(wǎng)可探測(cè)存活設(shè)備有4~5億, 物聯(lián)網(wǎng)設(shè)備根據(jù)推斷在 1億左右(包含家用路由器), 而當(dāng)前能識(shí)別的設(shè)備不超過(guò)5000萬(wàn)。主要問(wèn)題包括：

(1) 大量設(shè)備在進(jìn)行協(xié)議標(biāo)語(yǔ)抓取過(guò)程中受到防火墻等防護(hù)設(shè)備的攔截, 導(dǎo)致很大一部分開(kāi)放端口不能抓到正常返回的標(biāo)語(yǔ)信息;

(2) 隨著安全意識(shí)的提升, 大量物聯(lián)網(wǎng)設(shè)備都在提供服務(wù)信息前增加統(tǒng)一認(rèn)證過(guò)程, 僅通過(guò)標(biāo)語(yǔ)信息難以區(qū)分不同設(shè)備;

(3) 部分探測(cè)數(shù)據(jù)包收集不夠完善, 導(dǎo)致探測(cè)獲取原始標(biāo)語(yǔ)信息的數(shù)量不全。

未來(lái)將在探測(cè)的友好度、探測(cè)數(shù)據(jù)包的完整性以及探索除上層協(xié)議標(biāo)語(yǔ)外的其他設(shè)備特征提取技術(shù)和利用方法方面進(jìn)行改進(jìn), 以提升對(duì)物聯(lián)網(wǎng)設(shè)備識(shí)別比例。