煤礦大數(shù)據(jù)安全預(yù)警云平臺(tái)設(shè)計(jì)

劉 斌

（神木市能源局信息指揮中心，陜西 神木 719300）

0 引言

煤炭開(kāi)采活動(dòng)受限于多變的復(fù)雜環(huán)境，近年來(lái)，由于國(guó)家高度重視礦山生產(chǎn)安全，2019年《煤安監(jiān)【2019】42號(hào)國(guó)家煤礦安監(jiān)局關(guān)于加快推進(jìn)煤礦安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)建設(shè)的指導(dǎo)意見(jiàn)》等文件先后出臺(tái)，在現(xiàn)有安全預(yù)警系統(tǒng)和政策監(jiān)管的共同作用下，國(guó)內(nèi)煤炭開(kāi)采活動(dòng)形式略有好轉(zhuǎn)，但仍事故頻發(fā)。

目前國(guó)內(nèi)眾多學(xué)者對(duì)數(shù)字礦山、智慧礦區(qū)領(lǐng)域進(jìn)行了不同的研究，略有成果。闕建立、羅香玉等人通過(guò)分析智慧礦區(qū)的特點(diǎn)，介紹了支撐智慧礦山的技術(shù)架構(gòu)，呂情緒、竇林名等人通過(guò)大數(shù)據(jù)、云平臺(tái)等技術(shù)智能判識(shí)沖擊礦壓風(fēng)險(xiǎn)與多參量監(jiān)測(cè)預(yù)警。以上學(xué)者分別從不同角度對(duì)智慧礦區(qū)如何解決精穩(wěn)預(yù)警難題進(jìn)行深入探討，但仍存在以下幾個(gè)問(wèn)題：首先基于大數(shù)據(jù)的智慧礦山預(yù)警平臺(tái)須保證數(shù)據(jù)的精確實(shí)時(shí)性，但實(shí)際數(shù)據(jù)采集過(guò)程中難以達(dá)到數(shù)據(jù)準(zhǔn)確性，在遇到大面積懸頂隱患、老空水害、自燃發(fā)火隱患等問(wèn)題時(shí)無(wú)法及時(shí)預(yù)警。

智慧礦山的建設(shè)離不開(kāi)海量多元異構(gòu)數(shù)據(jù)的處理，鑒于此，以數(shù)據(jù)為基礎(chǔ)，以大數(shù)據(jù)云平臺(tái)技術(shù)為依托，提出一種煤礦大數(shù)據(jù)安全預(yù)警云平臺(tái)技術(shù)方案，以期分析煤礦安全數(shù)據(jù)，為礦區(qū)安全精穩(wěn)預(yù)警決策提供數(shù)據(jù)支撐。

1 煤礦安全預(yù)警平臺(tái)建設(shè)面臨問(wèn)題

自陜西煤礦安全監(jiān)察局【2020】152號(hào)文件《關(guān)于做好礦用設(shè)備監(jiān)察管理系統(tǒng)聯(lián)網(wǎng)和設(shè)備管理工作的通知》發(fā)布以來(lái)，保證人員與設(shè)備的可靠環(huán)境任務(wù)重中之重，這些人員與設(shè)備的可靠環(huán)境包括通、采、掘、機(jī)、運(yùn)等80多個(gè)子系統(tǒng)，這些子系統(tǒng)相互協(xié)同配合，構(gòu)建成了一個(gè)龐大復(fù)雜的運(yùn)行體系，在工業(yè)互聯(lián)網(wǎng)、工業(yè)物聯(lián)網(wǎng)、大數(shù)據(jù)、云平臺(tái)背景下，這一運(yùn)行體系也逐步從機(jī)械化、自動(dòng)化、數(shù)字化向智能化、智慧化方向發(fā)展。陜西省煤礦信息化建設(shè)也逐步由數(shù)字礦山、感知礦山向智慧礦山轉(zhuǎn)變，雖然取得一定成果，但是在數(shù)據(jù)處理方面仍存在多方面挑戰(zhàn)。

1.1 保證獲取數(shù)據(jù)準(zhǔn)確性

礦山的生產(chǎn)數(shù)據(jù)主要由基礎(chǔ)數(shù)據(jù)、傳感器感知數(shù)據(jù)和外部數(shù)據(jù)組成。目前，填報(bào)數(shù)據(jù)獲取的真實(shí)性、周期性較差，一些非結(jié)構(gòu)化視頻數(shù)據(jù)獲取的真實(shí)性、實(shí)時(shí)性較好，感知層采集的數(shù)據(jù)真實(shí)性、實(shí)時(shí)性仍需增強(qiáng)。因此如何增強(qiáng)數(shù)據(jù)的可依賴(lài)性成為建設(shè)智慧礦山的關(guān)鍵因素之一。

1.2 全方位融合分析數(shù)據(jù)

數(shù)據(jù)作為信息的原始資料，是通過(guò)數(shù)字、圖形、 文字、及介質(zhì)來(lái)描述的事件、現(xiàn)象的特征，數(shù)據(jù)類(lèi)型的研究是數(shù)據(jù)融合技術(shù)的基礎(chǔ)。煤礦的安全預(yù)警平臺(tái)經(jīng)過(guò)多年信息化演變，已經(jīng)衍生出海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，它包括礦山礦壓監(jiān)測(cè)數(shù)據(jù)、GIS數(shù)據(jù)、瓦斯監(jiān)測(cè)數(shù)據(jù)、礦圖數(shù)據(jù)等，其中技術(shù)人員分析重點(diǎn)在不到5%的結(jié)構(gòu)化數(shù)據(jù)，因此數(shù)據(jù)采集過(guò)程后并沒(méi)有對(duì)數(shù)據(jù)進(jìn)行深入分析、挖掘、關(guān)聯(lián)、融合，使數(shù)據(jù)存在大量信息孤島、業(yè)務(wù)鴻溝和系統(tǒng)煙囪，無(wú)法從更多的角度感知事故風(fēng)險(xiǎn)，進(jìn)而不能真正將虛數(shù)據(jù)變成實(shí)數(shù)據(jù)，從而不能精穩(wěn)實(shí)現(xiàn)風(fēng)險(xiǎn)預(yù)警和智能研判，難以實(shí)現(xiàn)安全關(guān)口前移。

2 煤礦安全預(yù)警平臺(tái)關(guān)鍵技術(shù)

該文將大數(shù)據(jù)預(yù)處理技術(shù)和Hadoop云平臺(tái)框架應(yīng)用于煤礦災(zāi)害監(jiān)測(cè)預(yù)警系統(tǒng)中，使用大數(shù)據(jù)預(yù)處理技術(shù)對(duì)感知層采集的數(shù)據(jù)進(jìn)行清洗、集成、規(guī)約和變換，利用Hadoop計(jì)算框架和分布式框架及生態(tài)技術(shù)實(shí)現(xiàn)數(shù)據(jù)分析的可視化顯示。

2.1 Hadoop云平臺(tái)

Hadoop是一種分布式計(jì)算框架，可以對(duì)海量的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)和分析，Hadoop項(xiàng)目結(jié)構(gòu)如圖1所示。

圖1 Hadoop項(xiàng)目結(jié)構(gòu)

云平臺(tái)是以虛擬化技術(shù)為基礎(chǔ)，以網(wǎng)絡(luò)為載體的超級(jí)計(jì)算，其通過(guò)基礎(chǔ)架構(gòu)平臺(tái)或軟件等服務(wù)形式，整合了大規(guī)?？蓴U(kuò)展的計(jì)算，存儲(chǔ)數(shù)據(jù)應(yīng)用等分布式計(jì)算資源來(lái)進(jìn)行協(xié)同工作。從技術(shù)方面看，云平臺(tái)的體系結(jié)構(gòu)由物理資源、虛擬資源、管理中間控件和服務(wù)接口組成。從實(shí)現(xiàn)角度看，云平臺(tái)體系結(jié)構(gòu)由用戶(hù)界面、系統(tǒng)管理、部署工具、服務(wù)器集群、服務(wù)目錄和資源監(jiān)控組成。

其中HDFS是一種分布式文件存儲(chǔ)系統(tǒng)，它具有存儲(chǔ)數(shù)據(jù)量大、流式數(shù)據(jù)訪問(wèn)等特點(diǎn)。一個(gè)HDFS集群具備兩個(gè)管理節(jié)點(diǎn)NameNode和Secondary NameNode，還擁有多個(gè)數(shù)據(jù)節(jié)點(diǎn)DateNode。NameNode作為主服務(wù)器，它用來(lái)監(jiān)控DateNode節(jié)點(diǎn)的運(yùn)行狀況以及協(xié)調(diào)存儲(chǔ)任務(wù)或者文件分接任務(wù)的分派，Secondary NameNode的主要作用是協(xié)助主服務(wù)器處理映象文件和事務(wù)日志，而DateNode節(jié)點(diǎn)屬于數(shù)據(jù)存儲(chǔ)的基本單元，負(fù)責(zé)存儲(chǔ)本地?cái)?shù)據(jù)并定期上傳到主服務(wù)器。

2.2 基于數(shù)據(jù)融合的大數(shù)據(jù)預(yù)處理技術(shù)

現(xiàn)實(shí)環(huán)境中單一傳感器采集的數(shù)據(jù)容易受到煤塵、高溫、水蒸氣和輻射等因素干擾，大部分?jǐn)?shù)據(jù)存在異常或缺失的臟數(shù)據(jù)，因此，要對(duì)數(shù)據(jù)進(jìn)行清洗、集成、規(guī)約和變換，就要將異常數(shù)據(jù)進(jìn)行丟棄或者填補(bǔ)，但直接將數(shù)據(jù)丟棄會(huì)導(dǎo)致數(shù)據(jù)樣本減少，從而降低分析精準(zhǔn)度。所以往往通過(guò)填補(bǔ)方法進(jìn)行數(shù)據(jù)預(yù)處理，常見(jiàn)的填補(bǔ)方法有移動(dòng)平均線(xiàn)插值法、AR模型插值法，但以上幾種方法都是基于單一傳感器對(duì)環(huán)境進(jìn)行監(jiān)測(cè)并且上述方法會(huì)將誤差進(jìn)行傳導(dǎo)，存在采集信息有限、數(shù)據(jù)準(zhǔn)確性低等問(wèn)題。

數(shù)據(jù)融合技術(shù)是一種將通信信息、數(shù)據(jù)分析、人工智能等多種技術(shù)集成于一體的數(shù)據(jù)處理技術(shù)。可以有效解決以上幾種問(wèn)題，因此根據(jù)一些特定監(jiān)測(cè)場(chǎng)景，例如瓦斯氣體在巷道中運(yùn)動(dòng)的特性和在開(kāi)采過(guò)程中巖移運(yùn)動(dòng)對(duì)支架?chē)鷰r所產(chǎn)生的作用力的礦壓特性，實(shí)現(xiàn)多元傳感器集群的數(shù)據(jù)融合、采集、剖析、處理等過(guò)程。

3 煤礦安全預(yù)警平臺(tái)設(shè)計(jì)

3.1 系統(tǒng)功能設(shè)計(jì)

基于大數(shù)據(jù)預(yù)處理和Hadoop云平臺(tái)的煤礦安全預(yù)警平臺(tái)主要由多元傳感器集群、煤礦數(shù)據(jù)云存儲(chǔ)中心以及交互中心三個(gè)部分組成，系統(tǒng)總體結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)總體結(jié)構(gòu)圖

該平臺(tái)的主要功能：將傳感器集群采集到的數(shù)據(jù)通過(guò)較優(yōu)的存儲(chǔ)策略上傳并存儲(chǔ)到平臺(tái)上；將傳感器集群采集的數(shù)據(jù)匯總起來(lái)進(jìn)行資源和管理的再分配，并對(duì)這些數(shù)據(jù)進(jìn)行深度挖掘和數(shù)據(jù)融合處理，對(duì)礦山風(fēng)險(xiǎn)進(jìn)行有效預(yù)警，實(shí)現(xiàn)安全關(guān)口前移。

數(shù)據(jù)采集功能的結(jié)構(gòu)由微震與圍巖應(yīng)力測(cè)量系統(tǒng)以及它們各自的接入端、云處理服務(wù)器和通信網(wǎng)絡(luò)組成。數(shù)據(jù)采集功能流程為：各個(gè)煤礦將接入端實(shí)時(shí)生成、更新的微震和圍巖應(yīng)力測(cè)量數(shù)據(jù)以包的形式通過(guò)工業(yè)以太環(huán)網(wǎng)上傳到云處理服務(wù)器中，隨后云處理服務(wù)器將這些包文件進(jìn)行歸類(lèi)轉(zhuǎn)換，礦區(qū)上傳的數(shù)據(jù)包文件類(lèi)型主要有W震動(dòng)波型文件Data文件、含有文字和圖表的壓縮圖文文件Surfer文件、報(bào)表文件Plot文件、數(shù)據(jù)庫(kù)類(lèi)型文件SOS文件以及其他類(lèi)型文件，云處理服務(wù)器將Data文件和Surfer文件進(jìn)行圖形化處理后轉(zhuǎn)換成圖片格式存到云端，再將處理后的Surfer文件底圖與SOS數(shù)據(jù)庫(kù)文件相結(jié)合經(jīng)過(guò)數(shù)據(jù)融合技術(shù)最終顯示到云共享平臺(tái)上。因此數(shù)據(jù)采集功能主要有文件歸類(lèi)、文件轉(zhuǎn)存、可視化功能，功能結(jié)構(gòu)圖如圖3所示。

圖3 數(shù)據(jù)采集功能功能結(jié)構(gòu)圖

煤礦災(zāi)害數(shù)據(jù)具有數(shù)據(jù)規(guī)模大、數(shù)據(jù)種類(lèi)的以及數(shù)據(jù)延伸范圍廣等特點(diǎn)，針對(duì)以上數(shù)據(jù)特點(diǎn)若采用關(guān)系型數(shù)據(jù)庫(kù)，則會(huì)遇到數(shù)據(jù)結(jié)構(gòu)不便調(diào)整等問(wèn)題，因此該文選用云存儲(chǔ)這種具有擴(kuò)展性強(qiáng)、可靠性高的存儲(chǔ)架構(gòu)作為處理龐大的安監(jiān)數(shù)據(jù)最適合。各個(gè)煤礦將接入端實(shí)時(shí)生成、更新的微震和圍巖應(yīng)力測(cè)量數(shù)據(jù)通過(guò)工業(yè)以太環(huán)網(wǎng)上傳到云處理服務(wù)器中并存儲(chǔ)到MySQL數(shù)據(jù)庫(kù)或Hbase數(shù)據(jù)庫(kù)，對(duì)上傳文件類(lèi)型來(lái)說(shuō)，則將分好類(lèi)的文件存到HDFS中，因此云存儲(chǔ)框架如圖4所示。

圖4 云存儲(chǔ)框架

該文設(shè)計(jì)的HDFS集群包括4個(gè)Node節(jié)點(diǎn)，通過(guò)副技術(shù)可以有效提高數(shù)據(jù)的可靠性，但在實(shí)際情況中副本存在性能和存儲(chǔ)差異并且煤礦災(zāi)害的突發(fā)性導(dǎo)致經(jīng)常要對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)操作，HDFS系統(tǒng)通常采用默認(rèn)副本策略，該策略會(huì)使數(shù)據(jù)副本隨機(jī)集中存在某個(gè)上Node節(jié)點(diǎn)上，發(fā)生監(jiān)測(cè)數(shù)據(jù)在Node節(jié)點(diǎn)分布不均的情況，嚴(yán)重則導(dǎo)致負(fù)載溢出的現(xiàn)象。因此該文采取基于節(jié)點(diǎn)性能的副本存儲(chǔ)策略，該策略可以有效將讀寫(xiě)或并發(fā)操作發(fā)散到多個(gè)節(jié)點(diǎn)進(jìn)行并行處理，降低系統(tǒng)響應(yīng)時(shí)間，提高資源利用率。具體實(shí)現(xiàn)思路如下：首先將4個(gè)Node節(jié)點(diǎn)的存儲(chǔ)空間利用率、CPU利用率、磁盤(pán)讀取速率、傳輸速率、內(nèi)存占用率作為指標(biāo)列建立一個(gè)4×5的指標(biāo)矩陣并對(duì)其進(jìn)行規(guī)范化處理，依次定義每個(gè)指標(biāo)的權(quán)值為=0.2、=0.1、=0.3、=0.3、=0.1，對(duì)矩陣進(jìn)行賦權(quán)后得到矩陣，通過(guò)分析可知每列指標(biāo)的最大值和最小值，然后通過(guò)歐式距離法求出每個(gè)Node與最大值和最小值的距離，最后選出個(gè)節(jié)點(diǎn)作為最佳存儲(chǔ)副本的節(jié)點(diǎn)。

操作人員通過(guò)構(gòu)建數(shù)學(xué)模型對(duì)傳感器集群采集的多源數(shù)據(jù)進(jìn)行影像重構(gòu)操作，生成優(yōu)化數(shù)據(jù)層，再應(yīng)用到云共享平臺(tái)，最終顯示當(dāng)前預(yù)警信息圖件。該文采用基于特征的數(shù)據(jù)融合技術(shù)，在處理服務(wù)器把Data文件和Surfer文件進(jìn)行圖形化處理并轉(zhuǎn)換成圖片后，抽取原始信息中的特征信息，特征信息需具備原始信息的充分表示量或充分統(tǒng)計(jì)量特點(diǎn)，根據(jù)生成的圖像波普利用小波變換對(duì)其進(jìn)行頻率域-空間域的變換和多層分解，再對(duì)待融合數(shù)據(jù)統(tǒng)計(jì)方差和均值，確定子帶和基子帶的融合值，最后通過(guò)小波逆變換重構(gòu)圖像。

3.2 云平臺(tái)設(shè)計(jì)

在3.1.1中提到將分類(lèi)好的監(jiān)測(cè)數(shù)據(jù)通過(guò)計(jì)算機(jī)群組搭建的Hadoop集群將海量多元異構(gòu)數(shù)據(jù)文件批量存儲(chǔ)到云端上；在數(shù)據(jù)層上，HDFS集群可以對(duì)其進(jìn)行刪、改、查等操作；云共享平臺(tái)的預(yù)警顯示是采用B/S模式，通過(guò)應(yīng)用層的接口調(diào)用HDFS API，進(jìn)行Hadoop集群交互，訪問(wèn)HDFS；通過(guò)用戶(hù)層可以進(jìn)行注冊(cè)、登錄、訪問(wèn)云平臺(tái)獲取一系列的災(zāi)害分析情況。該文的Hadoop云存儲(chǔ)框架如圖5所示。

圖5 云存儲(chǔ)平臺(tái)結(jié)構(gòu)劃分

該文搭建的Hadoop集群硬件信息見(jiàn)表1。

表1 硬件信息

軟件平臺(tái)為L(zhǎng)inux Ubuntu 14.06操作系統(tǒng)，開(kāi)發(fā)工具為IDEA，軟件所需環(huán)境見(jiàn)表2。

表2 軟件環(huán)境

4 結(jié)論

該文以煤礦安全預(yù)警平臺(tái)為背景，針對(duì)傳統(tǒng)煤礦安全預(yù)警數(shù)據(jù)采集過(guò)程中難以達(dá)到數(shù)據(jù)準(zhǔn)確性，數(shù)據(jù)存在大量信息孤島、業(yè)務(wù)鴻溝和系統(tǒng)煙囪不利于對(duì)數(shù)據(jù)進(jìn)行深度挖掘、分析和融合等問(wèn)題，結(jié)合大數(shù)據(jù)技術(shù)和云平臺(tái)框架對(duì)海量數(shù)據(jù)進(jìn)行處理，該平臺(tái)保證了煤礦生產(chǎn)高效、穩(wěn)定、可靠運(yùn)行。