大數(shù)據(jù)技術(shù)在智慧工程中的研究和應(yīng)用

馬花月，衛(wèi) 慧，張?jiān)婃拢苄擎?/p>

(上?？睖y(cè)設(shè)計(jì)研究院有限公司，上海 200434)

1 研究背景

隨著工業(yè)4.0浪潮的興起，新一輪科技革命和產(chǎn)業(yè)變革正重塑全球經(jīng)濟(jì)結(jié)構(gòu)，大數(shù)據(jù)的發(fā)展應(yīng)用引起了國(guó)家和社會(huì)的重視。2015年國(guó)務(wù)院發(fā)布的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》指出，“推動(dòng)產(chǎn)業(yè)創(chuàng)新發(fā)展，培育新興業(yè)態(tài)，助力經(jīng)濟(jì)轉(zhuǎn)型”是大數(shù)據(jù)發(fā)展的主要任務(wù)之一。當(dāng)前，物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等信息技術(shù)不斷向工程領(lǐng)域融合滲透，為工程大數(shù)據(jù)應(yīng)用的實(shí)施奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。

近年來(lái)，三峽上海院在三峽集團(tuán)清潔能源和長(zhǎng)江生態(tài)環(huán)保“兩翼齊飛”戰(zhàn)略指引下，踐行生態(tài)優(yōu)先、綠色發(fā)展、數(shù)字賦能等發(fā)展理念，參與了大量的水電、海上風(fēng)電、生態(tài)環(huán)保建設(shè)項(xiàng)目，工程規(guī)劃設(shè)計(jì)、施工建設(shè)和運(yùn)營(yíng)過(guò)程中產(chǎn)生了大量多類型數(shù)據(jù)。由于各類工程特點(diǎn)不同，面臨海量數(shù)據(jù)難存儲(chǔ)、數(shù)據(jù)通訊難暢快、信息難共享、信息安全隱患等問(wèn)題，出現(xiàn)了數(shù)據(jù)條塊化及孤島現(xiàn)象，數(shù)據(jù)資產(chǎn)管理能力薄弱等問(wèn)題日益突出。

針對(duì)上述突出問(wèn)題，上海院開(kāi)展了智慧工程大數(shù)據(jù)平臺(tái)建設(shè)，通過(guò)建立縱向聯(lián)動(dòng)、橫向協(xié)同、互聯(lián)互通的大數(shù)據(jù)平臺(tái)，滿足日益迫切的各類工程數(shù)據(jù)全生命周期管理的需求。大數(shù)據(jù)平臺(tái)作為工程數(shù)據(jù)資料庫(kù)的信息載體，需具備海量數(shù)據(jù)統(tǒng)一采集、清洗匯聚、分析計(jì)算、存儲(chǔ)和共享服務(wù)能力。平臺(tái)建設(shè)的同時(shí)，還需建立有序共享、適度開(kāi)放、安全可靠的數(shù)據(jù)共享新機(jī)制，探索出一套由“資源”到“資產(chǎn)”再到“資本”的數(shù)據(jù)管理漸進(jìn)增值新模式。

2 智慧工程大數(shù)據(jù)平臺(tái)搭建

2.1 技術(shù)架構(gòu)

智慧工程大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)如圖1所示。根據(jù)數(shù)據(jù)從來(lái)源到應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)牧鞒蹋蓪⒋髷?shù)據(jù)技術(shù)架構(gòu)分為采集清洗層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層、數(shù)據(jù)服務(wù)層、平臺(tái)管理層。

圖1 大數(shù)據(jù)技術(shù)架構(gòu)圖

2.1.1采集清洗層

采用批量和實(shí)時(shí)采集技術(shù)，實(shí)現(xiàn)物聯(lián)網(wǎng)平臺(tái)的時(shí)序數(shù)據(jù)、業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)、日志文件等非結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)化統(tǒng)一采集和清洗。

2.1.2數(shù)據(jù)存儲(chǔ)層

運(yùn)用HDFS、HBase、Hive、Greenplum等技術(shù)，構(gòu)建統(tǒng)一的數(shù)據(jù)湖平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理，為跨庫(kù)的數(shù)據(jù)關(guān)聯(lián)分析提供基礎(chǔ)。

2.1.3數(shù)據(jù)分析層

基于大數(shù)據(jù)計(jì)算引擎MapReduce、Spark、Flink，采用開(kāi)源的統(tǒng)計(jì)算法、機(jī)器學(xué)習(xí)算法、深度學(xué)習(xí)算法，構(gòu)建開(kāi)放靈活可擴(kuò)展的數(shù)據(jù)分析環(huán)境。

2.1.4數(shù)據(jù)服務(wù)層

采用微服務(wù)架構(gòu)，搭建適用于各類用戶的數(shù)據(jù)共享服務(wù)，如查詢服務(wù)、數(shù)據(jù)主題服務(wù)、數(shù)據(jù)訂閱服務(wù)、統(tǒng)一數(shù)據(jù)訪問(wèn)服務(wù)。

2.1.5平臺(tái)管理層

采用Yarn作為資源管理調(diào)度器，為集群的各類計(jì)算框架提供統(tǒng)一的管理和調(diào)度，采用Zookeeper解決分布環(huán)境下的數(shù)據(jù)管理問(wèn)題，采用OOzie工作流調(diào)度系統(tǒng)用來(lái)管理任務(wù)和工作流調(diào)度，采用Cloudera Manager監(jiān)控集群的運(yùn)行狀態(tài)。如圖1所示。

2.2 關(guān)鍵技術(shù)

2.2.1多源異構(gòu)數(shù)據(jù)采集

數(shù)據(jù)采集主要實(shí)現(xiàn)內(nèi)外部系統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等不同類型、不同時(shí)效的數(shù)據(jù)的復(fù)制與整合。例如將視頻監(jiān)控、日志文本等對(duì)象數(shù)據(jù)，接入到對(duì)象存儲(chǔ)數(shù)據(jù)庫(kù)中；將物聯(lián)網(wǎng)平臺(tái)采集的時(shí)序數(shù)據(jù)，如光伏組件監(jiān)測(cè)數(shù)據(jù)、風(fēng)力發(fā)電機(jī)組監(jiān)測(cè)數(shù)據(jù)、升壓站監(jiān)測(cè)數(shù)據(jù)等，接入到時(shí)序數(shù)據(jù)庫(kù)中；將業(yè)務(wù)系統(tǒng)傳輸過(guò)來(lái)的業(yè)務(wù)數(shù)據(jù)，如計(jì)劃、調(diào)度、運(yùn)營(yíng)等結(jié)構(gòu)化數(shù)據(jù)，接入到關(guān)系存儲(chǔ)數(shù)據(jù)庫(kù)中。

大數(shù)據(jù)平臺(tái)集成MapReduce、Spark、Flink并行計(jì)算框架以提供高效靈活的接入，數(shù)據(jù)采集技術(shù)總體設(shè)計(jì)特點(diǎn)包括：①支持高吞吐量數(shù)據(jù)的高并發(fā)接入；②數(shù)據(jù)不丟失不重復(fù)接入，保證數(shù)據(jù)高可靠性；③接入數(shù)據(jù)的事務(wù)性，同一批數(shù)據(jù)要么都接入，要么都未接入；④支持復(fù)雜網(wǎng)絡(luò)環(huán)境下的可靠數(shù)據(jù)采集；⑤支持跨網(wǎng)段、跨單位的數(shù)據(jù)采集；⑥支持基于通道、文件的加密傳輸；⑦支持多種數(shù)據(jù)接口和傳輸協(xié)議；⑧支持?jǐn)帱c(diǎn)續(xù)傳。

2.2.2數(shù)據(jù)集成處理

數(shù)據(jù)集成實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換、邏輯判斷、數(shù)據(jù)質(zhì)量的檢查、異常處理、數(shù)據(jù)路由、數(shù)據(jù)的規(guī)范化等處理。數(shù)據(jù)集成包括數(shù)據(jù)清洗、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)標(biāo)準(zhǔn)化。

數(shù)據(jù)清洗目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，保證數(shù)據(jù)的有效性。數(shù)據(jù)校驗(yàn)基于數(shù)據(jù)接入標(biāo)準(zhǔn)，比如數(shù)據(jù)類型、數(shù)值特征等，對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)，保證數(shù)據(jù)的準(zhǔn)確性。數(shù)據(jù)轉(zhuǎn)換一般包括兩類，第一類：數(shù)據(jù)名稱及格式的統(tǒng)一；第二類：數(shù)據(jù)倉(cāng)庫(kù)中存在源數(shù)據(jù)庫(kù)中可能不存在的數(shù)據(jù)，因此需要進(jìn)行字段的組合、分割或計(jì)算，數(shù)據(jù)轉(zhuǎn)換解決數(shù)據(jù)不一致問(wèn)題。數(shù)據(jù)標(biāo)準(zhǔn)化就是對(duì)數(shù)據(jù)的命名、數(shù)據(jù)類型、長(zhǎng)度、業(yè)務(wù)含義、計(jì)算口徑、歸屬部門(mén)等，定義一套統(tǒng)一的規(guī)范，保證數(shù)據(jù)定義、理解、使用的統(tǒng)一。

2.2.3數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)是發(fā)展數(shù)據(jù)化管理的重要基礎(chǔ)，具備高效的分層數(shù)據(jù)組織形式，更加完整的數(shù)據(jù)體系，清晰的數(shù)據(jù)分類和分層機(jī)制。數(shù)據(jù)倉(cāng)庫(kù)在邏輯上可以分為ODS層(源系統(tǒng)層)、DWD層(數(shù)據(jù)明細(xì)層)、DWS層(數(shù)據(jù)匯總層)、DM層(數(shù)據(jù)集市層)，如圖2所示。

圖2 數(shù)據(jù)倉(cāng)庫(kù)分層示意圖

ODS層是業(yè)務(wù)數(shù)據(jù)流動(dòng)過(guò)程的第一個(gè)存儲(chǔ)區(qū)，為后續(xù)的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換過(guò)程打下堅(jiān)實(shí)的基礎(chǔ)。DWD層有選擇地集成ODS層緩沖區(qū)的數(shù)據(jù)，以數(shù)據(jù)主題域?yàn)閿?shù)據(jù)集成的基礎(chǔ)，對(duì)數(shù)據(jù)進(jìn)行分類和組織。DWS層通過(guò)概念模型、邏輯模型和物理模型3個(gè)階段設(shè)計(jì)階段，整理得到大量的指標(biāo)數(shù)據(jù)，以便業(yè)務(wù)人員實(shí)現(xiàn)數(shù)據(jù)挖掘和業(yè)務(wù)分析等功能。DM層將數(shù)據(jù)匯總成分析某一主題域的服務(wù)數(shù)據(jù)，一般是寬表，用于提供后續(xù)的業(yè)務(wù)查詢，OLAP分析，數(shù)據(jù)分發(fā)等。

2.2.4數(shù)據(jù)分析

數(shù)據(jù)分析指數(shù)據(jù)分析或運(yùn)維技術(shù)人員利用自身經(jīng)驗(yàn)知識(shí)，使用大數(shù)據(jù)平臺(tái)的案例數(shù)據(jù)和運(yùn)行數(shù)據(jù)，針對(duì)要分析的業(yè)務(wù)對(duì)象進(jìn)行業(yè)務(wù)理解，理解業(yè)務(wù)目標(biāo)、業(yè)務(wù)目標(biāo)產(chǎn)生的機(jī)理邏輯、篩選與業(yè)務(wù)目標(biāo)有關(guān)的數(shù)據(jù)，利用平臺(tái)提供的數(shù)據(jù)挖掘算法進(jìn)行建模分析，推動(dòng)業(yè)務(wù)的智慧化運(yùn)營(yíng)。

常用的數(shù)據(jù)挖掘具如：Mahout、MLlib、TensorFlow。Mahout 是Apache Software Foundation(ASF)開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目，提供一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開(kāi)發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。MLlib(machine learning library)是Spark提供的可擴(kuò)展的機(jī)器學(xué)習(xí)庫(kù)，MLlib中已經(jīng)包含了一些通用的學(xué)習(xí)算法和工具，如：分類、回歸、聚類、協(xié)同過(guò)濾、降維以及底層的優(yōu)化原語(yǔ)等算法和工具。TensorFlow是人工智能AI領(lǐng)域的一個(gè)重要軟件工具，是谷歌開(kāi)發(fā)的開(kāi)源軟件，包含了DNN、CNN、RNN等深度學(xué)習(xí)模型，可以在創(chuàng)建深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)對(duì)數(shù)據(jù)進(jìn)行數(shù)值和圖形計(jì)算，快速建立數(shù)學(xué)模型。

2.2.5數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)主要解決以下4個(gè)關(guān)鍵問(wèn)題：①不知道數(shù)據(jù)被哪些應(yīng)用訪問(wèn)；②數(shù)據(jù)接入方式多種多樣，數(shù)據(jù)接入效率低；③數(shù)據(jù)和接口沒(méi)有辦法復(fù)用；④底層數(shù)據(jù)變更引起表重構(gòu)，增加額外的開(kāi)發(fā)工作量，造成數(shù)據(jù)變更進(jìn)度緩慢。

為解決以上問(wèn)題，數(shù)據(jù)服務(wù)設(shè)計(jì)應(yīng)具備6大功能：①規(guī)范化定義接口；②作為網(wǎng)關(guān)服務(wù)，數(shù)據(jù)服務(wù)必須具備認(rèn)證、權(quán)限、限流、監(jiān)控5大功能；③維護(hù)數(shù)據(jù)模型到數(shù)據(jù)應(yīng)用的全鏈路關(guān)系；④利用中間存儲(chǔ)加速數(shù)據(jù)查詢；⑤構(gòu)建邏輯模型，實(shí)現(xiàn)數(shù)據(jù)的復(fù)用；⑥建立API集市，實(shí)現(xiàn)接口復(fù)用。

3 大數(shù)據(jù)技術(shù)在智慧工程中的應(yīng)用

大數(shù)據(jù)技術(shù)在智慧工程中的應(yīng)用如圖3所示。隨著物聯(lián)網(wǎng)、數(shù)據(jù)挖掘、人工智能等先進(jìn)的科學(xué)技術(shù)日益成熟與廣泛應(yīng)用，工程建設(shè)逐漸由機(jī)械化、數(shù)字化模式向智能化模式發(fā)展。以工程應(yīng)用為導(dǎo)向，通過(guò)數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)挖掘等大數(shù)據(jù)分析手段，構(gòu)建典型的應(yīng)用場(chǎng)景，充分發(fā)揮數(shù)據(jù)資產(chǎn)在工程建設(shè)應(yīng)用中的價(jià)值。

圖3 大數(shù)據(jù)技術(shù)在智慧工程中的應(yīng)用

3.1 智慧水電

大壩建設(shè)攸關(guān)經(jīng)濟(jì)發(fā)展與國(guó)計(jì)民生，是水利水電工程建設(shè)中最為重要的部分[1]。大量工程實(shí)踐表明，大壩建設(shè)和運(yùn)行數(shù)據(jù)中蘊(yùn)藏了豐富的反映壩體結(jié)構(gòu)形態(tài)及水庫(kù)運(yùn)行規(guī)律的信息。對(duì)大壩建設(shè)和運(yùn)行數(shù)據(jù)進(jìn)行處理分析，利用分析結(jié)果進(jìn)行生產(chǎn)管理和輔助決策，有助于快捷科學(xué)地管理大壩安全系統(tǒng)中的各個(gè)環(huán)節(jié)，提高大壩工程質(zhì)量并規(guī)避安全風(fēng)險(xiǎn)，為大壩的建設(shè)和運(yùn)行管理提供有價(jià)值的科學(xué)依據(jù)[2]。

目前針對(duì)大壩運(yùn)行數(shù)據(jù)分析的算法包括回歸模型、頻譜分析、ANN、小波分析、神經(jīng)網(wǎng)絡(luò)、突變理論、灰色系統(tǒng)、Kalman濾波法等，可根據(jù)數(shù)據(jù)量、數(shù)據(jù)類型、算法優(yōu)缺點(diǎn)、分析目的選擇合適的算法，例如大壩滲流及變形分析可采用回歸分析法及神經(jīng)網(wǎng)絡(luò)法。由于大壩觀測(cè)值與影響因素之間往往存在非線性、非確定性的復(fù)雜關(guān)系，可能會(huì)導(dǎo)致回歸模型的計(jì)算結(jié)果與實(shí)際情況相差較大。而人工神經(jīng)網(wǎng)絡(luò)法將生物特征應(yīng)用到工程計(jì)算分析中，可以解決大數(shù)據(jù)量情況下的學(xué)習(xí)、識(shí)別、控制和預(yù)報(bào)問(wèn)題[3]。

目前針對(duì)工程建造數(shù)據(jù)分析的算法較多，以大壩灌漿為例，灌漿工程涉及到的數(shù)據(jù)分析應(yīng)用可分為單位注入量預(yù)測(cè)及灌后質(zhì)量綜合評(píng)估兩個(gè)方面。巖體單位注入量是對(duì)巖體可灌性最直接的反映，有助于定量分析巖層吸漿情況，實(shí)時(shí)調(diào)整灌漿壓力、灌漿材料及優(yōu)化灌漿孔位布置，為巖體的可灌性研究和地質(zhì)條件分析提供參數(shù)指標(biāo)[4]。此外，灌漿施工過(guò)程中會(huì)受到地質(zhì)條件、施工方法、灌漿壓力等多種條件的影響，可能導(dǎo)致灌漿效果無(wú)法滿足設(shè)計(jì)方案的要求，因此需要采用科學(xué)有效的方法評(píng)價(jià)灌漿施工的效果[5]。目前常用的灌漿注入量預(yù)測(cè)方法包括隨機(jī)森林法、神經(jīng)網(wǎng)絡(luò)法、回歸模型法等，常用的灌漿質(zhì)量評(píng)估方法包括云模型、模糊綜合評(píng)價(jià)法等。

大數(shù)據(jù)在智能建造中應(yīng)用范圍廣泛，除了智能灌漿，還可運(yùn)用于智能碾壓、智能振搗、智能溫控等多個(gè)領(lǐng)域。

例如采用粗糙集和神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘算法，建立混凝土施工期最高溫度與澆筑施工信息間的關(guān)聯(lián)規(guī)則；采用K鄰近、支持向量機(jī)、長(zhǎng)短期記憶網(wǎng)絡(luò)等算法分析澆筑機(jī)械(纜機(jī))的運(yùn)行規(guī)律以及在時(shí)空方面的運(yùn)行沖突情況，并針對(duì)不同的沖突情況制定相應(yīng)的調(diào)整機(jī)制，優(yōu)化機(jī)械調(diào)度方案；基于數(shù)據(jù)驅(qū)動(dòng)模型評(píng)價(jià)混凝土振搗及壓實(shí)質(zhì)量，如人工神經(jīng)網(wǎng)絡(luò)、支持向量回歸、隨機(jī)森林等模型；基于路徑智能規(guī)劃技術(shù)的運(yùn)輸車輛智能調(diào)度方法，實(shí)現(xiàn)路況信息的智能分析與更新、運(yùn)輸路徑的智能規(guī)劃與車輛智能調(diào)度[6]。

3.2 智慧風(fēng)電

風(fēng)能作為可再生能源，近年來(lái)發(fā)展迅猛，裝機(jī)容量迅速上升。但是由于風(fēng)電場(chǎng)所處位置的氣候變化、日照變化、地形因素等原因，發(fā)電功率和風(fēng)速具有不確定性，可能會(huì)對(duì)發(fā)電平衡的保持產(chǎn)生不利影響。對(duì)風(fēng)力發(fā)電進(jìn)行預(yù)測(cè)，不僅可以指導(dǎo)電力公司應(yīng)對(duì)由于發(fā)電不穩(wěn)定造成的影響，為風(fēng)電機(jī)組的運(yùn)維和管理提供依據(jù)，還有利于降低運(yùn)營(yíng)成本，保障風(fēng)電的穩(wěn)定輸出。

風(fēng)力發(fā)電的預(yù)測(cè)分為單臺(tái)風(fēng)電、風(fēng)電場(chǎng)和區(qū)域風(fēng)電場(chǎng)群的發(fā)電預(yù)測(cè)。在單臺(tái)風(fēng)電機(jī)預(yù)測(cè)中，滑動(dòng)平均、多元回歸等方法適用于發(fā)電較短期平穩(wěn)的發(fā)電預(yù)測(cè)[7]，指數(shù)平滑、主成分分析、NWP等方法適用于長(zhǎng)期平穩(wěn)預(yù)測(cè)[8]。在風(fēng)電場(chǎng)發(fā)電預(yù)測(cè)中，上下界估計(jì)網(wǎng)絡(luò)、成組數(shù)據(jù)推斷網(wǎng)絡(luò)、貝葉斯推斷、神經(jīng)網(wǎng)絡(luò)等方法適用于短期平穩(wěn)發(fā)電的場(chǎng)合[9]，自適應(yīng)小波網(wǎng)絡(luò)、前饋網(wǎng)絡(luò)適合長(zhǎng)期穩(wěn)定的預(yù)測(cè)[10]，小波支持向量機(jī)適用于非穩(wěn)定的情況[11]。NWP、神經(jīng)網(wǎng)絡(luò)、測(cè)量關(guān)聯(lián)預(yù)測(cè)等適用于風(fēng)電場(chǎng)群的發(fā)電預(yù)測(cè)[12]。大量研究的計(jì)算結(jié)果表明，利用大數(shù)據(jù)算法分析的發(fā)電預(yù)測(cè)與其他常用的預(yù)測(cè)方法(如：常值法)相比，誤差可以減少2.5%～50%，說(shuō)明大數(shù)據(jù)算法的使用有助于提高風(fēng)力發(fā)電預(yù)測(cè)的準(zhǔn)確性。

除發(fā)電預(yù)測(cè)之外，大數(shù)據(jù)技術(shù)還廣泛應(yīng)用于風(fēng)力發(fā)電運(yùn)營(yíng)階段的各項(xiàng)業(yè)務(wù)應(yīng)用，如利用設(shè)備歷史監(jiān)測(cè)數(shù)據(jù)和歷史故障數(shù)據(jù)來(lái)分析故障發(fā)生前的隱患因素，并在故障發(fā)生時(shí)進(jìn)行故障的智能診斷，甚至故障預(yù)警；在設(shè)備運(yùn)行期間，利用歷史的設(shè)備生產(chǎn)、維修檢修數(shù)據(jù)，結(jié)合實(shí)時(shí)的物聯(lián)網(wǎng)監(jiān)測(cè)數(shù)據(jù)，分析判斷設(shè)備老化趨勢(shì)和剩余壽命預(yù)估，以此優(yōu)化設(shè)備更新?lián)Q代的機(jī)制，減少運(yùn)營(yíng)成本。

3.3 智慧環(huán)保

大數(shù)據(jù)技術(shù)在生態(tài)環(huán)境方面的應(yīng)用主要體現(xiàn)在實(shí)時(shí)監(jiān)測(cè)、動(dòng)態(tài)分析、預(yù)測(cè)預(yù)警、調(diào)度管理等方面。在實(shí)時(shí)監(jiān)測(cè)方面，大數(shù)據(jù)技術(shù)增強(qiáng)了監(jiān)測(cè)數(shù)據(jù)的有效性和精確性，提升了監(jiān)測(cè)數(shù)據(jù)的分析與評(píng)價(jià)效率；在動(dòng)態(tài)分析方面，大數(shù)據(jù)技術(shù)通過(guò)數(shù)據(jù)挖掘等分析算法研究了生態(tài)環(huán)境的影響因素，為各類環(huán)境管理提供決策支持；在預(yù)測(cè)預(yù)警方面，大數(shù)據(jù)技術(shù)提高了生態(tài)環(huán)境模擬的精度和處理速度，并實(shí)現(xiàn)了不同時(shí)空尺度的污染預(yù)報(bào)預(yù)警；在調(diào)度管理方面，大數(shù)據(jù)技術(shù)通過(guò)整合生態(tài)環(huán)境監(jiān)管機(jī)構(gòu)系統(tǒng)，構(gòu)建互聯(lián)網(wǎng)輿情動(dòng)態(tài)感知數(shù)據(jù)庫(kù)，實(shí)現(xiàn)應(yīng)急事件的快速響應(yīng)和處置，為調(diào)度方案的制定提供數(shù)據(jù)支撐。

目前常用的水環(huán)境數(shù)據(jù)分析方法包括時(shí)間序列分析、決策樹(shù)法、聚類分析、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)法等。常用的水質(zhì)評(píng)價(jià)方法包括灰色聚類、人工神經(jīng)網(wǎng)絡(luò)、綜合污染指數(shù)、模糊綜合評(píng)價(jià)、主成分分析等。例如董建華[13]等針對(duì)三峽庫(kù)區(qū)監(jiān)測(cè)系統(tǒng)構(gòu)建了Hadoop Spark混合計(jì)算框架，采用基于三元色的可視離散化算法、基于PCA的水質(zhì)評(píng)價(jià)方法等，為多指標(biāo)水質(zhì)時(shí)間序列數(shù)據(jù)評(píng)價(jià)提供了算法支持。周曉磊[14]等提出一種基于大數(shù)據(jù)的水生態(tài)承載力模型，利用生態(tài)足跡法計(jì)算水生態(tài)足跡和水生態(tài)承載力，實(shí)現(xiàn)海量水文數(shù)據(jù)的存儲(chǔ)及有效計(jì)算。

除了傳統(tǒng)的數(shù)據(jù)分析算法外，現(xiàn)有的生態(tài)環(huán)境管理系統(tǒng)常采用大數(shù)據(jù)技術(shù)與專業(yè)模型相結(jié)合的方法，以提升模型模擬的有效性和精度。例如通過(guò)大數(shù)據(jù)平臺(tái)提取取水、用水、排水、供水等實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)，對(duì)河道監(jiān)測(cè)斷面進(jìn)行數(shù)據(jù)動(dòng)態(tài)跟蹤，并采用線性趨勢(shì)、累積異常、遷移擴(kuò)散模擬等物理模型對(duì)數(shù)據(jù)進(jìn)行分析，研究河道污染物的時(shí)空變化，追溯污染源，從而有效促進(jìn)水資源監(jiān)督管理和污染源頭控制。

4 結(jié)語(yǔ)

隨著工程建設(shè)與管理思路的不斷創(chuàng)新，加上新技術(shù)與新模式的不斷實(shí)踐，應(yīng)用大數(shù)據(jù)驅(qū)動(dòng)工程管理實(shí)現(xiàn)智能化、智慧化已逐步成為新的共識(shí)。通過(guò)對(duì)數(shù)據(jù)的規(guī)范管理，打通數(shù)據(jù)堵點(diǎn)，消滅數(shù)據(jù)壁壘，加快形成跨部門(mén)、跨專業(yè)、跨領(lǐng)域一體化數(shù)據(jù)資源體系，推進(jìn)數(shù)據(jù)匯集融合共享。同時(shí)開(kāi)展數(shù)字創(chuàng)新，提供數(shù)據(jù)服務(wù)及數(shù)字產(chǎn)品，構(gòu)建智慧工程大數(shù)據(jù)生態(tài)圈，培育新動(dòng)能，助推新業(yè)態(tài)，以數(shù)字化助力工程管理提升，引領(lǐng)業(yè)務(wù)創(chuàng)新和價(jià)值創(chuàng)造。