數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性

張勇

摘 要：水利設(shè)計(jì)過程，需要重視數(shù)據(jù)整合技術(shù)，要通過有效數(shù)據(jù)整合技術(shù)模式，提高水利設(shè)計(jì)效率，也進(jìn)一步保證水利設(shè)計(jì)質(zhì)量，本文基于此方面內(nèi)容，對(duì)其進(jìn)行具體分析。

關(guān)鍵詞：水利工程設(shè)計(jì)；數(shù)據(jù)整合技術(shù)模式；應(yīng)用

中圖分類號(hào)：TN957 文獻(xiàn)標(biāo)志碼：A

0 引言

數(shù)據(jù)整合技術(shù)的運(yùn)用，提高了人們生活質(zhì)量，對(duì)于水利設(shè)計(jì)工作來說，更是能夠有助于設(shè)計(jì)水平的提高，為此，作為相關(guān)設(shè)計(jì)人員，在進(jìn)行合理的設(shè)計(jì)過程中，要重視該技術(shù)的運(yùn)用，要在明確其重要性的同時(shí)，深入進(jìn)行研究，以實(shí)現(xiàn)數(shù)據(jù)整合技術(shù)的合理應(yīng)用。

1 數(shù)據(jù)整合技術(shù)

數(shù)據(jù)整合主要指將來自多方數(shù)據(jù)源的數(shù)據(jù)資料進(jìn)行收集、整理，然后處理加工成一個(gè)新的數(shù)據(jù)源，為相關(guān)的數(shù)據(jù)使用人員提供數(shù)據(jù)支持的數(shù)據(jù)集成過程。此種技術(shù)在水利設(shè)計(jì)中被廣泛應(yīng)用，水利設(shè)計(jì)可通過該技術(shù)提供的數(shù)據(jù)參考，結(jié)合自身水利項(xiàng)目的諸多需求，將工程中的基礎(chǔ)設(shè)施及各項(xiàng)資源進(jìn)行有效的調(diào)整與優(yōu)化，與此同時(shí)，此類數(shù)據(jù)還能反映出水利工程中多種因素對(duì)于其整體發(fā)展的影響程度，有效提高工程設(shè)計(jì)的實(shí)用性。

2 數(shù)據(jù)資源的主要組成部分

在進(jìn)行水利工程設(shè)計(jì)的數(shù)據(jù)整合時(shí)，首先要明確工程中數(shù)據(jù)來源的主體部分，然后將其延伸的周邊數(shù)據(jù)進(jìn)行搜集整理，這樣一來，可以規(guī)避數(shù)據(jù)的損壞及丟失現(xiàn)象，大大提高數(shù)據(jù)整合工作的效率。水利工程所涉及的數(shù)據(jù)資源內(nèi)容主要包括其市場信息資料、圖片檔案信息、水利工程具體內(nèi)容以及項(xiàng)目內(nèi)工作人員資料等。水利工程的市場信息是其設(shè)計(jì)中的重點(diǎn)參考數(shù)據(jù)，通過該數(shù)據(jù)可及時(shí)地反映出我國水利市場中的實(shí)時(shí)變化，設(shè)計(jì)人員可結(jié)合數(shù)據(jù)將設(shè)計(jì)進(jìn)行調(diào)整。對(duì)于項(xiàng)目中圖片檔案的管理可以保障信息數(shù)據(jù)的完整性，優(yōu)化數(shù)據(jù)整合工作。對(duì)于水利工程具體內(nèi)容及工作人員的資料整合可明確項(xiàng)目中的工作流程及權(quán)責(zé)劃分，幫助設(shè)計(jì)人員掌握項(xiàng)目的實(shí)施進(jìn)度。

3 數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性

3.1 數(shù)據(jù)分析

數(shù)據(jù)分析是水利工程數(shù)據(jù)整合過程中的重要數(shù)據(jù)處理步驟，其作用是提高數(shù)據(jù)整合技術(shù)的應(yīng)用效率。由于工程中的數(shù)據(jù)來自于多種不同的數(shù)據(jù)源，因此數(shù)據(jù)質(zhì)量參差不齊，在進(jìn)行數(shù)據(jù)分析時(shí)，要根據(jù)數(shù)據(jù)分析系統(tǒng)中的核查標(biāo)準(zhǔn)來進(jìn)行篩選，將各個(gè)數(shù)據(jù)來源中不符合要求的數(shù)據(jù)進(jìn)行清除。經(jīng)過分析之后，可保證水利工程的數(shù)據(jù)精準(zhǔn)有效，為設(shè)計(jì)人員提供可靠的數(shù)據(jù)支持。

3.2 設(shè)計(jì)實(shí)施

設(shè)計(jì)實(shí)施在水利工程的數(shù)據(jù)整合過程中是最為重要的步驟，在此過程中，設(shè)計(jì)人員需要花費(fèi)大量的時(shí)間與精力來制定數(shù)據(jù)整合工作的執(zhí)行流程與方案規(guī)則。為了方便數(shù)據(jù)的調(diào)取與整合，首先需要編制一個(gè)專門的數(shù)據(jù)整合系統(tǒng)，提前設(shè)置其中的函數(shù)算法與映射的關(guān)系等，為后續(xù)需要處理的數(shù)據(jù)建立一個(gè)固定的處理準(zhǔn)則，以確保輸出使用的數(shù)據(jù)處于統(tǒng)一標(biāo)準(zhǔn)，并具備有效的參考價(jià)值。

3.3 數(shù)據(jù)校驗(yàn)

在為水利工程提供數(shù)據(jù)支持的時(shí)候，必須要保證數(shù)據(jù)的準(zhǔn)確性，因此在水利數(shù)據(jù)整合系統(tǒng)中，要設(shè)置相應(yīng)的數(shù)據(jù)校驗(yàn)程序，在使用之前對(duì)重要數(shù)據(jù)資料進(jìn)行核查。在水利工程的設(shè)計(jì)領(lǐng)域中，數(shù)據(jù)資料的整合具備固定的標(biāo)準(zhǔn)，因此整合系統(tǒng)要嚴(yán)格遵守其相關(guān)標(biāo)準(zhǔn)進(jìn)行校驗(yàn)。系統(tǒng)中的數(shù)據(jù)校驗(yàn)形式主要分為兩種，一種是數(shù)據(jù)的采取，一種是數(shù)據(jù)條數(shù)。數(shù)據(jù)的采取主要指將項(xiàng)目資料中的表格數(shù)據(jù)進(jìn)行定向定量的采集，然后將采集后的數(shù)據(jù)與系統(tǒng)中的轉(zhuǎn)換數(shù)據(jù)源進(jìn)行對(duì)比，用以校驗(yàn)其精準(zhǔn)度。數(shù)據(jù)條數(shù)是指對(duì)于數(shù)據(jù)表格中資料數(shù)量的統(tǒng)計(jì)，該步驟通常在數(shù)據(jù)源轉(zhuǎn)化完成之前進(jìn)行，工作人員要將數(shù)據(jù)中的資料條數(shù)進(jìn)行有效核算，待數(shù)據(jù)源轉(zhuǎn)化成功之后還要進(jìn)行二次復(fù)查，以保證數(shù)據(jù)條數(shù)的準(zhǔn)確性。

3.4 系統(tǒng)應(yīng)用

系統(tǒng)應(yīng)用是水利工程數(shù)據(jù)整合工作的收尾程序，該步驟處于數(shù)據(jù)資料分析、水利設(shè)計(jì)的實(shí)施及校驗(yàn)數(shù)據(jù)等工作流程之后，在此階段，項(xiàng)目的數(shù)據(jù)整合系統(tǒng)已經(jīng)處于正常的運(yùn)行當(dāng)中，此時(shí)，項(xiàng)目管理及設(shè)計(jì)人員即可順利操作系統(tǒng)中的各項(xiàng)應(yīng)用，圖1為水利工程數(shù)據(jù)整合流程。

3.5 數(shù)據(jù)整合的實(shí)現(xiàn)方式

絕大多數(shù)的水利工程的單位在進(jìn)行數(shù)據(jù)整合時(shí)都會(huì)使用SQL Server數(shù)據(jù)庫管理系統(tǒng)，該種系統(tǒng)能夠保證數(shù)據(jù)的安全性和可靠性，可以幫助水利系統(tǒng)構(gòu)建和管理多種數(shù)據(jù)應(yīng)用程序。水利工程設(shè)計(jì)中的數(shù)據(jù)整合實(shí)現(xiàn)方式通常分為兩種，一種是數(shù)據(jù)庫開發(fā)技術(shù)，一種是數(shù)據(jù)倉庫技術(shù)，也被稱之為ETL技術(shù)。

3.5.1 數(shù)據(jù)庫開發(fā)技術(shù)

數(shù)據(jù)庫開發(fā)技術(shù)在水利數(shù)據(jù)整合工作中主要是通過對(duì)SQL存儲(chǔ)、DBLINK以及觸發(fā)器等系統(tǒng)功能來進(jìn)行工作，在此過程中完成數(shù)據(jù)的搜索、整理，輸送到有需求的信息系統(tǒng)中。

該種技術(shù)所具備的特征主要有以下幾種：（1）可在同種類型的數(shù)據(jù)處理庫中實(shí)現(xiàn)數(shù)據(jù)的整合集成；（2）無需投入過多成本費(fèi)用，在使用過程中只需付出少許的開發(fā)費(fèi)；（3）在數(shù)據(jù)拓展性方面表現(xiàn)欠佳，由于該種技術(shù)是源自于人為編程，因而面臨水利工程的數(shù)據(jù)應(yīng)用需求發(fā)生變動(dòng)時(shí)，需要額外支付人工費(fèi)用來對(duì)編碼進(jìn)行修改；（4）該種技術(shù)能夠處理的數(shù)據(jù)承載量是有限的，隨著系統(tǒng)中數(shù)據(jù)內(nèi)容的不斷增加，其處理數(shù)據(jù)的負(fù)荷也不斷加重，因此很難保證系統(tǒng)工作的持續(xù)高效性。

3.5.2 ETL技術(shù)

ETL技術(shù)即為俗稱的數(shù)據(jù)倉庫技術(shù)，其在工作中可將各種數(shù)據(jù)源中的數(shù)據(jù)資料經(jīng)過抽取、轉(zhuǎn)換等步驟，最后根據(jù)實(shí)際需求轉(zhuǎn)載至新的數(shù)據(jù)庫，實(shí)現(xiàn)數(shù)據(jù)整合，以供人們使用。

該種數(shù)據(jù)技術(shù)具備以下幾種特征：

（1）工作效率較高，其在進(jìn)行數(shù)據(jù)轉(zhuǎn)換、抽取等步驟時(shí)速度較快，可以同時(shí)處理大量數(shù)據(jù)，并能保證輸出資料的準(zhǔn)確性；（2）能夠提高各種數(shù)據(jù)源中的數(shù)據(jù)質(zhì)量。該技術(shù)在進(jìn)行目標(biāo)數(shù)據(jù)的處理時(shí)，可自動(dòng)提出系統(tǒng)中的垃圾數(shù)據(jù)；（3）此種技術(shù)通過系統(tǒng)中的管理界面對(duì)數(shù)據(jù)的處理方式進(jìn)行調(diào)整；（4）能夠適應(yīng)多種數(shù)據(jù)類型以及數(shù)據(jù)來源，實(shí)現(xiàn)不同版本之間的數(shù)據(jù)抽取；（5）擁有不同類型的數(shù)據(jù)處理控件，能夠完成難度較高的數(shù)據(jù)轉(zhuǎn)換。

3.6 數(shù)據(jù)整合的實(shí)施

在水利工程的數(shù)據(jù)整合中，其實(shí)施過程主要分為4個(gè)階段，分別為信息系統(tǒng)原始數(shù)據(jù)分析階段、設(shè)計(jì)實(shí)施階段、數(shù)據(jù)校驗(yàn)階段以及系統(tǒng)上線階段。

在原始數(shù)據(jù)的分析階段，主要是確定數(shù)據(jù)采集的結(jié)構(gòu)及數(shù)據(jù)表格的設(shè)計(jì)，明確收集到的數(shù)據(jù)信息格式，對(duì)不同種類的數(shù)據(jù)庫信息進(jìn)行初步處理。為了不改變數(shù)據(jù)庫中原始數(shù)據(jù)源的格式以及保障數(shù)據(jù)的安全性，接下來要進(jìn)入項(xiàng)目設(shè)計(jì)的實(shí)施階段，在此階段中，主要是設(shè)置數(shù)據(jù)整合的具體細(xì)則及實(shí)施計(jì)劃。數(shù)據(jù)的校驗(yàn)階段則是為了在系統(tǒng)正式投入使用之前，排除清晰相關(guān)的違規(guī)垃圾數(shù)據(jù)，保證系統(tǒng)數(shù)據(jù)的真實(shí)標(biāo)準(zhǔn)性，在實(shí)施工作進(jìn)入系統(tǒng)上線階段時(shí)，主要工作內(nèi)容則是進(jìn)行實(shí)時(shí)監(jiān)督，以保證數(shù)據(jù)的整合順利實(shí)施下去。

結(jié)語

數(shù)據(jù)整合將改變?cè)械囊圆块T和項(xiàng)目為中心的信息孤島局面，從而能夠?qū)崿F(xiàn)整個(gè)水利設(shè)計(jì)單位的數(shù)據(jù)整合。原有的部門級(jí)、以項(xiàng)目為中心的運(yùn)作方式，將可能使得各個(gè)項(xiàng)目的使用技術(shù)不盡相同，也使得項(xiàng)目的進(jìn)度依賴于開發(fā)人員的編碼效率，從而使得整個(gè)水利設(shè)計(jì)單位的效率低下。進(jìn)行整個(gè)單位的數(shù)據(jù)整合之后，就能夠在水利設(shè)計(jì)單位內(nèi)部統(tǒng)一技術(shù)架構(gòu)和標(biāo)準(zhǔn)，充分發(fā)揮團(tuán)隊(duì)協(xié)作的效率。通過由數(shù)據(jù)整合進(jìn)行的數(shù)據(jù)移植、數(shù)據(jù)倉庫等，將能夠使得水利設(shè)計(jì)單位的數(shù)據(jù)整合成本大大下降。

參考文獻(xiàn)

[1]蔣鑫，丁建彬，馬一鳴.水利工程設(shè)計(jì)中數(shù)據(jù)整合技術(shù)模式的應(yīng)用解析[J].科技展望，2015，25（10）：93.

[2]崔仰彬.水利設(shè)計(jì)環(huán)節(jié)中數(shù)據(jù)整合技術(shù)研究[J].黑龍江科技信息，2014（32）：215.