裝備保障異構(gòu)大數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)的構(gòu)建研究

王加　吳迪　何嘉武　郭英

摘 要：在大數(shù)據(jù)背景下，針對裝備保障業(yè)務(wù)信息系統(tǒng)綜合集成中異構(gòu)數(shù)據(jù)統(tǒng)一訪問和轉(zhuǎn)換處理需求，擬采用基于SDO和MDA的系統(tǒng)技術(shù)架構(gòu)、基于DAS的異構(gòu)大數(shù)據(jù)統(tǒng)一訪問數(shù)據(jù)結(jié)構(gòu)、基于MapReduce的數(shù)據(jù)轉(zhuǎn)換架構(gòu)和基于HBase的開源分布式NoSQL數(shù)據(jù)庫等云中大數(shù)據(jù)關(guān)鍵技術(shù)，研制具有自主知識(shí)產(chǎn)權(quán)的裝備保障異構(gòu)大數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)，以達(dá)到為裝備保障業(yè)務(wù)信息系統(tǒng)綜合集成提供統(tǒng)一格式的數(shù)據(jù)支撐架構(gòu)的目的。

關(guān)鍵詞：SDO；裝備保障異構(gòu)大數(shù)據(jù)；統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)；數(shù)據(jù)源

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.15913/j.cnki.kjycx.2016.03.006

1 研究背景

近年來，隨著信息系統(tǒng)集成理念和技術(shù)的發(fā)展，數(shù)據(jù)集成或數(shù)據(jù)統(tǒng)一訪問作為一種資源整合方式受到了相關(guān)部門的高度重視。在我軍裝備保障信息化建設(shè)的過程中，各個(gè)業(yè)務(wù)口分別建立了能夠滿足自身業(yè)務(wù)需求的信息系統(tǒng)和相應(yīng)的數(shù)據(jù)庫生成TB級(jí)的數(shù)據(jù)。數(shù)據(jù)來源多種多樣，數(shù)據(jù)類型也有所不同，它們大多存在于不同的硬件和軟件環(huán)境中，常常以不同的格式存儲(chǔ)和表現(xiàn)出來。由于這些數(shù)據(jù)源的差異較大，數(shù)據(jù)量龐大，所以，統(tǒng)一處理和分析這些數(shù)據(jù)成為了裝備保障業(yè)務(wù)信息系統(tǒng)研制和綜合集成過程中需要面對的首要問題。通過一個(gè)集成系統(tǒng)整合裝備保障領(lǐng)域內(nèi)的異構(gòu)數(shù)據(jù)源，提高資源的利用效率，為裝備保障業(yè)務(wù)信息綜合集成、信息資源共享和應(yīng)用提供有效的數(shù)據(jù)支持，是現(xiàn)代信息系統(tǒng)建設(shè)面臨的巨大挑戰(zhàn)之一。

2 國內(nèi)外研究現(xiàn)狀

2.1 研究現(xiàn)狀

經(jīng)過20多年的發(fā)展，已經(jīng)有諸多理論支持信息數(shù)據(jù)統(tǒng)一訪問工作的實(shí)施，研發(fā)出了相應(yīng)的技術(shù)，相關(guān)研究者也提出了有關(guān)數(shù)據(jù)訪問的體系結(jié)構(gòu)和實(shí)現(xiàn)方案。因此，從模型上看，數(shù)據(jù)訪問體系可分為聯(lián)邦方式、數(shù)據(jù)倉庫和中間件方式；從集成技術(shù)上分，異構(gòu)數(shù)據(jù)庫集成技術(shù)主要包括數(shù)據(jù)的遷移和轉(zhuǎn)換、多數(shù)據(jù)庫系統(tǒng)和使用中間件。綜合國內(nèi)外成功的應(yīng)用案例可知，采用中間件方式最穩(wěn)妥、最實(shí)用，性價(jià)比也最高。目前，對通用數(shù)據(jù)統(tǒng)一訪問和轉(zhuǎn)換平臺(tái)的研究尚處于起步階段，國外一些著名的數(shù)據(jù)庫公司開發(fā)出了相應(yīng)的中間件產(chǎn)品用于解決異構(gòu)數(shù)據(jù)集成問題。要想廣泛使用這些中間件產(chǎn)品，就需要開發(fā)大量的數(shù)據(jù)接口，但是，它們并不能滿足我軍裝備保障領(lǐng)域的數(shù)據(jù)需求和安全保密要求，而且國內(nèi)和軍內(nèi)對其的研究甚少，也沒有與之相配套的產(chǎn)品。

2.2 技術(shù)途徑選擇

目前，實(shí)現(xiàn)大數(shù)據(jù)共享的途徑有2種，即數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)集成。第一種途徑是物理意義上的數(shù)據(jù)集中，它不僅需要在硬件和相關(guān)軟件上投入較多的資金，而且海量數(shù)據(jù)遷移和管理也有相當(dāng)大的風(fēng)險(xiǎn)，訪問速度可能不理想；第二種途徑屬于邏輯集中，它能充分利用現(xiàn)有系統(tǒng)分布存儲(chǔ)、分散管理信息資源，統(tǒng)一訪問接口，以適應(yīng)我軍裝備保障信息系統(tǒng)的發(fā)展，滿足其需求。

3 需求分析

3.1 功能性需求分析

裝備保障異構(gòu)大數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)的功能性需求如圖1所示。

從圖1中可以看出，系統(tǒng)的主要功能有：①用戶注冊數(shù)據(jù)源信息到數(shù)據(jù)處理中心；②異構(gòu)數(shù)據(jù)源預(yù)處理數(shù)據(jù)源中存儲(chǔ)的全部數(shù)據(jù)；③數(shù)據(jù)處理中心抽取相關(guān)異構(gòu)數(shù)據(jù)源的元數(shù)據(jù)信息；④數(shù)據(jù)處理中心依據(jù)元數(shù)據(jù)信息建立映射模式；⑤數(shù)據(jù)處理中心抽取數(shù)據(jù)源中的數(shù)據(jù)信息；⑥數(shù)據(jù)處理中心靈活轉(zhuǎn)換異構(gòu)數(shù)據(jù)，并存儲(chǔ)轉(zhuǎn)換后的數(shù)據(jù)等。

數(shù)據(jù)應(yīng)用主要是指數(shù)據(jù)處理中心應(yīng)用轉(zhuǎn)換后的數(shù)據(jù)或者對相關(guān)存儲(chǔ)數(shù)據(jù)有特定的應(yīng)用。由于異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)量較大，因此，在抽取數(shù)據(jù)信息、轉(zhuǎn)換數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)的過程中，主要借助服務(wù)數(shù)據(jù)對象編程技術(shù)Hadoop平臺(tái)、分布式MapReduce計(jì)算框架和HBase存儲(chǔ)等技術(shù)完成高效、快速、準(zhǔn)確的運(yùn)算和存儲(chǔ)操作。

3.1.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理的目的是要保證數(shù)據(jù)的基本質(zhì)量，為數(shù)據(jù)的抽取、轉(zhuǎn)換、存儲(chǔ)等提供基礎(chǔ)服務(wù)。數(shù)據(jù)源處理工作主要是在數(shù)據(jù)源本地完成的，通過對數(shù)據(jù)的清洗、過濾、去重和修正等操作，保證其基本質(zhì)量，使它能夠滿足數(shù)據(jù)分析抽取等工作的統(tǒng)一處理要求。預(yù)處理數(shù)據(jù)詳細(xì)用例規(guī)約如表1所示。

3.1.2 注冊數(shù)據(jù)源信息

注冊數(shù)據(jù)源信息功能允許用戶將需要的異構(gòu)數(shù)據(jù)源信息（數(shù)據(jù)源訪問信息，比如數(shù)據(jù)庫的訪問地址、端口、數(shù)據(jù)庫名、用戶名、密碼和權(quán)限等）注冊到數(shù)據(jù)處理中心。數(shù)據(jù)處理中心得到數(shù)據(jù)源信息后，可以隨時(shí)訪問數(shù)據(jù)源，以獲取數(shù)據(jù)源的數(shù)據(jù)信息。注冊數(shù)據(jù)源信息詳細(xì)用例規(guī)約如表2所示。

3.1.3 抽取數(shù)據(jù)源元數(shù)據(jù)信息

在此過程中，允許數(shù)據(jù)處理中心抽取異構(gòu)數(shù)據(jù)源的元數(shù)據(jù)信息。這些信息主要包括對數(shù)據(jù)庫名、數(shù)據(jù)庫表名、屬性（類型名、格式、約束等）、主鍵和外鍵等的描述，而標(biāo)準(zhǔn)元數(shù)據(jù)通常被用來訪問分布式異構(gòu)數(shù)據(jù)源。鑒于此，可以通過服務(wù)數(shù)據(jù)對象（Service Data Object，SDO）、數(shù)據(jù)訪問服務(wù)（Data Access Service，DAS）API讀取數(shù)據(jù)庫中的元數(shù)據(jù)（Metadata）信息，并提取相對應(yīng)的異構(gòu)資源數(shù)據(jù)庫的所有表信息、視圖、相關(guān)規(guī)則和語義約束（比如主外鍵、唯一性約束、默認(rèn)值等）信息。抽取數(shù)據(jù)源元數(shù)據(jù)信息的詳細(xì)用例規(guī)約如表3所示。

3.1.4 建立映射模式

建立映射模式主要是為了解決數(shù)據(jù)轉(zhuǎn)換中各異構(gòu)數(shù)據(jù)源中數(shù)據(jù)模型的異構(gòu)性，以局部模式實(shí)體存儲(chǔ)數(shù)據(jù)源局部模式實(shí)現(xiàn)映射。這樣做，既最大限度地保留了數(shù)據(jù)源中的各種信息，又保證了映射中沒有過多的冗余信息。數(shù)據(jù)源的全局模式包括數(shù)據(jù)源元數(shù)據(jù)全局模式和領(lǐng)域知識(shí)元數(shù)據(jù)全局模式2種。建立映射模式的詳細(xì)用例規(guī)約如表4所示。

3.1.5 抽取數(shù)據(jù)源數(shù)據(jù)信息

抽取數(shù)據(jù)源數(shù)據(jù)信息是為了獲取數(shù)據(jù)源中存儲(chǔ)的數(shù)據(jù)信息，以供后續(xù)的轉(zhuǎn)換和應(yīng)用等。在此，可以通過服務(wù)數(shù)據(jù)對象（Service Data Object，SDO）、數(shù)據(jù)訪問服務(wù)（Data Access Service，DAS）API讀取數(shù)據(jù)源中的數(shù)據(jù)信息。抽取數(shù)據(jù)源數(shù)據(jù)信息的詳細(xì)用例規(guī)約如表5所示。

3.1.6 轉(zhuǎn)換數(shù)據(jù)

轉(zhuǎn)換數(shù)據(jù)是最重要的功能之一，它主要用于異構(gòu)數(shù)據(jù)源數(shù)據(jù)之間的轉(zhuǎn)換。在轉(zhuǎn)換過程中，如果異構(gòu)數(shù)據(jù)源間的數(shù)據(jù)表達(dá)方式一致，可以直接把原數(shù)據(jù)源的數(shù)據(jù)復(fù)制到目標(biāo)數(shù)據(jù)源，以供后續(xù)使用；反之，則可以將預(yù)先定義好的數(shù)據(jù)源數(shù)據(jù)表達(dá)方式轉(zhuǎn)換為目標(biāo)數(shù)據(jù)源數(shù)據(jù)的表達(dá)方式，也可以像關(guān)系數(shù)據(jù)庫中的存儲(chǔ)過程一樣，由用戶轉(zhuǎn)換，將相關(guān)內(nèi)容注冊到數(shù)據(jù)處理中心，然后通過主動(dòng)調(diào)用完成轉(zhuǎn)換。轉(zhuǎn)換數(shù)據(jù)的詳細(xì)用例規(guī)約如表6所示。

3.1.7 存儲(chǔ)數(shù)據(jù)

存儲(chǔ)數(shù)據(jù)主要存儲(chǔ)的是抽取的數(shù)據(jù)源元數(shù)據(jù)信息和異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)轉(zhuǎn)換信息等。數(shù)據(jù)的存儲(chǔ)可以借助Hadoop平臺(tái)下的HBase數(shù)據(jù)庫實(shí)現(xiàn)。存儲(chǔ)數(shù)據(jù)的詳細(xì)用例規(guī)約如表7所示。

3.2 非功能性需求分析

在數(shù)據(jù)統(tǒng)一訪問和靈活轉(zhuǎn)換系統(tǒng)中，非功能性需求主要體現(xiàn)在數(shù)據(jù)質(zhì)量方面。下面，主要從4個(gè)方面介紹數(shù)據(jù)質(zhì)量的基本要素和評(píng)估要素。完整性、一致性、準(zhǔn)確性和及時(shí)性是衡量數(shù)據(jù)質(zhì)量的4個(gè)基本要素，它們與數(shù)據(jù)質(zhì)量的關(guān)系如圖2所示。

3.2.1 完整性

完整性主要是指記錄的數(shù)據(jù)和信息要完整，無缺失。數(shù)據(jù)的缺失主要包括記錄缺失和記錄中某個(gè)字段信息的缺失，兩者都會(huì)影響統(tǒng)計(jì)結(jié)果的準(zhǔn)確性。由此可知，完整性是數(shù)據(jù)質(zhì)量最基礎(chǔ)的保障，而數(shù)據(jù)質(zhì)量的完整性評(píng)估也是比較容易的。

3.2.2 一致性

一致性主要是指數(shù)據(jù)的記錄符合規(guī)范，與前后及其他數(shù)據(jù)集合相統(tǒng)一。數(shù)據(jù)的一致性主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性。數(shù)據(jù)記錄的規(guī)范主要體現(xiàn)在數(shù)據(jù)編碼和格式上；數(shù)據(jù)邏輯性主要是指指標(biāo)統(tǒng)計(jì)和計(jì)算的一致性。在審核數(shù)據(jù)質(zhì)量時(shí)，一致性是比較重要、復(fù)雜的內(nèi)容之一。

3.2.3 準(zhǔn)確性

準(zhǔn)確性主要是指數(shù)據(jù)中記錄的信息和數(shù)據(jù)準(zhǔn)確，無異常情況或者錯(cuò)誤信息。一致性出現(xiàn)問題的原因可能是數(shù)據(jù)記錄的規(guī)則不一，但是，不一定存在錯(cuò)誤；而準(zhǔn)確性關(guān)注的是數(shù)據(jù)記錄中的錯(cuò)誤，比如字符型數(shù)據(jù)的亂碼現(xiàn)象也應(yīng)該歸到準(zhǔn)確性的考核中。另外，對于異常數(shù)值——異常大或者異常小的數(shù)值、不符合有效性要求的數(shù)值，例如，裝備保障人員的年齡一般在1～100之間、轉(zhuǎn)化率為0～1等，在審核時(shí)可能會(huì)遇到一些困難，這是因?yàn)闆]有明顯異常的錯(cuò)誤值是很難發(fā)現(xiàn)的。

3.2.4 及時(shí)性

及時(shí)性主要是指數(shù)據(jù)從產(chǎn)生到可以查看的時(shí)間間隔，也叫作數(shù)據(jù)的延時(shí)時(shí)長。雖然對分析型數(shù)據(jù)實(shí)時(shí)性的要求不太高，但是，并不意味著就沒有要求。裝備保障數(shù)據(jù)分析可以接受某天的數(shù)據(jù)次日查看，但是，如果數(shù)據(jù)要延時(shí)兩三天才能出來，每周的數(shù)據(jù)分析報(bào)告就要2周后才能出來，那么，分析結(jié)果就會(huì)失去時(shí)效性，數(shù)據(jù)分析工作便是徒勞的。另外，當(dāng)某些實(shí)時(shí)分析和決策需要用到小時(shí)或者分鐘級(jí)的數(shù)據(jù)時(shí)，就會(huì)對數(shù)據(jù)的時(shí)效性提出極高的要求。由此可知，及時(shí)性也是衡量數(shù)據(jù)質(zhì)量的重要因素之一。

4 研究方案

4.1 技術(shù)路線

課題研究的技術(shù)路線如圖3所示。在此過程中，要依據(jù)用戶的要求預(yù)處理、分析數(shù)據(jù)源數(shù)據(jù)。在預(yù)處理、分析的基礎(chǔ)上，通過數(shù)據(jù)訪問服務(wù)（DAS）統(tǒng)一訪問異構(gòu)數(shù)據(jù)源，并采用基于服務(wù)數(shù)據(jù)對象（SDO）的技術(shù)結(jié)合基于MapReduce的數(shù)據(jù)轉(zhuǎn)換架構(gòu)、基于HBase的存儲(chǔ)技術(shù)完成海量數(shù)據(jù)的并行轉(zhuǎn)換應(yīng)用處理。

4.2 總體設(shè)計(jì)

基于對平臺(tái)的需求分析，得出了系統(tǒng)的功能和性能等要求，并提出了平臺(tái)總體設(shè)計(jì)方案。描述平臺(tái)的系統(tǒng)數(shù)據(jù)流如圖4所示。

數(shù)據(jù)源是數(shù)據(jù)處理中心的基礎(chǔ)，當(dāng)用戶向數(shù)據(jù)處理中心注冊數(shù)據(jù)源信息后，數(shù)據(jù)處理中心就會(huì)從數(shù)據(jù)源中抽取元數(shù)據(jù)信息并將其存儲(chǔ)起來，然后通過元數(shù)據(jù)管理模塊創(chuàng)建異構(gòu)數(shù)據(jù)源間的映射模式。用戶選擇了數(shù)據(jù)轉(zhuǎn)換操作后，在數(shù)據(jù)處理中心轉(zhuǎn)換數(shù)據(jù)的過程中，數(shù)據(jù)處理中心要讀取元數(shù)據(jù)和相應(yīng)的映射模式，以實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的轉(zhuǎn)換。所有工作完成后，數(shù)據(jù)處理中心會(huì)將轉(zhuǎn)換后的目標(biāo)數(shù)據(jù)返給用戶應(yīng)用或者將其存儲(chǔ)到目標(biāo)數(shù)據(jù)庫中?；赟DO的數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)的總體技術(shù)架構(gòu)如圖5所示。

基于SDO的數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)由數(shù)據(jù)源、元數(shù)據(jù)抽取管理、數(shù)據(jù)抽取管理、數(shù)據(jù)轉(zhuǎn)換管理、模式映射管理、數(shù)據(jù)存儲(chǔ)管理和目標(biāo)數(shù)據(jù)應(yīng)用7部分組成。

元數(shù)據(jù)抽取管理和數(shù)據(jù)抽取管理共同構(gòu)成了數(shù)據(jù)源訪問模塊。它負(fù)責(zé)根據(jù)所選擇的數(shù)據(jù)源類型獲取元數(shù)據(jù)信息，并在其運(yùn)行時(shí)與數(shù)據(jù)源交互完成數(shù)據(jù)抽取工作。在元數(shù)據(jù)信息抽取和數(shù)據(jù)源數(shù)據(jù)信息抽取的過程中，主要使用服務(wù)數(shù)據(jù)對象（SDO）和數(shù)據(jù)訪問服務(wù)（DAS）完成相關(guān)工作。

模式映射管理和數(shù)據(jù)轉(zhuǎn)換管理共同構(gòu)成了數(shù)據(jù)轉(zhuǎn)換管理模塊。在數(shù)據(jù)轉(zhuǎn)換管理模塊中，用戶需要定義各轉(zhuǎn)換節(jié)點(diǎn)的轉(zhuǎn)換規(guī)則，創(chuàng)建任務(wù)工作流，依據(jù)模式映射構(gòu)建從源到目標(biāo)的字段映射轉(zhuǎn)換等，然后再將這些映射規(guī)則（元數(shù)據(jù)）存儲(chǔ)在元數(shù)據(jù)管理模塊中。當(dāng)用戶執(zhí)行任務(wù)時(shí)，系統(tǒng)會(huì)從元數(shù)據(jù)管理模塊中查詢轉(zhuǎn)換映射規(guī)則，并完成數(shù)據(jù)的轉(zhuǎn)換。

元數(shù)據(jù)管理和模式映射管理共同構(gòu)成了模式管理模塊。在該模塊中，元數(shù)據(jù)管理主要負(fù)責(zé)元數(shù)據(jù)的抽取和解析。這里的元數(shù)據(jù)主要包括數(shù)據(jù)源信息描述、目標(biāo)信息描述。模式映射管理主要依據(jù)元數(shù)據(jù)管理模塊提供的元數(shù)據(jù)信息創(chuàng)建、轉(zhuǎn)換和映射規(guī)則信息等。

數(shù)據(jù)存儲(chǔ)管理主要負(fù)責(zé)模式映射管理模塊創(chuàng)建的映射模式存儲(chǔ)和轉(zhuǎn)換規(guī)則、轉(zhuǎn)換中間數(shù)據(jù)的存儲(chǔ)等。

5 應(yīng)用前景和效益分析

基于SDO的裝備保障異構(gòu)大數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)是基于“規(guī)范化、模型化、工具化、資源化”的工程化思想，針對大數(shù)據(jù)背景下裝備保障異構(gòu)數(shù)據(jù)源數(shù)據(jù)的統(tǒng)一獲取和處理需求而構(gòu)建的具有自主知識(shí)產(chǎn)權(quán)、能夠滿足可伸縮需求的數(shù)據(jù)統(tǒng)一訪問與轉(zhuǎn)換平臺(tái)。它能夠?yàn)檠b備保障業(yè)務(wù)信息系統(tǒng)提供統(tǒng)一格式的數(shù)據(jù)支撐架構(gòu)，其研究方法和成果不僅可以推廣應(yīng)用到全軍武器裝備綜合業(yè)務(wù)信息系統(tǒng)的研制過程中，還可以為全軍武器裝備信息化建設(shè)面向大數(shù)據(jù)的應(yīng)用需求提供技術(shù)和平臺(tái)支撐，從而獲得良好的軍事效益和經(jīng)濟(jì)效益。

〔編輯：白潔〕